以表示被解释变量，以表示解释变量，其中是解释变量的个数，与之间的相互依存关系可近似的由下列回归模型刻画：

其中是随机误差，它是模型不能精确拟合数据的原因。函数描述了与之间的关系。最简单的线性回归模型为：

其中称为总体回归参数，它们是未知常数，可通过观测数据来估计。表示在其他解释变量保持不变的情况下，每变化一个单位时，的均值的变化。如果给出一组观测值，则总体回归模型还可以写成如下形式