当回归直线对于所有数据点的偏差（）时，将估计参数的方法称为最小二乘估计法。

回归分析中，要想从一组数据散点中，更精确地拟合一条反映所有散点集中趋势的回归直线，就要保证各实测值y与该点估计值x最接近，即(y-x)剩余值纵向垂直距离最短，就可按最小二乘准则用某函数拟合数据点来进行。