単回帰分析
独立変数の数が一つで、従属変数の数も一つの場合、その関係を直線で表すことを考えることは単回帰分析と呼ばれます。Ｙ＝aX +b という式でデータを表すわけです。もちろん、データはこの直線のまわりにばらついて存在するのですが、できるだけうまいこと全体の傾向を表す直線を引くために、係数a, bを決定してやる必要があります。そのためには各点とこの式の値との差が一番小さくなればいいわけで、誤差の二乗の和を最小にするということを考えます。
回帰分析を解釈する際の注意点
回帰分析の説明の中には、因果関係を調べるための解析手法として紹介されているものも見かけますが、下の注意は非常に大事な点だと思います。決して因果関係を示すことができる手法ではないということです。
従属変数を独立変数で「予測」するのが回帰分析というと，いかにも「独立変数⇒従属変数」という矢印つきの因果関係を想定しがちですが，決して因果関係と断定はできません．あくまで回帰係数は相関関係です．例えば単回帰分析の場合，独立変数と従属変数を入れ替えても，標準化された回帰係数は全く変わらず，しかもその値は普通の単相関係数なのです．（１．単回帰・重回帰分析における基本的な注意点 koumurayama.com）