統計学は難しいと自分も思います。その難しさが何なのかというと、いろいろな手法があって頭がごちゃごちゃになるからではないかと思います。基本的な概念がいろいろ出てきますが、それらをしっかり整理して、そもそも統計学的な解析によって何を知りたいのかをはっきりさせ、自分が扱うデータがどんな種類（連続変数なのか、カテゴリーなのかなど）を把握し、適した統計学的解析手法が何かを選ぶことができれば、もう少し苦手意識が減るのではないかと思いました。
そのためにはできるだけ大きく統計学を俯瞰する必要があります。
記述統計と推測統計
まず、統計の目的として大きく２つが考えられます。一つは、データを得たときにそれを「記述」すること。例えば日本の小学6年生の身長を測定したデータがあれば、平均値を求めたり、ばらつき（標準偏差や分散）を求めることができ、日本人の小学6年生の身長を記述することができます。もうひとつが「推測」すること。小学6年生全員の身長を測定できない場合に、選ばれた一部の小学6年生の身長データから、全員（母集団）の身長を推測することです。あるいは東京都と大阪府の小学6年生の身長に差がないかどうかを調べる（推測する）ということもあり得ます。このように推測統計（統計的推測）は、母集団の値を推定することと、検定することが含まれます。
- 推定と検定 plaza.umin.ac.jp
- 第5章：推定と検定 看護・保健系大学院生のための統計学習サイト 動画、ナレーション原稿、資料が閲覧可能
推定と検定
点推定と区間推定
一部のデータ（標本データ）から元の集団（母集団）の値を推定する場合に、母集団の平均値のように一つの値として推定する「点推定」と、母集団の平均値がある一定の範囲に収まるという推定「区間推定」の2種類があります。
- 検定と推定 日本科学技術連盟
- 母平均の推定 区間推定 アイスタット 具体的な計算方法