ノンパラメトリック

通常（パラメトリック）の統計手法は母集団が正規分布である、分散が一緒、n数など様々な制約を受ける。

しかし世の中、特にビジネスの世界では、そんなに都合の良い母集団についてだけ扱う事はない。n数もそんなに都合よく集まらないケースも多いし。

だから「何もわかりませーん」って、そこで諦めてしまったら何も得られないから、なんとか工夫して言いたい事を見つけようというのがノンパラメトリックな手法の精神なんでしょうか？

なにか身近でノンパラメトリックな手法で解決できる問題ないだろうか・・・

■まとめ

・符号検定：＋の数と－の数だけを比較して、全体が＋（－）になっているといえるかという事を検定する

方法）帰無仮説を同数になる⇒確率が0.5として、二項分布⇒正規分布に近似して検定を行なう

例）運動後の血圧の変化。増加か減少か？

・順位和検定：2つの標本の順位の和を比べて、優位性があるといえるかを検定する

方法）マンウィットニー検定、ウィルコクソン検定、U検定を行なう

例)教授と助教授の試験結果。

・順位相関係数：変数のとる実際の数値ではなく、その順位によって2つの変数の関連性を測定する

方法）ケンドールのτ、スピアマンの順位相関係数

例）高校教師が生徒に推奨する大学とメディアの露出度の関係

回帰分析

回帰分析は以前某ビジネススクールで定量分析を学んだ時に一度習いましたが、衝撃的なインパクトがありました。

実際にぶどうを収穫した時点でその年のワインの美味しさを予測したり、どんな脚本が映画の興行収入をあげるかを予測したり・・・

こんなすごい事できるんやと。

しかし、定量分析習ってる時はモチベーション低い時期だったのでブログも更新してなく、内容まとめらてないんですよね。もったいない。関連する内容はこれくらい。

当時読んだ本もおもしろかったので、今読んだらもっと理解できるような気がするからもう一度読んでみたい。本の内容もまとめてないので思い出せないし・・・

■回帰分析

・説明変数（独立変数）が変化すると被説明変数（従属変数）どう変化するかを式で表す。従属変数が説明変数によってどれくらい説明できるのかを定量的に分析すること。
⇒2つの変数をとった時yをxの「関数」として説明できないかと見ること。

・説明変数が1個の場合は、x軸に説明変数、y軸に被説明変数をとった散布図に、それを代表する線を引くこと。その一次式。

・ビジネス的観点で言うと、定量化できるとxの値からyの値を予測する事が可能になり経営上きわめてパワフルな予測モデルとなる。

・重回帰は説明変数が2個以上
例）私鉄の営業損益と、旅客営業距離、車両走行距離、輸送人距離の関係

■言葉の意味：y=a+bx、y=bo＋b1x1+b2x2

・R2とP値だけみとけばよさそう。

・重相関R：相関係数
・重決定R2：説明係数xでyをどれくらい説明できるか。0.9なら9割説明できる
・補正R2：重回帰の時はこちらを見る
・t値：出てきた各係数がt検定でどれだけ離れているか（1.96以上ならいいんだろうが、別に見なくてもよさそう）
・P値：でてきたt値をとる確率。0.05なら両側合計で5%の優位水準で棄却されるという意味
⇒0.05とか0.1以上は使わない方が良いという事？

相関

相関、回帰分析あたりが統計学の本丸なのではないでしょうか？

MBAで学ぶ人にとって統計学は手段であり目的ではないから本来理論的な事はどうでもいい。

ただ理論的な部分も少しはわかっていないと、本当の意味が理解できない、間違って判断してしまう事が起こる事がある。だから基礎からしっかりと統計学を学ぶ必要がある。ってことなんでしょうね。長い困難な道のりでした。

■相関

・仮説をもとに相関を調べて初めて意味がある。日本女性の出産率とアフリカ象の出産率との間に相関関係があっても意味がない。

・相関係数は－1≦ｒ≦1の間に入る。1に近いほど正の相関が強く、-1に近いほど負の相関が強い。0の周りは相関関係が弱い。

・ビジネスでは0.7以上位が目安？

・相関は直線的な関係の強さを測定するものであり、関係が非線形ならそれが強くても相関係数は0に近い値になることがある。

・相関係数は因果関係を表すものではない。

・異常値の影響を受ける、2つの母集団が混在する事もある⇒単に相関係数を調べるのではなく散布図を見て判断する。

・相関係数の統計的推測は関係がない事（相関係数が0）を棄却する

■ノンパラメトリック　

順位相関係数：変数のとる実際の数値ではなく、その順位によって2つの変数の関連性を測定する

方法）ケンドールのτ、スピアマンの順位相関係数

例）高校教師が生徒に推奨する大学とメディアの露出度の関係

統計学（推定・検定の応用）

昨日で統計の授業も終了。という事で来週は試験です・・・

しかし、持ち込み可＋問題予告という事でホッと気が楽になりました。

とどうじにまとめも手抜きに、持ち込み可なので数式はもうまとめません。

■割合の推定・検定

・母集団の割合がpの中から、1個取り出す事をn回行った確率は二項分布で表される

・二項分布の正規近似：試行回数がn、成功の確率がpの二項分布は正規分布Nに近似できる

・割合の検定：内閣支持率調査の精度

・割合の差の検定：大学教授と小学校の先生の喫煙率

■期待度数：理論的な確率と思考を行なった結果を比較して理論どおりといえるかどうかの検定

・適合度検定
方法）χ2乗分布で棄却されるかを検定を行なう
例）いびつなサイコロ（H0=1/6を棄却）

・独立性の検定
方法）χ2乗分布で棄却されるかを検定を行なう
例）満足度と出身学部

■ノンパラメトリック検定：母集団の分布によらない検定

・ざっくりした検定の為、棄却できない（何もいえない）ケースが多い。

・棄却できたら、こんなざっくりした検定でいえるという事は相当信用できるという事

・符号検定：＋の数と－の数を比較して、＋（－）になっているといえるかという事を検定する
方法）帰無仮説を同数になる⇒確率が0.5として、二項分布⇒正規分布に近似して検定を行なう
例）運動後の血圧の変化。増加か減少か？

・順位和検定：2つの標本の順位の和を比べて、優位性があるといえるかを検定する
方法）マンウィットニー検定、ウィルコクソン検定、U検定を行なう
例)教授と助教授の試験結果。

統計的仮説検定

これは本当に理解できなかった。前回質問が良くでて理解がすすんだが、どこがわからないかもわからないので質問のしようもないといった状況ではないでしょうか。

まぁ諦めて、意味わからんでも使えるようになったらいいかと諦めようと思います。

■例

コインの表がでたら自分の勝ち、裏が出たら相手の勝ちというゲームをした場合を考える。2回や3回連続で負けたてもおかしいとは思わないが、もし10回連続で負けたら相手がいかさまをしているんではないかと考える。そこで自分は「いかさまをしている」と文句を言うが相手は「いかさましていない」と反論する。

自分の主張「いかさましている」
相手の主張「いかさましていない」

もし相手が「いかさまをしていない」なら、それはめったにない事（平均0.5に対して10回連続まける確率0.01％）がおこっただけ。だから「いかさまをしていない」とはいえない。だから「いかさまをしていると私は思う」いう風に相手を説得する

■仮説検定の意味（テキストにそって考えるP.9）

先ほどの例で10回連続まけた時と2回連続負けた時について考える。

H0：「帰無仮説」相手の主張、否定したい主張、いかさましていない
H1：「対立仮説」自分の主張、肯定したい主張、いかさましている

・帰無仮説が正しいなら（相手がいかさまをしていないなら）、確率的にほとんど起こりえないような事が起こった時（10回連続時、0.01％）、帰無仮説を棄却し（否定：そんなん言えへんやん）、確率的に十分起こりうる事が起こった時（2回連続　25%）、帰無仮説を採択する（否定できない：言えへんことないなぁ）

・帰無仮説は棄却されて（いかさましてへんなんて言えへんやん）初めて意味を持つ仮説である（自分の主張を通すには否定しないと意味がない）。つまり棄却されなければ結論（いかさましている）がでない。

・優位水準：どれくらい滅多にないなら棄却するかという値。優位水準5％なら5%しかおこらない事がおこったら棄却するという意味。

■二種類の誤り（妻選びの話はいくら考えても理解不能で混乱を招くので考えない）

・第一種の誤り：本当は相手の主張が正しいのに（帰無仮説が真なのに）、相手の主張を否定（棄却）する。
例）いかさましていないのに、そんな事いえないやんって言ってしまうケース。

・第二種の誤り：自分の意見が正しく（対立仮説が真）、相手の主張（帰無仮説）が否定（棄却）されるべきなのに否定できずに終わる（採択する）
例）いかさましているのに、いかさましていないと思いだまされ続ける。

＊この例では相手を友達だと思うと、いかさましてないのにいかさましてるって主張して人間関係悪くなるという感じに思ってしまうが、それは除外。悪いおじさんに騙されていると考える。

・第一種の誤りを減らすために優位水準を小さくすると第一種の誤りは減るが、第二種の誤りは増える

・優位水準を大きくすると第二種の誤りは減るが、第一種誤りは増える。

・人は第二種のあやまりを嫌がる。人間は間違ったものを採択する方がいや。いかさまされ続けるのがいや。

■推論の仕方（テキストP8）：どういう論理構築か？

わかればいいんだろうが、ややこしいので理解断念。参考

■実際の使われ方（わからん、そのまま理解する）

・複合対立仮説　帰無仮説：μ＝5、対立仮説：μ＞5とおく
・足の速さ男＞女という主張をとおしたい時、帰無仮説は男＝女とおく。男＝女を棄却する事で女＞男も棄却できる。

考えるの面倒になってきたので今度更新します。普段使わない脳を使うようで非常につかれます。

母集団平均・分散の推定

前回の続き。式書くのつらいなぁ…書かんとこかな？

■母集団平均μの推定　

・標本の大きさが大きい場合（30以上）中心極限定理より標本平均はN(μ,σ^2/n)に従う
・母集団平均の区間推定：こことここの間に○○％は入っているという意味。95％の区間の場合は標本平均±1.96σ/√n

Pr(X-1.96σ/√n＜μ＜X+1.96σ/√n)=0.95

‐確率をあげるには正規分布の確率に従い1.96と0.95をあげる
‐区間の幅を狭めるには1.96と0.95を下げる
‐区間の幅を狭めるにはサンプル数nを増やす

・確率と幅はトレードオフの関係
・母集団の平均がわからず、分散がわかっているケースはまぁまぁある。

■母集団分散σ^2の推定：母集団の平均も分散も分からない場合

・nが大きい時は標本分散で推定する
・サンプル数がnの時、自由度はn-1
・難しいので詳細はパス

■小標本におよる母集団の推定

・標本が少ない時、母集団が正規分布でないならお手上げ
・標本が少ない時でも母集団が正規分布なら自由度n-1のスチューデントのt分布に従う
・標本が少ないので正規分布より横に広がる。分散が大きい、不確実。
・本来t分布なのに、正規分布で信頼区間を計算したら間違って小さい値が出てしまう。（ダメ）
・エクセル：
‐値（標準偏差何個分？）以上になる確率は？=tdist(値,自由度,1or2) ＊1：片側分布　2：両側分布
‐確率○○以上になる値=tinv(確率,自由度）

■まとめ

・母集団の標本平均を求める時
‐分散がわかるなら分散を使い計算する
‐分散わからないときnが大きいなら標本分散を使い計算する
‐nが小さい時、母集団が正規分布ならt分布で計算
‐母集団が正規分布でないならお手上げ

標本平均

ここはかなり混乱した。最後みんな理解していないのか質問の嵐になりなんとか追いつく事ができました。あぶなかったー。同じ事をわかっていない人は絶対他にもいる。だから積極的に質問しないといけない。質問って本当に大事ですね。

先生は統計学でも議論しながら授業進めれるねんなーと喜んでました。来週は小テスト。がんばります。

■標本平均：母集団からｎ個サンプルをとった時の平均

標本平均の分布：標本数を増やす事で正規分布に近づく。30個くらいとったらほぼ正規分布
標本平均の平均：nに関係ない。母集団の平均μ
標本平均の分散：nを増やすと分散は1/nになる。σ^2/n　＊標準偏差　σ/n

■推定量：どのように標本データを利用するかを示した方式（やり方）
■推定値：実際の値

■中心極限定理：母集団がどんな分布でも、標本平均はnを増やすと正規分布になるという事

平均はμ、分散はσ^2/n

＊ここが混乱の元。母集団の分布では無く、標本平均（≒母集団の平均）の分布でした。

・n=30位の段階では正規分布をしているだけで、正確な平均だという事ではない。ただどれくらいの確率で正確なのかを議論する事ができるようになる。
・標本平均をn=30から増やすと標本平均の分散が小さくなるから標本平均のと母集団の平均は近づいていく。⇒母集団の平均として用いることができる？（来週以降かな？）

■標準誤差　σ/√n：標本平均の分布の標準偏差であり、標本平均のばらつき具合の指標

・標準偏差σの母集団の標準誤差＝標準偏差σの母集団の標本平均の標準偏差という事？
・nを増やすと標準誤差は減る。

例）標本平均が母集団平均と1.96×σ/√n離れる確率は5％しかない（正規分布なので95％の範囲内に入る標準偏差は-1.96～1.96の間）

■推定誤差　？？？母集団と○○だけ離れる確率は××％。＊〇○が推定誤差⇒この位はなれる外れる確率ってどれくらいなのかなぁって自分で決める値？

■次回の質問内容

・標準誤差とは日本語で言うとなんなのか？
・推定誤差って何？

確率分布（2）

統計学って面白いと初めて思いました。先生の教え方が上手なのかな？けどめちゃめちゃ難しい。わけわからん数式いっぱい出てくるし。

先生曰く、式を覚えただけでは意味が無い、大阪弁で（自分の言葉で）言えることが大事だそうです。あまり理系的ではない考え方なのかもしれませんが、数式はあきらめて、この式を日本語で言うとどうなるか？って考えながら理解をすすめるようにしたいと思います。

■ベルヌーイ分布：二者択一（ベルヌーイ試行）
■二項分布：ベルヌーイ試行を何度か独立に繰り返す

・エクセル関数　=BINOMDIST(成功回数,試行回数,成功確率,0or1）
＊0ならその成功回数のみの確率、1ならその成功回数以下の確率の累計

飛行機のオーバーブッキングなどの計算に使う。

Q.キャンセルする確率が10％の時、327人乗りの飛行機に350人の予約を取ってオーバーブッキングになる確率は？

A. =1-BINOMDIST(327,350,0.9,1)

■正規分布(μ,σ2）

・重要確率

‐平均から標準偏差数個分の間にどれくらいの割合入っているか？

1個分：-σ～＋σ：0.6862
2個分：-2σ～＋2σ：0.9545
3個分：-3σ～＋3σ：0.9974

‐ある割合入っている標準偏差はいくつか？

90％：-1.64～1.64
95％：-1.96～1.96
99％：-2.57～2.57
上位5％：1.64以上
上位0.25％：1.96以上

・標準正規分布　N(0,1)：正規分布に従う確率変数Ｘから平均μを引いて、σで割り基準化する事→平均を0にして標準偏差を1にして異なる正規分布を比較できるようにする。

正規分布表で計算できるようになる。

＊偏差値は平均50、標準偏差10の正規分布に変換したもの。偏差値70の人は上位5％に入っているって事。

・エクセル関数　=NORMDIST（値,平均,標準偏差,0or1）
＊0は意味なし、1はその値以下の確率の累計

確率分布

・ベルヌーイ分布：二者択一（ベルヌーイ試行）
・二項分布：ベルヌーイ試行を何度か独立に繰り返す
・正規分布：次回

確率

・相互に排反：事象が同時に起こらない
・条件付き確率：Aが起こった事を前提条件としてBが起こる確率
・独立：事象に関係が無い

・確率変数
‐確率変数の平均は期待値
‐確率変数の分散は何が起こるかわからなさを表す
‐確率変数の基準化：確率変数の平均をゼロとし標準偏差を1とするような変換。異なる確率変数を比べれるようにする

・結合確率分布：2回（以上？）行った時の確率
‐周辺確率：試行を2回行ったとき、2回目に関係なく、1回目に起こる確率
‐各行（列）がある行（列）の定数倍になっているとき独立

・共分散：二つの確立分布の関係性
‐独立の場合：共分散はゼロ
‐プラスの場合：正の相関がある
‐マイナスの場合：負の相関がある

・連続型確率変：連続した値をとる確率変数
・連続密度関数：連続の場合の確率は指定された区間に対応する面積で表す

データの整理と要約

・データの分布を表わす特性値
‐どの位置にあるのかを示す特性値：平均、中央値、最頻値、最大値、最小値・・・
‐集中してるか？散らばってるか？：範囲、分散、標準偏差・・・
‐標準偏差は統計学において距離（隔たり）を測る基本単位。何個分離れているかを示す。

・標本と母集団:母集団の確率分布がわからないから標本の確率分布から推定する。

統計学

統計だけでは何も決めれない。ただ方向性を判断する指標にはなる。

ずれを測るのが統計。どれくらいずれていたらおかしいと思うか？どれくらいのずれを許容できるかはコストとのバランスによって判断する。

■統計的なものの考え方とは？

1．集団を解析する：個ではわからないことが集団をみれば見えててくることもある
2．対象から離れて物事を見る
3．数値を取り扱う

■データを扱うプロセス

・絵を描くことが一番重要（ヒストグラム、散布図）
・絵から意味を見出す（三角の分布、相関、空白）
・異常値を取り除く