Sample Size & Survey Literacy
市民アンケートは、何人に聞けば足りるのか
14万人でも100万人でも、
必要なのは同じ1,000人。
直感に反しますが、これは統計の基本です。母集団が5万人を超えると、必要なサンプル数はほぼ頭打ちになります。三郷市の14万人でも、東京都の1,400万人でも、「±3%の精度で市全体の傾向を知る」のに必要なのは約1,000人。人口規模に比例して増やす必要はありません。
384
±5%で市全体の傾向をつかむ最低ライン
1,059
±3%。自治体の市民意識調査の標準
2,360
±2%。地区・年代別の分析にも耐える

市民調査の、読み方。

「回答者1万人の声」と「無作為抽出1,000人の声」なら、後者のほうが信頼できます。数の多さは、正しさを意味しません。この考え方は、議会で調査結果を引用するときにも、市民の皆さんが行政の調査を読むときにも役立ちます。あわせて、私が政策を考えるときに使っているシミュレーションについても、限界を含めて書きます。

How Many

何人に聞けば、足りるのか

信頼度95%・回答比率50%と仮定した場合の必要回答数です(三郷市の人口14万人を母集団として計算)。

許容誤差必要回答数何が言えるか
±5%384人「45〜55%」程度の粗い把握
±3%1,059人自治体の市民意識調査の標準
±2%2,360人地区・年代別の分析にも耐える
±1%8,987人過剰。ここまでは要らない

「±3%」とは、調査で60%という結果が出たとき、本当の値は57〜63%の間にある(95%の確からしさで)という意味です。1,059人に聞けば、14万人の傾向がその精度で分かります。

母集団が大きくなっても、必要数は増えません

母集団の大きさ±3%に必要な回答数
5万人1,045人
14万人(三郷市)1,059人
50万人1,065人
100万人1,066人
1,000万人1,067人

1,000万人でも1,067人。母集団が200倍になっても、必要な回答数は2%しか増えません。「人口が多いからもっと集めなければ」という発想は、統計的には必要ないということです。

Cross Tabulation

ただし、細かく分けて見るなら別計算です

上の数字は「市全体の傾向」を語るためのものです。「北部の30代はどうか」のように分けて見る(クロス集計)なら、話が変わります。

目安:1つのマスに最低100人
800人 ── 市内を8地区に分けて語りたいとき
2,000人 ── 年代 × 地区まで見たいとき

1,000人の調査でも、10のマスに分ければ1マス100人。20に分ければ50人です。50人のうち30人がそう答えた、という数字を「6割が支持」と語ると、実態から大きくずれます。集計表を見るときは、まず「そのマスに何人いるか」を確認してください。

Method Over Numbers

人数より、集め方のほうが効きます

ここがいちばん大事です
無作為抽出で回収した400人のアンケートと、
SNSで告知して集めた3,000人のアンケート。
信頼できるのは、前者です。

SNSで告知して集めた回答は、答えた人が自分で「答える」と決めています(自己選択)。その時点で、上の誤差計算はそもそも成立しません。関心のある人、時間のある人、その発信者を見ている人に偏るからです。

よくある誤り
任意回答のWebアンケートで3,000人が答えたからといって、「誤差±1.8%」と書くのは数学的に無意味です。誤差の計算は「母集団から無作為に選んだ」ことを前提にしているからです。前提が崩れていれば、どれだけ数を集めても誤差は計算できません。

では任意回答の調査に価値がないかというと、そんなことはありません。「参考値」としての価値は十分にあります。大事なのは、誤差を書かずに「回答者〇〇人の声」と明記すること。そのほうが、かえって信頼されます。

Four Checks

調査結果を引用するとき、確認する4点

議会での質疑でも、行政の資料でも、報道でも。この4つを確認すれば、その数字がどれだけ信用できるか判断できます。

1. 抽出方法
住民基本台帳からの無作為抽出か、任意回答か。ここが最初の分かれ道です。任意回答なら、誤差の議論はできません。
2. 標本数と回収率
郵送調査なら2,000通配布で回収率40〜50%が相場。配布数だけ書いて回収数を書かない資料には注意が必要です。
3. 回答者の構成
年代・地域の構成が、実際の人口構成とずれていないか。高齢者ばかりが答えていれば、結果は高齢者の意見に寄ります。
4. ウェイトバック集計
ずれているとき、実際の人口構成に合わせて重みづけし直しているか。していなければ、そのずれは結果にそのまま残ります。

この4点は、私が議会で調査結果を引用するときにも自分に課しています。数字を出す側が、その数字の限界を先に言う——それがないと、議論が数字の押し付け合いになってしまうからです。

What I Do

私がやっているのは、その手前の作業です

実は私は、三郷市の統計から2,360人分の「架空の市民」をつくって、政策を考えるときの検討材料にしています。±2%の精度に相当する人数です。

つくり方中身
実データを使った部分町丁目ごとの年齢構成・世帯類型・住宅の所有・外国人人口(令和2年国勢調査 小地域集計・91町丁目)/小学校区・中学校区(学区データとの照合)/障害者手帳の保持率(みさと統計書)/事故の多い地点(人身事故2,851件から抽出)
推計した部分職業・移動手段・情報の入手先・市政への関心・投票行動・年収・悩み

実データに基づく部分は、統計と照合して誤差1pt以内まで合わせています。高齢化率27.3%に対して27.3%、持ち家率63.2%に対して63.5%、といった具合です。

ここは、間違えないでください
これは「市民の声」ではありません。架空の人物であり、実在の市民が答えたものではありません。本ページでも、この数字を根拠に「市民の〇%がこう考えている」とは決して書きません。使い道は一つだけ——「自分の議論に、どんな立場が抜けているか」を洗い出すことです。

たとえば、こういう使い方をします

路線バスについて考えたとき、この2,360人で「誰が関係するか」を数えてみました。

分かったこと 1
困っている人は、少数派だった
バスや送迎に頼っている人は4.7%。一方、駅まで歩ける人が40%。多数決の構図では、この4.7%の声は通りません。
分かったこと 2
地域が偏っていた
「いずれ困る」層の87%が北部に集中。このまま議論すると「北部への予算配分」という地域対立の形になり、他地区の理解を得にくくなります。
分かったこと 3
声が届いていない層があった
子どもの送迎で困っている層の半分が、市政に関心が低いか接点がない。しかも要望は「バス増便」ではなく「駐輪場と送迎スペース」でした。

この3つは、答えではなく問いです。「本当にそうなのか」を確かめるには、実際の市民に聞くしかありません。シミュレーションでできるのは、聞くべきことを絞り込むところまでです。

Next

ここから先は、本物の声が要ります

どれだけ統計に忠実につくっても、架空の人物は実際に困っている人の言葉を持っていません。「保育園の送り迎えがきつい」と書くことはできても、それが何時に、どの道で、どうきついのかは、本人にしか言えません。

1
シミュレーションで、問いを絞る
どの立場が抜けているか、誰に声が届いていないか、どこに偏りがあるかを先に洗い出す。聞くべきことを間違えないための作業です。
2
実際に、聞きに行く
対話会、アンケート、現場での聞き取り。とくに声が届きにくい層には、こちらから出向く必要があります。待っていても届かないからです。
3
ずれていたら、直す
シミュレーションの想定と実際の声がずれていたら、実際の声のほうが正しい。前提を作り直します。この繰り返しでしか精度は上がりません。
4
数字の限界を、先に言う
「無作為抽出ではありません」「回答者〇人の声です」と先に書く。限界を書いておくことが、その数字を使える数字にします。

私が市長選のページで「私に届く声には偏りがあります」と書いたのも、同じ考え方です。私に声が届くのは、私に会える人・LINEを使う人・市政に関心がある人。その外側にいる人の数を、統計から知っておきたい——そのためにこのシミュレーションを作りました。

声を、聞かせてください
このページを読んで「自分の状況は想定に入っていない」と思われた方こそ、いちばん聞きたい相手です。シミュレーションの外側にいる声が、いちばん価値があります。
LINEで伝える →
Related

あわせて読む

市長選挙を争点で見る
12の争点と、その一覧にも偏りがあることの自己開示。
市民アンケートの結果
実際にいただいた声。回答者数とともに公開しています。
みさと見える化マップ
人身事故2,851件、町丁目別の人口・高齢化率を地図で。

本ページは「鈴木優作調べ」です。統計の一般的な考え方と、個人で作成した検討材料についてまとめたもので、市・議会・会派の公式見解ではありません。本ページに登場するシミュレーションは架空の人物によるもので、実在の市民の意見ではありません。

Sources & Notes

作成:鈴木優作(三郷市議会議員/創政MISATO)
数の多さは、正しさではない。