アンケートは、聞きたいことを並べれば作れるものではありません。同じ内容を尋ねていても、質問文の書き方、選択肢の与え方、誰に配ったかで、返ってくる割合が変わります。動いた数字をそのまま根拠にすると、施策の判断のほうがずれます。
この記事では、社内でアンケートを作るときに設問を1問ずつ点検する観点と、回答を集めるときに守る決まりを順番に整理します。聞き方の影響は「気をつけましょう」で済む話ではありません。同じ調査機関が、質問文の末尾に条件を1つ足しただけで賛成の割合が大きく動いた例を公表しています。まずその大きさを確かめてから、設問文、配り先、回答形式、個人情報の扱い、配る前の試し方、集計後に残すものへ進みます。
使う一次情報は3つです。設問の作り方はPew Research Centerが公開している調査手法の解説、標本の選び方は総務省統計局の解説、個人情報の扱いは個人情報保護委員会のガイドラインとQ&Aから引いています。裏の取れていないことは書いていません。
その設問の答えで、何を決めるのか
書き始めるのは質問文ではなく、集まった答えの使い道です。1問ごとに「この設問の回答がこうだったら、こうする」という一文を書いてみます。書けない設問は落とします。
たとえば「満足度を5段階で聞く」設問は、多くのアンケートに入っています。しかし4と5の合計が何%を超えたら何をするのかが決まっていないなら、その数字は集計されるだけで終わります。逆に「解約を検討した理由を選んでもらう」設問は、上位の理由から順に手を打つと決めていれば、選択肢の作り方まで自然に決まります。
設問を減らすことにも効きます。属性の質問は入れやすい一方で、性別や年代を聞いても施策を分けないのであれば、回答者の時間を使っているだけです。分けないなら聞きません。回答時間が延びるほど、最後まで答えてもらえる割合は落ちます。
対象の顧客像そのものを整理する段階なら、アンケートより先に手を付けることがあります。手元にある材料から像を組み立てる手順はペルソナの作り方にまとめました。市場全体の大きさを知りたい場合も、自分で聞く前に公表統計から当たるほうが早く、範囲もはっきりします(市場規模の調べ方)。アンケートは、公表されているもので埋まらなかった部分に使う道具です。
聞き方を変えると、答えが変わる
設問文の影響がどれくらいの大きさかを、実測値で見ておきます。Pew Research Centerは、質問文の言葉の選び方について「質問における言葉と語句の選択は、質問の意味と意図を回答者に伝えるうえで決定的に重要である」と述べたうえで、自らの調査から例を挙げています。
2003年1月の調査で、イラクへの軍事行動に賛成か反対かを尋ねたところ、68%が賛成、25%が反対と答えました。同じ調査で、質問文の末尾に「米軍に数千人の犠牲が出るとしても」という条件を足して尋ねると、賛成は43%、反対は48%になりました。聞いている対象は同じで、足したのは条件の一文だけです。
回答形式でも同じことが起きます。選挙で最も重要な課題を尋ねた調査では、選択肢を示さずに自由回答で書いてもらったとき「経済」を挙げた人は35%でした。選択肢の中に「経済」を置いて尋ねると、58%がそれを選びました。
並び順も効きます。同センターは、先に置いた質問が後の質問の文脈を意図せず作ってしまう現象を「order effects」と呼び、順序によって回答の差が大きくなる contrast effects と、回答が互いに似てくる assimilation effects の2種類を挙げています。時系列で比べたい設問は、毎回同じ位置と同じ前後関係に置く必要があります。前回は最後にあった設問を今回は冒頭へ動かすと、増減が施策の効果なのか順序の影響なのかを切り分けられなくなります。
ここで確認しておきたいのは、これらが「下手なアンケート」の話ではないことです。専門の調査機関が設計した調査でも、条件と形式を変えれば数字は動きます。だからこそ、質問文と選択肢を結果と一緒に残す必要があります。
設問文は、4つの型で点検する
Pew Research Centerが挙げる注意点は、明確で具体的な言葉を使うこと、1問で2つのことを尋ねないこと、二重否定と専門用語を避けること、言葉が呼び起こす感情を考えることです。同センターは「福祉」と「貧困層への支援」のように、指しているものが近くても反応が大きく違う語の例を挙げています。
この4つを、自社のアンケートを見直すときの点検項目にします。
1問で2つを尋ねている設問は、集計してから気づくことが多いところです。「価格と使いやすさに満足していますか」に「いいえ」と答えた人が、価格に不満なのか使い勝手に不満なのかは分かりません。集計値は出ますが、何をすればよいかは出てきません。分けて2問にすれば、設問は増えても打ち手が決まります。
社内用語も見落としがちです。書いた人には自然な言い方でも、回答者にとっては初めて見る語であることがあります。答えられない設問は、無回答になるか、適当に選ばれます。どちらも結果を歪めます。言い換えの目安は、その言葉を使わずに、回答者が普段している行動で書き直せるかどうかです。
答えの方向を先に示す設問は、悪気なく書かれます。「多くの企業が導入している」という前置きは、事実であっても、答えを一方へ寄せます。前置きが本当に必要なら、回答者へ示す情報として全員に同じ形で提示し、それを提示したことを結果に書き残します。
誰に配ったかが、結果の半分を決める
設問が整っていても、配る先が偏っていれば結果は偏ります。総務省統計局は、対象となるものを全て調べる全数調査に対して、標本調査は「対象となるもの一部を調査して、全体を推定する方法」であり、手間や費用を省ける一方で「標本誤差が生じてしまうため、標本は偏りが生じないように選ぶ必要があります」と説明しています。社内で行うアンケートは、ほぼすべてが標本調査です。
実務では、無作為に選ぶことができない場面がほとんどです。配れる先が限られているためです。それ自体は問題ではありません。問題になるのは、偏りがあることを書かずに、市場全体の傾向のように結果を扱うことです。どこへ配ったかによって、何が集まりやすいかは変わります。
| 配り先 | 集まりやすい人 | 向いている問い | 結果を読むときの注意 |
|---|---|---|---|
| 自社の顧客リスト | すでに自社を選んだ人。継続している人ほど答えやすい | 使い勝手、追加してほしい機能、続けている理由 | 選ばなかった人の理由は出てこない |
| 自社サイト・アプリ内での表示 | 訪問中の人。関心が高い状態の人 | 探していた情報、離脱の直前で困ったこと | 訪問しない層は最初から対象外 |
| メールマガジンの読者 | 継続して開封している人 | 情報の量と頻度、読みたい題材 | 開封をやめた人の意見が抜ける |
| SNSでの呼びかけ | 発信者と関係のある人。話題に反応した人 | 言葉づかいの受け取られ方、関心の向き | 拡散の経路によって回答者が入れ替わる |
| 調査会社のパネル | 条件で抽出された人。回答に慣れている人 | 自社を知らない層を含めた比較 | 費用がかかる。設問数と条件で単価が変わる |
この表は当社の整理です。どの配り先が優れているという話ではなく、答えたい問いに合う先を選び、選んだ先に付いてくる偏りを結果と一緒に書く、という使い方をします。「自社の顧客リストへ配った、継続利用者中心の回答である」と一行あるだけで、読む人の受け取り方は変わります。
回答数についても、多ければ信頼できるとは限りません。偏った集め方で数だけを増やしても、偏りは薄まりません。集め方を変えずに人数を増やすのは、同じ方向を向いた人を増やしているだけです。
生成AIに調べさせて代替できないかを検討することもありますが、できることと限界は分かれています。範囲はChatGPTを市場調査に使うときの手順にまとめました。
選択肢と回答形式は、集計する形から決める
質問文が決まったら、回答の形式を決めます。ここは集計の形から逆算します。平均を出したいのか、割合を出したいのか、自由記述を読んで分類したいのかで、選ぶべき形式が変わります。
Google フォームのヘルプは、フォームでできることを「新しいフォームまたはテストを作成する」「フォームやテストの編集、表示形式の設定を行う」「フォームを他のユーザーに送信して記入してもらう」「回答を確認して分析する」の4段階で案内しています。最後の段階では、回答のグラフを取得したり、Google スプレッドシートに保存したりできると説明されています。集計の手前まで用意されているので、どの形式で聞けばそのまま読めるかを、作りながら確かめられます。
編集の説明では、ラジオボタン式、チェックボックス式、プルダウン式といった形式が挙げられています。1つだけ選ばせるのか、複数選ばせるのかで集計の意味が変わります。複数選択の設問で、選択率の合計が100%を超えるのは当たり前ですが、これを円グラフにすると読めなくなります。形式を決める時点で、どう図にするかまで考えておきます。
必須にするかどうかも、同じヘルプに書かれています。回答を必須にするには「必須」のボタンをオンにする、と案内されています。判断の基準は、その設問に答えがないと集計そのものが成り立たないかどうかです。分析の軸になる設問だけを必須にし、それ以外は任意にします。全問必須にすると、答えたくない設問で離脱するか、当てはまらない選択肢を選ばれます。どちらも空欄より質の悪い結果になります。
選択肢の作り方では、抜けをなくすことより先に、重なりをなくします。同時に当てはまる選択肢が並んでいると、どちらを選ぶかが人によって変わります。そのうえで「当てはまるものがない」「分からない」の受け皿を置きます。受け皿がないと、当てはまらない人が近いものを選び、その分だけ他の選択肢が実際より多く見えます。
個人情報として扱う範囲を、配る前に決める
回答と一緒に何を受け取るかで、守るべきことが変わります。氏名やメールアドレスを一緒に受け取るなら、それは個人情報として扱う前提で設計します。
個人情報保護委員会のガイドライン(通則編)は、利用目的の特定について「個人情報取扱事業者は、その利用の目的をできる限り特定しなければならない」としています。また利用目的による制限として、同意なく「特定された利用目的の達成に必要な範囲を超えて」取り扱ってはならないとしています。利用目的を変更した場合は、変更後の利用目的を「本人に通知し、又は公表しなければならない」とされています。第三者への提供については、あらかじめ本人の同意を得ないで提供してはならないことが原則です。
一方で、集計した結果そのものの扱いは別です。同委員会のQ&Aは、統計情報を「複数人の情報から共通要素に係る項目を抽出して同じ分類ごとに集計して得られる情報」と説明し、個人情報に該当しない事例として挙げています。別のQ&Aでは、統計情報は「特定の個人との対応関係が排斥されている限りにおいては、『個人に関する情報』に該当するものではないため、『個人情報』にも該当しない」としています。さらに、利用目的の特定は個人情報が対象であるため、個人情報に該当しない統計データは対象とならず、統計データへの加工を行うこと自体を利用目的とする必要はない、とも示されています。
実務に落とすと、判断の分かれ目は「元の回答をどう持つか」です。名前と回答を結び付けたまま保管するなら、その保管は個人情報の取り扱いです。抽選のためにメールアドレスを受け取るなら、抽選に使うことを利用目的として書きます。集計だけが目的で、個人を識別する項目を受け取らないなら、扱いは軽くなります。配る前にどちらで進めるかを決めておくと、回答が集まってから慌てずに済みます。
これは要点の整理です。個別の判断は、ガイドラインとQ&Aの原文を確認してください。
少人数に配って、答えられるかを見る
設問がそろったら、本番の前に試します。Pew Research Centerは、事前テストについて「アンケートを事前にテストすることは、質問票全体と個々の質問に人々がどう反応するかを評価するための、質問票設計の過程における欠かせない段階である」とし、特に初めて出す設問では重要だとしています。方法としてパイロット調査、フォーカスグループ、認知インタビューなどが挙げられています。
社内でできる最小の形は、対象に近い5人前後に、目の前で答えてもらうことです。見るのは回答の内容ではありません。どこで止まったか、どの語で聞き返されたか、どの選択肢を選ぶまでに迷ったか、全体で何分かかったかです。止まった場所が、そのまま直すべき設問です。
一度出したアンケートは、後から直せません。定期的に同じ調査を繰り返すなら、なおさらです。途中で設問文を直すと、その前後で数字を比べられなくなります。試す手間は、比較できない結果を作り直す手間より小さく済みます。
結果と一緒に残すもの
集計が終わったら、数字だけを資料に載せて終わりにしません。次の5つを一緒に残します。実際に配った質問文と選択肢、配り先と集め方、実施した期間、回答数、途中で離脱した数です。
質問文をそのまま残すのは、後から読む人が数字の意味を確かめられるようにするためです。「満足していますか」と聞いたのか「使い続けたいですか」と聞いたのかで、同じ80%でも意味が違います。要約した見出しだけでは、この違いが消えます。
期間と集め方を残すのは、次回と比べるためです。前回と条件がそろっていなければ、増減を効果として語れません。順序の影響を避けるため、設問の並びも記録しておきます。
アンケートで分かるのは、回答した人がその時点で言葉にしたことです。実際の行動は、サイトの記録側から見ます。指標の定義と、何を見るかの絞り方はアクセス解析で見る指標の選び方にまとめました。言われたことと、実際にしていることの両方を並べたときに、はじめて打ち手を選べます。
アンケートづくりは、聞きたいことを増やす作業ではなく、答えを判断に使える形へ絞る作業です。設問の答えで何を決めるかを書き、質問文を4つの型で点検し、配り先の偏りを明示し、受け取る項目を先に決める。この4つがそろっていれば、集まった数字を根拠として扱えます。
この分野の実務を相談したい方へ
記事で扱っている内容は、当社が実務として支援している領域です。 自社で進めるか外部に任せるかの判断からご相談いただけます。