JP4795496B1 - アンケート集計システム - Google Patents

Abstract

【課題】インターネットを経由したアンケートにおいて、短時間でなされた回答を除外することにより品質の高い集計結果を得るための技術を提供する。
【解決手段】アンケートは、回答者の端末の一画面に表示される質問パターンに区分され、その遷移順序は回答の内容に応じて決定される。そして本発明のアンケート集計システムは、回答者がそれぞれの質問パターンに回答するのに要した時間である回答所要時間を計測し、質問パターンごとに、その質問パターンに回答した回答者の回答所要時間の代表値を求め、回答者ごとに、回答した質問パターンにおける回答時間指数を、回答所要時間を代表値で除算して求めるとともに、回答時間指数の和を回答した質問パターンの数で割って平均値を求め、平均値が小さい順に所定の割合の回答を除外してアンケート集計を行う。
【選択図】図１

Description

本発明はアンケート集計システムに関し、特に、インターネットを利用したアンケートにおいて品質の高い集計結果を得るためのアンケート集計システムに関する。

近年、インターネット経由で回答者（「モニタ」と呼ばれることもある）にアンケートを実施して、企業の商品開発やマーケティングなどに用いるデータを収集する調査手法が普及して来ている。かかる調査手法はネットリサーチとも呼ばれる。自己の目的に応じてアンケートを企画する企業等（以下、「調査主」とも記す）は、自らアンケートを実施する場合もあるが、ネットリサーチを業務として行う企業等（以下、「運営者」とも記す）に調査を委託する場合もある。

ネットリサーチを業務とする運営者は、モニタに各人の属性情報（性別、年齢、居住地など）を登録してもらい、会員組織を形成していることが多い。従って運営者に調査を委託することにより、属性情報に応じたモニタを選別やデータの解析精度の向上が可能となり、高品質なアンケート結果を得られるためである。さらに運営者は有益な回答を抽出するための質問の作成方法や結果の集計についてもノウハウを有しているためでもある。

運営者は、複数の質問と、各質問への回答欄からなるアンケート内容を作成する。回答形式は択一式、複数選択式または自由記入式など目的に応じて様々である。そして運営者は、モニタに対して電子メール等によりアンケートへの参加を依頼する。するとモニタは、ＰＣや携帯電話から、ブラウザや専用のアプリケーションを用いて運営者のウェブサイトに接続し、オンライン上で質問に回答する。回答数が規定の数に達すればアンケートを終了し、回答の集計を行う。

ネットリサーチとも呼ばれるかかる調査手法には、対面式や、調査票の郵送式などの従来の手法と比較して多くの利点がある。すなわち、インターネット広告を利用するなど多人数にモニタとしての登録を呼びかけることが可能であり、かつネットリサーチではモニタの負担が比較的軽く参加への障壁が低いので、モニタの母数の拡大が容易である。
さらに、ネットリサーチではモニタへのアンケート依頼からモニタによる回答までの工程がオンライン上で完結し、回答は電子データとして得られる。その結果、アンケートの実施および回答の集計に要する時間を短縮できるとともに、低コスト化を実現できる。

また、モニタの属性情報や、事前アンケートの結果に基づく調査対象の絞り込みが可能であり、きめ細かな市場調査が可能になる。さらに、自由記入式の回答については入力容易さから比較的多くの回答が得られること、および、かかる自由記入式の回答はテキストデータ形式で得られるため、解析が容易であることなど、様々な利点がある。

特開２００２−１９７２３２号公報（特許文献１）には、インターネットを利用して大規模なアンケートを行う方法が開示されている。特許文献１には、アンケートへの回答者に適切なインセンティブを与えることにより、回答者の人数を増加させることや品質を向上させるための手法が記載されている。

特開２００６−２８５６９１号公報（特許文献２）には、インターネット上の匿名形式のアンケートにおいて、アンケート結果の信頼性を高めるための技術が開示されている。特許文献２には、質問者と回答者の間で匿名性を維持しつつ、過去にアンケートに対して回答した内容を分類整理し、信用力を判断する手法が記載されている。

特開２００２−１９７２３２号公報 特開２００６−２８５６９１号公報

しかしながらネットリサーチにおいて、ある程度の割合で、質問文をよく読まずに品質の低い回答がなされることが知られている。品質の低い回答とは例えば、複数の質問に対して相互に矛盾した回答や、他の回答者と比較して短い時間で行われる回答などである。

特に、短時間での回答が行われる背景について検討する。ネットリサーチにおいては、モニタがアンケートに回答するごとに、運営者から特典が贈与されることが多い。特典としてはアンケートの質問数などに応じて付与されるポイントがあり、取得したポイントは景品と交換することができる。このようにポイントを誘引材料として、会員組織に登録するモニタ人数を増やしたり、個別のアンケートへの回答意欲を高めたりしている。

しかし、モニタの一部には、特典を得ることのみを目当てにして、質問を良く見ないで回答する者が存在する。例えば、選択式の質問に対して、全ての質問に最初の選択肢を選んだり、自由記入式の質問に対して、無意味な短い文字列（「あああ」など）を入力したりするような場合である。また短時間回答の結果として、前述した複数の質問に対して相互に矛盾した回答がなされる場合もある。

このように品質の低い回答が混ざるとアンケートの信頼性が下がり、集計結果を利用した企業活動に悪影響を及ぼしてしまう。また運営者がアンケートを行う場合、品質の高いアンケートの実施が信用の維持につながる。したがって品質の低い回答を集計結果から除外する必要がある。以降、このような作業のことを「データクリーニング」とも呼ぶ。

データクリーニングの手法の一つに、回答時間が短い順に、調査主の指定にかかる所定の割合の回答を除外する方法がある。これは、ネットリサーチがインターネットを経由した応答によりなされており、その通信がコンピュータにより管理されているため、回答に要した時間を計測することが容易である、という特性を活かした方法である。
より具体的には、まず、モニタごとに、アンケートへの回答に要した全体の時間（総回答所要時間）を算出する。そして、削除対象となるモニタの割合を指定し（例えば３％）、総回答所要時間が短い方から３％の回答を対象外とし、残りの回答を集計する。

しかしこのデータクリーニング方法だと、アンケートへの回答内容に応じて質問数が変わる場合に問題が起こる。以下、具体的な例を挙げて説明する。
図３は、モニタがＰＣのブラウザからアンケートに回答する際の画面と、その遷移順序を示す。このアンケートには、質問と回答欄のセットが６つ含まれている（Ｑ１〜Ｑ６）。回答欄としては、選択肢から１つを選択するラジオボタン、複数の選択肢を選択可能なチェックボックス、自由記入式の質問への回答欄などがある。

モニタが運営者のウェブサイトに接続し、アンケートを選択して回答を始めた時点から、総回答所要時間の計測が始まる。モニタはまず、図３（ａ）において性別を問うＱ１に対して男女いずれかのラジオボタンを選択し、「次へ」ボタンをクリックする。すると運営者のサーバは回答内容を判断し、「１．男性」が選択されればＱ２へ進み、図３（ｂ）の画面を生成して返却する。この画面にはＱ２の他に、Ｑ３〜Ｑ５も記載されている。モニタはＱ２〜Ｑ５を読んで回答を選択し、「次へ」ボタンをクリックする。すると図３（
ｃ）の画面でＱ６が表示される。一方Ｑ１で「２．女性」が選択されれば、図３（ｃ）の画面に直接進む。Ｑ６に回答したモニタが「完了」ボタンをクリックすることでアンケートが終了する。アンケート終了の時点で総回答所要時間の計測が終わる。

このとき、Ｑ１に「１．男性」と回答したモニタの質問数はＱ１〜Ｑ６の６問である一方、「２．女性」と回答したモニタの質問数はＱ１，Ｑ６の２問のみである。仮に、１つの質問の内容をきちんと把握して品質の高い回答をするのに１分かかり、質問をよく読まずに品質の低い回答をすると３０秒かかるものとする。すると、品質の高い回答をする男性モニタは６分、品質の低い回答をする男性モニタは３分、品質の高い回答をする女性モニタは２分、品質の低い回答をする女性モニタは１分の総回答所要時間となる。

かかる状況で、総回答所要時間が短い順に（例えば上位３％）回答を除外するデータクリーニングを行った場合、実際には品質の低い回答ではないにもかかわらず、女性のモニタによる回答が除外されがちになる。その結果、集計結果が男性のモニタの考え方に沿ったものになる等、バイアスのかかったものになる可能性がある。一方、品質の低い回答をした男性モニタのデータが集計に残ってしまう。

別のデータクリーニング手法として、質問に対する最低回答時間を質問の種類ごとに設定しておく方法がある。そして、モニタの総回答所要時間が最低回答時間の合計を下回った場合に、そのモニタの回答を集計から除外する。しかしこの場合、質問文の長さなど、質問ごとの個別の条件が検討されず、必ずしも品質の高い回答が残るとは言えなかった。

上記のように、従来のデータクリーニング手法では、品質の低い回答を除外しきれない可能性があった。このような状況は、調査主が集計結果を活用して企業活動を行う観点からも、運営者がアンケートの品質を保証する観点からも好ましくない。

本発明は上記の課題に鑑みてなされたものであり、その目的は、インターネットを経由したアンケートにおいて、短時間でなされた回答を除外することにより品質の高い集計結果を得るための技術を提供することにある。

上記の目的を達成するため、本発明は以下のような第一の構成を採用する。すなわち、アンケートへの回答をインターネット経由で複数の回答者から取得し、所定の割合の回答を除外して集計するシステムであって、前記アンケートは、回答者の端末の画面に表示される単位であり、それぞれ少なくとも一つの質問を含む複数の質問パターンに区分されており、かつ、前記質問パターンの遷移順序は回答の内容に応じて決定されるものであり、回答者の端末に前記質問パターンを配信して画面に表示させるとともに、回答者からの回答を取得する通信手段と、回答者がそれぞれの質問パターンに回答するのに要した時間である回答所要時間を計測する計測手段と、前記複数の回答者から回答を取得した後、質問パターンごとに、当該質問パターンに回答した全ての回答者の回答所要時間の代表値を算出する代表値算出手段と、前記代表値が算出された後、回答者ごとに、当該回答者が回答した全ての質問パターンにおいて、当該回答者の回答所要時間を前記代表値算出手段が算出した代表値で除算した値に基づいて回答時間指数を求め、当該回答者の回答時間指数の和を回答した質問パターンの数で除算することにより平均値を算出する平均値算出手段と、前記平均値が算出された後、各回答者の前記平均値を比較して、前記平均値が小さい順に前記所定の割合の回答を除外し、除外されなかった回答に基づいてアンケートの集計を行う集計手段と、を有することを特徴とするアンケート集計システムである。

このようなアンケート集計システムにおいては、回答者（モニタ）が回答する単位である質問パターンごとに回答所要時間が格納される。そして、質問パターンごとに、回答所
要時間の代表値（例えば中央値）が算出される。そして各回答者の回答所要時間は、算出された代表値で除算されて回答時間指数となることにより規格化され、質問文の長さや回答形式に関わらずに回答時間の長短の傾向を検討することができる。さらに、回答時間指数の和を回答者が回答を行った質問パターンの数で除算して平均値を算出し、平均値の小さい順に除外対象を決定する。すなわち、回答時間指数の平均値が小さい回答者ほど短時間で回答する傾向があると判断している。これにより、回答者によって質問数が異なる場合であっても同一の基準で短時間回答であるかどうかを判断できるようになる。すなわち、質問数が少なかったために総回答所要時間が短くなってしまった回答者が集計から除外されやすい、という問題が起こらなくなる。そして除外されなかった回答に基づいてアンケートの集計を行うことにより、品質の高い集計結果を得ることができる。

また、上記の第一の構成をとるアンケート集計システムにおいて、以下のような第二の構成をとることもできる。すなわち、前記平均値算出手段は、前記回答所要時間を前記代表値で除算した値が１より小さければその値を回答時間指数とし、１以上である場合は１を回答時間指数とすることを特徴とするアンケート集計システムである。

このようなアンケート集計システムにおいては、回答所要時間が代表値よりも長い場合は一律に、回答時間指数が１となる。これにより、回答時間指数の算出において、回答の長時間の中断などによる異常値が及ぼす影響を抑えることができる。また、長時間回答があることが調査の品質に与える影響は低いと経験的に考えられることから、この処理を行っても品質の高い集計結果を得ることが可能である。

また、上記の第一または第二の構成をとるアンケート集計システムにおいて、以下のような第三の構成をとることもできる。すなわち、前記集計手段がアンケートを集計した後、集計に用いられた回答の内容を確認し、内容を確認した回答を集計から除外するかどうか決定する確認手段をさらに有し、前記集計手段は、利用者により除外するものと決定された回答に代えて、前記平均値の比較により除外された回答の中で前記平均値が大きいものを集計に用いる回答として、再びアンケートの集計を行うことを特徴とするアンケート集計システムである。

このようなアンケート集計システムにおいては、集計に用いられた回答を、例えば運営者による個別の目視確認やフィルタリングなどにより確認し、不適切と判断したものを除外することが可能となり、集計の品質を高くすることが可能になる。その結果として集計に用いる回答が所定数より少なくなった場合、集計手段が、既に除外された回答の中から比較的平均値が大きく、短時間回答から遠いと思われるものを選択して再度集計を行うことにより、品質の高い集計結果を維持することが可能である。

本発明によれば、インターネットを経由したアンケートにおいて、短時間でなされた回答を除外することにより品質の高い集計結果を得るための技術を提供することができる。

図１は、アンケート集計システムの構成を説明するブロック図である。 図２は、アンケート集計システムの処理全体の手順を示すフロー図である。 図３は、モニタの端末の画面に表示される画面の遷移の例を示す図である。 図４は、データクリーニングの手順を示すフロー図である。 図５は、データクリーニングの手順において算出される値の例を示す図である。 図６は、実施例２の処理全体の手順を示すフロー図である。

以下に図面を参照しつつ、本発明の好適な実施の形態を説明する。ただし、以下に記載されている構成ブロックやそれらの相対配置などは、発明が適用されるシステムの各種条件により適宜変更されるべきものであり、この発明の範囲を以下の記載に限定する趣旨のものではない。
以下の実施例では運営者が調査主からの依頼を受けてモニタ（回答者）へのアンケートを実施し、データクリーニングおよび集計処理を行うものとする。ただし誰が実施するかにかかわらず、本発明をアンケートの集計に適用することは可能である。

＜システム構成＞
図１は、本発明にかかるアンケート集計システム１（以下、「システム」とも呼ぶ）の構成を説明するためのブロック図である。
サーバ２は、アンケートの実施者が管理する情報処理装置である。サーバ２は機能ブロックとして制御手段２１、通信手段２２、集計手段２３、記憶手段２４を含む。

制御手段２１は、プログラムやコンソール３を用いた利用者（例えば運営者のオペレータ）の指示に基づきサーバ内の各ブロックを制御し、動作させる。また、各種の演算処理を行う。例えばアンケート内容に関しては、モニタ側端末の画面に提示するべき質問の組み合わせを、予め定められた遷移フローやモニタの回答内容に応じて決定する。通信手段２２は、インターネット４を経由して端末５（５ａ〜５ｃ）との通信を行う。通信手段２２はＰＣや携帯電話等の端末５のブラウザからの接続に対して質問や回答欄を含むページの情報を提供し、回答を受信することにより行われる。このときサーバ２はＷｅｂサーバとして機能する。受信した回答の内容は、制御手段２１により、回答時間に関する情報と共に記憶手段２４に格納される。集計手段２３は、後述するデータクリーニングを経たモニタの回答内容を、調査主の所望の形式に処理する。

サーバ２は例えば、メモリ上に呼び出されたプログラムの内容に従ってＣＰＵが動作するコンピュータにより構成される。ただし、実際のサーバの構成は１台のコンピュータに限られるものではなく、機能や負荷に応じて複数のコンピュータを連動させて用いても良い。また、サーバ２に含まれる各手段は必ずしも物理的に別個に構成される必要はなく、コンピュータのハードウェア資源を利用して、各手段に対応するプログラムモジュールにより実現される機能的なブロックとして考えても良い。記憶手段２４については、モニタからの回答に関する情報をアンケートの集計が完了するまで格納できるものであれば、コンピュータに通常用いられる各種の記憶装置を利用可能である。

コンソール３はサーバ２と利用者のインターフェースであり、サーバにより作成や格納された情報を画面上で確認したり、キーボード等の入力手段を用いて指示を与えたりするために設けられる。コンソール３や記憶手段２４は、サーバ２と別個に設けられていても、一体のものとして形成されていても構わない。
端末５はモニタへの質問が表示されるとともに、モニタが回答を入力する際に用いられる、インターネット４への接続機能を有する情報処理装置である。端末５としては例えばＰＣや携帯電話などを利用できる。端末への表示および回答は、一般的なブラウザ上や、運営者から提供されるアプリケーション上で行われる。

［実施例１］
本実施例では、上記のアンケート集計システムにおいて比較的簡単な構成を持つアンケートを実施して集計する際に、データクリーニングを行って短時間でなされた回答を除外する方法を、手順を追って説明する。

＜アンケートの構成＞
本実施例で用いるアンケートは、図３を用いて上で説明したのと同じものである。このアンケートは、全モニタ共通のＱ１、男性のみ回答するＱ２〜Ｑ５、全モニタが合流するＱ６の３つの部分に分けられる。
以降、モニタのＰＣ等のブラウザに１回に表示される画面のことを「ページ」とも呼ぶ。スクロールにより表示できるのであれば、ブラウザの表示範囲からはみ出る場合でも１ページの範囲内である。図３（ｂ）のＱ２〜Ｑ５のように、１ページの中に複数の質問および回答欄が含まれる場合がある。当然ながら、１ページには質問が一つだけ表示されるアンケートもある。

さらに、１ページに表示される質問の組み合わせのことを「質問パターン」と呼ぶことにする。本アンケートには質問パターンが３つあり、それぞれパターンＡ（Ｑ１）、パターンＢ（Ｑ２〜Ｑ５）、パターンＣ（Ｑ６）とする。Ｑ１に「１．男性」と回答したモニタは、パターンＡ〜Ｂ〜Ｃと遷移する。一方Ｑ１に「２．女性」と回答したモニタは、直接パターンＡからＣに回答する。

＜アンケート全体の手順＞
図２のフロー図を参照しつつ、本実施例に係る全体的な処理の流れを説明する。

（アンケート基本情報設定）
ステップＳ２０１にて、運営者がアンケートの基本情報を設定する。すなわち、調査主から指定された調査明細に基づいてアンケートの諸条件や質問および回答の内容、集計と納品の形式などを決定する。調査明細は、調査主がアンケートの目的に応じて決定して指示したり、運営者の提供するオプションから選択したりすることで作成される。アンケートの基本情報の設定は通常、運営者のオペレータがコンソールから設定ツールを操作することで行われ、従来技術に係るアンケート集計システムと同様の処理である。

運営者が設定する基本情報としては、集計に用いる回答数（サンプル数）がある。また多くの場合、何らかの問題に備えて集計に用いる数よりも余分に取得しておく回答（オーバーサンプル）の数または割合を決定する。
また、アンケートの内容に関しては、質問の数、各質問の本文と回答欄および回答形式、ページ（質問パターン）内の質問の組み合わせ、ページの遷移条件が主なものである。
他にも、アンケートを実施する期間、回答者を調査主が希望する対象に絞り込むための予備調査の条件や、回答者に付与される特典も決定される。

（データクリーニング条件設定）
ステップＳ２０２にて、運営者がデータクリーニングの条件を設定する。本実施例では、除外すべき回答を割合で指定するものとする。例えば３％を指定した場合、取得された回答の中から、回答者の回答時間を表す値が小さい順に、３％の回答を集計対象から外す。この割合は調査主の要望に応じて変更することが可能であり、除外する割合を高めるほど品質が向上する一方、必要な回答数が増加するため費用や時間も増大する。この割合による指定方法自体は従来技術と同じである。

上記ステップＳ２０１で決定したオーバーサンプルと、本ステップＳ２０２で決定する短時間回答に対するデータクリーニングの割合は、連続的に決定しても良い。この場合データクリーニング対象がオーバーサンプルの中に収まるようにする。あるいは、データクリーニングにより除外する割合を後から決定する場合は、除外する回答数がオーバーサンプルとして余分に確保した回答数を上回らないかチェックしても良い。

（アンケート実施）
ステップＳ２０３にて、アンケートを開始する。アンケートは従来の方法と同様に実施
される。すなわち、メール等で参加するモニタを募集し、必要に応じてターゲットを絞り込んだ上で、本調査に参加してもらう。

男性であるモニタの甲さんがアンケートに回答する場合の流れを説明する。モニタが端末のブラウザから運営者のウェブサイトに接続し、必要に応じて自身の情報やパスワードを入力してログイン処理をした後、アンケートを選択して回答を始める。モニタが表示された質問を読んで回答すると、運営者のサーバに回答内容が送信される。サーバはその回答内容に応じて次の画面を生成し、モニタの側に返却する。

より具体的には、アンケート開始後、パターンＡに対応する図３（ａ）の画面が表示される。この時点から、パターンＡにおける甲さんの回答所要時間の計測が開始される。このとき制御手段は、本発明の計測手段として動作する。ここでは「回答所要時間」という用語を、あるモニタが一つの質問パターンに回答するのに要する時間のこととして用いる。

甲さんはまず、図３（ａ）において性別を問うＱ１に対して男性のラジオボタンを選択し、「次へ」ボタンをクリックする。すると運営者のサーバは回答内容が「１．男性」であると判断して、パターンＢに対応する図３（ｂ）の画面を生成して返却する。この時点で、パターンＡにおける甲さんの回答所要時間が記憶手段に格納され、パターンＢにおける回答所要時間の計測が開始される。

続いてＱ２〜Ｑ５を読んで回答を選択し、「次へ」ボタンをクリックする。するとパターンＣに対応する図３（ｃ）の画面が表示される。この時点で、甲さんのパターンＢにおける回答所要時間が記憶手段に格納され、パターンＣにおける回答所要時間の計測が開始される。Ｑ６に回答した後「完了」ボタンをクリックすることで甲さんのアンケートが終了し、パターンＣにおける甲さんの回答所要時間が格納される。なお、この時点で甲さんに対する終了処理、例えば特典の付与、アンケートを回答済みステータスに変更する処理等がなされる。

システムは、回答数が上記の事前処理で決定した所定の値、すなわち回答数とオーバーサンプルの数を超えるまで、このような処理を続ける（ステップＳ２０４＝ＹＥＳ）。所定数を超えればアンケートの受付を終了してデータクリーニング処理に移行する。かかるアンケートの開始から終了までの一連の処理は、システムが自動的に行っても良いし、適当なタイミングでオペレータが引き金となる操作を行っても構わない。

（データクリーニング実行およびアンケートの集計）
ステップＳ２０５にて、取得した回答に対して、条件に従ってデータクリーニングを行う。この処理の詳細については後ほど述べる。さらにステップＳ２０６において、集計手段がアンケートの集計を行い、調査主の所望の形式に加工する。
以上の各ステップを実行することにより、依頼した調査主のアンケートが完了する。

＜データクリーニング＞
本実施例のデータクリーニング処理の流れについて説明する。ステップ番号は図４のフローチャートに対応している。また図５は、このフローに沿って処理を行った場合の男性モニタ甲さんと女性モニタ乙さんの計算値の例と、この２名を含めた全モニタの回答所要時間の中央値の例である。

ステップＳ４０１にて、アンケートで出現する質問パターンを区分けする。各モニタがどの質問パターンに回答するかは動的に変わるものの、出現し得る質問パターンはアンケート作成の段階で決まっているので、この処理は図２のステップＳ２０１の段階でも行う
ことができる。本実施例では、男性モニタ甲さんはパターンＡ〜Ｂ〜Ｃに、女性モニタ乙さんはパターンＡ、Ｃに回答する。

ステップＳ４０２にて、質問パターンごとに、そのパターンに回答した各モニタの回答所要時間を算出する。回答所要時間はアンケート実施（ステップＳ２０３）の際に記憶手段に格納されているので、処理対象の質問パターンの識別情報をキーとして記憶手段のテーブルを照会すれば良い。その結果図５に示すように、各質問パターンについて甲さん、乙さんおよび他のモニタの回答所要時間が得られる。

ステップＳ４０３にて、質問パターンごとに、回答所要時間の中央値を算出する。前ステップで質問パターンごとに照会した回答所要時間の群を順に並べ、中央に位置する値を求める。図５の表においては一番下の行が之に当たる。ここで回答所要時間の代表値として平均値ではなく中央値を求めているのは、平均値を用いた場合、異常値の影響が大きくなるためである。異常値としては例えば、モニタの離席による長時間の回答中断などが考えられる。ただし中央値が最も好ましいものの、それ以外の代表値を使うことも可能である。このとき制御手段は、本発明の代表値算出手段として動作する。

ステップＳ４０４にて、モニタごとに、前ステップで求めた中央値で、そのモニタが当該質問パターンで回答したときの所要時間を除算した値を求める。以降、この商を「回答時間指数」とも呼ぶ。例えば、パターンＡの中央値が３．９秒であり、男性モニタ甲さんのパターンＡに対する回答所要時間が２秒である場合、回答時間指数は２÷３．９＝０．５１である。この処理はモニタごとに、そのモニタが回答した全ての質問パターンに対して行われる。

なお、回答所要時間が中央値以上の場合、つまり商が１以上となる場合、回答時間指数は１とすることが好ましい。例えば、女性モニタ乙さんのパターンＡへの回答所要時間は４秒であり、回答時間指数は４÷３．９＝１．０３であるが、これを１に置き換える。これは、モニタの回答の中断が、除外対象の決定に影響を及ぼさないようにするためである。こうすることにより、例えばモニタが長時間離席したことによる異常値を排除できる。また、短時間回答はいい加減な回答であり品質に問題があることが多いのに比べて、長時間回答の場合は、経験的にそのような問題が無いと考えられることから、代表値と比べてどの程度長時間であるかを考慮する必要が低いことによる。

ステップＳ４０５にて、モニタごとに、そのモニタが回答した質問パターンの回答時間指数を全て合計する。そして合計値をページ数（質問パターン数）で割って、回答時間指数の平均値を算出する。このとき制御手段は、本発明の平均値算出手段として動作する。

ステップＳ４０６にて、各モニタの平均値を比較する。例えば甲さんの平均値は０．７６、乙さんの平均値は０．９５であり、両名を比較すると甲さんの方が短時間で回答する傾向が高いことが分かる。そして平均値が小さい順に事前処理で決定した割合で回答を除外し、集計を行う。
以上の各ステップを実行することにより、データクリーニングが施された品質の高い回答に基づく集計結果が得られる。

このようなアンケート集計システムにおいては、各モニタの回答所要時間が、算出された代表値で除算されて回答時間指数となることにより規格化されている。そのため質問文の長さや回答形式に関わらずに回答時間の長短の傾向を検討することができる。
また、中央値（代表値）よりも回答所要時間が長い場合は指数を１とすることにより、長時間回答の影響を排除できる。

さらに、モニタごとに、回答時間指数を全て足してから質問パターンの数で除算して平均値を算出している。そして、平均値が小さい順に回答を除外している。従って質問パターンの数、言い換えると回答した質問の数にかかわらず、そのモニタが短時間回答する傾向があるかどうかを判断できる。その結果、従来は質問の数が少なく総回答所要時間が短いために低品質だと判断されていた回答を除外することが無くなるので、高品質な集計を行うことが可能となる。

また、調査主や運営者はデータクリーニング指定を行う際に、従来技術におけるやり方と同じく集計から除外する割合により指定できるので、操作に違和感なく集計の品質だけを向上させることができる。

本実施例では比較的簡単な構成のアンケートを例として説明したが、より複雑な質問パターン構成や画面遷移を含むアンケートでも、同様の手法を適用出来る。例えば、ある質問が複数の質問パターンに含まれる場合であっても、上記の手法で質問パターンの区分や回答所要時間の集計をしてデータクリーニングを行える。
また、アンケートには、「割付」と呼ばれる、モニタの属性に応じて確保すべき回答数が定められている場合がある。例えば性別や年代、居住エリアなどの条件を決めて、それぞれ必要な件数を指定してアンケートが実施される。しかしこのような場合であっても本発明を問題なく適用し、データクリーニングを行うことができる。

［実施例２］
本実施例では、アンケート集計システムにおいてさらに集計結果の品質をさらに向上させるために、集計に用いられた回答の内容を確認して不適切と判断されたものを除外し、他の回答をもって置き換える方法について説明する。
本実施例で用いるアンケートの構成は、図３を用いて上で説明したものと同じである。また、アンケート集計システムの構成についても図１を用いて上で説明したものと同じであるが、後述するように集計から特定の回答を除外する機能を追加している。回答の除外はコンソール３より手動で、またはロジックにより行われる。

＜アンケート全体の手順＞
図６のフローを参照しつつ、本実施例に係る全体的な処理の流れを説明する。本実施例に特有の処理は、上記実施例１でアンケートが集計された時から始まる。図中、ステップＳ２０１〜Ｓ２０６の処理は実施例１と同様であるため、説明を省略する。

ステップＳ６０１にて、利用者（例えば運営者のオペレータ）がコンソール３を用いて、ステップＳ２０６での集計に用いられた回答の内容を目視確認する。そして、不適切と判断した回答を集計対象から除外する。除外する基準は任意に定めることが可能であり、例えば自由記入した回答の内容を考慮して決定できる。この処理により、回答所要時間の上では品質を満たしていても、他の基準から見ると集計に含めるべきではない回答を除外することができる。このときコンソールは、入力手段であるとともに本発明の確認手段として動作する。

ステップＳ６０２にて、前ステップで不適切な回答を手動で除外した結果、集計対象となった回答の数が、事前に設定した値よりも少なくなっていないかを確認する。通常の処理では事前に設定した数の回答に基づいて集計を行っていると考えられるので、Ｓ６０２＝ＹＥＳとなっている。

ステップＳ６０３にて、ステップＳ２０５のデータクリーニング処理で除外された回答の中から、回答時間指数の平均値が比較的大きいものを、再度の集計対象として選択する。この処理は、除外した回答の数だけ繰り返される。この段階で余分の回答が不足する場
合、その旨をオペレータに通知するようにしても良い。

ステップＳ６０４にて、集計手段は、新たに選択された回答と、手動で削除されずに残った回答を用いて、調査主の所望の形式に従ってアンケートの再集計を行う。

上記図６のフローでは、コンソールからの目視確認と手動削除で回答を除外するものとした。しかし他の方法として、テキストデータ化した回答内容に不適切な用語や内容が含まれていないか、フィルタを掛ける方法がある。あるいは、記憶手段に格納されている調査対象のモニタの予備調査の内容と、本アンケートの回答内容をロジックにより比較し、矛盾が無いか検討することも考えられる。このとき制御手段は、本発明の確認手段として動作する。

このように、本実施例にかかるアンケート集計システムにおいては、集計に用いられた回答をオペレータが確認し、あるいはロジックにより検討し、不適切と判断したものを除外することができる。その結果、集計の品質の向上を図ることが可能になる。その結果として集計に用いる回答が所定数より少なくなった場合、集計手段が、既に除外された回答の中から比較的平均値が大きく、短時間回答から遠いと思われるものを選択して再度集計を行うことにより、品質の高い集計結果を得ることが可能である。

以上の記載においては、本発明を、各機能ブロックを有するアンケート集計システムとして特定した。しかし本発明は、上記各機能ブロックを有し、モニタの端末と通信を行うアンケート集計サーバとして特定することもできるし、情報処理装置が上記処理を順次実行するアンケート集計方法として特定することもできる。また、情報処理装置に上記処理を順次実行させるプログラムとして特定することもできる。

２：サーバ，２１：制御手段，２２：通信手段，２３：集計手段，２４：記憶手段，５：端末

Claims (3)

1. アンケートへの回答をインターネット経由で複数の回答者から取得し、所定の割合の回答を除外して集計するシステムであって、
   前記アンケートは、回答者の端末の画面に表示される単位であり、それぞれ少なくとも一つの質問を含む複数の質問パターンに区分されており、かつ、前記質問パターンの遷移順序は回答の内容に応じて決定されるものであり、
   回答者の端末に前記質問パターンを配信して画面に表示させるとともに、回答者からの回答を取得する通信手段と、
   回答者がそれぞれの質問パターンに回答するのに要した時間である回答所要時間を計測する計測手段と、
   前記複数の回答者から回答を取得した後、質問パターンごとに、当該質問パターンに回答した全ての回答者の回答所要時間の代表値を算出する代表値算出手段と、
   前記代表値が算出された後、回答者ごとに、当該回答者が回答した全ての質問パターンにおいて、当該回答者の回答所要時間を前記代表値算出手段が算出した代表値で除算した値に基づいて回答時間指数を求め、当該回答者の回答時間指数の和を回答した質問パターンの数で除算することにより平均値を算出する平均値算出手段と、
   前記平均値が算出された後、各回答者の前記平均値を比較して、前記平均値が小さい順に前記所定の割合の回答を除外し、除外されなかった回答に基づいてアンケートの集計を行う集計手段と、
   を有することを特徴とするアンケート集計システム。
2. 前記平均値算出手段は、前記回答所要時間を前記代表値で除算した値が１より小さければその値を回答時間指数とし、１以上であれば場合は１を回答時間指数とする
   ことを特徴とする請求項１に記載のアンケート集計システム。
3. 前記集計手段がアンケートを集計した後、集計に用いられた回答の内容を確認し、内容を確認した回答を集計から除外するかどうか決定する確認手段をさらに有し、
   前記集計手段は、利用者により除外するものと決定された回答に代えて、前記平均値の比較により除外された回答の中で前記平均値が大きいものを集計に用いる回答として、再びアンケートの集計を行う
   ことを特徴とする請求項１または２に記載のアンケート集計システム。

Images