JP2024002257A - オンライン評価方法及び評価用オンラインサーバ - Google Patents

オンライン評価方法及び評価用オンラインサーバ Download PDF

Info

Publication number
JP2024002257A
JP2024002257A JP2022101344A JP2022101344A JP2024002257A JP 2024002257 A JP2024002257 A JP 2024002257A JP 2022101344 A JP2022101344 A JP 2022101344A JP 2022101344 A JP2022101344 A JP 2022101344A JP 2024002257 A JP2024002257 A JP 2024002257A
Authority
JP
Japan
Prior art keywords
evaluation
score
evaluator
data
data storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022101344A
Other languages
English (en)
Other versions
JP7538837B2 (ja
Inventor
勝 松本
Masaru Matsumoto
実 栗山
Minoru Kuriyama
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Visits Technologies
Visits Technologies Inc
Original Assignee
Visits Technologies
Visits Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Visits Technologies, Visits Technologies Inc filed Critical Visits Technologies
Priority to JP2022101344A priority Critical patent/JP7538837B2/ja
Priority to US18/211,006 priority patent/US20230419231A1/en
Publication of JP2024002257A publication Critical patent/JP2024002257A/ja
Application granted granted Critical
Publication of JP7538837B2 publication Critical patent/JP7538837B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】アイデア等の評価対象に対する評価、及び、評価対象を評価する評価者の目利き力（評価力）を、評価者に対して大きな負担をかけることなく独立して算出可能なオンライン評価方法を提供する。【解決手段】サーバが、各評価者の甘辛度合いを分析した上で、評価者全体による評価対象に対する仮スコアと各評価者による評価者に対する評価との近似性から各評価者の評価力スコアを算出し、各評価者による評価力スコアを考慮して評価対象に対する最終的なスコアを算出することを含むオンライン評価方法。【選択図】図３

Description

本発明はオンラインで行う評価方法に関する。また、本発明は、評価をオンラインで行うためのサーバに関する。
世の中には事物を評価し、その評価結果に応じて何らかの意思決定をする場面が多い。身近な例で言えば、ビジネスアイデアを評価したり、企業価値を評価したりする場面がある。斬新なビジネスや成長力の高い企業は、投資先として有望であろう。その他にも評価対象は無数に存在し、政治、経済、社会、産業、科学、環境、教育等の種々の分野において様々な評価対象が存在する。また、企業内においても、人事、労務、教育、経理、法務、経営企画、技術開発、保安、情報管理、マーケティング及び営業といった種々の部門で様々な評価対象が存在する。
事物を評価する場合、一人の評価だけではなく、複数人の評価を総合して評価することが、評価の客観性を高める上で有効である。また、インターネット技術の進展により、オンラインで多数の評価者の評価を集めることも可能である。
例えば、模範解答のない問題に対して、受験者間で相互に評価させるという方法が特表２０１４－５００５３２号公報（特許文献１）にて提案されている。当該公報においては、コンピュータ内に存在するメモリデバイスと；前記メモリデバイスと通信するよう配置されたプロセッサと、を含むシステムであって前記プロセッサは：候補者がテーマに基づいた問題を作成することを要求し；前記候補者から前記問題を受信し；少なくとも１人の評価者から前記問題と前記テーマとの評価を要求し；各評価者から問題スコアを受信し、前記問題スコアは前記問題と前記テーマとの評価の客観的指標であり；各評価者に対する格付けを受信し；そして、各評価者からの前記問題スコアと前記各評価者に対する格付けとに基づいて、前記候補者に対する格付けを計算するように構成されるシステムが開示されている。
国際公開第２０１７／１４５７６５号（特許文献２）においては、各受験者における目利き力を判定し、その結果を各受験者の評価に反映させることで、各受験者のアイデア創造力を簡易的且つ客観的に測定することを可能としたオンラインテスト方法が開示されている。具体的には、多数の受験者に対して、５Ｗ１Ｈに関する状況設定を選択肢から選ばせ、それによるアイデアを記述させるという作業を制限時間内になるべく多く繰り返させる試験をオンライン上で行い、これに対する受験者からの回答に対して所定の基準に従って重み付けを付与して合計スコアを算出することで、評価の高いアイデアを多く創出する能力、評価の高いアイデアを幅広く創出する能力、又は、希少で評価の高いアイデアを創出する能力といったイノベーション能力を評価するオンラインテスト方法が開示されている。
国際公開第２０２０／１５３３８３号（特許文献３）においては、複数の受験者から様々な課題又は課題に対する解決案をコンピュータネットワークを介して収集すると共に受験者間で相互評価させ、課題又は課題に対する解決案をスコアリングすることを含む課題収集評価方法及び解決案収集評価方法が開示されている。
特表２０１４－５００５３２号公報 国際公開第２０１７／１４５７６５号 国際公開第２０２０／１５３３８３号
特許文献１では、評価者に対する格付けが付与されているが、それは他の評価者による評価に基づいて決定される。このため、特許文献１では、候補者を格付けするために、候補者が作成した問題を評価するのみならず、評価者同士で評価者を相互評価する必要があり、評価者の負担が大きい。
特許文献２では、受験者のアイデアの創出能力を相互評価する際、受験者の評価者としての目利き力に応じた重み付けを与えるが、受験者の目利き力はアイデアの創出能力に基づいて格付けされる。このため、受験者同士で目利き力を相互評価する必要はないため、受験者の負担は少ない。しかしながら、特許文献２のオンラインテスト方法では受験者はアイデア創出テストに参加する必要があり、評価者としての目利き力を単独で測定することはできない。また、評価者としての目利き力はアイデアの創出能力と必ずしも一致しない。アイデアの創出能力は高いものの、評価者としての目利き力は低い受験者、アイデアの創出能力は低いものの、評価者としての目利き力は高い受験者も存在し得る。従って、評価者としての目利き力はアイデアの創出能力とは独立して格付けされることが望ましい。
特許文献３においても、課題又は課題に対する解決案をスコアリングする際には、目利き力のある受験者による評価に重み付けを与えているが、課題創出又は解決案創出に関して評価の高い受験者は、目利き力も高いとの仮定に基づいている。このため、特許文献２と同様の課題が存在する。
本発明は上記事情に鑑みて創作されたものであり、一実施態様において、アイデア等の評価対象に対する評価、及び、評価対象を評価する評価者の目利き力（評価力）を、評価者に対して大きな負担をかけることなく独立して算出可能なオンライン評価方法を提供することを課題とする。また、本発明は別の一実施態様において、そのような評価方法をオンラインで実施するためのサーバを提供することを課題とする。
本発明者は上記課題を解決するために鋭意検討を行ったところ、サーバが、各評価者の甘辛度合いを分析した上で、評価者全体による評価対象に対する仮スコアと各評価者による評価者に対する評価との近似性から各評価者の評価力スコアを算出し、各評価者による評価力スコアを考慮して評価対象に対する最終的なスコアを算出することを含む以下のオンライン評価方法及びサーバが課題解決に資することを見出した。
［１］
サーバが、評価対象データ記憶部に格納されており、識別子が付与されている複数の評価対象を評価すべき評価者を、今回の評価セッションの評価者として識別子が付与されている複数の評価者の中から割り当てるステップ１Ａと、
サーバが、ステップ１Ａの結果に従い、複数の評価対象に関するデータを評価対象データ記憶部から抽出すると共に、予め定められたテーマに関する設問データを設問データ記憶部から抽出し、少なくとも一つの評価軸に基づく選択式評価入力部を含む評価入力のための第一書式データを第一書式データ記憶部から抽出し、当該複数の評価対象に関するデータ、設問データ及び第一書式データを、対応する複数の評価者の端末にネットワークを介して送信するステップ１Ｂと、
サーバが、選択式評価入力部に各評価者によって入力された評価対象に対する評価を含む評価結果データを、各評価者の端末からネットワークを介して受信するステップ１Ｃと、
サーバが、受信した評価結果データのそれぞれに識別子を付与し、評価結果データを送信した各評価者の識別子及び評価対象の識別子と関連付けて、評価結果データを評価結果データ記憶部に格納するステップ１Ｄと、
サーバが、評価結果データ記憶部に格納されている評価結果データ中の、選択式評価入力部に各評価者によって入力された評価に基づき、各評価者の評価の甘辛度合いを評価軸毎に分析し、評価の辛い評価者による評価が相対的に上昇し、評価の甘い評価者による評価が相対的に低下するように評価を補正することで補正後の評価を算出し、各評価者の識別子及び評価対象の識別子と関連付けて補正後の評価を評価結果データ記憶部に格納するステップ１Ｅと、
サーバが、評価結果データ記憶部に格納されている補正後の評価及び評価対象の識別子に基づいて、各評価対象に対する評価を集計することにより各評価対象に対する評価軸毎の仮スコアを算出し、各評価対象の識別子と関連付けて仮スコアを評価対象スコアデータ記憶部に格納するステップ１Ｆと、
サーバが、評価結果データ記憶部に格納されている評価者の識別子と関連付けられた各評価対象に対する補正後の評価と、評価対象スコアデータ記憶部に格納されている各評価対象に対する仮スコアを評価軸毎に対比し、両者の近似性を評価者毎に集計することにより、各評価者の評価力スコアを算出し、当該評価力スコアを各評価者の識別子と関連付けて評価者スコアデータ記憶部に格納するステップ１Ｇと、
サーバが、評価力スコアが高い評価者による評価ほど、評価に大きな重み付けを付与することを条件に、評価結果データ記憶部に格納されている補正後の評価、評価者の識別子及び評価対象の識別子、並びに評価者スコアデータ記憶部に格納されている各評価者の評価力スコアに基づいて、各評価対象に対する評価を集計することにより各評価対象に対する評価軸毎の修正スコアを算出し、各評価対象の識別子と関連付けて修正スコアを評価対象スコアデータ記憶部に格納するステップ１Ｈと、
サーバが、以下の（１）及び（２）の一方又は両方のデータを抽出し、ネットワークを介して管理者の端末に送信するステップ１Ｉと、
（１）評価対象スコアデータ記憶部に格納されている、各評価対象に対する評価軸毎の修正スコア自体及び／又は当該修正スコアに基づいて算出される統計量を含む評価対象に関するデータ、
（２）評価者スコアデータ記憶部に格納されている、各評価者の評価力スコア自体及び／又は当該評価力スコアに基づいて算出される統計量を含む評価者に関するデータ、
を含むオンライン評価方法。
［２］
各評価対象に対する修正スコアを仮スコアとみなして、サーバがステップ１Ｇ及びステップ１Ｈを一度以上回繰り返す［１］に記載のオンライン評価方法。
［３］
サーバは、以下の（ａ）及び（ｂ）の一方又は両方の条件が満たされると、それ以上ステップ１Ｇの繰り返しを行わない、［２］に記載のオンライン評価方法。
（ａ）ステップ１Ｇを繰り返す度に、最新の評価力スコアとそれよりも一つ前の評価力スコアの差分又は変化率を評価者毎にすべての評価軸について算出し、当該差分又は変化率が予め設定した条件を満たすかどうかを評価者毎に判定し、すべての評価者について前記条件を満たす。
（ｂ）ステップ１Ｈを繰り返す度に、各評価対象に対する評価軸毎の最新の修正スコアとそれよりも一つ前の修正スコアの差分又は変化率をすべての評価軸について算出し、当該差分又は変化率が予め設定した条件を満たすかどうかを各評価対象について判定し、すべての評価対象について前記条件を満たす。
［４］
サーバが、評価対象データ記憶部に格納されており、識別子が付与されている複数の評価対象を評価すべき評価者を、今回の評価セッションの評価者として識別子が付与されている複数の評価者の中から割り当てるステップ１Ａと、
サーバが、ステップ１Ａの結果に従い、複数の評価対象に関するデータを評価対象データ記憶部から抽出すると共に、予め定められたテーマに関する設問データを設問データ記憶部から抽出し、少なくとも一つの評価軸に基づく選択式評価入力部を含む評価入力のための第一書式データを第一書式データ記憶部から抽出し、当該複数の評価対象に関するデータ、設問データ及び第一書式データを、対応する複数の評価者の端末にネットワークを介して送信するステップ１Ｂと、
サーバが、選択式評価入力部に各評価者によって入力された評価対象に対する評価を含む評価結果データを、各評価者の端末からネットワークを介して受信するステップ１Ｃと、
サーバが、受信した評価結果データのそれぞれに識別子を付与し、評価結果データを送信した各評価者の識別子及び評価対象の識別子と関連付けて、評価結果データを評価結果データ記憶部に格納するステップ１Ｄと、
サーバが、評価結果データ記憶部に格納されている評価結果データ中の、選択式評価入力部に各評価者によって入力された評価に基づき、各評価者の評価の甘辛度合いを評価軸毎に分析し、評価の辛い評価者による評価が相対的に上昇し、評価の甘い評価者による評価が相対的に低下するように評価を補正することで補正後の評価を算出し、各評価者の識別子及び評価対象の識別子と関連付けて補正後の評価を評価結果データ記憶部に格納するステップ１Ｅと、
評価者の人数をｎ（ｎは２以上の整数）とすると、サーバが、ｋ人目（ｋは１～ｎまでの整数）の評価者による評価対象に対する評価を考慮せずに、評価結果データ記憶部に格納されているその他の評価者による補正後の評価及び評価対象の識別子に基づき、各評価対象に対する評価を集計し、各評価対象に対する仮スコアを評価軸毎に算出し、ｋ人目の評価者の識別子及び各評価対象の識別子と関連付けて仮スコアを評価対象スコアデータ記憶部に格納するステップを一人目からｎ人目までの評価者に対してそれぞれ実施するステップ１Ｆと、
サーバが、評価結果データ記憶部に格納されているｋ人目（ｋは１～ｎまでの整数）の評価者の識別子と関連付けられた各評価対象に対する補正後の評価と、ｋ人目の評価者の識別子及び各評価対象の識別子と関連付けられて評価対象スコアデータ記憶部に格納されている各評価対象に対する仮スコアを評価軸毎に対比し、両者の近似性を評価者毎に集計することにより、ｋ人目の評価者の仮評価力スコアを算出し、当該仮評価力スコアをｋ人目の評価者の識別子と関連付けて評価者スコアデータ記憶部に格納するステップを一人目からｎ人目までの評価者に対して実施するステップ１Ｇ1と、
サーバが、ｋ人目（ｋは１～ｎまでの整数）の評価者による評価対象に対する評価を考慮せずに、仮評価力スコアが高い評価者による評価ほど、評価に大きな重み付けを付与することを条件に、評価結果データ記憶部に格納されているその他の評価者による補正後の評価、評価者の識別子及び評価対象の識別子、並びに評価者スコアデータ記憶部に格納されているその他の評価者による評価者の仮評価力スコアに基づいて、各評価対象に対する評価を集計することにより各評価対象に対する評価軸毎の修正スコアを算出し、ｋ人目の評価者の識別子及び各評価対象の識別子と関連付けて修正スコアを評価対象スコアデータ記憶部に格納するステップを一人目からｎ人目までの評価者に対してそれぞれ実施するステップ１Ｈ1と、
サーバが、評価結果データ記憶部に格納されているｋ人目（ｋは１～ｎまでの整数）の評価者の識別子と関連付けられた各評価対象に対する補正後の評価と、ｋ人目の評価者の識別子及び各評価対象の識別子と関連付けられて評価対象スコアデータ記憶部に格納されている各評価対象に対する修正スコアを評価軸毎に対比し、両者の近似性を評価者毎に集計することにより、ｋ人目の評価者の最終評価力スコアを算出し、当該最終評価力スコアをｋ人目の評価者の識別子と関連付けて評価者スコアデータ記憶部に格納するステップを一人目からｎ人目までの評価者に対して実施するステップ１Ｇ2と、
サーバが、最終評価力スコアが高い評価者による評価ほど、評価に大きな重み付けを付与することを条件に、評価結果データ記憶部に格納されている補正後の評価、評価者の識別子及び評価対象の識別子、並びに評価者スコアデータ記憶部に格納されている各評価者の最終評価力スコアに基づいて、各評価対象に対する評価を集計することにより各評価対象に対する評価軸毎の最終スコアを算出し、各評価対象の識別子と関連付けて最終スコアを評価対象スコアデータ記憶部に格納するステップ１Ｈ2と、
サーバが、以下の（１）及び（２）の一方又は両方のデータを抽出し、ネットワークを介して管理者の端末に送信するステップ１Ｉと、
（１）評価対象スコアデータ記憶部に格納されている、各評価対象に対する評価軸毎の最終スコア自体及び／又は当該最終スコアに基づいて算出される統計量を含む評価対象に関するデータ、
（２）評価者スコアデータ記憶部に格納されている、各評価者の最終評価力スコア自体及び／又は当該最終評価力スコアに基づいて算出される統計量を含む評価者に関するデータ、
を含むオンライン評価方法。
［５］
各評価対象に対する修正スコアを仮スコアとみなして、サーバがステップ１Ｇ1及びステップ１Ｈ1を一度以上回繰り返す［４］に記載のオンライン評価方法。
［６］
サーバは、以下の（ａ）及び（ｂ）の一方又は両方の条件が満たされると、それ以上ステップ１Ｇ1の繰り返しを行わない、［５］に記載のオンライン評価方法。
（ａ）ステップ１Ｇ1を繰り返す度に、最新の仮評価力スコアとそれよりも一つ前の仮評価力スコアの差分又は変化率を評価者毎にすべての評価軸について算出し、当該差分又は変化率が予め設定した条件を満たすかどうかを評価者毎に判定し、すべての評価者について前記条件を満たす。
（ｂ）ステップ１Ｈ1を繰り返す度に、各評価対象に対する評価軸毎の最新の修正スコアとそれよりも一つ前の修正スコアの差分又は変化率をすべての評価軸について算出し、当該差分又は変化率が予め設定した条件を満たすかどうかを各評価対象について判定し、すべての評価対象について前記条件を満たす。
［７］
評価対象データ記憶部には、今回の評価セッションに使用される複数の評価対象とは異なる複数の評価対象に関するデータも記憶されていてもよく、
サーバが、今回の評価セッションにおける複数の評価対象のそれぞれについて、今回の評価セッションに使用される他の複数の評価対象、及び／又は、前記異なる複数の評価対象との類似度を算出し、算出されたそれぞれの類似度を集計することにより、今回の評価セッションにおける各評価対象の希少性スコアを算出し、各評価対象の識別子と関連付けて希少性スコアを評価対象スコアデータ記憶部に格納するステップ１Ｊと、
サーバが、評価対象スコアデータ記憶部に格納されている、各評価対象の希少性スコア自体及び／又は当該希少性スコアに基づいて算出される統計量を含む評価対象に関するデータを、ネットワークを介して管理者の端末に送信するステップ１Ｋと、
を更に含む［１］～［６］の何れか一項に記載のオンライン評価方法。
［８］
サーバが、予め定められたテーマに関する設問データを設問データ記憶部から抽出すると共に、少なくとも一つの情報入力部を含む第二書式データを第二書式データ記憶部から抽出し、設問データ及び第二書式データをネットワークを介して収集セッションの回答者として識別子が付与されている複数の回答者の端末に送信するステップ２Ａと、
サーバが、情報入力部に収集セッションの各回答者によって入力された前記テーマに関する情報を含む回答データを、収集セッションの各回答者の端末から受信するステップ２Ｂと、
サーバが、受信した前記テーマに関する情報を含む回答データにそれぞれ識別子を付与し、前記テーマに関する情報を含む回答データを送信した収集セッションの各回答者の識別子と関連付けて前記テーマに関する情報を含む回答データを評価対象データ記憶部に格納するステップ２Ｃと、
を更に含み、
前記テーマに関する情報を含む回答データを、前記評価対象に関するデータとして使用する［１］～［７］の何れか一項に記載のオンライン評価方法。
［９］
サーバが、評価対象スコアデータ記憶部に格納されている、各評価対象に対する評価軸毎の修正スコア若しくは最終スコア自体及び／又は当該修正スコア若しくは最終スコアに基づいて算出される統計量を含む評価対象に関するデータ、並びに、回答者の識別子に基づき、少なくとも一つの評価軸に基づく回答者のスコアを算出し、回答者スコアデータ記憶部に格納するステップ２Ｄと、
サーバが、回答者スコアデータ記憶部に格納されている、評価軸毎の各回答者のスコア自体及び／又は当該スコアに基づいて算出される統計量を含む回答者に関するデータを、ネットワークを介して管理者の端末に送信するステップ２Ｅと、
を更に含む［８］に記載のオンライン評価方法。
［１０］
前記評価対象が所定のテーマに関するアイデアである［１］～［９］の何れか一項に記載のオンライン評価方法。
［１１］
前記評価対象に関するデータがテキスト情報を含む［１］～［１０］の何れか一項に記載のオンライン評価方法。
［１２］
送受信部、制御部、及び記憶部を備え、
前記記憶部は、
複数の評価対象に関するデータを格納するための評価対象データ記憶部と、
少なくとも一つの評価軸に基づく選択式評価入力部を含む評価入力のための第一書式データを格納するための第一書式データ記憶部と、
各評価対象に対する評価及び補正後の評価を含む評価結果データを格納するための評価結果データ記憶部と、
各評価対象に対する評価軸毎の仮スコア及び修正スコアを格納するための評価対象スコアデータ記憶部と、
各評価者の評価力スコアを格納するための評価者スコアデータ記憶部とを有し、
前記制御部は、評価者割り当て部、評価入力用データ抽出部、データ登録部、評価分析部、及び評価分析データ抽出部を有し、
評価者割り当て部は、評価対象データ記憶部に格納されており、識別子が付与されている複数の評価対象を評価すべき評価者を、今回の評価セッションの評価者として識別子が付与されている複数の評価者の中から割り当てるステップ１Ａを行うことができ、
評価入力用データ抽出部は、ステップ１Ａの結果に従い、複数の評価対象に関するデータを評価対象データ記憶部から抽出すると共に、予め定められたテーマに関する設問データを設問データ記憶部から抽出し、第一書式データを第一書式データ記憶部から抽出し、当該複数の評価対象に関するデータ、設問データ及び第一書式データを、送受信部から対応する複数の評価者の端末にネットワークを介して送信するステップ１Ｂを行うことができ、
送受信部は、選択式評価入力部に各評価者によって入力された評価対象に対する評価を含む評価結果データを、各評価者の端末からネットワークを介して受信するステップ１Ｃを行うことができ、
データ登録部は、送受信部で受信した評価結果データのそれぞれに識別子を付与し、評価結果データを送信した各評価者の識別子及び評価対象の識別子と関連付けて、評価結果データを評価結果データ記憶部に格納するステップ１Ｄを行うことができ、
評価分析部は、
・評価結果データ記憶部に格納されている評価結果データ中の、選択式評価入力部に各評価者によって入力された評価に基づき、各評価者の評価の甘辛度合いを評価軸毎に分析し、評価の辛い評価者による評価が相対的に上昇し、評価の甘い評価者による評価が相対的に低下するように評価を補正することで補正後の評価を算出し、各評価者の識別子及び評価対象の識別子と関連付けて補正後の評価を評価結果データ記憶部に格納するステップ１Ｅを行うことができ、
・評価結果データ記憶部に格納されている補正後の評価及び評価対象の識別子に基づいて、各評価対象に対する評価を集計することにより各評価対象に対する評価軸毎の仮スコアを算出し、各評価対象の識別子と関連付けて仮スコアを評価対象スコアデータ記憶部に格納するステップ１Ｆを行うことができ、
評価結果データ記憶部に格納されている評価者の識別子と関連付けられた各評価対象に対する補正後の評価と、評価対象スコアデータ記憶部に格納されている各評価対象に対する仮スコアを評価軸毎に対比し、両者の近似性を評価者毎に集計することにより、各評価者の評価力スコアを算出し、当該評価力スコアを各評価者の識別子と関連付けて評価者スコアデータ記憶部に格納するステップ１Ｇを行うことができ、
評価力スコアが高い評価者による評価ほど、評価に大きな重み付けを付与することを条件に、評価結果データ記憶部に格納されている補正後の評価、評価者の識別子及び評価対象の識別子、並びに評価者スコアデータ記憶部に格納されている各評価者の評価力スコアに基づいて、各評価対象に対する評価を集計することにより各評価対象に対する評価軸毎の修正スコアを算出し、各評価対象の識別子と関連付けて修正スコアを評価対象スコアデータ記憶部に格納するステップ１Ｈを行うことができ、
評価分析データ抽出部は、以下の（１）及び（２）の一方又は両方のデータを抽出し、送受信部からネットワークを介して管理者の端末に送信するステップ１Ｉを行うことができる、
（１）評価対象スコアデータ記憶部に格納されている、各評価対象に対する評価軸毎の修正スコア自体及び／又は当該修正スコアに基づいて算出される統計量を含む評価対象に関するデータ、
（２）評価者スコアデータ記憶部に格納されている、各評価者の評価力スコア自体及び／又は当該評価力スコアに基づいて算出される統計量を含む評価者に関するデータ、
評価用オンラインサーバ。
［１３］
評価分析部は、各評価対象に対する修正スコアを仮スコアとみなして、ステップ１Ｇ及びステップ１Ｈを一度以上回繰り返すことができる［１２］に記載の評価用オンラインサーバ。
［１４］
評価分析部は、以下の（ａ）及び（ｂ）の一方又は両方の条件が満たされると、それ以上ステップ１Ｇの繰り返しを行わない、［１３］に記載の評価用オンラインサーバ。
（ａ）ステップ１Ｇを繰り返す度に、最新の評価力スコアとそれよりも一つ前の評価力スコアの差分又は変化率を評価者毎にすべての評価軸について算出し、当該差分又は変化率が予め設定した条件を満たすかどうかを評価者毎に判定し、すべての評価者について前記条件を満たす。
（ｂ）ステップ１Ｈを繰り返す度に、各評価対象に対する評価軸毎の最新の修正スコアとそれよりも一つ前の修正スコアの差分又は変化率をすべての評価軸について算出し、当該差分又は変化率が予め設定した条件を満たすかどうかを各評価対象について判定し、すべての評価対象について前記条件を満たす。
［１５］
送受信部、制御部、及び記憶部を備え、
前記記憶部は、
複数の評価対象に関するデータを格納するための評価対象データ記憶部と、
少なくとも一つの評価軸に基づく選択式評価入力部を含む評価入力のための第一書式データを格納するための第一書式データ記憶部と、
各評価対象に対する評価及び補正後の評価を含む評価結果データを格納するための評価結果データ記憶部と、
各評価対象に対する評価軸毎の仮スコア、修正スコア及び最終スコアを格納するための評価対象スコアデータ記憶部と、
各評価者の仮評価力スコア及び最終評価力スコアを格納するための評価者スコアデータ記憶部とを有し、
前記制御部は、評価者割り当て部、評価入力用データ抽出部、データ登録部、評価分析部、及び評価分析データ抽出部を有し、
評価者割り当て部は、評価対象データ記憶部に格納されており、識別子が付与されている複数の評価対象を評価すべき評価者を、今回の評価セッションの評価者として識別子が付与されている複数の評価者の中から割り当てるステップ１Ａを行うことができ、
評価入力用データ抽出部は、ステップ１Ａの結果に従い、複数の評価対象に関するデータを評価対象データ記憶部から抽出すると共に、予め定められたテーマに関する設問データを設問データ記憶部から抽出し、第一書式データを第一書式データ記憶部から抽出し、当該複数の評価対象に関するデータ、設問データ及び第一書式データを、送受信部から対応する複数の評価者の端末にネットワークを介して送信するステップ１Ｂを行うことができ、
送受信部は、選択式評価入力部に各評価者によって入力された評価対象に対する評価を含む評価結果データを、各評価者の端末からネットワークを介して受信するステップ１Ｃを行うことができ、
データ登録部は、送受信部で受信した評価結果データのそれぞれに識別子を付与し、評価結果データを送信した各評価者の識別子及び評価対象の識別子と関連付けて、評価結果データを評価結果データ記憶部に格納するステップ１Ｄを行うことができ、
評価分析部は、
・評価結果データ記憶部に格納されている評価結果データ中の、選択式評価入力部に各評価者によって入力された評価に基づき、各評価者の評価の甘辛度合いを評価軸毎に分析し、評価の辛い評価者による評価が相対的に上昇し、評価の甘い評価者による評価が相対的に低下するように評価を補正することで補正後の評価を算出し、各評価者の識別子及び評価対象の識別子と関連付けて補正後の評価を評価結果データ記憶部に格納するステップ１Ｅを行うことができ、
・評価者の人数をｎ（ｎは２以上の整数）とすると、ｋ人目（ｋは１～ｎまでの整数）の評価者による評価対象に対する評価を考慮せずに、評価結果データ記憶部に格納されているその他の評価者による補正後の評価及び評価対象の識別子に基づき、各評価対象に対する評価を集計し、各評価対象に対する仮スコアを評価軸毎に算出し、ｋ人目の評価者の識別子及び各評価対象の識別子と関連付けて仮スコアを評価対象スコアデータ記憶部に格納するステップを一人目からｎ人目までの評価者に対してそれぞれ実施するステップ１Ｆを行うことができ、
・評価結果データ記憶部に格納されているｋ人目（ｋは１～ｎまでの整数）の評価者の識別子と関連付けられた各評価対象に対する補正後の評価と、ｋ人目の評価者の識別子及び各評価対象の識別子と関連付けられて評価対象スコアデータ記憶部に格納されている各評価対象に対する仮スコアを評価軸毎に対比し、両者の近似性を評価者毎に集計することにより、ｋ人目の評価者の仮評価力スコアを算出し、当該仮評価力スコアをｋ人目の評価者の識別子と関連付けて評価者スコアデータ記憶部に格納するステップを一人目からｎ人目までの評価者に対して実施するステップ１Ｇ1を行うことができ、
・ｋ人目（ｋは１～ｎまでの整数）の評価者による評価対象に対する評価を考慮せずに、仮評価力スコアが高い評価者による評価ほど、評価に大きな重み付けを付与することを条件に、評価結果データ記憶部に格納されているその他の評価者による補正後の評価、評価者の識別子及び評価対象の識別子、並びに評価者スコアデータ記憶部に格納されているその他の評価者による評価者の仮評価力スコアに基づいて、各評価対象に対する評価を集計することにより各評価対象に対する評価軸毎の修正スコアを算出し、ｋ人目の評価者の識別子及び各評価対象の識別子と関連付けて修正スコアを評価対象スコアデータ記憶部に格納するステップを一人目からｎ人目までの評価者に対してそれぞれ実施するステップ１Ｈ1を行うことができ、
・評価結果データ記憶部に格納されているｋ人目（ｋは１～ｎまでの整数）の評価者の識別子と関連付けられた各評価対象に対する補正後の評価と、ｋ人目の評価者の識別子及び各評価対象の識別子と関連付けられて評価対象スコアデータ記憶部に格納されている各評価対象に対する修正スコアを評価軸毎に対比し、両者の近似性を評価者毎に集計することにより、ｋ人目の評価者の最終評価力スコアを算出し、当該最終評価力スコアをｋ人目の評価者の識別子と関連付けて評価者スコアデータ記憶部に格納するステップを一人目からｎ人目までの評価者に対して実施するステップ１Ｇ2を行うことができ、
・最終評価力スコアが高い評価者による評価ほど、評価に大きな重み付けを付与することを条件に、評価結果データ記憶部に格納されている補正後の評価、評価者の識別子及び評価対象の識別子、並びに評価者スコアデータ記憶部に格納されている各評価者の最終評価力スコアに基づいて、各評価対象に対する評価を集計することにより各評価対象に対する評価軸毎の最終スコアを算出し、各評価対象の識別子と関連付けて最終スコアを評価対象スコアデータ記憶部に格納するステップ１Ｈ2を行うことができ、
評価分析データ抽出部は、以下の（１）及び（２）の一方又は両方のデータを抽出し、送受信部からネットワークを介して管理者の端末に送信するステップ１Ｉを行うことができる、
（１）評価対象スコアデータ記憶部に格納されている、各評価対象に対する評価軸毎の最終スコア自体及び／又は当該最終スコアに基づいて算出される統計量を含む評価対象に関するデータ、
（２）評価者スコアデータ記憶部に格納されている、各評価者の最終評価力スコア自体及び／又は当該最終評価力スコアに基づいて算出される統計量を含む評価者に関するデータ、
評価用オンラインサーバ。
［１６］
評価分析部は、各評価対象に対する修正スコアを仮スコアとみなして、ステップ１Ｇ1及びステップ１Ｈ1を一度以上回繰り返す［１５］に記載の評価用オンラインサーバ。
［１７］
評価分析部は、以下の（ａ）及び（ｂ）の一方又は両方の条件が満たされると、それ以上ステップ１Ｇ1の繰り返しを行わない、［１６］に記載の評価用オンラインサーバ。
（ａ）ステップ１Ｇ1を繰り返す度に、最新の仮評価力スコアとそれよりも一つ前の仮評価力スコアの差分又は変化率を評価者毎にすべての評価軸について算出し、当該差分又は変化率が予め設定した条件を満たすかどうかを評価者毎に判定し、すべての評価者について前記条件を満たす。
（ｂ）ステップ１Ｈ1を繰り返す度に、各評価対象に対する評価軸毎の最新の修正スコアとそれよりも一つ前の修正スコアの差分又は変化率をすべての評価軸について算出し、当該差分又は変化率が予め設定した条件を満たすかどうかを各評価対象について判定し、すべての評価対象について前記条件を満たす。
［１８］
評価対象データ記憶部には、今回の評価セッションに使用される複数の評価対象とは異なる複数の評価対象に関するデータも格納されていてもよく、
評価分析部は、今回の評価セッションにおける複数の評価対象のそれぞれについて、今回の評価セッションに使用される他の複数の評価対象、及び／又は、前記異なる複数の評価対象との類似度を算出し、算出されたそれぞれの類似度を集計することにより、今回の評価セッションにおける各評価対象の希少性スコアを算出し、各評価対象の識別子と関連付けて希少性スコアを評価対象スコアデータ記憶部に格納するステップ１Ｊを行うことができ、
評価分析データ抽出部は、評価対象スコアデータ記憶部に格納されている、各評価対象の希少性スコア自体及び／又は当該希少性スコアに基づいて算出される統計量を含む評価対象に関するデータを抽出し、送受信部からネットワークを介して管理者の端末に送信するステップ１Ｋを行うことができる、
［１２］～［１７］の何れか一項に記載の評価用オンラインサーバ。
［１９］
前記記憶部は、予め定められたテーマに関する設問データを格納するための設問データ記憶部と、少なくとも一つの情報入力部を含む第二書式データを格納するための第二書式データ記憶部を有しており、
前記制御部は、情報入力用データ抽出部を有しており、
情報入力用データ抽出部は、設問データを設問データ記憶部から抽出すると共に、第二書式データを第二書式データ記憶部から抽出し、設問データ及び第二書式データを送受信部からネットワークを介して収集セッションの回答者として識別子が付与されている複数の回答者の端末に送信するステップ２Ａを行うことができ、
送受信部は、情報入力部に収集セッションの各回答者によって入力された前記テーマに関する情報を含む回答データを、収集セッションの各回答者の端末から受信するステップ２Ｂを行うことができ、
データ登録部は、受信した前記テーマに関する情報を含む回答データにそれぞれ識別子を付与し、前記テーマに関する情報を含む回答データを送信した収集セッションの各回答者の識別子と関連付けて前記テーマに関する情報を含む回答データを評価対象データ記憶部に格納するステップ２Ｃを行うことができる、
［１２］～［１８］の何れか一項に記載の評価用オンラインサーバ。
［２０］
前記記憶部は、回答者に対する評価軸毎のスコアを格納するための回答者スコアデータ記憶部を有しており、
評価分析部は、評価対象スコアデータ記憶部に格納されている、各評価対象に対する評価軸毎の修正スコア若しくは最終スコア自体及び／又は当該修正スコア若しくは最終スコアに基づいて算出される統計量を含む評価対象に関するデータ、並びに、回答者の識別子に基づき、少なくとも一つの評価軸に基づく回答者のスコアを算出し、回答者スコアデータ記憶部に格納するステップ２Ｄを行うことができ、
評価分析データ抽出部は、回答者スコアデータ記憶部に格納されている、評価軸毎の各回答者のスコア自体及び／又は当該スコアに基づいて算出される統計量を含む回答者に関するデータを、送受信部からネットワークを介して管理者の端末に送信するステップ２Ｅを行うことができる、
［１９］に記載の評価用オンラインサーバ。
［２１］
前記評価対象が所定のテーマに関するアイデアである［１２］～［２０］の何れか一項に記載の評価用オンラインサーバ。
［２２］
前記評価対象に関するデータがテキスト情報を含む［１２］～［２１］の何れか一項に記載の評価用オンラインサーバ。
［２３］
［１］～［１１］の何れか一項に記載の評価方法をコンピュータに実行させるためのプログラム。
［２４］
［２３］に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
本発明の一実施態様によれば、アイデア等の評価対象に対する評価、及び、評価対象を評価する評価者の目利き力（評価力）とを、評価者に対して大きな負担をかけることなく独立して算出可能なオンライン評価方法を提供することができる。また、本発明の一実施態様によれば、そのような評価方法をオンラインで実施するためのサーバを提供することができる。
本発明の一実施態様によれば、各評価者に対する評価力を各評価者が評価対象に対して下した評価にのみ依拠して算出することができる。これにより、各評価者に対する評価力の算出結果は高い信頼性を得られることが期待される。そして、各評価者に対する評価力の算出結果に対する信頼性が高いことで、これに基づいて算出される評価対象に対する評価も高い信頼性を得られることが期待される。
本発明の一実施態様によれば、各評価者の評価対象に対する評価の甘辛度合いを分析し、評価の辛い評価者による評価が相対的に上昇し、評価の甘い評価者による評価が相対的に低下するように評価を補正する。これにより、評価者毎に相違し得る評価の甘辛度合いが調整されるため、極端な評価を行う評価者の影響を軽減することが可能になる。
本発明の一実施態様によれば、評価対象に対する評価は、各評価者の評価力に応じた重み付けが付与された上で行われる。このため、評価者の中に不適格な評価者が混ざっていたとしても、その人の影響力を最小化しながら、評価対象に対して精度の高い評価を行うことができる。
本発明の一実施態様に係るオンライン評価システムの全体構成の例を示す。 サーバ、参加者（評価者、回答者）端末、プロジェクト管理者端末、及びサーバ管理者端末の基本的なハードウェア構成例を示す。 サーバの機能ブロック図の一例を示す。 参加者アカウントファイルに含まれる一人の参加者のアカウント情報が記憶されたテーブルの例である。 セッション参加者登録データファイルに含まれる一人の参加者のセッション参加情報が記憶されたテーブルの例である。 プロジェクトデータファイルに含まれるプロジェクトの実施条件に関する情報が記憶されたテーブルの例である。 評価軸データファイルに含まれる一つの評価軸に関する情報が記憶されたテーブルの例である。 設問データファイルに含まれる設問に関する情報が記憶されたテーブルの例である。 回答欄データファイル（概要）に含まれる一つの回答欄に関する情報が記憶されたテーブルの例である。 回答欄データファイル（詳細）に含まれる一つの回答欄についての詳細条件に関する情報が記憶されたテーブルの例である。 評価者端末に表示されるログイン画面の一例である。 回答データファイル（概要）に含まれる一つのテーブルの例である。 回答データファイル（詳細）に含まれる一つの回答データの具体的な内容に関する情報が記憶されたテーブルの例である。 評価結果データファイルに含まれる一つのテーブルの例である。 評価者スコアデータファイルに含まれる一つのテーブルの例である。 回答スコアデータファイルに含まれる一つのテーブルの例である。 回答者スコアデータファイルに含まれる一つのテーブルの例である。 プロジェクト管理者アカウントファイル中の管理者アカウント情報が記憶されたテーブルの例である。 サーバ管理者アカウントファイル中の管理者アカウント情報が記憶されたテーブルの例である。 評価進捗管理ファイルに含まれる進捗状況が記憶されたテーブルの例である。 回答進捗管理ファイルに含まれる進捗状況が記憶されたテーブルの例である。 評価セッション実施の際に評価者端末に表示される画面の例を示す。 収集セッション実施の際に回答者端末に表示される画面の例を示す。 参加者端末に表示される参加者用ページの画面の一例である。 プロジェクト管理者端末に表示されるプロジェクト管理者用ページのメニュー画面の一例である。 サーバ管理者端末に表示されるサーバ管理者用ページのメニュー画面の一例である。 プロジェクト管理者端末に表示される収集セッションの設問設定画面の一例である。 プロジェクト管理者端末に表示される評価セッションの設問設定画面の一例である。 設問タイトル（インデックスとして使用できる設問のテーマを表す簡単な名称）及び設問の目的を説明する簡単な説明文を入力するための入力欄を有する画面の一例である。 プロジェクト管理者端末に表示されるプロジェクトの実施条件設定画面の一例である。 評価者の甘辛度合いを調整する方法を説明するための数直線である。 プロジェクト管理者端末で表示される評価対象に関するデータの一例である。 プロジェクト管理者端末で表示される回答者に関するデータの一例である。 プロジェクト管理者端末で表示される評価者に関するデータの一例である。 プロジェクト管理者がサーバへアクセスしてプロジェクトの実施条件入力及び参加者登録を行う手順を示すフローチャートである。 収集セッションの開始から終了までの処理の流れを示すフローチャートである。 評価セッションの開始から終了までの処理の流れを示すフローチャートである。 評価セッションの終了後、サーバの評価分析部によって評価分析が行われ、その結果を参加者端末及びプロジェクト管理者端末に送信するまでの処理の流れを示すフローチャートである。 プロジェクト管理者端末において表示される評価対象（ここでは回答）の母集団を選択する際の画面の一例である。
以下、本発明に係るオンライン評価方法及び評価用オンラインサーバの実施形態について図面を参照しながら詳細に説明するが、本発明はこれらの実施形態に限定されるものではない。以下の説明において、評価セッションに参加して評価対象を評価する者を「評価者」と呼び、収集セッションに参加して評価対象となる情報を提供する者を「回答者」と呼ぶ。参加者は、評価セッション及び収集セッションのうち一方のみに参加してもよく、両方に参加してもよい。参加者が何れのセッションに参加するかは予め決定することができる。また、ここでは、収集セッションと評価セッションの両方を実施する場合の実施形態について説明するが、評価セッションのみを実施してもよい。
＜１．システム構成＞
図１に本実施形態に係るオンライン評価方法を行うためのシステムの全体構成を示す。本システムは、サーバ１１と、１番目からｎ番目までの複数の参加者端末１２と、プロジェクト管理者端末１３と、サーバ管理者端末１５とを備え、参加者端末１２、プロジェクト管理者端末１３、及びサーバ管理者端末１５は、インターネット、専用回線又は公衆網といったコンピュータネットワーク１４を通じてサーバ１１と相互通信可能に接続されている。サーバ管理者端末１５は必ずしもサーバ１１と独立した端末として必要ではなく、サーバ管理者端末１５の機能はサーバ１１が担うこともできる。
［ネットワーク］
コンピュータネットワーク１４は限定的ではないが、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）など有線ネットワークとすることができ、ＭＩＭＯ（Ｍｕｌｔｉｐｌｅ－Ｉｎｐｕｔ Ｍｕｌｔｉｐｌｅ－Ｏｕｔｐｕｔ）を用いたＷＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの無線ネットワークとすることができる。又は、ＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）などの通信プロトコルを用いたインターネット（Ｉｎｔｅｒｎｅｔ）、又は、いわゆる無線ＬＡＮアクセスポイント（Ｗｉｒｅｌｅｓｓ ＬＡＮ Ａｃｃｅｓｓ Ｐｏｉｎｔ）としての役割を果たす基地局（図示せず）などを介すものであってもよい。
サーバとはサーバ・コンピュータを意味し、１台又は複数台のコンピュータの協働により構成することができる。参加者端末１２、プロジェクト管理者端末１３、及びサーバ管理者端末１５はブラウザを搭載したパーソナルコンピュータにより実現できるが、それに限られるものではなく、スマートフォン、タブレット、携帯電話、モバイル及びＰＤＡといった携帯型の端末、更にはデジタルテレビなどのコンピュータネットワークによる通信が可能な機器や装置類で構成することができる。
サーバ１１、参加者端末１２、プロジェクト管理者端末１３、及びサーバ管理者端末１５の基本的なハードウェア構成は共通しており、図２に示すように、演算装置２０１、記憶装置２０２、出力装置２０３、入力装置２０４及び通信装置２０５を有するコンピュータ２００により実現可能である。また、必要に応じて乱数発生装置２０６及びタイマー２０７を備えてもよい。
演算装置２０１はコンピュータの全体を制御し、入力装置２０４で入力された命令、指示及びデータや、記憶装置２０２に格納されたデータ等を基にプログラムに従って演算処理を実行する装置及び回路等のことを指す。演算装置２０１としては例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等を採用することができる。
記憶装置２０２は各種データ、オペレーティングシステム（ＯＳ）、ネットワークアプリケーション（例：サーバ１１側のウェブサーバソフトウェア、参加者端末１２、プロジェクト管理者端末１３、及びサーバ管理者端末１５のブラウザ）及び各種の演算処理を実行するためのプログラム等を記憶する装置、回路等のことを指し、例えば、主に半導体メモリが用いられる一次記憶装置、主にハードディスクドライブや半導体ディスクが用いられる二次記憶装置（補助記憶装置）、主にＣＤ－ＲＯＭドライブ等のリムーバブルメディアドライブが用いられるオフラインストレージ、テープライブラリ等、公知の記憶装置等を用いることができる。より具体的には、ハードディスクドライブ、フロッピー（登録商標）ディスクドライブ、ＺＩＰドライブ、テープストレージ等の磁気記録媒体を用いる磁気記憶装置の他に、レジスタ、キャッシュメモリ、ＲＯＭ、ＲＡＭ、フラッシュメモリ（例えばＵＳＢメモリやソリッドステートドライブ）、半導体ディスク（例えばＲＡＭディスク、仮想ディスク）などの半導体メモリを利用する記憶回路又は記憶装置や、ＣＤ、ＤＶＤ等の光学記録媒体、ＭＯ等の光磁気ディスクを利用する光学記憶装置、その他紙テープやパンチカード等を利用する記憶装置、ＰＲＡＭ（Ｐｈａｓｅ ｃｈａｎｇｅ ＲＡＭ、相変化メモリ）と呼ばれる相変化記録技術を用いた記憶装置、ホログラフィックメモリ、３次元光メモリを用いた記憶装置、電荷の蓄積を分子レベルで行い情報を記憶する分子メモリを用いた記憶装置等を採用することができる。
出力装置２０３はデータ又は命令の出力を実現する装置、回路等のインターフェースであり、ＬＣＤや有機ＥＬ等のディスプレイの他、プリンター、スピーカ等を採用可能である。
入力装置２０４はデータ又は命令を演算装置２０１に与えるためのインターフェースであり、キーボード、テンキー、マウス等のポインティングデバイス、タッチパネル、リーダー（ＯＣＲ）、入力画面、マイク等の音声入力インターフェース等を採用可能である。
通信装置２０５は装置外部とのデータの送受信を実現する装置、回路であり、例えばＬＡＮポート、モデム、無線ＬＡＮ、ルーター等のネットワークに接続するためのインターフェースである。演算装置２０１の処理結果や記憶装置２０２に記憶する情報をコンピュータネットワーク１４を介して送受信することが可能である。
乱数発生装置２０６は乱数を提供することができる装置である。
タイマー２０７は時間を計測及び通知することができる装置である。
［サーバ］
サーバ１１の機能ブロック図の一例を図３に示す。サーバ１１は送受信部３１０と、制御部３２０と、記憶部３４０とを備える。
＜記憶部＞
本実施形態において、サーバ１１の記憶部３４０には、参加者アカウントファイル３４１、セッション参加者登録データファイル３４２、プロジェクトデータファイル３４３、評価軸データファイル３４４、設問データファイル３４５、回答欄データファイル（概要）３４６ａ、回答欄データファイル（詳細）３４６ｂ、回答データファイル（概要）３４８ａ、回答データファイル（詳細）３４８ｂ、評価結果データファイル３４９、評価者スコアデータファイル３５０、回答スコアデータファイル３５１、回答者スコアデータファイル３５２、プロジェクト管理者アカウントファイル３５３、サーバ管理者アカウントファイル３５４、評価進捗管理ファイル３５５、回答進捗管理ファイル３５６等を格納可能である。これらのファイルはデータの種類に応じて個別に用意してもよいし、複数種類のデータをまとめて一つのファイルに格納してもよい。また、同じファイル名に含まれるデータを複数のファイルに分けて格納してもよい。これら各種のファイルに格納されるデータは、データの種類に応じて一時的に又は非一時的にこれらのファイルに格納することができる。
また、サーバ１１の記憶部３４０には、少なくとも一つの評価軸に基づく選択式評価入力部を含む評価入力のための第一書式データを格納するための第一書式データファイル３６１と、少なくとも一つの情報入力部を含む第二書式データを格納するための第二書式データファイル３６２とを格納可能である。これらのファイルはデータの種類に応じて個別に用意してもよいし、複数種類のデータをまとめて一つのファイルに格納してもよい。また、同じ種類のデータを複数のファイルに分けて格納してもよい。
（参加者アカウントファイル）
参加者アカウントファイル３４１には、収集セッション及び／又は評価セッションに参加する可能性のある候補者のアカウント情報を検索可能な状態で格納することができる。参加者アカウントファイル３４１に含まれる一人の参加者のアカウント情報が記憶されたテーブルの例を図４に示す。当該テーブルには、参加者の識別子である参加者ＩＤ、参加者のメールアドレス、参加者の氏名、当該参加者が所属する団体の識別子である団体ＩＤ、社員番号等の当該団体内でのＩＤ、部署名、生年月日、郵便番号、住所、アカウント開設日時、ログインＰＷ等を記憶させることができる。
（セッション参加者登録データファイル）
セッション参加者登録データファイル３４２には、参加者アカウントファイル３４１に格納されている参加者が、収集セッション及び評価セッションのうちどのセッションに参加するのか又はしないのかについての情報を検索可能な状態で格納することができる。また、セッション参加者登録データファイル３４２には、参加者のセッション毎のステータスについての情報を検索可能な状態で格納することもできる。セッション参加者登録データファイル３４２に含まれる一人の参加者のセッション参加情報が記憶されたテーブルの例を図５に示す。当該テーブルには、当該参加者の参加者ＩＤと関連付けられて、評価セッション参加フラグ及び収集セッション参加フラグのフィールドが設けられており、当該参加者が参加するセッションのフィールドにはフラグが立つようになっている。参加者が、収集セッション及び評価セッションのうちどのセッションに参加するのかしないのかについては、プロジェクト管理者が決定してもよいし、参加者の意思によって決定してもよい。その他の手段により決定してもよい。
（プロジェクトデータファイル）
プロジェクトデータファイル３４３には、所定のテーマに関して収集セッション及び／又は評価セッションを行うプロジェクトの実施条件に関する情報を検索可能な状態で格納することができる。プロジェクトデータファイル３４３に含まれるプロジェクトの実施条件に関する情報が記憶されたテーブルの例を図６に示す。当該テーブルには、プロジェクトの識別子であるプロジェクトＩＤ、設問ＩＤ、ステータス、プロジェクト名、最低回答数、最大回答数、プロジェクト開催案内メール送信日時、収集セッション開始日時、収集セッション終了日時、評価セッション開始日時、評価セッション終了日時、収集セッション開始リマインド日時、収集セッション終了リマインド日時、評価セッション開始リマインド日時、評価セッション終了リマインド日時、自動シャッフルフラグ、評価コメントフラグ、評価者数等の情報を記憶させることができる。一つの評価対象に対する評価者数は多い方が多くの評価者からの評価を集めることができるので客観性が高くなることから、複数であることが好ましく、５人以上であることがより好ましく、１０人以上であることが更により好ましいが、評価時間や評価者数を考慮して現実的な人数（例えば５～２０人の範囲）を設定すればよい。プロジェクトの実施条件に関する情報は一つのファイルにまとめて格納してもよいが、複数のファイルに分けて格納してもよい。
（評価軸データファイル）
評価軸データファイル３４４には、評価対象に対する評価を行う際に使用する評価軸に関する情報を検索可能な状態で格納することができる。当該情報はプロジェクトの実施条件に関する情報の一種と捉えることができる。評価軸が複数存在する場合には、評価軸データファイル３４４には、複数の評価軸に関する情報が格納される。評価軸データファイル３４４に含まれる一つの評価軸に関する情報が記憶されたテーブルの例を図７に示す。当該テーブルには、評価軸の識別子である評価軸ＩＤ、回答欄ＩＤ、連番ＩＤ、評価軸名、最低評価値、最大評価値、最低評価値ラベル、中央評価値ラベル、最大評価値ラベル等の情報を記憶させることができる。本実施形態においては、評価対象は収集セッションで回答者から集めた情報である。但し、評価対象は収集セッションで集めた情報に限定されるものではない。
評価軸名には、評価者が評価対象に対して評価を行う際の評価の観点が記載される。評価の観点は評価対象に応じて適宜設定すればよい。評価の観点としては、例えば、ビジネスアイデアを評価する場合、新規性、斬新性、成長性、社会貢献性、意外性、共感度等が挙げられる。また、企業価値を評価する場合、評価対象企業の成長性、評価対象企業の安定性、評価対象企業の社会貢献性等が挙げられる。また、評価の観点は、単に回答者からの回答に同意又は共感するかしないかということでもよい。更に、個別項目を評価する評価軸に加えて、総合評価という評価軸名を設けてもよい。これにより、評価者全員の個別項目の評価と総合評価の関係を重回帰分析することで、一般的に「どの評価軸が総合評価に最も影響を与えるのか」を可視化することも可能になる。但し、総合評価は後述するように、各評価軸における評価結果から算出することも可能である。
一つの評価対象に対する評価軸は少なくとも一つ必要である。多方面から評価するため、評価軸は二つ以上とすることが好ましく、三つ以上とすることがより好ましい。
（設問データファイル）
設問データファイル３４５には、収集セッションを行う際に回答者に提示する設問に関する情報と、評価セッションを行う際に評価者に提示する設問に関する情報を、検索可能な状態で格納することができる。上記情報はプロジェクトの実施条件に関する情報の一種と捉えることができる。本実施形態においては、収集セッションを行う際に回答者に提示する設問に関する情報と、評価セッションを行う際に評価者に提示する設問に関する情報をセットにして設問データファイル３４５に格納されているが、例えば収集セッションと評価セッションがそれぞれ独立に実施される場合等、これらの二種類の情報は複数のファイルに分けて格納してもよい。設問データファイル３４５に含まれる設問に関する情報が記憶されたテーブルの例を図８に示す。当該テーブルには、当該設問データの識別子である設問ＩＤ、並び順ＩＤ、導入設問フラグ、設問タイトル、収集セッション設問文、評価セッション設問文等の情報を記憶させることができる。
設問のテーマには特に制限はないが、例えば、アイデアのブレインストーミング、ビジョンの浸透、五感の定量化等が挙げられる。
（回答欄データファイル（概要））
回答欄データファイル（概要）３４６ａには、収集セッションを行う際に回答者に提示する回答欄に関する情報を、検索可能な状態で格納することができる。当該情報はプロジェクトの実施条件に関する情報の一種と捉えることができる。回答欄データファイル（概要）３４６ａに含まれる一つの回答欄に関する情報が記憶されたテーブルの例を図９に示す。当該テーブルには、当該回答欄データの識別子である回答欄ＩＤ、設問ＩＤ、並び順ＩＤ、回答欄の種類、質問文（設問データの一種である。）、回答必須フラグ等の情報を記憶させることができる。回答欄の種類としては、特に制約はないが、短文テキスト、長文テキスト、ドロップダウン、チェックボックス、ラジオボタン、数値入力、ファイルアップロード、レイティング（例：Ｎ段階（Ｎ＝３～１１）の評価を行う回答欄の種別）、マトリクス、テキストマトリクス等が挙げられる。回答者の個性や思想が表れやすいことから、回答欄には少なくともテキスト情報が入力できることが好ましい。
（回答欄データファイル（詳細））
回答欄データファイル（詳細）３４６ｂには、収集セッションを行う際に回答者に提示する回答欄の種類に応じた詳細条件に関する情報を、検索可能な状態で格納することができる。当該情報はプロジェクトの実施条件に関する情報の一種と捉えることができる。回答欄データファイル（詳細）３４６ｂに含まれる一つの回答欄についての詳細条件に関する情報が記憶されたテーブルの例を図１０に示す。当該テーブルには、例えば回答欄の種類が“長文テキスト”であった場合、識別子となる回答欄詳細ＩＤ及び回答欄ＩＤと共に、最大文字数、最小文字数等の情報を記憶させることができる。
（回答データファイル（概要））
回答データファイル（概要）３４８ａには、収集セッションにおいて回答者が送信した、所定のテーマに関する情報（換言すれば設問に対する回答）を含む回答データの識別子等を検索可能な状態で格納することができる。回答データに含まれる当該情報は評価対象として利用可能である。回答データファイル（概要）３４８ａに含まれる一つのテーブルの例を図１２に示す。当該テーブルには、回答データの識別子である回答ＩＤ、当該回答データを送信した回答者の識別子である回答者ＩＤ、回答に使用した回答欄ＩＤ等を記憶させることができる。
（回答データファイル（詳細））
回答データファイル（詳細）３４８ｂには、回答欄の種類に応じた回答データの具体的な内容に関する情報を、検索可能な状態で格納することができる。回答データファイル（詳細）３４８ｂに含まれる一つの回答データの具体的な内容に関する情報が記憶されたテーブルの例を図１３に示す。当該テーブルには、例えば回答欄の種類が“長文テキスト”であった場合、識別子となる回答詳細ＩＤ及び回答ＩＤと共に、長文テキストで作成された回答内容を記憶させることができる。
上記の回答データファイル３４８ａ、３４８ｂは、今回の収集セッションによって集めた回答データのみを格納してもよいが、過去の収集セッションによって集めた回答データを格納してもよい。また、サーバ１１の記憶部は、今回又は過去の収集セッションによって集めた回答データ以外にも、評価対象となる情報を格納する評価対象データ記憶部を有してもよい。評価対象データ記憶部に記憶されているすべての情報を、今回の評価セッションの評価対象としてもよいし、一部の情報のみを今回の評価セッションの評価対象としてもよい。
（評価結果データファイル）
評価結果データファイル３４９には、本実施形態における評価対象である回答者からの情報に対する評価者による評価及び評価者の甘辛度合いを分析した後の補正後の評価を含む評価結果データを評価軸毎に検索可能な状態で格納することができる。評価結果データファイル３４９に含まれる一つのテーブルの例を図１４に示す。当該テーブルには、当該評価結果データの識別子である評価ＩＤ、評価軸ＩＤ、評価対象となる情報が含まれる回答データの識別子である回答ＩＤ、評価者ＩＤ、評価者による評価値、甘辛度合いを分析した後の補正後の評価、評価者による記述式のコメント等を記憶させることができる。選択式評価の内容及び記述式評価の内容は評価軸毎に記憶させることができる。
例えば、評価値は「あまり賛同できない」、「賛同できる」、「非常に賛同できる」といった三択式でもよく、「賛同できる」又は「賛同できない」といった二択式でもよく、所定の範囲内の点数で表現してもよい。評価値は先述した評価軸毎に格納することができる。評価対象に対する評価が、選択式評価で行われることで、選択式評価によって評価対象に対する評価データが統計学的に分析しやすくなる。選択式評価には、限定的ではないが、予め表示されている選択肢の一つを選択する方式、評価の大きさに関わる数値を入力する方式等が挙げられる。更に評価結果データファイル３４９には、評価時に評価者が任意で記載できるコメントのデータを格納してもよい。
（評価者スコアデータファイル）
評価者スコアデータファイル３５０は、評価者スコアデータ記憶部の一種である。ここには評価者の目利き力に相当する評価力スコアを評価軸毎に検索可能な状態で格納することができる。一人の評価者による評価対象に対する評価値と、評価対象に対する全評価者からの評価に基づき評価対象が獲得したスコア（本実施形態においては、「回答スコア」）を評価軸毎に対比し、両者の近似性が高いほど、当該評価者に対する評価力スコアは高くなる。評価者スコアデータファイル３５０に含まれる一つのテーブルの例を図１５に示す。当該テーブルには、当該評価者スコアデータの識別子である評価者スコアＩＤ、評価者の識別子である評価者ＩＤ、評価軸ＩＤ、評価者の評価力スコア等を格納することができる。実施態様に応じて、「仮評価力スコア」及び「最終評価力スコア」を格納することもできる。仮評価力スコアは一時ファイルに格納してもよく、仮評価力スコアを一時的に格納する一時ファイルも評価者スコアデータ記憶部の一種である。更に評価者スコアデータファイル３５０には、プロジェクトＩＤ、評価者が評価を行った情報に関連付けられた回答欄ＩＤ、評価力スコアに関する評価者の順位、評価力スコアに関する評価者の偏差値等を格納してもよい。
（回答スコアデータファイル）
回答スコアデータファイル３５１は、評価対象スコアデータ記憶部の一種である。ここには、評価対象である回答者からの情報が、全評価者からの評価に基づき獲得した回答スコアを評価軸毎に検索可能な状態で格納することができる。回答スコアとしては、仮スコア、修正スコア及び最終スコアが挙げられ、これらの一又は二以上を実施態様に応じて格納することができる。仮スコア及び修正スコアは一時ファイルに格納してもよく、仮スコア及び修正スコアを一時的に格納する一時ファイルも評価対象スコアデータ記憶部の一種である。回答スコアデータファイル３５１に含まれる一つのテーブルの例を図１６に示す。当該テーブルには、当該回答スコアデータの識別子である回答スコアＩＤ、回答者の識別子である回答者ＩＤ、評価軸ＩＤ、当該情報に関連付けられた回答欄ＩＤ、当該情報に対する回答スコア等を格納することができる。更に回答スコアデータファイル３５１には、プロジェクトＩＤ、当該情報が獲得した回答スコアの順位、当該情報が獲得した回答スコアの偏差値、希少性スコア等を格納してもよい。
（回答者スコアデータファイル）
回答者スコアデータファイル３５２は、回答者スコアデータ記憶部の一種である。ここには、評価対象となる情報が獲得した回答スコアに基づいて算出される回答者に対するスコア（「回答者スコア」）を評価軸毎に検索可能な状態で格納することができる。一般に、高い回答スコアを獲得した情報（評価者からの評価の高い情報）を提供した回答者は、高い回答者スコアが付与される。回答者スコアデータファイル３５２に含まれる一つのテーブルの例を図１７に示す。当該テーブルには、当該回答者スコアデータの識別子である回答者スコアＩＤ、回答者の識別子である回答者ＩＤ、評価軸ＩＤ及び回答者スコア等を格納することができる。更に回答者スコアデータファイル３５２には、プロジェクトＩＤ、回答者が回答した情報に関連付けられた回答欄ＩＤ、回答者スコアに関する回答者の順位、回答者スコアに関する回答者の偏差値等を格納してもよい。
（プロジェクト管理者アカウントファイル）
プロジェクト管理者アカウントファイル３５３には、所定のテーマに関して収集セッション及び／又は評価セッションを行うプロジェクトの管理者、例えば回答者及び／又は評価者が所属する企業等の団体のアカウント情報を検索可能な状態で格納することができる。プロジェクト管理者アカウントファイル３５３中の管理者アカウント情報が記憶されたテーブルの例を図１８に示す。管理者が企業等の団体の場合、当該テーブルには当該団体の識別子である団体ＩＤ、団体名、団体の代表管理者の氏名、代表管理者ＩＤ、団体の郵便番号及び住所、担当部署名、電話番号及びメールアドレス、アカウント開設日時、ログインＰＷ、ステータスなどを記憶させることができる。ステータスとしては「閉鎖済みアカウント」などの管理者アカウントの存続に関する情報が挙げられる。
（サーバ管理者アカウントファイル）
サーバ管理者アカウントファイル３５４にはサーバ管理者のアカウント情報を検索可能な状態で格納することができる。サーバ管理者アカウントファイル中の管理者アカウント情報が記憶されたテーブルの例を図１９に示す。当該テーブルにはサーバ管理者の識別子であるサーバ管理者ＩＤ、ログインパスワード（ＰＷ）、アカウント作成日時、権限レベル等を記憶させることができる。
（評価進捗管理ファイル）
評価進捗管理ファイル３５５には、評価セッションの進捗に関する情報を格納することができる。評価進捗管理ファイル３５５に含まれる進捗状況が記憶されたテーブルの例を図２０に示す。評価者の評価者ＩＤ、当該評価者が評価すべき回答ＩＤ等の評価対象の識別子、必要評価数、評価済み数等を記憶させることができる。評価進捗管理ファイル３５５は一時ファイルとしてもよい。
（回答進捗管理ファイル）
回答進捗管理ファイル３５６には、収集セッションの進捗に関する情報を格納することができる。回答進捗管理ファイル３５６に含まれる進捗状況が記憶されたテーブルの例を図２１に示す。回答者の回答者ＩＤ、当該回答者が回答すべき設問の数（必要回答数）、回答済み数等を記憶させることができる。回答進捗管理ファイル３５６は一時ファイルとしてもよい。
上記データファイルのテーブルにおいて、各フィールドに対してｉｎｔ（整数型）、ｔｅｘｔ（文字列型）、ｆｌｏａｔ（浮動小数点型）、ｃｒｙｐｔ（暗号化文字列型）及びｄａｔｅ（日付け時刻型）、ｂｏｏｌ（真と偽の２値型）等のデータ型を採用しているが、データ型は図示の態様に限定されるものではなく、必要に応じて適宜変更することができる。
（第一書式データファイル）
第一書式データ記憶部の一種である第一書式データファイル３６１には、評価セッションを実施するのに利用する、少なくとも一つの評価軸に基づく選択式評価入力部を含む評価入力のための第一書式データを格納することができる。先述したように、選択式評価によって評価対象に対する評価データが統計学的に分析しやすくなる。第一書式データは、少なくとも一つの記述式コメント入力部を更に含んでいてもよい。記述式評価があることで記述の自由度が高まるので、読み手は評価者の考え方や評価の根拠を深く理解することができる。図２２に、回答データファイル（詳細）３４８ｂに格納されている回答内容（評価対象）に関する情報と、評価軸データファイル３４４に格納されている評価軸毎の評価入力条件と、選択式評価入力部を含む評価入力のための第一書式データに基づいて評価者端末１２に表示される画面の例を示す。第一書式データは、設問データファイル３４５に格納されている収集セッションの設問文及び評価セッションの設問文、並びに、回答欄データファイル（概要）３４６ａに格納されている質問文等の他の情報を画面に表示する箇所を適宜有してもよい。
（第二書式データファイル）
第二書式データ記憶部の一種である第二書式データファイル３６２には、収集セッションを実施するのに利用する、少なくとも一つの情報入力部（本実施形態では「回答欄」）を含む第二書式データを格納することができる。回答欄には、回答者の考えを反映する情報が入力することができる限り、入力方法には特段の制約はないが、テキスト情報の入力部が含まれることが好ましい。回答者は予め定められたテーマに関する設問に対する回答を回答欄に記入することができる。回答欄の書式は、回答欄データファイル（概要）３４６ａ及び回答欄データファイル（詳細）３４６ｂに定められた条件に従って決定され、当該条件に合致する第二書式データが回答者に送られる。図２３に、回答欄データファイル（概要）３４６ａ及び回答欄データファイル（詳細）３４６ｂに格納されている回答欄の条件に従って抽出される第二書式データに基づいて回答者端末１２に表示される画面の例を示す。設問データファイル３４５に格納されている収集セッションの設問文を合わせて画面に表示する箇所を適宜有してもよい。図２３に示す画面上では、回答者が入力した回答が回答欄に表示されている。
＜送受信部＞
サーバ１１は送受信部３１０を通じて、参加者（評価者、回答者）端末１２、プロジェクト管理者端末１３及びサーバ管理者端末１５とコンピュータネットワーク１４を介して種々のデータのやり取りを行うことができる。
例えば、送受信部３１０は、
プロジェクト管理者端末１３から、収集セッション及び評価セッションに関する種々の条件を受信することができ、
評価セッションにおいて、複数の評価対象（本実施形態では回答者が送信した所定のテーマに関する情報）に関するデータ、設問データ及び第一書式データを、対応する複数の評価者の端末に表示可能な態様で送信することができ、
評価セッションにおいて、選択式評価入力部に各評価者によって入力された評価対象に対する評価を含む評価データを、各評価者の端末から受信するステップ１Ｃを行うことができ、
評価対象に対する種々の評価分析データを表示可能な態様でプロジェクト管理者端末１３に送信することができ、
評価者に対する評価力スコア等の評価者に関する種々のデータを表示可能な態様でプロジェクト管理者端末１３に送信することができ、
収集セッションにおいて、設問データ及び第二書式データを表示可能な態様で複数の回答者の端末に送信することができ、
収集セッションにおいて、各回答者によって入力された所定のテーマに関する情報を含む回答データを、各回答者の端末から受信するステップ２Ｂを行うことができ、
回答者に対するスコア等の回答者に関する種々のデータを表示可能な態様でプロジェクト管理者端末１３に送信することができる。
＜制御部＞
本実施形態において、サーバ１１の制御部３２０は、認証処理部３２１、評価者割り当て部３２２、評価入力用データ抽出部３２３、情報入力用データ抽出部３２４、データ登録部３２５、評価分析部３２６、評価分析データ抽出部３２７、制限時間判断部３２８、評価数判断部３２９、回答数判断部３３０を有しており、各部はそれぞれプログラムに基づいて所期の演算を行うことができる。
（認証処理部）
認証処理部３２１は、参加者（評価者、回答者）端末１２からのアクセス要求に基づいて、参加者ＩＤ及びパスワードを認証することができる。例えば、参加者端末１２からのアクセス要求は、図１１に示すような参加者端末１２のトップページの画面上に表示されている所定の欄に参加者ＩＤ及びパスワードを入力し、画面上の「Ｌｏｇ Ｉｎ」ボタンをクリックすることで実行することができる。参加者の参加者ＩＤ及びパスワードはサーバ管理者から予め付与されたものを使用することができる。認証処理は、認証処理部３２１が、参加者アカウントファイル３４１を参照して、入力された参加者ＩＤ及びパスワードが、参加者アカウントファイル３４１内に記憶されているデータと一致するか否かを判別することで行うことができる。入力された参加者ＩＤ及びパスワードが記憶されているデータと一致する場合には、参加者用ページの画面データ（例えば図２４に示すメニュー画面）を送受信部３１０から当該評価者端末１２に送信することができる。一致しない場合には、エラーメッセージを送信することができる。
また、認証処理部３２１はプロジェクト管理者端末１３からのアクセス要求に基づいて、団体ＩＤ及びパスワードを認証することができる。団体ＩＤ及びパスワードはサーバ管理者から予め付与されたものを使用することができる。認証処理は、認証処理部３２１がプロジェクト管理者アカウントファイル３５３を参照して、入力された団体ＩＤ及びパスワードが、プロジェクト管理者アカウントファイル３５３内に記憶されているデータと一致するか否かを判別することで行うことができる。入力された団体ＩＤ及びパスワードが記憶されているデータと一致する場合には、図２５に示すようなプロジェクト管理者用ページの画面データを、送受信部３１０から当該プロジェクト管理者端末１３に送信することができる。一致しない場合には、エラーメッセージを送信することができる。
また、認証処理部３２１はサーバ管理者端末１５からのアクセス要求に基づいて、サーバ管理者ＩＤ及びパスワードを認証することができる。サーバ管理者ＩＤ及びパスワードは自身で予め設定したものを使用することができる。認証処理は、認証処理部３２１がサーバ管理者アカウントファイル３５４を参照して、入力されたサーバ管理者ＩＤ及びパスワードが、サーバ管理者アカウントファイル３５４内に記憶されているデータと一致するか否かを判別することで行うことができる。入力されたサーバ管理者ＩＤ及びパスワードが記憶されているデータと一致する場合には、サーバ管理者用ページの画面データ（例えば図２６に記載の管理画面）を送受信部３１０から当該サーバ管理者端末１５に送信することができる。一致しない場合には、エラーメッセージを送信することができる。
（データ登録部）
データ登録部３２５は、参加者（評価者、回答者）の登録を行うことができる。例えば、前記手順によって参加者が所属する企業等のプロジェクト管理者がプロジェクト管理者端末１３を利用してログインすると、プロジェクト管理者端末１３には図２５に示すようなプロジェクト管理者画面が表示される。プロジェクト管理者が、「評価者一括追加」又は「評価者個別追加」のボタンをクリックすると、図示しないが、プロジェクト管理者端末１３には評価者のアカウント情報を入力する画面が表示され、当該画面上で、評価者の個人ＩＤ、評価者ＩＤ、当該評価者が所属する団体の団体ＩＤ、社員番号等の参加者アカウントファイル３４１に格納すべき所定の評価者アカウント情報を入力することができる。入力終了後、当該画面上で「保存」又は「確定」等の所定のボタンをクリックすることで、評価者アカウント情報をサーバ１１に送信することができる。別法として、管理者が、「ＣＳＶ ｕｐｌｏａｄ一括」又は「ＣＳＶ ｕｐｌｏａｄ個別」のボタンをクリックすると、プロジェクト管理者端末１３等に格納されているファイルを選択する画面が表示されるので、参加者アカウント情報が記憶されている所望のファイルを選択して「送信」等の所定のボタンをクリックすることで、参加者アカウント情報をサーバ１１に送信することができる。このようにして、サーバ１１に送信されてきた評価者のアカウント情報はサーバ１１の送受信部３１０で受信され、データ登録部３２５は受信した情報を参加者アカウントファイル３４１に格納することができる。
また、データ登録部３２５は、収集セッション及び評価セッションを含むプロジェクト実施条件の登録を行うことができる。例えば、プロジェクト管理者が図２５に示すようなプロジェクト管理者画面上で、「収集・評価セッション設問設定」のボタンをクリックすると、図２７Ａに示すような収集セッションの設問設定画面に切り替わる。管理者は、当該画面上で、回答者に対して提示する予め定められたテーマに関する設問文（テーマを提示する文章）、回答欄毎に回答者に対して提示する質問文、回答欄の種別等の設問データファイル３４５、回答欄データファイル（概要）３４６ａ、及び回答欄データファイル（詳細）３４６ｂに格納すべき収集セッションの設問に関する情報を入力することができる。また、収集セッションの設問設定画面には、評価セッションの設問設定画面との間で切替えが可能なボタンが設けられており、例えばプロジェクト管理者が収集セッションの設問設定画面上で「評価」のボタンをクリックすると、図２７Ｂに示すような評価セッションの設問設定画面に切り替わる。管理者は、当該画面上で、評価者に対して提示する予め定められたテーマに関する設問文、評価軸名、最低評価値、最大評価値、最低評価値ラベル、中央評価値ラベル、最大評価値ラベル等の設問データファイル３４５、及び評価軸データファイル３４４に格納すべき評価セッションの設問に関する情報を入力することができる。評価セッションの設問設定画面には、収集セッションで回答者への設問も表示可能である。これにより、プロジェクト管理者は収集セッションで回答者への設問を参照しながら評価セッションの設問を設定することができる。
収集セッションの設問に関する情報及び評価セッションの設問に関する情報を入力終了後、管理者が「作成完了」のボタンをクリックすると、図２８に示すような、当該プロジェクトで使用する設問タイトル（インデックスとして使用できる設問のテーマを表す簡単な名称）及び設問の目的を説明する簡単な説明文を入力するための入力欄を有する画面が表示されるので、入力欄にこれらを入力することができる。更に、設問タイトルに関する簡単なイメージ図をファイル名に基づいて選択、又は、画面上の所定位置にドラッグアンドドロップすることで選択できるように構成してもよい。設問タイトル等も収集セッションの設問に関する情報又は評価セッションの設問に関する情報の一種として扱うことができる。その後、管理者が「作成」のボタンをクリックすることで、収集セッションの設問に関する情報及び評価セッションの設問に関する情報をサーバ１１に送信することができる。
なお、設問タイトル等は、図２７Ａに示すような収集セッションの設問設定画面上、図２７Ｂに示すような評価セッションの設問設定画面上、又は別の画面上で同時に入力できるように構成してもよいし、図２７Ａに示すような収集セッションの設問設定画面上で収集セッションの設問に関する情報を入力する前又は図２７Ｂに示すような評価セッションの設問設定画面上で評価セッションの設問に関する情報を入力する前に別の画面上で入力できるようにしてもよい。
このようにして、サーバ１１に送信されてきた収集セッションの設問に関する情報はサーバ１１の送受信部３１０で受信され、データ登録部３２５は受信した情報を設問ＩＤ、回答欄ＩＤ等の識別子と関連付けて、設問データファイル３４５、回答欄データファイル（概要）３４６ａ、及び回答欄データファイル（詳細）３４６ｂに格納することができる。設問ＩＤ、回答欄ＩＤ等の識別子はサーバ管理者が個別に手作業で付与してもよいし、サーバ１１が収集セッションの実施条件に関する情報を設問データファイル３４５、回答欄データファイル（概要）３４６ａ、及び回答欄データファイル（詳細）３４６ｂに格納するときに予め定めた規則に従って自動的に割り振ってもよい。
また、サーバ１１に送信されてきた評価セッションの設問に関する情報はサーバ１１の送受信部３１０で受信され、データ登録部３２５は受信した情報を設問ＩＤ、評価軸ＩＤ、回答欄ＩＤ等の識別子と関連付けて、設問データファイル３４５、評価軸データファイル３４４に格納することができる。評価軸ＩＤはサーバ管理者が個別に手作業で付与してもよいし、サーバ１１が評価セッションの設問に関する情報を設問データファイル３４５、評価軸データファイル３４４に格納するときに予め定めた規則に従って自動的に割り振ってもよい。
また、プロジェクト管理者が図２５に示すようなプロジェクト管理者画面上で、「プロジェクト条件設定」のボタンをクリックすると、図２９に示すようなプロジェクトの実施条件設定画面に切り替わる。管理者は、当該画面上で、プロジェクト名、収集セッションの開始日時及び終了日時、評価セッションの開始日時及び終了日時、参加者へのメール通知日時等のプロジェクトデータファイル３４３に格納すべき情報を入力することができる。また、図示するように、プルダウンメニュー等を設けることで予め作成した収集セッション及び評価セッションの内容を設問タイトルの一覧から選択できるように構成してもよい。また、選択されている設問タイトルに関する簡単なイメージ図及び／又は設問の目的を示す簡単な説明文が表示されるようにしてもよい。入力終了後、管理者が「完了」のボタンをクリックすることで、プロジェクトの実施条件に関する情報をサーバ１１に送信することができる。このようにして、サーバ１１に送信されてきたプロジェクトの実施条件に関する情報はサーバ１１の送受信部３１０で受信され、データ登録部３２５は受信した情報をプロジェクトＩＤ等の識別子と関連付けてプロジェクトデータファイル３４３に格納することができる。プロジェクトＩＤはサーバ管理者が個別に手作業で付与してもよいし、サーバ１１がプロジェクトの実施条件に関する情報をプロジェクトデータファイル３４３に格納するときに予め定めた規則に従って自動的に割り振ってもよい。
また、データ登録部３２５は、プロジェクト管理者の登録を行うことができる。サーバ管理者（換言すれば、オンライン評価システム提供者）が、前記手順によってサーバ管理者端末１５を利用してログインすると、サーバ管理者端末１５には図２６の左側に示すようなサーバ管理者画面が表示される。サーバ管理者が設定を希望する項目に応じた「詳細」のボタンをクリックすると、サーバ管理者端末１５には図２６の右側に示すような団体のプロジェクト管理者のアカウント情報を入力する画面が表示され、当該画面上で、団体ＩＤ、団体名、代表管理者氏名、連絡先等のプロジェクト管理者アカウントファイル３５３に格納すべき所定のプロジェクト管理者アカウント情報を入力することができる。入力終了後、「保存」のボタンをクリックすることで、管理者アカウント情報をサーバ１１に送信することができる。このようにして、サーバ１１に送信されてきた管理者のアカウント情報はサーバ１１の送受信部３１０で受信され、データ登録部３２５は受信した情報をプロジェクト管理者アカウントファイル３５３に格納することができる。
また、データ登録部３２５は、収集セッションにおいて回答者が送信した、所定のテーマに関する情報を含む回答データを登録することができる。例えば、回答者端末１２に、図２３に示すような収集セッションにおける回答者用画面が表示されているときに、回答者が情報入力部の一種である回答欄に情報を入力し、「送信」のボタンをクリックすると、当該回答者からの回答データがコンピュータネットワーク１４を介してサーバ１１に送信される。データ登録部３２５は、当該回答データに回答ＩＤを付与し、当該回答データを送信した回答者の回答者ＩＤ等と関連付けて当該回答データを回答データファイル３４８ａ、３４８ｂに格納するステップ２Ｃを行うことができる。別法として、データ登録部３２５は、送受信部３１０で受信した回答データが、制限時間判断部３２８により制限時間内に受信したと判断された場合にのみ、当該回答データに回答ＩＤを付与し、当該回答データを送信した回答者の回答者ＩＤ等と関連付けて当該回答データを回答データファイル３４８ａ、３４８ｂに格納してもよい。
回答者が回答欄に評価対象となる情報を入力して送信できる回数は、プロジェクト管理者が収集セッションの目的に応じて適宜設定すればよい。例えば、１回のみ送信できるように設定してもよいし、多くの種類のアイデアを集めることが目的であるような場合には複数回送信できるように設定してもよい。また、複数の回答欄に入力した複数の評価対象となる情報を一括して送信できるようにしてもよい。
また、データ登録部３２５は、評価者による評価の登録を行うことができる。例えば、評価者端末１２に、図２２に示すような評価セッションにおける評価者用画面が表示されているときに、評価者が回答欄に表示されている情報に対する評価を評価軸毎に選択的に入力（例えば、評価者の共感度を示す「全くそう思わない（１）」、「あまりそう思わない（２）」、「どちらでもない（３）」、「ややそう思う（４）」、「非常にそう思う（５）」の何れかのボタンをクリック）し、「送信」のボタンをクリックすると、当該評価者からの評価結果データがコンピュータネットワーク１４を介してサーバ１１に送信される。データ登録部３２５は、評価結果データを送受信部３１０が受信すると、当該評価結果データに評価ＩＤを付与し、当該評価結果データを送信した評価者の評価者ＩＤ及び回答ＩＤ等と関連付けて当該評価結果データを評価結果データファイル３４９に格納するステップ１Ｄを行うことができる。評価セッションにおいても、収集セッションと同様に、制限時間判断部３２８により制限時間内に受信したと判断された場合のみ、評価結果データを評価結果データファイル３４９に格納するようにしてもよい。
（情報入力用データ抽出部）
情報入力用データ抽出部３２４は、設問データを設問データファイル３４５及び回答欄データファイル（概要）３４６ａから抽出すると共に、回答欄データファイル３４６ａ、３４６ｂに格納されている条件に合致する第二書式データを第二書式データファイル３６２から抽出し、セッション参加者登録データファイル３４２内に収集セッションの回答者としてフラグが付与されている複数の回答者の回答者端末１２に、送受信部３１０からコンピュータネットワーク１４を介して表示可能な形態で一斉又は個別に送信するステップ２Ａを行うことができる。当該抽出及び送信は、プロジェクト管理者端末１３から送信される収集セッション開始の指示を送受信部３１０が受信することをトリガーとして行ってもよいし、回答者端末１２から収集セッション開始の要求を送受信部３１０が個別に受信することをトリガーとして行ってもよい。更に、情報入力用データ抽出部３２４は、収集セッション開始の指示又は要求を受信した後、セッション参加者登録データファイル３４２等においてステータスを収集セッションが開始したことを示すステータスに変更して格納することができる。
（制限時間判断部）
制限時間判断部３２８は、例えば収集セッション（又は評価セッション）において、回答者端末１２から送信された回答データ（又は評価者端末１２から送信された評価結果データ）を送受信部３１０で受信した時点が、サーバ１１に内蔵されたタイマー２０７を利用し、プロジェクトデータファイル３４３に記憶されているプロジェクトＩＤ、収集セッション（又は評価セッション）の開始日時、収集セッション（又は評価セッション）の終了日時、及び回答（又は評価）制限時間等の時間情報に基づいて、制限時間内にあるか否かを判断することができる。
判断の結果、制限時間内と判断した場合は、当該回答データ（又は評価データ）に回答ＩＤ（又は評価ＩＤ）を付与し、当該回答データ（又は評価データ）を送信した回答者の回答者ＩＤ（評価者の評価者ＩＤ）等と関連付けて回答データファイル３４８ａ、３４８ｂ（又は評価結果データファイル３４９）に格納するように、データ登録部３２５に指示することができる。
一方、判断の結果、制限時間を過ぎたと判断した場合は、回答データの回答者端末１２（又は評価データの評価者端末１２）からの送信又はサーバ１１での受信を拒否することができる。また、制限時間判断部３２８は、回答者端末１２からの回答データ（又は評価者端末１２からの評価データ）の受信の有無にかかわらず、所定の制限時間を過ぎたと判断したときには、収集セッション（又は評価セッション）終了の旨を表示可能な形態で送受信部３１０から回答者端末１２（又は評価者端末１２）及びプロジェクト管理者端末１３に送信することができ、制限時間を超えて回答データ（又は評価データ）を受信することを拒否することができる。また、収集セッション（又は評価セッション）が終了した旨を記録するために、サーバ１１の制限時間判断部３２８はセッション参加者登録データファイル３４２等におけるステータスを「収集セッション（又は評価セッション）終了」に変更することができる。更に、制限時間判断部３２８は評価者割り当て部３２２に対して収集セッションが終了した旨を通知してもよい。
（評価者割り当て部）
セッション参加者登録データファイル３４２等におけるステータスが収集セッションの参加者全員で「収集セッション終了」になる、又は、制限時間判断部３２８から収集セッションが終了した旨を受信する等によって、収集セッションが終了したことが確認された後、評価者割り当て部３２２は、プロジェクト管理者端末１３から送信される評価セッション開始の指示を送受信部３１０が受信すると、回答データファイル（詳細）３４８ｂに格納されている各回答データ中の情報（回答内容）を評価すべき評価者を、セッション参加者登録データファイル３４２内に、今回の評価セッションの評価者としてフラグが付与されている複数の評価者の中から割り当てるステップ１Ａを行うことができる。別法として、セッション参加者登録データファイル３４２等におけるステータスが収集セッションの参加者全員で「収集セッション終了」になる、又は、制限時間判断部３２８から収集セッションが終了した旨を受信するなどによって、収集セッションが終了したことが確認されると、評価者割り当て部３２２はプロジェクト管理者端末１３から送信される評価セッション開始の指示を待つことなく、自動的に回答データファイル（詳細）３４８ｂに格納されている各回答データ中の情報（回答内容）を評価すべき評価者を、セッション参加者登録データファイル３４２内に、今回の評価セッションの評価者としてフラグが付与されている複数の評価者の中から割り当てることができるようにしてもよい。これにより、評価時間を節約することが可能となる。
複数の評価対象をプロジェクト管理者が予め用意する等によって、複数の評価対象に関するデータがサーバ１１の記憶部３４０に格納されており、収集セッションを行わない場合もある。その場合、評価者割り当て部３２２は、プロジェクト管理者端末１３から送信される評価セッション開始の指示を受信すると、評価対象データ記憶部に格納されている評価対象に関するデータを評価すべき評価者を、セッション参加者登録データファイル３４２内に、今回の評価セッションの評価者としてフラグが付与されている複数の評価者の中から割り当てることができる。
評価対象の母集団は、プロジェクト管理者が適宜選択可能であり、特段の制限はない。今回の収集セッションによって集めた情報に評価対象を限定してもよいし、当該情報に過去の収集セッションによって集めた情報等の別の情報を評価対象に加えてもよい。或いは、今回及び過去の収集セッションとは無関係に集められた情報を評価対象としてもよい。本実施形態においては、評価者の評価力の算定を評価者のアイデア創造力とは独立して行うため、評価対象の自由度は高い。図３８に、プロジェクト管理者端末１３において表示される評価対象（ここでは回答）の母集団を選択する際の画面の一例を示す。「評価対象フラグ」にチェックを付けた回答を評価セッションの評価対象として選択可能である。
評価者の割り当て方法については、予め定めた方法により行えばよく、特に制限はない。例えば、評価者全員が収集セッションで得られたすべての情報（但し、評価者自身が提供した情報を除く）を評価するようにしてもよい（全評価）。評価対象となる情報が多い場合は、各評価者の評価負担を抑えるため、サーバ１１に内蔵された乱数発生装置２０６より発生した乱数を取得し、当該乱数を用いて回答データファイル（詳細）３４８ｂ等の評価対象記憶部に格納されている評価対象の母集団の中から各評価者が評価すべき情報を決定してもよい（ランダムシャッフル評価）。ランダムシャッフル評価を行う場合、評価者割り当て部３２２が回答ＩＤ等の評価対象の識別子に対して、評価者ＩＤの中から乱数を利用して評価対象の識別子を評価に必要な人数分だけ割り当てることで、どの評価者がどの情報を評価するかの決定を行うことができる。
評価者の甘辛度合いや目利き力を分析する観点からは、一人の評価者が評価する評価対象の数は複数であることが必要であり、１０以上であることが好ましく、２０以上であることがより好ましい。但し、一人の評価者が評価する評価対象の数が過剰になると評価者の負担が大きくなる。このため、評価者の負担を軽減するという観点から、一人の評価者が評価する評価対象の数は、１００以下であることが好ましく、５０以下であることがより好ましい。
評価者の目利き力に相当する評価力スコアを分析するという観点からは、一つの評価対象に対する評価者の人数は複数であることが必要であり、５以上であることが好ましく、１０以上であることがより好ましい。一つの評価対象に対する評価者の人数に特に上限はないが、一人の評価者が評価する評価対象の数が上述した範囲に落ち着くように設定することが望ましい。
各評価対象を評価すべき評価者が決定されると、評価者割り当て部３２２は、評価者による評価の進捗状況を管理するための評価進捗管理ファイル３５５に、評価者毎に、評価者ＩＤ、評価すべき回答ＩＤ等の評価対象の識別子、必要評価数、及び評価済み数などを関連付けて格納することができる。
評価者割り当て部３２２による評価者決定手順の一例を説明する。評価者割り当て部３２２は、評価対象の総数を、例えば評価対象となる情報が格納されている回答ＩＤの数に基づいてカウントし、以下の式によって評価者一人当たりに配分される評価対象の最大配分数を求めることができる。算出結果は繰り上げて整数にすることができる。
最大配分数＝（評価対象の総数）×（一つの評価対象に対する評価者数）／（全評価者数）
一つの評価対象を評価すべき評価者の人数は、プロジェクトデータファイル３４３に記憶されている「一つの評価対象に対して割り当てる評価者の人数」に従うことができる。
評価者割り当て部３２２は、回答データファイル（概要）３４８ａを参照し、評価対象となる情報を送信した回答者の回答者ＩＤと、乱数によって選定された当該回答者による情報を評価すべき評価者の評価者ＩＤが一致した場合は、選定を取り消して乱数による選定を再度実施することが好ましい。また、評価者割り当て部３２２は、特定の評価対象が上記で求めた最大配分数を超えた回数選定された場合も、当該選定を取り消して乱数による選定を再度実施することが好ましい。評価者数が十分にいる場合、このようにして評価者を選定することにより、配分を一回又は複数回繰り返すことによって、全ての評価者が（最大配分数）個又は（最大配分数－１）個だけ評価すべき評価対象を配分されることが可能となる。
評価対象を評価者へ割り当てる際、割り当てる順序が収集セッションによって集められた評価対象の生成順序（時系列）と異なるように、評価者へ割り当てる評価対象の順番をランダム化してもよい。また、評価者へ評価対象を割り当てる際の順序が評価者毎に均等になるように、評価対象を割り当てる時点で最も割り当て数の少ない評価者から順に割り当てるよう処理してもよい。更に、各評価対象を評価すべき、評価者が決定された後、割り当てられた評価対象を評価者に提示する順序をランダム化してもよい。これらの処理を一つ以上行うことで、評価対象と評価者の偏りを防止することができ、評価結果の信頼性を高めることができる。
更に、評価者割り当て部３２２は、プロジェクト管理者端末１３から送信される評価セッション開始の指示を受信する等の適当なタイミングで、セッション参加者登録データファイル３４２等においてステータスを評価セッションが開始したことを示すステータスに変更して格納するように構成してもよい。
（評価入力用データ抽出部）
評価入力用データ抽出部３２３は、評価者割り当て部３２２による、情報を評価すべき評価者の決定に従い、各評価者が評価すべき情報を含む回答データ等の評価対象に関するデータを、評価進捗管理ファイル３５５に記憶されている回答ＩＤ等の評価対象の識別子と評価者ＩＤに基づいて、回答データファイル（詳細）３４８ｂ等の評価対象データ記憶部から抽出すると共に、評価セッションにおける予め定められたテーマに関する設問文を含む設問データを設問データファイル３４５から抽出し、評価軸データファイル３４４に格納されている評価軸に関する条件に基づいて、少なくとも一つの評価軸に基づく選択式評価入力部を含む評価入力のための第一書式データを第一書式データファイル３６１から抽出し、回答データ等の評価対象に関するデータ、設問データ及び第一書式データを表示可能な形態で、送受信部３１０からコンピュータネットワーク１４を介して対応する評価者端末１２に送信するステップ１Ｂを行うことができる。回答データ等の評価対象に関するデータの送信は各評価者が評価すべき分すべてを一斉に送信してもよく、分割して送信してもよい。
この際、評価入力用データ抽出部３２３は、評価軸データファイル３４４内の評価入力条件、設問データファイル３４５内の収集セッションにおける予め定められたテーマに関する設問文、及び、回答欄データファイル（概要）３４６ａに格納されている質問文等の他の情報を抽出し、表示可能な形態で合わせて送信してもよい。
（評価数判断部）
サーバ１１が、評価者端末１２から送信される評価結果データを送受信部３１０で受信すると、サーバ１１の評価数判断部３２９は、評価進捗管理ファイル３５５に、当該評価を送信した評価者の評価者ＩＤと関連付けて評価済み数を一つ増やす。評価数判断部３２９は評価済み数と必要評価数を比較することで、当該評価者の評価セッションの進捗状況を把握可能である。
回答データ等の評価対象に関するデータを分割して各評価者に送信する場合、評価数判断部３２９は、当該評価者が前記決定に従った必要評価数に達したか否かを判断する。必要評価数に達していないと判断されると、評価入力用データ抽出部３２３は、未評価分の回答データ等の評価対象に関するデータを、送受信部３１０からコンピュータネットワーク１４を介して第一書式データと共に表示可能な形態で、対応する評価者端末１２に送信する。
評価数判断部３２９は、ある評価者の評価済み数が必要評価数に達したと判断した場合、評価セッション終了画面及び／又は評価セッションが終了したとの進捗情報を送受信部３１０から当該評価者の評価者端末１２及びプロジェクト管理者端末１３に送信することができる。この際、評価セッションが終了した旨を記録するために、評価数判断部３２９はセッション参加者登録データファイル３４２等におけるステータスを「評価セッション終了」に変更することができる。
（回答数判断部）
サーバ１１が、回答者端末１２から送信される回答データを送受信部３１０で受信すると、サーバ１１の回答数判断部３３０は、回答進捗管理ファイル３５６に、当該回答データを送信した回答者の回答者ＩＤと関連付けて回答済み数を一つ増やす。回答数判断部３３０は回答済み数と必要回答数を比較することで、当該回答者の収集セッションの進捗状況を把握可能である。
設問データ等の回答入力に必要な情報を含むデータを分割して各回答者に送信する場合、回答数判断部３３０は、当該回答者が前記決定に従った必要回答数に達したか否かを判断する。必要回答数に達していないと判断されると、情報入力用データ抽出部３２４は、未回答分の設問データ等の回答入力に必要な情報を含むデータを、送受信部３１０からコンピュータネットワーク１４を介して第二書式データと共に表示可能な形態で、対応する回答者端末１２に送信する。
回答数判断部３３０は、ある回答者の回答済み数が必要回答数に達したと判断した場合、収集セッション終了画面及び／又は収集セッションが終了したとの進捗情報を送受信部３１０から当該回答者の回答者端末１２及びプロジェクト管理者端末１３に送信することができる。この際、収集セッションが終了した旨を記録するために、評価数判断部３３４はセッション参加者登録データファイル３４２等におけるステータスを「収集セッション終了」に変更することができる。
（評価分析部）
＜第一実施形態＞
（１）評価者の甘辛度合いの分析及び評価の補正（ステップ１Ｅ）
評価分析部３２６は、評価結果データファイル３４９中の、選択式評価入力部に各評価者によって入力された評価に基づき、各評価者の評価の甘辛度合いを評価軸毎に分析することができる。分析の結果、評価分析部３２６は、評価の辛い評価者による評価が相対的に上昇し、評価の甘い評価者による評価が相対的に低下するように評価を補正することで補正後の評価を算出する。
評価者の中には甘い評価をする者や辛い評価をする者がおり、評価者によって評価傾向が異なる。このため、極端な評価をする評価者が多いと、同一の評価対象であってもどの評価者が評価するかによって評価結果に大きな差が生まれるおそれがある。そこで、評価者毎に相違し得る評価の甘辛度合いを調整することで、極端な評価を行う評価者の影響を軽減することが可能になる。
甘辛調整の方法は、評価の辛い評価者による評価が相対的に上昇し、評価の甘い評価者による評価が相対的に低下するように評価を補正されるように行う限り、特段の制限はないが、甘辛調整の具体的な方法について例示的に説明する。例えば、評価者Ａが、４８個の評価対象（例えば、ビジネスアイデア）を所与の評価軸に従って３段階で評価した結果が、低評価（評価値＝－１）：８個、中評価（評価値＝０）：１６個、高評価（評価値＝＋１）：２４個であったとする。評価者Ａの低評価、中評価、及び高評価の割合に応じて、低評価、中評価、及び高評価を－１から＋１まで（数値幅が２）の数直線上にこの順に配分する（図３０）。低評価は４８個中８個なので、全評価数の１６．７％が低評価である。１６．７％は数値幅２を基準にすると、０．３３４の幅に相当する。数直線上には、－１から－０．６６６までの幅０．３３４を低評価領域に割り当てる。低評価領域における中点は－０．８３であるので、この中点における値を評価者Ａが低評価とした場合の補正後の評価値とする。同様の方法で、中評価及び高評価についても補正後の評価値を算出すると、それぞれ－０．３３、＋０．５０となる。評価値は、評価者による評価が評価対象に対するスコアに与える影響度の指標となる。
上記方法で甘辛度合いを調整すると、評価者Ｂが甘い評価者であり、４８個の評価対象に対してすべて高評価（評価値＝＋１）を付けたとすると、評価者Ｂによる高評価の評価値は、０点となる。また、評価者Ｃが辛い評価者であり、４８個の評価対象に対してすべて低評価（評価値＝－１）を付けたとすると、評価者Ｃによる低評価の評価値も、０点となる。
評価分析部３２６は、各評価者の評価者ＩＤ及び評価対象の識別子（例：回答ＩＤ）と関連付けて補正後の評価値を評価結果データファイル３４９に格納することができる。補正後の評価値は一時ファイルに格納してもよく、補正後の評価値を一時的に格納する一時ファイルも評価結果データ記憶部の一種である。
（２）評価対象に対する仮スコアの算出（ステップ１Ｆ）
評価分析部３２６は、評価結果データファイル３４９に格納されている補正後の評価及び評価対象の識別子（例：回答ＩＤ）に基づいて、各評価対象に対する評価を集計することにより各評価対象に対する評価軸毎の仮スコアを算出することができる。そして、評価分析部３２６は、各評価対象の識別子（例：回答ＩＤ）と関連付けて仮スコアを評価対象スコアデータ記憶部（例：回答スコアデータファイル３５１）に格納することができる。
仮スコアの算出方法の一例を以下に示す。例えば、あるアイデアに対して４人の評価者（Ａ、Ｂ、Ｃ、Ｄ）が評価を行ったとする。各評価者の当該アイデアに対する評価と、上述した方法によって甘辛度合いを分析することで補正した後の評価値は表１の通りとする。この場合、当該アイデアに対する仮スコアは、すべての評価者の評価力が同一とみなすと、（０．５６＋０．１２－０．５４＋０．７０）÷４＝０．２１と算出することができる。この段階では、評価者の評価力は不明であるため、評価者の評価力は同一とみなすことが妥当である。
（３）評価者の評価力スコアの算出（ステップ１Ｇ）
評価分析部３２６は、評価結果データファイル３４９に格納されている評価者ＩＤと関連付けられた各評価対象に対する補正後の評価と、評価対象スコアデータ記憶部（例：回答スコアデータファイル３５１）に格納されている各評価対象に対する仮スコアを評価軸毎に対比し、両者の近似性を評価者毎に集計することにより、各評価者の評価力スコアを算出することができる。そして、評価分析部３２６は、当該評価力スコアを各評価者の評価者ＩＤと関連付けて評価者スコアデータファイル３５０に格納することができる。
補正後の評価と仮スコアの近似性の集計方法は、任意の統計的手法を用いればよく、特段の制限はないが、例えば、両者の相関係数、ピアソンの積率相関係数、ユークリッド距離、コサイン類似度、ポリシリアル相関係数を算出する方法が挙げられる。例示的に、補正後の評価と仮スコアの相関係数を算出する方法について説明する。表２には、アイデア１からアイデア８までの８個のアイデアについての仮スコア、評価者Ａがそれぞれのアイデアに対して与えた評価、及び評価者Ａの甘辛度合いを分析することで補正した後の評価値を示している。表２から「仮スコア」と「補正後の評価値」の間の相関係数を求めると、０．６０である。両者の相関係数が高いほど両者の近似性が高いと言え、高い評価力スコアを獲得することができる。評価セッションに参加している評価者間で当該近似性を対比することで、評価者間の評価力の相対的な格付けを行うことも可能となる。
評価力スコアは、評価者間の評価力を相対的に格付けできる指標であればよく、その表現方法に特に制限はない。例えば、上述した相関係数自体を評価力スコアとして使用してもよい。また、相関係数から予め定めた基準で誘導されるパラメータを評価力スコアとして使用してもよい。例えば、相関係数の高い評価者順に評価者を格付けし、予め定めた基準に従って評価力スコアを付与してもよい。
相関係数の高い評価者順に評価者を格付けし、評価に重み付けを付与する方法の例を説明する。評価分析部３２６は、各評価軸について評価者全体をＮ人とすると、評価力に関する順位がｋ位（ｋ＝１～Ｎ）の評価者による評価を以下の式で重み付ける。
ｗｅｉｇｈｔ＝１＋ｓｉｎ{（１－２×（ｋ－１）／（Ｎ－１））×ｐｉ／２}
このように重み付けることで、各評価軸について評価者毎に重み付け係数（ｗｅｉｇｈｔ）を付与することができ、当該重み付け係数を評価力として採用してもよい。この場合、当初、各評価者による評価は平等に一票分の投票価値を有していたが、最上位の評価者による評価は２票分の投票価値を有するように変化し、最下位の評価者による評価は０票分の投票価値を有するように変化する。
（４）評価対象に対する修正スコアの算出（ステップ１Ｈ）
先述した仮スコアは、評価者の評価力が不明な状態であったため、すべての評価者が同一の評価力を有するという仮定の下で算出した。しかしながら、評価対象に対する適切な評価を付与する上では、目利き力の高い評価者の評価ほど評価に大きな重み付けを付与することが適切である。
そこで、評価分析部３２６は、評価力スコアが高い評価者による評価ほど、評価に大きな重み付けを付与することを条件に、評価結果データファイル３４９に格納されている補正後の評価、評価者ＩＤ及び評価対象の識別子（例：回答ＩＤ）、並びに評価者スコアデータファイル３５０に格納されている各評価者の評価力スコアに基づいて、各評価対象に対する評価を集計することにより各評価対象に対する評価軸毎の修正スコアを算出することができる。そして、評価分析部３２６は、各評価対象の識別子（例：回答ＩＤ）と関連付けて修正スコアを評価対象スコアデータ記憶部（例：回答スコアデータファイル３５１）に格納することができる。
修正スコアの具体的な算出方法は、上記条件を満たすように適宜決定すればよい。修正スコアの算出方法の一例を以下に示す。例えば、あるアイデアに対して４人の評価者（Ａ、Ｂ、Ｃ、Ｄ）が評価を行ったとする。各評価者の当該アイデアに対する評価と、上述した方法によって甘辛度合いを分析することで補正した後の評価値と、各評価者の評価力スコアは表３の通りとする。この場合、当該アイデアに対する仮スコアは、先述した通り０．２１である。一方、修正スコアの算出方法として、各評価者からの補正後の評価を、各評価者の評価力スコアで加重平均することで、重み付けを付与する方法を採用する場合、当該アイデアに対する修正スコアは０．２９となる。この値に更に任意の統計処理を行った後の値を修正スコアとして定義してもよい。
（５）ステップ１Ｇ及びステップ１Ｈの繰り返し
上記手順で得られた修正スコア又は当該修正スコアに基づいて算出される統計量を、評価対象に対する最終スコアとしてもよい。別法として、評価分析部３２６は、各評価対象に対する修正スコアを仮スコアとみなして、ステップ１Ｇ及びステップ１Ｈを一度以上回繰り返してもよい。評価者に対する評価力スコアの算出（ステップ１Ｇ）と、評価者の評価力に基づき評価に重み付けを与えて評価対象に対するスコアの算出（ステップ１Ｈ）を１回以上、好ましくは１０回以上、より好ましくは１００回以上繰り返すことで、相互に算定に反映される関係にある、各評価者に対する評価力スコアと、各評価対象に対するスコアが、より高い整合性を持つ計算結果を得ることができる。
ステップ１Ｇ及びステップ１Ｈは評価力スコア及び各評価対象に対する修正スコアの一方又は両方が収束するまで繰り返し実施することが望ましい。評価力スコア及び各評価対象に対する修正スコアの一方、好ましくは両方が収束するまでステップ１Ｇ及びステップ１Ｈを繰り返すことで、計算されたスコアが最大限の説明力と一貫性のある解に到達するという利点が得られるからである。但し、ステップ１Ｇ及びステップ１Ｈの繰り返しによっても評価力スコア又は各評価対象に対する修正スコアが収束しないこと（発散する場合や、周期性に収れんする場合など）もある。従って、最大の繰り返し回数（例えば１０～１００回の範囲の何れかの値）を予め設定しておき、それまでに評価力スコア及び各評価対象に対する修正スコアの何れも収束しない場合には、それまでの計算結果に基づき、最終的な評価力スコア及び修正スコアを決定すればよい。また、予め定めておいた最大の繰り返し回数に達する前に評価力スコア及び各評価対象に対する修正スコアの一方又は両方が収束する場合には、計算時間の短縮のためにステップ１Ｇの繰り返しをそれ以上行わないこととすればよい。
従って、一実施形態において、評価分析部３２６は、以下の（ａ）及び（ｂ）の一方又は両方の条件が満たされると、予め定めておいた最大の繰り返し回数に達していなくてもそれ以上ステップ１Ｇの繰り返しを行わない。そのため、評価分析部３２６は、最後のステップ１Ｇを実施した後、最後のステップ１Ｈを実施することで、ステップ１Ｇ及びステップ１Ｈの繰り返しが終了する。
（ａ）ステップ１Ｇを繰り返す度に、最新の評価力スコアとそれよりも一つ前の評価力スコアの差分又は変化率を評価者毎にすべての評価軸について算出し、当該差分又は変化率が予め設定した条件を満たすかどうかを評価者毎に判定し、すべての評価者について前記条件、例えば予め定めた閾値よりも当該差分の絶対値が小さいという条件を満たす。
（ｂ）ステップ１Ｈを繰り返す度に、各評価対象に対する評価軸毎の最新の修正スコアとそれよりも一つ前の修正スコアの差分又は変化率をすべての評価軸について算出し、当該差分又は変化率が予め設定した条件、例えば予め定めた閾値よりも当該差分の絶対値が小さいという条件を満たすかどうかを各評価対象について判定し、すべての評価対象について前記条件を満たす。
評価力スコアが収束しない場合、最終的に採用する評価力スコアは所定回数繰り返し後の最新の評価力スコアとする必要はない。幾つかの評価力スコア（例えば、最後の数回、例えば最後の２～６回で算出された評価力スコア）の平均値を最終的な評価力スコアとして採用してもよい。同様に、修正スコアが収束しない場合、最終的に採用する修正スコアは所定回数繰り返し後の最新の修正スコアとする必要はない。幾つかの修正スコア（例えば、最後の数回、例えば最後の２～６回で算出された修正スコア）の平均値を最終的な修正スコアとして採用してもよい。
（６）評価対象に対する希少性スコアの算出（ステップ１Ｊ）
評価対象データ記憶部（例：回答スコアデータファイル３５１）には、今回の評価セッションに使用される複数の評価対象とは異なる複数の評価対象に関するデータも格納されていてもよい。今回の評価セッションに使用される複数の評価対象とは異なる複数の評価対象に関するデータとは、例えば、過去の収集セッションによって集めた回答データ、プロジェクト管理者が個別に用意した評価対象に関するデータ等が挙げられる。
この場合、評価分析部３２６は、今回の評価セッションにおける複数の評価対象のそれぞれについて、今回の評価セッションに使用される他の複数の評価対象、及び／又は、前記異なる複数の評価対象との類似度を算出し、算出されたそれぞれの類似度を集計することにより、今回の評価セッションにおける各評価対象の希少性スコアを算出することができる。そして、各評価対象の識別子（例：回答ＩＤ）と関連付けて希少性スコアを評価対象スコアデータ記憶部（例：回答スコアデータファイル３５１）に格納することができる。
評価対象同士の類似度の算出は、評価対象の形式に応じて公知の方法により行えばよい。例えば、評価対象が数値や選択肢等の選択式の形式で表現されている場合は、相関係数を利用する方法が挙げられる。評価対象が言語を用いたテキスト形式で表現されている場合は、自然言語処理により各評価対象に対して構文解析及び意味解析等の文脈解析を行い、評価対象同士の類似度を算出する方法が挙げられる。自然言語処理の方法としては、評価対象（テキストデータ）を形態素解析して単語に分解した上で、各単語をベクトル化（分散表現）し、更にＬＳＴＭやＡｖｅｒａｇｅ Ｐｏｏｌｉｎｇといった手法を利用して評価対象をベクトル化する方法が挙げられる。評価対象がベクトル化されると、ユークリッド距離及び／又はコサイン類似度に基づき、評価対象同士の類似度が算出される。類似度は、ユークリッド距離であれば０（同一）～∞（全く異なる）、コサイン類似度であれば１（同一）～－１（反対）で表現される。
例えば、評価対象がビジネスアイデアである場合、当該ビジネスアイデアに類似するビジネスアイデアを評価対象データ記憶部の中から類似度の高い順にＮ個（Ｎは例えば５～２０とすることができる。）検索し、ヒットした類似度の高いビジネスアイデアとの類似度の逆数の平均値を希少性スコアとすることができる。
（７）回答者のスコアの算出（ステップ２Ｄ）
一実施形態において、評価分析部３２６は、評価対象スコアデータ記憶部（例：回答スコアデータファイル３５１）に格納されている、各評価対象に対する評価軸毎の修正スコア自体及び／又は当該修正スコアに基づいて算出される統計量を含む評価対象に関するデータ、並びに、回答者の識別子に基づき、少なくとも一つの評価軸に基づく回答者のスコアを算出し、回答者スコアデータ記憶部（例：回答者スコアデータファイル３５２）に格納するステップ２Ｄを行うことができる。
＜第二実施形態＞
第二実施形態においても、第一実施形態と同様に、評価者の甘辛度合いの分析及び評価の補正（ステップ１Ｆ）の後、評価対象に対するスコアの算出、評価力の算出を行うが、ステップ１Ｆ以降のデータ処理の方法が第一実施形態と異なる。第一実施形態においては、評価力を算出すべき評価者が評価対象に対して行った評価結果も加味して当該評価者の評価力を算出し、また、このようにして算出された各評価者の評価力を元に評価対象に対するスコアを算出していた。この手法はデータ処理を短時間で行えるという利点があるものの、評価力を算出すべき評価者による評価結果が加味されるため、ノイズとなる。すなわち、評価力を算出すべき評価者による評価結果を考慮すると、当該評価者の評価力が高く算出される。このため、評価力を算出すべき評価者を除く他の評価者からの評価結果に基づき当該評価者の評価力を算出することで、（最初に高い評価力を獲得した評価者が繰り返しを行うたびにより評価力が高くなることを防げるため、）より信頼性の高い結果を得ることができる。
例えば、ある評価対象に対して４人の評価者（Ａ、Ｂ、Ｃ、Ｄ）が評価を行うとする。評価者Ａだけが低評価（×）を付け、残りの３人が高評価（〇）を付けたとする。評価者Ａの評価力を算出する際、評価者Ａによる評価結果を考慮するよりも、残りの３人のみからの評価結果に基づき評価者Ａの評価力を算出する方が、評価者Ａの評価力は低下することが理解でき、また、その方が信頼性の高い結果であることが理解できるであろう。以下、第二実施形態によるデータ処理の具体例について説明する。
（１）評価者の甘辛度合いの分析及び評価の補正（ステップ１Ｅ）
第二実施形態におけるステップ１Ｅは、第一実施形態と同様であるため説明を省略する。
（２）評価対象に対する仮スコアの算出（ステップ１Ｆ）
評価分析部３２６は、評価者の人数をｎ（ｎは２以上の整数）とすると、ｋ人目（ｋは１～ｎまでの整数）の評価者による評価対象に対する評価を考慮せずに、評価結果データファイル３４９に格納されているその他の評価者による補正後の評価及び評価対象の識別子（例：回答ＩＤ）に基づき、各評価対象に対する評価を集計し、各評価対象に対する仮スコアを評価軸毎に算出することができる。そして、評価分析部３２６は、ｋ人目の評価者の評価者ＩＤ及び各評価対象の識別子（例：回答ＩＤ）と関連付けて仮スコアを評価対象スコアデータ記憶部（例：回答スコアデータファイル３５１）に格納するステップを一人目からｎ人目までの評価者に対してそれぞれ実施することができる。
仮スコアの算出方法の一例を以下に示す。例えば、あるアイデアに対して４人の評価者（Ａ、Ｂ、Ｃ、Ｄ）が評価を行ったとする。各評価者の当該アイデアに対する評価と、上述した方法によって甘辛度合いを分析することで補正した後の評価値は先述した表１の通りとする。評価者Ａの評価力を算出するための当該アイデアに対する仮スコアは、すべての評価者の評価力が同一とみなすと、評価者Ａによる評価結果を除いて、（０．１２－０．５４＋０．７０）÷３＝０．０９と算出することができる。評価者Ｂ～Ｄについても同様に仮スコアを算出可能である。結果を表４に示す。評価者本人による評価を除いて仮スコアを算出すると、大きな差が生じることが分かる。この段階では、評価者の評価力は不明であるため、評価者の評価力は同一とみなすことが妥当である。
（３）評価者の仮評価力スコアの算出（ステップ１Ｇ1）
次いで評価者の仮評価力を算出する。“仮評価力”と称する理由は、ステップ１Ｇ1で算出される評価力は、最終的な評価力ではないからである。具体的には、評価分析部３２６は、評価結果データファイル３４９に格納されているｋ人目（ｋは１～ｎまでの整数）の評価者の評価者ＩＤと関連付けられた各評価対象に対する補正後の評価と、ｋ人目の評価者の評価者ＩＤ及び各評価対象の識別子（例：回答ＩＤ）と関連付けられて評価対象スコアデータ記憶部（例：回答スコアデータファイル３５１）に格納されている各評価対象に対する仮スコアを評価軸毎に対比し、両者の近似性を評価者毎に集計することにより、ｋ人目の評価者の仮評価力スコアを算出することができる。そして、評価分析部３２６は、当該仮評価力スコアをｋ人目の評価者の評価者ＩＤと関連付けて評価者スコアデータファイル３５０に格納するステップを一人目からｎ人目までの評価者に対して実施することができる。
補正後の評価と仮スコアの近似性の集計方法は、任意の統計的手法を用いればよく、特段の制限はないが、例えば、両者の相関係数、ピアソンの積率相関係数、ユークリッド距離、コサイン類似度、及びポリシリアル相関係数を算出する方法が挙げられる。具体的な集計方法は、第一実施形態で例示した通りである。但し、第二実施形態においては、評価力を算出するための各評価対象に対する仮スコアが評価者毎に異なる点で第一実施形態と異なる。
また、仮評価力スコアは、評価者間の仮評価力を相対的に格付けできる指標であればよく、その表現方法に特に制限はない。具体的な表現方法は第一実施形態で例示した通りである。
（４）評価対象に対する修正スコアの算出（ステップ１Ｈ1）
先述した仮スコアは、評価者の評価力が不明な状態であったため、すべての評価者が同一の評価力を有するという仮定の下で算出した。しかしながら、評価対象に対する適切な評価を付与する上では、目利き力の高い評価者の評価ほど評価に大きな重み付けを付与することが適切である。但し、修正スコアは、次のステップで評価者の最終評価力の算出に使用されることから、最終評価力を算出すべき評価者を除く他の評価者からの評価結果に基づき、修正スコアが算出される。よって、第二実施形態においては、各評価対象に対する修正スコアが評価者毎に異なる点で第一実施形態と異なる。
具体的には、評価分析部３２６は、ｋ人目（ｋは１～ｎまでの整数）の評価者による評価対象に対する評価を考慮せずに、仮評価力スコアが高い評価者による評価ほど、評価に大きな重み付けを付与することを条件に、評価結果データファイル３４９に格納されているその他の評価者による補正後の評価、評価者の評価者ＩＤ及び評価対象の識別子（例：回答ＩＤ）、並びに評価者スコアデータファイル３５０に格納されているその他の評価者による評価者の仮評価力スコアに基づいて、各評価対象に対する評価を集計することにより各評価対象に対する評価軸毎の修正スコアを算出することができる。そして、評価分析部３２６は、ｋ人目の評価者の評価者ＩＤ及び各評価対象の識別子（例：回答ＩＤ）と関連付けて修正スコアを評価対象スコアデータ記憶部（例：回答スコアデータファイル３５１）に格納するステップを一人目からｎ人目までの評価者に対してそれぞれ実施することができる。
修正スコアの具体的な算出方法は、上記条件を満たすように適宜決定すればよい。修正スコアの算出方法の一例を以下に示す。例えば、あるアイデアに対して４人の評価者（Ａ、Ｂ、Ｃ、Ｄ）が評価を行ったとする。各評価者の当該アイデアに対する評価と、上述した方法によって甘辛度合いを分析することで補正した後の評価値と、当該アイデアに対する仮スコアと、各評価者の仮評価力スコアは表５の通りとする。修正スコアの算出方法として、各評価者からの補正後の評価を、各評価者の仮評価力スコアで加重平均することで、重み付けを付与する方法を採用する場合、当該アイデアに対する修正スコアは表５の通りとなる。この値に更に任意の統計処理を行った後の値を修正スコアとして定義してもよい。
（５）評価者の最終評価力スコアの算出（ステップ１Ｇ2）
次いで、評価分析部３２６は、修正スコアに基づき各評価者の最終評価力スコアを算出する。具体的には、評価分析部３２６は、評価結果データファイル３４９に格納されているｋ人目（ｋは１～ｎまでの整数）の評価者の評価者ＩＤと関連付けられた各評価対象に対する補正後の評価と、ｋ人目の評価者の評価者ＩＤ及び各評価対象の識別子（例：回答ＩＤ）と関連付けられて評価対象スコアデータ記憶部（例：回答スコアデータファイル３５１）に格納されている各評価対象に対する修正スコアを評価軸毎に対比し、両者の近似性を評価者毎に集計することにより、ｋ人目の評価者の最終評価力スコアを算出し、当該最終評価力スコアをｋ人目の評価者の識別子と関連付けて評価者スコアデータ記憶部に格納するステップを一人目からｎ人目までの評価者に対して実施するステップ１Ｇ2を行うことができる。
補正後の評価と修正スコアの近似性の集計方法は、任意の統計的手法を用いればよく、特段の制限はないが、例えば、両者の相関係数、ピアソンの積率相関係数、ユークリッド距離、コサイン類似度、及びポリシリアル相関係数を算出する方法が挙げられる。具体的な集計方法は、第一実施形態で例示した通りである。但し、第二実施形態においては、最終評価力を算出するための各評価対象に対する修正スコアが評価者毎に異なる点で第一実施形態と異なる。
また、最終評価力スコアは、評価者間の最終評価力を相対的に格付けできる指標であればよく、その表現方法に特に制限はない。具体的な表現方法は第一実施形態で例示した通りである。
（６）評価対象に対する最終スコアの算出（ステップ１Ｈ2）
次いで、評価分析部３２６は、各評価者の最終評価力スコアを利用して評価対象に対する最終スコアを算出する。修正スコアの算出の際は、各評価者の最終評価力スコアが確定していなかったため、各評価対象に対する修正スコアを評価者毎に算出した。一方、最終スコアの算出の際は、既に各評価者の最終評価力スコアが確定しているため、各評価者の最終評価力スコアに基づいて、各評価対象に対する評価を集計することにより、各評価対象に対する評価軸毎の最終スコアを一つ算出することができる。
具体的には、評価分析部３２６は、最終評価力スコアが高い評価者による評価ほど、評価に大きな重み付けを付与することを条件に、評価結果データファイル３４９に格納されている補正後の評価、評価者の評価者ＩＤ及び評価対象の識別子（例：回答ＩＤ）、並びに評価者スコアデータファイル３５０に格納されている各評価者の最終評価力スコアに基づいて、各評価対象に対する評価を集計することにより各評価対象に対する評価軸毎の最終スコアを算出することができる。そして、評価分析部３２６は、各評価対象の識別子（例：回答ＩＤ）と関連付けて最終スコアを評価対象スコアデータ記憶部（例：回答スコアデータファイル３５１）に格納することができる。
最終スコアの具体的な算出方法は、上記条件を満たすように適宜決定すればよい。最終スコアの算出方法の一例を以下に示す。例えば、あるアイデアに対して４人の評価者（Ａ、Ｂ、Ｃ、Ｄ）が評価を行ったとする。各評価者の当該アイデアに対する評価と、上述した方法によって甘辛度合いを分析することで補正した後の評価値と、各評価者の最終評価力スコアとは表６の通りとする。最終スコアの算出方法として、各評価者からの補正後の評価を、各評価者の最終評価力スコアで加重平均することで、重み付けを付与する方法を採用する場合、当該アイデアに対する最終スコアは表６の通りとなる。この値に更に任意の統計処理を行った後の値を最終スコアとして定義してもよい。
（７）ステップ１Ｇ1及びステップ１Ｈ1の繰り返し
上記手順で得られた最終スコアは、ステップ１Ｇ1及びステップ１Ｈ1を一度ずつ行った後に得られたものである。別法として、評価分析部３２６は、各評価対象に対する修正スコアを仮スコアとみなして、ステップ１Ｇ1及びステップ１Ｈ1を一度以上回繰り返してもよい。評価者に対する仮評価力スコアの算出（ステップ１Ｇ1）と、評価者の仮評価力に基づき評価に重み付けを与えて評価対象に対する修正スコアの算出（ステップ１Ｈ1）を１回以上、好ましくは１０回以上、より好ましくは１００回以上繰り返すことで、相互に算定に反映される関係にある、各評価者に対する評価力スコアと、各評価対象に対するスコアが、より高い整合性を持つ計算結果を得ることができる。
ステップ１Ｇ1及びステップ１Ｈ1は仮評価力スコア及び各評価対象に対する修正スコアの一方又は両方が収束するまで繰り返し実施することが望ましい。仮評価力スコア及び各評価対象に対する修正スコアの一方、好ましくは両方が収束するまでステップ１Ｇ1及びステップ１Ｈ1を繰り返すことで、計算されたスコアが最大限の説明力と一貫性のある解に到達するという利点が得られるからである。但し、ステップ１Ｇ1及びステップ１Ｈ1の繰り返しによっても仮評価力スコア又は各評価対象に対する修正スコアが収束しないこと（発散する場合や、周期性に収れんする場合など）もある。従って、最大の繰り返し回数（例えば１０～１００回の範囲の何れかの値）を予め設定しておき、それまでに仮評価力スコア及び各評価対象に対する修正スコアの何れも収束しない場合には、それまでの計算結果に基づき、最終評価力スコア及び各評価対象に対する最終スコアを決定すればよい。また、予め定めておいた最大の繰り返し回数に達する前に仮評価力スコア及び各評価対象に対する修正スコアの一方又は両方が収束する場合には、計算時間の短縮のためにステップ１Ｇ1の繰り返しをそれ以上行わないこととすればよい。
従って、一実施形態において、評価分析部３２６は、以下の（ａ）及び（ｂ）の一方又は両方の条件が満たされると、予め定めておいた最大の繰り返し回数に達していなくてもそれ以上ステップ１Ｇ1の繰り返しを行わない。そのため、評価分析部３２６は、最後のステップ１Ｇ1を実施した後、最後のステップ１Ｈ1を実施することで、ステップ１Ｇ1及びステップ１Ｈ1の繰り返しが終了する。
（ａ）ステップ１Ｇ1を繰り返す度に、最新の仮評価力スコアとそれよりも一つ前の仮評価力スコアの差分又は変化率を評価者毎にすべての評価軸について算出し、当該差分又は変化率が予め設定した条件、例えば予め定めた閾値よりも当該差分の絶対値が小さいという条件を満たす。
（ｂ）ステップ１Ｈ1を繰り返す度に、各評価対象に対する評価軸毎の最新の修正スコアとそれよりも一つ前の修正スコアの差分又は変化率をすべての評価軸について算出し、当該差分又は変化率が予め設定した条件、例えば予め定めた閾値よりも当該差分の絶対値が小さいという条件を満たすかどうかを各評価対象について判定し、すべての評価対象について前記条件を満たす。
また、仮評価力スコアが収束しない場合、最終的に採用する仮評価力スコアは所定回数繰り返し後の最新の仮評価力スコアとする必要はない。幾つかの仮評価力スコア（例えば、最後の数回、例えば最後の２～６回で算出された仮評価力スコア）の平均値を最終的な仮評価力スコアとして採用してもよい。同様に、修正スコアが収束しない場合、最終的に採用する修正スコアは所定回数繰り返し後の最新の修正スコアとする必要はない。幾つかの修正スコア（例えば、最後の数回、例えば最後の２～６回で算出された修正スコア）の平均値を最終的な修正スコアとして採用してもよい。
評価分析部３２６は、得られた最終的な仮評価力スコアを使用して、最後のステップ１Ｈ1を行い最終的な修正スコアを算出し、その後、ステップ１Ｇ2及びステップ１Ｈ2を実行することで、評価者の最終評価力スコア及び評価対象に対する最終スコアが算出される。
（８）評価対象に対する希少性スコアの算出（ステップ１Ｊ）
評価対象データ記憶部（例：回答スコアデータファイル３５１）には、今回の評価セッションに使用される複数の評価対象とは異なる複数の評価対象に関するデータも格納されていてもよい。今回の評価セッションに使用される複数の評価対象とは異なる複数の評価対象に関するデータとは、例えば、過去の収集セッションによって集めた回答データ、プロジェクト管理者が個別に用意した評価対象に関するデータ等が挙げられる。
この場合、評価分析部３２６は、今回の評価セッションにおける複数の評価対象のそれぞれについて、今回の評価セッションに使用される他の複数の評価対象、及び／又は、前記異なる複数の評価対象との類似度を算出し、算出されたそれぞれの類似度を集計することにより、今回の評価セッションにおける各評価対象の希少性スコアを算出することができる。そして、各評価対象の識別子（例：回答ＩＤ）と関連付けて希少性スコアを評価対象スコアデータ記憶部（例：回答スコアデータファイル３５１）に格納することができる。評価対象同士の類似度の算出方法の具体例は、第一実施形態と同様であるので説明を省略する。
（９）回答者のスコアの算出（ステップ２Ｄ）
一実施形態において、評価分析部３２６は、評価対象スコアデータ記憶部（例：回答スコアデータファイル３５１）に格納されている、各評価対象に対する評価軸毎の最終スコア自体及び／又は当該最終スコアに基づいて算出される統計量を含む評価対象に関するデータ、並びに、回答者の識別子に基づき、少なくとも一つの評価軸に基づく回答者のスコアを算出し、回答者スコアデータ記憶部（例：回答者スコアデータファイル３５２）に格納するステップ２Ｄを行うことができる。
（評価分析データ抽出部）
評価分析データ抽出部３２７は、評価結果データファイル３４９、回答者スコアデータファイル３５２、評価者スコアデータファイル３５０、及び評価対象スコアデータ記憶部（例：回答スコアデータファイル３５１）に格納されている種々の評価分析データを抽出し、当該評価分析データを送受信部３１０からコンピュータネットワーク１４を介して表示可能な形態でプロジェクト管理者端末１３に送信することができる。例えば、評価分析データ抽出部３２７は、以下の（１）及び（２）の一方又は両方のデータを抽出し、送受信部３１０からコンピュータネットワーク１４を介してプロジェクト管理者端末１３に送信するステップ１Ｉを行うことができる。
（１）評価対象スコアデータ記憶部（例：回答スコアデータファイル３５１）に格納されている、各評価対象に対する評価軸毎の修正スコア自体及び／又は当該修正スコアに基づいて算出される統計量を含む評価対象に関するデータ
（２）評価者スコアデータファイル３５０に格納されている、各評価者の評価力スコア自体及び／又は当該評価力スコアに基づいて算出される統計量を含む評価者に関するデータ
また、評価分析データ抽出部３２７は、評価対象スコアデータ記憶部（例：回答スコアデータファイル３５１）に格納されている、各評価対象の希少性スコア自体及び／又は当該希少性スコアに基づいて算出される統計量を含む評価対象に関するデータを抽出し、送受信部３１０からコンピュータネットワーク１４を介してプロジェクト管理者端末１３に送信するステップ１Ｋを行うことができる。
また、評価分析データ抽出部３２７は、回答者スコアデータファイル３５２に格納されている、評価軸毎の各回答者のスコア自体及び／又は当該スコアに基づいて算出される統計量を含む回答者に関するデータを、送受信部３１０からコンピュータネットワーク１４を介してプロジェクト管理者端末１３に送信するステップ２Ｅを行うことができる。
統計量とは、例えば、算術平均値、合計値、変動係数、順位、標準偏差等が挙げられるが、これらに限定されるものではない。
図３１に、プロジェクト管理者端末１３で表示される評価対象に関するデータの一例を示す。図３１においては、特定の回答ＩＤに対する評価軸毎のスコアがグラフ形式で示されている。図３１中、「プロジェクト名」をクリックすることで、プルダウンメニューが表示されるので、所望のプロジェクトを選択することができる。また、「回答ＩＤ」をクリックすることでプルダウンメニューが表示されるので、対応するプロジェクトにおける所望の回答ＩＤを選択することができる。図３１においては、評価結果がグラフ形式で表示されているが、画面上の「一覧」をクリックすることで、一覧表形式での表示に切り替えることが可能である。
図３２に、プロジェクト管理者端末１３で表示される回答者に関するデータの一例を示す。図３２には、特定のプロジェクトについての特定の回答者に対する評価軸毎のスコアがグラフ形式で示されている。図３２中、「プロジェクト名」をクリックすることで、プルダウンメニューが表示されるので、所望のプロジェクトを選択することができる。また、「回答者名」をクリックすることでプルダウンメニューが表示されるので、対応するプロジェクトにおける所望の回答者を選択することができる。図３２においては、評価結果がグラフ形式で表示されているが、画面上の「一覧」をクリックすることで、一覧表形式での表示に切り替えることが可能である。
図３３に、プロジェクト管理者端末１３で表示される評価者に関するデータの一例を示す。図３３には、特定のプロジェクトについての特定の評価者に対する評価軸毎の評価力スコアがグラフ形式で示されている。図３３中、「プロジェクト名」をクリックすることで、プルダウンメニューが表示されるので、所望のプロジェクトを選択することができる。また、「評価者名」をクリックすることでプルダウンメニューが表示されるので、対応するプロジェクトにおける所望の評価者を選択することができる。図３３においては、評価結果がグラフ形式で表示されているが、画面上の「一覧」をクリックすることで、一覧表形式での表示に切り替えることが可能である。
［参加者（評価者、回答者）端末］
参加者端末１２も先述したコンピュータ２００のハードウェア構成を有することができる。参加者端末１２の記憶装置２０２には、ウェブブラウザ等のプログラムの他、ブラウザデータ、サーバ１１と送受信するデータを一時的に又は非一時的に格納することができる。参加者端末１２は入力装置２０４により、ログイン情報の入力、評価対象となる情報の入力、評価対象に対する評価の入力等を行うことができる。参加者端末１２は出力装置２０３により、ログイン画面、評価対象となる情報の入力画面、評価入力用画面、評価分析結果（評価者スコアデータ、回答スコアデータ、回答者スコアデータ等）等を表示させることができる。参加者端末１２は通信装置２０５により、コンピュータネットワーク１４を介してサーバ１１と通信を行うことができる。例えば、サーバ１１からログイン画面、評価対象に関する情報、評価対象となる情報を入力のための書式データ、評価入力のための書式データ及び評価分析データ等を受信することが可能であり、サーバ１１にログイン情報、評価対象となる情報を含む回答データ、評価結果データ等を送信することが可能である。
［プロジェクト管理者端末］
プロジェクト管理者端末１３も先述したコンピュータ２００のハードウェア構成を有することができる。プロジェクト管理者端末１３の記憶装置２０２には、ウェブブラウザ等のプログラムの他、ブラウザデータ、サーバ１１と送受信するデータを一時的に又は非一時的に格納することができる。プロジェクト管理者端末１３は入力装置２０４により、参加者アカウント情報の入力、ログイン情報の入力、プロジェクト実施条件の入力、セッション開始の指示等を行うことができる。プロジェクト管理者端末１３は出力装置２０３により、参加者アカウントデータ、ログイン画面、プロジェクト実施条件の入力画面、評価対象となる情報の入力画面、評価入力用画面、評価分析結果（評価者スコアデータ、回答スコアデータ、回答者スコアデータ等）等を表示させることができる。プロジェクト管理者端末１３は通信装置２０５により、コンピュータネットワーク１４を介してサーバ１１と通信を行うことができる。プロジェクト管理者端末１３は、例えば、サーバ１１からログイン画面、参加者アカウントデータ、評価対象となる情報を含む回答データ、評価結果データ、評価分析データ、評価の進捗データ等を受信することが可能であり、サーバ１１にプロジェクト実施条件データ（評価開始指示を含む）、参加者アカウントデータ及びログインデータ等を送信することが可能である。
［サーバ管理者端末］
サーバ管理者端末１５も先述したコンピュータ２００のハードウェア構成を有することができる。サーバ管理者端末１５の記憶装置２０２には、ウェブブラウザ等のプログラムの他、ブラウザデータ、サーバ１１と送受信するデータを一時的に又は非一時的に格納することができる。サーバ管理者端末１５は入力装置２０４により、サーバ管理者アカウントデータの入力、プロジェクト管理者アカウントデータの入力、ログイン情報の入力等を行うことができる。サーバ管理者端末１５は出力装置２０３により、サーバ管理者アカウントデータ、プロジェクト管理者アカウントデータ、ログイン画面、参加者アカウントデータ、ログイン画面、プロジェクト実施条件の入力画面、評価対象となる情報の入力画面、評価入力用画面、評価分析結果（評価者スコアデータ、回答スコアデータ、回答者スコアデータ等）等を表示させることができる。サーバ管理者端末１５は通信装置２０５により、コンピュータネットワーク１４を介してサーバ１１と通信を行うことができる。例えば、サーバ１１からログイン画面、サーバ管理者アカウントデータ、プロジェクト管理者アカウントデータ、参加者アカウントデータ、評価対象となる情報を含む回答データ、評価者が入力した評価結果データ、評価分析データ、評価の進捗データ等を受信することが可能であり、サーバ１１にサーバ管理者アカウントデータ、プロジェクト管理者アカウントデータ、及びログインデータ等を送信することが可能である。
＜２．オンライン評価のフロー＞
次に、上述のシステムによるオンライン評価方法の手順についてフローチャートを参照しながら例示的に説明する。
（２－１ プロジェクト実施条件の設定）
図３４にはプロジェクト管理者がサーバへアクセスしてプロジェクトの実施条件入力及び参加者登録を行う手順がフローチャートで記載されている。プロジェクト管理者がプロジェクト管理者端末１３から所定のＵＲＬを入力してサーバ１１にアクセスすると、サーバ１１はログイン画面をプロジェクト管理者端末１３に送信する（Ｓ１０１）。次いで、プロジェクト管理者がプロジェクト管理者端末１３に団体ＩＤ及びパスワードを入力し、ログインボタンを押すと（Ｓ１０２）、サーバ１１の認証処理部３２１は、入力された団体ＩＤ及びパスワードが、プロジェクト管理者アカウントファイル３５３内に記憶されているデータと一致するか否かを判別し（Ｓ１０３）、一致する場合には、プロジェクト管理者用の管理画面をプロジェクト管理者端末１３に送信し（Ｓ１０４）、一致しない場合には、エラーメッセージを送信する（Ｓ１０５）。
ログインが成功すると、プロジェクト管理者端末１３には管理画面（例：図２７～２９）が表示される。プロジェクト管理者は管理画面上で、プロジェクト実施条件を入力し、サーバ１１に送信する（Ｓ１０６）。サーバ１１がプロジェクト実施条件に関するデータを受信すると、データ登録部３２５によって、当該データがプロジェクトデータファイル３４３、評価軸データファイル３４４、設問データファイル３４５、回答欄データファイル３４６ａ、３４６ｂ等にそれぞれ格納される（Ｓ１０７）。
プロジェクト実施条件の登録が完了すると、サーバ１１はプロジェクト管理者端末１３にプロジェクト実施条件を伝える画面を送信する（Ｓ１０８）。プロジェクト管理者は当該登録された情報を画面上で確認することができる。次いで、プロジェクト管理者は、収集セッション及び評価セッションに参加する参加者（評価者、回答者）に関する情報を管理画面上で入力し、サーバ１１に送信する（Ｓ１０９）。サーバ１１が参加者に関する情報を含むデータを受信すると、データ登録部３２５によって、当該データが参加者アカウントファイル３４１、セッション参加者登録データファイル３４２等に格納される（Ｓ１１０）。
（２－２ 収集セッション）
図３５には収集セッションの開始から終了までの処理の流れがフローチャートで記載されている。予め設定された収集セッション開始日時になると、サーバ１１は自動的に、セッション参加者登録データファイル３４２等においてステータスを収集セッションが開始したことを示すステータスに変更して格納する（Ｓ１１１）。収集セッション開始の指示は、プロジェクト管理者がプロジェクト管理者端末１３の管理画面上で「収集セッション開始」のボタンをクリックすることでサーバ１１に送信してもよい。
次いで、サーバ１１の情報入力用データ抽出部３２４は、予め定められたテーマに関する設問文及び回答者が情報提供すべき内容を記載した具体的な質問文等を含む設問データを設問データファイル３４５及び回答欄データファイル（概要）３４６ａから抽出すると共に、回答欄データファイル３４６ａ、３４６ｂに格納されている条件に合致する第二書式データを第二書式データファイル３６２から抽出し、セッション参加者登録データファイル３４２内に収集セッションの回答者としてフラグが付与されている複数の回答者の回答者端末１２に送信する（Ｓ１１２）。これにより、回答者端末１２には図２３に示すような情報（回答内容）の入力用画面が表示される（Ｓ１１３）。なお、フローチャートによる説明を省くが、回答者端末１２において情報入力用画面が表示されるためには、回答者端末１２もプロジェクト管理者端末１３と同様の手順で、ＩＤ及びパスワードなどの認証手段による認証を受けてログインされている必要がある。
情報入力用画面が回答者端末１２で表示された後、回答者が当該画面上で設問に対する情報（回答内容）を入力し、「送信」のボタンをクリックする。すると、回答者端末１２から回答データがサーバ１１に送信される（Ｓ１１４）。サーバ１１が回答データを受信すると、回答データを制限時間内に受信したか否かが制限時間判断部３２８によって判断される（Ｓ１１５）。制限時間内であると判断された場合、サーバ１１のデータ登録部３２５は、当該回答データに回答ＩＤを付与し、当該回答データを送信した回答者の回答者ＩＤ等と関連付けて回答データファイル３４８ａ、３４８ｂに格納する（Ｓ１１６）。
次いで、最大回答数が設定されている場合、サーバ１１の回答数判断部３３０は回答者端末１２から一つの回答データを受信する度に、当該回答者の回答者ＩＤに対応した回答進捗管理ファイル３５６における回答済み数を一つ増やすと共に、当該回答者が最大回答数に達したか否かを判断する（Ｓ１１７）。その結果、最大回答数に達していないと判断した場合には、情報入力用データ抽出部３２４は、未回答分の設問データ等の回答入力に必要な情報を含むデータを、対応する回答者端末１２に送信する（Ｓ１１２）。このようにして、最大回答数に達するまで設問データは繰り返し回答者端末１２に送信される。
別法として、サーバ１１はＳ１１２において、各回答者が情報（回答内容）を入力するのに必要な設問を含む設問データをまとめて各回答者端末１２に送信してもよい。また、回答者端末１２はＳ１１４において回答データをまとめてサーバ１１に送信可能にしてもよい。この場合、サーバ１１は当該回答者からのすべての回答データを一度に受信することができ、Ｓ１１２を繰り返し行う必要はない。
一方、サーバ１１の制限時間判断部３２８は、制限時間を過ぎて回答データを受信した場合、回答者端末１２からの回答データの受信の有無にかかわらず制限時間を過ぎたと判断した場合、又は、サーバ１１の回答数判断部３３０が最大回答数に達したと判断した場合、収集セッションが終了した旨を記録するために、セッション参加者登録データファイル３４２等におけるステータスを「収集セッション終了」に変更する（Ｓ１１８）。また、収集セッション終了画面又は収集セッションが終了したとの進捗情報を回答者端末１２及びプロジェクト管理者端末１３に送信する（Ｓ１１９）。これにより、回答者端末１２には収集セッションが終了した旨の画面が表示され（Ｓ１２０）、プロジェクト管理者端末１３には、収集セッションが終了した旨の進捗情報が表示される（Ｓ１２１）。
（２－３ 評価セッション）
図３６には評価セッションの開始から終了までの処理の流れがフローチャートで記載されている。予め設定された評価セッション開始日時になると、サーバ１１は自動的に、セッション参加者登録データファイル３４２等においてステータスを評価セッションが開始したことを示すステータスに変更して格納する（Ｓ１２２）。評価セッション開始の指示は、プロジェクト管理者がプロジェクト管理者端末１３の管理画面上で「評価セッション開始」のボタンをクリックすることでサーバ１１に送信してもよい。
サーバ１１の評価者割り当て部３２２は、評価セッション開始の指示を受信すると、回答データファイル（詳細）３４８ｂに格納されている各回答データ中の情報（回答内容）を評価すべき評価者を、セッション参加者登録データファイル３４２内に、今回の評価セッションの評価者としてフラグが付与されている複数の評価者の中から割り当てる。そして、評価者割り当て部３２２は、評価者による各評価の進捗状況を管理するための評価進捗管理ファイル３５５に、評価者毎に、評価者ＩＤ、評価すべき回答ＩＤ、及び必要評価数などを関連付けて格納する（Ｓ１２３）。
なお、評価者割り当て部３２２による当該割り当てプロセスの開始は、プロジェクト管理者端末１３からの評価セッション開始の指示に限られるものではなく、評価者割り当てプロセスを開始するための何らかの指示によって開始すればよい。例えば、当該割り当てプロセスは評価者を割り当てるためだけの指示をプロジェクト管理者端末１３から受信することで実行されてもよいし、その他の指示に合わせて実行されてもよいし、ステータスが収集セッション終了へと変更されることがトリガーとなって実行されてもよい。
サーバ１１の評価入力用データ抽出部３２３は、各評価者が評価すべき情報（回答内容）を含む回答データを、評価進捗管理ファイル３５５に格納されている回答ＩＤと評価者ＩＤとに基づいて抽出すると共に、予め定められたテーマに関する設問文及び回答者が情報提供すべき内容を記載した具体的な質問文等を含む設問データを設問データファイル３４５及び回答欄データファイル（概要）３４６ａから抽出し、評価軸データファイル３４４に格納されている評価軸に関する条件に基づいて、選択式評価入力部を含む評価入力のための第一書式データを第一書式データファイル３６１から抽出し、対応する評価者端末１２に送信する（Ｓ１２４）。これにより、評価者端末１２では図２２に記載されるような評価入力用画面が表示される（Ｓ１２５）。なお、フローチャートによる説明を省くが、評価者端末１２において評価入力用画面が表示されるためには、評価者端末１２もプロジェクト管理者端末１３と同様の手順で、ＩＤ及びパスワードなどの認証手段による認証を受けてログインされている必要がある。
評価者は当該画面上で情報（回答内容）に対する評価（例：「あまり賛同できない」、「賛同できる」、「非常に賛同できる」）のボタンをクリックし、「送信」のボタンをクリックする。すると、当該評価者端末１２から評価結果データがサーバ１１に送信される（Ｓ１２６）。サーバ１１が評価結果データを受信すると、評価結果データを制限時間内に受信したか否かが制限時間判断部３２８によって判断される（Ｓ１２７）。制限時間内であると判断された場合、サーバ１１のデータ登録部３２５は、当該評価結果データに評価ＩＤを付与し、当該評価結果データを送信した評価者の評価者ＩＤ及び評価ＩＤ等と関連付けて評価結果データファイル３４９に格納する（Ｓ１２８）。
次いで、必要評価数が設定されている場合、サーバ１１の評価数判断部３２９は評価者端末１２から一つの評価データを受信する度に、当該評価者の評価者ＩＤに対応した評価進捗管理ファイル３５５における評価済み数を一つ増やすと共に、当該評価者が必要評価数に達したか否かを判断する（Ｓ１２９）。その結果、必要評価数に達していないと判断した場合には、評価入力用データ抽出部３２３は、未評価分の回答データ等の評価入力に必要な情報を含むデータを、送受信部３１０からコンピュータネットワーク１４を介して第一書式データと共に表示可能な形態で、対応する評価者端末１２に送信する（Ｓ１２４）。このようにして、必要評価数に達するまで回答データは繰り返し評価者端末１２に送信される。
別法として、サーバ１１はＳ１２４において、各評価者が評価すべき情報（回答内容）を含む回答データをまとめて各評価者端末１２に送信してもよい。また、評価者端末１２はＳ１２６において評価結果データをまとめてサーバ１１に送信可能にしてもよい。この場合、サーバ１１は当該評価者からのすべての評価結果データを一度に受信することができ、Ｓ１２４を繰り返し行う必要はない。
一方、サーバ１１の制限時間判断部３２８が、制限時間を過ぎて評価結果データを受信した場合、評価者端末１２からの評価結果データの受信の有無にかかわらず制限時間を過ぎたと判断した場合、又は、サーバ１１の評価数判断部３２９が必要評価数に達したと判断した場合、評価セッションが終了した旨を記録するために、セッション参加者登録データファイル３４２等におけるステータスを「評価セッション終了」に変更する（Ｓ１３０）。また、評価セッション終了画面又は評価セッションが終了したとの進捗情報を評価者端末１２及びプロジェクト管理者端末１３に送信する（Ｓ１３１）。これにより、評価者端末１２には評価セッションが終了した旨の画面が表示され（Ｓ１３２）、プロジェクト管理者端末１３には、評価セッションが終了した旨の進捗情報が表示される（Ｓ１３３）。
（２－４ 評価分析）
図３７には評価セッションの終了後、サーバ１１の評価分析部３２６によって評価対象となる情報（回答内容）、回答者及び評価者の評価分析が行われ、その結果を参加者端末１２及びプロジェクト管理者端末１３に送信するまでの処理の流れがフローチャートで記載されている。評価セッションが終了すると、サーバ１１は自動的に、評価分析を開始する（Ｓ１３４）。評価分析開始の指示は、プロジェクト管理者がプロジェクト管理者端末１３の管理画面上で「評価分析開始」のボタンをクリックすることでサーバ１１に送信してもよい。
サーバ１１の評価分析部３２６は、評価結果データファイル３４９に格納されている評価結果データ等に基づき、例えば以下のような評価分析データを生成する。
・評価者の甘辛度合い
・評価者の甘辛度合いを分析することによって補正された後の評価値
・評価対象に対する仮スコア、修正スコア、最終スコア
・評価者の評価力スコア
・評価対象のスコア（希少性スコアを含む）
・回答者のスコア
評価分析データは、評価結果データファイル３４９、評価者スコアデータファイル３５０、回答スコアデータファイル３５１、及び回答者スコアデータファイル３５２にデータの種類に応じて格納される（Ｓ１３５）。サーバ１１の評価分析データ抽出部３２７は評価分析データを抽出し、プロジェクト管理者端末１３に送信する（Ｓ１３６）。評価分析データを受信すると、プロジェクト管理者端末１３の画面上には、評価分析結果を示す画面が表示される（Ｓ１３７）。プロジェクト管理者端末１３には、全参加者及び全評価対象の評価分析結果が表示可能である。
評価分析データは、プロジェクト管理者端末１３に加えて、参加者端末１２に送信してもよい。参加者端末１２に送信する評価分析データは、管理者が予め設定することができる。例えば、当該参加者が自分で提供した評価対象のスコア、当該参加者が自分で評価した評価対象のスコア、当該参加者の自分の回答者スコア、当該参加者の自分の評価力スコア等が挙げられる。評価分析データを受信すると、参加者端末１２には、予め設定された評価分析結果を示す画面が表示される（Ｓ１３８）。
１１ サーバ
１２ 参加者（評価者、回答者）端末
１３ プロジェクト管理者端末
１４ コンピュータネットワーク
１５ サーバ管理者端末
２００ コンピュータ
２０１ 演算装置
２０２ 記憶装置
２０３ 出力装置
２０４ 入力装置
２０５ 通信装置
２０６ 乱数発生装置
２０７ タイマー
３１０ 送受信部
３２０ 制御部
３２１ 認証処理部
３２２ 評価者割り当て部
３２３ 評価入力用データ抽出部
３２４ 情報入力用データ抽出部
３２５ データ登録部
３２６ 評価分析部
３２７ 評価分析データ抽出部
３２８ 制限時間判断部
３２９ 評価数判断部
３３０ 回答数判断部
３４０ 記憶部
３４１ 参加者アカウントファイル
３４２ セッション参加者登録データファイル
３４３ プロジェクトデータファイル
３４４ 評価軸データファイル
３４５ 設問データファイル
３４６ａ 回答欄データファイル（概要）
３４６ｂ 回答欄データファイル（詳細）
３４８ａ 回答データファイル（概要）
３４８ｂ 回答データファイル（詳細）
３４９ 評価結果データファイル
３５０ 評価者スコアデータファイル
３５１ 回答スコアデータファイル
３５２ 回答者スコアデータファイル
３５３ プロジェクト管理者アカウントファイル
３５４ サーバ管理者アカウントファイル
３５５ 評価進捗管理ファイル
３５６ 回答進捗管理ファイル
３６１ 第一書式データファイル
３６２ 第二書式データファイル
本発明者は上記課題を解決するために鋭意検討を行ったところ、サーバが、各評価者の甘辛度合いを分析した上で、評価者全体による評価対象に対する仮スコアと各評価者による評価対象に対する評価との近似性から各評価者の評価力スコアを算出し、各評価者による評価力スコアを考慮して評価対象に対する最終的なスコアを算出することを含む以下のオンライン評価方法及びサーバが課題解決に資することを見出した。

Claims (24)

  1. サーバが、評価対象データ記憶部に格納されており、識別子が付与されている複数の評価対象を評価すべき評価者を、今回の評価セッションの評価者として識別子が付与されている複数の評価者の中から割り当てるステップ１Ａと、
    サーバが、ステップ１Ａの結果に従い、複数の評価対象に関するデータを評価対象データ記憶部から抽出すると共に、予め定められたテーマに関する設問データを設問データ記憶部から抽出し、少なくとも一つの評価軸に基づく選択式評価入力部を含む評価入力のための第一書式データを第一書式データ記憶部から抽出し、当該複数の評価対象に関するデータ、設問データ及び第一書式データを、対応する複数の評価者の端末にネットワークを介して送信するステップ１Ｂと、
    サーバが、選択式評価入力部に各評価者によって入力された評価対象に対する評価を含む評価結果データを、各評価者の端末からネットワークを介して受信するステップ１Ｃと、
    サーバが、受信した評価結果データのそれぞれに識別子を付与し、評価結果データを送信した各評価者の識別子及び評価対象の識別子と関連付けて、評価結果データを評価結果データ記憶部に格納するステップ１Ｄと、
    サーバが、評価結果データ記憶部に格納されている評価結果データ中の、選択式評価入力部に各評価者によって入力された評価に基づき、各評価者の評価の甘辛度合いを評価軸毎に分析し、評価の辛い評価者による評価が相対的に上昇し、評価の甘い評価者による評価が相対的に低下するように評価を補正することで補正後の評価を算出し、各評価者の識別子及び評価対象の識別子と関連付けて補正後の評価を評価結果データ記憶部に格納するステップ１Ｅと、
    サーバが、評価結果データ記憶部に格納されている補正後の評価及び評価対象の識別子に基づいて、各評価対象に対する評価を集計することにより各評価対象に対する評価軸毎の仮スコアを算出し、各評価対象の識別子と関連付けて仮スコアを評価対象スコアデータ記憶部に格納するステップ１Ｆと、
    サーバが、評価結果データ記憶部に格納されている評価者の識別子と関連付けられた各評価対象に対する補正後の評価と、評価対象スコアデータ記憶部に格納されている各評価対象に対する仮スコアを評価軸毎に対比し、両者の近似性を評価者毎に集計することにより、各評価者の評価力スコアを算出し、当該評価力スコアを各評価者の識別子と関連付けて評価者スコアデータ記憶部に格納するステップ１Ｇと、
    サーバが、評価力スコアが高い評価者による評価ほど、評価に大きな重み付けを付与することを条件に、評価結果データ記憶部に格納されている補正後の評価、評価者の識別子及び評価対象の識別子、並びに評価者スコアデータ記憶部に格納されている各評価者の評価力スコアに基づいて、各評価対象に対する評価を集計することにより各評価対象に対する評価軸毎の修正スコアを算出し、各評価対象の識別子と関連付けて修正スコアを評価対象スコアデータ記憶部に格納するステップ１Ｈと、
    サーバが、以下の（１）及び（２）の一方又は両方のデータを抽出し、ネットワークを介して管理者の端末に送信するステップ１Ｉと、
    （１）評価対象スコアデータ記憶部に格納されている、各評価対象に対する評価軸毎の修正スコア自体及び／又は当該修正スコアに基づいて算出される統計量を含む評価対象に関するデータ、
    （２）評価者スコアデータ記憶部に格納されている、各評価者の評価力スコア自体及び／又は当該評価力スコアに基づいて算出される統計量を含む評価者に関するデータ、
    を含むオンライン評価方法。
  2. 各評価対象に対する修正スコアを仮スコアとみなして、サーバがステップ１Ｇ及びステップ１Ｈを一度以上回繰り返す請求項１に記載のオンライン評価方法。
  3. サーバは、以下の（ａ）及び（ｂ）の一方又は両方の条件が満たされると、それ以上ステップ１Ｇの繰り返しを行わない、請求項２に記載のオンライン評価方法。
    （ａ）ステップ１Ｇを繰り返す度に、最新の評価力スコアとそれよりも一つ前の評価力スコアの差分又は変化率を評価者毎にすべての評価軸について算出し、当該差分又は変化率が予め設定した条件を満たすかどうかを評価者毎に判定し、すべての評価者について前記条件を満たす。
    （ｂ）ステップ１Ｈを繰り返す度に、各評価対象に対する評価軸毎の最新の修正スコアとそれよりも一つ前の修正スコアの差分又は変化率をすべての評価軸について算出し、当該差分又は変化率が予め設定した条件を満たすかどうかを各評価対象について判定し、すべての評価対象について前記条件を満たす。
  4. サーバが、評価対象データ記憶部に格納されており、識別子が付与されている複数の評価対象を評価すべき評価者を、今回の評価セッションの評価者として識別子が付与されている複数の評価者の中から割り当てるステップ１Ａと、
    サーバが、ステップ１Ａの結果に従い、複数の評価対象に関するデータを評価対象データ記憶部から抽出すると共に、予め定められたテーマに関する設問データを設問データ記憶部から抽出し、少なくとも一つの評価軸に基づく選択式評価入力部を含む評価入力のための第一書式データを第一書式データ記憶部から抽出し、当該複数の評価対象に関するデータ、設問データ及び第一書式データを、対応する複数の評価者の端末にネットワークを介して送信するステップ１Ｂと、
    サーバが、選択式評価入力部に各評価者によって入力された評価対象に対する評価を含む評価結果データを、各評価者の端末からネットワークを介して受信するステップ１Ｃと、
    サーバが、受信した評価結果データのそれぞれに識別子を付与し、評価結果データを送信した各評価者の識別子及び評価対象の識別子と関連付けて、評価結果データを評価結果データ記憶部に格納するステップ１Ｄと、
    サーバが、評価結果データ記憶部に格納されている評価結果データ中の、選択式評価入力部に各評価者によって入力された評価に基づき、各評価者の評価の甘辛度合いを評価軸毎に分析し、評価の辛い評価者による評価が相対的に上昇し、評価の甘い評価者による評価が相対的に低下するように評価を補正することで補正後の評価を算出し、各評価者の識別子及び評価対象の識別子と関連付けて補正後の評価を評価結果データ記憶部に格納するステップ１Ｅと、
    評価者の人数をｎ（ｎは２以上の整数）とすると、サーバが、ｋ人目（ｋは１～ｎまでの整数）の評価者による評価対象に対する評価を考慮せずに、評価結果データ記憶部に格納されているその他の評価者による補正後の評価及び評価対象の識別子に基づき、各評価対象に対する評価を集計し、各評価対象に対する仮スコアを評価軸毎に算出し、ｋ人目の評価者の識別子及び各評価対象の識別子と関連付けて仮スコアを評価対象スコアデータ記憶部に格納するステップを一人目からｎ人目までの評価者に対してそれぞれ実施するステップ１Ｆと、
    サーバが、評価結果データ記憶部に格納されているｋ人目（ｋは１～ｎまでの整数）の評価者の識別子と関連付けられた各評価対象に対する補正後の評価と、ｋ人目の評価者の識別子及び各評価対象の識別子と関連付けられて評価対象スコアデータ記憶部に格納されている各評価対象に対する仮スコアを評価軸毎に対比し、両者の近似性を評価者毎に集計することにより、ｋ人目の評価者の仮評価力スコアを算出し、当該仮評価力スコアをｋ人目の評価者の識別子と関連付けて評価者スコアデータ記憶部に格納するステップを一人目からｎ人目までの評価者に対して実施するステップ１Ｇ1と、
    サーバが、ｋ人目（ｋは１～ｎまでの整数）の評価者による評価対象に対する評価を考慮せずに、仮評価力スコアが高い評価者による評価ほど、評価に大きな重み付けを付与することを条件に、評価結果データ記憶部に格納されているその他の評価者による補正後の評価、評価者の識別子及び評価対象の識別子、並びに評価者スコアデータ記憶部に格納されているその他の評価者による評価者の仮評価力スコアに基づいて、各評価対象に対する評価を集計することにより各評価対象に対する評価軸毎の修正スコアを算出し、ｋ人目の評価者の識別子及び各評価対象の識別子と関連付けて修正スコアを評価対象スコアデータ記憶部に格納するステップを一人目からｎ人目までの評価者に対してそれぞれ実施するステップ１Ｈ1と、
    サーバが、評価結果データ記憶部に格納されているｋ人目（ｋは１～ｎまでの整数）の評価者の識別子と関連付けられた各評価対象に対する補正後の評価と、ｋ人目の評価者の識別子及び各評価対象の識別子と関連付けられて評価対象スコアデータ記憶部に格納されている各評価対象に対する修正スコアを評価軸毎に対比し、両者の近似性を評価者毎に集計することにより、ｋ人目の評価者の最終評価力スコアを算出し、当該最終評価力スコアをｋ人目の評価者の識別子と関連付けて評価者スコアデータ記憶部に格納するステップを一人目からｎ人目までの評価者に対して実施するステップ１Ｇ2と、
    サーバが、最終評価力スコアが高い評価者による評価ほど、評価に大きな重み付けを付与することを条件に、評価結果データ記憶部に格納されている補正後の評価、評価者の識別子及び評価対象の識別子、並びに評価者スコアデータ記憶部に格納されている各評価者の最終評価力スコアに基づいて、各評価対象に対する評価を集計することにより各評価対象に対する評価軸毎の最終スコアを算出し、各評価対象の識別子と関連付けて最終スコアを評価対象スコアデータ記憶部に格納するステップ１Ｈ2と、
    サーバが、以下の（１）及び（２）の一方又は両方のデータを抽出し、ネットワークを介して管理者の端末に送信するステップ１Ｉと、
    （１）評価対象スコアデータ記憶部に格納されている、各評価対象に対する評価軸毎の最終スコア自体及び／又は当該最終スコアに基づいて算出される統計量を含む評価対象に関するデータ、
    （２）評価者スコアデータ記憶部に格納されている、各評価者の最終評価力スコア自体及び／又は当該最終評価力スコアに基づいて算出される統計量を含む評価者に関するデータ、
    を含むオンライン評価方法。
  5. 各評価対象に対する修正スコアを仮スコアとみなして、サーバがステップ１Ｇ1及びステップ１Ｈ1を一度以上回繰り返す請求項４に記載のオンライン評価方法。
  6. サーバは、以下の（ａ）及び（ｂ）の一方又は両方の条件が満たされると、それ以上ステップ１Ｇ1の繰り返しを行わない、請求項５に記載のオンライン評価方法。
    （ａ）ステップ１Ｇ1を繰り返す度に、最新の仮評価力スコアとそれよりも一つ前の仮評価力スコアの差分又は変化率を評価者毎にすべての評価軸について算出し、当該差分又は変化率が予め設定した条件を満たすかどうかを評価者毎に判定し、すべての評価者について前記条件を満たす。
    （ｂ）ステップ１Ｈ1を繰り返す度に、各評価対象に対する評価軸毎の最新の修正スコアとそれよりも一つ前の修正スコアの差分又は変化率をすべての評価軸について算出し、当該差分又は変化率が予め設定した条件を満たすかどうかを各評価対象について判定し、すべての評価対象について前記条件を満たす。
  7. 評価対象データ記憶部には、今回の評価セッションに使用される複数の評価対象とは異なる複数の評価対象に関するデータも記憶されていてもよく、
    サーバが、今回の評価セッションにおける複数の評価対象のそれぞれについて、今回の評価セッションに使用される他の複数の評価対象、及び／又は、前記異なる複数の評価対象との類似度を算出し、算出されたそれぞれの類似度を集計することにより、今回の評価セッションにおける各評価対象の希少性スコアを算出し、各評価対象の識別子と関連付けて希少性スコアを評価対象スコアデータ記憶部に格納するステップ１Ｊと、
    サーバが、評価対象スコアデータ記憶部に格納されている、各評価対象の希少性スコア自体及び／又は当該希少性スコアに基づいて算出される統計量を含む評価対象に関するデータを、ネットワークを介して管理者の端末に送信するステップ１Ｋと、
    を更に含む請求項１又は４に記載のオンライン評価方法。
  8. サーバが、予め定められたテーマに関する設問データを設問データ記憶部から抽出すると共に、少なくとも一つの情報入力部を含む第二書式データを第二書式データ記憶部から抽出し、設問データ及び第二書式データをネットワークを介して収集セッションの回答者として識別子が付与されている複数の回答者の端末に送信するステップ２Ａと、
    サーバが、情報入力部に収集セッションの各回答者によって入力された前記テーマに関する情報を含む回答データを、収集セッションの各回答者の端末から受信するステップ２Ｂと、
    サーバが、受信した前記テーマに関する情報を含む回答データにそれぞれ識別子を付与し、前記テーマに関する情報を含む回答データを送信した収集セッションの各回答者の識別子と関連付けて前記テーマに関する情報を含む回答データを評価対象データ記憶部に格納するステップ２Ｃと、
    を更に含み、
    前記テーマに関する情報を含む回答データを、前記評価対象に関するデータとして使用する請求項１又は４に記載のオンライン評価方法。
  9. サーバが、評価対象スコアデータ記憶部に格納されている、各評価対象に対する評価軸毎の修正スコア若しくは最終スコア自体及び／又は当該修正スコア若しくは最終スコアに基づいて算出される統計量を含む評価対象に関するデータ、並びに、回答者の識別子に基づき、少なくとも一つの評価軸に基づく回答者のスコアを算出し、回答者スコアデータ記憶部に格納するステップ２Ｄと、
    サーバが、回答者スコアデータ記憶部に格納されている、評価軸毎の各回答者のスコア自体及び／又は当該スコアに基づいて算出される統計量を含む回答者に関するデータを、ネットワークを介して管理者の端末に送信するステップ２Ｅと、
    を更に含む請求項８に記載のオンライン評価方法。
  10. 前記評価対象が所定のテーマに関するアイデアである請求項１又は４に記載のオンライン評価方法。
  11. 前記評価対象に関するデータがテキスト情報を含む請求項１又は４に記載のオンライン評価方法。
  12. 送受信部、制御部、及び記憶部を備え、
    前記記憶部は、
    複数の評価対象に関するデータを格納するための評価対象データ記憶部と、
    少なくとも一つの評価軸に基づく選択式評価入力部を含む評価入力のための第一書式データを格納するための第一書式データ記憶部と、
    各評価対象に対する評価及び補正後の評価を含む評価結果データを格納するための評価結果データ記憶部と、
    各評価対象に対する評価軸毎の仮スコア及び修正スコアを格納するための評価対象スコアデータ記憶部と、
    各評価者の評価力スコアを格納するための評価者スコアデータ記憶部とを有し、
    前記制御部は、評価者割り当て部、評価入力用データ抽出部、データ登録部、評価分析部、及び評価分析データ抽出部を有し、
    評価者割り当て部は、評価対象データ記憶部に格納されており、識別子が付与されている複数の評価対象を評価すべき評価者を、今回の評価セッションの評価者として識別子が付与されている複数の評価者の中から割り当てるステップ１Ａを行うことができ、
    評価入力用データ抽出部は、ステップ１Ａの結果に従い、複数の評価対象に関するデータを評価対象データ記憶部から抽出すると共に、予め定められたテーマに関する設問データを設問データ記憶部から抽出し、第一書式データを第一書式データ記憶部から抽出し、当該複数の評価対象に関するデータ、設問データ及び第一書式データを、送受信部から対応する複数の評価者の端末にネットワークを介して送信するステップ１Ｂを行うことができ、
    送受信部は、選択式評価入力部に各評価者によって入力された評価対象に対する評価を含む評価結果データを、各評価者の端末からネットワークを介して受信するステップ１Ｃを行うことができ、
    データ登録部は、送受信部で受信した評価結果データのそれぞれに識別子を付与し、評価結果データを送信した各評価者の識別子及び評価対象の識別子と関連付けて、評価結果データを評価結果データ記憶部に格納するステップ１Ｄを行うことができ、
    評価分析部は、
    ・評価結果データ記憶部に格納されている評価結果データ中の、選択式評価入力部に各評価者によって入力された評価に基づき、各評価者の評価の甘辛度合いを評価軸毎に分析し、評価の辛い評価者による評価が相対的に上昇し、評価の甘い評価者による評価が相対的に低下するように評価を補正することで補正後の評価を算出し、各評価者の識別子及び評価対象の識別子と関連付けて補正後の評価を評価結果データ記憶部に格納するステップ１Ｅを行うことができ、
    ・評価結果データ記憶部に格納されている補正後の評価及び評価対象の識別子に基づいて、各評価対象に対する評価を集計することにより各評価対象に対する評価軸毎の仮スコアを算出し、各評価対象の識別子と関連付けて仮スコアを評価対象スコアデータ記憶部に格納するステップ１Ｆを行うことができ、
    評価結果データ記憶部に格納されている評価者の識別子と関連付けられた各評価対象に対する補正後の評価と、評価対象スコアデータ記憶部に格納されている各評価対象に対する仮スコアを評価軸毎に対比し、両者の近似性を評価者毎に集計することにより、各評価者の評価力スコアを算出し、当該評価力スコアを各評価者の識別子と関連付けて評価者スコアデータ記憶部に格納するステップ１Ｇを行うことができ、
    評価力スコアが高い評価者による評価ほど、評価に大きな重み付けを付与することを条件に、評価結果データ記憶部に格納されている補正後の評価、評価者の識別子及び評価対象の識別子、並びに評価者スコアデータ記憶部に格納されている各評価者の評価力スコアに基づいて、各評価対象に対する評価を集計することにより各評価対象に対する評価軸毎の修正スコアを算出し、各評価対象の識別子と関連付けて修正スコアを評価対象スコアデータ記憶部に格納するステップ１Ｈを行うことができ、
    評価分析データ抽出部は、以下の（１）及び（２）の一方又は両方のデータを抽出し、送受信部からネットワークを介して管理者の端末に送信するステップ１Ｉを行うことができる、
    （１）評価対象スコアデータ記憶部に格納されている、各評価対象に対する評価軸毎の修正スコア自体及び／又は当該修正スコアに基づいて算出される統計量を含む評価対象に関するデータ、
    （２）評価者スコアデータ記憶部に格納されている、各評価者の評価力スコア自体及び／又は当該評価力スコアに基づいて算出される統計量を含む評価者に関するデータ、
    評価用オンラインサーバ。
  13. 評価分析部は、各評価対象に対する修正スコアを仮スコアとみなして、ステップ１Ｇ及びステップ１Ｈを一度以上回繰り返すことができる請求項１２に記載の評価用オンラインサーバ。
  14. 評価分析部は、以下の（ａ）及び（ｂ）の一方又は両方の条件が満たされると、それ以上ステップ１Ｇの繰り返しを行わない、請求項１３に記載の評価用オンラインサーバ。
    （ａ）ステップ１Ｇを繰り返す度に、最新の評価力スコアとそれよりも一つ前の評価力スコアの差分又は変化率を評価者毎にすべての評価軸について算出し、当該差分又は変化率が予め設定した条件を満たすかどうかを評価者毎に判定し、すべての評価者について前記条件を満たす。
    （ｂ）ステップ１Ｈを繰り返す度に、各評価対象に対する評価軸毎の最新の修正スコアとそれよりも一つ前の修正スコアの差分又は変化率をすべての評価軸について算出し、当該差分又は変化率が予め設定した条件を満たすかどうかを各評価対象について判定し、すべての評価対象について前記条件を満たす。
  15. 送受信部、制御部、及び記憶部を備え、
    前記記憶部は、
    複数の評価対象に関するデータを格納するための評価対象データ記憶部と、
    少なくとも一つの評価軸に基づく選択式評価入力部を含む評価入力のための第一書式データを格納するための第一書式データ記憶部と、
    各評価対象に対する評価及び補正後の評価を含む評価結果データを格納するための評価結果データ記憶部と、
    各評価対象に対する評価軸毎の仮スコア、修正スコア及び最終スコアを格納するための評価対象スコアデータ記憶部と、
    各評価者の仮評価力スコア及び最終評価力スコアを格納するための評価者スコアデータ記憶部とを有し、
    前記制御部は、評価者割り当て部、評価入力用データ抽出部、データ登録部、評価分析部、及び評価分析データ抽出部を有し、
    評価者割り当て部は、評価対象データ記憶部に格納されており、識別子が付与されている複数の評価対象を評価すべき評価者を、今回の評価セッションの評価者として識別子が付与されている複数の評価者の中から割り当てるステップ１Ａを行うことができ、
    評価入力用データ抽出部は、ステップ１Ａの結果に従い、複数の評価対象に関するデータを評価対象データ記憶部から抽出すると共に、予め定められたテーマに関する設問データを設問データ記憶部から抽出し、第一書式データを第一書式データ記憶部から抽出し、当該複数の評価対象に関するデータ、設問データ及び第一書式データを、送受信部から対応する複数の評価者の端末にネットワークを介して送信するステップ１Ｂを行うことができ、
    送受信部は、選択式評価入力部に各評価者によって入力された評価対象に対する評価を含む評価結果データを、各評価者の端末からネットワークを介して受信するステップ１Ｃを行うことができ、
    データ登録部は、送受信部で受信した評価結果データのそれぞれに識別子を付与し、評価結果データを送信した各評価者の識別子及び評価対象の識別子と関連付けて、評価結果データを評価結果データ記憶部に格納するステップ１Ｄを行うことができ、
    評価分析部は、
    ・評価結果データ記憶部に格納されている評価結果データ中の、選択式評価入力部に各評価者によって入力された評価に基づき、各評価者の評価の甘辛度合いを評価軸毎に分析し、評価の辛い評価者による評価が相対的に上昇し、評価の甘い評価者による評価が相対的に低下するように評価を補正することで補正後の評価を算出し、各評価者の識別子及び評価対象の識別子と関連付けて補正後の評価を評価結果データ記憶部に格納するステップ１Ｅを行うことができ、
    ・評価者の人数をｎ（ｎは２以上の整数）とすると、ｋ人目（ｋは１～ｎまでの整数）の評価者による評価対象に対する評価を考慮せずに、評価結果データ記憶部に格納されているその他の評価者による補正後の評価及び評価対象の識別子に基づき、各評価対象に対する評価を集計し、各評価対象に対する仮スコアを評価軸毎に算出し、ｋ人目の評価者の識別子及び各評価対象の識別子と関連付けて仮スコアを評価対象スコアデータ記憶部に格納するステップを一人目からｎ人目までの評価者に対してそれぞれ実施するステップ１Ｆを行うことができ、
    ・評価結果データ記憶部に格納されているｋ人目（ｋは１～ｎまでの整数）の評価者の識別子と関連付けられた各評価対象に対する補正後の評価と、ｋ人目の評価者の識別子及び各評価対象の識別子と関連付けられて評価対象スコアデータ記憶部に格納されている各評価対象に対する仮スコアを評価軸毎に対比し、両者の近似性を評価者毎に集計することにより、ｋ人目の評価者の仮評価力スコアを算出し、当該仮評価力スコアをｋ人目の評価者の識別子と関連付けて評価者スコアデータ記憶部に格納するステップを一人目からｎ人目までの評価者に対して実施するステップ１Ｇ1を行うことができ、
    ・ｋ人目（ｋは１～ｎまでの整数）の評価者による評価対象に対する評価を考慮せずに、仮評価力スコアが高い評価者による評価ほど、評価に大きな重み付けを付与することを条件に、評価結果データ記憶部に格納されているその他の評価者による補正後の評価、評価者の識別子及び評価対象の識別子、並びに評価者スコアデータ記憶部に格納されているその他の評価者による評価者の仮評価力スコアに基づいて、各評価対象に対する評価を集計することにより各評価対象に対する評価軸毎の修正スコアを算出し、ｋ人目の評価者の識別子及び各評価対象の識別子と関連付けて修正スコアを評価対象スコアデータ記憶部に格納するステップを一人目からｎ人目までの評価者に対してそれぞれ実施するステップ１Ｈ1を行うことができ、
    ・評価結果データ記憶部に格納されているｋ人目（ｋは１～ｎまでの整数）の評価者の識別子と関連付けられた各評価対象に対する補正後の評価と、ｋ人目の評価者の識別子及び各評価対象の識別子と関連付けられて評価対象スコアデータ記憶部に格納されている各評価対象に対する修正スコアを評価軸毎に対比し、両者の近似性を評価者毎に集計することにより、ｋ人目の評価者の最終評価力スコアを算出し、当該最終評価力スコアをｋ人目の評価者の識別子と関連付けて評価者スコアデータ記憶部に格納するステップを一人目からｎ人目までの評価者に対して実施するステップ１Ｇ2を行うことができ、
    ・最終評価力スコアが高い評価者による評価ほど、評価に大きな重み付けを付与することを条件に、評価結果データ記憶部に格納されている補正後の評価、評価者の識別子及び評価対象の識別子、並びに評価者スコアデータ記憶部に格納されている各評価者の最終評価力スコアに基づいて、各評価対象に対する評価を集計することにより各評価対象に対する評価軸毎の最終スコアを算出し、各評価対象の識別子と関連付けて最終スコアを評価対象スコアデータ記憶部に格納するステップ１Ｈ2を行うことができ、
    評価分析データ抽出部は、以下の（１）及び（２）の一方又は両方のデータを抽出し、送受信部からネットワークを介して管理者の端末に送信するステップ１Ｉを行うことができる、
    （１）評価対象スコアデータ記憶部に格納されている、各評価対象に対する評価軸毎の最終スコア自体及び／又は当該最終スコアに基づいて算出される統計量を含む評価対象に関するデータ、
    （２）評価者スコアデータ記憶部に格納されている、各評価者の最終評価力スコア自体及び／又は当該最終評価力スコアに基づいて算出される統計量を含む評価者に関するデータ、
    評価用オンラインサーバ。
  16. 評価分析部は、各評価対象に対する修正スコアを仮スコアとみなして、ステップ１Ｇ1及びステップ１Ｈ1を一度以上回繰り返す請求項１５に記載の評価用オンラインサーバ。
  17. 評価分析部は、以下の（ａ）及び（ｂ）の一方又は両方の条件が満たされると、それ以上ステップ１Ｇ1の繰り返しを行わない、請求項１６に記載の評価用オンラインサーバ。
    （ａ）ステップ１Ｇ1を繰り返す度に、最新の仮評価力スコアとそれよりも一つ前の仮評価力スコアの差分又は変化率を評価者毎にすべての評価軸について算出し、当該差分又は変化率が予め設定した条件を満たすかどうかを評価者毎に判定し、すべての評価者について前記条件を満たす。
    （ｂ）ステップ１Ｈ1を繰り返す度に、各評価対象に対する評価軸毎の最新の修正スコアとそれよりも一つ前の修正スコアの差分又は変化率をすべての評価軸について算出し、当該差分又は変化率が予め設定した条件を満たすかどうかを各評価対象について判定し、すべての評価対象について前記条件を満たす。
  18. 評価対象データ記憶部には、今回の評価セッションに使用される複数の評価対象とは異なる複数の評価対象に関するデータも格納されていてもよく、
    評価分析部は、今回の評価セッションにおける複数の評価対象のそれぞれについて、今回の評価セッションに使用される他の複数の評価対象、及び／又は、前記異なる複数の評価対象との類似度を算出し、算出されたそれぞれの類似度を集計することにより、今回の評価セッションにおける各評価対象の希少性スコアを算出し、各評価対象の識別子と関連付けて希少性スコアを評価対象スコアデータ記憶部に格納するステップ１Ｊを行うことができ、
    評価分析データ抽出部は、評価対象スコアデータ記憶部に格納されている、各評価対象の希少性スコア自体及び／又は当該希少性スコアに基づいて算出される統計量を含む評価対象に関するデータを抽出し、送受信部からネットワークを介して管理者の端末に送信するステップ１Ｋを行うことができる、
    請求項１２又は１５に記載の評価用オンラインサーバ。
  19. 前記記憶部は、予め定められたテーマに関する設問データを格納するための設問データ記憶部と、少なくとも一つの情報入力部を含む第二書式データを格納するための第二書式データ記憶部を有しており、
    前記制御部は、情報入力用データ抽出部を有しており、
    情報入力用データ抽出部は、設問データを設問データ記憶部から抽出すると共に、第二書式データを第二書式データ記憶部から抽出し、設問データ及び第二書式データを送受信部からネットワークを介して収集セッションの回答者として識別子が付与されている複数の回答者の端末に送信するステップ２Ａを行うことができ、
    送受信部は、情報入力部に収集セッションの各回答者によって入力された前記テーマに関する情報を含む回答データを、収集セッションの各回答者の端末から受信するステップ２Ｂを行うことができ、
    データ登録部は、受信した前記テーマに関する情報を含む回答データにそれぞれ識別子を付与し、前記テーマに関する情報を含む回答データを送信した収集セッションの各回答者の識別子と関連付けて前記テーマに関する情報を含む回答データを評価対象データ記憶部に格納するステップ２Ｃを行うことができる、
    請求項１２又は１５に記載の評価用オンラインサーバ。
  20. 前記記憶部は、回答者に対する評価軸毎のスコアを格納するための回答者スコアデータ記憶部を有しており、
    評価分析部は、評価対象スコアデータ記憶部に格納されている、各評価対象に対する評価軸毎の修正スコア若しくは最終スコア自体及び／又は当該修正スコア若しくは最終スコアに基づいて算出される統計量を含む評価対象に関するデータ、並びに、回答者の識別子に基づき、少なくとも一つの評価軸に基づく回答者のスコアを算出し、回答者スコアデータ記憶部に格納するステップ２Ｄを行うことができ、
    評価分析データ抽出部は、回答者スコアデータ記憶部に格納されている、評価軸毎の各回答者のスコア自体及び／又は当該スコアに基づいて算出される統計量を含む回答者に関するデータを、送受信部からネットワークを介して管理者の端末に送信するステップ２Ｅを行うことができる、
    請求項１９に記載の評価用オンラインサーバ。
  21. 前記評価対象が所定のテーマに関するアイデアである請求項１２又は１５に記載の評価用オンラインサーバ。
  22. 前記評価対象に関するデータがテキスト情報を含む請求項１２又は１５に記載の評価用オンラインサーバ。
  23. 請求項１又は４に記載の評価方法をコンピュータに実行させるためのプログラム。
  24. 請求項２３に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2022101344A 2022-06-23 2022-06-23 オンライン評価方法及び評価用オンラインサーバ Active JP7538837B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022101344A JP7538837B2 (ja) 2022-06-23 2022-06-23 オンライン評価方法及び評価用オンラインサーバ
US18/211,006 US20230419231A1 (en) 2022-06-23 2023-06-16 Method for online evaluation and online server for evaluation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022101344A JP7538837B2 (ja) 2022-06-23 2022-06-23 オンライン評価方法及び評価用オンラインサーバ

Publications (2)

Publication Number Publication Date
JP2024002257A true JP2024002257A (ja) 2024-01-11
JP7538837B2 JP7538837B2 (ja) 2024-08-22

Family

ID=89323073

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022101344A Active JP7538837B2 (ja) 2022-06-23 2022-06-23 オンライン評価方法及び評価用オンラインサーバ

Country Status (2)

Country Link
US (1) US20230419231A1 (ja)
JP (1) JP7538837B2 (ja)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6928936B2 (ja) 2019-05-09 2021-09-01 国立大学法人佐賀大学 申請／評価支援システム
JP6856800B1 (ja) 2020-04-14 2021-04-14 ＶＩＳＩＴＳ Ｔｅｃｈｎｏｌｏｇｉｅｓ株式会社 オンライン評価方法及び評価用オンラインサーバ

Also Published As

Publication number Publication date
JP7538837B2 (ja) 2024-08-22
US20230419231A1 (en) 2023-12-28

Similar Documents

Publication Publication Date Title
US20210329094A1 (en) Discovering signature of electronic social networks
Dunaway et al. Traits versus issues: How female candidates shape coverage of senate and gubernatorial races
Law et al. Human computation
Lowry et al. Global journal prestige and supporting disciplines: A scientometric study of information systems journals
JP6249466B1 (ja) アイデア創造力を評価するためのオンラインテスト方法及びオンラインテストサーバ
US20220148699A1 (en) Systems and methods for hosting wellness programs
Carvalho et al. How many crowdsourced workers should a requester hire?
WO2021210321A1 (ja) オンライン評価方法及び評価用オンラインサーバ
Munoz Chereau et al. 'Stuck'schools: Can below good Ofsted inspections prevent sustainable improvement?
Saldivar et al. Idea management communities in the wild: An exploratory study of 166 online communities
JP4350398B2 (ja) 広告文配信システム
Szyjewski et al. A study on existing and actually used capabilities of mobile phones technologies
JP7538837B2 (ja) オンライン評価方法及び評価用オンラインサーバ
Han et al. Contextual support for collaborative information retrieval
JP4528691B2 (ja) 政治家評価システム
US11238411B1 (en) Artificial neural networks-based domain- and company-specific talent selection processes
Manju et al. Novel method for ranking batsmen in Indian Premier League
Gummer et al. The relationship between response probabilities and data quality in grid questions
US11636774B2 (en) Problem collection/evaluation method, proposed solution collection/evaluation method, server for problem collection/evaluation, server for proposed solution collection/evaluation, and server for collection/evaluation of problem and proposed solution thereto
Chiny et al. The impact of influencers on the companies reputation in developing countries: Case of Morocco
Kang et al. Analyzing answers in threaded discussions using a role-based information network
Abdulrahman et al. Automated student-to-major allocation based on personality prediction
JP2002006734A (ja) コンピュータ適応型検定試験の方法及びシステム
Ween How Artificial Intelligence May Impact Traditional Recruitment in the War for Talents
Kajan et al. Enhancing local economic development using collective intelligence

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230605

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240730

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240809

R150 Certificate of patent or registration of utility model

Ref document number: 7538837

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150