JP6532015B2 - コンテンツの評価装置、システム、サーバ装置及び端末装置 - Google Patents

Description

本発明は、会話、講演、講義、プレゼンテーション又は演劇等の実演等、並びに映画、アニメ、ＣＭ及び楽曲等の記録されるコンテンツ（以下、単にコンテンツという）の評価装置、システム、サーバ装置及び端末装置に関する。

コンテンツを評価する評価装置及びシステムとして、コンテンツを視聴した視聴者がコンテンツ中のある時刻において評価情報を送信し、当該評価情報を集計するという手法が知られている（特許文献１、２）。

特開２００３−３０１０５号公報 特開２００９−４８３８１号公報

特許文献１の手法によっては、コンテンツについて、聴講者又は視聴者（以下、単に視聴者という）が実演又はコンテンツを聴講又は視聴（以下、単に視聴という）しながら評価を行うので、精確かつ詳細な評価を収集することが困難であった。

特許文献２のシステムにおいては、複数の参加者が、発表者の発表中に所定の操作により、随時、意思表示の信号を発信して、意思表示の信号を意思表示の内容を示すテキストデータに変換し、このテキストデータからなる意思表示データとから構成されるログデータを生成して保存している。このシステムにおいては、ログデータを所定の時間間隔に分割し、各時間間隔内における意思表示データを集計して、該時間間隔ごとに該収録データを分割し、該分割された各収録データに、該集計された意思表示がなされたことを示すマークを対応させるフィードバックデータを生成して、このフィードバックデータを蓄積して、該マークを時系列に配列表示するとともに、所望のマークをポインティングデバイスによって指定されたマークに対応する予め分割された収録データを再生、表示している。よって、収録データが所定の周期に従ってあらかじめ分割された単位で再生される故に、意思表示の信号に応じて収録データを抽出位置及び時間長が変化する態様にて適切に再生することができないという課題があった。

本発明は、上述の点に鑑みてなされたものであり、視聴者又は聴取者がコンテンツを視聴又は聴取中に評価して、その後にさらに、当該コンテンツの一部を適切に抽出し、その部分についての詳細な評価を記録し共有することが可能となる、コンテンツ評価装置、システム、サーバ装置及び端末装置を提供することを目的の一つとする。

本発明のコンテンツ評価装置は、コンテンツに対する評価操作を逐次受け付けて、その受け付け時点の情報を含む一次評価情報を記憶する、一次評価情報受付手段と、
前記受け付け時点の情報に基づいて抽出範囲を特定して、前記コンテンツからその一部であるコンテンツ片を前記抽出範囲に従って抽出するコンテンツ片抽出手段と、
前記コンテンツ片を提示するコンテンツ片提示手段と、
前記コンテンツ片に対する二次評価を含む二次評価情報を受け付ける二次評価情報受付手段と、
を含むことを特徴とする。

また、本発明のコンテンツ評価システムは、コンテンツに対する評価操作を逐次受け付けて、その受け付け時点の情報を含む一次評価情報を記憶する、一次評価情報受付手段と、
前記一次評価情報を通信路を介して送信する一次評価情報送信手段と、
前記一次評価情報を通信路を介して受信する一次評価情報受信手段と、
前記受け付け時点の情報に基づいて抽出範囲を特定して、前記コンテンツからその一部であるコンテンツ片を前記抽出範囲に従って抽出するコンテンツ片抽出手段と、
前記コンテンツ片を通信路を介して送信するコンテンツ片送信手段と、
前記コンテンツ片を通信路を介して受信するコンテンツ片受信手段と、
前記コンテンツ片に対する二次評価を含む二次評価情報を受け付ける二次評価情報受付手段と、
前記二次評価情報を通信路を介して送信する二次評価情報送信手段と、
前記二次評価情報を通信路を介して受信する二次評価情報受信手段と、
を含むことを特徴とする。

また、本発明のサーバ装置は、コンテンツを評価する評価者から前記コンテンツに対する逐次の評価操作の受け付け時点の情報を含む一次評価情報を通信路を介して受信する一次評価受信手段と、
前記受け付け時点の情報に基づいて抽出範囲を特定して、前記コンテンツからその一部であるコンテンツ片を前記抽出範囲に従って抽出するコンテンツ片抽出手段と、
前記コンテンツ片を前記評価者に通信路を介して送信するコンテンツ片送信手段と、
前記評価者から前記コンテンツ片に対する二次評価を含む二次評価情報を通信路を介して受信する二次評価情報受信手段と、
を含むことを特徴とする。

また、本発明の端末装置は、コンテンツに対する評価操作を逐次受け付けて、その受け付け時点の情報を含む一次評価情報を記憶する、一次評価情報受付手段と、
前記一次評価情報を通信路を介して送信する一次評価情報送信手段と、
前記受け付け時点の情報に基づいて特定された抽出範囲に従って前記コンテンツの一部として抽出されたコンテンツ片を通信路を介して受信するコンテンツ片受信手段と、
前記コンテンツ片に対する二次評価を含む二次評価情報を受け付ける二次評価情報受付手段と、を有することを特徴とする。

本発明の実施例１であるシステムの概要を示す概略図である。 図１のシステムのサーバの構成の一例を示すブロック図である。 図１のシステムの端末の構成の一例を示すブロック図である。 本発明の実施例１であるコンテンツ評価システムを応用したコールセンタシステムの構成を示す概略図である。 本発明の実施例１の評価システムを実現するための評価ルーチンのフロー図である。 本発明の実施例１における一次評価及び二次評価を入力する際の端末の入力受け付け画面例である。 本発明の実施例１における二次評価を入力する際の端末の入力受け付け画面例である。 本発明の実施例２であるコンテンツ評価システムの構成を示す概略図である。 本発明の実施例２の評価システムを実現するための評価ルーチンのフロー図である。 本発明の実施例２における一次評価及び二次評価を入力する際の端末の入力受け付け画面例である。

以下に、本発明の実施例である評価装置、並びにサーバ装置及び端末装置を含む評価システムについて添付図面を参照しつつ説明する。

図１は、本発明の実施例である評価システムＳＹＳ１を示している。図１に示すように、評価システムＳＹＳ１は、サーバ１０（「サーバ装置」の一例）と、コンテンツを評価する評価者（例えば、視聴者、聴取者等）が操作する端末２０（「端末装置」の一例）と、を含んで構成されている。なお、図１の例では、説明の便宜上、１つの端末２０を示しているが、実際には多数の端末２０がサーバ１０と通信可能となっていてもよい。

サーバ１０と端末２０とは、ネットワークＮＷ（通信路）を介して、例えば、ＴＣＰ／ＩＰ等の通信プロトコルを用いて相互にデータの送受信が可能になっている。なお、ネットワークＮＷは、例えば、インターネット、ＬＡＮ（Local Area Network）専用通信回線（例えば、ＣＡＴＶ（Community Antenna Television）回線）、移動体通信網（基地局等を含む）、及び／又はゲートウェイ等により構築されている。

図２にサーバ１０の構成を示す。例えば、サーバ１０はシステムバス１１を介して、大容量記憶装置１３と、システム制御部１５と、データ通信部１７とが協働している装置である。

大容量記憶装置１３は、例えば、ハードディスク装置及びＳＳＤ（solid state drive）等により構成されており、オペレーティングシステムや、サーバ用のソフトウェア等の各種プログラムを記憶する。なお、各種プログラムは、例えば、他のサーバ装置等からネットワークＮＷを介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。すなわち、大容量記憶装置１３に記憶される各種プログラム（後述する評価収集処理におけるサーバ１０側の処理を実行するためのプログラムを含む）は、ネットワークＮＷを介して伝送可能であるし、また、コンピュータ読み取り可能な記録媒体に記録して譲渡することが可能である。また、大容量記憶装置１３内には、識別情報データベース（ＤＢ（Database））１３ａ、コンテンツＤＢ１３ｂ、並びに評価情報＆コンテンツ片ＤＢ１３ｃが構築されている。なお、認証情報ＤＢ１３ａ、コンテンツＤＢ１３ｂ及び評価情報＆コンテンツ片ＤＢ１３ｃは、大容量記憶装置１３内のものに限定されず、それぞれが通信可能状態である離れた所在地に設置されていてもよい。

システム制御部１５は、ＣＰＵ（Central Processing Unit）１５ａ、ＲＯＭ（Read Only Memory）１５ｂ、ＲＡＭ（Random Access Memory）１５ｃ等により構成され、コンピュータとして機能する。そして、ＣＰＵ１５ａが、ＲＯＭ１５ｂや大容量記憶装置１３に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。

データ通信部１７は、上記したネットワークＮＷに接続されており、種々のデータを端末２０等の他の機器との間で送受信する。

図３に端末２０の構成を示す。例えば、端末２０はシステムバス２１を介して、大容量記憶装置２３と、システム制御部２５と、入力部２７と、出力部２９と、データ通信部３１とが協働して評価情報提供装置として働く。端末２０としては、例えば、パーソナルコンピュータ（ＰＣ）、スマートフォン、タブレットＰＣ、フィーチャーフォン、ＰＤＡ（Personal Digital Assistant）が挙げられる。

大容量記憶装置２３は、例えば、ハードディスク装置、ＳＳＤ（solid state drive）、フラッシュメモリ等により構成されており、オペレーティングシステムや、端末用のソフトウェア等の各種プログラムを記憶する。なお、各種プログラムは、例えば、他のサーバ装置等からネットワークＮＷを介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。すなわち、大容量記憶装置２３に記憶される各種プログラム（後述する評価処理における端末２０側の処理を実行するためのプログラムを含む）は、ネットワークＮＷを介して伝送可能であるし、また、コンピュータ読み取り可能な記録媒体に記録して譲渡することが可能である。

システム制御部２５は、ＣＰＵ（Central Processing Unit）２５ａ、ＲＯＭ（Read Only Memory）２５ｂ、ＲＡＭ（Random Access Memory）２５ｃ等により構成され、コンピュータとして機能する。そして、ＣＰＵ２５ａが、ＲＯＭ２５ｂや大容量記憶装置２３に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。

入力部２７は、例えば、キーボード、マウス、タッチパッド、タッチパネル、スタイラスペン、音声入力装置、加速度センサ、傾きセンサ等の入力装置である。出力部２９は、例えば、映像を表示するディスプレイ及び／又は音声を発するスピーカである。また、データ通信部３１は、上記したネットワークＮＷに接続されており、種々のデータをサーバ１０等の他の機器との間で送受信する。

図４及び図５を参照して、実施例１のコンテンツ評価システムを説明する。図４は、本発明によるコンテンツ評価システムを応用したコールセンタシステム４０の一例を示す。コールセンタシステム４０はコールセンタにて構築された電話に対応する通信システムの一つである。図５は実施例１のコンテンツ評価システムを実現するための評価ルーチンのフロー図を示す。

コールセンタは、オペレータによる顧客との電話対応業務を専門に行う事業所又は事業部として知られている。コールセンタは顧客からの受付対応（いわゆるインバウンド）のほかに、新規顧客の開拓業務やマーケティング（いわゆるアウトバウンド）にも利用されている。

図４に示すように、コールセンタシステム４０は、例えば、それぞれがＬＡＮ４１に接続された、ゲートウェイ４３と、ＣＴＩサーバ４５と、顧客の電話対応をするオペレータが使用するオペレータ端末４７と、通話録音装置４９と、を含む。なお、図４では、説明の便宜上、１つのオペレータ端末４７を示しているが、実際には多数の端末４７がＬＡＮ４１に接続されている。各端末４７は例えば、キーボード、マウス、ディスプレイ、ヘッドセット等を備えたＰＣ、またはシステムに接続された電話装置である。

ゲートウェイ４３はＰＢＸ（Private Branch eXchange）機能を含み、ＬＡＮ４１において伝送される信号と公衆電話網５０において伝送される信号とを相互に変換する。公衆電話網５０を介した顧客通信装置（固定電話機、携帯電話機等）５１との通話信号がゲートウェイ４３により変換され、ＣＴＩサーバ４５によって、対応可能なペレータ端末４７のＩＰ電話、ソフトフォン等にＬＡＮ４１を介して着信される。オペレータ端末４７は、かかる通話の開始や終了、或いは当該通話の転送等の指令信号を生成する機能を有する。通話録音装置４９は、ＬＡＮ４１を介して、顧客とオペレータとの通話内容の音声データ（コンテンツ）を取得し、随時、所定形式で録音、保存する。

コールセンタにおける顧客に対するオペレータの応対の品質の向上は重要である。故に、オペレータのリーダやスーパーバイザ（評価者）によるモニタリングやフィードバックはオペレータ業務にはかかせない。通話録音装置４９に保存された通話内容（コンテンツ）を評価してオペレータへのフィードバックに利用する目的で、実施例１のコンテンツ評価システムＳＹＳ１は、端末２０（図１）を図４に示すＬＡＮ４１に接続し、ネットワークＮＷを介して上記のサーバ１０に接続して、構成される。なお、端末２０はキーボード、マウス、ディスプレイ、ヘッドセット等を備える。また、実施例１においては、コールセンタシステム４０内の通話録音装置４９がコンテンツＤＢ１３ｂ（図２）としての機能を果たし、サーバ１０から独立して機能している。

［実施例１の評価ルーチン］
図５を参照して、実施例１のシステムにおける評価ルーチンについて説明する。

まず、図５に示す端末２０は、リーダやスーパーバイザの識別情報（評価者の情報）及び／又は評価者が評価するコンテンツの情報を含む識別情報を通信路に供給することでサーバ１０に送信する（以下、単に送信するという）（ステップＳ１Ａ）。これに対して、サーバ１０は、受信した識別情報を識別情報ＤＢ１３ａに記録し、認証処理を行い、評価システムのＷｅｂ画面情報を端末２０に送信する（ステップＳ１Ｂ）。受信した画面情報に基づいて、端末２０はそのディスプレイにＷｅｂ画面を提示する。

一方、サーバ１０は、認証処理後、端末２０からの一次評価情報（時点情報）が到来するのを待機する（ステップＳ４Ｂ）。

端末２０は、Ｗｅｂ画面への入力に応じて、評価者が評価する１つのストリームの通話内容（コンテンツ）を通話録音装置４９に要求する（ステップＳ２Ａ）。その後、通話録音装置４９からのコンテンツが到来するのを待機する（ステップＳ３Ａ：ＮＯ）。なお、ここでの通話録音装置４９は、ライブ映像、ライブ音声等の配信における装置を含むものであり、例えば、リアルタイムモニタリングのストリームコンテンツを端末２０に供給できる。

次に、通話録音装置４９は、端末２０からのコンテンツ要求に基づいてコンテンツを特定し（ステップＳ２Ｂ）、当該特定したコンテンツを読み出して端末２０に送信する（ステップＳ３Ｂ）。

端末２０がコンテンツを受信すると（ステップＳ３Ａ：ＹＥＳ）、端末２０は、Ｗｅｂ画面を提示しつつ当該受信したコンテンツを再生する（ステップＳ４Ａ）。

当該コンテンツの再生中に、これを聴取した評価者によって端末２０のＷｅｂ画面を介して、一次評価（例えば、評価者の関心のある再生時点を単純に直感的に記録する評価）を受け付け、その記録が行われる（ステップＳ５Ａ）。

例えば、図６は、端末２０のディスプレイに提示されるＷｅｂ画面の一例を示す。このＷｅｂ画面には、上から順に、新規フィードバックフィールド（ＦＢ）６２、コンテンツの再生進行状況表示部６３（シークバー６３ａ中の丸形インジケータ６３ｂが再生音の時点位置を示し、左から右へ再生中移動する）及び既存ＦＢ６４が配置されている。

上述の一次評価は、具体的には、端末２０において、図６のＷｅｂ画面において、マウスが所定部位（ボタン等）上でクリックされることによって、再生コンテンツの中の評価者が関心のある一部に関する時点情報（一次評価）が入力、受け付けされる（図５のステップＳ５Ａ）。すなわち、一次評価である時点情報の入力が、評価者の評価操作によってコンテンツの再生と同時進行で逐次（すなわち順次）行われる。

コンテンツの再生中に、新規ＦＢ６２において、その左側「切り抜き開始（３秒前〜）」のボタン６２ａと右側「切り抜き終了」のボタン６２ｂを順にクリックすることで、一次評価である時点情報の入力が行われる。すなわち、評価者は音声を聞きながら、評価を行いたいと感じた際に、一次評価操作として切り取り開始ボタン６２ａをクリックし、評価を行いたい部分が終了したと感じた際に一次評価操作として切り抜き終了ボタン６２ｂをクリックする。評価者は、このようなクリック操作によって一次評価を行う。当該一次評価操作を行った時点を示す時点情報を含む一次評価情報に基づいて、コンテンツの抽出範囲（コンテンツ片）の始点及び終点が、サーバ１０での後のステップにて決定される。

なお、一次評価である時点情報の入力中にて該入力自体の無効すなわち切り抜き無しとする場合、一次評価を完了する前に新規ＦＢ６２の右側下に配されている「切り抜きキャンセル」のボタン６２ｄをクリックする。また、評価入力操作を中断する場合すなわち一次評価の途中の位置を記憶して再度その位置から一次評価を開始する場合はＷｅｂ画面右上の「中断」ボタン６５を、評価入力操作を完了する場合は「完了」ボタン６６をクリックする。このように、一次評価の操作において、少なくとも再生コンテンツの時点情報の入力がなされる。

また、時点情報の一次評価入力中に評価者は、図６のＷｅｂ画面にて、後にコンテンツ片として抽出されるだろう部分に対するメモもしくは評価を新規ＦＢ６２へ入力することができる。すなわち、切り取り開始ボタン６２ａがクリックされた直後から二次評価であるコメントの入力を可能としてもよい。つまり、時点情報の一次評価が完了してから二次評価に移るのではなく、一次評価と並行して二次評価を行うことができる。当該二次評価は、新規ＦＢ６２における分類されたコメント欄、すなわち「詳細」欄６２ｅと「指摘の根拠・ＦＢ内容」欄６２ｆに例えばキーボード入力される。

また、当該二次評価の参考となるように、評価の選択肢が、例えば「コンプライアンス」と「営業スキル」に分類されて、複数のキーフレーズ一覧６２ｇとして表示されている。評価者は、二次評価を入力するに際して、あらかじめ設定された当該評価選択肢から選択してもよく、また得点などの情報を含む評価を入力することも可能である。ここでコメント欄にキーボード入力するときに、コンテンツの再生進行状況表示部６３の左側のポーズ（再生）ボタン６３ｃをクリックして、コンテンツ再生を一時停止することも可能である。

具体的には、端末２０は、図６のＷｅｂ画面における「切り抜き終了」のボタン６２ｂのクリック操作の検出で、一次評価である時点情報を受け付け（ステップＳ５Ａ）、端末２０は再生されたコンテンツにおける一次評価操作が行われた時点情報を含む一次評価情報を、待機しているサーバ１０に送信する（ステップＳ６Ａ）。

サーバ１０が当該一次評価情報（時点情報）を受信すると（ステップＳ４Ｂ：ＹＥＳ）、サーバ１０は受信した一次評価情報を評価情報＆コンテンツ片ＤＢ１３ｃに保存し（ステップＳ５Ｂ）、当該保存した一次評価情報（時点情報）に基づいてコンテンツ片を生成し、当該コンテンツ片を評価情報＆コンテンツ片ＤＢ１３ｃに保存する（ステップＳ６Ｂ）。

コンテンツ片は、コンテンツのうちの連続した又は断続した一部である。サーバ１０におけるコンテンツ片生成においては、一次評価操作が行われた時点情報に基づいて、プログラム側が抽出位置を特定して生成を行う。例えば、図６のＷｅｂ画面における「切り抜き開始（３秒前〜）」のボタン６２ａのクリック時点の３秒前の時点を始点として、「切り抜き終了」のボタン６２ｂ（図６）のクリック時点を終点としてコンテンツから抽出することで、コンテンツ片の生成が行われる。

なお、上述のように、当該コンテンツ片の生成を開始と終了の２回のクリック操作の時点情報に基づいて規定する他に、新規ＦＢ６２の左側「切り抜き開始（３秒前〜）」のボタン６２ａの下の「過去の１０秒固定切り抜き」ボタン６２ｃの一回のクリックによって、一次評価である時点情報の入力が行われてコンテンツ片の生成が行われてもよい。すなわち、予め定められた一つの評価操作に基づいて抽出位置が定められてもよい。

この、「過去の１０秒固定切り抜き」ボタン６２ｃ（図６）の１回のクリック操作に基づく時点情報を用いる場合には、例えば、クリック時点の１０秒前を始点としクリック時点を終点として当該始点から終点までを抽出することで、コンテンツ片の生成が行われてもよい。

これら抽出範囲の始点や終点の規定態様は自由に設定可能である。例えば、２回のクリック操作の時点情報に基づいて抽出を行う場合には、１回目のクリック操作から任意に設定された時間分遡った時点または経過した時点を始点としてもよい。また、同様に２回目のクリック操作から任意に設定された時間分遡った時点または経過した時点を終点としてもよい。なお、１回目のクリック操作及び２回目のクリック操作が行われた時点自体をそれぞれ抽出範囲の始点及び終点としてもよい。

また、１回のクリック操作の時点情報に基づいて抽出を行う場合には、当該クリック操作から任意に設定された時間分遡った時点を始点とし、当該クリック操作から任意に設定された時間分経過した時点を終点としてもよい。

サーバ１０は、ステップＳ６Ｂの処理後、生成・保存したコンテンツ片を含むコンテンツ片情報を端末２０に送信する（ステップＳ７Ｂ）。

また、端末２０は、ステップＳ６Ａの処理後、サーバ１０からのコンテンツ片情報を受信（ステップＳ７Ａ）し、当該コンテンツ片の受信に応じて、図７に示すような二次評価画面６０ａをポップアップ画面として表示して、コンテンツ片を評価者に提示する（ステップＳ８Ａ）。

なお、図７の二次評価画面６０ａは、一次評価により抽出されたコンテンツ片を提示し、二次評価を受け付ける画面である。再生進行状況表示部６３には、当該抽出されたコンテンツ片の始点から終点までがシークバー６３ｄ（シークバー６３ｄ中の丸形インジケータ６３ｅが再生音の時点位置を示し、左から右へ再生中移動する）によって表示されている。

画面６０ａには、指摘内容を入力する「詳細」欄６２ｅ及び「指摘の根拠・ＦＢ内容」欄６２ｆと、チェック項目を例示する「コンプライアンス」及び「営業スキル」のキーフレーズ一覧６２ｇと、チェック項目に対する評価点の評価欄６２ｈが表示される。評価欄６２ｈの下には、左から、「完了」ボタン６６ａと、「途中保存」ボタン６７と、「削除」ボタン６８と、コンテンツ片の再生進行状況表示部６３とが配置されている。

再生進行状況表示部６３の下には、右から、「切り抜き時間編集」ボタン６９と、「完了し同じ個所に別のフィードバック」ボタン６６ｂとが配置されている。「完了」ボタン６６は各欄の内容を保存して一次評価の入力画面（図６）に戻るためのボタンである。「途中保存」ボタン６７は各欄の内容を保存するためのボタンである。「削除」ボタン６８は、現在表示されているコンテンツ片を削除し一次評価の入力画面（図６）に戻るためのボタンである。

「完了し同じ個所に別のフィードバック」ボタン６６ｂは、各欄の内容を保存して、同じ個所に別のフィードバックを行う、すなわち新たな入力画面（図７と同様なブランク画面）を呼び出すためのボタンである。「切り抜き時間編集」ボタン６９は抽出範囲の始点及び終点の少なくとも一方の変更を受け付ける、すなわち切り抜き時間を編集するための画面（図示せず）を呼び出すためのボタンである。

「切り抜き時間編集」ボタン６９は、コンテンツ片を抽出するプログラムにおいて、抽出範囲の始点及び終点の少なくとも一方の変更を受け付ける抽出範囲変更受付手段の一部のインターフェイスとして機能する。かかる「切り抜き時間編集」ボタン６９によれば、一次評価に基づいてコンテンツ片が抽出された後に、当該コンテンツ片の始点と終点を評価者が任意に変更できることになる。これによって、評価者の意図とは偏倚した部分がコンテンツ片に抽出された場合に、当該コンテンツ片の始点と終点を調整することで、評価者が真に評価を希望するコンテンツ片を生成することができる。

図７の二次評価画面６０ａにおける入力の際には、コンテンツ片の再生進行状況表示部６３の再生ボタン６３ｆをクリックすることで、受信したコンテンツ片を再生することができる。すなわち、評価者は二次評価画面６０ａにおいて、コンテンツ片を聴きながら二次評価を詳細に入力することが可能である。このように評価者へ二次評価の入力を受け付ける（ステップＳ９Ａ）。

ここで、評価者は、当該二次評価画面６０ａの「詳細」欄６２ｅと「指摘の根拠・ＦＢ内容」欄６２ｆにコメントをキーボードで入力でき、さらに、「コンプライアンス」及び「営業スキル」のキーフレーズ一覧６２ｇから１つずつ選択して、その得点情報を評価欄６２ｈから選択して入力することができる。

ここで、端末２０は、「詳細」欄６２ｅと「指摘の根拠・ＦＢ内容」欄６２ｆの評価者からのコメント入力が完了したか否かを判別する。この判定は、例えば、完了ボタン６６ａが評価者によってクリックされたか否かで行われる（ステップＳ１０Ａ）。二次評価の入力が完了していないと判定する場合（ステップＳ１０Ａ：ＮＯ）、端末２０は、二次評価の入力を受け付け（ステップＳ９Ａ）を待つこととなる。

二次評価の入力が完了したと判定する場合（ステップＳ１０Ａ：ＹＥＳ）、この時点の二次評価情報をサーバ１０に送信する（ステップＳ１１Ａ）。ここにおいて、サーバ１０は二次評価情報の到来を待機している（ステップＳ８Ｂ）。

サーバ１０は、二次評価情報の到来を待ってこれを受信すると（ステップＳ８Ｂ：ＹＥＳ）、当該受信した二次評価情報を、当該二次評価の対象となったコンテンツ片と関連付けた上で評価情報＆コンテンツ片ＤＢ１３ｃに保存し（ステップＳ９Ｂ）、その後、端末２０からの評価の完了の通知が到来するのを待機する（ステップＳ１０Ｂ）。

二次評価情報の送信（ステップＳ１１Ａ）後、端末２０は、図６の二次評価画面６０を監視して、評価者による評価が完了したか否かを判別する（ステップＳ１２Ａ）。このように、一次評価情報は一次評価操作があった際にサーバ１０に逐次送信されたのと同様に、更に二次評価情報は二次評価操作があった際にもサーバ１０に逐次送信される。

評価者が画面６０ａ上の完了ボタン６６ａをクリックして一次評価の入力に戻る場合（ステップＳ１２Ａ：ＮＯ）、処理はＳ４Ａに戻り、一次評価を継続することが可能となる。すなわち、端末２０が記録しているコンテンツ片の抽出範囲の終点からコンテンツの再生が行われ、評価者による一次評価操作が再び行われる。

端末２０は、戻った図６のＷｅｂ画面を示す既存ＦＢ６４に、受信したコンテンツ片をリスト６４ａとして提示する。

端末２０がステップＳ４ＡからステップＳ１２Ａ（ＮＯ）のループを繰り返し、サーバ１０がステップＳ４Ｂ（ＹＥＳ）からステップＳ１０Ｂ（ＮＯ）のループを繰り返すことにより、評価者は、コンテンツ片への二次評価を行った後既存ＦＢ内に表示されたリスト６４ａをクリックする等して選択することでコンテンツ片を再度聴取しつつ、図７のＷｅｂ画面の「詳細」欄６２ｅ及び「指摘の根拠・ＦＢ内容」欄６２ｆの二次評価を完成させることができる。

ステップＳ１２Ａにおいて画面６０上の「完了」ボタン６６のクリックにより評価が完了したと判定された場合（ステップＳ１２Ａ：ＹＥＳ）、端末２０は評価完了の通知をサーバ１０に送信（ステップＳ１３Ａ）して全処理を終了する。そして、待機しているサーバ１０は評価完了の通知を受信して全処理を終了する。

実施例１の評価装置及び評価システムによれば、コンテンツを聴取しつつ比較的簡単な直感的な関心の有無を示す一次評価（時点情報）を行い、コンテンツの聴取後に当該時点情報に基づいて生成されたコンテンツ片を聴取して、より詳細な二次評価を行うことができる。そして、このコンテンツ片の開始時点及び終了時点が適切に変化させられることにより、最適な評価が可能になる。すなわち、コンテンツの一部を一次評価（時点情報）に応じて抽出してコンテンツ片を生成し、その後に当該コンテンツ片を再度詳細に評価することを可能にすることで、コンテンツについての精確かつ詳細な評価を行うことが可能となる。

認証情報ＤＢ１３ａ、コンテンツＤＢ１３ｂ及び評価情報＆コンテンツ片ＤＢ１３ｃに保存された情報は、任意の端末装置によって取得可能であり、例えば評価の対象となったコンテンツに関わるオペレータが当該コンテンツについての二次評価情報を閲覧することが可能である。それにより、例えば、オペレータが評価情報を基にしてオペレータ業務にフィードバックをかけることが可能となる。

なお、上記実施例１においては、図５に示すルーチンにおいて、端末２０を介して再生されるコンテンツを視聴または聴取して一次評価を入力する例について説明した。しかし、図５に示すルーチンに先んじて一次評価を行ってその結果を保存し、図５に示すルーチンおいて当該結果を利用することとしてもよい。

例えば、図５に示すルーチンにおいて通話録音装置ＣＳに記録されるコンテンツに関して、当該コンテンツが通話録音装置ＣＳに録音または録画等されて記録されるのと並行して、すなわち生（ライブ）で視聴・聴取して事前に一次評価を行ってもよい。この場合、図５のステップＳ５Ａにおいて受け付けられる一次評価の情報に、当該事前になされた一次評価の情報を加味してコンテンツ片が生成されてもよい。

また、事前の一次評価時に当該事前の一次評価に基づいて、録音または録画されたコンテンツからコンテンツ片を形成することとし、事前の一次評価と並行して事前の二次評価を行ってもよい。

図８及び図９を参照して、実施例２のコンテンツ評価システムを説明する。図８は、クラウド等の外部のコンテンツサーバＣＳに記録された、音声を評価するコンテンツ評価システムの一例を示す。図９は実施例２のコンテンツ評価システムを実現するための評価ルーチンのフロー図を示す。

実施例２のコンテンツ評価システムは、上記実施例１の説明において図１乃至３を参照して説明したサーバ１０及び１または複数の端末２０、並びに評価者が評価するコンテンツを保持しているコンテンツサーバＣＳがネットワークＮＷを介して互いに接続されてなるシステムである。

［実施例２の評価ルーチン］
図９を参照して、実施例１のシステムにおける評価ルーチンについて説明する。

まず、図９に示す端末２０は、評価者が評価すべきコンテンツの情報を含む識別情報を通信路に供給することでサーバ１０に送信する（以下、単に送信するという）（ステップＳ１Ａ）。これに対して、サーバ１０は、受信した識別情報を識別情報ＤＢ１３ａに記録し、認証処理を行い、評価システムのＷｅｂ画面情報を端末２０に送信する（ステップＳ１Ｂ）。受信した画面情報に基づいて、端末２０はそのディスプレイにＷｅｂ画面を提示する。

サーバ１０は、認証処理（ステップＳ１Ｂ）の終了後、端末２０から種々の情報が到来するのを待機し（ステップＳ４Ｂ）、情報が到来するとそれらの情報の種類を判定して（ステップＳ５Ｂ、ステップＳ９Ｂ、ステップＳ１１Ｂ）情報の種類に応じた処理を行う。

端末２０は、Ｗｅｂ画面への入力に応じて、評価者が評価する１つのストリームの講演等の音声データ（コンテンツ）をコンテンツサーバＣＳに要求する（ステップＳ２Ａ）。その後、コンテンツサーバＣＳからのコンテンツが到来するのを待機する（ステップＳ３Ａ：ＮＯ）。

次に、コンテンツサーバＣＳは、端末２０からのコンテンツ要求に基づいてコンテンツを特定し（ステップＳ２Ｂ）、当該特定したコンテンツを読み出して端末２０に送信する（ステップＳ３Ｂ）。

端末２０がコンテンツを受信すると（ステップＳ３Ａ：ＹＥＳ）、端末２０は、Ｗｅｂ画面を提示しつつ当該受信したコンテンツを再生する（ステップＳ４Ａ）。

当該コンテンツの再生中に、端末２０のＷｅｂ画面を介して、これを聴取した評価者による一次評価（例えば、評価者の関心のある再生時点を単純に直感的に記録する評価）が受け付けられ、その記録が行われる。すなわち、図９に示す端末２０は、Ｗｅｂ画面７０を介して、時点情報の入力すなわち評価者による一次評価操作が行われたか否かを監視する（ステップＳ５Ａ）。

図１０は、図９のステップＳ３Ａにて受信したコンテンツの再生中の端末２０のディスプレイに提示された一例のＷｅｂ画面７０を示す。画面表示中（ステップＳ５Ａ）に、コンテンツを聴取した評価者は、音声を聞きながら、評価を行いたいと感じた際に、一次評価操作をする。

図１０のＷｅｂ画面７０には、左上から左下と右部分と最下部の順に、時系列で一次評価を示す一次評価表示部７１と、一次評価時点入力ボタン群７２と、評価コメント入力欄７３と、評価コメント表示部７４と、コンテンツの再生進行状況表示部７５（シークバー７５ａ中の丸形インジケータ７５ｂが再生の時点位置を示し、左から右へ再生中移動する）と、が配置されている。なお、一次評価表示部７１及び評価コメント表示部は、コンテンツ片提示手段としてのコンテンツ提示部としても機能する。

一次評価表示部７１は一次評価の「とてもポジティブ」、「ややポジティブ」、「ややネガティブ」及び「とてもネガティブ」の４段階のランキングを、それぞれチェックマークと「＋＋」、「＋」、「−」及び「−−」や着色や上下位置ラインで表示する部分である。一次評価時点入力ボタン群７２は当該一次評価をクリック入力するためのボタンである。

なお、一次評価は、キーボードの上矢印「↑」ボタンまたは下矢印「↓」ボタンを押下することで行われてもよい。例えば、上矢印「↑」を２回押下すると「＋＋」評価を入力したこととなり、１回押下すると「＋」評価を入力したこととなる。また、例えば、下矢印「↓」を２回押下すると「−−」評価を入力したこととなり、１回押下すると「−」評価を入力したこととなる。

また、端末２０がタッチパネル式の入力装置を備えている場合、一次評価は、例えば評価時点入力ボタン群７２の領域等の画面上において、上下方向にフリック操作をすることによって入力されてもよい。

一次評価表示部７１と一次評価時点入力ボタン群７２は一体的に表示されている。一次評価表示部７１と一次評価時点入力ボタン群７２は、上から順に「とてもポジティブ」チェックマーク＋＋の横ライン及びボタン７２ａ、「ややポジティブ」チェックマーク＋の横ライン及びボタン７２ｂ、「ややネガティブ」チェックマーク−の横ライン及びボタン７２ｃ、及び「とてもネガティブ」チェックマーク−−の横ライン及びボタン７２ｄで構成されている。また、「ややポジティブ」チェックマーク＋の横ライン及びボタン７２ｂと「ややネガティブ」チェックマーク−の横ライン及びボタン７２ｃとの間には、基準ラインＲＦが再生時間表示と共に配置されている。なお、基準ラインＲＦを基準ラインボタンとして、「中立」評価を入力できるように構成してもよい。その場合、一次評価表示部７１は５段階のランキングを示すことができる。

コンテンツ再生中に、これを聴取した評価者が関心のある再生時点を単純に直感的に評価し、「とてもポジティブ」、「ややポジティブ」、「ややネガティブ」及び「とてもネガティブ」といった良悪の評価を示すボタン７２ａ〜７２ｄのいずれかをクリックすると、当該クリック操作を端末２０が受け付ける。この時、図９に示すように、一次評価操作がなされて当該操作が検出された場合には（ステップＳ５Ａ：ＹＥＳ）、端末２０は再生されたコンテンツにおける一次評価操作が行われた時点情報を含む一次評価情報を、待機しているサーバ１０に送信する（ステップＳ６Ａ）。

サーバ１０が当該一次評価情報（時点情報）を受信すると、サーバ１０は、情報が到来したと判定し（ステップＳ４Ｂ：ＹＥＳ）、さらに、それが一次評価情報であると判定する（ステップＳ５Ｂ：ＹＥＳ）。その後、サーバ１０は受信した一次評価情報（時点情報）を評価情報＆コンテンツ片ＤＢ１３ｃに保存し（ステップＳ６Ｂ）、当該保存した一次評価情報（時点情報）に基づいてコンテンツ片を生成し、当該コンテンツ片を評価情報＆コンテンツ片ＤＢ１３ｃに保存する（ステップＳ７Ｂ）。

サーバ１０におけるコンテンツ片の抽出・生成は、一次評価であるクリック操作が行われた時点から任意の時間分（例えば１０秒）遡った時点をコンテンツ片の始点とし、クリック操作が行われた時点から任意の時間分（例えば１０秒）経過した時点をコンテンツ片の終点として、コンテンツ片を抽出することで行われてもよい。また、コンテンツ片の抽出には、例えば、「とてもポジティブ」、「ややポジティブ」といった良い評価の場合と「とてもネガティブ」、「ややネガティブ」といった悪い評価の場合で上記任意の時間を変更する等、評価に応じてコンテンツ片の始点及び終点並びに抽出長が変化することとしてもよい。

サーバ１０は、ステップＳ６Ｂの処理後、生成・保存したコンテンツ片を含むコンテンツ片情報を端末２０に送信する（ステップＳ８Ｂ）。

端末２０は、サーバ１０からのコンテンツ片情報を受信する（ステップＳ７Ａ）と、図１０のＷｅｂ画面の一次評価表示部７１に受信したコンテンツ片及び当該コンテンツ片に対する評価を含むコンテンツ片情報を順次表示することで提示する（ステップＳ８）。図１０に示すように、保存されたコンテンツ片及び当該コンテンツ片の抽出・生成に用いられた一次評価情報に含まれる良悪の評価は、各チェックマークの横ラインに所定時間長の評価バーＢａｒ（４段階の評価レベル）の１つとして表示されることで提示される。

なお、この際、一次評価表示部７１のみならず、後述する評価コメント表示部７４にも、当該良悪の評価を含む一次評価情報及び抽出されたコンテンツ片開始時間と共にコンテンツ片情報が評価コメントボックス７４ｂ−７４ｄとして提示される。

評価コメントボックスは、各評価コメントボックスに対応するコンテンツ片についての一次評価操作が行われた時刻の順に並べられる。例えば、図１０では、「とてもネガティブ」チェックマーク−−のボタン７２ｄ、「ややポジティブ」チェックマーク＋のボタン７２ｂ及び「ややネガティブ」チェックマーク−のボタン７２ｃに対応する評価コメントボックス７４ｄ、７４ｂ及び７４ｃの順に並べられている。

このように、実施例２のコンテンツ評価システムにおいては、評価のボタン７２ａ〜７２ｄのいずれかの一回のクリックで、一次評価である時点情報の入力が行われる。すなわち、一次評価である時点情報の入力が、選択的クリックにより、コンテンツに関する良悪の評価を定める操作と共にコンテンツの再生と同時進行で逐次（すなわち順次）行われる。これにより、一次評価に評価した時点の情報に加えて、コンテンツの一部の実際の良悪の評価情報が含まれることとなる。

端末２０は、評価操作が検出されなかったと判定する（ステップＳ５Ａ：ＮＯ）かまたはステップＳ８Ａの終了後、コンテンツの再生が終了したか否かを判定する（ステップＳ９Ａ）。ステップＳ９Ａにおいてコンテンツの再生が終了していないと判定された場合（ステップＳ９Ａ：ＮＯ）、処理はステップＳ５Ａに戻り、再度、評価操作の検出が行われる。すなわち、コンテンツの再生が継続して行われ、評価者による一次評価操作の受け付けが継続される。

端末２０がステップＳ５ＡからステップＳ９Ａ（ＮＯ）のループを繰り返すことにより、一次評価が継続的に行われる。例えば、図１０に示す一次評価表示部７１隣の「とてもネガティブ」チェックマーク−−のボタン７２ｄ、「ややポジティブ」チェックマーク＋のボタン７２ｂ及び「ややネガティブ」チェックマーク−のボタン７２ｃがそれぞれ順次的にクリックされた場合、３本の評価バーＢａｒ、すなわち３つのコンテンツ片を示すマーカーは、コンテンツが進むに従って右から左へ移動するように、逐次表示される。

なお、コンテンツの再生が終了して一次評価がコンテンツを通して完了してから二次評価に移るのではなく、一次評価と並行して、すなわちコンテンツを再生しつつ二次評価（コメント入力）を行うことが可能であってもよい。この場合二次評価は、評価コメント入力欄７３に例えばキーボード入力される。評価コメント入力欄７３の入力コメントは、評価コメント表示部７４上から２番目以降の個別コメントボックスへ反映され、入力と同期してクリック時点の時刻とともに表示される。この際、端末２０は、当該クリック操作を受け付けた時点及び上記した良悪の評価（評価ランクやコメント）の情報を含む一次評価情報及び二次評価情報をサーバ１０に送信してもよい。

このように一次評価と並行して二次評価を行う際、例えば、一次評価操作を行うと、評価コメント欄７３がアクティブにされ、コメント欄７３への入力が可能となることとしてもよい。また、その後に完了ボタン７６及び書きかけボタン７９をクリックすることで、一次評価時点入力ボタン群７２がアクティブにされ、一次評価の入力が可能となることとしてもよい。この際、書き込まれたコメントは、上述した評価コメントボックス７４ｂ−７４ｄに表示される。

なお、例えば、コメント書き込みの後に、完了ボタン７６がクリックされると、評価コメントボックスにチェックマークが表示されて（例えば、評価コメントボックス７４ｃ、７４ｄ右上部に表示）、コンテンツ片に対するコメントの入力が完了したという評価者の意思が示されてもよい。

また、コメント書き込みの後に、書きかけボタン７９がクリックされると、評価コメントボックスに三角（△）マークが表示されて（例えば、評価コメントボックス７４ｂ右上部に表示）、コンテンツ片に対するコメントが入力途中であるという評価者の意思が示されてもよい。

コンテンツの再生中またはコンテンツの再生終了後に評価コメントの書き込みがあった場合、各コメントボックス内に書き込まれた評価コメントが表示される。なお、各々の評価コメントが一定量以上である場合は、その一部が表示される。

また、コンテンツ再生中において、評価コメントボックス７４ｂ−７４ｄをクリックすることで、評価コメント欄７３がアクティブになり、クリックされた評価コメントボックスの全部のコメントが評価コメント欄に表示されかつ当該表示されたコメントが編集可能となってもよい。

なお、図１０の評価コメント表示部７４の最上段は、コンテンツ全体に対する全体コメントを表示する全体コメントボックス７４Ｒである。当該全体コメントボックス７４Ｒをクリックすることで評価コメント欄７３がアクティブになり、全体コメントボックスの全部のコメントが評価コメント欄に表示されかつ当該表示されたコメントが編集可能となる。

端末２０がコンテンツの再生が終了したと判定すると（ステップＳ９Ａ：ＹＥＳ）、端末２０は、評価者によるコンテンツ片の選択を受け付け、受け付けた選択に基づいてコンテンツ片の送信要求をサーバ１０に送信する（ステップＳ１０Ａ）。具体的には、画面７０の一次評価表示部７１に示される３本の評価バーＢａｒ又は評価コメント表示部７４の２番目以降の個別コメントボックス７４ｂ−７４ｄのいずれかの選択的なクリックを検出して、選択されたコンテンツ片の送信要求をサーバに送信する。

サーバ１０は、当該コンテンツ片の送信要求を受信すると、情報が到来したと判定し（ステップＳ４Ｂ：ＹＥＳ）、さらにそれがコンテンツ片の送信要求であると判定する（ステップＳ５Ｂ：ＮＯ、ステップＳ９Ｂ：ＹＥＳ）。その後、サーバ１０は、当該要求されたコンテンツ片を端末２０に送信する（ステップＳ１０Ｂ）。

端末２０は、サーバ１０からコンテンツ片を受信するとそれを再生する（Ｓ１１Ａ）。ステップＳ１１の終了後、端末２０は画面７０を介して、当該受信されて再生されているコンテンツ片に対する二次評価の入力を受け付ける（ステップＳ１２）。この際、上述したように、評価バーＢａｒまたは評価コメントボックス７４ｂ−７４ｄのクリック操作の後、評価コメント欄７３がアクティブにされて、当該再生されているコンテンツ片に関するコメント（二次評価）が評価コメント入力欄７３に入力可能とされてもよい。

この状態で、評価者は同欄において、より詳細に評価コメント（二次評価）を加筆したり、これを事前に（一次評価と並行して）入力された評価コメントを編集（二次評価の実行・入力）したりすることができる。

ステップＳ１２Ａの終了後、端末２０は、受け付けた当該二次評価を含む二次評価情報をサーバ１０に送信する（ステップＳ１３Ａ）。サーバ１０は、二次評価情報を受信すると、情報が到来したと判定し（ステップＳ４Ｂ：ＹＥＳ）、さらにそれが二次評価情報であると判定する（Ｓ５Ｂ：ＮＯ、Ｓ９Ｂ：ＮＯ、ステップＳ１１Ｂ：ＹＥＳ）。その後、当該受信した二次評価情報を、当該二次評価の対象となったコンテンツ片と関連付けた上で評価情報＆コンテンツ片ＤＢ１３ｃに保存する（ステップＳ１２Ｂ）。

サーバ１０は、ステップＳ８Ｂ、Ｓ１０ＢもしくはＳ１２Ｂの終了後、またはステップＳ４Ｂにおいて情報が到来しなかったと判定した場合（ステップＳ４：ＮＯ）もしくはステップＳ１１Ｂにおいて、受信した情報が二次評価情報ではない（すなわち、一次評価情報、コンテンツ片送信要求及び二次評価情報のいずれでもない）と判定すると、端末２０からの評価完了の通知が到来するのを待機する（ステップＳ１３Ｂ）。

ステップＳ１３Ｂにおいて二次評価の完了の通知が到来していないと判定された場合（ステップＳ１３Ｂ：ＮＯ）、処理はステップＳ４Ｂに戻り、再度、サーバ１０は端末２０からの情報の到来を待機する。

また、端末２０は、ステップＳ１３Ａの終了後、評価が終了したか否かを判定する（ステップＳ１４Ａ）。この判定は、例えば、図１０に示す画面７０内の「終了」ボタン８０をクリックしたか否かで実行される。ステップＳ１４Ａにおいて評価が終了していないと判定された場合（ステップＳ１４Ａ：ＮＯ）、処理はステップＳ１０Ａに戻り、再度、コンテンツ片の選択を受け付ける。

端末２０がステップＳ１０ＡからステップＳ１４Ａ（ＮＯ）のループを繰り返すことにより、評価者は、コンテンツ片抽出の後にコンテンツ片を選択して再度聴取しつつ、図１０のＷｅｂ画面の評価コメント入力欄７３においてコメントを入力・編集して二次評価を完成させることができる。

終了ボタン８０がクリックされ、ステップＳ１４Ａにおいて評価が終了したと判定された場合（ステップＳ１４Ａ：ＹＥＳ）、端末２０は評価終了の通知をサーバ１０に送信（ステップＳ１５Ａ）して全処理を終了する。そして、待機しているサーバ１０は評価終了の通知を受信したと判定し（ステップＳ１３Ｂ）、全処理を終了する。

なお、評価コメント入力欄７３への入力中に、前後ボタン７７の前ボタン又は後ボタンをクリックすることで、コンテンツの時間軸において、現在コメントしているコンテンツ片の前後に位置するコンテンツ片に対するコメント入力に遷移することもできる。また、評価者は、評価コメント入力欄７３において入力した内容を、「削除」ボタン７８をクリックすることで削除することもできる。

実施例２の評価装置及び評価システムによれば、コンテンツを視聴・聴取しつつ比較的簡単な直感的な関心の有無を示す一次評価（時点情報）を行い、コンテンツの視聴・聴取後に当該時点情報に基づいて生成されたコンテンツ片を聴取して、より詳細な二次評価を行うことができる。

そして、このコンテンツ片の開始時点及び終了時点が一次評価に応じて適切に変化させられることにより、最適な評価が可能になる。すなわち、コンテンツの一部を一次評価（時点情報）に応じて抽出してコンテンツ片を生成し、その後に当該コンテンツ片を再度詳細に評価することを可能にすることで、コンテンツについての精確かつ詳細な評価を行うことが可能となる。

また、実施例２の評価装置及び評価システムによれば、コンテンツの再生中にその再生を止めることなく、当該コンテンツの一部に対する良悪の情報を含む評価である一次評価を行うことが可能である。これにより、コンテンツを聴取または視聴しながら、その場で感じた直感的な良悪の評価である一次評価を入力し、当該一次評価情報に基づいて、詳細な二次評価を適切に行うことが可能となる。

なお、上述の実施例２において、上述の実施例１と同様に、抽出されたコンテンツ片の始点及び終点を任意に変更できることとしてもよい。すなわち、一次評価に基づいてコンテンツ片が抽出された後に、当該コンテンツ片の始点と終点を評価者が変更できることとしてもよい。このようにすることで、評価者の意図とはズレた部分がコンテンツ片に抽出された場合に、当該コンテンツ片の始点と終点を調整することで、評価者が真に求めるコンテンツ片を生成することが可能となる。

また、上述の実施例２においては、端末２０がコンテンツサーバＣＳから到来したコンテンツを再生し、評価者が当該再生されたコンテンツを聴取して一次評価を行う場合を例に説明した。しかし、一次評価は、コンテンツサーバＣＳに記録される講演等のコンテンツがコンテンツサーバＣＳへ記録されるのと並行して、評価者が生（ライブ）で当該コンテンツを視聴・聴取しつつ行うこととしてもよい。

この場合、図９のルーチンにおいて、ステップＳ２Ａ−Ｓ４Ａを省略して処理することとしてもよい。また、ステップＳ９Ａの再生終了の判定は、生（ライブ）で行われている講演の終了をもって、例えば当該講演の録音・録画処理の終了をもって判定することとしてもよい。

また、上述の実施例２においては、端末２０がコンテンツ片を再生するにあたり、コンテンツ片の送信をサーバ１０に要求し、サーバ１０からコンテンツ片を受信する場合を例に説明した。しかし、図１０のステップＳ７Ａのコンテンツ片情報の受信等の処理において端末１０が予めコンテンツ片を受信し、ステップＳ１０のコンテンツ片の選択を受け付けた際に、当該予め受信したコンテンツ片を再生することとしてもよい。

また、上述の実施例２において、一次評価時点入力ボタン群７２とコメント入力欄７３を同時にアクティブにすることを不可能にすることとしてもよい。すなわち、例えば、二次評価の入力時には、その入力を完了するまで一次評価をすることができないこととしてもよい。具体的には、コメント欄７３への入力時に完了ボタン７６または書きかけボタン７９がクリックされなければ一次評価時点入力ボタン群７２がアクティブにならず、一次評価が入力できないようにすることとしてもよい。

［一次評価及び二次評価の入力方法］
実施例１及び２において、一次評価及び二次評価の入力方法については、一次評価及び二次評価の入力方法は上記例示したものに限られない。また、一次評価の入力において、マウスをクリックすることの他に、マウスのホイールを前後に回転することによって評価を入力することとしてもよい。また、入力装置としてタッチパネルを用いる場合には、タッチパネルをタップ、フリック、スワイプすることによって評価を入力することとしてもよい。また、実施例２において、入力部２７がキーボードやテンキーの場合には、例えば上記各評価を数字キーと関連付けておくことで、数字キーを入力することで上記各評価を行うことができることとしてもよい。

また、実施例１及び２において、入力装置として加速度センサを有するコントローラ（例えば、加速度計を内蔵するスマートフォン）を用いる場合には、コントローラを傾けたり、揺らしたり、振ったりすることによって評価を入力することとしてもよい。その場合、一次評価として、当該加速度の情報が用いられ、コントローラを傾けた角度・方向、コントローラを揺らした早さや揺れの大きさ、コントローラを振った回数、早さ又は振り大きさ等に基づいて入力内容に変化をもたらすこととしてもよい。

また、実施例１及び２において、入力装置としてカメラを用いる場合には、実際のジェスチャを画像認識等で読み取るようなモーション入力等を用いてもよい。また、入力装置として音声入力装置を用いる場合には、音声による評価の入力が行われてもよい。この場合、単に入力された音声の大小、高低、音声入力の頻度、具体的な評価の音声認識等によって評価の入力が行われてもよい。

［一次評価の形式］
実施例１及び２において、一次評価の形式は上記例示したものに限られない。例えば、一次評価の形式を単純に点数形式で入力する形式としてもよい。また、一次評価が実施例２の二次評価におけるような選択肢を選択することで行われることとしてもよい。このようにすることで、評価者の二次評価要求等の要望も含めた形で一次評価を受け付けることが可能となる。

［コンテンツ片の生成方法］
実施例１及び２において、コンテンツ片の生成方法は上記例示したものに限られない。例えば、一次評価が複数の端末２０間で大きく異なっている部分をコンテンツ片として生成してもよい。また、コンテンツ又は実演において予めコンテンツ作成者又は実演者が、評価者によって端末２０に入力される一次評価を予想しておき、当該予想された一次評価と実際に入力された一次評価の差異が大きい（例えば、ポジティブな評価があろうと予想したところにネガティブな評価がなされていた、又は、多くの一次評価の入力があるだろうと予想したところに全く一次評価の入力がなかった等）部分をコンテンツ片としてもよい。

［二次評価の形式］
実施例１及び２において、二次評価の形式は上記例示したものに限られない。例えば、二次評価の形式を、「話が上手」、「説得力がある」等、１又は複数の項目に対する段階式評価の形式にしてもよい。また、模範演技等の模範となる映像等とコンテンツ片を比較表示してコンテンツ片に対する二次評価を行う形式にしてもよい。また、実施例１及び２において、二次評価は一次評価と異なった基準で行われる他に、一次評価と二次評価とが同一の基準で行われることとしてもよい。

また、実施例１及び２において、コンテンツ片をサーバ１０で生成する他に、コンテンツ片を端末装置２０において生成することとしてもよい。その場合、例えば、一次評価情報は、二次評価情報の受け付け後に端末２０によってまとめて、サーバ１０に送信されることとしてもよい。

［コンテンツ］
実施例１及び２において、コンテンツは上記例示した音声に限られない。例えば、コンテンツは、演奏、講演、講義、プレゼンテーション又は演劇等の実演等、並びに映画、アニメ、ＣＭ等の記録された音声付の動画、又は、ライブ配信された音声付の動画も含む。その場合、音声付の動画等をＷｅｂ画面の任意の領域に表示させることとしてもよい。

なお、コンテンツが音声付きの動画等である場合に、コンテンツ片が１もしくは複数の静止画像及び／又は音声のみで構成されることとしてもよい。例えば、サーバ１０と端末２０との間のネットワーク環境が劣悪である場合、又は端末２０に映像再生能力又は映像再生能力が著しく低い場合に、コンテンツ中の音声のみをコンテンツ片として生成・送信することで、二次評価を円滑に行うことが可能となる。

さらに、多人数の評価がまとめてサーバ１０に保存されることにより、多人数の評価をまとめて、端末２０を介して参照できるようになる。

また、上述の実施例のシステムにおいて、ユーザの操作に応じて、コンテンツ片の一次評価情報及び二次評価情報を含む情報を図表化してもよい。例えば、コンテンツの時間軸に沿って複数のコンテンツ片の一次評価及び二次評価の集計の結果（総得点、ランキング等）を並べて、当該時間軸上のヒストグラムとして表示してもよい。また、１つのコンテンツ内の一次評価及び二次評価の集計の結果を並べて表やグラフとして表示してもよい。

また、上述の実施例において、コンテンツ及びコンテンツ片を倍速で再生することを可能としてもよい。

上述した両実施例における端末もしくはサーバの構成、ルーチン、又は表示もしくは入力の態様等は、例示に過ぎず、用途等に応じて、適宜選択又は変更することができる。例えば、ルーチンにおける各ステップは、上記した例に関わらず１つの端末のみで実行されて、当該１つの端末のみでコンテンツ評価装置として機能してもよい。

１０ サーバ
１１ システムバス
１３ 大容量記憶装置
１５ システム制御部
１７ データ通信部
２０ 端末
２１ システムバス
２３ 大容量記憶装置
２５ システム制御部
２７ 入力部
２９ 出力部
３１ データ通信部

Claims (10)

1. コンテンツに対する評価操作を逐次受け付けて、その受け付け時点の情報を含む一次評価情報を記憶する、一次評価情報受付手段と、
   前記受け付け時点の情報に基づいて抽出範囲を特定して、前記コンテンツからその一部であるコンテンツ片を前記抽出範囲に従って抽出するコンテンツ片抽出手段と、
   前記コンテンツ片を提示するコンテンツ片提示手段と、
   前記コンテンツ片に対する二次評価を含む二次評価情報を受け付ける二次評価情報受付手段と、
   を含み、
   前記二次評価情報受付手段は、前記評価操作を受け付けた時点から、前記二次評価の入力の受け付けを開始することを特徴とするコンテンツ評価装置。
2. 前記コンテンツ片抽出手段は、前記抽出範囲の始点及び終点の少なくとも一方の変更を受け付ける抽出範囲変更受付手段を含むことを特徴とする請求項１に記載のコンテンツ評価装置。
3. 前記評価操作は前記コンテンツ片に関する良悪の評価を定める操作を含み、前記良悪の評価が前記一次評価情報に含まれることを特徴とする請求項１又は２に記載のコンテンツ評価装置。
4. コンテンツ評価システムであって、
   コンテンツに対する評価操作を逐次受け付けて、その受け付け時点の情報を含む一次評価情報を記憶する、一次評価情報受付手段と、
   前記一次評価情報を通信路を介して送信する一次評価情報送信手段と、
   前記一次評価情報を通信路を介して受信する一次評価情報受信手段と、
   前記受け付け時点の情報に基づいて抽出範囲を特定して、前記コンテンツからその一部であるコンテンツ片を前記抽出範囲に従って抽出するコンテンツ片抽出手段と、
   前記コンテンツ片を通信路を介して送信するコンテンツ片送信手段と、
   前記コンテンツ片を通信路を介して受信するコンテンツ片受信手段と、
   前記コンテンツ片に対する二次評価を含む二次評価情報を受け付ける二次評価情報受付手段と、
   前記二次評価情報を通信路を介して送信する二次評価情報送信手段と、
   前記二次評価情報を通信路を介して受信する二次評価情報受信手段と、
   を含み、
   前記二次評価情報受付手段は、前記評価操作を受け付けた時点から、前記二次評価の入力の受け付けを開始することを特徴とするコンテンツ評価システム。
5. 前記コンテンツ片抽出手段は、前記抽出範囲の始点及び終点の少なくとも一方の変更を受け付ける抽出範囲変更受付手段を含むことを特徴とする請求項４に記載のコンテンツ評価システム。
6. 前記評価操作は前記コンテンツ片に関する良悪の評価を定める操作を含み、前記良悪の評価が前記一次評価情報に含まれることを特徴とする請求項４又は５に記載のコンテンツ評価システム。
7. コンテンツを評価する評価者から前記コンテンツに対する逐次の評価操作の受け付け時点の情報を含む一次評価情報を通信路を介して受信する一次評価受信手段と、
   前記受け付け時点の情報に基づいて抽出範囲を特定して、前記コンテンツからその一部であるコンテンツ片を前記抽出範囲に従って抽出するコンテンツ片抽出手段と、
   前記コンテンツ片を前記評価者に通信路を介して送信するコンテンツ片送信手段と、
   前記評価者から前記コンテンツ片に対する二次評価を含む二次評価情報を通信路を介して受信する二次評価情報受信手段と、
   を含み、
   前記二次評価情報受信手段は、前記評価操作を受け付けた時点から、前記二次評価の入力の受け付けを開始することを特徴とするサーバ装置。
8. コンテンツに対する評価操作を逐次受け付けて、その受け付け時点の情報を含む一次評価情報を記憶する、一次評価情報受付手段と、
   前記一次評価情報を通信路を介して送信する一次評価情報送信手段と、
   前記受け付け時点の情報に基づいて特定された抽出範囲に従って前記コンテンツの一部として抽出されたコンテンツ片を通信路を介して受信するコンテンツ片受信手段と、
   前記コンテンツ片に対する二次評価を含む二次評価情報を受け付ける二次評価情報受付手段と、を有し、
   前記二次評価情報受付手段は、前記評価操作を受け付けた時点から、前記二次評価の入力の受け付けを開始することを特徴とする端末装置。
9. 前記コンテンツ片受信手段は、前記抽出範囲の始点及び終点の少なくとも一方の変更を受け付ける抽出範囲変更受付手段を含むことを特徴とする請求項８に記載の端末装置。
10. 前記評価操作は前記コンテンツ片に関する良悪の評価を定める操作を含み、前記良悪の評価が前記一次評価情報に含まれることを特徴とする請求項８又は９に記載の端末装置。
    

Images