JP6823367B2 - 画像表示システム、画像表示方法、および画像表示プログラム - Google Patents

Description

本発明は、画像表示システム、画像表示方法、および画像表示プログラムに関する。

従来、ある組織の構成員が行う会議の生産性の向上というニーズに対して、指導者が当該構成員に対してトレーニング、コンサルティング、コーチング等の様々なサービスを提供することが知られている。

ここで、会議の生産性を高めるための上記サービスを適当に実施するためには、指導者は、会議の状況を把握した上で、サービス対象者である構成員に対して会議の状況を的確にフィードバックすることが不可欠である。しかしながら、経営会議のような重要会議においては、秘密情報の漏洩を防ぐため、第三者が会議に出席することによって会議の状況を把握することは困難である。また、構成員に対して、事前に会議の状況を把握するためのアンケートを実施する方法がある。しかしながら、アンケートでは客観的なデータを得ることが難しい上に、アンケート項目が網羅的に設定されているとは必ずしも言えないため、会議の状況を的確に把握することは困難である。そこで、以下に示すように、会議の状況をフィードバックするシステムが採られている。

これに関し、特許文献１には、会議の情景を動画像データとして取り込んでデータ記憶部に記録し、データ記憶部に記録されている動画像データを再生用コンピュータにおいて再生する記録再生システムが記載されている。

特開２００２−２５１３９３号公報

上記したとおり、特許文献１に記載の記録再生システムは、データ記憶部に記録されている動画像データを再生用コンピュータにおいて再生している。このように、指導者は、動画像データを用いて会議の状況を把握した上で、サービス対象者である構成員に対して会議の状況を的確にフィードバックする。しかしながら、会議は、ほぼ毎日開催され、複数の会議において所定時間、通常１〜２時間という長時間にわたり開催される。また、場合によっては半日または一日間以上という長時間にわたり開催されることもある。そうすると、長時間にわたり開催される会議において記録される動画像データは膨大であり、膨大な動画像データを全て確認するには多大な労力が必要であるし、現実的ではない。また、会議の状況は議題によるため、指導者が見た会議が、構成者の典型的な状況を表しているとも限らない。したがって、指導者は会議の状況を適切に把握できず、構成員に対して会議の状況を的確にフィードバックすることができないので、効率的、且つ、効果的な上記サービスを提供できず、会議の生産性を向上させることができないおそれがある。

本発明はこのような事情に鑑みてなされたものであり、効率的、且つ、効果的なサービスを提供でき、会議の生産性を向上させることができる画像表示システム等を提供することを目的の一つとする。

本発明の一側面に係る画像表示システムは、人物が撮像対象に含まれるように撮像することにより得られる複数の画像フレームと撮像時刻を示す撮像時刻情報とを受信する受信部と、前記画像フレームと前記撮像時刻情報とを関連づけて記録する記録部と、前記画像フレームと前記撮像時刻情報とに基づいて前記画像フレームを抽出する条件を決定する抽出条件決定部と、前記条件に基づいて前記画像フレームの一部の画像フレームを時系列に抽出する画像抽出部と、抽出された前記画像フレームに基づいて画像を生成する画像生成部と、生成された前記画像を表示する画像表示部と、を備える。

本発明の一側面に係る画像表示方法は、人物が撮像対象に含まれるように撮像することにより得られる複数の画像フレームと撮像時刻を示す撮像時刻情報とを受信するステップと、前記画像フレームと前記撮像時刻情報とを関連づけて記録するステップと、前記画像フレームと前記撮像時刻情報とに基づいて前記画像フレームを抽出する条件を決定するステップと、前記条件に基づいて前記画像フレームの一部の画像フレームを時系列に抽出するステップと、抽出された前記画像フレームに基づいて画像を生成するステップと、生成された前記画像を表示するステップと、を含む。

本発明の一側面に係る画像表示プログラムは、コンピュータに、人物が撮像対象に含まれるように撮像することにより得られる複数の画像フレームと撮像時刻を示す撮像時刻情報とを受信する機能と、前記画像フレームと前記撮像時刻情報とを関連づけて記録する機能と、前記画像フレームと前記撮像時刻情報とに基づいて前記画像フレームを抽出する条件を決定する機能と、前記条件に基づいて前記画像フレームの一部の画像フレームを時系列に抽出する機能と、抽出された前記画像フレームに基づいて画像を生成する機能と、生成された前記画像を表示する機能と、を実現させる。

なお、本発明において、「部」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」、「装置」、「システム」が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」、「装置」、「システム」の機能が１つの物理的手段や装置により実現されても良い。

本発明によれば、人物が撮像対象に含まれるように会議の状況を撮像することにより得られる画像フレームを所定の抽出条件に基づいて画像フレームを抽出し、当該画像フレームに基づいて生成された画像を表示する。その結果、指導者は会議の状況を適切に把握でき、サービス対象者に対して会議の状況やサービス対象者の様子を的確にフィードバックできるので、効率的、且つ、効果的なサービスを提供でき、会議の生産性を向上させることができる。

本発明に係る一実施形態における画像表示システムの構成を示す概略図である。 本発明に係る一実施形態における撮像装置の電気的な構成を示す概略図である。 本発明に係る一実施形態における会議履歴情報の一例を示す図である。 本発明に係る一実施形態における画像生成システムの機能的な構成を示す概略図である。 本発明に係る一実施形態における撮像装置の撮像対象となる会議状況の一例と、会議の終了後、指導者が会議の参加者に対して会議の状況をフィードバックしつつサービスを提供する様子と、を説明するための図である。 本発明の一実施形態における画像表示処理のフローチャートの一例を示す図である。 本発明の一実施形態における画像フレーム抽出処理の一例を示す図である。 本発明の一実施形態における画像フレーム抽出処理の他の一例を示す図である。 本発明の一実施形態における画像フレーム抽出処理の他の一例を示す図である。 本発明の一実施形態における画像フレーム抽出処理の他の一例を示す図である。 本発明の一実施形態における表示装置の表示部に表示される画像の一例を示す図である。 本発明の一実施形態における表示装置の表示部に表示される画像の一例を示す図である。 本発明の一実施形態における表示装置の表示部に表示される画像の一例を示す図である。 本発明の一実施形態における表示装置の表示部に表示される画像の一例を示す図である。 本発明に係る一実施形態における撮像装置の撮像対象となる、会議状況の他の一例を説明するための図である。

以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その趣旨を逸脱しない範囲で種々変形（各実施例を組み合わせる等）して実施することができる。また、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付して表している。

「会議」とは、参加者が会合して評議すること、または、参加者が何らかを決定するために集まって話し合うことをいう。
「画像フレーム」とは、一の（静止）画像をいう。複数の画像フレームとは、複数の（静止）画像をいう。

本発明は、人物が撮像対象に含まれるように撮像することにより得られる画像フレームを所定の抽出条件に基づいて画像フレームを抽出し、当該画像フレームに基づいて生成された画像を表示する画像表示システム、画像表示方法、画像表示プログラムを含む。指導者は、会議における参加者個人または他の会議参加者の少なくとも一方の様子を示す画像を参照しながら、会議の参加者（サービス対象者）に対してトレーニング、コンサルティング、コーチング等の様々なサービスを実施する。指導者は会議の状況を適切に把握でき、サービス対象者に対して会議の状況やサービス対象者の様子を的確にフィードバックできる。したがって、効率的、且つ、効果的な当該サービスを提供でき、サービス対象者が行う会議の生産性を向上させることができる。

なお、画像の表示、会議の状況やサービス対象者の様子のフィードバックを含む当該サービスは、会議が終了した後に実施されてもよいし（図５参照）、当該会議の実施中に実施されてもよい（図１４参照）。また、当該サービスを会議中に実施することが難しい場合は、画像の表示のみ実施してもよい。すなわち、会議の参加者は、会議を行っている最中に、自身が持つなんらかの端末装置に表示される、会議の状況を示す画像を確認する。このように、会議の参加者は、会議中に会議の状況やサービス対象者の様子を振り返ることができるので、現在実施をしている会議の生産性を向上させることも可能になる。

［画像表示システムの全体構成］
図１は、本発明に係る一実施形態における画像表示システムの構成を示す概略図である。図１に示すように、画像表示システム１は、例示的に、会議の状況を撮像することにより得られる画像フレームを少なくとも送信する撮像装置３と、会議の履歴を示す会議履歴情報を記録する会議履歴記録装置５と、画像フレームに基づいて画像を生成する画像生成システム７と、生成された画像を表示する表示装置９と、を備える。撮像装置３について、各撮像装置を区別して説明する場合は、撮像装置３Ａ、撮像装置３Ｂ、撮像装置３Ｃ、撮像装置３Ｇと表現する。表示装置９について、各表示装置を区別して説明する場合は、表示装置９Ａ、表示装置９Ｂ、表示装置９Ｈと表現する。なお、図１には、例示的に、会議履歴記録装置５の一台と、撮像装置３Ａ、撮像装置３Ｂ、撮像装置３Ｃ、および撮像装置３Ｇの４台と、表示装置９Ａ、表示装置９Ｂ、及び表示装置９Ｈの３台とが記載されているが、各装置の台数に制限はない。

例えば、図１に示すように、画像生成システム７は、通信ネットワークＮ１を介して、撮像装置３および会議履歴記録装置５と通信可能である。また、画像生成システム７は、通信ネットワークＮ２を介して、表示装置９と通信可能である。なお、通信ネットワークＮ１、Ｎ２の具体的な構成は限定されない。例えば、通信ネットワークＮ１、Ｎ２は有線ネットワークおよび無線ネットワークの一方または双方により構築される。

撮像装置３は、会議の参加者が撮像対象に含まれるように会議の状況を撮像する装置である。撮像装置３は、会議の参加者が撮像対象に含まれるように会議の状況を撮像することにより得られる画像フレームと撮像時刻（例えば、YYYY/MM/DD XX:XX:XX）を示す撮像時刻情報とを画像生成システム７に送信する。また、撮像装置３は、会議の参加者の音声情報を記録し、画像生成システム７に送信する。例えば、撮像装置３は、所定の方位を撮像可能なカメラ（例えば、撮像装置３Ａ、３Ｂ、３Ｃ）で構成されてもよく、全方位カメラ（例えば、撮像装置３Ｇ）で構成されてもよい。なお、撮像装置３Ｇは、必ずしも全方位カメラである必要はなく、所定の方位を撮像可能な撮像装置３を、例えば、３６０度回転しながら任意のタイミングで撮像することによって、所望の画像・音声情報を取得するように構成されてもよい。この場合は、撮像装置３は、会議の状況を適切に撮像可能なように、例えば、三脚及び回転雲台を用いて所定の高さに設置され、所定の回転速度を維持可能なように構成される。なお、撮像装置３は、必ずしもカメラである必要はなく、カメラを備えたスマートフォン等の携帯端末であってもよい。撮像装置３の電気的構成は以下のとおりである。

［撮像装置の電気的構成］
図２は、本発明の一実施形態における撮像装置の電気的な構成を示す概略図である。図２に示すように、撮像装置３は、例示的に、ＣＰＵ３０と、撮像部３１と、音声収集部３２と、記録部３３と、操作部３４と、表示部３５と、通信インターフェース（以下、通信Ｉ／Ｆという。）３６と、を備えて構成されている。撮像装置３の上記各構成は、たとえば、データバスＢＵＳを介して接続されている。

ＣＰＵ３０は記録部３３に格納されている動作プログラムに従って種々の動作を実行する。ＣＰＵ３０は、この動作プログラム自体、動作プログラムにより生成された変数等を記録部３３に一時的に記録し、当該動作に応じて撮像装置３の各構成の動作を制御する。

撮像部３１は、会議の状況を撮像するブロックである。例えば、撮像部３１は、少なくとも会議の参加者が撮像対象に含まれるように会議の状況を撮像する。具体的には、撮像部３１は、会議の会場において一以上の撮像装置３が設置される位置（撮像装置設置位置）ごとに、撮像装置設置位置の周囲を撮像する。撮像部３１は、任意のタイミングで会議の状況を撮像する。撮像部３１は、例えば１分間に１回の頻度で会議の状況を定期的に撮像する。なお、撮像頻度は、１分間に１回の頻度に限られない。また、撮像対象としては、会議の参加者が少なくとも含まれるが、会議が開催される会場の設備、会議において掲載された資料（発表資料等）等がさらに含まれてもよい。

撮像部３１は、撮像した時刻である撮像時刻情報を生成するブロックである。例えば、撮像部３１は、撮像することにより得られた画像フレームと撮像時刻情報とを関連付けて後述する記録部３３に出力する。

音声収集部３２は、少なくとも会議の参加者の音声情報、例えば、会議の参加者の発声速度、声量、声の強弱、声質、声の平均ピッチ、声のピッチ範囲、声のピッチ変化、発声の明瞭性などの情報を含む情報を収集するブロックである。音声収集部３２は、任意のタイミング、任意の期間で音声情報を収集する。音声収集部３２は、例えば、１分間に１回の頻度で、例えば３０秒の期間にわたって音声情報を収集する。音声収集部３２は、例えば、会議が行われている間継続して音声情報を収集するように構成されてもよい。なお、音声収集部３２は、例えばマイクを備えて構成されるが、できるだけ正確に音声情報を収集する必要があるため、指向性マイク等で構成されてもよい。

音声収集部３２は、収集した時刻（例えば、YYYY/MM/DD XX:XX:XX）である収集時刻情報を生成するブロックである。例えば、音声収集部３２は、収集した音声情報と収集時刻情報とを関連付けて記録部３３に出力する。

なお、撮像部３１および音声収集部６７は、撮像装置３の電源の消費量を削減するために、撮像・収集頻度や撮像・収集期間を抑えるように構成されてもよい。

記録部３３は、撮像部３１が撮像することにより得る画像フレーム、音声収集部３２が収集する音声情報を記録するブロックである。記録部３３は、例えば、画像フレームと撮像時刻情報とを関連付けて記録する。また、記録部３３は、例えば、音声情報と収集時刻情報とを関連付けて記録する。

操作部３４は、撮像装置３を操作するユーザの指示を受け付けるブロックであり、例えば、スイッチ、ジョグダイヤル、タッチパネル（表示部３５としての機能を備えてもよい）等を備えて構成される。

表示部３５は、撮像部３１が生成する画像フレーム、音声収集部３２が収集する音声情報等を出力するブロックである。例えば、表示部３５は、画像フレームを、現在時刻を示す時刻情報や電源の消費量または残量などの電源情報とともに表示（再生）する。なお、表示部３５は、例えば、液晶表示パネル、有機ＥＬパネル等を含むディスプレイで構成される。

通信Ｉ／Ｆ３６は、情報の送受信を行う無線または有線のインターフェースであり、例えば、ＵＳＢ（Universal Serial Bus）等のバスを備えて構成される。例えば、通信Ｉ／Ｆ３６は、撮像装置３が生成する各種情報を外部に送信する。具体的には、通信Ｉ／Ｆ３６は、画像フレームおよび撮像時刻情報、並びに音声情報および収集時刻情報を画像生成システム７に送信する。通信Ｉ／Ｆ３６は、任意のタイミングで自動的に各種情報を送信してもよいし、操作部３４が受け付ける、ユーザの指示に基づいて各種情報を送信してもよいし、画像生成システム７からの要求に基づいて各種情報を送信してもよい。

［会議履歴記録装置の構成］
図１に戻り、会議履歴記録装置５は、会議の履歴を記録する装置である。ここで、会議においては、時間の経過とともに会議内容が変化する。会議履歴記録装置５は、この会議内容の変化を会議履歴情報として記録する。例えば、会議履歴記録装置５は、この会議内容（会議履歴）を、会議履歴情報として当該会議履歴の開始時刻・終了時刻と関連付けて記録する。また、会議履歴記録装置５は、会議履歴情報を画像生成システム７に提供する。

図３は、本発明に係る一実施形態における会議履歴情報の一例を示す図である。例えば、ある会議においては、会議の開始５分間は「会議主催者の議論」が行われ、次の５分間は「参加者の発表」が行われ、次の３分間は「質疑応答」が行われる。この場合、図３に示すように、会議履歴記録装置５は、会議内容：「会議主催者の議論」（会議履歴１）を履歴１の開始時刻（YYYY/MM/DD XX:XX:01）、終了時刻（YYYY/MM/DD XX:XX:05）の少なくとも一方と関連付けて記録し、会議内容：「参加者の発表」（会議履歴２）を履歴２の開始時刻（YYYY/MM/DD XX:XX:06）、終了時刻（YYYY/MM/DD XX:XX:010）の少なくとも一方と関連付けて記録し、会議内容：「質疑応答」（会議履歴３）を履歴３の開始時刻（YYYY/MM/DD XX:XX:11）、終了時刻（YYYY/MM/DD XX:XX:15）の少なくとも一方と関連付けて記録する。会議履歴記録装置５は、パーソナルコンピュータを含んで構成されており、例えば、ノート型パーソナルコンピュータ、或いは、携帯電話、ＰＤＡ（Personal Digital Assistant）等の端末装置を含む。

なお、会議履歴記録装置５は、タイムスタンプ等の時刻発生装置で構成されてもよい。例えば、ユーザがある会議内容の開始時刻にタイムスタンプを操作することで当該会議内容の開始時刻が登録され、ユーザが当該会議内容の終了時刻にタイムスタンプを操作することで当該会議内容の終了時刻が登録される。この場合、タイムスタンプ等の時刻発生装置は、会議内容（会議履歴）を、会議履歴情報として当該会議履歴の開始時刻、終了時刻と関連付けて記録し、当該会議履歴情報を画像生成システム７に送信する。

また、会議履歴記録装置５の会議履歴情報の記録・送信処理は、ユーザが代わりに実行してもよい。例えば、画像表示システム１においては、ユーザにより、エクセル、ワードファイル等の電子ファイルに一時的に記録された会議履歴情報が画像生成システム７に供給されてもよい。

図１に戻り、表示装置９（画像表示部）は、画像生成システム７が生成した画像を表示する装置である。表示装置９は、少なくとも画像を表示する機能を備えており、例えば、液晶表示パネル、有機ＥＬパネル等で構成されたディスプレイ（例えば、表示装置９Ａ）、携帯電話等の端末装置（例えば、表示装置９Ｇ、９Ｈ）、ノート型パーソナルコンピュータ、ＰＤＡ（Personal Digital Assistant）等で構成される。

［画像生成システムの機能的構成］
図４は、本発明に係る一実施形態における画像生成システムの機能的な構成を示す概略図である。図４に示すように、画像生成システム７は、会議の状況を示す画像を生成する装置であり、機能的に、送受信部７０と、情報記録部７２と、情報処理部７４と、を含んで構成されている。画像生成システム７の上記各部は、例えば、メモリやハードディスク等の記憶領域を用いたり、記憶領域に格納されているプログラムをプロセッサが実行したりすることにより実現することができる。なお、画像生成システム７は、上記機能を持つものであれば特に制限はなく、サーバ（装置）、クラウド・コンピューティング等も含む。

送受信部７０は、他のシステムや装置との間で情報の送受信を行うブロックであり、送信部および受信部を含んで構成されている。例えば、送受信部７０の受信部は、図１に示す撮像装置３から送信される、会議の参加者が撮像対象に含まれるように会議の状況を撮像することにより得られる画像フレームと撮像時刻を示す撮像時刻情報とを受信し、情報処理部７４及び情報記録部７２に入力する。また、受信部は、図１に示す撮像装置３から送信される、音声情報と収集時刻情報とを受信し、情報処理部７４及び情報記録部７２に入力する。さらに、受信部は、会議履歴記録装置５から送信される会議履歴情報を受信し、情報処理部７４及び情報記録部７２に入力する。さらにまた、例えば、送受信部７０の送信部は、後述する画像生成部７５１が生成する画像（画像フレーム）を図１に示す表示装置９に送信する。

情報記録部７２（記録部）は、情報処理部７４が出力する情報と、外部装置（例えば、図１に示す撮像装置３や会議履歴記録装置５）から送信される情報と、を記録・保持するブロックである。図４に示すように、情報記録部７２は、例示的に、画像音声情報７２Ａと、参加者情報７２Ｃと、認識処理情報７２Ｅと、会議履歴情報７２Ｇと、抽出条件情報７２Ｉと、を記録・保持する。情報記録部７２は、画像音声情報７２Ａ、参加者情報７２Ｃ、認識処理情報７２Ｅ、会議履歴情報７２Ｇ、および抽出条件情報７２Ｉの少なくとも一部を関連付けて記録する。例えば、情報記録部７２は、画像音声情報７２Ａとして、後述する会議履歴管理部７４５により会議履歴情報と関連付けられた画像フレームを記録する。

情報記録部７２は、画像音声情報７２Ａとして、撮像装置３および会議履歴記録装置５から送信される各種情報を記録・保持する。例えば、情報記録部７２は、画像音声情報７２Ａとして、会議の参加者が撮像対象に含まれるように会議の状況を撮像することにより得られる画像フレームと撮像時刻を示す撮像時刻情報とを関連付けて記録・保持する。また、情報記録部７２は、画像音声情報７２Ａとして、撮像装置３から送信される、音声情報と収集時刻情報とを関連付けて記録・保持する。さらに、情報記録部７２は、撮像時刻と収集時刻が同一である画像フレームと音声情報とを関連付けて記録・保持するように構成されてもよい。さらにまた、情報記録部７２は、画像音声情報７２Ａとして、画像抽出部７４９が抽出した画像フレームや画像生成部７５１が生成した画像ファイル（画像）を記録・保持するように構成されてもよい。

情報記録部７２は、参加者情報７２Ｃ（参加者の特徴情報）として、会議の参加者（参加者の識別情報）ごとに、会議の参加者を特定可能な画像フレームや音声情報を記録・保持する。即ち、情報記録部７２は、参加者の識別情報と参加者の特徴情報とを関連付けて記録・保持する。例えば、参加者情報７２Ｃは、後述する参加者特定部７４３が撮像装置３からの、会議の参加者が撮像対象に含まれるように会議の状況を撮像することにより得られる画像フレーム及び参加者の音声情報の少なくとも一方に基づいて参加者を特定する際に参照される情報を含む。

会議の参加者を特定可能な画像フレームは、例えば、当該参加者の表情を示す顔画像フレーム、当該参加者の顔における特徴量（例えば、目の特徴量として、瞳孔中心や目頭の位置）、参加者の体の少なくとも一部を示す人体情報、参加者の動作情報等を含む。人体情報は、例えば、参加者の体全体を示す情報であってもよいし、肩幅の広さ、腕・足の太さや長さ、首の太さや長さを示す情報であってもよい。参加者の動作情報は、例えば、参加者の首の動き、腕の動き、肩の動き等を示す情報を含む。会議の参加者を特定可能な音声情報は、例えば、当該参加者の発声速度、声量、声の強弱、声質、声の平均ピッチ、声のピッチ範囲、声のピッチ変化、発声の明瞭性などの情報を含む。

情報記録部７２は、認識処理情報７２Ｅとして、後述する画像音声認識処理部７４１による画像フレーム及び音声情報の認識結果を記録・保持する。

情報記録部７２は、会議履歴情報７２Ｇとして、会議履歴記録装置５、時刻発生装置、又はユーザからの会議履歴情報を記録・保持する。

情報記録部７２は、抽出条件情報７２Ｉとして、後述する抽出条件決定部７４７が決定する画像フレームを抽出する条件を記録・保持する。

情報処理部７４は、各種情報を処理するブロックであり、例えば、機能的に画像音声認識処理部７４１、参加者特定部７４３、会議履歴管理部７４５、抽出条件決定部７４７、画像抽出部７４９、および画像生成部７５１を含んで構成されている。

画像音声認識処理部７４１は、図１に示す撮像装置３からの画像フレームおよび音声情報の少なくとも一方を認識処理するブロックである。例えば、画像音声認識処理部７４１は、撮像装置３からの画像フレームに基づく、会議の参加者の表情、視線、顔の向き、および唇の動きのうち少なくとも一つに基づいて参加者の生体情報を認識する。また、画像音声認識処理部７４１は、撮像装置３からの音声情報に基づく、会議の参加者の音声に基づいて参加者の生体情報を認識する。例えば、生体情報は、画像に示される参加者の発話の有無、参加者の発声の大きさ、参加者の笑顔の度合い、参加者の会議における積極性を示す情報等を含む。

例えば、画像音声認識処理部７４１が画像フレームを参照することにより、会議の参加者の唇の動きから当該参加者が発話していることを認識する。すなわち、画像音声認識処理部７４１は、参加者の発話の有無を認識する。また、画像音声認識処理部７４１が画像フレームを参照し、複数の参加者の唇の動きおよび当該参加者同士が近距離で向き合っている状況を認識することにより、当該参加者が積極的に話していることを認識する場合、画像音声認識処理部７４１は、各参加者は会議に積極的に参加していること（各参加者の会議における積極性）を示す情報を認識する。

画像音声認識処理部７４１の認識処理のタイミングに特に制限はない。例えば、画像音声認識処理部７４１は、図１に示す撮像装置３から送信された画像フレームを認識処理するが、これに限られない。画像音声認識処理部７４１は、後述する画像抽出部７４９により抽出された抽出画像フレームに対して認識処理を実行可能に構成されてもよい。

参加者特定部７４３（人物特定部）は、参加者（人物）を特定するブロックである。例えば、参加者特定部７４３は、画像音声認識処理部７４１の処理結果と参加者の特徴情報とに基づいて参加者を特定する。具体的には、参加者特定部７４３は、参加者情報７２Ｃ（参加者の特徴情報）を参照することにより画像音声認識処理部７４１により認識された画像フレーム及び参加者の音声情報の少なくとも一方に対応する参加者を特定する。より具体的には、例えば、画像音声認識処理部７４１により認識された画像フレーム（画像）にある参加者Ｘの顔画像が含まれる場合であって、参加者特定部７４３は、例えば、参加者情報７２Ｃとして情報記録部７２に記録されている参加者Ａの顔画像を参照することにより、参加者Ｘの特徴と参加者Ａの特徴とが一致又は似通っていると判断できた場合に、画像音声認識処理部７４１により認識された画像フレーム（画像）に含まれる参加者は、参加者Ａであることを特定する。なお、参加者特定部７４３は、画像フレームに複数の参加者が含まれる場合は、複数の参加者それぞれを特定するように構成されてもよい。

また、例えば、画像音声認識処理部７４１により認識された画像フレーム（画像）にある参加者Ｘの顔画像が含まれる場合であって、参加者特定部７４３は、画像の撮像時刻と同時刻に収集された参加者Ｘの音声情報と参加者情報７２Ｃ（参加者の特徴情報）として情報記録部７２に記録されている参加者Ａの音声情報とを参照することにより、参加者Ｘの特徴と参加者Ａの特徴とが一致又は似通っていると判断できた場合に、画像音声認識処理部７４１により認識された画像フレーム（画像）に含まれる参加者は、参加者Ａであることを特定する。なお、参加者特定部７４３の参加者特定処理は、情報記録部７２に記録されている画像フレームおよび音声情報の双方に基づいて行われてもよい。

会議履歴管理部７４５は、会議の参加者が撮像対象に含まれるように会議の状況を撮像することにより得られる画像フレームのそれぞれを一以上の会議履歴を示す会議履歴情報に関連付けるブロックである。例えば、会議履歴管理部７４５は、会議履歴情報が含む会議履歴の開始時刻（例えば、YYYY/MM/DD XX:XX:20）と、当該開始時刻に対応する画像フレームの撮像時刻（例えば、YYYY/MM/DD XX:XX:20）と、に基づいて画像フレームを会議履歴に関連付ける。より具体的に、ある会議履歴が３分間（例えば、YYYY/MM/DD XX:XX:31〜YYYY/MM/DD XX:XX:33）であり、一分間に一回撮像されて得られた画像フレームを会議履歴に関連付ける場合、会議履歴管理部７４５は、履歴の開始時刻（YYYY/MM/DD XX:XX:31）と、当該開始時刻に対応する撮像時刻（YYYY/MM/DD XX:XX:31）と、に基づいて撮像時刻（YYYY/MM/DD XX:XX:31）に撮像された画像フレームと時刻（YYYY/MM/DD XX:XX:31）に対応する会議履歴に対応付ける。そして、会議履歴管理部７４５は、会議履歴の時刻（YYYY/MM/DD XX:XX:32）と、当該時刻に対応する撮像時刻（YYYY/MM/DD XX:XX:32）と、に基づいて撮像時刻（YYYY/MM/DD XX:XX:32）に撮像された画像フレームと時刻（YYYY/MM/DD XX:XX:32）に対応する会議履歴に対応付け、会議履歴の時刻（YYYY/MM/DD XX:XX:33）と、当該時刻に対応する撮像時刻（YYYY/MM/DD XX:XX:33）と、に基づいて撮像時刻（YYYY/MM/DD XX:XX:33）に撮像された画像フレームと時刻（YYYY/MM/DD XX:XX:33）に対応する会議履歴に対応付ける。

なお、会議履歴情報は、会議の開始前に事前に会議の予定情報として画像生成システム７に供給されてもよい。仮に、会議が予定情報に係る予定通りに進行するならば、会議履歴情報に代わり会議の予定情報を用いて会議履歴管理部７４５は処理を行う。すなわち、会議履歴管理部７４５は、会議の参加者が撮像対象に含まれるように会議の状況を撮像することにより得られる画像フレームのそれぞれを一以上の会議の予定を示す会議予定情報に関連付ける。

抽出条件決定部７４７は、会議の参加者が撮像対象に含まれるように会議の状況を撮像することにより得られる画像フレームと撮像時刻を示す撮像時刻情報とに基づいて画像フレームの一部を抽出する条件を決定するブロックである。例えば、抽出条件決定部７４７は、画像フレームの一部を抽出する時間間隔を決定する。また、例えば、抽出条件決定部７４７は、画像フレームの全体量に基づいて決定された、画像フレームの抽出量に基づいて当該時間間隔を決定する。

画像抽出部７４９は、抽出条件決定部７４７が決定した条件に基づいて画像フレームを抽出するブロックである。例えば、画像抽出部７４９は、抽出条件決定部７４７が決定した条件に基づいて画像フレームの一部を時系列に抽出するブロックである。例えば、画像抽出部７４９は、抽出条件決定部７４７により決定された時間間隔に基づいて画像フレームの一部を抽出する。なお、画像フレームの一部を時系列に抽出するとは、画像フレームの一部を、時間的に、連続的にまたは一定間隔をおいて不連続に抽出することを含む。なお、画像抽出部７４９は、一の会議において撮像された画像フレームの中から所望の画像フレームを抽出してもよいし、複数の会議において撮像された画像フレームの中から所望の画像フレームを抽出してもよい。

画像生成部７５１は、抽出された前記画像フレームに基づいて画像を生成するするブロックである。例えば、図１０及び図１１を用いて後で詳述するとおり、画像生成部は、会議の参加者の生体情報と画像フレームとに基づいて当該生体情報に対応するアイコン等を含む画像を含む画像を生成する。

図５は、本発明に係る一実施形態における撮像装置の撮像対象となる会議状況の一例と、会議の終了後、指導者が会議の参加者に対して会議の状況をフィードバックしつつサービスを提供する様子と、を説明するための図である。図５に示すように、会議は、会場Ｒにおいて、テーブルＴを囲むように６人の会議参加者Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６および１人の会議履歴管理人Ｃ７で運営されている。撮像装置３Ａ、３Ｂ、３Ｃ、３Ｇの少なくとも一つの撮像装置が会議の参加者Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６の少なくとも一人が撮像対象に含まれるように会議の状況を撮像することにより、画像フレームが得られる。撮像装置３は、当該画像フレームを図１に示す画像生成システム７に送信する。なお、会議履歴管理人Ｃ７は、会議の参加者であってもよい。

撮像装置３は、６人の参加者の一人ずつを撮像するように合計６台を含むように構成されてもよいし、撮像装置３一台で６人の参加者全員を撮像するように構成されてもよい。また、会議履歴管理人Ｃ７が操作する会議履歴記録装置５は、会議履歴情報を記録し、画像生成システム７に送信する。後で、詳述するが、図５の破線ＤＬ１内において示すように、図１に示す画像表示システム１は、所定の抽出条件に基づいて画像フレームの一部を抽出し、当該画像フレームに基づいて生成された画像を、表示装置９であるディスプレイＤ（画像表示部）、端末装置９Ｇ、９Ｈ（画像表示部）の少なくとも一つに表示する。そして、指導者Ｌは、会議における参加者個人Ｃ１または他の会議参加者Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６の少なくとも一方の様子を示す画像を参照しながら、会議の参加者Ｃ１（サービス対象者）に対してトレーニング、コンサルティング、コーチング等の様々なサービスを実施する。なお、図５の例においては、画像の表示、会議の状況やサービス対象者の様子のフィードバックを含む当該サービスは、会議が終了した後に実施される。

次に、画像表示システムの画像表示処理の具体例について説明する。
図６は、本発明の一実施形態における画像表示処理のフローチャートの一例を示す図である。前提として、撮像装置３は、会議の参加者Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６の少なくとも一人が撮像対象に含まれるように会議の状況を撮像し、画像フレームと撮像時刻を示す撮像時刻情報と記録する。撮像装置３は、画像フレームと撮像時刻情報とを図１に示す画像生成システム７に送信する。また、撮像装置３は、会議の参加者の音声情報と当該音声情報の収集時刻を示す収集時刻情報とを記録している。撮像装置３は、音声情報と収集時刻情報とを画像生成システム７に送信する。

まず、図６のステップＳ１において、図４に示す送受信部７０（受信部）は、会議の参加者が撮像対象に含まれるように会議の状況を撮像することにより得られる画像フレームと撮像時刻情報とを受信する。

ステップＳ２において、図４に示す情報記録部７２は、受信された画像フレームと撮像時刻情報とを関連づけて記録する。

ステップＳ３において、図４に示す抽出条件決定部７４７は、画像フレームと撮像時刻情報とに基づいて当該画像フレームを抽出する条件を決定する。
ステップＳ４において、図４に示す画像抽出部７４９は、抽出条件に基づいて画像フレームの一部を時系列に抽出する。
以下において、画像フレーム抽出処理を図７乃至図１０を用いて説明する。図７乃至図１０は、本発明の一実施形態における画像フレーム抽出処理の一例を示す図である。

［画像フレーム抽出処理１］
図７（１）は、図１に示す撮像装置３が１分間に１回の頻度で合計１２０分間（１２０回）撮像することにより得られる画像フレームの一部の画像フレームを抽出する例を示しており、図７（２）は、撮像装置３が１分間に１回の頻度で撮像し、計３０分間（３０回）撮像することにより得られる画像フレームの一部を抽出する例を示している。

図４に示す抽出条件決定部７４７は、画像フレームの一部を抽出する時間間隔を決定し、画像抽出部７４９は、決定された時間間隔に基づいて画像フレームの一部を抽出する。

図７（１）に示すように、抽出条件決定部７４７は、図４に示す情報記録部７２に記録される、撮像装置が合計１２０分間（１２０回）撮像することにより得られる画像フレームＧの一部の抽出画像フレームＣＧを抽出する時間間隔、すなわち、８分間隔（画像８枚間隔）を決定し、画像抽出部７４９は、決定された当該時間間隔に基づいて画像フレームの一部（抽出画像フレームＣＧ）を抽出する。また、図７（２）に示すように、抽出条件決定部７４７は、図４に示す情報記録部７２に記録される、撮像装置が合計３０分間（３０回）撮像することにより得られる画像フレームＧの一部の抽出画像フレームＣＧを抽出する時間間隔、すなわち、２分間隔（画像２枚間隔）を決定し、画像抽出部７４９は、決定された当該時間間隔に基づいて画像フレームの一部（抽出画像フレームＣＧ）を抽出する。

なお、抽出条件決定部７４７は、上記時間間隔について、予めユーザの指示に基づいて決定してもよいし、画像フレームＧの全体量に応じて時間間隔を決定してもよい。例えば、抽出量が１５と設定されている場合であって、抽出画像フレームＣＧの全体量が合計１５０分間（画像１５０枚）である場合、抽出条件決定部７４７は、時間間隔を１０分間隔（画像１０枚間隔）と決定する。

［画像フレーム抽出処理２］
図８は、図１に示す撮像装置３が１分間に１回の頻度で合計１２０分間（１２０回）撮像することにより得られる画像フレームの一部の画像フレームを抽出する例を示しており、特に、当該画像フレームに基づく画像に含まれる会議参加者ごとに画像フレームを抽出する例を示している。

図４に示す画像音声認識処理部７４１は、画像フレーム、及び、受信部がさらに受信する参加者の音声情報のうち少なくとも一方を認識する。情報記録部７２（記録部）は、参加者の識別情報と参加者の特徴情報とを関連付けて記録する。参加者を特定する参加者特定部７４３は、画像音声認識処理部７４１の処理結果と特徴情報とに基づいて参加者を特定する。抽出条件決定部７４７は、参加者特定部７４３により特定された人物を含む画像フレームが上記人物ごとに対応付けられて抽出される条件を決定する。画像生成部７５１は、抽出条件に基づいて抽出された、複数画像フレームのうちの一部の画像フレームを、人物ごとに対応付けて一覧表示するための画像を生成する。

図８に示すように、抽出条件決定部７４７は、図４に示す情報記録部７２に記録される、一以上の撮像装置が合計１２０分間（１２０回）撮像することにより得られる画像フレームＧから、当該画像フレームＧのうち会議参加者が含まれる抽出画像フレームＣＧ（会議参加者が写っている画像）を会議参加者ごとに抽出する条件を決定する。画像抽出部７４９は、決定された条件に基づいて抽出画像フレームＣＧを抽出する。

具体的には、まず、画像音声認識処理部７４１は、情報記録部７２に記録される画像フレームＧうちどの画像フレームに会議参加者が含まれているか否かを判断する。画像音声認識処理部７４１により画像フレームＧのうち会議参加者が含まれている画像フレームが特定されると、参加者特定部７４３は、画像音声認識処理部７４１の処理結果と参加者の特徴情報とに基づいて参加者を特定する。例えば、画像音声認識処理部７４１により画像フレームＧのうち複数の会議参加者が含まれている画像フレームが認識されると、参加者特定部７４３は、情報記録部７２に記録されている参加者情報７２Ｃを参照することで、当該画像フレーム（画像）に含まれる複数の参加者は、参加者Ａさん、Ｂさん、Ｃさん、Ｄさん、Ｅさんであることを特定する。そして、抽出条件決定部７４７は、参加者特定部７４３により特定された参加者Ａさん、Ｂさん、Ｃさん、Ｄさん、Ｅさんを含む画像（画像フレーム）が参加者ごとに対応付けられて抽出される条件を決定する。画像抽出部７４９は、決定された条件に基づいて画像フレームＧから各参加者が含まれる抽出画像フレームＣＧを抽出する。

なお、参加者特定部７４３により画像フレームに含まれる参加者を特定できない場合は、画像抽出部７４９は、特定できなかった参加者に対しては、当該参加者が含まれる画像フレームを抽出しないように構成されてもよい。

［画像フレーム抽出処理３］
図９は、図１に示す撮像装置３が１分間に１回の頻度で合計１２０分間（１２０回）撮像することにより得られる画像フレームの一部の画像フレームを抽出する例を示しており、特に、撮像装置を回転させて所定タイミングで会議の状況を撮像する場合において、所定時間間隔ごとにグルーピングされた画像フレームであって、会議参加者が含まれる画像フレームを抽出する例を示している。なお、画像音声認識処理、参加者特定処理、フレーム抽出処理、画像生成処理、及び画像表示処理の処理内容については、上記した画像フレーム抽出処理１及び２と異なる点について特に言及する。

図９に示すように、抽出条件決定部７４７は、図４に示す情報記録部７２に記録される、一以上の撮像装置が合計１２０分間（１２０回）撮像することにより得られる画像フレームＧから、当該画像フレームＧのうち、例えば７分間隔ごとにグルーピングされた画像フレームであって、会議参加者Ａさん、Ｂさん、Ｃさん及びＤさんの少なくとも一人が写っている抽出画像フレームＣＧを会議参加者（Ａさん、Ｂさん、Ｃさん、又はＤさん）ごとに抽出する条件を決定する。画像抽出部７４９は、決定された条件に基づいて抽出画像フレームＣＧを抽出する。なお、時間間隔は、上記した７分間に限られないのは言うまでもない。時間間隔は、数秒、数分、又は数時間というように任意の期間で設定される。一枚の画像フレームに複数人、例えばＢさん及びＣさんが写っている場合は、同一の画像フレームが、Ｂさん及びＣさんのそれぞれに関連付けられて抽出されてもよい。

［画像フレーム抽出処理４］
図１０は、図１に示す撮像装置３が１分間に１回の頻度で、合計１２０分間（１２０回）撮像することにより得られる画像フレームの一部を抽出する例を示しており、特に、画像フレームを会議履歴ごとに抽出する例を示している。

図４に示す会議履歴管理部７４５は、画像フレームを一以上の会議履歴を示す会議履歴情報に関連付ける。抽出条件決定部７４７は、会議履歴ごとに画像フレームを抽出する条件を決定する。画像抽出部７４９は、決定された条件に基づいて画像フレームを抽出する。

図１０に示すように、会議履歴管理部７４５により、画像フレームＧにおいては、画像フレームＧ１〜８は会議履歴１「主催者主導の議論」に関連付けられており、画像フレームＧ９〜１４は会議履歴２「参加者の発表」に関連付けられている。また、図１０に示すように、会議履歴１に対応付けられた画像フレームＧ１〜８から抽出画像フレームＣＧ２、ＣＧ５、およびＣＧ８が抽出されている。会議履歴２に対応付けられた画像フレームＧ９〜１４から抽出画像フレームＣＧ１０、ＣＧ１２、およびＣＧ１４が抽出されている。なお、画像フレームＧ１５以降は説明を省略する。

図１０に示すように、例えば、抽出条件決定部７４７は、会議履歴１「主催者主導の議論」（第１会議履歴情報）に関連付けられた画像フレームＧ１〜８のうち、抽出画像フレームＣＧ２（第１画像フレーム）として会議履歴開始（会議履歴変更）後２分後の画像フレームＧ２が抽出され、抽出画像フレームＣＧ５（第２画像フレーム）として画像フレームＧ２の３分後に撮像されることにより得られる画像フレームＧ５が抽出され、抽出画像フレームＣＧ８（第２画像フレーム）として画像フレームＧ５のさらに３分後に撮像されることにより得られる画像フレームＧ８が抽出される抽出条件を決定する。

また、図１０に示すように、抽出条件決定部７４７は、会議履歴２「参加者の発表」（第１会議履歴情報）に関連付けられた画像フレームＧ９〜１４のうち、抽出画像フレームＣＧ１０（第１画像フレーム）として会議履歴開始（会議履歴変更）後２分後の画像フレームＧ１０が抽出され、抽出画像フレームＣＧ１２（第２画像フレーム）として画像フレームＧ２の２分後に撮像されることにより得られる画像フレームＧ１２が抽出され、抽出画像フレームＣＧ１４（第２画像フレーム）として画像フレームＧ１２のさらに２分後に撮像されることにより得られる画像フレームＧ１４が抽出される抽出条件を決定する。以上のとおり、抽出条件決定部７４７は、会議履歴ごとに画像フレームを抽出する条件を決定する。画像抽出部７４９は、決定された条件に基づいて画像フレームを抽出する。

なお、図１０に示すように、抽出条件決定部７４７は、会議履歴１においては、抽出画像フレームＣＧ２として会議履歴開始（会議履歴変更）後２分後の画像フレームＧ２を抽出する抽出条件を決定する。また、抽出条件決定部７４７は、会議履歴２においては、抽出画像フレームＣＧ１０として会議履歴開始（会議履歴変更）後２分後の画像フレームＧ１０を抽出する抽出条件を決定する。このように、抽出条件決定部７４７は、会議履歴の開始または会議履歴の変更の直後の画像フレーム、すなわち会議履歴１における画像フレームＧ１、会議履歴２における画像フレームＧ９は抽出せず、会議履歴の開始または会議履歴の変更から２分後の画像フレーム、すなわち、会議履歴１における画像フレームＧ２、会議履歴２における画像フレームＧ１０は抽出する抽出条件を決定する。

なお、上記画像フレーム抽出処理１、２、および３のそれぞれに含まれる少なくとも一部の処理を組み合わせることも可能である。

図６に戻り、ステップＳ５において、図４に示す画像生成部７５１は、抽出された画像フレームに基づいて画像ファイル（画像）を生成する。
ステップＳ６において、図１に示す表示装置９は、画像生成部７５１が生成した画像を表示する。

［表示画像例］
図１１乃至図１４は、本発明の一実施形態における表示装置の表示部に表示される画像の一例を示す図である。以下に説明する表示画面は、図１に示す各表示装置９Ａ、９Ｇ、９Ｈの少なくとも一つの表示部Ｄに表示される。なお、以下、図１１乃至図１４の各図を用いて説明するが、各図において内容が重複する部分については適宜説明を省略する。

図１１は、特に、各表示装置の少なくとも一つの表示部に表示される、画像抽出部により抽出された抽出画像フレームに基づいて生成される静止画像の一例を示す図である。図１０に示すように、画像生成部７５１は、画像抽出部７４９により抽出された抽出画像フレームに基づいて静止画像ファイルを生成し、表示装置９は、静止画像ＲＧ１を表示部Ｄに一覧表示させる。図１１において、静止画像ＲＧ１は、例えば図７（１）に示すような抽出画像フレームＣＧ８、ＣＧ１６、ＣＧ２４、ＣＧ３２、ＣＧ４０、ＣＧ４８、ＣＧ５６、ＣＧ６４、ＣＧ７２、ＣＧ８０、ＣＧ８８、ＣＧ９６、ＣＧ１０４、ＣＧ１１２、およびＣＧ１２０を含んで構成されている。

また、図１１に示すように、静止画像ＲＧ１のそれぞれには、会議参加者の生体情報に対応する画像ＳＧが含まれている。図４に示す画像音声認識処理部７４１は、図１に示す撮像装置３からの画像フレームに基づく、会議の参加者の表情、視線、顔の向き、および唇の動きのうち少なくとも一つに基づいて参加者の生体情報を認識する。また、画像音声認識処理部７４１は、撮像装置３からの音声情報に基づく、会議の参加者の音声に基づいて参加者の生体情報を認識する。そして、画像生成部７５１は、生体情報と画像フレームとに基づいて生体情報に対応する画像ＳＧを含む静止画像ＲＧ１を生成する。例えば、画像音声認識処理部７４１が、生体情報として、参加者の笑顔の度合いを認識した場合、画像生成部７５１は、参加者の笑顔の度合い（生体情報）に対応する画像ＳＧを含む静止画像ＲＧ１を生成する。

例えば、画像音声認識処理部７４１が、抽出画像フレームＣＧ５６に含まれる参加者の笑顔の度合いが、他の抽出画像フレームに含まれる参加者の笑顔の度合いよりも大きいと認識すると、画像生成部７５１は、他の抽出画像フレームに含まれる（重畳される）画像ＳＧよりも拡大された画像ＳＧが抽出画像フレームＣＧ５６に重畳されるように静止画像ＲＧ１を生成する。

なお、画像フレーム（画像）に含まれる参加者が複数存在する場合は、例えば、参加者特定部７４３は、各参加者を特定し、画像音声認識処理部７４１は、参加者ごとに参加者の笑顔の度合い（生体情報）を認識する。そして、画像生成部７５１は、参加者ごとに対応づけられた画像ＳＧを含む静止画像ＲＧ１を生成する。

なお、図１１に示すように、静止画像ＲＧ１において抽出画像フレームＣＧ８、ＣＧ５６、およびＣＧ９６は強調表示がされている。例えば、画像音声認識処理部７４１は、生体情報として、画像に示される参加者の発話の有無を判定し、発話した参加者が含まれる抽出画像フレームＣＧ８、ＣＧ５６、およびＣＧ９６を特定する。そして、画像生成部７５１は、特定された抽出画像フレーム、すなわち図１１においては抽出画像フレームＣＧ８、ＣＧ５６、およびＣＧ９６の表示画像が強調表示されるように静止画像ＲＧ１を生成する。なお、強調表示するための表示形態については、制限はない。

図１２は、特に、各表示装置の少なくとも一つの表示部に表示される、画像抽出部により抽出された抽出画像フレームに基づく動画再生画面の一例を示す図である。図１２に示すように、画像生成部７５１は、画像抽出部７４９により抽出された抽出画像フレームに基づいて動画ファイルを生成し、表示装置９は、動画ＲＧ２を表示部Ｄに表示させる。図１２において、動画ＲＧ２は、図７（１）に示すような抽出画像フレームＣＧ８、ＣＧ１６、ＣＧ２４、ＣＧ３２、ＣＧ４０、ＣＧ４８、ＣＧ５６、ＣＧ６４、ＣＧ７２、ＣＧ８０、ＣＧ８８、ＣＧ９６、ＣＧ１０４、ＣＧ１１２、およびＣＧ１２０を含んで構成されており、抽出画像ＣＧ８〜ＣＧ１２０まで順に表示されることで動画ＲＧ２が再生される。また、図１２に示すように、図１１と同様に動画ＲＧ２にも会議参加者の生体情報に対応する画像ＳＧが含まれるように構成されてもよい。なお、表示部Ｄには、動画ＲＧ２の再生を制御するための再生制御バーＢも表示される。ユーザは、表示部Ｄ上で再生制御バーＢを操作することで、動画ＲＧの再生、停止、再生速度、早送り、巻き戻し等を制御することができる。

図１３は、特に、各表示装置の少なくとも一つの表示部に表示される、画像抽出部により抽出された抽出画像フレームに基づいて生成される静止画像の一例を示す図である。図１３に示すように、画像生成部７５１は、上記したように画像抽出部７４９の［画像フレーム抽出処理２］が実施されることにより抽出された複数の抽出画像フレームを含む静止画像ファイルを生成する。表示装置９は、当該静止画像ファイルに基づいて静止画像ＲＧ３を表示部Ｄに表示させる。図１３において、静止画像ＲＧ３には、抽出画像フレームに含まれる参加者ごとに関連づけられた抽出画像フレームＣＧ８、ＣＧ１６、ＣＧ２４、ＣＧ３２、ＣＧ４０、ＣＧ４８、ＣＧ５６、…を含んで構成されている。図１３に示すように、参加者ごとに関連付けて抽出画像フレームＣＧを一覧表示することで、会議の状況を振り返る指導者及び／又はサービス対象者である会議参加者は、各会議参加者の様子をより容易に、且つ、的確に把握できる。また、図１３に示すように、静止画像ＲＧ３においては、同時刻に撮像されて生成された複数の画像フレームＣＧが参加者ごとに関連付けて並列に配置されるので、会議中のある時刻における参加者の様子を纏めて確認可能となる。したがって、会議の状況を振り返りがより容易になる。

また、図１３においても図１１と同様に、静止画像ＲＧ３において、発話した参加者を含む抽出画像フレームには強調表示が行われる。例えば、画像音声認識処理部７４１は、生体情報として、画像に示される参加者の発話の有無を判定し、発話した参加者が含まれる抽出画像フレーム、すなわち参加者Ａさんに関連付けられたＣＧ８、参加者Ｂさんに関連付けられたＣＧ１６・ＣＧ２４・ＣＧ３２、および参加者Ｃさんに関連付けられたＣＧ５６を特定する。そして、画像生成部７５１は、特定された抽出画像フレームの表示画像が強調表示されるように静止画像ＲＧ３を生成する。図１３に示すように静止画像ＲＧ３の少なくとも一部を強調表示することで、会議の状況を振り返る指導者やサービス対象者である会議参加者は、どの時刻にどの参加者が発話していたのか容易に判断できる。また、静止画像ＲＧ３において便宜のため破線ＤＬ２で示したが、会議開始（撮像開始）から４０分後および４８分後においては会議参加者のいずれもが発話していなかったことが容易に把握できる。

図１４は、特に、各表示装置の少なくとも一つの表示部に表示される、画像抽出部により抽出された抽出画像フレームに基づく動画再生画面の一例を示す図である。図１４において、各動画ＲＧ４は、抽出画像フレーム、例えば、図７（１）に示すようなＣＧ８、ＣＧ１６、ＣＧ２４、ＣＧ３２、ＣＧ４０、ＣＧ４８、ＣＧ５６、ＣＧ６４、ＣＧ７２、ＣＧ８０、ＣＧ８８、ＣＧ９６、ＣＧ１０４、ＣＧ１１２、およびＣＧ１２０を含んで構成されており、会議の参加者ごとに抽出画像ＣＧ８〜ＣＧ１２０まで順に表示されることで動画ＲＧ４が再生される。

（効果）
以上、本発明の実施形態によれば、会議の参加者が撮像対象に含まれるように会議の状況を撮像することにより得られる画像フレームを所定の抽出条件に基づいて画像フレームを抽出し、当該画像フレームに基づいて生成された画像を表示する。その結果、指導者は会議の状況を適切に把握でき、会議の参加者（サービス対象者）に対して会議の状況を的確にフィードバックできるので、効率的、且つ、効果的なサービスを提供でき、会議の生産性を向上させることができる。

（他の変形例）
なお、上記各実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するものではない。本発明はその趣旨を逸脱することなく、変更／改良（たとえば、各実施形態を組み合わせること、各実施形態の一部の構成を省略すること）され得るとともに、本発明にはその等価物も含まれる。

図１５は、本発明に係る一実施形態における撮像装置の撮像対象となる会議状況の一例と、会議中に、会議の参加者に対して会議の状況や参加者の様子を表示装置に表示する態様の一例と、を説明するための図である。図１５に示すように、撮像装置３は、撮像することにより得られた画像フレームを図１に示す画像生成システム７に送信する。図１に示す画像表示システム１は、抽出条件に基づいて画像フレームの一部を抽出し、当該画像フレームに基づいて生成された画像を、会議の実施中に、表示装置９であるディスプレイＤ（画像表示部）、および、会議の参加者Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６のそれぞれが備える表示装置９（画像表示部）の少なくとも一つに表示する。会議の参加者は、会議を行っている最中に、参加者自身が備える表示装置９に表示される、会議の状況を示す画像を確認する。このように、会議の参加者は、会議中に会議の状況やサービス対象者の様子を振り返ることができるので、現在実施をしている会議の生産性を向上させることができる。なお、会議履歴管理人Ｃ７は、会議の参加者であってもよい。

また、例えば、図６において説明した各処理は処理内容に矛盾を生じない範囲で任意に順番を変更して又は並列に実行することができる。

さらに、撮像装置は、図４に示す画像生成システム７が備える情報記録部７２及び情報処理部７４が備える機能、並びに図１に示す表示装置９が備える表示機能を備えるように構成されてもよい。すなわち、撮像装置において、画像音声情報を取得し、必要に応じて画像音声認識処理を実行し、所定の条件に従い適切に画像フレームを抽出し、抽出した画像フレームに基づいて画像を生成し、当該撮像装置において、画像を表示するように構成されてもよい。

上記のとおり、撮像装置は、図４に示す画像音声認識処理部７４１の機能を備えるように構成されてもよい。この場合、撮像装置は、会議の状況を撮像する前に、撮像する時に、又は、撮像した後に画像音声認識処理を実行するように構成される。また、上記のとおり、撮像装置は、図４に示す参加者特定部７４３の機能を備えるように構成されてもよい。この場合、撮像装置は、会議の状況を撮像する前に、撮像する時に、又は、撮像した後に実行する画像音声認識処理の後に人物特定処理を実行するように構成される。

なお、参加者特定部は、予め取得した、会議の各参加者の（着座）位置情報を参照することにより、会議の状況を撮像することにより得られた画像フレーム（画像）に含まれる各参加者を特定するように構成されてもよい。また、撮像装置は複数の撮像装置で構成されており、各撮像装置が複数の参加者の一人ずつを撮像する場合に、情報記録部に、あらかじめ、各撮像装置の各機器識別情報（ＩＤ）と各参加者とを関連付けて記録し、参加者特定部は、各撮像装置のＩＤを参照することにより、会議の状況を撮像することにより得られた画像フレーム（画像）に含まれる各参加者を特定するように構成されてもよい。

１：画像表示システム
３：撮像装置
５：会議履歴記録装置
７：画像生成システム
９：表示装置
３０：ＣＰＵ
３１：撮像部
３２：音声収集部
３３：記録部
３４：操作部
３５：表示部
３６：通信Ｉ／Ｆ
７０：送受信部
７２：情報記録部
７２Ａ：画像・音声情報
７２Ｃ：参加者情報
７２Ｅ：認識処理情報
７２Ｇ：会議履歴情報
７２Ｉ：抽出条件情報
７４：情報処理部
７４１：画像音声認識処理部
７４３：参加者特定部
７４５：会議履歴管理部
７４７：抽出条件決定部
７４９：画像抽出部
７５１：画像生成部
Ｎ１，Ｎ２：通信ネットワーク

Claims (8)

1. 人物が撮像対象に含まれるように撮像することにより得られる複数の画像フレームと撮像時刻を示す撮像時刻情報とを受信する受信部と、
   前記画像フレームと前記撮像時刻情報とを関連づけて記録する記録部と、
   前記画像フレームの数と前記画像フレームの所定の抽出数とに基づいて、前記画像フレームを抽出する時間間隔を含む抽出条件を決定する抽出条件決定部と、
   前記画像フレームと前記人物の特徴情報とに基づいて、前記画像フレームに含まれる人物を特定する人物特定部と、
   前記画像フレームに基づいて、特定された人物の生体情報を認識する認識処理部と、
   前記抽出条件と前記人物特定部の特定結果とに基づいて、前記画像フレームの少なくとも一部の画像フレームであって、特定された人物を含む画像フレームを時系列に抽出する画像抽出部と、
   抽出された前記画像フレームを含む再生画像であって、特定された人物の前記生体情報が認識された前記画像フレームが他の画像フレームとは異なる表示態様で表示される再生画像を生成する画像生成部と、
   生成された前記再生画像を表示する画像表示部と、を備える、
   画像表示システム。
2. 前記画像フレームを一以上の会議履歴を示す会議履歴情報に関連付ける会議履歴管理部をさらに備え、
   前記抽出条件決定部は、前記会議履歴ごとに前記抽出条件を決定する、
   請求項１に記載の画像表示システム。
3. 前記抽出条件決定部は、一以上の会議履歴を示す会議履歴情報のうち第１会議履歴情報に関連付けられた前記画像フレームのうち、第１画像フレームと前記第１画像フレームよりも後に撮像されることにより得られる第２画像フレームとが異なる条件で抽出されるように前記抽出条件を決定する、
   請求項１又は請求項２に記載の画像表示システム。
4. 前記認識処理部は、前記画像フレーム、及び、前記受信部がさらに受信する前記人物の音声情報のうち少なくとも一方を認識し、
   前記記録部は、前記人物の識別情報と前記人物の特徴情報とを関連付けて記録し、
   前記人物特定部は、前記認識処理部の処理結果と前記特徴情報とに基づいて前記人物を特定する、
   請求項１乃至請求項３のいずれか一項に記載の画像表示システム。
5. 前記抽出条件決定部は、特定された前記人物を含む前記画像フレームが前記人物ごとに対応付けられて抽出される前記抽出条件を決定し、
   前記画像生成部は、前記抽出条件に基づいて抽出された前記画像フレームを、前記人物ごとに対応付けて一覧表示するための画像を生成する、
   請求項４に記載の画像表示システム。
6. 前記生体情報は、前記人物の表情、視線、顔の向き、唇の動き、および音声のうち少なくとも一つを含み、
   前記画像生成部は、前記生体情報と前記画像フレームとに基づいて前記生体情報に対応する画像を含む前記画像を生成する、
   請求項４又は請求項５に記載の画像表示システム。
7. 人物が撮像対象に含まれるように撮像することにより得られる複数の画像フレームと撮像時刻を示す撮像時刻情報とを受信するステップと、
   前記画像フレームと前記撮像時刻情報とを関連づけて記録するステップと、
   前記画像フレームの数と前記画像フレームの所定の抽出数とに基づいて、前記画像フレームを抽出する時間間隔を含む抽出条件を決定するステップと、
   前記画像フレームと前記人物の特徴情報とに基づいて、前記画像フレームに含まれる人物を特定するステップと、
   前記画像フレームに基づいて、特定された人物の生体情報を認識するステップと、
   前記抽出条件と前記特定するステップの特定結果とに基づいて、前記画像フレームの少なくとも一部の画像フレームであって、特定された人物を含む画像フレームを時系列に抽出するステップと、
   抽出された前記画像フレームを含む再生画像であって、特定された人物の前記生体情報が認識された前記画像フレームが他の画像フレームとは異なる表示態様で表示される再生画像を生成するステップと、
   生成された前記再生画像を表示するステップと、を含む、
   画像表示方法。
8. コンピュータに、
   人物が撮像対象に含まれるように撮像することにより得られる複数の画像フレームと撮像時刻を示す撮像時刻情報とを受信する機能と、
   前記画像フレームと前記撮像時刻情報とを関連づけて記録する機能と、
   前記画像フレームの数と前記画像フレームの所定の抽出数とに基づいて、前記画像フレームを抽出する時間間隔を含む抽出条件を決定する機能と、
   前記画像フレームと前記人物の特徴情報とに基づいて、前記画像フレームに含まれる人物を特定する機能と、
   前記画像フレームに基づいて、特定された人物の生体情報を認識する機能と、
   前記抽出条件と前記特定する機能の特定結果とに基づいて、前記画像フレームの少なくとも一部の画像フレームであって、特定された人物を含む画像フレームを時系列に抽出する機能と、
   抽出された前記画像フレームを含む再生画像であって、特定された人物の前記生体情報が認識された前記画像フレームが他の画像フレームとは異なる表示態様で表示される再生画像を生成する機能と、
   生成された前記再生画像を表示する機能と、
   を実現させるための画像表示プログラム。
   

Images