JP6651989B2 - 映像処理装置、映像処理方法、及び映像処理システム - Google Patents

Description

本発明は、映像処理装置、映像処理方法、及び映像処理システムに関する。

近年、遠隔地点で端末を介して複数拠点の映像や音声をリアルタイムに送受するテレビ会議などの遠隔コミュニケーションシステムが普及している。一拠点の参加人数が多い状態で行うテレビ会議では、参加者の中でも発言者を明確にし、かつそこに注目を集めるため、現在の発言者を音源方向推定技術や顔認識技術などを用いて判断し、カメラ制御や映像処理により発言者をアップで写す技術が知られている。

しかし、今までの発言者自動アップ機能では、議論が活発になって発言者が頻繁に切り替わる場合に、画面に表示される映像も激しく動いてしまい、視聴するには好ましくないという課題があった。これに対して、アップ対象切り替えの変化の速さに制限を設けるという対策もあるが、発言者の急な変化に対応が遅くなるという課題もある。

また、今までの発言者自動アップ機能では、現在の発言者をアップで映すことは可能であるが、例えば、現在の発言者以外で会議等の発言主体である人物などを的確に判断するといった手法の確立が望まれている。アップ対象とする人物を現在の発言者だけに限定してしまうと、発言者の変更ごとに映像が激しく切り替わることになり、視聴するには好ましくないといった課題もある。

これらの課題を解決するために、様々な方法で自動アップ対象とする人物を判断する技術が提案されている。

特許文献１では、テレビ会議などで複数のマイクから出力される音声信号から被写体（発言者）の撮影に最も適したマイクとカメラの選択を自動的に行うことができる技術が公開されている。

特許文献２では、発言者を正確かつ安定的に映す目的で、カメラ制御装置に撮像範囲を保持するホールド時間が設定されており、音声を検出した際にそのホールド時間が経過していれば、音声方向に向けてカメラの撮像方向を変化させる技術が公開されている。

特許文献３では、マイクロフォンなどを用いて、音を収音し、収音結果に基づいて、カメラを向ける方向を特定する技術が公開されている。

特許文献４では、発言者の発言時間をプリセットタイマによって設定した基準値と比較し、発言時間が基準値よりも大きければカメラを発言者の方に向けるという技術が公開されている。

特許文献５では、発言者の発言と、雑音等発言者の音声でないものと明確に区分けを行い、発言者を自動的にクローズアップして表示する技術が公開されている。

上記特許文献では、映像の頻繁な切り替えをできるだけ抑制し、視聴の不快感を低減することはできるが、発言者の急な変化に対応が遅くなるという課題、および現在の発言者以外でアップ対象となる人物を判断するといった課題は解決されていない。

そこで、本発明は、上記課題点に鑑みてなされたもので、その目的とするところは、
映像切り替えの激しい動きを抑制しつつ、現在の発言者と、その発言者以外にもアップで映し出す対象となる人物がいるかを判断し、その対象人物と現在の発言者を確実にアップで映すことができる映像処理装置、映像処理方法、及び映像処理システムを提供することである。

係る目的を達成するために、本発明は、以下の特徴を有することとする。

本発明に係る映像処理装置は、被写体を連続的に撮影し、映像情報を取得する映像取得手段と、映像情報に含まれる複数の人物から発言している人物を推定する推定手段と、推定手段より映像情報における発言者と推定された人物を、発言履歴情報として該映像情報が取得された時間ごとに記憶する記憶手段と、発言履歴情報を基に、現在の発言者である第１の人物とともに拡大表示の対象とすべき人物を判断する判断手段と、を備える、ことを特徴とする。

本発明に係る映像処理システムは、被写体を連続的に撮影し、映像情報を取得する手段と、映像情報に含まれる複数の人物から発言している人物を推定する手段と、映像情報における発言者と推定された人物を、発言履歴情報として該映像情報が取得された時間ごとに記憶する手段と、発言履歴情報を基に、現在の発言者である第１の人物とともに拡大表示の対象とすべき人物を判断する手段と、を備える。

本発明によれば、テレビ会議などで発言者が頻繁に切り替わる場合でも、映像切り替えの激しい動きを抑制しつつ、現在の発言者、および会議の主体である人物を確実にアップで映すことができる。

本実施形態における映像処理装置１０を用いた発言者拡大のイメージ図であり、（a）は一人の発言者が拡大表示されるイメージ図で、（b）は二人の発言者が拡大表示されるイメージ図である。 本実施形態における機能ブロックを示す図である。 本実施形態における発言履歴情報の一例を示す図である。 本実施形態におけるハードウェア構成を示す図である。 本実施形態における映像処理装置１０と映像受信側端末２０の一連のフローチャートである。 本実施形態における過去の特定期間の発言者の切り替わり回数に着手して拡大表示する発言者を判断するフローチャートである。 本実施形態における過去の特定期間の発言者の発言情報の一例である。 本実施形態における過去の特定期間の発言者の切り替わり回数に着手して特定の組の発言者を拡大表示することを判断するフローチャートである。 本実施形態における過去の特定期間の発言者の拡大表示履歴の一例である。 本実施形態における過去の特定期間の発言者の発言回数に着手して拡大表示する発言者を判断するフローチャートである。 他の実施形態として、音声情報に着手した映像処理装置１０と映像受信側端末２０の一連のフローチャートである。

本発明を実施するための形態について図面を参照して説明する。図１は本実施形態の映像処理装置１０を用いた発言者拡大のイメージ図である。

本実施形態の映像処理装置１０は、主にテレビ会議の場で使用されることを想定する。図１（a）、（b）のように複数人が参加する会議の様子を内部に備えている撮像装置などで撮影し、その映像をスクリーンや表示デバイスなどの表示装置を備えた映像受信側端末２０に映し出す。図１（a）のように人物Ｂが発言している場合、映像処理装置１０は現在の発言者が人物Ｂであることを推定し、表示装置に人物Ｂを拡大表示して映し出す。図１（b）のように人物Ｂ、および人物Ｄが発言しているような場合、映像処理装置１０は現在の発言者が人物Ｂ、および人物Ｄであることを推定し、表示装置に人物Ｂ、および人物Ｄが拡大されるように表示する。尚、人物を拡大した表示方法は図１（a）、図１（b）に限定されない。例えば図１（a）のように拡大対象の人物が一人だけの場合に全画面で表示するのではなく、画面の半分の領域に映し出すようにしてもよい。また図１（b）のように拡大対象の人物が複数人の場合に全画面で表示するのでなく、画面の半分の領域で分割するように映し出してもよい。

次に本実施形態の機能ブロックについて説明する。図２は本実施形態の撮像システムの機能ブロックを示すものである。本実施形態で用いる映像処理装置１０は、映像取得手段１０１、推定手段１０２、記憶手段１０３、判断手段１０４から構成されている。

映像取得手段１０１は、主に会議の様子などが映し出されている映像、および映像に関連する情報を取得する。尚、映像に関連する情報は、例えば映像の中に人物が映っている場合などに人物の位置、顔の情報を座標情報とした情報が含まれており、映像の中に人物が映っていれば、座標情報を基に人物と判断することができる。

推定手段１０２は、映像取得手段１０１により取得された映像、および映像に関連する情報に含まれる複数の人物から発言している人物を推定する。どの人物が発言しているかを推定する方法としては、一つに人物の顔の位置座標の情報から人物の表情の変化や口の動きなどを読み取ることで発言者を推定する方法がある。また、現在の発言者がいないと推定した場合は、「発言者無し」の情報として、負の座標（発言している人物がいない場合の表記方法）を示すなどの方法がある。尚、この手法は顔認証技術として特開平１１−３５２９８、特開２０１０−１９２９５６、ＷＯ２００５／１１４５７６に開示されているように周知であるため、詳細な説明は省略する。尚、発言者を推定する方法はこの方法に限定されない。例えば音声から話者を推定する技術として特開２００５−２７４７０７、特開２００１−６７０９８などの技術を用いてもよい。

記憶手段１０３は、映像、および映像に関連する情報における発言者と推定された人物を、発言履歴情報として該映像に関連する情報が取得された時間ごとに記憶する。記憶手段１０３は映像に関連する情報を取得した時間ごとで「発言者はどの人物であり（発言者推定）、どのくらいの期間発言した（発言時間）」という発言者情報を発言履歴として記憶する。具体的な発言履歴情報の一例を図３に示す。図３は、例えば会議など複数の人物が集まるシチュエーションを想定したもので会議開始からの時刻、発言者、発言開始時刻、発言終了時刻によって構成される。更にそのときの後述するアップ対象の判断結果についても合わせて記憶してもよい。図３で言うと、例えば会議開始（時刻ｔが０：００：００）から３分間（０：０３：００まで）はＡさんが発言したということを意味している。本発明は、発言者推定の情報と発言時間の情報があれば実現することが可能であるがこれに限定されない。例えば発言者情報に音声に関する情報（声の大きさ、声のトーンなど）を含んでもよい。更に同時に発言者が複数人いる場合などは、音声および顔の動きの大小などから記憶する発言者情報に順位を定めたりして、アップ対象とする発言者を限定してもよい。

判断手段１０４は、発言履歴情報を基に、アップの対象とすべき人物を判断する。例えば、現時点の発言者を基準として、過去の所定の時間範囲での発言履歴を参照し、現在の発言者である人物に続いて発言者となった回数が所定のしきい値より大きい人物を、発言者である人物とともに拡大表示の対象とすべき人物と判断する。

尚、他の判断手法として判断手段１０４は、アップで映し出す人物を判断する際に、過去の時間範囲での発言交代回数だけではなく、例えば現時点で発言している発言者と過去に一緒にアップで映し出す対象となった人物の情報を基に判断することもできる。判断方法としては、現時点で発言している発言者を推定したら過去のアップ情報履歴を参照し、現時点の発言者と一緒にアップになった人物を特定する。所定の条件を満たしている場合に現時点の発言者と、過去に一緒にアップ対象となった人物を一緒にアップで映し出す。
また、発言交代回数ではなく、発言回数からアップ対象となる人物を判断することも可能である。所定の時間範囲の発言者情報に「どの人物が何回発言したか」という発言回数の情報を含め、現時点で発言している発言者を推定したら過去の発言回数を参照し、所定の条件を満たしている場合に現時点の発言者と、発言回数が多い人物を優先的にアップで映し出す。

次に本実施形態のハードウェア構成について図４を用いて説明する。尚、映像処理装置１０の構成は、図４に示したものと必ずしも同じ構成である必要はなく、本実施形態を実現できるハードウェアを備えていればそれで十分である。

映像処理装置１０は、ＣＰＵ（Central Processing Unit）２０１、メモリ２０２、映像処理部２０３、音声処理部２０４、ネットワークインタフェース（以下、ネットワークＩ／Ｆと称す）２０５、撮像素子インタフェース（以下、撮像素子Ｉ／Ｆと称す）２０６、カメラ２０９、映像出力インタフェース（以下、映像出力Ｉ／Ｆと称す）２０７、音声入出力インタフェース（以下、音声入出力Ｉ／Ｆと称す）２０８、スピーカ２１０、システムバスを備える。尚、上記構成はあくまでも一例であって、本発明の範囲を限定するものではない。例えば、表示装置２１２、１つ又は複数のマイク２１１を映像処理装置１０に内蔵されていても良いし、カメラ２０９やスピーカ２１０は映像処理装置１０とは別に設けられていても良いし、また表示装置２１２に内蔵されていても良い。また、映像処理装置１０が複数のマイク２１１の少なくとも１つを有していても良い。さらに、撮像素子Ｉ／Ｆ２０６は映像処理部２０３に含まれていても良いし、音声入出力Ｉ／Ｆ２０８は音声処理部２０４に含まれていても良い。

ＣＰＵ２０１は、例えばメモリ２０２からプログラムやデータを読み出し、処理を実行することで、映像処理装置１０が備える各機能を実現する演算装置である。メモリ２０２は、例えばＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）等の記憶部である。メモリ２０２は、ＣＰＵ２０１により実行される様々な処理に必要とされる各種ソフトウエアやデータ、映像、および映像に関する情報、音声、および音声に関する情報等を格納する。メモリ２０２には実施例で用いる所定のしきい値などもプログラムとして格納される。また、記憶手段１０３による所定の時間ごとに取得した発言情報もメモリ２０２に記憶され格納される。

またＣＰＵ２０１は、映像処理装置１０全体の制御を行う。映像処理部２０３は、映像、および映像に関連する情報に対して各種映像処理を行う。音声処理部２０４は、音声、および音声に関連する情報に対して各種音声処理を行う。尚、映像処理部２０３、音声処理部２０４は、ＤＳＰ（Digital Signal Processor）等のプロセッサを含んでいても良い。ネットワークＩ／Ｆ２０５は、映像処理装置１０をネットワーク２１３に接続するためのインタフェースで、ネットワーク２１３を介して、図示していない他の装置等と映像、および音声の送受信などを行う。

撮像素子Ｉ／Ｆ２０６は、撮像用のカメラ２０９から出力される映像信号を映像、および映像に関連する情報として取り込むインタフェースである。表示装置２１２は、例えば、ＬＣＤ（Liquid Crystal Display）モニタや、プロジェクタ等である。表示装置２１２には、音声出力用のスピーカ２１０を備えていても良い。映像出力Ｉ／Ｆ２０７は、ネットワーク２１３を介して表示装置２１２に映像や、メニュー画面、設定画面等を映像信号として出力するインタフェースである。
音声入出力Ｉ／Ｆ２０８は、音声入力用のマイク２１１を介して入力された音声信号を音声、および音声に関連する情報として取り込む。また、出力する音声をスピーカ２１０で再生可能な音声信号に変換する。システムバスは、アドレスバス、データバス及び各種制御信号を伝達する。

次に本実施形態の手順をフローチャートに従って説明する。図５は本実施形態における映像処理装置１０と映像受信側端末２０の一連のフローチャートである。図５に従って、本実施形態の一連の流れについて説明する。本実施形態の映像処理装置１０が使用されるケースの一例は、主にテレビ会議等の会議の情景を映し出すことを想定としている。本実施形態は、映像処理装置１０と、映像処理装置１０から映像を受信して表示装置などで映像を表示する受信側端末とに分けて記載しているが、映像処理装置１０と表示装置が一体となった構成でも構わない。

まず、映像処理装置１０が撮像用カメラ２０９などで撮像された会議等の情景の映像、および映像に関連する情報を取得する（ステップ１）。取得した映像に関連する情報には、人物の位置や顔の座標情報が含まれており、人物の位置などの特定ができるようになっている。次に取得した映像、および映像に関連する情報から現在の発言者を推定する（ステップ２）。本実施形態では、人物の顔の位置座標の情報から人物の表情の変化や口の動きなどを読み取る顔認証技術を用いるが、この方法に限定されない。また、同時に複数の人物が発言している場合でも、複数の人物が発言していると推定するものとする。

次に現在の発言者の情報を基に、表示装置２１２にアップで映し出す人物を判断する（ステップ３）。判断のプロセスについては後述で詳しく述べることにするが、一つには現在の発言者に対して、過去の時間範囲から現在の発言者との交代回数の履歴から、アップ対象とする人物の判断を行う方法がある。また、現在の発言者に対して、過去の時間範囲から現在の発言者と一緒になったアップ情報履歴からアップ対象とする人物の判断を行う方法もある。更に、現在の発言者に対して、過去の時間範囲の各発言者の発言回数を基にアップ対象とする人物の判断を行う方法などもある。

アップ対象判断により、アップ対象とする人物がいないと判断されると、表示装置２１２に映し出す映像にアップ処理を行うことはない。ここで、アップ対象の人物がいないと判断される時は、基点となる現時点の発言者がいない場合などである。アップ対象判断により、アップ対象とする人物がいると判断されると、表示装置２１２に映し出す映像にアップ対象と判断された人物がアップで映し出されるよう処理が行われる（ステップ４）。アップ対象とする人物がいないと判断された場合には表示装置２１２に映し出す映像として撮像用カメラ２０９で取得した映像そのものが映し出されるようにアップ処理がスキップされる。

アップ処理された映像もしくはアップ処理のされていない映像は、映像出力Ｉ／Ｆなどを介して表示装置２１２を備える受信側端末へ映像信号として送信される（ステップ５）。受信側端末はアップ処理された映像もしくはアップ処理のされていない映像による映像信号を受信し（ステップ６）、液晶ディスプレイ型モニタやプロジェクタなどの表示装置２１２に受信した映像信号に基づいた映像を表示する（ステップ７）。本実施形態の一連の流れを図５のフローチャートに従って説明した。

第１の実施例：
次に、特定の人物をアップで映し出すための判断手段１０４の具体例を、実施例ごとに説明する。図６はアップで映し出す人物を判断するために、記憶手段１０３で記憶する所定の時間範囲での発言交代履歴を参照し、発言交代回数からアップにする人物を判断するフローである。第１の実施例として図６を参照しながら説明する。
尚、図６と後述する図８、図１０は図５のフローチャートのステップ３の詳細な手法としての位置付けである。

まず、現時点を基点に発言者がいるかどうかを推定する（ステップ３０１）。発言者がいないと判断されたら、アップ対象となる人物はいないと判断し、アップ処理を行わない映像（取得したそのままの映像）を「アップ対象なし」用の映像として出力する（ステップ３０９）。発言者がいると判断されたら、現在の発言者を特定する。ここで、現在の発言者は、Ａという人物と便宜上規定し、以降同一発言者をＡと表記する（ステップ３０２）。

次に、現在の発言者であるＡが特定されたら、Ａの一つ前の発言者の情報を参照し、一つ前の発言者の発言が完了してからＡが発言するまでの時間が所定の時間以上に空いていたかを判定する（ステップ３０３）。これは、Ａの一つ前の発言者の発言が完了してからＡが発言を開始するまでの間に所定に時間以上の間隔があった際は、連続した発言交代と見なさないためである。所定の時間以上の間隔があった際には、アップ対象とする人物は現在の発言者であるＡのみと判断し、「Ａをアップ対象」として出力する。（ステップ３０８）。尚、発言が完了したかどうかは次のように判断する。
（ａ）音声で判断する場合には、音声が所定時間停止した場合、発言が完了したと判断する。
（ｂ）音声で判断する場合には、音声認識により話者が交代して、交代した話者が所定時間発言を続けた場合には、前の話者の発言が完了したと判断する。
（ｃ）映像で判断する場合には、口の動きが所定時間停止した場合、発言が完了したと判断する。

所定の時間以上の間隔がない場合は、連続した発言交代と見なし、Ａの一つ前の発言者を特定する。ここで、Ａの一つ前の発言者は、Ｂという人物と便宜上規定し、以降同一発言者をＢと表記する（ステップ３０４）。Ａの一つ前の発言者であるＢの特定が完了したら、現時点を基点に過去の時間範囲Ｔを参照し、ＡとＢが所定の時間以上の間隔を入れず連続して発言を交代した回数をカウントする（ステップ３０５）。ここで、図７として、過去の時間範囲Ｔでの発言者の交代履歴の一例を示すことにする。発言者はＡとＢとＣの３人であり、発言の交代回数をカウントすると、Ａ→Ｂ、およびＢ→Ａを１回とするならば、図７では、ＡとＢの交代回数は４回と数えることができる。

ＡとＢの発言の交代回数のカウントが完了したら、カウントした回数が所定のしきい値よりも大きいか小さいかを判定する（ステップ３０６）。カウントした回数が所定のしきい値よりも小さいときは、アップ対象とする人物はＡのみと判断し、「Ａをアップ対象」として出力する（ステップ３０８）。カウントした回数が所定のしきい値よりも大きいときは、アップ対象とする人物はＡとＢであると判断し、「ＡとＢをアップ対象」として出力する（ステップ３０７）。以上により、現在発言している人物と、一つ前の発言者情報を基点としてアップ対象とする人物を判断することができ、現在の発言者だけでなく、例えばこれまでの発言履歴を踏まえて会議等の発言中心人物などを予測し、アップ対象と判断することが可能となる。

第２の実施例：
次に、特定の人物をアップで映し出すための判断手段１０４の二つ目の具体例を説明する。図８はアップで映し出す人物を判断するために、記憶手段１０３で記憶する所定の時間範囲でのアップ情報履歴を参照し、アップ情報履歴からアップにする人物を判断するフローである。第２の実施例として図８を参照しながら説明する。

ステップ３１０からステップ３１４までは、図６のステップ３０１からステップ３０５と同手順のため、説明は省略する。ＡとＢの発言の交代回数のカウントが完了したら過去の時間範囲Ｕのアップ履歴情報を参照し、ＡとＢが同時にアップとなった時間範囲が所定のしきい値よりも大きいか判定する（ステップ３１５）。ここで、図９として、過去の時間範囲Ｕでのアップ情報履歴の一例を示す。図９を参照すると過去の時間範囲ＵでＡとＢが同時にアップ対象となった時間範囲の合計は２３００であると見て取れる。仮に時間範囲の所定のしきい値が２０００であるとすると、所定のしきい値よりも大きいと判定される。同時にアップ対象となった時間範囲が所定の時間範囲よりも大きいと判定されると、ＡとＢの発言交代回数の所定のしきい値を小さくする処理が行われる（ステップ３１６）。尚、発言交代回数の所定のしきい値を変更する判断であるが、所定のしきい値を小さくするだけでなく大きくすることも可能である。

小さくするよう処理された発言交代回数の所定のしきい値を基に、ＡとＢの連続した発言交代回数をカウントし、所定のしきい値よりも大きいか小さいか判定する（ステップ３１７）。ＡとＢの連続した発言交代回数が所定のしきい値よりも大きいと判定されたら、アップ対象とする人物はＡとＢであると判断し、ＡとＢをアップ対象とする映像の出力をするよう処理される（ステップ３１８）。また、ステップ３１５で過去の時間範囲Ｕのアップ履歴情報を参照し、ＡとＢが同時にアップとなった時間範囲が所定のしきい値よりも小さいと判定されたときは、ＡとＢの発言交代回数の所定のしきい値を変更せずに、所定のしきい値のまま判定されることになる。以上により、現在の発言者を基点にして、過去の更に長い期間のアップ履歴情報からアップ対象とする人物を判断することができる。

発言交代回数の所定のしきい値を変更することで、頻繁に発言の交代を起こす人物を予測し、素早くアップ対象と判断することが可能となる。
発言交代回数の所定のしきい値を小さくすれば、現在の発言者であるＡと共にアップ対象となる人物がより多くなるように判断でき、会議等に参加している人物をより多くアップ対象とすることができる。また、発言交代回数の所定のしきい値を大きくすれば、会議等の発言の中心である人物に的を絞った形でアップ対象とする人物を制限することができる。

第３の実施例：
次に、特定の人物をアップで映し出すための判断手段１０４の３つ目の具体例を説明する。図１０はアップで映し出す人物を判断するために、記憶手段１０３で記憶する所定の時間範囲での発言者ごとの発言回数を参照し、発言回数の情報からアップにする人物を判断するフローである。第３の実施例として図１０を参照しながら説明する。

ステップ３２１からステップ３２２までは、図６のステップ３０１からステップ３０２と同手順のため、説明は省略する。現在の発言者であるＡが特定されたら、現時点を基点として、過去の時間範囲Ｔでの全体の発言回数をカウントする（ステップ３２３）。ここで、過去の時間範囲をＴとしているが、２つ目の実施例の時間範囲Ｕとしても良い。またＴ、Ｕ以外の別の時間範囲とするように定めても良い。

過去の時間範囲Ｔでの全体の発言回数をカウントし、所定のしきい値よりも大きいか小さいかを判定する（ステップ３２４）。所定のしきい値よりも小さいと判定されたら、アップ対象とする人物は現在の発言者であるＡのみと判断し、Ａをアップ対象とする映像の出力をするよう処理される（ステップ３３１）。

所定のしきい値よりも大きいと判定されたら、過去の時間範囲Ｔで最も発言回数の多い人物を特定する（ステップ３２５）。尚、実施例では過去の時間範囲Ｔで最も発言回数が多い人物はＢであると特定することにする。次に、特定されたＢの発言回数から過去の時間範囲Ｔ全体の発言回数による発言者ごとの平均発言回数を差し引いた差分を抽出し、その差分が所定のしきい値よりも大きいか小さいか判定する（ステップ３２６）。尚、ここでの平均発言回数は平均算出以外の中央値、および最頻値の概念から算出してもよい。

差分が所定のしきい値よりも小さいと判定されると、アップ対象とする人物は現在の発言者であるＡのみと判断し、Ａをアップ対象とする映像の出力をするよう処理される（ステップ３３１）。差分が所定のしきい値よりも大きいと判定されると、現在の発言者であるＡとＢの発言回数が同回数か判定する（ステップ３２７）。ＡとＢの発言回数が同回数であると判定されると、Ｂは２番目に発言回数が多い発言者であると判定する（ステップ３２８）。ここで、発言回数としてはＡとＢは同回数であるが、現在の発言回数を考慮することで、Ａが最も発言回数が多い発言者と位置付けることとする。

次に、Ｂの発言回数から過去の時間範囲Ｔ全体の発言回数による平均発言回数を差し引いた差分を抽出し、その差分が所定のしきい値よりも大きいか小さいか判定する（ステップ３２９）。差分が所定のしきい値よりも大きいと判定されると、アップ対象とする人物はＡとＢであると判断し、ＡとＢをアップ対象とする映像の出力をするよう処理される（ステップ３３０）。

また、ステップ３２７で、現在の発言者であるＡとＢの発言回数が同回数ではなく、Ｂの発言回数が最も多いと判定されたときも、アップ対象とする人物はＡとＢであると判断し、ＡとＢをアップ対象とする映像の出力をするよう処理される（ステップ３３０）。以上により、現在の発言者を基点にして、過去の所定の期間での発言者の発言回数より、アップ対象とする人物を判断することができる。また、全体の発言回数に対する平均発言回数ではなく、単純に発言回数が多い人物を優先的にアップ対象とするよう判断することも可能である。

他の実施例：
次に、他の実施例の一例として、発言者の音声、および音声に関連する情報からアップ対象とする人物を判断する一連の流れについて説明する。図１１は、音声情報に着手した映像処理装置１０と映像受信側端末２０の一連のフローチャートである。

まず、映像処理装置１０が、撮像用カメラ２０９などで撮像された会議等の情景の映像から音声、および音声に関する情報を取得する（ステップ８）。音声、および音声に関する情報は映像処理装置１０の備えてあるマイク等から音声を受信するなどして取得する。次に取得した音声、および音声に関する情報から現在の発言者を推定する（ステップ９）。発言者の推定に関しては、マイクアレイを用いた音声の到来方向推定技術等があるが、これに限定されない。

次に現在の発言者の情報を基に、表示装置２１２にアップで映し出す人物を判断する（ステップ１０）。判断のプロセスについては前述した３つの実施例を、例えば発言者の音声を基に推定された情報を用いてそれぞれの実施例に適用させたり、２つ以上の実施例を組み合わせて適用させるなど、様々な応用パターンを構成することが可能である。

アップ対象判断により、アップ対象とする人物がいないと判断されると、表示装置２１２に映し出す映像にアップ処理を行うことはない。ここで、アップ対象の人物がいないと判断される時は、基点となる現時点の発言者がいない場合などである。アップ対象判断により、アップ対象とする人物がいると判断されると、表示装置２１２に映し出す映像にアップ対象と判断された人物がアップで映し出されるように処理される（ステップ１１）。アップ対象の人物がいないと判断された場合には表示装置２１２に映し出す映像として撮像用カメラ２０９で取得した映像そのものが映し出されるようにアップ処理がスキップされる。

アップ処理された映像もしくはアップ処理のされていない映像は、映像信号として映像出力Ｉ／Ｆなどを介して表示装置２１２を備える受信側端末へ送信される（ステップ１２）。受信側端末はアップ処理された映像もしくはアップ処理のされていない映像による映像信号を受信し（ステップ１３）、液晶ディスプレイ型モニタやプロジェクタなどの表示装置２１２に受信した映像信号に基づいた映像を表示する（ステップ１４）。以上が音声情報を基にアップ対象となる人物を判定する一連の流れとなる。

以上、本実施を好適な形態で行う実施例を説明した。ここでは特定の具体例を示して説明を行ったが、特許請求の範囲の趣旨及び範囲から逸脱しない範囲で、本具体例の様々な修正、および形態変更などが可能である。例えば、本実施例では人物のアップ対象と判断する方法については、映像による人物の位置、顔情報を用いた顔認証技術と、マイクアレイを用いた音声の到来方向推定技術で各々の判断方法を記載しているが、これらの技術を組み合わせてアップ対象とする人物を判断するようにしてもよい。

映像信号のノイズにより正しく人物の位置を特定できなかったり、また、音声についても音声信号のノイズ等で正しい音声信号が受信できなかったりする可能性を考慮して、映像と音声の双方で本発明が実施できれば、アップ対象とする人物の判断の精度はより向上するという利点がある。

また、アップ対象の判断方法として第１の実施例〜第３の実施例で別々に説明したが、これらの方法を組み合わせて複数の判断手法を持たせることも可能である。判断基準を複数設けることで、アップ対象とする人物の判断の精度がより向上することが考えられる。また、本実施例では、アップ対象とする人物は２名とする一例で説明をしたが、３人、４人と更に大多数の人数をアップ対象と判断させることも可能である。

本発明により、映像切り替えの激しい動きを抑制しつつ、現在の発言者を確実にアップで映すことができるものと確信する。また、現在の発言者だけでなく、テレビ会議等で、主たる発言者の推測に基づいて、現在の発言者と一緒にアップ表示させる人物を特定することが可能となる。

本願発明を実現できるような構成であれば、用いる装置の具備する内容、および装置の数量などは本実施例に限定されない。

１０１ 映像取得手段
１０２ 推定手段
１０３ 記憶手段
１０４ 判断手段

特開平４−３０９０８７号公報 特開２００７−０５３５１３号公報 特開２００９−０３８４６６号公報 特開平１−１４０８８４号公報 特開平５−１１１０２０号公報

Claims (11)

1. 被写体を連続的に撮影し、映像情報を取得する映像取得手段と、
   前記映像情報に含まれる複数の人物から発言している人物を推定する推定手段と、
   前記推定手段より前記映像情報における発言者と推定された人物を、発言履歴情報として該映像情報が取得された時間ごとに記憶する記憶手段と、
   前記発言履歴情報を基に、現在の発言者である第１の人物とともに拡大表示の対象とすべき人物を判断する判断手段と、
   を備え、
   前記判断手段は、過去の所定の時間範囲において前記第１の人物に続いて発言者となった回数が第１のしきい値より大きい人物を、前記第１の人物とともに拡大表示の対象とすべき人物と判断する、
   ことを特徴とする映像処理装置。
2. 前記記憶手段は、前記発言者が拡大表示された拡大表示履歴を更に記憶し、
   前記判断手段は、過去の所定の時間範囲の前記拡大表示履歴を参照し、前記第１の人物とともに拡大表示された人物との拡大表示された時間範囲に応じて前記第１のしきい値を増減させる、
   ことを特徴とする請求項１に記載の映像処理装置。
3. 被写体を連続的に撮影し、映像情報を取得する映像取得手段と、
   前記映像情報に含まれる複数の人物から発言している人物を推定する推定手段と、
   前記推定手段より前記映像情報における発言者と推定された人物を、発言履歴情報として該映像情報が取得された時間ごとに記憶する記憶手段と、
   前記発言履歴情報を基に、現在の発言者である第１の人物とともに拡大表示の対象とすべき人物を判断する判断手段と、
   を備え、
   前記判断手段は、過去の所定の時間範囲における各発言者の発言回数を参照し、前記発言回数の合計値が第２のしきい値よりも大きい人物を、前記第１の人物とともに拡大表示の対象とすべき人物と判断する、
   ことを特徴とする映像処理装置。
4. 前記判断手段は、過去の所定の時間範囲における各発言者の発言回数を参照し、前記発言回数の合計値が前記第２のしきい値よりも大きく、かつ前記発言回数と各発言者の発言回数の平均との差分が第３のしきい値よりも大きい人物を、前記第１の人物とともに拡大表示の対象とすべき人物と判断する、
   ことを特徴とする請求項３に記載の映像処理装置。
5. 前記推定手段は、前記映像情報に含まれる複数の人物の位置を顔の座標情報として認識し、前記発言者と推定した人物の顔の座標情報を出力する、
   ことを特徴とする請求項１ないし４のいずれか１項に記載の映像処理装置。
6. 音声到来方向の情報を含む音声情報を取得する音声取得手段を更に備え、
   前記推定手段は、前記音声情報から発言している人物を推定する、
   ことを特徴とする請求項１ないし５のいずれか１項に記載の映像処理装置。
7. 前記推定手段は、前記映像情報と前記音声情報から発言している人物を推定する、
   ことを特徴とする請求項６に記載の映像処理装置。
8. 被写体を連続的に撮影し、映像情報を取得するステップと、
   前記映像情報に含まれる複数の人物から発言している人物を推定するステップと、
   前記映像情報における発言者と推定された人物を、発言履歴情報として該映像情報が取得された時間ごとに記憶するステップと、
   前記発言履歴情報を基に、現在の発言者である第１の人物とともに拡大表示の対象とすべき人物を判断するステップと、
   を備え、
   判断する前記ステップでは、過去の所定の時間範囲において前記第１の人物に続いて発言者となった回数が第１のしきい値より大きい人物を、前記第１の人物とともに拡大表示の対象とすべき人物と判断する、
   映像処理方法。
9. 被写体を連続的に撮影し、映像情報を取得するステップと、
   前記映像情報に含まれる複数の人物から発言している人物を推定するステップと、
   前記映像情報における発言者と推定された人物を、発言履歴情報として該映像情報が取得された時間ごとに記憶するステップと、
   前記発言履歴情報を基に、現在の発言者である第１の人物とともに拡大表示の対象とすべき人物を判断するステップと、
   を備え、
   判断する前記ステップでは、過去の所定の時間範囲における各発言者の発言回数を参照し、前記発言回数の合計値が第２のしきい値よりも大きい人物を、前記第１の人物とともに拡大表示の対象とすべき人物と判断する、
   映像処理方法。
10. 被写体を連続的に撮影し、映像情報を取得する手段と、
    前記映像情報に含まれる複数の人物から発言している人物を推定する手段と、
    前記映像情報における発言者と推定された人物を、発言履歴情報として該映像情報が取得された時間ごとに記憶する手段と、
    前記発言履歴情報を基に、現在の発言者である第１の人物とともに拡大表示の対象とすべき人物を判断する手段と、
    を備え、
    判断する前記手段は、過去の所定の時間範囲において前記第１の人物に続いて発言者となった回数が第１のしきい値より大きい人物を、前記第１の人物とともに拡大表示の対象とすべき人物と判断する、
    映像処理システム。
11. 被写体を連続的に撮影し、映像情報を取得する手段と、
    前記映像情報に含まれる複数の人物から発言している人物を推定する手段と、
    前記映像情報における発言者と推定された人物を、発言履歴情報として該映像情報が取得された時間ごとに記憶する手段と、
    前記発言履歴情報を基に、現在の発言者である第１の人物とともに拡大表示の対象とすべき人物を判断する手段と、
    を備え、
    判断する前記手段は、過去の所定の時間範囲における各発言者の発言回数を参照し、前記発言回数の合計値が第２のしきい値よりも大きい人物を、前記第１の人物とともに拡大表示の対象とすべき人物と判断する、
    映像処理システム。
    

Images