JP6651984B2 - 情報処理装置、会議システムおよび情報処理装置の制御方法 - Google Patents

Description

本発明は、情報処理装置、会議システムおよび情報処理装置の制御方法に関する。

近年、インターネット等のネットワークを介して各拠点に設置された端末装置（会議端末ともいう）を接続し、テレビ会議（ビデオ会議ともいう）を行うテレビ会議システム（会議システム、ビデオ会議システムともいう）が普及している。

このテレビ会議システムでの会議端末は、各拠点の会議室等に設置され、相手方の会議端末との間で会議出席者の画像や音声をやり取りすることでテレビ会議を行う。具体的には、会議端末の各々は、テレビ会議に出席する会議出席者をカメラで撮影するとともに会議出席者の音声をマイクで集音し、相手方の会議端末に映像データ（画像データ）や音声データを送信する一方で、相手方の会議端末から送信された映像データおよび音声データを受信し、受信した映像データを用いた会議画面を表示部に表示出力するとともに音声データをスピーカから音出力する。

このテレビ会議システムに用いられるカメラや、その他監視システムに用いられるカメラ等は、その撮影映像をリアルタイムに転送することが要求される。しかしながら、映像データの通信には、インターネット回線などの一般のネットワーク回線を使うケースも多く、データ転送に使える帯域に制約を受ける。このため、映像データは、一般に符号化（動画圧縮）して転送される。

近年、カメラやテレビなどの高解像度化に伴い、符号化技術も進歩しており（例えば、Ｈ.２６４からＨ．２６５へのシフト）、解像度の高い映像でも限られた通信帯域の元で転送可能となってきている。

しかしながら、テレビ会議システム、監視システム等において、カメラで撮影した映像を処理する演算部では、符号化効率が向上するにつれて符号化処理に割り当てられる演算量が大きくなってきている。演算量の増大する例としては、例えば、以下の要因が挙げられる。
（１）リアルタイム性を維持するため、例えば、フレームレートが３０ｆｐｓであれば、１フレーム当たりの符号化処理を１／３０秒で処理する必要がある。
（２）符号化処理に必要な演算量は、解像度に比例して増加する。
（３）Ｈ.２６４等のフレーム間予測を基本とする符号化処理では、動きベクトルの抽出処理が占める演算量が大きくなるが、動きベクトルの抽出処理では、解像度が上がるにつれてサーチ画素も増えるため、動きベクトルを求めるための演算量が増大する。

そして、符号化処理における演算量の増大によるシステムの性能低下を防ぐためには、プロセッサ等のハードウェアの性能向上が不可欠となっており、高コスト化の要因となっている。

符号化処理における演算量の削減する技術として、特許文献１には、フレーム内をブロックに分割し、ブロック毎の画素データの特性に合わせて最適な符号化モードを、各ブロックに選択することで、フレームごとの演算量の削減を図った動画像符号化装置が開示されている。

しかしながら、特許文献１の技術では、上記（３）に示した、動きベクトルの抽出処理において、解像度が上がるにつれてサーチ画素も増えるため、動きベクトルを求めるための演算量が増大する、という課題は解決できず、符号化処理における演算量の低減には検討の余地が残されていた。これは、特許文献１の技術では、縮小画像を用いても結果的には対象となる全領域に対して動き予測（サーチ処理）を行うことが必要であるためであり、また、特許文献１の技術では、シーンチェンジ等が発生した場合には、いずれの符号化モードにも適正ではないブロックが生じてしまう。

そこで本発明は、符号化処理における演算量の削減を図ることができる情報処理装置を提供することを目的とする。

かかる目的を達成するため、本発明に係る情報処理装置は、像データについてフレーム間予測を含む符号化処理を行う情報処理装置において、前記映像データの各フレームについて、各フレームを所定サイズの複数のブロックに分割するとともに、各ブロックについてフレーム間で動きのある動きブロックであるか、動きのない非動きブロックであるかを判定する動き／非動き判定部と、前記動き／非動き判定部での判定結果に応じて、複数設けられた符号化処理からいずれかの符号化処理を選択的に実行する符号化処理部と、を備え、前記符号化処理部は、前記動き／非動き判定部において、該フレームに占める前記動きブロックの割合が所定値に満たない場合において、該フレームにおける前記非動きブロックの画素については、動きベクトルの抽出処理を行なわないととともに、前記動きブロックの画素について動きベクトルの抽出処理を行う際に、前記非動きブロックの画素については、動きベクトルのサーチ対象に含めない第１の符号化処理を実行するものである。

本発明によれば、符号化処理における演算量の削減を図ることができる。

テレビ会議システムの構成例を示すブロック図である。 動き／非動き判定処理における（Ａ）参照エリア、（Ｂ）注目ブロックの説明図である。 動き／非動き判定処理の一例を示すフローチャートである。 符号化処理の一例を示すフローチャートである。

以下、本発明に係る構成を図１から図４に示す実施の形態に基づいて詳細に説明する。

本実施形態に係る情報処理装置は、映像データについてフレーム間予測を含む符号化処理を行う情報処理装置（端末装置２００）において、映像データの各フレームについて、各フレームを所定サイズの複数のブロックに分割するとともに、各ブロックについてフレーム間で動きのある動きブロックであるか、動きのない非動きブロックであるかを判定する動き／非動き判定部（動き／非動き判定部１３０）と、動き／非動き判定部での判定結果に応じて、複数設けられた符号化処理からいずれかの符号化処理を選択的に実行する符号化処理部（映像コーデック部３０）と、を備えるものである。なお、括弧内は実施形態での符号、適用例を示す。

（テレビ会議システム構成）
本発明に係る会議システムの一実施形態であるテレビ会議システムの構成について説明する。

図１は、テレビ会議システム１の構成例を示すブロック図である。図１に示すように、テレビ会議システム１は、第１の拠点（送信側）に設けられた端末装置２００Ａと、第２の拠点（受信側）に設けられた端末装置２００Ｂと、サーバ３００と、を備え、これらがインターネット、イントラネット等のネットワーク４００を介して接続されて構成される。

ここでは、第１の拠点が送信側、第２の拠点が受信側となる場合を例に説明するが、端末装置２００Ａおよび端末装置２００Ｂの構成は同じであり、各端末装置が送信側端末にも受信側端末にもなり、送受信可能であることは勿論である。なお、以下の説明では、端末装置２００Ａの各部の構成には、末尾にＡ（例えば、カメラ１０Ａ）を、端末装置２００Ｂの各部の構成には、末尾にＢ（例えば、カメラ１０Ｂ）を表記する。また、特に、区別する必要のないときは、いずれも付けずに表記する（例えば、カメラ１０）。

端末装置２００Ａは、カメラ１０Ａ、映像処理部２０Ａ、映像コーデック部３０Ａ、映像出力処理部４０Ａ、音声入力部５０Ａ、音声出力部６０Ａ、音声処理部７０Ａ、ネットワーク処理部８０Ａ、全体制御部９０Ａ、操作部１００Ａ、映像処理部２０Ａ用のＲＡＭ１１０Ａ（Random Access Memory）、録画装置１２０Ａ、動き／非動き判定部１３０Ａ、動き／非動き判定部１３０Ａ用のＲＡＭ１４０Ａ、ディスプレイ１５０Ａ、を備えている。以下に各部の詳細を説明する。

カメラ１０Ａは、会議出席者の画像を入力するためのものであり、会議室内の様子を撮影する。カメラ１０Ａは、例えば、その視野範囲（画角）内に会議出席者の全員が含まれるようにテレビ会議の開始前等において会議室内の適所に設置される。

カメラ１０Ａは、レンズ（撮像光学系）と、レンズを介して集光された映像を電気信号に変換する撮像部１１Ａ（イメージセンサ）と、撮像部１１Ａから入力される画像データに対してクロッピング処理（Cropping）を行うクロッピング処理部１２Ａと、を備えている。クロッピング処理部１２Ａにより、イメージセンサの全エリア映像ではなく、必要なエリアのみを切り出して撮影映像とする処理（例えば、デジタルパンチルトズーム処理）を実行する。

映像処理部２０Ａは、ＩＳＰ（Image Signal Processor）２１Ａにより、カメラ１０Ａから動き／非動き判定部１３０Ａを経由して入力されるＲＡＷデータに対して、ベイヤー変換、３Ａ制御、等の各種の映像処理を実行し、ＹＵＶデータを生成する。ＲＡＭ１１０Ａは、映像処理部２０Ａにおける各種の映像処理に用いられる記憶手段である。

映像コーデック部３０Ａは、映像ストリームデータのエンコード／デコード処理を行うため、Ｈ．２６４、Ｈ．２６５等のコーデック回路、または、ソフトウェアで構成される。エンコーダ部３１Ａは、映像送信の際、映像処理部２０Ａから入力される映像データに対して、符号化処理を行い、符号化処理後のデータ（符号化データ）をネットワーク処理部８０Ａに転送する。一方、デコーダ部３２Ａは、映像受信の際、ネットワーク４００を介して転送される符号化データをネットワーク処理部８０Ａ経由で取り込んで、その符号化データについて復号化処理を行い、復号化処理後のデータを映像出力処理部４０Ａに転送する。

映像出力処理部４０Ａは、デコーダ部３２Ａで複号化処理された相手局（第２の拠点）の映像、または、カメラ１０Ａが撮像している自局（第１の拠点）の映像を、ディスプレイ１５０Ａに表示させる。また、自局や複数の相手局拠点の映像を映す場合の表示レイアウトを、操作部１００Ａから送られるレイアウト設定情報に従って、レンダリング処理を行う。

音声入力部５０Ａは、マイク５１Ａにて発話者の音声をマイクで集音し、Ａ／Ｄ変換部５２Ａにて集音したアナログデータをデジタルデータに変換して音声処理部７０Ａへ転送する。なお、話者追従機能を搭載する会議システム端末の場合は、マイク５１Ａをアレイ形式にしたマイクアレイを有し、各マイクへの音声入力時間に基づいて発話者の方向を特定する。

音声出力部６０Ａは、Ｄ／Ａ変換部６２Ａにて他局から送られてきた音声データをアナログ信号に変換して、スピーカ６１Ａから出力させる。

音声処理部７０Ａは、ＤＳＰ７１Ａ（Digital Signal Processor）、音声コーデック部７２Ａ、ノイズキャンセル（ＮＣ）／エコーキャンセル（ＥＣ）部７３Ａを備えている。相手局からの受信データについては、ネットワーク処理部８０Ａを介して入力された他拠点からの音声データを取り込み、コーデック処理、ノイズキャンセル（ＮＣ）等の音声データ処理を行って、処理後のデータを音声出力部６０に転送する。同時に、音声出力部６０Ａから出力される音声であって音声入力部５０Ａへ入力される音声データに対してエコーキャンセル（ＥＣ）処理を行う。

また、相手局への送信データについては、音声入力部５０Ａから転送される音声データについて、コーデック処理、エコーキャンセル（ＥＣ）等の音声データ処理を行って、処理後のデータを、映像データと同期化しながら、ネットワーク処理部８０に転送する。

なお、音声処理部７０Ａは、音声を判別する音声判別部７４Ａや、マイクアレイの各マイクへの音声入力時間に基づいて発話者の方向を特定する話者追従検知部７５Ａを備えることも好ましい。

ネットワーク処理部８０Ａは、ＮＩＣ８１Ａ、ネットワーク状態検知部８２Ａ、相手局機能判別部８３Ａを備えている。相手局への送信映像については、映像コーデック部３０Ａから転送されてきた符号化データを、ネットワーク４００を介して、相手局に転送する。

また、相手局からの受信映像については、相手局より転送されてくる符号化データを、ネットワーク４００を介して受信し、受信した符号化データを映像コーデック部３０Ａに転送する。

また、ネットワーク状態検知部８２Ａは、符号化パラメータ（ＱＰ値、等）を決定するために、ネットワークの帯域をモニタリングする。また、相手局機能判別部８３Ａは、符号化パラメータや送信モードの設定を最適化するために、相手局の機能や性能に関する情報を入力する機能を有する。

全体制御部９０は、演算手段であるＣＰＵ９１Ａ（Central Processing Unit）、読み出し専用の不揮発性記憶媒体であるＲＯＭ９２Ａ（Read Only Memory）、情報の高速な読み書きが可能な揮発性の記憶媒体であるＲＡＭ９３Ａ、ＨＤＤ９４Ａ（Hard Disk Drive）等を備え、端末装置２００Ａ全体のシステム制御を司る。また、ユーザの指示、設定内容に基づいて、各モジュールやブロックのモード設定やステータス管理を行う。

操作部１００Ａは、キーボードやマウス、各種スイッチ等の入力装置によって実現されるものであり、操作情報を全体制御部９０Ａへ転送する。例えば、ユーザが操作部１００Ａを操作することで、各種の設定や会議参加者の呼び出し、等のオペレーション操作が実行される。

また、ユーザの操作部１００Ａの操作により、ディスプレイ１５０Ａの映像を見ながら、パン／チルト操作を行うことができる。パン／チルトの方向等の指示は全体制御部９０Ａに送られて、全体制御部９０Ａが関係する他のモジュールの状態に応じて、各モジュールに最適な設定やコマンドを発行する。また、パン／チルト操作に伴う抜き取りエリアの座標情報をクロッピング処理部１２Ａに通知する。パン／チルト操作の指示は、操作部１００Ａから操作に基づくものに限られず、相手局からネットワーク４００を介してパン／チルト操作に関するコマンドを受信する場合も含まれる。

録画装置１２０Ａは、音声処理部７０Ａおよび映像出力処理部４０Ａから会議中の音声データおよび映像データを録画記録する。録画データの再生時は、音声処理部７０Ａおよび映像出力処理部４０Ａに録画データを出力して、端末装置２００Ａ上で会議シーンを再生することができる。

動き／非動き判定部１３０Ａは、カメラ１０Ａの撮像部１１Ａから転送されたＲＡＷデータに基づいて、フレーム内を複数ブロックに分割するとともに、分割した各ブロックについて前フレームから動きがあったブロック（動きブロックという）と動きがなかったブロック（非動きブロックという）に判別する処理（動き／非動き判定処理）を実行する。ＲＡＭ１４０Ａは、動き／非動き判定部１３０Ａにおける動き／非動き判定処理に用いられる記憶手段である。

（動き／非動き判定処理）
動き／非動き判定部１３０Ａの動き／非動き判定処理について説明する。図２は、動き／非動き判定処理における（Ａ）参照エリア、（Ｂ）注目ブロックの説明図である。

動き／非動き判定処理では、先ず、画像を所定サイズのブロックに分割する（低解像度化）。

本実施形態では、フレーム画像を８×８画素のブロックに分割している。また、本実施形態では、現フレームｔの注目ブロックａに対し、前フレームｔ−１における注目ブロックの位置にあるブロックとその周囲の８ブロックの計９ブロックを参照エリアｒとしている。参照エリアｒを広くすることで、判定精度は向上するといえる。しかしながら、会議シーンでは、フレーム間でそれほど大きな動きは少ないと考えられるため、あまり広範囲とする必要はない。また、動き／非動き判定処理では、動きベクトルを抽出するのではなく、動きの有無の判断を実行可能であればよいので、参照エリアｒは近傍に限定してよい。

次いで、現フレームｔの注目ブロックａと、前フレームｔ−１の参照エリアｒ内の各ブロックと、の画像差分値（画素値の差分）を算出する。ここで、前フレームｔ−１の参照エリア内における注目ブロックと同一位置のブロックを元位置ブロックｂ（図中の斜線部）、その周囲の８つのブロックを周辺ブロックｃと呼ぶ。

画像差分値の算出では、先ず、例えば、ブロック内の画素に対して、ＲＧＢ毎に平均化を行う。ここで、ノイズの影響を軽減するため、例えば、ＲおよびＢは１６画素平均、Ｇは３２画素平均とする。

そして、現フレームｔの注目ブロックａと、前フレームｔ−１の参照エリアｒ内の各ブロックと、の画像差分値を算出して、現フレームｔの注目ブロックａが動きブロックであるか非動きブロックであるかを判定する。

ここで、注目ブロックａが非動きブロックである場合、周辺ブロックｃよりも元位置ブロックｂとの相関が強いはずであり、注目ブロックａが動きブロックである場合、元位置ブロックｂよりも周辺ブロックｃのいずれかとの相関が強いはずである。これを利用して、注目ブロックａが動きブロックであるか、非動きブロックであるかを判定する。

図３は、動き／非動き判定処理の一例を示すフローチャートである。注目ブロックａについて、元位置ブロックｂよりも周辺ブロックｃのいずれかとの画像差分値が最も小さい場合（Ｓ１０１：Ｙｅｓ）、その周辺ブロックｃの方向に向かって動きがあったと判定し、動きブロックと判定する（Ｓ１０４）。

また、元位置ブロックｂとの画像差分値が最も小さくなる場合（Ｓ１０１：Ｎｏ）においても、元位置ブロックｂとの画像差分値が所定値よりも大きい場合（Ｓ１０２：Ｙｅｓ）は、フレーム間で何らかの変化があったと判断し、動きブロックであると判定する（Ｓ１０４）。

これに対し、元位置ブロックｂとの画像差分値が所定値以下である場合（Ｓ１０２：Ｎｏ）は、この注目ブロックａは、非動きブロックと判定する（Ｓ１０３）。

以上の動き／非動きの判定処理をフレーム内のすべてのブロックに対して行って、すべてのブロックについて、動きブロックであるか、非動きブロックであるかを判定する。

動き／非動き判定部１３０での判定結果は、図１に示すように、ブロック毎にＴＡＧビットのような形式で、後段の映像コーデック部３０に映像データとともに送られる。動き／非動き判定部１３０から映像コーデック部３０に、映像データとは別に判定結果伝送用のデータパス（判定情報伝送用データパス）を設けている。

動き／非動き判定処理は、ブロック単位で、フレーム間で動きのあったブロックと動きのなかったブロックに判別可能なものであればよく、上記の例に限られるものではない。したがって、動き／非動き判定処理として、その他の処理方法を用いても、上述の処理方法に他の処理を併せて実施するものであってもよい。

例えば、本実施形態では、現フレームｔの注目ブロックについて、前フレームｔ−１との間で判定を行う例を説明したが、前の数フレーム分のデータとの間で判定を行うようにしてもよい。

また、例えば、ブロックごとにブロックの周囲を含めて映像が暗いブロック、映像が明るいブロック等のように、データに偏りがある場合は、判定がしやすいようにガンマ変換を行うことが好ましい。また、高速フーリエ変換（ＦＦＴ）等の周波数変換を加えてもよい。これらのデータ加工処理を複数種類実行しておき、各加工処理を行った後の判定結果についてのＡＮＤ条件を最終判定結果とすることで、さらに精度の向上を図るようにしてもよい。

（符号化処理）
次に、映像コーデック部３０での符号化処理について説明する。図４は、符号化処理の一例を示すフローチャートである。

端末装置２００が起動すると、起動時に各モジュールの初期設定を行い、カメラ１０での撮影が可能な状態にする（Ｓ２０１）。次いで、会議環境に合わせて、測光条件等のカメラ１０の撮像モードの設定を行う（Ｓ２０２）。以降は、ユーザのマニュアル設定にあわせてカメラ１０の撮影モードを設定する。

端末装置２００の初期処理が完了すると、相手局に通信開始を要求して会議をスタートする（Ｓ２０３）。または、相手局からの通信開始の要求を受けて会議をスタートする。録画を行う場合は、録画装置１２０を起動させる。

映像コーデック部３０は、映像処理部２０から映像データを受信する。また、この際に、該フレームのＴＡＧデータとして、動き／非動き判定部１３０での判定結果も受信する（Ｓ２０４）。

次いで、映像コーデック部３０は、受信した動き／非動き判定部１３０での判定結果に基づいて、該フレーム全体での動きブロック率（動きブロック数／全ブロック数）を算出し、動きブロック率が所定の値（Ｘ％）未満である場合（Ｓ２０５：Ｙｅｓ）は、該フレームについて第１の符号化処理（Ｓ２０６）を行う。

第１の符号化処理（Ｓ２０６）では、動きブロックと判定されたブロックの画素データについて、動きベクトルの抽出処理を行う。このとき、非動きブロックと判定されたブロックの画素データについては、動きがなかったと判断できるため、動きベクトルの抽出処理を実行しない。

また、動きブロックと判定されたブロックにおいて、動きベクトルの動き予測を行う範囲であるサーチエリア（サーチ対象、通常はフレーム全体である）から非動きブロックの画素データを除外する。すなわち、動きベクトルが抽出できる可能性の少ない画素（非動きブロックの画素）についてのサーチ処理を省くものである。

このように、非動きブロックの画素データについて動きベクトルの抽出処理を実行しないようにすることと、サーチ対象から非動きブロックの画素データを除外することで、動きベクトル抽出処理の演算量を大幅に削減することができる。

なお、所定の値Ｘは、端末装置２００のハードウェア性能に基づいて設定される値であればよい。例えば、ＣＰＵ９１等のハードウェア性能が高い場合は、映像コーデック部３０での演算量が多少大きくなっても所定時間内にフレーム処理が完了できると考えられるため、Ｘの値を大きくすることができる。

一方、動きブロック率が所定の値（Ｘ％）以上である場合（Ｓ２０５：Ｎｏ）は、動きブロックがフレーム内で集中しているか分散しているか判断する（Ｓ２０７）。この判断は、例えば、フレーム内において、動きブロックと判定されたブロックが所定数以上、隣接して存在しているか否かを判断する。なお、この判定方法は、特に限られるものではなく、公知または新規の判定方法によるものであればよい。

動きブロックがフレーム内で集中している場合（２０７：Ｙｅｓ）は、第２の符号化処理（Ｓ２０８）を行う。この場合、動きブロックがフレーム内においてランダムではなく大きな塊単位で動いていることを意味しているため、第２の符号化処理では、塊を構成する動きブロックの動きベクトルは同じという前提で動きベクトルを算出することができる。

また、この際、第１の符号化処理と同様に、非動きブロックと判定されているブロックの画素データについては、動きベクトルの抽出処理は行わない。また、動きブロックと判定されたブロックの動きベクトルのサーチエリアから非動きブロックの画素データを除外する。

一方、動きブロックがフレーム内で分散している場合（２０７：Ｎｏ）は、第３の符号化処理を行う（Ｓ２０９）。第３の符号化処理では、該フレームはＩピクチュアとして定義し、フレーム間符号化処理は行わずにフレーム内符号化処理を行う。

すなわち、動きブロックがランダムに存在するケースは、会議シーンでは想定しにくいシーンであるため、シーンチェンジの可能性が高いと判断する。この場合、動きベクトルの抽出処理を行うと、全ての動きブロックに対して、サーチ処理に必要となる演算量が大きくなり、１フレーム当たりに割り当てられている処理時間内にすべての処理が完了しないおそれもある。このため、Ｉピクチュアとするものである。

上記第１〜第３のいずれかの符号化処理の後、次のフレームが存在する場合（Ｓ２１０：Ｙｅｓ）は、Ｓ２０４へ戻り次のフレームの処理となる。次のフレームが存在しない場合（Ｓ２１０：Ｎｏ）は、処理は終了する。

以上説明した本実施形態に係る端末装置２００では、動き／非動きブロックの判定結果を活用して、後段の符号化処理における演算量の削減を図ることで、テレビ会議システム１の端末装置２００の性能を向上させることができる。

具体的には、先ず、センサ出力直後のＲＡＷデータに対し、映像処理を行う前に、フレーム全体について動き／非動きの判定をブロック単位で事前に行っている。このとき、動き／非動きブロックの判定精度を向上させるため、正規の映像データパスとは別に、判定用の映像データパスを設け、そのデータに対して判定しやすいようにデータ加工を行ってから動き／非動きをブロックの判定を実施している。また、判定結果については、ブロック単位でＴＡＧビットのような判定情報を付加して、後段の映像コーデック部３０に映像データ（ＲＡＷデータ）と判定情報を転送している。

そして、動き／非動きブロックの判定結果から、該フレームの動き／非動きブロックの位置や比率を符号化処理が実行される前に識別可能としておき、これに基づいて、そのフレームの符号化処理方針を決定している。

そして、例えば、動きブロックの比率が低い場合は、符号化処理の動きベクトル抽出処理が重くないと判断して、符号化処理をする（第１の符号化処理）。このとき、非動きブロックと判定されたブロックは、動きベクトル抽出処理を行わず、また、動きブロックと判定されたブロックの動きベクトルのサーチエリアから除外しておく。

また、例えば、動きブロックの比率が高い場合であって、ある領域に集中している場合は、各ブロックの動きベクトルはほぼ同じ特性になっている（塊単位で同じ方向に映像が移動している）という予測のもとで、符号化処理の動きベクトル抽出処理の演算量は重くないと判断して、符号化処理をする（第２の符号化処理）。このとき、非動きブロックと判定されたブロックは、動きベクトル抽出処理を行わず、また、動きブロックと判定されたブロックの動きベクトルのサーチエリアから除外しておく。

また、例えば、動きブロックの比率が高い場合であって、かつ、分散している場合は、符号化処理の動きベクトル抽出処理が重くなると判断して、そのフレームはＩピクチュアとして符号化処理をする（第３の符号化処理）。

さらに、テレビ会議での映像では、ストレージ等でのメディア符号化処理とは異なり、映像転送にリアルタイム性が求められるため、１フレームの処理に割り当てられる時間はほぼ固定である。これに対し、本実施形態に係る端末装置２００の符号化処理では、符号化の前処理で該フレームの特性を判別しておき、複数の符号化処理から、フレームの特性にあった符号化処理を選択的に実行することにより、フレーム毎に処理時間のばらつきを抑え、テレビ会議での映像に求められる要件を満たすことができる。

また、ネットワーク帯域の制約に対応するための符号化処理では、特に、動きベクトルを求めるための演算量の増大がシステム性能を低下させる。また、一般に、演算量の増大によるシステムの性能低下を防ぐためには、プロセッサなどのハードウェア性能を向上させなければならず、高コストとなる。これに対し、本実施形態に係る端末装置２００の符号化処理では、動きベクトルを求めるための演算量を削減することができるため、ハードウェア性能向上のみを解決策にすることなく、システムの性能低下を防ぐことができる。

尚、上述の実施形態は本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。

上記実施形態では、本発明に係る情報処理装置をテレビ会議システムの端末装置に適用した例について説明した。本発明は、特に、テレビ会議システムのように、撮影対象物の動く部分が占める割合が、撮影範囲全体に対して小さい映像を撮像するシステムに好適であるが、テレビ会議システム以外の監視システム等に用いられる情報処理装置（映像処理装置）の符号化処理にも適応可能であるのは勿論である。

１ テレビ会議システム
１０ カメラ
１１ 撮像部
１２ クロッピング処理部
２０ 映像処理部
２１ ＩＳＰ
３０ 映像コーデック部
３１ エンコーダ部
３２ デコーダ部
４０ 映像出力処理部
５０ 音声入力部
５１ マイク
５２ Ａ／Ｄ変換部
６０ 音声出力部
６１ スピーカ
６２ Ｄ／Ａ変換部
７０ 音声処理部
７１ ＤＳＰ
７２ 音声コーデック部
７３ ノイズキャンセル／エコーキャンセル部
７４ 音声判別部
７５ 話者追従検知部
８０ ネットワーク処理部
８１ ＮＩＣ
８２ ネットワーク状態検知部
８３ 相手局機能判別部
９０ 全体制御部
９１ ＣＰＵ
９２ ＲＯＭ
９３ ＲＡＭ
９４ ＨＤＤ
１００ 操作部
１１０ ＲＡＭ
１２０ 録画装置
１３０ 動き／非動き判定部
１４０ ＲＡＭ
１５０ ディスプレイ
２００ 端末装置
３００ サーバ
４００ ネットワーク

特開２０１２−６５１７６号公報

Claims (11)

1. 映像データについてフレーム間予測を含む符号化処理を行う情報処理装置において、
   前記映像データの各フレームについて、各フレームを所定サイズの複数のブロックに分割するとともに、各ブロックについてフレーム間で動きのある動きブロックであるか、動きのない非動きブロックであるかを判定する動き／非動き判定部と、
   前記動き／非動き判定部での判定結果に応じて、複数設けられた符号化処理からいずれかの符号化処理を選択的に実行する符号化処理部と、を備え、
   前記符号化処理部は、
   前記動き／非動き判定部において、該フレームに占める前記動きブロックの割合が所定値に満たない場合において、
   該フレームにおける前記非動きブロックの画素については、動きベクトルの抽出処理を行なわないととともに、前記動きブロックの画素について動きベクトルの抽出処理を行う際に、前記非動きブロックの画素については、動きベクトルのサーチ対象に含めない第１の符号化処理を実行することを特徴とする情報処理装置。
2. 前記符号化処理部は、
   前記動き／非動き判定部において、該フレームに占める前記動きブロックの割合が所定値以上である場合は、
   さらに該フレームにおいて前記動きブロックが集中しているか分散しているかを判定し、該判定結果に応じて、異なる符号化処理を実行することを特徴とする請求項１に記載の情報処理装置。
3. 映像データについてフレーム間予測を含む符号化処理を行う情報処理装置において、
   前記映像データの各フレームについて、各フレームを所定サイズの複数のブロックに分割するとともに、各ブロックについてフレーム間で動きのある動きブロックであるか、動きのない非動きブロックであるかを判定する動き／非動き判定部と、
   前記動き／非動き判定部での判定結果に応じて、複数設けられた符号化処理からいずれかの符号化処理を選択的に実行する符号化処理部と、を備え、
   前記符号化処理部は、
   前記動き／非動き判定部において、該フレームに占める前記動きブロックの割合が所定値以上である場合は、
   さらに該フレームにおいて前記動きブロックが集中しているか分散しているかを判定し、該判定結果に応じて、異なる符号化処理を実行することを特徴とする情報処理装置。
4. 前記符号化処理部は、
   該フレームにおいて前記動きブロックが集中している場合は、
   該フレームにおける前記非動きブロックの画素については、動きベクトルの抽出処理を行なわないととともに、前記動きブロックの画素について動きベクトルの抽出処理を行う際に、集中している前記動きブロック単位で動き方向を予測するとともに、前記非動きブロックの画素については、動きベクトルのサーチ対象に含めない第２の符号化処理を実行することを特徴とする請求項２または３に記載の情報処理装置。
5. 前記符号化処理部は、
   該フレームにおいて前記動きブロックが分散している場合は、該フレームについては、フレーム間予測を行わずに符号化する第３の符号化処理を実行することを特徴とする請求項２から４までのいずれかに記載の情報処理装置。
6. 前記動き／非動き判定部は、
   各ブロックについて、少なくとも１以上の前フレームにおける該ブロックと同位置にある元位置ブロックと、該元位置ブロックの周辺にある周辺ブロックと、のいずれのブロックとの間に、ブロック間で画素の相関があるか否かに基づいて、前記動きブロックまたは前記非動きブロックのいずれであるかを判定することを特徴とする請求項１から５までのいずれかに記載の情報処理装置。
7. 前記動き／非動き判定部は、
   前記動きブロックまたは前記非動きブロックのいずれであるかの判定に際し、前記映像データに、ガンマ補正、高速フーリエ変換のうち少なくとも１つの補正処理を行うことを特徴とする請求項１から６までのいずれかに記載の情報処理装置。
8. 前記動き／非動き判定部が判定した判定結果を、前記動き／非動き判定部から前記符号化処理部へ伝送するための判定情報伝送用データパスが、前記映像データの伝送用データパスとは別途設けられていることを特徴とする請求項１から７までのいずれかに記載の情報処理装置。
9. 請求項１から８までのいずれかに記載の情報処理装置を会議端末とし、該会議端末間で前記映像データの送受信を行うことを特徴とする会議システム。
10. 映像データについてフレーム間予測を含む符号化処理を行う情報処理装置の制御方法において、
    前記映像データの各フレームについて、各フレームを所定サイズの複数のブロックに分割するとともに、各ブロックについてフレーム間で動きのある動きブロックであるか、動きのない非動きブロックであるかを判定する動き／非動き判定処理と、
    前記動き／非動き判定処理での判定結果に応じて、複数設けられた符号化処理からいずれかの符号化処理を選択的に実行する選択的符号化処理と、を行うとともに、
    前記選択的符号化処理は、
    前記動き／非動き判定処理において、該フレームに占める前記動きブロックの割合が所定値に満たない場合において、
    該フレームにおける前記非動きブロックの画素については、動きベクトルの抽出処理を行なわないととともに、前記動きブロックの画素について動きベクトルの抽出処理を行う際に、前記非動きブロックの画素については、動きベクトルのサーチ対象に含めない第１の符号化処理を実行することを特徴とする情報処理装置の制御方法。
11. 映像データについてフレーム間予測を含む符号化処理を行う情報処理装置の制御方法において、
    前記映像データの各フレームについて、各フレームを所定サイズの複数のブロックに分割するとともに、各ブロックについてフレーム間で動きのある動きブロックであるか、動きのない非動きブロックであるかを判定する動き／非動き判定処理と、
    前記動き／非動き判定処理での判定結果に応じて、複数設けられた符号化処理からいずれかの符号化処理を選択的に実行する選択的符号化処理と、を行うとともに、
    前記選択的符号化処理は、
    前記動き／非動き判定処理において、該フレームに占める前記動きブロックの割合が所定値以上である場合は、
    さらに該フレームにおいて前記動きブロックが集中しているか分散しているかを判定し、該判定結果に応じて、異なる符号化処理を実行することを特徴とする情報処理装置の制御方法。