JP7006302B2 - 画像処理装置、画像処理システム、及びビデオ会議システム - Google Patents

Description

本発明は、画像処理装置、画像処理システム、及びビデオ会議システムに関する。

プレゼンテーションや会議等において、ＵＣＳ（ユニファイド・コミュニケーション・システム； Unified Communication system）等の通信機器が普及し、動画像を利用し、電話での通話より利便性の高いビデオ会議が可能となっている。

ビデオ会議では、ネットワーク帯域が狭い場合等に、動画像や音声の品質が低下することがあり、これに対し、ネットワークの混雑状況を検出し、送信する動画像の情報量を減らす方法が用いられている。

送信する動画像の情報量を減らす技術には、例えば動画像のエンコード、すなわち圧縮の前処理として、会議に参加している人物の顔を検出し、人物の顔以外の領域に低域通過フィルタをかけるものが開示されている（例えば、特許文献１参照）。特許文献１の技術では、動画像において、ビデオ会議で最も視線を集める人物の顔の領域では情報量を維持し、注目度が低い顔以外の領域では情報量を削減する。これにより、主観的な動画像品質は保ったまま、エンコードした動画像の情報量を減らしている。

近年は特に、インターネット回線を用いるビデオ会議がより多く利用されるため、拠点間のネットワーク回線が細い、或いは時間帯によって急激な混雑する等の理由で、動画像や音声の品質が低下する場合が増えている。従って、主観的な動画像品質を保持しつつ、さらに動画像の情報量を減らすニーズが高くなっている。

本発明は、上記の点に鑑みてなされたものであって、主観的な動画像品質を保持しつつ、動画像の情報量を減らすことを課題とする。

開示の技術の一態様に係る画像処理装置は、所定のフレームレートで入力される動画像信号を符号化する画像処理装置であって、前記動画像信号に含まれる人物の顔の領域を特定領域とし、前記動画像信号に対し、所定の処理を実行する処理手段と、前記処理手段の出力画像信号を符号化する符号化手段と、を有し、前記処理手段は、前記特定領域以外の領域の空間周波数を選択的にフィルタリングする低域通過フィルタ手段と、前記特定領域以外の領域のコントラストを選択的に低減するコントラスト低減手段と、前記特定領域以外の領域の前記フレームレートを選択的に低下させるフレームレート低下手段の少なくとも１つを有し、前記コントラスト低減手段は、所定のダイナミックレンジで前記コントラストを低減し、前記特定領域からの距離に応じて、前記ダイナミックレンジを変更することを特徴とする。

本発明の実施形態によれば、主観的な動画像品質を保持しつつ、動画像の情報量を減らすことができる。

第１の実施形態の画像処理装置の構成の一例を示す外観図である。 第１の実施形態の画像処理装置のハードウェア構成の一例を示すブロック図である。 第１の実施形態の画像処理装置の機能構成の一例を示すブロック図である。 第１の実施形態の画像処理装置による処理の概念を説明する図である。 第１の実施形態の画像処理装置における動画像の領域毎の更新タイミングを説明するタイミングチャートである。 第１の実施形態の画像処理装置の有する処理手段による動画像容量の削減効果を説明する図である。 第１の実施形態の画像処理装置による処理の一例を示すフローチャートである。 第２の実施形態の画像処理装置の機能構成の一例を示すブロック図である。 第２の実施形態の画像処理装置による処理の概念を説明する図である。 第２の実施形態の画像処理装置で用いる空間フィルタを説明する図である。 第３の実施形態の画像処理装置の機能構成の一例を示すブロック図である。 第３の実施形態の画像処理装置による処理の概念を説明する図である。 第４の実施形態のビデオ会議システムの構成の一例を示す概略図である。

以下、図面を参照して発明を実施するための形態について説明する。なお、各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。

[第１の実施形態]
まず、第１の実施形態の画像処理装置の構成の一例を説明する。図１は、本実施形態の画像処理装置１０の外観図である。図１に示されているように、画像処理装置１０は、筐体１１００と、アーム１２００と、カメラハウジング１３００とを有している。このうち、筐体１１００の前側壁面１１１０には、複数の吸気孔によって形成された吸気面が設けられており、筐体１１００の後側壁面１１２０には、複数の排気孔が形成された排気面１１２１が設けられている。これにより、筐体１１００に内蔵された冷却ファンの駆動によって、吸気面を介して画像処理装置１０の後方の外気を取り込み、排気面１１２１を介して画像処理装置１０の後方へ排気することができる。筐体１１００の右側壁面１１３０に収音用孔１１３１が形成されていることで、内蔵型のマイク１１４は、音声、物音、雑音等の音を収音可能となっている。

筐体１１００の右側壁面１１３０側には、操作パネル１１５０が形成されている。この操作パネル１１５０には、複数の操作ボタン（１０８ａ～１０８ｅ）、電源スイッチ１０９、及びアラームランプ１１９が設けられていると共に、内蔵型のスピーカ１１５からの出力音を通すための複数の音出力孔によって形成された音出面１１５１が形成されている。また、筐体１１００の左側壁面１１４０側には、アーム１２００及びカメラハウジング１３００を収容するための凹部としての収容部１１６０が形成されている。筐体１１００の右側壁面１１３０には、接続Ｉ／Ｆ１１８に対して電気的にケーブルを接続するための複数の接続口（１１３２ａ～１１３２ｃ）が設けられている。一方、筐体１１００の左側壁面１１４０には、接続Ｉ／Ｆ１１８に対して電気的にディスプレイ１２０用のケーブル１２０ｃを接続するための接続口が設けられている。

次に、アーム１２００は、トルクヒンジ１２１０を介して筐体１１００に取り付けられており、アーム１２００が筐体１１００に対して、１３５度のチルト角θ１の範囲で、上下方向に回転可能になっている。図１は、チルト角θ１が９０度の状態を示している。カメラハウジング１３００には、内蔵型のカメラ１１２が設けられており、ユーザ、書類、及び部屋等を撮像することができる。また、カメラハウジング１３００には、トルクヒンジ１３１０が形成されている。カメラハウジング１３００は、トルクヒンジ１３１０を介して、アーム１２００に取り付けられている。カメラハウジング１３００はアーム１２００に対して、図１で示されている状態を０度として±１８０度のパン角θ２の範囲で、且つ、±４５度のチルト角θ３の範囲で、上下左右方向に回転可能になっている。

なお、上記図１の外観図はあくまで一例であってこの外観に限定するものではない。他の例としては、画像処理装置１０は、一般の汎用コンピュータあるいは携帯電話端末、プロジェクタ、電子ホワイトボード、電子看板(デジタルサイネージ)等であってもよい。画像処理装置１０として用いるコンピュータに、マイクやカメラが備わっていない場合には、外付けのマイクおよびカメラをコンピュータに接続させることができる。また、画像処理装置１０が汎用コンピュータや携帯電話端末等である場合には、無線ＬＡＮや携帯電話網などによる無線通信により、画像処理装置１０とインターネットとを接続しても良い。また、画像処理装置１０として汎用コンピュータを用いる場合には、コンピュータに画像処理装置１０の処理を実行するためのアプリケーションをインストールしておくことができる。

次に、本実施形態の画像処理装置１０のハードウェア構成の一例を説明する。図２は、本実施形態の画像処理装置１０のハードウェア構成の一例を示すブロック図である。図２に示すように、画像処理装置１０は、ＣＰＵ（Central Processing Unit）２０１と、ＲＯＭ(Read Only Memory)２０２と、ＲＡＭ(Random Access Memory)２０３と、フラッシュメモリ２０４とを有している。また画像処理装置１０は、Ｉ／Ｏ２０５と、操作パネル１１５０と、接続Ｉ／Ｆ（Interface）１１８と、通信Ｉ／Ｆ２０７とを有している。これらは、システムバス２０８を介して相互に接続されている。

ＣＰＵ２０１は、画像処理装置１０の動作を統括的に制御する。ＣＰＵ２０１は、ＲＡＭ２０３をワークエリア（作業領域）としてＲＯＭ２０２、又はフラッシュメモリ２０４等に格納されたプログラムを実行することで、画像処理装置１０全体の動作を制御し、後述する各種機能を実現する。

操作パネル１１５０は、ユーザの操作に応じた各種の入力を受け付ける。なお、この例では複数の操作ボタン（１０８ａ～１０８ｅ）が設けられた例を示すが、これに限られるものではない。例えば、タッチパネル機能が搭載された液晶表示装置（ＬＣＤ）や有機ＥＬ表示装置で構成されてもよい。

Ｉ／Ｏ３０７は、ＵＳＢ（Universal Serial Bus）等の外部記憶装置に接続され、外部記憶装置とのデータの入出力が可能となっている。接続Ｉ／Ｆ１１８は、画像処理装置１０にＰＣ（Personal Computer）等の外部機器を接続するためのインタフェースである。通信Ｉ／Ｆ２０７は、ネットワーク２０９と接続するためのインタフェースである。

なお、ＣＰＵ２０１で行う処理の一部、又は全部を、ＦＰＧＡ（Field-Programmable Gate Array）やＡＳＩＣ等の電子回路で実現してもよい。

次に、本実施形態の画像処理装置の機能構成の一例を説明する。図３は、本実施形態の画像処理装置の機能構成の一例を示すブロック図である。図３に示すように、画像処理装置１０は、顔検出処理部３０１と、処理領域設定部３０２と、非顔画像領域処理部３０３と、符号化処理部３０４とを有している。

顔検出処理部３０１は、入力される動画像に含まれる人物の顔を検出する。つまり動画像として時系列で入力される各画像、すなわち１フレーム毎の画像において、人物の顔に該当する画像領域を検出する。なお、以下では、人物の顔に該当する画像領域を、顔画像領域と称する。顔画像領域は、「動画像信号に含まれる人物の顔の領域」の一例であり、「特定領域」の一例である。

また、顔検出処理部３０１は、入力される動画像のフレーム間での人物の顔の動き量を検出し、フレームレート低下処理部３０７に出力する。これについては、別途、図７の説明において詳述する。

処理領域設定部３０２は、処理の対象となる領域を設定する。本実施形態では、顔画像領域以外の画像領域を処理の対象とするため、このような画像領域を処理領域として設定する。なお、以下では、顔画像領域以外の画像領域を、非顔画像領域と称する。

処理領域が設定された１フレームの画像は、非顔画像領域処理部３０３に入力される。非顔画像領域処理部３０３は、低域通過フィルタ処理部３０５と、コントラスト低減処理部３０６と、フレームレート低下処理部３０７とを有している。

低域通過フィルタ処理部３０５は、入力画像の非顔画像領域に対し、選択的に低域通過フィルタリング処理を実行する。低域通過フィルタリング処理は、画像において、低い空間周波数帯域のみを通過させ、他の帯域を遮断する所謂ローパスフィルタリング処理である。低域通過フィルタ処理部３０５は、低域通過フィルタ手段の一例である。

ここで、入力画像の非顔画像領域に対し、低域通過フィルタ処理部３０５により処理を実行する概念を、図４を参照して説明する。図４は、会議室において、３人の人物が机４１を囲んで会議を実施する様子が含まれる画像４０を示している。図４の破線で示した３つの領域４２は、それぞれ３人の人物の顔画像領域である。画像４０における領域４２以外の領域は、非顔画像領域である。低域通過フィルタ処理部３０５は、このような非顔画像領域に対し、選択的に低域通過フィルタリング処理を実行する。なお、以下で説明するコントラスト低減処理部３０６、及びフレームレート低下処理部３０７でも同様に、このような非顔画像領域に対して、選択的に処理を実行する。

図３に戻り、コントラスト低減処理部３０６は、入力画像の非顔画像領域に対し、選択的にコントラストを低減する処理を実行する。コントラストとは画像における明暗の差であり、コントラスト低減処理部３０６は、これを低減、すなわち明暗の差を小さくする処理を行う。コントラスト低減処理部３０６は、コントラスト低減手段の一例である。

フレームレート低下処理部３０７は、入力画像の非顔画像領域に対し、選択的にフレームレートを低下させる処理を実行する。フレームレートとは、動画像において、単位時間あたりに処理させるフレーム数、すなわち静止画像数、又はコマ数である。例えば、入力される動画像のフレームレートを３０ｆｐｓ（frame per Second）とした場合に、フレームレート低下処理部３０７は、非顔画像領域に対し、選択的にフレームレートを１５ｆｐｓに低下させる。フレームレート低下処理部３０７は、フレームレート低下手段の一例である。

ここで、フレームレート低下処理部３０７による処理の概念を、図５を参照して説明する。図５は、動画像における画像領域毎での更新タイミングの一例を示すタイミングチャートである。

図５において、信号ＦＲは、動画像における１フレームの画像が画像処理装置１０に入力するタイミングを示す信号である。図５では、４フレームの画像が、それぞれ信号ＦＲで示すタイミングで画像処理装置１０に入力している。

信号ＡＲ１は、動画像における１フレームの画像の顔画像領域が、更新されるタイミングを示す信号である。信号ＡＲ２は、同様に非顔画像領域が更新タイミングを示す信号である。図５の信号ＡＲ１は、１フレームの画像が１回入力される毎に、顔画像領域が１回更新されることを示している。これに対し、信号ＡＲ２は、１フレームの画像が２回入力される毎に、非顔画像領域が１回更新されることを示している。つまり、非顔画像領域では、更新が１回間引かれ、フレームレートが低下している。フレームレート低下処理部３０７は、このようにして、入力画像の非顔画像領域のフレームレートを選択的に低下させている。

図３に戻り、非顔画像領域に対し、低域通過フィルタ処理部３０５、コントラスト低減処理部３０６、及びフレームレート低下処理部３０７による処理がそれぞれ実行された画像は、符号化処理部３０４に入力される。言い換えると、非顔画像領域処理部３０３の出力画像信号は、符号化処理部３０４に入力される。符号化処理部３０４は、「符号化手段」の一例である。

なお、本実施形態では、低域通過フィルタ処理部３０５、コントラスト低減処理部３０６、及びフレームレート低下処理部３０７の各処理が全て実行される例を示すが、これに限定されることはない。これらのうちの１つ、又は２つの処理を実行することにしてもよい。

或いは、非顔画像領域処理部３０３は、コントラスト低減処理部３０６と、フレームレート低下処理部３０７とを有し、非顔画像領域処理部３０３は、これらのうちの少なくとも１つの処理を実行することにしてもよい。

符号化処理部３０４は、非顔画像領域処理部３０３による出力画像信号を符号化する。本実施形態では、符号化処理部３０４は、一例として動画圧縮規格の一つであるＨ．２６４に基づく符号化処理を実行する。符号化された画像は、動画像における１フレームの画像として、画像処理装置１０から順次出力される。

なお、顔検出処理部３０１、処理領域設定部３０２、及び非顔画像領域処理部３０３は、「動画像信号に対し、所定の処理を実行する処理手段」の一例である。

ここで、上記の低域通過フィルタ処理部３０５、及びコントラスト低減処理部３０６それぞれによる動画像容量の削減効果を、図６を参照して説明する。

図６において、縦軸は動画像容量を示している。但し、縦軸は、非顔画像領域に対して何の処理も行わなかった場合の動画像容量を１として規格化したスケールで表示されている。横軸は各処理を表す分類を示している。図６では分類６１～６５が示されており、また分類毎でそれぞれ８つの棒グラフが示されている。分類毎の８つの棒グラフは、分類毎での８種類のテスト画像に対する処理結果を示している。

分類６１は、非顔画像領域に対して何の処理も行わなかった場合である。分類６２は、非顔画像領域に対して、低域通過フィルタ処理部３０５による処理を実行した場合である。分類６３は、第１の比較例として、非顔画像領域に対して、色数の低減処理を実行した場合である。分類６４は、非顔画像領域に対して、コントラスト低減処理部３０６による処理を実行した場合である。分類６５は、第２の比較例として、非顔画像領域に対して、ノイズ除去処理を実行した場合である。

分類６２における「１／２」、「１／４」、及び「１／８」は、低域通過フィルタ処理部３０５による画像の解像度の低減レベルを示している。つまり、低域通過フィルタリング処理により高い空間周波数帯域が遮断された分、画像の解像度が低減するレベルを示している。分類６３における「１／２」、「１／４」、及び「１／８」は、色数の低減処理による画像の色数の低減レベルを示している。また分類６４における「１／２」、「１／４」、及び「１／８」は、コントラスト低減処理部３０６による画像のコントラストの低減レベルを示している。

上述のように、分類６１の処理を規格化の標準としているため、分類６１では、８つの棒グラフとも動画像容量は全て１である。分類６２では、解像度の低減に応じて動画像容量が大きく削減されている。分類６３では、色数の低減に伴う動画像容量の削減効果はみられず、色数の低減に応じて、むしろ動画像容量が増大している。これは、色数の低減によりトーンジャンプが増え、圧縮効果が阻害されたためと考えられる。分類６４では、解像度のコントラストの低減に応じて動画像容量が削減されている。分類６５では、ノイズ除去により、動画像容量がやや削減されている。

以上、図６に示したように、低域通過フィルタ処理部３０５、及びコントラスト低減処理部３０６によって、より好適に動画像容量、すなわち動画像における情報量を削減することができる。

次に、本実施形態の画像処理装置１０による処理の一例を、図７のフローチャートを参照して説明する。

まず、ステップＳ７０１において、画像処理装置１０に動画像が入力される。

続いて、ステップＳ７０３において、顔検出処理部３０１は、動画像における１フレームの画像に対して顔検出処理を実行し、検出した顔画像領域の情報を処理領域設定部３０２に出力する。例えば、顔画像領域がＸＹ座標で特定され、このような座標情報と１フレームの画像が、処理領域設定部３０２に出力される。

続いて、ステップＳ７０５において、処理領域設定部３０２は、入力画像における非顔画像領域を、処理領域として設定する。

続いて、ステップＳ７０７において、低域通過フィルタ処理部３０５は、入力画像の非顔画像領域に対し、選択的に低域通過フィルタ処理を実行する。

続いて、ステップＳ７０９において、コントラスト低減処理部３０６は、入力画像の非顔画像領域に対し、選択的にコントラスト低減処理を実行する。

続いて、ステップＳ７１１において、顔検出処理部３０１は、顔画像領域において顔の動き量を検出する。例えば顔検出処理部３０１は、ＲＡＭ２０３に記憶された、前の１フレームの画像における顔画像領域の画素輝度の総和と、現在処理を実行している１フレームの画像における顔画像領域の画素輝度の総和を比較することで、顔の動き量を検出する。顔検出処理部３０１は、検出した顔の動き量をフレームレート低下処理部３０７に出力する。なお、顔検出処理部３０１が検出する顔の動き量は、「フレーム間での顔の動き量」の一例である。フレームレート低下処理部３０７は、顔の動き量が予め規定した閾値以下であるかを判断する。

ステップＳ７１１で検出された顔の動き量が、予め規定した閾値以下であると判断された場合は、ステップＳ７１３において、フレームレート低下処理部３０７は、入力画像の非顔画像領域に対し、選択的にフレームレート低下処理を実行する。一方、ステップＳ７１１で検出された動き量が、予め規定した閾値以下でないと判断された場合は、ステップＳ７１３をスキップして、ステップＳ７１５に移る。なお上記の閾値は予め求められ、ＲＡＭ２０３等に記憶されている。上記の閾値は、「規定値」の一例である。

一方で、次の１フレームの画像における顔の動き量の検出に用いるために、顔検出処理部３０１は、現在の１フレームの画像をＲＡＭ２０３に記憶する。

ここで、顔の動き量の検出について補足する。動画像におけるフレ－ム間での変化が小さい場合は、入力画像の非顔画像領域に対し、選択的にフレームレート低下処理を実行しても、動画像が不自然になることはない。しかし、動画像におけるフレ－ム間での変化が大きい場合に、入力画像の非顔画像領域に対し、選択的にフレームレート低下処理を実行すると、変化がぎこちなく観察され、動画像が不自然になる場合がある。

そこで、本実施形態では、ステップＳ７１１において、フレーム間での顔の動き量を検出することで、動画像におけるフレ－ム間での変化の大きさを検出している。言い換えると、動画像におけるフレ－ム間での変化の大きさを表す特性値として、フレーム間での顔の動き量を検出している。そして、顔の動き量が閾値以下の場合にのみ、入力画像の非顔画像領域に対し、選択的にフレームレート低下処理を実行している。これにより、動きが大きい画像ではフレームレートを低下させず、動画像が不自然になることを防止している。

図７に戻り、ステップＳ７１５において、符号化処理部３０４は、入力される画像に対し、符号化処理を実行する。

符号化された画像は、動画像における１フレームの画像として、画像処理装置１０から出力される。

以上の処理により、動画像において重要な情報となる人物の情報量を維持したまま、重要でない背景等の情報量を減らすことができる。

以上説明してきたように、本実施形態によれば、主観的な動画像品質を保持しつつ、動画像の情報量を減らすことができる。これにより動画像の圧縮率を高めることができる。

例えば、ＵＣＳのようにインターネット回線を利用して、動画像を伝送する場合に好適であり、ＵＣＳの利用の際に、動画像や音声の品質が低下することを防ぐことができる。

なお、ＵＣＳとは、映像や音声のリアルタイム双方向通信や多拠点通信を可能にするプラットフォームを、クラウド上に構築するための通信機器である。

また監視カメラのように大量の動画像をストレージする場合においても好適である。

一方で、動画像の圧縮率を高める手法として、動画像におけるノイズ信号を低減することも考えられる。しかし動画像におけるノイズ信号の低減は、暗い部屋でプロジェクタ等を用いてビデオ会議する場合には効果があるが、明るい部屋でビデオ会議する場合には、動画像のノイズ信号自体がそもそも小さくなるため、大きな効果は得られない。近年は、液晶ディスプレイ等のバックライト型の表示装置が用いられ、明るい部屋でビデオ会議が行われることが多いため、ノイズ信号の低減による動画像の圧縮率の向上は得にくい。本実施形態によれば、このようなノイズ信号を低減する手法に対し、より動画像の圧縮率を高めることできる。

また本実施形態では、入力画像の非顔画像領域に対し、コントラスト低減処理部３０６、及びフレームレート低下処理部３０７の少なくとも１つによる処理を選択的に実行する。これにより低域通過フィルタ処理のみを選択的に実行する場合に対し、動画像の情報量をさらに減らすことができる。

［第２の実施形態］
次に、第２の実施形態の画像処理装置について、図８～１０を参照して説明する。なお、第１の実施の形態において、既に説明した実施の形態と同一構成部についての説明は省略する場合がある。

本実施形態では、顔画像領域からの距離に応じて非顔画像領域を複数の領域に分割し、分割した領域毎で、低域通過フィルタ処理部による処理で用いる空間フィルタのサイズを変更することにしている。

図８は、本実施形態の画像処理装置１０ａの機能構成の一例を示すブロック図である。画像処理装置１０ａは、非顔画像領域分割部３０８と、非顔画像領域処理部３０３ａとを有している。また非顔画像領域処理部３０３ａは、低域通過フィルタ処理部３０５ａを有している。

非顔画像領域分割部３０８は、顔画像領域からの距離に応じて、非顔画像領域を複数の領域に分割する。図９は、非顔画像領域分割部３０８により非顔画像領域が複数の領域に分割された画像の一例を示している。なお、図９に白抜きの矢印で示した方向は、それぞれ画像のＸ座標、及びＹ座標に該当するＸ、及びＹ方向を示している。

図９において、領域４２ａ、及び４２ｂは、顔検出処理部３０１により検出された２人の人物の顔画像領域である。領域９１は、領域４２ａの中心位置からＸ、及びＹ方向に、それぞれ距離Ｄ１以上でＤ２未満離れた領域である。この距離の単位は、例えば画素数である。同様に領域９２は、領域４２ａの中心位置からＸ、及びＹ方向に、それぞれ距離Ｄ２以上でＤ３未満離れた領域である。領域９３は、領域４２ａの中心位置からＸ、及びＹ方向に、それぞれ距離Ｄ３以上離れた領域である。

非顔画像領域分割部３０８による分割数、及び顔画像領域からの距離は、予め決定され、ＲＡＭ２０３等に記憶されている。顔画像領域である領域４２ｂに対する距離に応じた非顔画像領域の分割については、領域４２ａに対するものと同様であるため、ここでは省略する。

次に図１０は、低域通過フィルタ処理部３０５ａによる処理で用いられる空間フィルタを示している。（ａ）は、３×３のタップサイズの空間フィルタ１０１であり、（ｂ）は５×５のタップサイズの空間フィルタ１０２である。空間フィルタ１０１、及び１０２における各升目は、画像における画素に該当する。

低域通過フィルタ処理部３０５ａは、空間フィルタ１０１、及び１０２と、非顔画像領域の画素とをコンボリューション、すなわち畳み込み積分する。各升目に示された値が非顔画像領域の各画素に積算、及び加算されることで、処理領域の隣接画素間での輝度の差が低減される。これにより処理領域の画像の空間周波数の高周波帯域が遮断され、低域通過フィルタ（ローパスフィルタ）の作用が得られる。空間フィルタのタップサイズが大きいほど、処理領域の隣接画素間での輝度の差が低減されるため、低域通過フィルタの作用が大きくなる。すなわち高周波側で遮断される周波数帯域が広くなる。

例えば、動画像において、人物の顔画像領域に近い画像領域には、人物の手があったり、体の一部があったりする。人物の手や体の一部の画像には、ジェスチャ等で伝達される情報もあるため、顔ほどではないが、重要な情報が含まれる。これに対し、人物の顔画像領域から離れた画像領域には、最早、人物の体や手すらも含まれず、会議室の壁等の伝達する情報としては重要度の低いもののみになる。

本実施形態では、低域通過フィルタ処理部３０５ａは、人物の顔画像領域に近い領域９１では、タップサイズの小さい空間フィルタ１０１を用い、人物の顔画像領域から遠い領域９２、及び領域９３では、タップサイズの大きい空間フィルタ１０２を用いる。これにより重要度の低い領域において、遮断される周波数帯域を大きくし、情報量をより減らしている。そして主観的な動画像品質を保持しつつ、動画像の情報量をさらに減らすことができ、動画像の圧縮率をさらに高めることができる。

なお、空間フィルタの係数は、図１０に示した値に限らない。

上記以外の効果は、第１の実施形態で説明したものと同様である。

［第３の実施形態］
次に、第３の実施形態の画像処理装置について、図１１～１２を参照して説明する。なお、第１、又は第２の実施の形態において、既に説明した実施の形態と同一構成部についての説明は省略する場合がある。

本実施形態では、顔画像領域からの距離に応じて非顔画像領域を複数の領域に分割し、分割した領域毎で、コントラスト低減処理部による処理におけるコントラストのダイナミックレンジを変更することにしている。

図１１は、本実施形態の画像処理装置１０ｂの機能構成の一例を示すブロック図である。画像処理装置１０ｂは、非顔画像領域処理部３０３ｂと、ＬＵＴ（ルックアップテーブル；Look Up Table）用メモリ３０９とを有している。また非顔画像領域処理部３０３ｂは、コントラスト低減処理部３０６ｂを有している。

ＬＵＴ用メモリ３０９は、例えばＲＡＭ２０３等により実現される。ＬＵＴデータは、ネットワーク２０９を介してＲＡＭ２０３に入力されるか、或いは外部記憶装置からＩ／Ｏ２０８を介してＲＡＭ２０３に入力され、記憶される。

非顔画像領域分割部３０８により、顔画像領域からの距離に応じて、非顔画像領域を複数の領域に分割することは第２の実施形態で説明したものと同様である。また非顔画像領域分割部３０８により非顔画像領域が複数の領域に分割された画像は、図９で説明したものと同様である。

図１２は、コントラスト低減処理部３０６ｂによる処理の概念を説明する図である。図１２の横軸は、コントラストが低減処理される前の画素の輝度、すなわちコントラスト低減処理部３０６ｂに入力される画素輝度を示している。一方、縦軸は、コントラストが低減処理された後の画素の輝度、すなわちコントラスト低減処理部３０６ｂから出力される画素輝度を示している。つまり、コントラスト低減処理部３０６ｂによれば、入力される画素輝度が輝度変換されて出力される。なお、本実施形態では、８ｂｉｔの画像を一例としており、画素輝度は０～２５６の範囲で示されている。

図１２において、プロット１２１は、入力される画素輝度と出力される画素輝度が等しい場合を示している。この場合は、コントラストは変わらない。一方、プロット１２２は、コントラスト低減処理部３０６ｂにより、２５％だけコントラストを低下させた場合を示している。図示したレンジＲ１は、プロット１２１のダイナミックレンジを示し、レンジＲ２は、プロット１２２のダイナミックレンジを示している。

ＬＵＴ用メモリ３０９には、図１２のような、入力される画素輝度と出力される画素輝度が対応付けられたデータが記憶されている。コントラスト低減処理部３０６ｂは、ＬＵＴ用メモリ３０９を参照し、入力される画素輝度に対応して出力するための画素輝度を取得する。これにより画素輝度の変換処理を実行する。

図１２において、太い黒矢印で示した方向は、ダイナミックレンジを狭くなる方向である。つまり、入力される画素輝度が大きい場合は画素輝度が小さくなるように、また入力される画素輝度が小さい場合は画素輝度が大きくなるように変換処理されると、ダイナミックレンジは狭くなる。ダイナミックレンジが狭いほど、画像領域に含まれる輝度情報は少なくなるため、情報量が削減される。

一方で、第２の実施形態で説明したように、動画像において、人物の顔画像領域に近い画像領域には、重要な情報が含まれ、人物の顔画像領域から離れた画像領域には、重要度が低いものしか含まれない。

そのため、本実施形態では、コントラスト低減処理部３０６ｂは、人物の顔画像領域に近い領域９１では、ダイナミックレンジが比較的広い範囲で、コントラストの低減処理を実行する。そして人物の顔画像領域から遠い領域９２、及び領域９３では、ダイナミックレンジが比較的狭い範囲で、コントラストの低減処理を実行する。これにより重要度の低い領域においてダイナミックレンジを狭め、情報量をより減らしている。そして主観的な動画像品質を保持しつつ、動画像の情報量をさらに減らすことができ、動画像の圧縮率をさらに高めることができる。

なお、上記以外の効果は、第１の実施形態で説明したものと同様である。また第２の実施形態と、本実施形態を組み合わせて実施することもできる。

また、コントラスト低減処理部３０６ｂは、ＬＵＴを用いてコントラスト低減処理を実行することで、演算でコントラスト低減処理を実行する場合に比較して、処理負荷を軽減でき、また処理速度を向上させることができる。

［第４の実施形態］
次に、第４の実施形態のビデオ会議システムについて、図１３を参照して説明する。なお、第１、又は第２の実施の形態において、既に説明した実施の形態と同一構成部についての説明は省略する場合がある。

ビデオ会議システム１３０は、ＵＣＳ１３１～１３４を有している。ＵＣＳ１３１～１３４はそれぞれ異なる拠点に設置されている。

なお、ＵＣＳとは、上述したように、映像や音声のリアルタイム双方向通信や多拠点通信を可能にするプラットフォームを、クラウド上に構築するための通信機器である。ＵＣＳ１３１～１３４は、「画像処理システム」の一例である。

ＵＣＳ１３１～１３４はそれぞれ、画像処理装置１０と、無線ＬＡＮ等の通信端末とを有しており、インターネットに接続している。ＵＣＳ１３１～１３４は、インターネットを介して相互に通信可能である。ビデオ会議システム１３０は、ＵＣＳ１３１～１３４を用いて動画像信号を送受することで、複数の拠点間での遠隔ビデオ会議を実施することができる。

ビデオ会議システム１３０は、画像処理装置１０を有することで、主観的な動画像品質を保持しつつ、動画像の情報量を減らすことができ、各ＵＣＳにおいて、動画像や音声の品質が低下することを防止することができる。これにより円滑なビデオ会議を実現することができる。

なお、ビデオ会議システム１３０におけるＵＣＳ１３１～１３４は、画像処理装置１０の他、それぞれ画像処理装置１０ａ、又は１０ｂを有することも可能である。

なお、上記以外の効果は、第１～３の実施形態で説明したものと同様である。

以上、実施形態に係る画像処理装置、画像処理システム、及びビデオ会議システムについて説明したが、本発明は上記実施形態に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。

１０、１０ａ、１０ｂ 画像処理装置（画像処理装置の一例）
１２０ ディスプレイ
１３０ ビデオ会議システム（ビデオ会議システムの一例）
１３１～１３４ ＵＣＳ（画像処理システムの一例）
３０１ 顔検出処理部
３０２ 処理領域設定部
３０３、３０３ａ 非顔画像領域処理部
３０４ 符号化処理部（符号化手段の一例）
３０５、３０５ａ 低域通過フィルタ処理部（低域通過フィルタ手段の一例）
３０６ コントラスト低減処理部（コントラスト低減手段の一例）
３０７ フレームレート低下処理部（フレームレート低下手段の一例）
３０８ 非顔画像領域分割部
３０９ ＬＵＴ用メモリ
４０ 画像
４２、４２ａ、４２ｂ、９１、９２、９３ 領域
１０１、１０２ 空間フィルタ

特許第３０４６３７９号公報

Claims (7)

1. 所定のフレームレートで入力される動画像信号を符号化する画像処理装置であって、
   前記動画像信号に含まれる人物の顔の領域を特定領域とし、
   前記動画像信号に対し、所定の処理を実行する処理手段と、
   前記処理手段の出力画像信号を符号化する符号化手段と、を有し、
   前記処理手段は、前記特定領域以外の領域の空間周波数を選択的にフィルタリングする低域通過フィルタ手段と、前記特定領域以外の領域のコントラストを選択的に低減するコントラスト低減手段と、前記特定領域以外の領域の前記フレームレートを選択的に低下させるフレームレート低下手段の少なくとも１つを有し、
   前記コントラスト低減手段は、所定のダイナミックレンジで前記コントラストを低減し、前記特定領域からの距離に応じて、前記ダイナミックレンジを変更する
   ことを特徴とする画像処理装置。
2. 所定のフレームレートで入力される動画像信号を符号化する画像処理装置であって、
   前記動画像信号に含まれる人物の顔の領域を特定領域とし、
   前記動画像信号に対し、所定の処理を実行する処理手段と、
   前記処理手段の出力画像信号を符号化する符号化手段と、を有し、
   前記処理手段は、前記特定領域以外の領域のコントラストを選択的に低減するコントラスト低減手段と、前記特定領域以外の領域の前記フレームレートを選択的に低下させるフレームレート低下手段の少なくとも１つを有し、
   前記コントラスト低減手段は、所定のダイナミックレンジで前記コントラストを低減し、前記特定領域からの距離に応じて、前記ダイナミックレンジを変更する
   ことを特徴とする画像処理装置。
3. 前記低域通過フィルタ手段は、所定のサイズの空間フィルタによりフィルタリングを行い、前記特定領域からの距離に応じて、前記空間フィルタの前記サイズを変更する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記フレームレート低下手段は、フレーム間での前記顔の動き量が規定値以下の場合に、前記特定領域以外の領域の前記フレームレートを選択的に低下させる
   ことを特徴とする請求項１、又は２に記載の画像処理装置。
5. 前記コントラスト低減手段は、ルックアップテーブルを用いて前記コントラストを低減する
   ことを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
6. 請求項１乃至５の何れか１項に記載の画像処理装置と、
   前記画像処理装置に接続され、外部機器と通信可能な通信端末と、を有する
   ことを特徴とする画像処理システム。
7. ２以上の拠点に備えられた各通信端末が、相互に通信可能に接続されたビデオ会議システムであって、
   前記通信端末は、それぞれ請求項１乃至５の何れか１項に記載の画像処理装置を有することを特徴とするビデオ会議システム。

Images