JP5325745B2 - 動画像処理プログラム、装置および方法、動画像処理装置を搭載した撮像装置 - Google Patents

Description

本発明は、カメラ上の撮像素子により生成された画像をホスト端末に送信する技術に関する。

従来、ユーザの頭部など体の一部をビデオカメラで撮影し、目、口、手などの所定の領域を抽出し、その領域を別の画像で置換してディスプレイに表示するゲームが知られている（例えば、特許文献１）。また、ビデオカメラで撮影された口や手の動きをアプリケーションの操作指示として受け取るユーザインタフェースシステムも知られている。

欧州特許出願公開第０９９９５１８号明細書

上記のような技術では、ユーザの口や手などの所定の領域を抽出するために高解像度の画像が必要になる。しかしながら、ビデオカメラの撮像素子を高性能化するほど、ビデオカメラ側で画像を圧縮後にゲーム機やパーソナルコンピュータ等のホスト側に送信しようとすると、圧縮処理に時間がかかってしまう。そのため、カメラ側での撮像時とホスト側での映像出力時の間のレイテンシが増大してしまうという問題がある。また、カメラをユーザインタフェースとして使用する場合には、レイテンシの増大は使い勝手を著しく低下させてしまうという問題がある。このように、ビデオカメラの撮像素子の性能が向上しても、システム全体としての性能が悪化してしまうおそれがある。

本発明はこうした課題に鑑みてなされたものであり、その目的は、高性能の撮像素子を使用しつつ、カメラ側からホスト側への画像送信に伴うレイテンシを抑制することができる画像処理技術を提供することにある。

本発明の一実施形態は、動画像処理プログラムである。このプログラムは、動画像処理装置上で動作し、撮像素子を用いて撮像された未加工画像を取得する画像取得機能と、未加工画像にデモザイク処理を行うデモザイク機能と、未加工画像を段階的に解像度の異なる複数の縮小画像に変換するフィルタ機能と、未加工画像のうち一部を特定部位として選択するとともに、複数の縮小画像のいずれかを指定縮小画像として選択する選択機能と、選択された未加工画像の特定部位と指定縮小画像とを、さらなる画像処理を受けるためにホスト端末に送信する送信機能と、を動画像処理装置に実現させる。

この態様によると、動画像処理装置からホスト端末に送信されるのは、未加工画像の一部である特定部位と指定縮小画像のみである。したがって、特定部位についてはホスト端末側で自在に加工が可能である一方で、ホスト端末側への送信データ量は、未加工画像の全体を送る場合よりも少なくなる。よって、ホスト端末での画像処理の自由度を保持しつつ、画像送信に伴うレイテンシを抑制することができる。

本発明の別の実施形態も、動画像処理プログラムである。このプログラムは、撮像装置で撮像された動画像に加工を施した上でディスプレイに出力するホスト端末上で動作し、撮像素子から出力される未加工画像の一部である特定部位と、未加工画像にデモザイク処理および縮小処理が施された縮小画像とを受け取る機能と、未加工画像の特定部位にデモザイク処理を行う機能と、縮小画像を未加工画像と等しいサイズまで拡大し等倍画像に変換する機能と、デモザイク処理後の特定部位を等倍画像と合成して部分的に解像度の異なる合成画像をディスプレイに出力する機能と、をホスト端末に実現させる。

この態様によると、撮像素子で撮像された未加工画像のうち特定部位については、ホスト端末側でデモザイク処理を施すことができる。したがって、通常は撮像装置よりも処理能力が高いホスト端末の計算リソースを活用して高画質のデモザイク処理を実行することができる。また、特定部位以外の部分については縮小画像を拡大して使用するので、撮像装置からの受信データ量を抑えることができ、したがって画像通信に伴うレイテンシを抑制することができる。

なお、本発明の構成要素や表現を方法、システム、コンピュータプログラム、コンピュータプログラムを格納した記録媒体などの間で相互に置換したものもまた、本発明の態様として有効である。

本発明によれば、画像処理装置からホスト端末への画像通信に伴うレイテンシを抑制しつつ、特定部位については未加工画像を利用した高解像度の部分画像を得ることができる。

本発明の一実施形態に係る低遅延カメラシステムの全体構成を示す図である。 一実施形態に係るカメラの構成を示す図である。 図２のカメラの画像送出部の構成を示す図である。 画像送出部の作用を説明する図である。 ホスト端末のうち低遅延画像出力に関与する部分の構成を示す図である。 低遅延カメラシステムの動作を説明するフローチャートである。 低遅延カメラシステムの動作を説明するフローチャートである。 低遅延カメラシステムをビデオチャットアプリケーションに適用した場合の画像処理の概要を説明する図である。

図１は、本発明の一実施形態に係る低遅延カメラシステム１０の全体構成を示す。このシステムでは、ユーザ６の動画像をカメラ１００で撮像し、ホスト端末２０で画像処理を施した上で、ディスプレイ４にユーザの画像を映し出したり、またはインターネット、ＬＡＮ（Local Area Network）等のネットワーク１２を介して所定の通信先に送信したりする。

カメラ１００は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備えたデジタルビデオカメラであり、図示するように、ディスプレイ４の筐体の上部に設置される。ディスプレイ４は、例えば液晶テレビ、プラズマテレビ、ＰＣディスプレイ等であり、通常ユーザ６はディスプレイ４の前方に位置してカメラ１００によってユーザの全身または一部が撮像される。ディスプレイ４に映る像は、システム１０で実行されるアプリケーションによって異なる。例えば、システム１０をユーザ６の動作や表情を認識して何らかの操作指示として解釈するユーザインタフェース（ＵＩ）として使用する場合、ディスプレイ４に映し出される像８はユーザ６の顔や手などの体の一部または全身である。システム１０をビデオチャットとして使用する場合、ディスプレイ４に映し出される像８はチャット相手の顔であり、ユーザ６自身の像はネットワーク１２を介してチャット相手のディスプレイ上に映し出される。

上記のような使用態様から、カメラ１００はディスプレイ４の上部に設置されるのが最適である。しかしながら、ユーザ６の全身または一部を撮像できる限り、ディスプレイ４の近傍以外にも例えばホスト端末２０の近傍やユーザの周囲などに配置されてもよい。また、カメラ１００は単体の構成でなく、ディスプレイ４の筐体などに埋め込まれていてもよい。カメラ１００で撮像素子を使用する代わりに、アナログ画像をＡ／Ｄ変換して用いてもよい。

ホスト端末２０は、画像処理機能を備えたパーソナルコンピュータやゲーム装置などのコンピュータ端末である。ホスト端末２０は、ユーザ６をカメラ１００で撮影して得られた動画像を時系列的に連続して取り込み、所定の画像処理を施す。ビデオチャットアプリケーションの場合は、画像処理したユーザ６の画像をネットワーク１２を介してリアルタイムでチャット相手に送信する。ユーザインタフェースアプリケーションの場合は、さらに鏡面処理を施した上でリアルタイムでディスプレイ４に出力する。なお、鏡面処理とは画像を左右反転に生成することであり、これによってユーザは鏡を見ているような感覚で操作をすることができる。ホスト端末２０は、上記の画像処理の他に、各種アプリケーションを実行するためのメニューやカーソル等のオブジェクト画像を合成してディスプレイ４に表示させることもできる。

従来のカメラを利用したゲームやチャットなどのアプリケーションでは、カメラ側が画像の認識処理や圧縮処理の機能を担っていることが多く、一般的にホスト端末と比較して貧弱なカメラの計算リソースでは処理に時間がかかりがちであった。このため、ユーザ動作の認識に時間がかかったり、またはディスプレイ上に映し出される画像にタイムラグがあるなど、リアルタイム性を損なうことが多かった。この傾向は、カメラに搭載される撮像素子の画素数が増大するほど顕著になる。

そこで、本実施形態では、カメラ側で段階的に解像度の異なる複数の画像を準備しておき、システムで実行されるアプリケーションの種類に応じて必要な解像度の画像部分のみをカメラからホスト端末に送信し、十分な計算リソースを有するホスト端末において高品質化処理を行うようにした。

図２は、本実施形態に係るカメラ１００の構成を示す。これらは、ハードウェア的には、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、描画回路などの構成で実現でき、ソフトウェア的にはデータ入力機能、データ保持機能、画像処理機能、描画機能などの諸機能を発揮するプログラムで実現されるが、図２ではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによって様々な形で実現できる。
なお、図２中には、説明を容易にするために、各機能ブロックで処理される画像部分の模式図も含まれている。

カメラ１００は、画像取得部１０２、デモザイク部１０４、画像送出部１５０、ピラミッドフィルタ部１７０および通信部１０８を備える。
画像取得部１０２は、ＣＣＤまたはＣＭＯＳ等の撮像素子で露光された画像を所定のタイミング（例えば、６０回／秒）で読み出す。以下の説明では、この画像は横方向に画素ｈ個分の幅を有するものとする。この画像はいわゆるＲＡＷ画像である。画像取得部１０２は、ＲＡＷ画像の横一列分の露光が完了する毎に、これをデモザイク部１０４および画像送出部１５０に送る。

デモザイク部１０４は、画素ｈ個分の容量を有するＦＩＦＯ（First In First Out）バッファ１０５と簡易デモザイク処理部１０６とを有する。
ＦＩＦＯバッファ１０５には、ＲＡＷ画像の横一列分の画素情報が入力され、次の横一列分の画素がデモザイク部１０４に入力されるまでそれを保持する。簡易デモザイク処理部１０６は、横二列分の画素を受け取ると、それらを用いて、各画素に対してその周辺画素に基づき色情報を補完してフルカラー画像を作り出すデモザイク（de-mosaic）処理を実行する。当業者には周知のように、このデモザイク処理には多数の手法が存在するが、ここでは横二列分の画素のみを利用する簡易なデモザイク処理で十分である。一例として、対応するＹＣｂＣｒ値を算出すべき画素がＧ値のみを有している場合は、Ｒ値は左右に隣接するＲ値を平均、Ｇ値は当該Ｇ値をそのまま使用、Ｂ値は上または下に位置するＢ値を使用してＲＧＢ値とし、これを所定の変換式に代入してＹＣｂＣｒ値を算出するなどである。このようなデモザイク処理は周知であるからこれ以上詳細な説明は省略する。

簡易なデモザイク処理で十分な理由は、後述するように、本実施形態では高品質の画像が必要な部分（以下、「特定部位」という）については、ホスト端末２０がＲＡＷ画像をカメラ１００から受け取り処理を施す。そのため、特定部位以外の部分については、画質が重要でないかまたは画像検出等に用いるのみなので、デモザイク後の画質があまり問題にならないからである。簡易なデモザイク処理の変形例として、ＲＧＢの４画素から一画素のＹＣｂＣｒ値を構成する手法を用いてもよい。この場合は、ＲＡＷ画像の１／４サイズのデモザイク後画像が得られるので、後述する第１フィルタ１１０は不要になる。

簡易デモザイク処理部１０６は、例えば図示のように、横２×縦２のＲＧＢの４画素をＹＣｂＣｒカラー信号に変換する。そして、この４画素からなるブロックは、画像送出部１５０に１／１デモザイク画像として渡されるとともに、ピラミッドフィルタ部１７０に送られる。

ピラミッドフィルタ部１７０は、ある画像を複数の解像度に階層化して出力する機能を有する。ピラミッドフィルタは、一般に必要とする解像度のレベルに応じた数の１／４縮小フィルタを備えるが、本実施形態では第１フィルタ１１０〜第４フィルタ１４０の４階層のフィルタを有している。各フィルタは、相互に隣接する４個の画素をバイリニア補間して４画素の平均画素値を演算する処理を実行する。したがって、処理後の画像サイズは処理前の画像の１／４になる。

第１フィルタ１１０の前段には、Ｙ、Ｃｂ、Ｃｒのそれぞれの信号に対応して、画素ｈ個分のＦＩＦＯバッファ１１２が一つずつ配置される。これらのＦＩＦＯバッファ１１２は、横一列分のＹＣｂＣｒ画素を、次の横一列分の画素が簡易デモザイク処理部１０６から出力されるまで保持する役割を有する。画素の保持時間は、撮像素子のラインスキャンの速度に応じて決まる。横二列分の画素が入力されると、第１フィルタ１１０は、横２×縦２の４画素分のＹ、Ｃｂ、Ｃｒの画素値を平均する。この処理を繰り返すことによって、１／１デモザイク後画像は縦横それぞれ１／２の長さとなり、全体として１／４のサイズに変換される。変換された１／４デモザイク後画像は、画像送出部１５０に送られるとともに、次段の第２フィルタ１２０に渡される。

第２フィルタ１２０の前段階には、Ｙ、Ｃｂ，Ｃｒのそれぞれの信号に対応して、画素２／ｈ個分のＦＩＦＯバッファ１２２が一つずつ配置される。これらのＦＩＦＯバッファ１１４も、横一列分のＹＣｂＣｒ画素を、次の横一列分の画素が第１フィルタ１１０から出力されるまで保持する役割を有する。横二列分の画素が入力されると、第２フィルタ１２０は、横２×縦２の４画素分のＹ、Ｃｂ、Ｃｒの画素値を平均する。この処理を繰り返すことによって、１／４デモザイク後画像は縦横それぞれ１／２の長さとなり、全体として１／１６のサイズに変換される。変換された１／１６デモザイク後画像は、画像送出部１５０に送られるとともに、次段の第３フィルタ１３０に渡される。

第３フィルタ１３０および第４フィルタ１４０についても、それぞれの前段にｈ／４個分のＦＩＦＯバッファ１３２またはｈ／８個分のＦＩＦＯバッファ１４２が配置される以外は、上記と同様の処理を繰り返す。そして、画像送出部１５０に、１／６４および１／２５６サイズのデモザイク後画像を出力する。
なお、上記のようなピラミッドフィルタは、特許文献１にも記載されているように周知であるから、本明細書ではこれ以上の詳細な説明を省略する。

このように、ピラミッドフィルタ部１７０の各フィルタからは、１／４ずつ縮小された画像出力が画像送出部１５０に入力される。これから分かるように、ピラミッドフィルタ部１７０内のフィルタを通過するほど、各フィルタの前段に必要となるＦＩＦＯバッファの大きさは小さくて済むようになる。

画像送出部１５０は、画像取得部１０２から受け取ったＲＡＷ画像、デモザイク部１０４から受け取った１／１デモザイク後画像、またはピラミッドフィルタ部１７０から受け取った１／４〜１／２５６デモザイク後画像のうち、ホスト端末２０から通信部１０８を介して受けた指示に応じて必要な画像を選び出す。そして、これら画像でパケットを構成して通信部１０８に送る。

通信部１０８は、例えばＵＳＢ１．０／２．０等の所定のプロトコルにしたがって、パケットをホスト端末２０に送出する。ホスト端末２０との通信は有線に限らず、例えばＩＥＥＥ８０２．１１ａ／ｂ／ｇなどの無線ＬＡＮ通信、ＩｒＤＡなどの赤外線通信であってもよい。

図３は、カメラ１００の画像送出部１５０の構成を示す図である。画像送出部１５０は、ブロック書込部１５２、バッファ１５４、ブロック読出部１５６、符号化部１５８、パケット化部１６０、パケットバッファ１６２および制御部１６４を有する。

制御部１６４は、ホスト端末２０からの指示に基づき、ブロック書込部１５２およびブロック読出部１５６に各種画像データのうちいずれをパケットとして送出するかを指示する。後述するように、本実施形態では、画像送出部１５０に入力されたＲＡＷ画像とデモザイク後画像のうち一部のみがホスト端末側に送られる。

ブロック書込部１５２には、画像取得部１０２からＲＡＷ画像が、デモザイク部１０４およびピラミッドフィルタ部１７０を経由して１／１〜１／２５６サイズのデモザイク後画像が入力される。
ブロック書込部１５２のサイズ選択部１５２Ａは、制御部１６４からの指示に基づき、デモザイク後画像の一部をバッファ１５４に書き込む。ブロック書込部１５２は、図２中にも示したように２×２の画素毎に画像を受け取り、順次バッファ１５４に書き込むように動作する。また、ブロック書込部１５２の切り出しブロック選択部１５２Ｂは、ＲＡＷ画像について、制御部１６４から指示される特定部位を含むブロックのみをバッファ１５４に書き込む。この特定部位は、例えばユーザの顔や手などの高画質かつ高解像度の画像が必要とされる部位である。切り出しブロック選択部１５２Ｂについてはさらに後述する。

ブロック読出部１５６は、バッファ１５４上に一ブロック分の画素が準備できた順に、各画像ブロックを読み出して符号化部１５８に送る。ブロック書込部１５２およびブロック読出部１５６は、制御部１６４によって同期動作するように調整されている。つまり、ブロック書込部１５２による読み書きは、画像取得部１０２、デモザイク部１０４およびピラミッドフィルタ部１７０から画素が出力される毎に行われるのに対し、ブロック読出部１５６による読み出しは、バッファ１５４に一ブロック分の画素が蓄積される毎に行われる。この同期タイミングは撮像素子の露光速度に応じて決まる。なお、一ブロックの大きさは、後段のＪＰＥＧ符号化に合わせて８×８画素のブロックであることが好ましい。以下の説明では、ＲＡＷ画像のブロックをＢｒ、１／１、１／４、１／１６、１／６４および１／２５６サイズのデモザイク後画像のブロックをＢ１、Ｂ４、Ｂ１６、Ｂ６４、Ｂ２５６のように表記する。

本実施形態では、ＲＡＷ画像の全体や縮小画像の全体分の画素が揃ってからホスト端末に送るのではなく、ブロック単位で送出するので、バッファ１５４は最大でもＲＡＷ画像および縮小画像の全ての画像ブロックを蓄積できる大きさで十分である。アプリケーションの種類によっては、２〜３個の画像ブロックを蓄積できればよい。このように、バッファされるデータを少なくし、ブロックができる毎に順次パケット化して転送するので、カメラ内の処理に伴うレイテンシが削減される。また、画像取得部１０２からの画素の出力およびピラミッドフィルタ部１７０からは、撮像素子の露光が終わるたびに順次ブロック書込部１５２に画素が出力されてくるため、異なるフレームのブロックがバッファ１５４に書き込まれたり、ブロックが異なる順序でパケット化して送られるようなことは、構造上起こりえない。

切り出しブロック選択部１５２Ｂは、ホスト端末２０から送られる特定部位の位置情報を受け取り、その領域から所定の画素数だけ広い領域を内包するブロックを特定ブロックとして選択する。

符号化部１５８は、ＲＡＷ画像以外の縮小画像の画像ブロックに対して、ＪＰＥＧ等の周知の圧縮符号化を実行し、パケット化部１６０に送る。パケット化部１６０は、ＲＡＷ画像ブロックおよび符号化後の縮小画像の画像ブロックを、パケット化部１６０に到来した順にパケット化してパケットバッファ１６２に書き込む。通信部１０８は、パケットバッファ１６２内のパケットを、所定の通信プロトコルにしたがってホスト端末２０に転送する。
なお、ＬＬＶＣ、ＡＶＣ等の他の周知の符号化も使用することができるが、ブロック単位で符号化できるものが好ましい。また、ブロック読出部１５６で読み出されるブロックの大きさも符号化に合わせて変更することができ、例えば２５６×２５６単位のブロックで読み出しと符号化が行われてもよい。

次に、図４を使用して、画像送出部１５０の作用を説明する。右列Ｓ１は、ブロック書込部が受け取るＲＡＷ画像およびデモザイク後画像を表している。小さい正方形が一画素を表している。ただし、ＲＡＷ画像ではＲＧＢのいずれか一画素値に対応し、デモザイク後画像では一画素がＹＣｂＣｒ信号の全てを含むことに注意する。正方形の稠密度は、ピラミッドフィルタにより画素が間引かれている様子を表す。ブロック書込部には、出力されてくるこれらの画像のうち、制御部１６４の指示に応じていくつかの画像のみをバッファに書き込む。この例では、ＲＡＷ画像、１／１６および１／６４デモザイク後画像が選択されるものとする。また、ＲＡＷ画像については、特定部位を含むブロックのみを選択する。この結果、図中の中央列Ｓ２に示すブロック読出部は、ＲＡＷ画像ブロックＢｒのうち４ブロック分と、１／１６のデモザイク後画像ブロックＢ１６と、１／６４デモザイク後画像ブロックＢ６４をバッファから読み出す。なお、実際にはブロック書込部からブロック読出部に直接ブロックが渡されるわけではなく、バッファに所定サイズのブロックが蓄積された後でブロック読出部がブロック単位で読み出すことに注意する。

読み出されたブロックは、デモザイク後画像ブロックＢ１６、Ｂ６４については符号化処理された後に、図中の左列Ｓ３に示すようにＲＡＷ画像ブロックとともにパケット化される。

図５は、ホスト端末２０のうち、本実施形態の低遅延画像出力に関与する部分の構成を示す。これらの構成も、ハードウェア的には、ＣＰＵ、ＲＡＭ、ＲＯＭ、ＧＰＵ、入出力制御装置などの構成で実現でき、ソフトウェア的にはデータ入力機能、データ保持機能、画像処理機能、描画機能などの諸機能を発揮するプログラムで実現されるが、図６ではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによって様々な形で実現できる。

ホスト端末２０は、通信部２２、制御部５２、画像処理部５０および表示制御部５４を含む。
制御部５２は、オペレーティングシステムを動作させて画像処理部５０の全体的な動作を制御する他、ホスト端末２０に必要な他の制御、例えば、ゲームやチャットなどの各種アプリケーションの実行やドライバの制御、記録媒体からのプログラムの読み出しなどを制御する。
通信部２２は、カメラ１００から各種の画像データを受け取り、画像処理部５０に送る。

画像処理部５０は、振り分け部２４、高画質デモザイク部２８、高品質処理部３２、復号部３４、拡大部３６、画像合成部３８、画像出力部４０および特定部位検出部４２を有する。
振り分け部２４には、カメラ１００からＲＡＷ画像の特定部位および符号化された縮小画像のブロックが入力される。そして、制御部５２からの指示にしたがって、ＲＡＷ画像の画像ブロックは高画質デモザイク部２８に送り、他の画像ブロックは復号部３４に送る。

高画質デモザイク部２８は、ＲＡＷ画像の特定部位に対しデモザイク処理を実行する。ここでのデモザイク処理は、カメラ１００の簡易デモザイク処理部とは異なり、ホスト端末２０の計算リソースを活用して高画質のデモザイク処理を実行する。例えば、１画素のＹＣｂＣｒ画像信号を計算するのに３×３画素以上のＲＧＢ値を使用したり、水平方向および／または垂直方向の画素間の相関の程度を考慮して補間係数を修正するといった既存のまたは将来開発される任意のアルゴリズムを使用可能である。このようなデモザイク処理は、例えば特開平７−２３６１４７号公報に開示されている。
デモザイク後の画像は、高品質処理部３２に送られる。

高品質処理部３２は、デモザイク後の画像を視聴に適したさらに高精度の画像に変換する。ここで行われる処理は、アプリケーションの種類に応じて様々であるが、例えばビデオチャットで顔を大画面に映し出すような場合には、顔の明るさ調整、顔色の修正、目や口元の修正などの任意の処理を実行する。高品質画像は、画像合成部３８に送られる。

一方、復号部３４は、ＲＡＷ画像以外の縮小画像の画像ブロックを受け取り、ＪＰＥＧ等で圧縮画像を復号する。カメラ１００側で画像圧縮がなされていない場合、この復号部３４は不要である。

特定部位検出部４２は、復号部３４で復号された縮小画像を受け取る。そして、周知の画像検出手法にしたがって、ユーザの画像のうちアプリケーションで特に重要とされる部位を特定する。この部位は、例えばビデオチャットであればユーザの顔であり、ＵＩであれば目、口元、手足等である。特定された部位の位置情報は、通信部２２を介してカメラ１００にフィードバックされる。この位置情報にしたがって、カメラ１００からは特定部位周辺のＲＡＷ画像ブロックが送られ、したがって限られたブロックだけが高画質デモザイク部でデモザイク処理されることになる。

なお、特定部位の検出は例えば以下の方法で実行される。顔検出の場合は、輝度（Ｙ）信号のみを使用して画像を２０×２０のブロックに分割し、比較的輝度が明るく複数ブロックにまたがる部分を顔であると認識する。あるいは、図示しない基準画像記憶部に特定部位（顔や手など）の基準画像を記録しておき、図示しないマッチング部が基準画像と入力画像とのマッチングを実行して、ユーザの顔や手に相当する領域の画像を特定してもよい。顔の領域を特定後に、その内部で目、鼻、口などに相当する領域を各パーツの基準画像とのマッチングによってさらに特定してもよい。

拡大部３６は、復号された縮小画像（例えば１／６４）を受け取り、これを１／１（等倍）サイズに拡大する。拡大された画像データは画像合成部３８に送られる。

画像合成部３８は、１／１サイズの低品質画像と、特定部位の高品質画像ブロックを合成する。この結果、アプリケーションで重視される特定部位については非常に高画質で高解像度であるが、それ以外の部分については低品質で低解像度の画像が生成される。画像出力部４０は、生成された合成画像をフレームバッファ（図示せず）に書き込む。
表示制御部５４は、画像出力部４０は、フレームバッファに描画された画像データをディスプレイ４で表示するためのビデオ信号を生成する。

続いて、ホスト端末２０の作用を説明する。カメラ１００から各種の画像ブロックを受け取った振り分け部２４は、ＲＡＷ画像ブロックについては高画質デモザイク部２８に渡し、それ以外のブロックは復号部３４に渡す。高画質デモザイク部２８は、特定部位に対応するＲＡＷ画像ブロックが集まると、高画質のデモザイク処理を施してＹＣｂＣｒのカラー画像に変換し、さらに高品質処理部３２で所定の処理を施して高品質の特定部位画像を得る。一方、縮小画像のブロックは、復号部３４で復号処理された後に拡大部３６で１／１サイズにまで拡大される。そして、画像合成部３８が、拡大された縮小画像のうち特定部位を、高品質の特定部位画像に置換した合成画像を出力する。
復号後の縮小画像のうちＹ信号を利用して、特定部位検出部４２によって特定部位が検出される。この情報はカメラの制御部に送られて、ブロック書込部１５２でのＲＡＷ画像ブロックの選択に利用される。
以上の一連の処理はフレーム毎に繰り返される。この結果、特定部位が非常に高品質であるユーザの動画像が生成される。

図６および７は、本実施形態に係る低遅延カメラシステム１０の全体の動作を説明するフローチャートである。
まず図６のカメラ側の動作について説明する。画像取得部１０２が撮像素子から画像を受け取ると、ＲＡＷ画像が画像送出部１５０およびデモザイク部１０４に送られる（Ｓ１０）。デモザイク部１０４は、ＲＡＷ画像の画素に比較的低画質のデモザイク処理を実行し、デモザイク後の画素を画像送出部１５０とピラミッドフィルタ部１７０に送る（Ｓ１２）。ピラミッドフィルタ部１７０の各階層のフィルタでそれぞれバイリニア補間が実施され、１／４〜１／２５６サイズの画素列が画像送出部１５０に出力される（Ｓ１４）。

画像送出部１５０のブロック書込部１５２は、制御部１６４からの指示にしたがって、縮小画像のうち一部をバッファ１５４に書き込むとともに（Ｓ１６）、ＲＡＷ画像については特定部位を含む画像ブロックのみを選択してバッファ１５４に書き込む（Ｓ１８）。ブロック読出部１５６は、バッファ１５４内に例えば８×８のブロック分の画素が記録される毎にそれら画像ブロックを読み出して符号化部１５８に送る（Ｓ２０）。符号化部１５８で所定の符号化が実施された後（Ｓ２２）、パケット化されてホスト端末２０に送出される（Ｓ２４）。

続いて図７のホスト端末側の動作について説明する。振り分け部２４は、カメラから受け取ったパケットから各種の画像ブロックを取出し、高画質デモザイク部２８または復号部３４に送る（Ｓ３０）。ＲＡＷ画像ブロックは、高画質デモザイク部２８でデモザイク処理された後（Ｓ３２）、高品質処理部３２で所定の処理が施されて画像合成部３８に出力される（Ｓ３４）。一方、縮小画像ブロックについては、復号部３４で復号された後（Ｓ３６）、輝度信号が使用されて特定部位検出部４２によって特定部位が検出される（Ｓ３８）。この情報はカメラ１００に送られて、ＲＡＷ画像の特定ブロックの選択に使用される（Ｓ４０）。また、復号後の縮小画像は拡大部３６によって１／１サイズまで拡大されて、画像合成部３８に出力される（Ｓ４２）。
画像合成部３８は、特定部位の高精度画像とそれ以外の拡大画像を合成し（Ｓ４４）、画像出力部４０が合成画像をフレームバッファに出力する（Ｓ４６）。

本実施形態は、ディスプレイに映し出されるユーザの画像のうち、顔や手などの特定部位についてはできるだけ高画質で高解像度であることが望ましいが、それ以外の背景等については比較的画質が低くても構わないという認識に基づいている。むしろ、ビデオチャットなどのアプリケーションでは、背景画像は低画質の方が好ましい場合もある。

上述のように、顔認識は輝度信号だけあれば十分であるので、高画質のデモザイク処理は不要である。にもかかわらず、従来のカメラシステムでは、カメラ側で高画質のデモザイクを行った画像をさらにデータ圧縮し、解凍後の画像を用いて顔認識するという非常に無駄の多い処理を行っていた。本実施形態では、顔認識は簡易デモザイク後の画像をさらに縮小したものを用いて行っているため、無駄になるデータが少なくて済む。その一方、顔領域についてはＲＡＷ画像をカメラから受け取って、ホスト端末２０の計算パワーを使用して高画質のデモザイクを実行することができる。これによって、カメラからホスト端末に送られるデータ量が少なくレイテンシが小さいにもかかわらず、顔領域の画質を従来のカメラシステムよりも向上させることができる。

また、従来のカメラシステムでは、ＲＡＷ画像をそのまま送るか、またはデモザイク後にＪＰＥＧ圧縮したものを送るかの選択肢しかなかった。前者では、データ量が増大するので通信帯域がボトルネックとなってレイテンシが生じる。後者では、非可逆圧縮をかけるために、後段での画質向上には限界がある。一般に、デモザイクは画像の画質を左右するものであるが、計算パワーを非常に使うものであるので、計算リソースに余裕のあるホスト端末側で行う方が有利である。本実施形態では、ＲＡＷ画像は顔や手などの特定部位のみをホスト端末に送信するので、送信データ量が少なくレイテンシを抑制できると同時に、ホスト端末側でのＲＡＷ画像を利用した画質向上の自由度が著しく増大する。

図８は、本実施形態の低遅延カメラシステム１０をビデオチャットアプリケーションに適用した場合の画像処理の概要を説明する図である。この例では、カメラとホスト端末がＵＳＢ接続され、ビデオチャットをするユーザの顔部分を検出し、顔のみを高画質で高解像度の画像としてチャット先のホスト端末に送信するアプリケーションプログラムが動作しているものとする。

このアプリケーションでは、ホスト端末２０からカメラ１００に対し、ＲＡＷ画像と１／１６縮小画像のみを送信するように指示されているものとする。１／１６縮小画像ブロックＢ１６がサイズ選択部１５２Ａにより選択されて（Ｓ５０）、符号化部１５８により符号化される（Ｓ５２）。ＲＡＷ画像については、ブロック書込部１５２がホスト端末から特定部位の位置情報を受け取り（Ｓ５４）、切り出しブロック選択部１５２Ｂは、顔認識の位置情報で特定される領域Ｄを上下左右に所定の画素数だけ広げた範囲Ｅを、特定部位ブロックとして選択して出力する（Ｓ５６）。このようにするのは、顔認識では肌色の部分のみが認識されるのに対し、チャットには頭部全体の画像が必要となるからである。なお、この範囲はブロックの境界と一致するように設定することが好ましい。このようにして得られたＲＡＷ画像の特定部位ブロックと縮小画像ブロックとがパケット化されて、ホスト端末２０に送られる（Ｓ５８）。

ホスト端末２０では、ＲＡＷ画像の特定部位ブロックはデモザイク処理および高品質処理を受け（Ｓ６２）、高品質画像として出力される（Ｓ６４）。また、縮小画像については復号処理され（Ｓ６６）、さらに１／１サイズへと拡大される（Ｓ６８）。この拡大画像のうち、ユーザの頭部に相当する部分を高品質画像で置換する画像合成が実施され（Ｓ７０）、合成画像が出力される。
同時に、縮小画像のうちＹ信号を用いて顔検出が行われ（Ｓ７２）、検出された顔の位置情報がカメラ１００にフィードバックされて（Ｓ７４）、特定部位ブロックの選択で使用される。

なお、顔認識の処理はビデオチャットの実施中に常に行ってもよいが、所定の時間（例えば、１秒毎）を空けて複数フレーム毎に実行すれば実用上は十分である。通常、動画像は毎秒６０フレーム以上出力されるので、１フレームの間にユーザの頭部が大きく動くことは起こらないからである。

この例のように、ビデオチャットのアプリケーションであれば、顔画像が最重要であり、それ以外の体の部分や背景などは重要度が低い。したがって、ＲＡＷ画像から顔の部分に対応するブロックだけを切り出して、これを使用したデモザイク処理および高品位化処理をホスト端末側の十分な計算リソースを利用して行うことで、高画質高品位の顔画像が得られる。同時に、顔以外については圧縮画像を使用することで、カメラとホスト端末間のトラフィックを削減してレイテンシを抑制できる。

以上説明したように、本実施形態によれば、高画質、高解像度が必要な部分についてはＲＡＷ画像をカメラから受け取りホスト端末側で高画質のデモザイク処理を実行するとともに、それ以外の低画質、低解像度でよい部分については、カメラから縮小画像を受け取りこれを拡大して使用する。この結果、部分的に高画質の画像を確保しつつ、カメラ内部での処理およびカメラとホスト間の通信におけるレイテンシを抑制することができる。
したがって、ユーザインタフェースのアプリケーションでは、従来よりも迅速な応答が実現される。そのため、例えばユーザのジェスチャの画像認識に基づく画面上でのカーソル移動やダイヤル操作、またはゲームのプレイヤー操作などを、高レスポンスで実現できる可能性がある。また、ビデオチャットのアプリケーションでは、動きが滑らかで遅延の少ない画像を提供できる。このように、アプリケーション毎のニーズに合った画像データのみを選択して送ることができる。

近年では、安価なウェブカムでも画素数が増大しており、また撮像素子のＣＭＯＳ化によりスキャン速度も速くなっている。容量の多い画像を送るためには、カメラ側で高圧縮しなければならないが、そうするとカメラの処理時間が増える。そのため、以前よりカメラ内での処理や通信に伴うレイテンシが顕在化してきている。つまり、撮像素子の能力やホスト端末側の能力が向上しているのに、その間がボトルネックになってそれらの能力を活かし切れていない。しかしながら、高い計算能力を有するホスト端末が準備できる場合、カメラで加工されないＲＡＷ画像をもらった方が、画質の劣化がなく、またホワイトバランスや露出の後処理もできるなど有利である。

本実施形態では、カメラ側でのデモザイクを簡易にしてレイテンシを抑えるとともに、認識処理をするなど高画質、高解像度が必要な部分についてはＲＡＷ画像を直接カメラから受け取り計算能力の高いホスト端末側でデモザイクを実行する。したがって、レイテンシを抑えるとともに撮像素子の性能を十分に活用できる。

さらに、カメラ側にはピラミッドフィルタにより階層化された縮小画像が常に準備されている。そのため、ホスト端末は、実行中のアプリケーションに必要となるサイズの縮小画像をいつでも要求することができる。例えば、ユーザが完全に静止しているのであれば、ＲＡＷ画像の特定部位を初めから固定しておき常にそれを使用すればよいが、現実にはそのような状況は少ない。本実施形態では、ＲＡＷ画像の特定部位を受け取るとともに、常に縮小画像を用いてユーザの動きをトラックして顔や手の部分の移動を検出できるので、それに合わせて要求するＲＡＷ画像のブロックを適宜変更することができる。要求する縮小画像のサイズは、検出すべきユーザの顔や手の大きさ、ユーザの人数、ユーザの動きの大小などに応じて、最適なものを選ぶことができる。

また、ブロック書込部およびブロック読出部では、画像処理に必要となるバッファを小さくすることができる。これは、ブロック書込部は、撮像素子による画素スキャンが一列毎に行われるたびに、簡易デモザイク部やピラミッドフィルタ部からの画素をバッファに書き込む一方、一ブロック分の画素が蓄積される毎に、ブロック読出部がバッファからそれを読み出してパケット送出するからである。

また、本実施形態に係る画像処理装置では、従来のようにカメラ側に認識処理装置などを置く必要がないので、ハードウェアを小さくできる。また、既存のデジタルビデオカメラにピラミッドフィルタ部と画像送出部を新たに追加するだけで、低レイテンシのカメラシステムを構築することが可能になる。

以上、実施の形態をもとに本発明を説明した。これらの実施の形態は例示であり、各構成要素またはプロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

実施の形態で述べた構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、記録媒体などの間で変換したものもまた、本発明の態様として有効である。また、本明細書にフローチャートとして記載した方法は、その順序にそって時系列的に実行される処理のほか、並列的または個別に実行される処理をも含む。

実施の形態では、ＲＡＷ画像についてのみ特定のブロックを選択したが、他のデモザイク後画像について特定のブロックを選択してもよい。例えば手のジェスチャを検出する場合、ユーザの顔を基準にして手の部分を特定部位として決定し、手の領域のデモザイク画像をホスト端末に送る。ユーザの動きが大きい場合は、粗い画像、すなわちサイズの小さいデモザイク画像でもトラッキングが可能であるし、動きが小さい場合は、細かい画像、すなわちサイズの大きいデモザイク画像を利用する。このように、ピラミッドフィルタにより常にカメラ側では階層化された画像データが準備されているため、ユーザの動きの速さや大きさに応じて要求する画像サイズを適宜変更することができる。同様に、例えばユーザの数が二人に増加した場合でも、全体を監視しているので速やかにＲＡＷ画像ブロックを選択し直すことができる。さらに、特定部位をＲＡＷ画像で処理すれば、従来のカメラによる認識では非常に困難であった指先の動きのような微小な動作も検出することが可能になる。

実施の形態では、カメラ側のデモザイク処理がホスト側と比べて簡易的なものであることを述べたが、デモザイク処理に伴うレイテンシの影響が比較的小さいならば、ホスト端末側と同等の性能のデモザイク処理を行ってもよい。つまり、本発明では、カメラとホスト端末で異なるアルゴリズムにしたがってデモザイク処理がなされる限り、デモザイク処理のアルゴリズムの種類を限定するものではない。こうすることで、ホスト端末では二種類のデモザイク処理後の画像を扱うことができるため、ディスプレイに出力する合成画像の構成の自由度が向上する。

実施の形態では、縮小画像の全体がカメラからホスト端末に送られることを述べたが、縮小画像の一部のみが送られてもよい。例えば、ＪＰＥＧの特性から、１／１６の縮小画像のＹ信号と、１／６４の縮小画像のＣｂＣｒ信号のみを送るようにしてもよい。

実施の形態では、ホスト端末としてパーソナルコンピュータが据え置き型のゲーム機を示したが、ホスト端末はラップトップコンピュータや携帯型ゲーム機等であってもよい。この場合、カメラはディスプレイの上部等に取り付けられるかまたは組み込まれていることが好ましい。

実施の形態では、ユーザの顔や手などの検出をホスト端末で行うことを述べたが、カメラ側で行ってもよい。例えば顔認識のように輝度信号を用いる認識処理であれば、増加するレイテンシは比較的少ないと考えられる。この場合、ホスト端末からの指示を待つことなく、カメラ側で顔に相当するＲＡＷ画像のブロックを選択してホスト端末に送ることができる。

アプリケーションとして、ユーザのジェスチャをインタフェースで用いる場合、およびビデオチャットの場合について説明した。しかしながら、本発明は、ユーザの体の一部やジェスチャを認識を入力として受け取る任意のアプリケーション、およびユーザの画像を利用する任意のアプリケーションに、必要な修正を加えた上で適用することができる。

４ ディスプレイ、 ６ ユーザ、 １０ 低遅延カメラシステム、 ２０ ホスト端末、 ２２ 通信部、 ２４ 振り分け部、 ２８ 高画質デモザイク部、 ３２ 高品質処理部、 ３４ 復号部、 ３６ 拡大部、 ３８ 画像合成部、 ４０ 画像出力部、 ４２ 特定部位検出部、 ５０ 画像処理部、 ５２ 制御部、 ５４ 表示制御部、 １００ カメラ、 １０２ 画像取得部、 １０４ デモザイク部、 １０６ 簡易デモザイク処理部、 １０８ 通信部、 １１０ 第１フィルタ、 １２０ 第２フィルタ、 １３０ 第３フィルタ、 １４０ 第４フィルタ、 １５０ 画像送出部、 １５２ ブロック書込部、 １５４ バッファ、 １５６ ブロック読出部、 １５８ 符号化部、 １６０ パケット化部、 １６２ パケットバッファ、 １６４ 制御部、 １７０ ピラミッドフィルタ部。

Claims (17)

1. 動画像処理装置上で動作する動画像処理プログラムであって、
   撮像素子を用いて撮像された、色情報の補完を行うデモザイク処理が必要な未加工画像を取得する画像取得機能と、
   前記未加工画像にデモザイク処理を行うデモザイク機能と、
   前記デモザイク処理が施された画像を段階的に解像度の異なる複数の縮小画像に変換するフィルタ機能と、
   前記未加工画像の少なくとも一部と、前記デモザイク処理が施された画像の少なくともいずれかとを、さらなる画像処理を受けるためにホスト端末に送信する送信機能と、
   を動画像処理装置に実現させることを特徴とする動画像処理プログラム。
2. 前記未加工画像のうち一部を特定部位として選択するとともに、前記複数の縮小画像のいずれかを指定縮小画像として選択する選択機能を前記動画像処理装置にさらに実現させ、前記送信機能は、選択された前記特定部位と前記指定縮小画像を送信することを特徴とする請求項１に記載の動画像処理プログラム。
3. 前記選択機能は、画像内で高画質に設定すべき領域として前記ホスト端末から与えられる指示にしたがって、前記未加工画像の特定部位を選択することを特徴とする請求項２に記載の動画像処理プログラム。
4. 前記選択機能は、前記特定部位と組み合わされる背景画像として前記ホスト端末から与えられる指示にしたがって、前記指定縮小画像を選択することを特徴とする請求項２または３に記載の動画像処理プログラム。
5. 前記選択機能は、
   前記撮像素子から前記未加工画像の画素値が出力される毎に前記特定部位に対応する画素値を選択してバッファに書き込むとともに、前記フィルタ機能により変換された縮小画像の画素値を受け取る毎に前記指定縮小画像に対応する画素値を選択してバッファに書き込む書込機能と、
   前記バッファ内に格納された画素値が予め定められた大きさの画像ブロックになる毎に前記バッファから読み出す読出機能と、
   を有することを特徴とする請求項２ないし４のいずれかに記載の動画像処理プログラム。
6. 撮像装置で撮像された動画像に加工を施した上でディスプレイに出力するホスト端末上で動作する動画像処理プログラムであって、
   撮像素子から出力される、色情報の補完を行うデモザイク処理が必要な未加工画像の一部である特定部位と、前記未加工画像にデモザイク処理および縮小処理が施された縮小画像とを受け取る機能と、
   前記未加工画像の特定部位にデモザイク処理を行う機能と、
   前記縮小画像を前記未加工画像と等しいサイズまで拡大し等倍画像に変換する機能と、
   デモザイク処理後の特定部位を前記等倍画像と合成して部分的に解像度の異なる合成画像をディスプレイに出力する機能と、を前記ホスト端末に実現させることを特徴とする動画像処理プログラム。
7. 前記デモザイク処理を行う機能は、前記撮像装置から出力される前記縮小画像に施されているデモザイク処理と異なる手法で色情報の補完を行うことを特徴とする請求項６に記載の動画像処理プログラム。
8. 前記縮小画像を用いて、画像内で高解像度に設定すべき特定部位を検出する特定部位検出機能をさらに備えることを特徴とする請求項６または７に記載の動画像処理プログラム。
9. 前記撮像装置による撮像対象が当該ホスト端末を利用したアプリケーションを使用するユーザであり、前記特定部位は前記アプリケーションに対し操作指示を与えるユーザの体の一部であることを特徴とする請求項６ないし８のいずれかに記載の動画像処理プログラム。
10. 請求項１ないし９のいずれかに記載された動画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
11. 撮像素子を用いて撮像された、色情報の補完を行うデモザイク処理が必要な未加工画像を取得する画像取得部と、
    前記未加工画像にデモザイク処理を行うデモザイク処理部と、
    前記デモザイク処理が施された画像を段階的に解像度の異なる複数の縮小画像に変換するフィルタ部と、
    前記未加工画像の少なくとも一部と、前記デモザイク処理が施された画像の少なくともいずれかとを、さらなる画像処理を受けるためにホスト端末に送信する送信部と、
    を備えることを特徴とする動画像処理装置。
12. 請求項１１に記載された動画像処理装置を搭載した撮像装置。
13. 撮像装置により撮像された動画像をディスプレイに表示するホスト端末であって、
    前記撮像装置から、撮像素子を用いて撮像された、色情報の補完を行うデモザイク処理が必要な未加工画像の一部である特定部位と、前記未加工画像にデモザイク処理および縮小処理が施された縮小画像とを受け取る受信部と、
    前記未加工画像の特定部位にデモザイク処理を施すデモザイク部と、
    前記縮小画像を前記未加工画像と等しいサイズまで拡大し等倍画像として出力する拡大部と、
    デモザイク処理後の特定部位を前記等倍画像と合成して部分的に解像度の異なる合成画像をディスプレイに出力する画像合成部と、
    を備えることを特徴とするホスト端末。
14. 撮像装置で撮像された動画像をホスト端末で加工を施した上でディスプレイに出力する撮像システムであって、
    前記撮像装置は、
    撮像素子を用いて撮像された、色情報の補完を行うデモザイク処理が必要な未加工画像を取得する画像取得部と、
    前記未加工画像にデモザイク処理を行う第１デモザイク処理部と、
    前記デモザイク処理が施された画像を段階的に解像度の異なる複数の縮小画像に変換するフィルタ部と、
    前記未加工画像のうち一部を特定部位として選択するとともに、前記複数の縮小画像のいずれかを指定縮小画像として選択する選択部と、
    選択された未加工画像の特定部位と指定縮小画像とを、さらなる画像処理を受けるためにホスト端末に送信する送信部と、
    を備え、
    前記ホスト端末は、
    前記撮像装置から、撮像素子を用いて撮像された前記未加工画像の一部である特定部位と、前記未加工画像にデモザイク処理および縮小処理が施された縮小画像とを受け取る受信部と、
    前記未加工画像の特定部位にデモザイク処理を行う第２デモザイク処理部と、
    前記縮小画像を未加工画像と等しいサイズまで拡大し等倍画像として出力する拡大部と、
    デモザイク処理後の特定部位を前記等倍画像と合成して部分的に解像度の異なる合成画像をディスプレイに出力する画像合成部と、
    を備えることを特徴とする撮像システム。
15. 前記撮像装置の第１デモザイク処理部は、前記ホスト端末の第２デモザイク処理部よりも低性能であることを特徴とする請求項１４に記載の撮像システム。
16. 撮像素子を用いて撮像された、色情報の補完を行うデモザイク処理が必要な未加工画像を取得してバッファに記憶し、
    前記未加工画像にデモザイク処理を行い、
    ピラミッドフィルタを用いて前記デモザイク処理が施された画像を段階的に解像度の異なる複数の縮小画像に変換し、
    前記未加工画像の少なくとも一部と、前記デモザイク処理が施された画像の少なくともいずれかとを、さらなる画像処理を受けるためにホスト端末に送信することを特徴とする動画像処理方法。
17. 撮像装置で撮像された動画像をホスト端末で加工を施した上でディスプレイに出力する方法であって、
    撮像素子から出力される、色情報の補完を行うデモザイク処理が必要な未加工画像の一部である特定部位と、前記未加工画像にデモザイク処理および縮小処理が施された縮小画像とを受信し、
    前記未加工画像の特定部位にデモザイク処理を施し、
    前記縮小画像を未加工画像と等しいサイズまで拡大して等倍画像に変換し、
    デモザイク処理後の特定部位を前記等倍画像と合成して部分的に解像度の異なる合成画像をディスプレイに出力することを特徴とする動画像処理方法。

Images