JP4578197B2 - 画像表示装置 - Google Patents

Description

この発明は、画像表示装置に関し、特に注目する領域を際立たせて表示可能な画像表示装置に関する。

ＩＳＯ／ＩＴＵ−Ｔにおいて、静止画像の圧縮符号化の標準技術であるＪＰＥＧ（Joint Photographic Expert Group）の後継として、離散ウェーブレット変換（ＤＷＴ）を用いたＪＰＥＧ２０００の標準化が行われている。ＪＰＥＧ２０００では、低ビットレート符号化からロスレス圧縮まで広範囲の画質を高性能で符号化することができ、画質を徐々に高めるスケーラビリティ機能も実現が容易である。また、ＪＰＥＧ２０００には、従来のＪＰＥＧ標準にはなかった多様な機能が用意されている。

特許文献１は、このような圧縮をされた符号化画像を復号する際、画質を改善するために、ノイズ除去やエッジ強調などの画像処理を行う技術を開示する。具体的には、ＬＬサブバンド以外のサブバンドに含まれる変換係数を０として、参照画像を形成する。当該サブバンド内の変換係数に対する参照画像上の領域を求め、この領域内の画素値の平均値などを求める。この平均値などが所定の閾値より小さければ、この変換係数に対して閾値処理を行う。
特開２００２−１３５５９３号公報

上記特許文献１は、ＬＬサブバンド以外のサブバンド内の変換係数に対して上述した処理を行うため、演算量が大きく増加してしまう。また、ある領域を際立たせる程度にまで、画像内の領域間に画質の差を作ることは難しい。

本発明はこうした課題に鑑みてなされたものであり、その目的は、注目する領域を容易に際立たせることができる画像表示装置を提供することにある。

本発明のある態様は、画像表示装置に関する。この装置は、画像を表示する手段と、前記画像に対して注目領域を設定する手段と、前記注目領域を拡大する手段と、前記注目領域内のオブジェクトの動きに、前記注目領域を拡大する手段によって拡大された注目領域を追従せしめる手段と、を具備し、前記画像に対して注目領域を設定する手段は、前記注目領域内のオブジェクトの動きに応じて前記注目領域を設定し、前記注目領域を拡大する手段は、前記画像のデータから前記注目領域に相当するデータを取り出して拡大処理を行い、前記拡大された注目領域に相当するデータを作成し、前記拡大された注目領域を追従せしめる手段は、前記注目領域内のオブジェクトの動きに前記拡大された注目領域を追従させると、前記拡大された注目領域の端が、前記画像を表示する手段の表示領域から外に出てしまう場合、前記拡大された注目領域が前記表示領域から外に出ないように、前記拡大された注目領域の中心を前記注目領域の中心より前記画像の中心方向にずらして、前記拡大された注目領域に相当するデータの表示位置を調整し、前記画像を表示する手段は、前記画像のデータのうち、前記拡大された注目領域が表示される領域に相当するデータの代わりに、前記拡大された注目領域に相当するデータを用いて前記画像を表示する。この態様によれば、注目する領域を拡大して表示し、且つ注目領域内のオブジェクトの動きに追従して注目領域が自動で移動するので、注目領域を容易に際立たせることができる。

前記注目領域は手動で前記画像に対し設定されてもよい。これにより、表示画像を見ながらユーザが注目したい領域を設定できる。

前記注目領域は前記画像内のオブジェクトの動きを検出することにより、自動で前記画像に対し設定されてもよい。これにより、動きのあったオブジェクトを含む領域が、注目領域として自動で拡大されて表示される。

前記注目領域とそれ以外の領域とで画質を異ならせる手段を更に具備してもよい。これにより、注目領域を画質よく復号すれば、その領域を画質よく拡大できるため、ユーザの注目するオブジェクトをさらに容易に際立たせることができる。また、画像全体を高画質に復号処理する場合より処理量を減らすことができるため、処理を高速化することができ、また、消費電力を削減することもできる。

前記注目領域とそれ以外の領域とで解像度を異ならせる手段を更に具備してもよい。これにより、注目領域を高解像度に復号すれば、その領域を拡大しても細かくきれいに表示されるので、ユーザの注目するオブジェクトをさらに容易に際立たせることができる。また、画像全体を高解像度に復号処理する場合より処理量を減らすことができるため、処理を高速化することができ、また、消費電力を削減することもできる。

この態様において、前記拡大された注目領域を追従せしめる手段は、前記調整によって得られたデータを前記画像のデータとは別に保存し、前記画像表示手段は、前記別に保存されたデータを読み出して、前記拡大された注目領域が表示される領域に前記別に保存されたデータに基づく画像を表示してもよい。これにより、容易に注目領域を拡大した画像を表示できる他、もとの画像を残しておくことができるので、もとの画像を外部に出力したり、もとの画像を利用して注目領域内のオブジェクトの動きを検出することも可能である。

また、この態様において、前記拡大された注目領域を追従せしめる手段は、前記拡大された注目領域が表示される領域に相当するデータを、前記調整によって得られたデータで上書きするとともに、前記画像表示手段は、前記上書きされたデータを読み出して画像を表示する。これにより、容易に注目領域を拡大した画像を表示できるほか、拡大された注目領域に相当するデータを別途保存しておく必要がないため、注目領域を拡大するために必要なメモリの容量を削減することができる。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、注目するオブジェクトを容易に際立たせることができる。

（実施の形態１）
図１は、実施の形態１に係る画像処理装置１００の構成図である。画像処理装置１００の構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリのロードされた復号機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

実施の形態１では、画像処理装置１００は、一例としてＪＰＥＧ２０００方式（ＩＳＯ／ＩＥＣ １５４４４−１：２００１）により圧縮符号化された符号化画像を復号し、表示装置５０にて表示させる画像を生成する。画像処理装置１００は、図２（ａ）に示すように、復号の際、原画像１上に注目領域２（以下、ＲＯＩ（Region of Interest）領域という。）を指定し、ＲＯＩ領域２を拡大する。そして、画像処理装置１００は、図２（ｂ）に示すように、この拡大したＲＯＩ領域３を原画像１上のＲＯＩ領域２の位置に重ね合わせて表示装置５０に表示させる。なお、この画像処理装置１００と表示装置５０が、本発明の「画像表示装置」の一例である。

画像処理装置１００に入力される符号化画像は、動画像の符号化フレームであってもよい。符号化ストリームとして入力される動画像の各符号化フレームを連続的に復号することにより動画を再生することができる。

符号化データ抽出部１０は、入力された符号化画像から符号化データを抽出する。エントロピー復号部１２は、符号化データをビットプレーン毎に復号し、復号の結果得られる量子化されたウェーブレット変換係数を図示しないメモリに格納する。

逆量子化部１４は、エントロピー復号部１２で得られる量子化されたウェーブレット変換係数を逆量子化する。ウェーブレット逆変換部１６は、逆量子化部１４にて逆量子化されたウェーブレット変換係数からウェーブレット逆変換を行い、１フレームずつ画像を復号する。ウェーブレット変換部１６にて復号された画像は、１フレームずつフレームバッファ２２に格納される。

動き検出部１８は、指定されたオブジェクトの位置を検出し、ＲＯＩ設定部２０に出力する。オブジェクトの指定は、ユーザがしてもよいし、ユーザが指定したＲＯＩ領域の中から動き検出部１８が自動で認識してもよい。また、画像の全体から自動で認識してもよい。このオブジェクトの指定は、複数であってもよい。

動画像の場合、オブジェクトの位置は、動きベクトルで表すことができる。以下、動きベクトル検出方法の具体例を説明する。第１に、動き検出部１８は、ＳＲＡＭやＳＤＲＡＭなどのメモリを備え、オブジェクトの指定時にそのフレーム内にて指定されたオブジェクトの画像を、参照画像として当該メモリに保存する。参照画像として、指定位置を含む所定の大きさのブロックを保存するとよい。動き検出部１８は、当該参照画像と現フレームの画像とを比較することにより、動きベクトルを検出する。動きベクトルの算出には、ウェーブレット変換係数の高周波成分を用いて、オブジェクトの輪郭成分を特定して行うことができる。また、量子化後のウェーブレット変換係数のＭＳＢ（Most Significant Bit）ビットプレーン、もしくはＭＳＢ側から複数のビットプレーンを用いてもよい。

第２に、動き検出部１８は、現フレームと、前の、たとえば直前のフレームとを比較して、オブジェクトの動きベクトルを検出する。第３に、フレーム画像ではなく、ウェーブレット変換後のウェーブレット変換係数を比較して、動きベクトルを検出する。ウェーブレット変換係数は、ＬＬサブバンド、ＨＬサブバンド、ＬＨサブバンド、およびＨＨサブバンドのいずれを用いてもよい。また、現フレームとの比較対象は、指定時に登録された参照画像でもよいし、前の、たとえば直前のフレームから登録された参照画像であってもよい。

第４に、動き検出部１８は、複数のウェーブレット変換係数を用いて、オブジェクトの動きベクトルを検出する。たとえば、ＨＬサブバンド、ＬＨサブバンド、およびＨＨサブバンドごとに動きベクトルを検出し、それら３つの動きベクトルの平均を取ったり、その中から前フレームの動きベクトルに最も近いものを選択したりすることができる。これにより、オブジェクトの動き検出精度を高めることができる。

また、ユーザは、画像内においてこのような動きベクトルを検出する範囲を予め動き検出部１８に指定してもよい。たとえば、コンビニエンスストアなどの店舗の監視カメラで撮影した画像を復号する場合、レジから一定の範囲に入った人物などのオブジェクトを注目し、そこから出たオブジェクトの動きを注目しないといった処理も可能になる。

ＲＯＩ設定部２０は、動き検出部１８からオブジェクトの動きベクトルなどの位置情報を取得し、それに対応させてＲＯＩ領域を移動させる。動き検出部１８の検出方法により、初期設定のＲＯＩ領域の位置からの移動量、または直前のフレームからの移動量を算出し、現フレームのＲＯＩ領域の位置を決定する。このＲＯＩ設定部２０が、本発明の「画像に対して注目領域を設定する手段」の一例である。

ユーザは、ウェーブレット逆変換部１６にて復号された画像（以後、これを原画像という）に対してＲＯＩ領域の位置や大きさなどを、初期値としてＲＯＩ設定部２０に設定する。ＲＯＩ領域の位置情報は、ＲＯＩ領域が矩形で選択される場合、矩形領域の左上隅の画素の座標値と矩形領域の縦横の画素数で与えられてもよい。なお、ユーザがオブジェクトを指定した場合、もしくは動き検出部１８が動きのあるオブジェクトを自動認識した場合、ＲＯＩ設定部２０がそのオブジェクトを含む所定の範囲をＲＯＩ領域に自動設定してもよい。

ＲＯＩ領域の形は、矩形、丸、その他の複雑な形であってもよい。ＲＯＩ領域自体の形は、固定が原則であるが、画像の中心部分と周辺部分とで領域の形を可変させてもよいし、ユーザ操作により動的に可変してもよい。また、ＲＯＩ領域は複数設定されてもよい。

ユーザは、さらにＲＯＩ領域を拡大して表示する際の拡大率を初期値としてＲＯＩ設定部２０に設定する。拡大率は縦方向と横方向で異なる値を設定するようにしてもよい。また、ＲＯＩ領域が複数存在する場合は、それぞれの領域で異なる拡大率を設定するようにしてもよい。

ＲＯＩ領域拡大部２４は、ＲＯＩ設定部２０で設定されたＲＯＩ領域の位置情報を取得し、フレームバッファ２２に格納された原画像から、ＲＯＩ領域の画像を読み出す。ＲＯＩ領域拡大部２４は、読み出したＲＯＩ領域の画像に対し、ＲＯＩ設定部２０で設定された拡大率によって、拡大処理を行う。ＲＯＩ領域拡大部２４は、ＳＲＡＭもしくはＳＤＲＡＭといったメモリを具備しており、拡大されたＲＯＩ領域のデータをこのメモリに保存する。

ＲＯＩ領域が複数設定されている場合は、すべてのＲＯＩ領域の画像をフレームバッファ２２から読み出し、それぞれの領域に対して設定された拡大率で拡大処理を行ってもよいし、一部のＲＯＩ領域だけを読み出して拡大処理を行ってもよい。このＲＯＩ領域拡大部２４が、本発明の「注目領域を拡大する手段」の一例である。また、動き検出部１８とＲＯＩ設定部２０とＲＯＩ領域拡大部２４のそれぞれの機能を組み合わせが、本発明の「注目領域内のオブジェクトの動きに前記拡大された注目領域を追従せしめる手段」の一例となる。

表示画像生成部２６は、フレームバッファ２２から原画像を読み出す一方、原画像上に設定されたＲＯＩ領域とその周辺領域の位置に相当する画像に対しては、フレームバッファ２２から読み出す代わりに、ＲＯＩ領域拡大部２４で保存されている拡大されたＲＯＩ領域のデータを読み出して表示装置５０で表示する画像を生成する。

ＲＯＩ領域が複数設定されている場合は、ＲＯＩ領域拡大部２４で拡大されたすべてのＲＯＩ領域のデータを原画像の代わりに読み出して表示画像を生成する。このとき、複数のＲＯＩ領域が重なる領域が発生した場合は、優先順位の高いＲＯＩ領域のデータを読み出すことによって、優先順位の高いＲＯＩ領域が前面に表示されるようになっている。この優先順位は、例えば、ＲＯＩ領域ごとに定められた拡大率の大小や、拡大後のＲＯＩ領域の大きさによって決定される。若しくは、手動でＲＯＩ領域ごとに優先順位を設定できるようにしてもよい。なお、この表示画像生成部２６と表示装置５０が、本発明の「画像を表示する手段」の一例である。

図３は、原画像上に設定したＲＯＩ領域に対して、拡大されたＲＯＩ領域の位置関係の一例を示したものである。例えば、図３（ａ）は、原画像１上に設定されたＲＯＩ領域（２ａ、２ｂ）の中心と、拡大されたＲＯＩ領域（３ａ、３ｂ）の中心が常に一致する関係にある。図３（ｂ）は、原画像１上に設定されたＲＯＩ領域の左上（２ａ、２ｂ）と、拡大されたＲＯＩ領域の左上（３ａ、３ｂ）が常に一致する関係にある。図３（ｃ）は、原画像１の中心付近にＲＯＩ領域が設定された場合は、そのＲＯＩ領域（２ｂ）の中心と拡大されたＲＯＩ領域（３ｂ）の中心が一致し、原画像１の左側の領域にＲＯＩ領域が設定された場合は、原画像１上に設定されたＲＯＩ領域（２ａ）と拡大されたＲＯＩ領域（３ａ）の左端が、原画像１の右側の領域にＲＯＩ領域が設定された場合は、原画像１上に設定されたＲＯＩ領域（２ｃ）と拡大されたＲＯＩ領域（３ｃ）の右端が、原画像１の上側の領域にＲＯＩ領域が設定された場合は、原画像１上に設定されたＲＯＩ領域（２ａ）と拡大されたＲＯＩ領域の上端（３ａ）が、原画像１の下側の領域にＲＯＩ領域が設定された場合は、原画像１上に設定されたＲＯＩ領域（２ｃ）と拡大されたＲＯＩ領域（３ｃ）の下端が一致するような関係を有している。ユーザは、この初期値として原画像上に設定されたＲＯＩ領域の位置と拡大されたＲＯＩ領域の表示位置の関係を表示画像生成部２６に対して設定してもよい。

図３（ａ）及び（ｂ）の例では、拡大されたＲＯＩ領域の一部が原画像１からはみ出す場合もある。この場合、拡大されたＲＯＩ領域が原画像１からはみ出さないように表示位置を調整してもよい。

なお、図３において、拡大されたＲＯＩ領域が表示される領域（３ａ、３ｂ、３ｃ）内で、且つ原画像上に設定されたＲＯＩ領域（２ａ、２ｂ、２ｃ）ではない領域が、前述の「ＲＯＩ領域の周辺領域」となる。

斯かる構成に基づき、図１に示した画像処理装置１００の動作を以下に説明する。画像処理装置１００に入力された符号化画像は、符号化データ抽出部１０、エントロピー復号部１２、逆量子化部１４、ウェーブレット変換部１６を経て復号され、復号された画像はフレームバッファ２２に格納される。ユーザによってＲＯＩ領域の表示が指示されていない場合、フレームバッファ２２に格納された画像が、表示画像生成部２６を通してそのまま表示装置５０に表示される。

一方、ユーザがＲＯＩ領域の表示を指示した場合、ＲＯＩ設定部２０は前述の方法でＲＯＩ領域の初期位置や大きさを決め、フレームバッファ２２に格納された復号画像に対してＲＯＩ領域を設定する。さらに、符号化画像から動画像を連続的に復号するにしたがって、設定したＲＯＩ領域に含まれる注目するオブジェクトの動きを動き検出部１８によって検出し、ＲＯＩ設定部２０によってこのオブジェクトの動きに合わせてＲＯＩ領域を追従させて、動画像を構成する各々の画像に対しＲＯＩ領域を設定する。

次に、ＲＯＩ領域拡大部２４は、フレームバッファ２２からＲＯＩ設定部２０で設定されたＲＯＩ領域の画像を読み出して拡大処理をし、拡大されたＲＯＩ領域のデータを保存しておく。そして、表示画像生成部２６は、フレームバッファ２２に格納された画像を読み出すとともに、原画像上のＲＯＩ領域とその周辺領域については、フレームバッファ２２の画像の代わりにＲＯＩ領域拡大部２４で保存された拡大されたＲＯＩ領域のデータを読み出して表示用画像を生成する。この表示用画像が表示装置５０によって表示される。

以上のように、本実施の形態の画像処理装置１００によれば、符号化画像に対してＲＯＩ領域を設定し、このＲＯＩ領域を拡大して表示装置５０に表示することができるとともに、ＲＯＩ領域中の注目するオブジェクトが動いた場合、このオブジェクトに自動追従してＲＯＩ領域が移動する。これにより、ユーザの注目するオブジェクトを容易に際立たせることができる。

（実施の形態２）
図４は、実施の形態２に係る画像処理装置１１０の構成図である。この画像処理装置１１０は、実施の形態１に係る画像処理装置１００の逆量子化部１４とＲＯＩ設定部２０が逆量子化部２８とＲＯＩ設定部３０に置き換えられた構成である。実施の形態１と同じ構成については同符号を付し、説明を省略する。

ＲＯＩ設定部３０は、ＲＯＩ設定部２０と同様の動作をするほか、ＲＯＩ設定情報をもとに、ＲＯＩ領域に対応するウェーブレット変換係数すなわちＲＯＩ変換係数を特定するためのＲＯＩマスクも生成する。逆量子化部２８は、非注目領域（以下、非ＲＯＩ領域という。）に対するＲＯＩ領域の相対的な優先度に応じて、非ＲＯＩ領域に対応する上記ウェーブレット変換係数のビット列において零値に置換する下位ビット数を調整する。次に、上記ＲＯＩマスクを参照して、エントロピー復号部１２により復号されたウェーブレット変換係数の内、非ＲＯＩ変換係数のＬＳＢ（Least Significant Bit）側から所定ビット数分を零に置換する処理を行う。

ここで、零に置換するビット数は、非ＲＯＩ領域における量子化値の最大ビット数を上限とする任意の自然数である。このビット数を変化させることにより、ＲＯＩ領域に対する非ＲＯＩ領域の再生画質の劣化度合いを連続的に調整することができる。そして、逆量子化部２８は、ＲＯＩ変換係数と下位ビットが零置換された非ＲＯＩ変換係数を含むウェーブレット変換係数を逆量子化する。ウェーブレット逆変換部１６は、逆量子化されたウェーブレット変換係数を逆変換し、得られた復号画像をフレームバッファ２２へ出力する。

図５（ａ）〜（ｃ）は、ＲＯＩ設定部３０により生成されるＲＯＩマスクを説明する図である。図５（ａ）のように、ＲＯＩ設定部３０により原画像８０上にＲＯＩ領域９０が選択されたとする。ＲＯＩ設定部３０は、原画像８０上に選択されたＲＯＩ領域９０を復元するために必要なウェーブレット変換係数を各サブバンドにおいて特定する。

図５（ｂ）は、原画像８０を１回だけウェーブレット変換することにより得られる第１階層の変換画像８２を示す。第１階層の変換画像８２は、第１レベルの４つのサブバンドＬＬ１、ＨＬ１、ＬＨ１、ＨＨ１から構成される。ＲＯＩ設定部３０は、原画像８０のＲＯＩ領域９０を復元するために必要な第１階層の変換画像８２上のウェーブレット変換係数、すなわちＲＯＩ変換係数９１〜９４を第１レベルの各サブバンドＬＬ１、ＨＬ１、ＬＨ１、ＨＨ１において特定する。

図５（ｃ）は、図５（ｂ）の変換画像８２の最低周波数成分のサブバンドＬＬ１をさらにウェーブレット変換することにより得られる第２階層の変換画像８４を示す。第２階層の変換画像８４は、同図のように、第１レベルの３つのサブバンドＨＬ１、ＬＨ１、ＨＨ１の他、第２レベルの４つのサブバンドＬＬ２、ＨＬ２、ＬＨ２、ＨＨ２を含む。ＲＯＩ設定部３０は、第１階層の変換画像８２のサブバンドＬＬ１におけるＲＯＩ変換係数９１を復元するために必要な第２階層の変換画像８４上のウェーブレット変換係数、すなわちＲＯＩ変換係数９５〜９８を第２レベルの各サブバンドＬＬ２、ＨＬ２、ＬＨ２、ＨＨ２において特定する。

同様にして、ウェーブレット変換の回数だけＲＯＩ領域９０に対応するＲＯＩ変換係数を各階層において再帰的に特定していくことにより、最終階層の変換画像において、ＲＯＩ領域９０を復元するために必要なＲＯＩ変換係数をすべて特定することができる。ＲＯＩ設定部３０は、この最終的に特定されたＲＯＩ変換係数の位置を最終階層の変換画像上で特定するためのＲＯＩマスクを生成する。たとえば、ウェーブレット変換を２回だけ行う場合には、図５（ｃ）において斜線で示した７個のＲＯＩ変換係数９２〜９８の位置を特定することのできるＲＯＩマスクが生成される。

図６（ａ）〜（ｃ）は、符号化画像の復号後におけるウェーブレット変換係数の下位ビットが零置換される様子を示す。図６（ａ）は、エントロピー復号された画像のウェーブレット変換係数７４であり、５ビットプレーンを含む。図６（ｂ）において、ＲＯＩ設定部３０により指定されたＲＯＩ領域に対応するＲＯＩ変換係数を斜線で示す。逆量子化部２８は、図６（ｃ）のように、非ＲＯＩ変換係数の下位２ビットを零に置換したウェーブレット変換係数７６を生成する。

なお、ＲＯＩ設定部３０はＲＯＩ領域を選択する代わりに、非ＲＯＩ領域を選択してもよい。たとえば、人物の顔や車のナンバープレートなどの個人情報が写っている領域にぼかしを入れたい場合はその領域を非ＲＯＩ領域として選択する。この場合、非ＲＯＩ変換係数を特定するマスクを反転させて、ＲＯＩ変換係数を特定するマスクを生成することができる。あるいは、非ＲＯＩ変換係数を特定するマスクを逆量子化部２８に与えてもよい。

画像処理装置１１０に動画像の符号化フレームが連続的に入力される場合、画像処理装置１１０に次のような動作をさせることもできる。画像処理装置１１０は、通常時は処理負荷を減らすために、ウェーブレット変換係数の下位のビットプレーンを適宜破棄して再生する簡易再生を行う。これにより、画像処理装置１１０の処理性能に制約がある場合でも、下位ビットプレーンを破棄しているため、たとえば３０フレーム／秒で簡易再生が可能である。

簡易再生中に、画像上のＲＯＩ領域が選択された場合、画像処理装置１１０は、非ＲＯＩ領域の下位ビットが零置換された状態のウェーブレット変換係数に対して、最下位のビットプレーンまで復号して画像を再生する。このとき、処理負荷が高くなるため、１５フレーム／秒などにコマ落ちさせた状態か、スロー再生の状態になることもあるが、ＲＯＩ領域を高画質に拡大して再生することができる。

このようにして、ＲＯＩ領域が選択されたときは、非ＲＯＩ領域は簡易再生と同程度の品質のまま、ＲＯＩ領域だけをより高い品質で拡大して再生することができる。監視映像のように、平常時には高い品質を求めず、異常時にのみ注目箇所を高い品質で拡大して再生したい場合に有用である。また、モバイル端末で動画像を再生する場合には、電池寿命の観点から、節電モードでは動画を低品質で再生し、必要に応じてＲＯＩ領域だけを高画質に拡大して再生するといった使い方もできる。

以上、本実施の形態の画像処理装置１１０によれば、符号化画像に対してＲＯＩ領域を設定し、非ＲＯＩ領域に対応するウェーブレット変換係数の下位ビットを零に置換することにより、相対的にＲＯＩ領域の画質を非ＲＯＩ領域よりも高く復号できるため、ＲＯＩ領域を高画質で拡大して表示することができ、ユーザの注目するオブジェクトをさらに容易に際立たせることができる。また、ＲＯＩ領域だけを優先的に復号するため、通常の復号処理より処理量を減らすことができる。したがって、処理を高速化することができ、また、消費電力を削減することもできる。

（実施の形態３）
図７は、実施の形態３に係る画像処理装置１２０の構成図である。この画像処理装置１２０は、実施の形態１に係る画像処理装置１００のウェーブレット逆変換部１６、ＲＯＩ領域拡大部２４および表示画像生成部２６が、ウェーブレット変換部３２、ＲＯＩ領域拡大部３４および表示画像生成部３６に置き換えられた構成である。実施の形態１と同じ構成については同符号を付し、説明を省略する。

ウェーブレット逆変換部３２は、ウェーブレット逆変換処理を途中の段階で止め、その段階で得られる低解像度のＬＬ画像をフレームバッファ２４に送る。ＲＯＩ設定部２０にてＲＯＩ領域が特定されると、このＲＯＩ領域だけウェーブレット逆変換を最後まで行い、高解像度の画像を得る。この高解像度の画像はフレームバッファ２４に送られ、前述のＬＬ画像とは別の領域に格納される。

ＲＯＩ領域拡大部３４は、フレームバッファ２４に格納された高解像度に復号されたＲＯＩ領域を読み出し、ＲＯＩ設定部２０で設定された拡大率にしたがって拡大処理される。表示画像生成部３６は、フレームバッファ２４に格納されたＬＬ画像を原画像の大きさまで拡大処理した後、ＲＯＩ領域拡大部３４で拡大されたＲＯＩ領域を重ね合わせて、表示装置５０で表示する画像を生成する。

画像処理装置１２０に動画像の符号化フレームが連続的に入力される場合、実施の形態２と同様に、画像処理装置１２０に次のような動作をさせることもできる。画像処理装置１２０は、通常時は処理負荷を減らすために、ウェーブレット逆変換を途中の段階で止め、途中段階で得られる低解像度の画像を再生する簡易再生を行う。これにより、画像処理装置１２０の処理性能に制約がある場合でも、ウェーブレット逆変換を途中で止めているため、たとえば３０フレーム／秒で簡易再生が可能である。

簡易再生中に、画像上のＲＯＩ領域が選択された場合、画像処理装置１２０は、非ＲＯＩ領域は通常時と同様、ウェーブレット逆変換を途中の段階で止め、途中段階で得られる低解像度の画像を再生し、ＲＯＩ領域は最後までウェーブレット逆変換を行って高解像度の画像を復号し、それを拡大処理して画像を再生する。このとき、処理負荷が高くなるため、１５フレーム／秒などにコマ落ちさせた状態か、スロー再生の状態になることもあるが、ＲＯＩ領域を高画質に拡大して再生することができる。

このようにして、ＲＯＩ領域が選択されたときは、非ＲＯＩ領域は簡易再生と同程度の品質のまま、ＲＯＩ領域だけをより高い品質で拡大して再生することができる。監視映像のように、平常時には高い品質を求めず、異常時にのみ注目箇所を高い品質で拡大して再生したい場合に有用である。また、モバイル端末で動画像を再生する場合には、電池寿命の観点から、節電モードでは動画を低品質で再生し、必要に応じてＲＯＩ領域だけを高画質に拡大して再生するといった使い方もできる。

以上、本実施の形態の画像処理装置１２０によれば、符号化画像に対してＲＯＩ領域を設定し、非ＲＯＩ領域のウェーブレット逆変換を途中で止め、ＲＯＩ領域のウェーブレット逆変換を最後まで行うことにより、相対的にＲＯＩ領域の解像度を非ＲＯＩ領域よりも高く復号でき、ＲＯＩ領域を拡大しても細かくきれいに表示することができるため、ユーザの注目するオブジェクトをさらに容易に際立たせることができる。また、ＲＯＩ領域だけを優先的に復号するため、通常の復号処理より処理量を減らすことができる。したがって、処理を高速化することができ、また、消費電力を削減することもできる。

（実施の形態４）
図８は、実施の形態４に係る画像処理装置１３０の構成図である。この画像処理装置１３０は、実施の形態１に係る画像処理装置１００のＲＯＩ領域拡大部２４と表示画像生成部２６が、ＲＯＩ領域拡大部３８と表示画像生成部４０に置き換えられた構成である。実施の形態１と同じ構成については同符号を付し、説明を省略する。

ＲＯＩ領域拡大部３８は、拡大されたＲＯＩ領域を保存するためのメモリを具備しておらず、拡大されたＲＯＩ領域のデータは、フレームバッファ２２に書き戻す。この時、フレームバッファ２２に格納された画像の注目領域とこの注目領域の周辺領域に相当するデータを、拡大されたＲＯＩ領域のデータで上書きする。

表示画像生成部４０は、フレームバッファ２２から、拡大されたＲＯＩ領域のデータを上書きした画像データを読み出し、これを表示画像として表示装置５０に表示させる。

以上、本実施の形態の画像処理装置１３０によれば、注目領域を拡大した画像を容易に表示できるほか、拡大された注目領域に相当するデータを別途保存しておく必要がないため、注目領域を拡大するために必要なメモリの容量を削減することができる。

（実施の形態５）
図９は、実施の形態４に係る撮像装置３００の構成図である。撮像装置３００の例として、デジタルカメラ、デジタルビデオカメラ、監視カメラなどが挙げられる。

撮像部３１０は、たとえばＣＣＤ（Charge Coupled Device）などを備え、被写体からの光を取り込んで電気信号に変換し、符号化ブロック３２０に出力する。符号化ブロック３２０は、撮像部３１０から入力された原画像を符号化し、符号化された画像を記憶部３３０に格納する。符号化ブロック３２０に入力される原画像は、動画像フレームであってもよく、動画像フレームが連続的に符号化され、記憶部３３０に格納されてもよい。

復号ブロック３４０は、符号化画像を記憶部３３０から読み出し、復号して表示装置３５０に与える。記憶部３３０から読み出される符号化画像は、動画像の符号化フレームであってもよい。復号ブロック３４０は、実施の形態１〜４の画像処理装置１００、１１０、１２０、１３０のいずれかの構成をもち、記憶部３３０に格納された符号化画像を復号する。また、操作部３６０から画面上に設定されたＲＯＩ領域の情報を受け取り、ＲＯＩ領域を拡大した画像を生成する。

表示装置３５０は、液晶ディスプレイまたは有機ＥＬディスプレイなどを備え、復号ブロック３４０により復号された画像をそこに表示する。操作部３６０は、ユーザ操作により、表示部３５０の画像内においてＲＯＩ領域や注目するオブジェクトを指定することができる。たとえば、ユーザは、画像内のカーソルや枠を十字キーなどで移動させたり、タッチパネル方式のディスプレイを採用して、スタイラスペンなどで指定してもよい。操作部３６０は、その他、シャッターボタンや各種の操作ボタンを搭載してもよい。

以上、本実施の形態の撮像装置３００によれば、ユーザの注目するオブジェクトを容易に際立たせることができる撮像装置を提供することができる。

図１０は、以上に説明してきたＲＯＩ領域の追従処理の第１例を示す図である。図１０（ａ）は、画像内においてユーザが注目するオブジェクトを指定している様子を示す。十字のカーソルでユーザが注目する人物Ａを指定している。図１０（ｂ）は、画像内においてＲＯＩ領域を設定している様子を示す。枠に囲まれている領域がＲＯＩ領域である。ＲＯＩ領域は、ユーザ操作により初期設定されてもよいし、指定されたオブジェクトを含む所定の領域に自動で初期設定されてもよい。図１０（ｃ）は、人物Ａが移動し、ＲＯＩ領域から外れた様子を示す。図１０（ｄ）は、人物Ａの動きにＲＯＩ領域も追従している様子を示す。人物Ａの動きベクトルを検出して、それに対応させてＲＯＩ領域も移動させる。

図１１は、ＲＯＩ領域の追従処理の第２例を示す図である。図１１（ａ）は、第１例の手順と異なり、画像内においてユーザがＲＯＩ領域を設定している様子を示す。人物Ａおよび人物Ｂの内、人物Ａをユーザが注目するオブジェクトに設定している。なお、ＲＯＩ領域は複数設定してもよい。図１１（ｂ）は、ＲＯＩ領域内においてユーザが注目するオブジェクトを指定している様子を示す。ユーザが指定してもよいし、自動で認識してもよい。図１１（ｃ）は、人物Ａが移動し、その動きにＲＯＩ領域が追従している様子を示す。人物Ｂの動きはユーザが注目するオブジェクトに指定していないのでＲＯＩ領域の移動に影響しない。

図１２は、ＲＯＩ領域の追従処理の第３例を示す図である。図１２（ａ）は、ＲＯＩ領域が追従する範囲を設定している様子を示す。図中の大枠がその範囲を示す。図１２（ｂ）は、ＲＯＩ領域を設定している様子を示す。このＲＯＩ領域は、設定した大枠の中でしか移動しない。図１２（ｃ）は、人物Ａが移動し、大枠の外に出てしまった様子を示す。ＲＯＩ領域は、大枠の範囲で人物Ａの追従を行うため、途中で追従終了となる。なお、ユーザの注目するオブジェクトが大枠を出たら、撮影などを終了する処理にしてもよい。たとえば、監視カメラの場合、一定範囲の領域に侵入した人物を特に記録することが必要であり、その範囲内で人物などのオブジェクトの画質が維持されていればよい。第３例はこのような場合に適用でき、第１例および第２例より処理量をさらに削減することができる。

なお、実施の形態５に係る撮像装置３００は、指定されたオブジェクトにＲＯＩ領域を追従させる処理をしながら、動画像を撮影して記録媒体に記録などできることはいうまでもない。また、その最中にユーザが操作部３６０から操作して、ＲＯＩ領域の設定解除、再設定を行ってもよい。ＲＯＩ領域が解除されると、画像内のすべての領域が同じビットレートで符号化される。なお、ユーザのその操作により動画像撮影が一時停止、再開してもよい。さらに、指定されたオブジェクトにＲＯＩ領域を追従させる処理中に、ユーザが操作部３６０のシャッターボタンを押下などすることにより、静止画を撮影できてもよい。その静止画は、ＲＯＩ領域が高画質で、非ＲＯＩ領域が低画質のものとなる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形も本発明の範囲にあることは当業者に理解されるところである。そのような変形例を以下に示す。

上記の実施の形態では、ＪＰＥＧ２０００方式で連続的に符号化した動画像の符号化ストリームを復号しているが、ＪＰＥＧ２０００方式に限らず、要は、動画像の符号化ストリームを復号する方式であればよい。

上記の実施の形態２において、ユーザがＲＯＩ設定部３０に複数のＲＯＩ領域を設定する場合、ＲＯＩ領域ごとに異なる画質を設定してもよい。非ＲＯＩ変換係数の下位ビットの零置換数を調整することにより、種々のレベルの画質を実現することができる。

上記の実施の形態３において、ユーザがＲＯＩ設定部２０に複数のＲＯＩ領域を設定する場合、ＲＯＩ領域のウェーブレット逆変換をすべて最後まで行うのではなく、ＲＯＩ領域ごとに異なる段階で止めてもよい。これにより、種々のレベルの解像度に基づいてＲＯＩ領域を拡大することができ、それぞれの画質を異ならせることができる。

上記の実施の形態２では、符号化画像の復号後におけるウェーブレット変換係数の下位ビットを零置換することにより、ＲＯＩ領域と非ＲＯＩ領域とを異なる画質にした。この点、パス毎に独立して符号化されている場合には、可変長の復号を途中で打ち切る手法を用いることができる。ＪＰＥＧ２０００方式では、ビットプレーン内の各係数ビットとして、Ｓパス（significance propagation pass）、Ｒパス（magnitude refinement pass）、Ｃパス（cleanup pass）の３種類の処理パスが使用される。Ｓパスでは、有意である係数が周囲に存在する有意でない係数の復号が行われ、Ｒパスでは、有意である係数の復号が行われ、Ｃパスでは、残りの係数の復号が行われる。Ｓパス、Ｒパス、Ｃパスの各処理パスはこの順に画像の画質への寄与度が大きい。各処理パスはこの順に実行され、各係数のコンテクストが近傍係数の情報を考慮して決定される。この手法によれば、零置換する必要もないため、処理量をさらに少なくすることができる。

実施の形態１に係る画像処理装置の構成を示す図である。 （ａ）は原画像にＲＯＩ領域を設定した状態を示し、（ｂ）は拡大したＲＯＩ領域を原画像に設定したＲＯＩ領域の位置に重ね合わせた状態を示す。 原画像上に設定したＲＯＩ領域と、拡大されたＲＯＩ領域の位置関係を示したものである。 実施の形態２に係る画像処理装置の構成を示す図である。 （ａ）は原画像上にＲＯＩ領域を設定した状態を示し、（ｂ）は原画像を１回だけウェーブレット変換することにより得られる第１階層の変換画像を示し、（ｃ）は（ｂ）の変換画像のサブバンドＬＬ１をさらにウェーブレット変換することにより得られる第２階層の変換画像を示す。 （ａ）は復号画像のウェーブレット変換係数を示し、（ｂ）はＲＯＩ変換係数および非ＲＯＩ変換係数を示し、（ｃ）は非ＲＯＩ変換係数の下位２ビットを零に置換している様子を示す。 実施の形態３に係る画像処理装置の構成を示す図である。 実施の形態４に係る画像処理装置の構成を示す図である。 実施の形態５に係る撮像装置の構成を示す図である。 （ａ）は画像内においてユーザが注目するオブジェクトを指定している様子を示し、（ｂ）は画像内においてＲＯＩ領域を設定している様子を示し、（ｃ）はオブジェクトがＲＯＩ領域から外れた様子を示し、（ｄ）はオブジェクトの動きにＲＯＩ領域が追従している様子を示す。 （ａ）は画像内においてユーザがＲＯＩ領域を設定している様子を示し、（ｂ）はＲＯＩ領域内においてユーザが注目するオブジェクトを指定している様子を示し、（ｃ）はオブジェクトの動きにＲＯＩ領域が追従している様子を示す。 （ａ）はＲＯＩ領域が追従する範囲を設定している様子を示し、（ｂ）はＲＯＩ領域を設定している様子を示し、（ｃ）はオブジェクトが移動し大枠の外に出てしまった様子を示す。

符号の説明

１０ 符号化データ抽出部
１２ エントロピー復号部
１４ 逆量子化部
１６ ウェーブレット逆変換部
１８ 動き検出部
２０ ＲＯＩ設定部
２２ フレームバッファ
２４ ＲＯＩ領域拡大部
２６ 表示画像生成部
２８ 逆量子化部
３０ ＲＯＩ設定部
３２ ウェーブレット逆変換部
３４ ＲＯＩ領域拡大部
３６ 表示画像生成部
３８ ＲＯＩ領域拡大部
４０ 表示画像生成部
１００ 画像復号装置
１１０ 画像復号装置
１２０ 画像復号装置
１３０ 画像復号装置
３００ 撮像装置
３１０ 撮像部
３２０ 符号化ブロック
３３０ 記憶部
３４０ 復号ブロック
３５０ 表示装置
３６０ 操作部

Claims (7)

1. 画像を表示する手段と、
   前記画像に対して注目領域を設定する手段と、
   前記注目領域を拡大する手段と、
   前記注目領域内のオブジェクトの動きに、前記注目領域を拡大する手段によって拡大された注目領域を追従せしめる手段と、
   を具備し、
   前記画像に対して注目領域を設定する手段は、前記注目領域内のオブジェクトの動きに応じて前記注目領域を設定し、
   前記注目領域を拡大する手段は、前記画像のデータから前記注目領域に相当するデータを取り出して拡大処理を行い、前記拡大された注目領域に相当するデータを作成し、
   前記拡大された注目領域を追従せしめる手段は、前記注目領域内のオブジェクトの動きに前記拡大された注目領域を追従させると、前記拡大された注目領域の端が、前記画像を表示する手段の表示領域から外に出てしまう場合、前記拡大された注目領域が前記表示領域から外に出ないように、前記拡大された注目領域の中心を前記注目領域の中心より前記画像の中心方向にずらして、前記拡大された注目領域に相当するデータの表示位置を調整し、
   前記画像を表示する手段は、前記画像のデータのうち、前記拡大された注目領域が表示される領域に相当するデータの代わりに、前記拡大された注目領域に相当するデータを用いて前記画像を表示することを特徴とした画像表示装置。
2. 前記注目領域は手動で前記画像に対し設定されることを特徴とした請求項１に記載の画像表示装置。
3. 前記注目領域は前記画像内のオブジェクトの動きを検出することにより、自動で前記画像に対し設定されることを特徴とした請求項１に記載の画像表示装置。
4. 前記注目領域とそれ以外の領域とで画質を異ならせる手段を更に具備した請求項１から３のいずれかに記載の画像表示装置。
5. 前記注目領域とそれ以外の領域とで解像度を異ならせる手段を更に具備した請求項１から３のいずれかに記載の画像表示装置。
6. 前記拡大された注目領域を追従せしめる手段は、前記調整によって得られたデータを前記画像のデータとは別に保存し、
   前記画像表示手段は、前記別に保存されたデータを読み出して、前記拡大された注目領域が表示される領域に前記別に保存されたデータに基づく画像を表示することを特徴とした請求項１から５のいずれかに記載の画像表示装置。
7. 前記拡大された注目領域を追従せしめる手段は、前記拡大された注目領域が表示される領域に相当するデータを、前記調整によって得られたデータで上書きするとともに、
   前記画像表示手段は、前記上書きされたデータを読み出して画像を表示することを特徴とする請求項１から５のいずれかに記載の画像表示装置。

Images