JP5044518B2

JP5044518B2 - 画像処理装置及びコンピュータ端末

Info

Publication number: JP5044518B2
Application number: JP2008238333A
Authority: JP
Inventors: 弘史森
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2008-09-17
Filing date: 2008-09-17
Publication date: 2012-10-10
Anticipated expiration: 2028-09-17
Also published as: JP2010074408A; US8102912B2; US20100067572A1

Description

本発明は、ＴＶ（Total Variation）法に基づき、動画像を構成する各フレームの分離演算に関する。

従来、動画像を構成するフレームの分離手法として、ＴＶ法が知られている。フレームに対してＴＶ法に基づく信号分離演算を実行すると、当該フレームは骨格信号成分とテクスチャ（変動）信号成分とに分離される。

例えば、特許文献１記載には、ＴＶ法を用いて原画像をカートゥーン画像ｕとテクスチャ画像ｖに分解し、カートゥーン画像ｕを用いて動きベクトルを求める技術が開示されている。
特開２００８−２７２２１号公報

ＴＶ法は、繰り返し処理を利用した非線形最適化手法の１つであって、繰り返し回数には経験的／実験的に求められた値が設定されることが多い。しかしながら、動画像を構成するフレームに対してＴＶ法に基づく処理を行う際、適切な初期値を定めなければ、繰り返し回数（演算量）を削減したとしても信号分離の精度を維持するのが難しく、特許文献１では、ＴＶ法を利用する画像処理装置は記載されているものの、どのような初期値が適切であるかという点は検討されていない。

従って、本発明は動画像を構成するフレームにＴＶ法を用いる場合、適切な初期値を定めることにより、信号の分離精度を維持しつつ信号分離演算の演算量を削減可能な画像処理装置を提供することを目的とする。

本発明の一態様に係る画像処理装置は、符号化された複数のフレームが多重化された符号化ストリームを復号し、フレームを得るデコーダと、前記フレームを参照フレームとして記憶する記憶部と、前記フレームに動き探索処理を行って、当該フレームと前記記憶部に記憶されている参照フレームとの間の動きベクトルを決定する動き探索部と、前記動き探索処理の結果に基づき、前記フレームと参照フレームとの間の相関値、及び前記フレームに対しＴＶ法に従う信号分離演算を繰り返し実行する回数を示す繰り返し回数を決定する決定部と、前記相関値に応じて、０ベクトル又は前記動き探索部で決定された動きベクトルに基づいて得られたテクスチャ画像の勾配信号値を初期勾配信号値として生成する生成部と、前記初期勾配信号値を初期値として、前記フレームに対して前記繰り返し回数だけ前記信号分離演算を繰り返し実行し、当該フレームを第１の骨格画像信号及び第１のテクスチャ画像信号に分離する分離部と、前記第１の骨格画像信号に対する輪郭強調処理及び前記第１のテクスチャ画像信号に対するノイズ除去処理の少なくとも一方を行って、第２の骨格画像信号及び第２のテクスチャ画像信号を得る画像処理部と、前記第２の骨格画像信号及び前記第２のテクスチャ画像信号を合成し、出力するためのフレームを生成する合成部とを具備する。

本発明の他の態様に係るコンピュータ端末は、記憶部と；符号化された複数のフレームが多重化された符号化ストリームを復号し、フレームを得る手段、前記フレームを参照フレームとして前記記憶部に記憶させる手段、前記フレームに動き探索処理を行って、当該フレームと前記記憶部に記憶された参照フレームとの間の動きベクトルを決定する手段、前記動き探索処理の結果に基づき、前記フレームと前記参照フレームとの間の相関の強弱を示す相関値、及び前記フレームに対しＴＶ法に従う信号分離演算を繰り返し実行する回数を示す繰り返し回数を決定する手段、前記相関値に応じて、０ベクトル又は前記動き探索部で決定された動きベクトルに基づいて得られた勾配信号値を初期勾配信号値として生成する手段、前記初期勾配信号値を初期値として、前記フレームに対して前記繰り返し回数だけ前記信号分離演算を繰り返し実行し、当該フレームを第１の骨格画像信号及び第１のテクスチャ画像信号に分離する手段、前記第１の骨格画像信号に対する輪郭強調処理及び前記第１のテクスチャ画像信号に対するノイズ除去処理の少なくとも一方を行って、第２の骨格画像信号及び第２のテクスチャ画像信号を得る手段、前記第２の骨格画像信号及び前記第２のテクスチャ画像信号を合成し、出力するためのフレームを生成する手段として機能するプロセッサと；前記出力するためのフレームを表示する表示部と；を具備する。

本発明によれば、動画像を構成するフレームにＴＶ法を用いる場合、適切な初期値を定めることにより、信号の分離精度を維持しつつ信号分離演算の演算量を削減可能な画像処理装置を提供できる。

以下、図面を参照して、本発明の実施形態について説明する。
（第１の実施形態）
図２に示すように、本発明の第１の実施形態に係る画像処理装置は、デコーダ１０１、動き探索部１０２、参照フレームメモリ１０３、演算パラメータ決定部１０４、初期勾配信号生成部１０５、信号分離部１０６、勾配信号保存部１０７、輪郭強調処理部１０８、ノイズ除去部１０９及び信号合成部１１０を有する。

デコーダ１０１には、図示しないチューナまたはファイルシステムから符号化ストリームが入力される。この符号化ストリームは、例えばＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４／ＡＶＣ等の動画像符号化方式に従って符号化されたフレーム（以下、単にフレームと呼ぶ。）が多重化されている。デコーダ１０１は、上記動画像を構成するフレームの符号化に用いられた符号化方式に対応する復号処理を行って、複数のフレームを得、各フレームを動き探索部１０２及び信号分離部１０６に入力する。なお、復号処理によって得たフレームは、例えばＹＵＶ形式またはＲＧＢ形式で表現される。

また、上記動画像符号化方式において、動きベクトルを利用したフレーム間動き補償予測処理が行われている場合には、通常、当該動きベクトルも符号化されて符号化ストリームに格納されている。従って、デコーダ１０１は符号化ストリームに多重化されている符号化された動きベクトルを復号することで得た動きベクトル（ＭＶc）を前記フレームと併せて動き探索部１０２に入力してもよい。

動き探索部１０２は、デコーダ１０１からのフレームに対して動き探索処理を行う。このとき、動き探索処理の処理単位は、例えばフレームを所定のブロックサイズ（例えば矩形状）で分割したブロックである。なお、動き探索部１０２は、デコーダ１０１から動きベクトルＭＶcが入力されていればこの動きベクトルＭＶcによって指定されるブロックを探索中心とすることができる。

動き探索部１０２は、参照フレームメモリ１０３から読み出した参照フレームから上記動きベクトルＭＶcによって特定されるブロックを中心とする所定の動き探索範囲内に含まれる参照ブロックと、上記復号して得たフレームから分割したブロックとのブロックマッチングに基づいて最適な動きベクトルＭＶtを選択する。なお、このブロックマッチングでは所定のコスト関数に基づいてＳＡＤ（差分絶対値和）等のコスト値を順次算出し、このコスト値の最も小さくなる動きベクトルＭＶtを選択する。このようにして動きベクトルＭＶtおよびコスト値が求まると、動き探索部１０２は、動きベクトルＭＶtを初期勾配信号生成部１０５に、そして、コスト値を演算パラメータ決定部１０４に、それぞれ入力する。なお、参照フレームは、時間的に過去のフレームであってもよいし、未来のフレームであってもよい。また、上記参照フレームは、１枚であってもよいし、複数枚であってもよい。

なお、動き探索部１０２は、デコーダ１０１から動きベクトルＭＶcを取得できない場合は、処理対象となるブロックの同一位置を探索中心として動きベクトルＭＶtを探索すればよい。

参照フレームメモリ１０３には、動き探索部１０２からフレームが入力され、動き探索部１０２の探索で参照される参照フレームとして記憶される。

演算パラメータ決定部１０４は、動き探索部１０２から入力されるコスト値に応じ、信号分離部１０６が行う信号分離演算における繰り返し回数Iterationを決定し、信号分離部１０６に入力する。また、演算パラメータ決定部１０４は、動き探索部１０２から入力されるコスト値に応じ、フレームと参照フレームとの間の相関の強弱を示す相関指標を決定し、初期勾配信号生成部１０５に通知する。なお、上記繰り返し回数Iteration及び相関指標の詳細は後述する。

初期勾配信号生成部１０５は、信号分離部１０６が行う信号分離演算における初期値として使用される勾配信号値（振動母関数と呼ばれることもある。）を生成し、信号分離部１０６に入力する。具体的には、初期勾配信号生成部１０５が生成し得る勾配信号値は、動き探索部１０２から入力される動きベクトルＭＶtに基づく勾配信号値、または、０（０ベクトル）である。なお、勾配信号の詳細は後述する。初期勾配信号生成部１０５は、演算パラメータ決定部１０４から通知される相関指標に基づき、動きベクトルＭＶtに基づく勾配信号値及び０のいずれか一方を信号分離部１０６に入力する。なお、動きベクトルＭＶtに基づく勾配値とは、例えば、勾配信号保存部１０７に保存されている時間的に１つ前の勾配信号値において当該動きベクトルＭＶtによって指定されるブロックに対応する勾配信号値である。

信号分離部１０６は、初期勾配信号生成部１０５からの勾配信号値と、演算パラメータ決定部１０４からの繰り返し回数Iterationとに基づき、デコーダ１０１から入力したフレームに対してＴＶ法に基づく信号分離演算を実行して信号成分を分離して骨格信号とテクスチャ信号を得、骨格信号を輪郭強調処理部１０８に、そしてテクスチャ信号をノイズ除去部１０９に入力する。また、信号分離部１０６は、繰り返し回数Iterationに基づき算出された勾配信号値を勾配信号保存部１０７に入力する。なお、信号分離部１０６は、復号画像信号がＹＵＶ形式であれば、人間の視覚特性として識別感度の高いＹ信号（輝度信号）のみを分離演算の対象とし、演算量を削減してもよい。

以下、ＴＶ法に基づく信号分離演算を簡単に述べる。ＴＶ法に基づく信号分離演算の詳細は文献「"Journal of Mathematical Imaging and Vision 20:pp89-97, 2004", A. Chmbolle」を参照されたい。
任意のフレーム内の座標（ｘ，ｙ）における復号画像信号の画素値ｆ（ｘ，ｙ）と、当該復号画像信号の骨格成分ｕ（ｘ，ｙ）と、当該復号画像信号のテクスチャ成分ｖ（ｘ，ｙ）とは、以下の数式（１）を満たす。

数式（１）において、ｕ（ｘ，ｙ）が一様な輝度領域と、エッジ領域とで構成される信号であると仮定すれば、ｆ（ｘ，ｙ）からのｕ（ｘ，ｙ）の復元問題は、有界変動空間ＢＶにおけるエネルギー汎関数の最小化問題として定式化される。即ち、テクスチャ信号ｖ（ｘ，ｙ）は、数式（２）によって導出される。

数式（２）においてベクトルｐ（ｐの上に→を表示した記号を指す）は勾配信号である。ｐ¹ _x,yは勾配信号値のｘ成分、ｐ² _x,yは勾配信号値のｙ成分を夫々示す。width及びheightは、フレームの幅サイズ及び高さサイズを夫々示す。λは分離演算に関する定数である。

初期勾配信号生成部１０５からの勾配信号値が０である場合には、信号分離部１０６は数式（３）に示すように勾配信号値の初期値に０ベクトルを代入する。

一方、初期勾配信号生成部１０５からの勾配信号値が動きベクトルＭＶtに基づいて勾配信号保存部１０７から選択された勾配信号値の場合は、信号分離部１０６はこの勾配信号値を初期値として代入する。

また、信号分離演算をｉ＋１回（ｉは０以上の任意の整数）繰り返して得られる勾配信号値ｐ（ｉ＋１）は、信号分離演算をｉ回繰り返して得られる勾配信号値ｐ（ｉ）に基づき、次の数式（４）を用いて導出できる。

数式（４）において、τは収束性に関する定数である。信号分離部１０６は、演算パラメータ決定部１０４からの繰り返し回数Iterationに従って、上記数式（４）に示す演算を繰り返し実行し、勾配信号値ｐ（Iteration）を算出し、この勾配信号値ｐ（Iteration）を数式（２）に代入してテクスチャ信号ｖ（ｘ，ｙ）を、更にこのテクスチャ信号ｖ（ｘ，ｙ）を数式（１）に代入して骨格信号ｕ（ｘ，ｙ）を算出する。

勾配信号保存部１０７には、信号分離部１０６で求めた勾配信号値が、例えばフレーム単位で記憶され、前述したように初期勾配信号生成部１０５によって適宜読み出される。なお、勾配信号保存部１０７に記憶される勾配信号値には、前述の通り勾配信号値のＸ成分とＹ成分があり、それぞれの成分についてフレームを構成する各画素の位置に対応させた配置で管理されている。つまり、勾配信号値のＸ成分で構成されるフレームとＹ成分で構成されるフレームとして管理される。

ノイズ除去部１０９は、信号分離部１０６からのテクスチャ信号に対して例えばガウシアンフィルタ処理、メディアンフィルタ処理、平均値フィルタ処理、軟判定閾値処理等の画像処理において一般的に用いられるノイズ除去処理を行い、ノイズ除去処理したテクスチャ信号を信号合成部１１０に入力する。なお、本実施形態に係る画像処理装置を実施するにあたり、ノイズ除去部１０９によるノイズ除去処理を選択的に実行／省略したり、実行するノイズ除去処理を切り替えたり、ノイズ除去部１０９を取り除いてもよい。

輪郭強調処理部１０８は、信号分離部１０６からの骨格信号に対して例えばラプラシアンフィルタ処理、Sobelフィルタ処理等の画像処理において一般的に用いられる輪郭強調処理を行い、輪郭強調処理した骨格信号を信号合成部１１０に入力する。なお、本実施形態に係る画像処理装置を実施するにあたり、輪郭強調処理部１０８による輪郭強調処理を選択的に実行／省略したり、実行する輪郭強調処理を切り替えたり、輪郭強調部１０８を取り除いてもよい。

信号合成部１１０は、輪郭強調処理部１０８からの骨格信号と、ノイズ除去部１０９からのテクスチャ信号とを合成し、出力用のフレームを生成する。この出力用のフレームは、図示しない表示制御部によって制御される表示部に表示される。

以下、図３を用いて図２の画像処理装置の動作を説明する。
まず、デコーダ１０１は、入力された符号化ストリームを復号し、フレームおよび動きベクトルＭＶcを生成し（ステップＳ２０１）、フレームを動き探索部１０２および信号分離部１０６へ、そして動きベクトルＭＶcを動き探索部１０２へそれぞれ入力する。なお、デコーダ１０１で生成されたフレームの各画素値は、ｆ（ｔ，ｘ，ｙ）で表現され、ｔはフレームの時間的位置（例えば、フレーム番号）、ｘ及びｙは画素の空間的位置（例えばｔに対応するフレーム内の幅方向及び高さ方向の座標）を示している。

次に、動き探索部１０２は、所定のブロックサイズでフレームを分割することでブロックＢ（ｍ，ｎ）を生成し、このブロックＢ（ｍ，ｎ）に基づいて動き探索処理を行い、ブロックＢ（ｍ，ｎ）に対する最適な動きベクトルＭＶt及びコスト値を求める（Ｓ２０２）。なお、ブロックＢ（ｍ，ｎ）の、ｍ及びｎは、フレーム中の当該ブロックの位置を示す値であり、それぞれ幅方向及び高さ方向の位置である。

なお、ステップＳ２０２における動き探索処理の具体的態様の一例として、例えば文献「Ｈ．２６４／ＡＶＣ教科書（インプレス）」に開示されている手法が利用可能である。即ち、動き探索部１０２は、参照フレームから切り出した参照ブロックと、フレームから抽出したブロックＢ（ｍ，ｎ）に基づいて所定のコスト関数を最小とする参照ブロックを探索し、両ブロックの間の空間的シフト量を最適な動きベクトルＭＶtとして求めることができる。そして、動き探索部１０２は、上記コスト関数の最小値、即ち、最適な動きベクトルＭＶtに対応するコスト値を演算パラメータ決定部１０４に入力する。

なお、動き探索部１０２は、ブロックＢ（ｍ，ｎ）と参照ブロックの差分値と、ブロックＢ（ｍ，ｎ）の動きベクトルと、このブロックＢ（ｍ，ｎ）に隣接するブロックのそれぞれの動きベクトルとの差分値との加重和をコスト関数として用いることができる。

なお、ブロックＢ（ｍ，ｎ）と参照ブロックとの差分値は、処理対象のブロックＢ（ｍ，ｎ）と、参照フレームから動きベクトルＭＶtから求まる動きベクトル候補ＭＶによって特定される参照ブロックとの間の差分絶対値和（ＳＡＤ；Sum of Absolute Difference）または差分二乗和（ＳＳＤ；Sum of Square Difference）であり、また、ブロックＢ（ｍ，ｎ）の動きベクトルと、このブロックＢ（ｍ，ｎ）に隣接するブロックの動きベクトルとの差分値は、例えば、動きベクトル候補ＭＶと、処理対象ブロック画像信号Ｂ（ｍ，ｎ）の左側に隣接するブロック及び上側に隣接するブロックの動きベクトルの各々との差分和である。上記コスト関数として、例えば次の数式（５）が利用可能である。

数式（５）において、SAD(MV)は、ブロックＢ（ｍ，ｎ）と、参照フレームから動きベクトル候補ＭＶによって特定される参照ブロックとの間のＳＡＤを表す。また、Diff(MV)は、動きベクトル候補ＭＶと、ブロックＢ（ｍ，ｎ）の左側に隣接するブロック及び上側に隣接するブロックの動きベクトルの各々との差分和を表す。また、λは重み係数である。動き探索部１０２は、最適な動きベクトルＭＶtに対応するコスト値Cost（ｍ，ｎ）を演算パラメータ決定部１０４に入力する。

演算量の観点から、通常、動きベクトル候補ＭＶは、参照フレームにおいて探索中心を基準とする探索範囲内に包含されるブロックを特定するものに限られる。なお、上記探索中心は、ブロックＢ（ｍ，ｎ）と同一位置のブロックであってもよいし、ステップＳ２０１においてブロックＢ（ｍ，ｎ）に関する動きベクトルＭＶcが得られていれば、この動きベクトルＭＶcによって特定されるブロックであってもよい。

上記例において、動き探索部１０２は、処理単位を矩形ブロックとしていたが、Warping予測等の手法を用いて任意形状の画像信号に対する動き探索処理を行ってもよい。

一方、動き探索部１０２は、上記探索処理と平行してデコーダ１０１から受信したフレームを参照フレームメモリ１０３に記憶させる（ステップＳ２０３）。
次に、演算パラメータ決定部１０４は、ステップＳ２０２において算出されたコスト値Cost（ｍ，ｎ）に応じ、繰り返し回数Iteration及び相関指標を決定する（ステップＳ２０４）。なお、ステップＳ２０４における具体的処理は後述する。

次に、初期勾配信号生成部１０５は、ステップＳ２０４において決定された相関指標に基づいて勾配信号値を生成する（ステップＳ２０５）。なお、ステップＳ２０５における具体的処理は後述する。

次に、信号分離部１０６は、ステップＳ２０５において生成された勾配信号値と、ステップＳ２０４において決定された繰り返し回数Iterationとに基づき、デコーダ１０１からのフレームに対してＴＶ法に基づく信号分離演算を実行して信号成分を分離する（ステップＳ２０６）。

次に、輪郭強調処理部１０８は、ステップＳ２０６において分離された骨格信号に対して輪郭強調処理を行う（ステップＳ２０７）。また、ノイズ除去部１０９は、ステップＳ２０６において分離されたテクスチャ信号に対してノイズ除去処理を行う（ステップＳ２０８）。なお、一方が省略されてもよい。

次に、信号合成部１０９は、ステップＳ２０７において輪郭強調処理が行われた骨格信号と、ステップＳ２０８においてノイズ除去処理が行われたテクスチャ信号とを合成し、出力画像信号を生成し（ステップＳ２０９）、処理は終了する。

以下、図４を用いて本実施形態に係る演算パラメータ１０４で求められる繰り返し回数iterationの決定処理を説明する。
まず、処理対象のフレームを分割して得た各ブロックＢ（ｍ，ｎ）に対応するCost（ｍ，ｎ）の累積値（総和）sumCostを算出する（ステップＳ３０１）。ここで、sumCostは、フレームと参照フレームとの間の残差に相関のある値である。従って、sumCostの大小に基づいて、フレームと参照フレームとの間におけるシーンチェンジの有無を判定できる。

次に、ステップＳ３０１において算出したsumCostと、シーンチェンジの有無を判定するための閾値TH_scとを比較する（ステップＳ３０２）。なお、閾値TH_scは経験的／実験的に求められた値が設定される。そして、ステップＳ３０２において、sumCostがTH_scよりも大きければ処理はステップＳ３０３に進み、そうでなければ処理はステップＳ３０５に進む。

ステップＳ３０２でsumCostが閾値TH_scより大きいことが検出されると、ステップＳ３０３において、シーンチェンジの判定結果を示すフラグScFlagにTRUE（真）が代入される。なお、後述するように、ScFlagは相関指標であり、勾配信号値の生成に利用される。

次に、演算パラメータ決定部１０４は、繰り返し回数IterationにＭを代入し（ステップＳ３０４）、処理は終了する。ここで、Ｍは任意の自然数でよいが、勾配信号値の初期値を０とした場合にＴＶ法に基づく信号分離演算を所望の精度で実行できるように、経験的／実験的に求められた値が設定されることが望ましい。

一方、ステップＳ３０２でsumCostが閾値TH_scより小さいことが検出された場合は、ステップＳ３０５において、フラグScFlagにFALSEが代入され、そして、繰り返し回数IterationとしてＮが代入され（ステップＳ３０６）、処理は終了する。ここで、Ｎは、Ｍよりも小さい任意の自然数である。即ち、テクスチャ信号は、時間的な相関が強いことが知られており、シーンチェンジが無い場合には、処理済みのテクスチャにおける勾配信号値を初期値として利用することにより、繰り返し回数を削減したとしても高い分離精度を得ることができる。更に、Ｎには、勾配信号値の初期値をブロックＢ（ｍ，ｎ）に関する最適な動きベクトルＭＶt（ｍ，ｎ）を用いて生成した場合にＴＶ法に基づく信号分離演算を所望の精度で実行できるように、経験的／実験的に求められた値が設定されることが望ましい。

次に、図５を用いて本実施形態に係る初期勾配信号生成部１０５で求められる勾配信号値の生成処理を説明する。
まず、演算パラメータ決定部１０４から受け取った処理対象のフレームに対応するScFlagの値がTRUEかFALSEであるかを判定する（ステップＳ４０１）。ScFlagがTRUEであれば、初期勾配信号として０を設定し（ステップＳ４０２）、処理は終了する。一方、ScFlagがFALSEであれば、フレームを分割したブロック画像信号Ｂ（ｍ，ｎ）毎に最適な動きベクトルＭＶt（ｍ，ｎ）を用いて、時間的に１フレーム前で最終的に生成された勾配信号値から、動きベクトルＭＶt（ｍ，ｎ）によって特定されるブロックに対応する勾配信号値を初期勾配信号として設定し（ステップＳ４０３）、処理は終了する。

以上説明したように、本実施形態に係る画像処理装置は、処理対象のフレームと参照フレームとの間の相関の強弱を示す相関指標としてシーンチェンジの有無を示すフラグScFlagを求め、この相関指標に応じてＴＶ法に基づく信号分離演算の初期値の生成方式を切り替えている。従って、本実施形態に係る画像処理装置によれば、上記相関が強ければ（シーンチェンジ無し、と判定されていれば）、過去に存在する相関の強い画像領域で算出された勾配信号値を上記初期値として利用できるので、信号分離演算の精度を維持しつつ繰り返し回数を削減できる。

また、本実施形態に係る画像処理装置は、携帯電話機、パーソナルコンピュータ、データ通信端末等の画像再生機能を有するコンピュータ端末と一体に、例えば図１に示すハードウエア構成によって実現可能である。
無線部４２は、制御部１０からの指示に従って動作し、信号処理部４３から出力される送信信号を無線周波数帯にアップコンバートし、アンテナ４１を介して図示しない移動通信網に収容される基地局装置に無線送信したり、上記基地局装置から送信された無線信号をアンテナ４１を介して受信してベースバンド信号にダウンコンバートしたりする。

信号処理部４３は、制御部１０からの指示に従って動作し、マイクロホン４４から入力された送話音声信号を送信データに変換し、当該送信データに基づいて搬送波を変調した上記送信信号を生成したり、無線部４２から入力される上記ベースバンド信号を復調して受信データを得て、当該受信データを復号して得た受話音声信号をスピーカ４５より拡声出力したりする。

表示制御部３１は、制御部１０からの指示に従って、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ(Electro Luminescence）ディスプレイなどの表示デバイスを用いた表示部３０を駆動制御し、制御部１０から与えられる表示データに基づく画像信号を表示部３０に表示する。例えば、前述した出力画像信号は、上記表示データの一例として表示部３０に表示される。

入力部６０は、複数のキースイッチ（例えば、いわゆるテンキー）やタッチパネルなどの入力デバイスを用いて、ユーザからの要求を受理するユーザインタフェースである。
インタフェース（Ｉ／Ｆ）５１は、リムーバブルメディア５２を物理的及び電気的に接続して、データ交換を行うためのインタフェースであって、制御部１０によって制御される。リムーバブルメディア５２には、制御部１０の画像処理機能１００の処理対象となる画像信号が符号化され多重化された符号化ストリームが記憶されてもよい。

チューナ７２は、アンテナ７１を介して図示しない放送局から送信されるテレビジョン放送信号を受信し、当該放送信号に格納されている符号化ストリームを得る。当該符号化ストリームにおいて、制御部１０の画像処理機能１００の処理対象となる画像信号が符号化され多重化されている。

記憶部２０は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）、ハードディスクなどの記憶媒体であって、制御部１０の制御プログラムや制御データ、ユーザが作成した種々のデータ、そしてリムーバブルメディア５２に関わる制御データを記憶する。また、記憶部２０には、制御部１０の画像処理機能１００の処理対象となる画像信号が符号化され多重化された符号化ストリームが記憶されてもよい。記憶部２０には、制御部１０を画像処理機能１００として動作させるためのプログラムが記憶され、制御部１０は当該プログラムを実行することにより画像処理機能１００を実現する。また、記憶部２０は、制御部１０が画像処理機能１００として動作している際に、前述した参照フレームメモリ１０３及び勾配信号保存部１０７として利用されてもよい。

制御部１０は、ＣＰＵ(Central Processing Unit)等のプロセッサを備え、図１の各部を統括して制御するものであって、例えば音声通信等の種々の通信を実現する通信制御機能を有する。また、制御部１０は、画像処理機能１００を有し、当該画像処理機能１００によって本実施形態に係る画像処理装置の各部に対応する各種処理を実現する。

（第２の実施形態）
本発明の第２の実施形態に係る画像処理装置は、前述した第１の実施形態に係る画像処理装置と比べ、演算パラメータ決定処理が異なる。以下の説明では、上記第１の実施形態に関する説明と同一部分には同一符号を付して示し、異なる部分を中心に述べる。

以下、図６を用いて本実施形態に係る演算パラメータの決定処理を説明する。
まず、演算パラメータ決定部１０４は、前述したステップＳ３０１と同様に、デコーダ１０１で得たフレームを分割した各ブロックＢ（ｍ，ｎ）に対応するCost（ｍ，ｎ）の累積値（総和）sumCostを算出する（ステップＳ５０１）。

次に、演算パラメータ決定部１０４は、ステップＳ５０１において算出したsumCostと、閾値TH_sc1とを比較する（ステップＳ５０２）。閾値TH_sc1はシーンチェンジの有無を判定するための閾値であり、経験的／実験的に求められた値が設定される。ステップＳ５０２において、sumCostがTH_sc1よりも大きければ処理はステップＳ５０３に進み、そうでなければ処理はステップＳ５０５に進む。

ステップＳ５０２でsumCostが閾値TH_sc1より大きいことが検出されると、演算パラメータ決定部１０４は、フラグScFlagにTRUEを代入し（ステップＳ５０３）。次いて、繰り返し回数IterationにＮ１を代入し（ステップＳ５０４）、処理は終了する。ここで、Ｎ１は任意の自然数でよいが、勾配信号値の初期値を０とした場合にＴＶ法に基づく信号分離演算を所望の精度で実行できるように、経験的／実験的に求められた値が設定されることが望ましい。

一方、ステップＳ５０２でsumCostが閾値TH_sc1より小さいことが検出されると、演算パラメータ決定部１０４は、フラグScFlagにFALSEを代入し（ステップＳ５０５）。次いて、ステップＳ５０１において算出したsumCostと、閾値TH_sc2とを比較する（ステップＳ５０６）。ここで、閾値TH_sc2には、上記閾値TH_sc1よりも小さく、経験的／実験的に求められた値が設定される。ステップＳ５０６において、sumCostがTH_sc2よりも大きければ処理はステップＳ５０７に進み、そうでなければ処理はステップＳ５０８に進む。

ステップＳ５０６でsumCostが閾値TH_sc2より大きいことが検出されると、演算パラメータ決定部１０４は、繰り返し回数IterationにＮ２を代入し（ステップＳ５０７）、処理は終了する。ここで、Ｎ２は、Ｎ１よりも小さい任意の自然数である。更に、Ｎ２には、勾配信号値の初期値をブロックＢ（ｍ，ｎ）に関する最適な動きベクトルＭＶt（ｍ，ｎ）を用いて生成した場合にＴＶ法に基づく信号分離演算を所望の精度で実行できるように、経験的／実験的に求められた値が設定されることが望ましい。

一方、ステップＳ５０６でsumCostが閾値TH_sc2より小さいことが検出されると、演算パラメータ決定部１０４は、ステップＳ５０１において算出したsumCostと、閾値TH_sc3とを比較する（ステップＳ５０８）。ここで、閾値TH_sc3には、上記閾値TH_sc2よりも小さく、経験的／実験的に求められた値が設定される。ステップＳ５０８において、sumCostがTH_sc3より大きければ処理はステップＳ５０９に進み、そうでなければ処理はステップＳ５１０に進む。

ステップＳ５０８でsumCostが閾値TH_sc3より大きいことが検出されると、演算パラメータ決定部１０４は、繰り返し回数IterationにＮ３を代入し（ステップＳ５０９）、処理は終了する。ここで、Ｎ３は、Ｎ２よりも小さい任意の自然数であり、経験的／実験的に求められた値が設定される。一方、ステップＳ５０８でsumCostが閾値TH_sc1より小さいことが検出されると、演算パラメータ決定部１０４は、繰り返し回数IterationにＮ４を代入し（ステップＳ５１０）、処理は終了する。ここで、Ｎ４は、Ｎ３よりも小さい任意の自然数であり、経験的／実験的に求められた値が設定される。

以上説明したように、本実施形態に係る画像処理装置は、sumCostとの比較対象となる閾値を複数設け、繰り返し回数Iterationを４値の間で切り替えている。従って、本実施形態に係る画像処理装置によれば、処理対象のフレームと参照フレームとの間の相関の強弱に応じて適切な繰り返し回数Iterationを設定できるので、ＴＶ法に基づく信号分離演算の演算量をより効率的に削減できる。尚、上記説明において、繰り返し回数Iterationを４値の間で切り替え可能としているが、任意の値とすることは当然可能である。

（第３の実施形態）
本発明の第３の実施形態に係る画像処理装置は、前述した第１及び第２の実施形態に係る画像処理装置と比べ、演算パラメータの決定処理及び信号分離演算が異なる。以下の説明では、上記第１及び第２の実施形態に関する説明と同一部分には同一符号を付して示し、異なる部分を中心に述べる。

本実施形態に係る演算パラメータ決定部１０４による演算パラメータの決定処理では、フレーム単位ではなく、マクロブロック等のブロック単位で繰り返し回数Iterationが決定される。なお、ブロック単位での繰り返し回数Iterationの決定処理は、当業者であれば前述したフレーム単位での繰り返し回数Iterationの決定処理の説明に基づき適宜実施可能であるから、具体的説明を省略する。

以下、図７を用いて本実施形態に係る信号分離演算を説明する。
まず、信号分離部１０６は、デコーダ１０１から得たフレームを分割したブロックＢ（ｍ，ｎ）の各々に設定されている繰り返し回数Iteration（ｍ，ｎ）の最大値を変数IterationNumに代入し（ステップＳ６０１）、処理はステップＳ６０２に進む。なお、ステップＳ６０２以降の処理において、処理対象は各ブロックＢ（ｍ，ｎ）である。処理順序は特に問わないが、信号分離部１０６は例えばラスタ順序に従ってブロックＢ（ｍ，ｎ）を遷移させる。

信号分離部１０６は、現在の処理対象のブロックＢ（ｍ，ｎ）に設定されている繰り返し回数Iteration（ｍ，ｎ）が、変数IterationNumの値に一致するか否かを判定し（ステップＳ６０２）、繰り返し回数Iteration（ｍ，ｎ）が、変数IterationNumの値に一致すれば処理はステップＳ６０３に進み、そうでなければ処理はステップＳ６０５に進む。

ステップＳ６０２で一致との判定の場合、信号分離部１０６は、現在処理対象としているブロックＢ（ｍ，ｎ）に対して、ＴＶ法に基づく信号分離演算を１回分だけ行う（ステップＳ６０３）。そして、信号分離部１０６はｋ現在おのブロックＢ（ｍ，ｎ）に割り当てられている繰り返し回数Iterationを１デクリメントし（ステップＳ６０４）、処理はステップＳ６０５に進む。

一方、ステップＳ６０２で不一致との判定の場合、信号分離部１０６は、現在の処理対象としているブロックＢ（ｍ，ｎ）が、終端ブロックであるか否かを判定する（ステップＳ６０５）。終端ブロックは、信号分離部１０６が従う処理順序によって異なる。上記処理順序がラスタ順序であれば、処理対象フレーム内の右下隅ブロックが終端ブロックである。このブロックＢ（ｍ，ｎ）が、終端ブロックであれば処理はステップＳ６０８に進み、そうでなければ処理はステップＳ６０７に進む。なお、ステップＳ６０７では、信号分離部１０６は、所定の処理順序に従って処理対象を次のブロックに遷移させて、処理はステップＳ６０２に戻る。

ステップＳ６０５で終端ブロックであることが検出されると、信号分離部１０６は変数IterationNumを１デクリメントする（ステップＳ６０８）。次に、信号分離部１０６は、変数IterationNumが０に一致するか否かを判定する（ステップＳ６０９）。変数IterationNumが０に一致すれば処理は終了し、そうでなければ処理はステップＳ６１０に進む。ステップＳ６０９で一致と判定されると、信号分離部１０６は、所定の処理順序に従って処理対象を先頭のブロックに遷移させて、処理はステップＳ６０２に戻る。上記処理順序がラスタ順序であれば、処理対象フレーム内の左上隅ブロックが先頭のブロックである。

以上説明したように、本実施形態に係る画像処理装置は、フレーム単位でなくブロック単位で繰り返し回数Iterationを決定し、各ブロックに割り当てられている繰り返し回数の残余を平滑化するようにブロック単位の信号分離演算を１回ずつ行っている。従って、本実施形態に係る画像処理装置によれば、繰り返し回数の割り当てを更に効率化してＴＶ法に基づく信号分離演算の演算量を削減できると共に、ブロック単位の信号分離演算によって発生し得るブロック歪みを低減させることができる。

なお、本発明は上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記各実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、各実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。

その一例として例えば、上記各実施形態では、演算パラメータの決定処理において、Cost（ｍ，ｎ）の総和sumCostを評価値として利用して構成したが、ブロックＢ（ｍ，ｎ）の離散コサイン変換（ＤＣＴ；Discrete Cosine Transform）係数の絶対値和を評価値してもよい。また、ブロックＢ（ｍ，ｎ）がIntraMB等のフレーム間予測処理に基づかないブロックである場合には、最大の繰り返し回数（例えば、前述したＭまたはＮ１）を与えるようにしてもよい。

その他、本発明の要旨を逸脱しない範囲で種々の変形を施しても同様に実施可能であることはいうまでもない。

第１の実施形態に係る画像処理装置のハードウエア構成例を示すブロック図。第１の実施形態に係る画像処理装置を示すブロック図。図２の画像処理装置の行う処理を示すフローチャート。第１の実施形態に係る演算パラメータの決定処理を示すフローチャート。第１の実施形態に係る勾配信号値の生成処理を示すフローチャート。第２の実施形態に係る演算パラメータの決定処理を示すフローチャート。第３の実施形態に係る信号分離演算を示すフローチャート。

符号の説明

１０・・・制御部
２０・・・記憶部
３０・・・表示部
３１・・・表示制御部
４１・・・アンテナ
４２・・・無線部
４３・・・信号処理部
４４・・・マイクロホン
４５・・・スピーカ
５１・・・Ｉ／Ｆ
５２・・・リムーバブルメディア
６０・・・入力部
７１・・・アンテナ
７２・・・チューナ
１００・・・制御部
１０１・・・デコーダ
１０２・・・動き探索部
１０３・・・参照フレームメモリ
１０４・・・演算パラメータ決定部
１０５・・・初期勾配信号生成部
１０６・・・信号分離部
１０７・・・勾配信号保存部
１０８・・・輪郭強調処理部
１０９・・・ノイズ除去部
１１０・・・信号合成部

Claims

符号化された複数のフレームが多重化された符号化ストリームを復号し、フレームを得るデコーダと、
前記フレームを参照フレームとして記憶する記憶部と、
前記フレームに動き探索処理を行って、当該フレームと前記記憶部に記憶されている参照フレームとの間の動きベクトルを決定する動き探索部と、
前記動き探索処理の結果に基づき、前記フレームと参照フレームとの間の相関値、及び前記フレームに対しＴＶ法に従う信号分離演算を繰り返し実行する回数を示す繰り返し回数を決定する決定部と、
前記相関値に応じて、０ベクトル又は前記動き探索部で決定された動きベクトルに基づいて得られたテクスチャ画像の勾配信号値を初期勾配信号値として生成する生成部と、
前記初期勾配信号値を初期値として、前記フレームに対して前記繰り返し回数だけ前記信号分離演算を繰り返し実行し、当該フレームを第１の骨格画像信号及び第１のテクスチャ画像信号に分離する分離部と、
前記第１の骨格画像信号に対する輪郭強調処理及び前記第１のテクスチャ画像信号に対するノイズ除去処理の少なくとも一方を行って、第２の骨格画像信号及び第２のテクスチャ画像信号を得る画像処理部と、
前記第２の骨格画像信号及び前記第２のテクスチャ画像信号を合成し、出力するためのフレームを生成する合成部と
を具備することを特徴とする画像処理装置。
前記決定部は、前記フレームと前記参照フレームとの間の差分に基づく評価値と、閾値との比較結果に応じて前記相関値及び前記繰り返し回数を決定することを特徴とする請求項１記載の画像処理装置。
前記決定部は、前記相関値に基づいて相関が強いほど少なくなるように前記繰り返し回数を決定することを特徴とする請求項１記載の画像処理装置。
前記決定部は、前記フレームを分割したブロック単位に前記相関値及び前記繰り返し回数を決定し、
前記分離部は、前記ブロックの各々に割り当てられた繰り返し回数の残余を平滑化するように前記ブロックに対して前記信号分離演算を逐次実行することを特徴とする請求項１記載の画像処理装置。
記憶部と；
符号化された複数のフレームが多重化された符号化ストリームを復号し、フレームを得る手段、
前記フレームを参照フレームとして前記記憶部に記憶させる手段、
前記フレームに動き探索処理を行って、当該フレームと前記記憶部に記憶された参照フレームとの間の動きベクトルを決定する手段、
前記動き探索処理の結果に基づき、前記フレームと前記参照フレームとの間の相関の強弱を示す相関値、及び前記フレームに対しＴＶ法に従う信号分離演算を繰り返し実行する回数を示す繰り返し回数を決定する手段、
前記相関値に応じて、０ベクトル又は前記動き探索部で決定された動きベクトルに基づいて得られた勾配信号値を初期勾配信号値として生成する手段、
前記初期勾配信号値を初期値として、前記フレームに対して前記繰り返し回数だけ前記信号分離演算を繰り返し実行し、当該フレームを第１の骨格画像信号及び第１のテクスチャ画像信号に分離する手段、
前記第１の骨格画像信号に対する輪郭強調処理及び前記第１のテクスチャ画像信号に対するノイズ除去処理の少なくとも一方を行って、第２の骨格画像信号及び第２のテクスチャ画像信号を得る手段、
前記第２の骨格画像信号及び前記第２のテクスチャ画像信号を合成し、出力するためのフレームを生成する手段
として機能するプロセッサと；
前記出力するためのフレームを表示する表示部と；
を具備することを特徴とするコンピュータ端末。