以下、図面を参照して本発明の実施形態を説明する。
まず、図1を参照して、本発明の一実施形態に係る映像処理装置の一例としてのデジタルテレビジョン受信機11を説明する。
デジタルテレビジョン受信機11は、映像表示部14、スピーカ15、操作部16、受光部18、放送信号入力端子48,53、アナログ信号入力端子60、出力端子63,64、チューナ49,54,56、PSK復調器50、OFDM復調器55、アナログ復調器57、信号処理部51、音声処理部59、グラフィック処理部58、映像処理部62、OSD信号生成部61、制御部65等を備える。
また、放送信号入力端子48及び放送信号入力端子53には、それぞれBS/CSデジタル放送受信用アンテナ47及び地上波放送受信用アンテナ52が接続される。受光部18は、リモートコントローラ17から出力される信号を受信する。
制御部65は、デジタルテレビジョン受信機11内の各部の動作を制御する。制御部65は、CPU69、ROM66、RAM67、及び不揮発性メモリ68を備える。ROM66は、CPU69によって実行される制御プログラムを格納する。不揮発性メモリ68は、各種の設定情報及び制御情報を格納する。CPU69は、処理に必要な命令群及びデータをRAM67にロードし、処理を実行する。
制御部65には、操作部16による操作情報、もしくは受光部18で受信されるリモートコントローラ17による操作情報が入力される。制御部65は、この操作内容を反映した各部の制御を行う。
BS/CSデジタル放送受信用アンテナ47は、衛星デジタルテレビジョン放送信号を受信する。BS/CSデジタル放送受信用アンテナ47は、受信した衛星デジタルテレビジョン放送信号を、入力端子48を介して衛星デジタル放送用のチューナ49に出力する。チューナ49は、この放送信号からユーザが選択しているチャンネルの放送信号を選局する。チューナ49は、選局した放送信号をPSK復調器50に出力する。PSK(Phase Shift Keying)復調器50は、チューナ49により選局された放送信号をデジタルの映像信号及び音声信号に復調する。PSK復調器50は、復調したデジタルの映像信号及び音声信号を信号処理部51に出力する。
地上波放送受信用アンテナ52は、地上デジタルテレビジョン放送信号及び地上アナログテレビジョン放送信号を受信する。地上波放送受信用アンテナ52は、地上デジタルテレビジョン放送信号を、入力端子53を介してチューナ54に出力する。チューナ54は、この放送信号からユーザが選択しているチャンネルの放送信号を選局する。チューナ54は、選局した放送信号をOFDM復調器55に出力する。OFDM(Orthogonal Frequency Division Multiplexing)復調器55は、チューナ54により選局された放送信号をデジタルの映像信号及び音声信号に復調する。OFDM復調器55は復調したデジタルの映像信号及び音声信号を信号処理部51に出力する。
また、地上波放送受信用アンテナ52は、地上アナログテレビジョン放送信号を、入力端子53を介して地上アナログ放送用のチューナ56に出力する。チューナ56は、この放送信号からユーザが選択しているチャンネルの放送信号を選局する。チューナ56は選局した放送信号をアナログ復調器57に出力する。アナログ復調器57は、チューナ56により選局された放送信号をアナログの映像信号及び音声信号に復調する。アナログ復調器57は、復調したアナログの映像信号及び音声信号を信号処理部51に出力する。
また、信号処理部51には、入力端子60が接続される。この入力端子60は、デジタルテレビジョン受信機11に対して、外部からアナログの映像信号及び音声信号を入力するための端子である。信号処理部51は、アナログ復調器57又は入力端子60を介して入力されたアナログの映像信号及び音声信号を、それぞれデジタルの映像信号及び音声信号に変換する。
信号処理部51は、変換されたデジタルの映像信号及び音声信号、並びにPSK復調器50又はOFDM復調器55から入力されたデジタルの映像信号及び音声信号に対して所定のデジタル信号処理を施す。信号処理部51は、所定のデジタル信号処理を施した映像信号及び音声信号を、グラフィック処理部58及び音声処理部59に出力する。
グラフィック処理部58は、信号処理部51から出力されるデジタル映像信号に、OSD(On Screen Display)信号生成部61で生成されるメニュー等のOSD信号を重畳する。グラフィック処理部58は、OSD信号が重畳された映像信号を映像処理部62に出力する。また、グラフィック処理部58は、信号処理部51の出力である映像信号と、OSD信号生成部61の出力であるOSD信号とを選択的に出力してもよい。
映像処理部62は、入力されたデジタル映像信号を、映像表示部14で表示可能なアナログ映像信号に変換する。映像処理部62は、このアナログ映像信号を映像表示部14に出力する。映像表示部14は、入力されたアナログ映像信号に基づいて映像を表示する。映像処理部62はさらに、出力端子63を介してアナログ映像信号を外部に導出してもよい。
音声処理部59は、入力されたデジタル音声信号を、スピーカ15で再生可能なアナログ音声信号に変換する。音声処理部59は、このアナログ音声信号をスピーカ15に出力する。スピーカ15は、入力されたアナログ音声信号に基づいて音声を再生する。音声処理部59はさらに、出力端子64を介してアナログ音声信号を外部に導出してもよい。
信号処理部51は、ヒストグラム検出部104を備える。また、映像処理部62は、鮮鋭化処理部108を備える。信号処理部51では、処理対象の映像信号101のうち、輝度信号(Y)101aがヒストグラム検出部104に入力される。ヒストグラム検出部104は、輝度信号(Y)101aからヒストグラムを生成し、生成したヒストグラムに基づいて、鮮鋭化処理部108による鮮鋭化に用いるパラメータを生成する。映像処理部62では、映像信号101が鮮鋭化処理部108に入力される。鮮鋭化処理部108は、ヒストグラム検出部104により生成されたパラメータに基づいて、映像信号101を鮮鋭化する。
図2は、ヒストグラム検出部104及び鮮鋭化処理部108の構成を示すブロック図である。
ヒストグラム検出部104は、映像の輝度信号(Y)101aが入力されたことに応答して処理を開始する。ヒストグラム検出部104は、映像信号の画素の輝度レベルに基づいて、ヒストグラムを生成する。具体的には、ヒストグラム検出部104は、映像信号のフレーム毎に、輝度レベル毎の画素数を算出する。以下では、輝度レベルがn段階に分割されることを想定する。なお、輝度レベルの分割数nは十分に細かいものとする(例えば、n=256)。また、輝度レベル毎の画素数をDIN(i)と表す。なお、iは輝度レベルを表し、1からnの値を取り得る。
ヒストグラム検出部104は、グラフィックス判定部119及び周波数状態判定部105を備える。グラフィックス判定部119は、算出された輝度レベル毎の画素数(ヒストグラム)に基づいて、入力映像信号の性質、例えば映像信号が実写映像とグラフィックス映像のいずれであるかを判定する。実写映像とは、ビデオカメラ等を用いて撮影された映像である。グラフィックス映像とは、アニメーションやCG等を用いて作成された映像である。
ヒストグラムは、入力映像信号の性質によって異なる傾向を示す。図3及び図4はそれぞれ、実写映像の映像フレームのヒストグラムの例とグラフィックス映像の映像フレームのヒストグラムの例とを示す。
実写映像の映像フレームでは、図3に示すように、輝度レベル毎の画素数はなだらかに分布する傾向を示す。換言すると、実写映像の映像フレームでは、輝度レベル毎の画素数は連続的に変化する。したがって、隣り合う輝度レベル間で画素数が大きく変動する可能性は低い。
グラフィックス映像の映像フレームでは、図4に示すように、ピーク毎に分かれる分布をとる傾向がある。換言すると、グラフィックス映像の映像フレームでは、輝度レベル毎の画素数は離散的に変化する。したがって、隣り合う輝度レベル間で画素数が大きく変動する可能性は高い。
そこで、グラフィックス判定部119は、上述の特徴、すなわちヒストグラムの傾向を利用して入力映像信号がグラフィックス映像であるか否かを判定する。グラフィックス判定部119は、隣り合う輝度レベル間で、輝度レベル毎の画素数の差の絶対値を算出し、算出した絶対値の総和を算出し、算出した総和に基づいて入力映像信号がグラフィックス映像であるか否かを判定する。上述の特徴から、算出した総和は、実写映像では小さな値をとり、グラフィックス映像では大きな値をとる可能性が高い。したがって、グラフィックス判定部119は、図5に示すように、算出した総和が第1のしきい値TH1より大きい場合に、映像信号をグラフィックス映像であると判定し(グラフィックス判定オン)、算出した総和が第2のしきい値TH2より小さい場合に、映像信号を実写映像であると判定する(グラフィックス判定オフ)。グラフィックス判定部119は、第1のしきい値及び第2のしきい値の2つのしきい値を用いて判定を行うことによって、算出した総和がしきい値に近い値をとる際に、判定がふらつくことを抑制する。つまり、2つのしきい値を用いて判定を行うことで、グラフィックス判定部119にヒステリシス特性を持たせている。
以下では、グラフィックス判定部119による具体的な判定方法について説明する。
まず、グラフィックス判定部119は、算出された輝度レベル毎の画素数DIN(i)からしきい値αを引いた値を次式のように算出する。
DIN(i)=DIN(i)−α
但し、上式により算出されたDIN(i)が0未満である場合、
DIN(i)=0
とする。このしきい値αを用いた減算は、映像信号に含まれるノイズ成分の影響を低減するために行われる。
そして、グラフィックス判定部119は、隣り合う輝度レベル間で、算出したDIN(i)の差の絶対値を算出する。グラフィックス判定部119は、各輝度レベルについて算出したDIN(i)の差の絶対値の和D
gtotalを算出する。すなわち、グラフィックス判定部119は、次式によりD
gtotalを算出する。
次いで、グラフィックス判定部119は、算出したDgtotalに基づいて、映像信号が実写映像とグラフィックス映像のいずれであるかを判定する。グラフィックス判定部119は、Dgtotalがしきい値TH1よりも大きい場合、グラフィックス判定をオンに設定する。また、グラフィックス判定部119は、Dgtotalがしきい値TH2よりも小さい場合、グラフィックス判定をオフに設定する。グラフィックス判定部119は、上述したように、第1のしきい値TH1及び第2のしきい値TH2の2つのしきい値を用いて判定を行うことによって、算出した総和がしきい値に近い値をとる際に、判定がふらつくことを抑制する。
また、第1のしきい値TH1及び第2のしきい値TH2は、以下のように算出される。まず、ヒステリシス特性を考慮していないしきい値THが算出される。しきい値THは、例えば処理対象の映像フレームの画素数の1/16である。したがって例えば、処理対象の映像フレームが1920画素×1080画素である場合、しきい値THは、1920×1080/16=129600と算出される。第1のしきい値TH1及び第2のしきい値TH2は、算出されたしきい値THに基づき、ヒステリシス特性を考慮して決定される。したがって、第1のしきい値TH1には、例えばしきい値THに所定の値を加えた値が設定される。また、第2のしきい値TH2には、例えばしきい値THから所定の値を引いた値が設定される。
グラフィックス判定部119は、グラフィックス判定のオン又はオフを示す制御パラメータ120を、点広がり関数による補正選択部113に出力する。なお、グラフィックス判定部119による判定結果は、鮮鋭化処理部108内のみならず、デジタルテレビジョン受信機11内の各部で使用されてもよい。
周波数状態判定部105は、ヒストグラム検出部104によって生成されたフレーム毎のヒストグラムを用いて、入力された輝度信号(Y)101aの周波数状態を検出する。具体的には、周波数状態判定部105は、輝度信号(Y)101aの周波数分布に基づき、映像信号から鮮鋭化を施す成分を抽出するフィルタ制御パラメータ106と、鮮鋭化効果を決定するための鮮鋭化効果制御パラメータ(鮮鋭化効果ゲイン・微小信号コアリング制御信号)107とを生成する。周波数状態判定部105は、算出したフィルタ制御パラメータ106を鮮鋭化帯域フィルタ109に出力し、鮮鋭化効果制御パラメータ107をパラメータ調整部121に出力する。
鮮鋭化処理部108は、鮮鋭化帯域フィルタ109、差分検出部110、仮の高解像度画像生成部111、点広がり関数による補正選択部113、高解像度画像生成部114、パラメータ調整部121等を備える。鮮鋭化処理部108は、輝度信号(Y)101aを含む映像信号101が入力されたことに応答して、映像信号101に鮮鋭化処理を施す。
鮮鋭化帯域フィルタ109は、周波数状態判定部105から入力されたフィルタ制御パラメータ106に基づいて、映像信号101から鮮鋭化を施す交流成分を抽出する。鮮鋭化帯域フィルタ109は、例えば、映像信号101に含まれる、細密な模様等のあるテクスチャ部分、線や境目等のあるエッジ部分、及び背景等の平坦部分のうち、鮮鋭化を施す対象であるテクスチャ部分を抽出する。鮮鋭化帯域フィルタ109は、抽出した交流成分を差分検出部110に出力する。
点広がり関数による補正選択部113は、グラフィックス判定部119から入力された制御パラメータ120に基づいて、補正に用いる点広がり関数(撮像モデル関数)を選択する。具体的には、点広がり関数による補正選択部113は、制御パラメータ120がグラフィックス判定のオフを示す場合(映像信号が実写映像と判定された場合)に、撮像ぼけを考慮した点広がり関数を補正に用いる撮像モデル関数に設定する。一方、点広がり関数による補正選択部113は、制御パラメータ120がグラフィックス判定のオンを示す場合(映像信号がグラフィックス映像と判定された場合)に、撮像ぼけを考慮しない点広がり関数を補正に用いる撮像モデル関数に設定する。つまり、点広がり関数による補正選択部113は、制御パラメータ120が示すグラフィックス判定のオン又はオフに基づいて、撮像ぼけを考慮しない点広がり関数と撮像ぼけを考慮した点広がり関数とを切り替えて、撮像モデル関数に設定する。
図6は、実写映像及びグラフィックス映像の各々に対して用いられる撮像モデル関数の例を示す。
実写映像の映像信号には、撮影に用いるカメラ(ビデオカメラ)の撮像素子やレンズ等の性質に起因して、撮像ぼけが生じる。つまり、カメラには、撮像ぼけのない真の信号201ではなく、撮像によるぼけが生じた点広がりの信号202が捉えられる。このため、実写映像に対する撮像モデル関数には、撮像によるぼけが生じた点広がりの信号202に基づく、点広がり関数が用いられる。
一方、グラフィックス映像の映像信号は、アニメーションやCG等を用いて作成されるため、撮像ぼけが生じない。このため、グラフィックス映像に対する撮像モデル関数には、撮像によるぼけがない信号203に基づくフラットな点広がり関数が用いられる。
上述のように、実写映像及びグラフィックス映像に対して、それぞれ最適な特性を有する点広がり関数を撮像モデル関数に設定することで、それぞれの映像に適した画質処理が施された映像を生成することができる。
仮の高解像度画像生成部111は、点広がり関数による補正選択部113によって設定された撮像モデル関数に基づいて、高解像度画像生成部114から出力された画像を補正した仮の高解像度画像を生成する。仮の高解像度画像生成部111は、生成した仮の高解像度画像を差分検出部110に出力する。
差分検出部110は、仮の高解像度画像生成部111により生成された仮の高解像度画像と、鮮鋭化帯域フィルタ109により抽出された交流成分との差分を示す差分パラメータ112を生成する。差分検出部110は、生成した差分パラメータ112をパラメータ調整部121に出力する。なお、差分検出部110は、入力映像信号(オリジナルの映像信号)と、仮の高解像度画像生成部111により生成された仮の高解像度画像との差分を、差分パラメータ112として生成してもよい。
パラメータ調整部121は、差分検出部110により生成された差分パラメータ112を、周波数状態判定部105により生成された鮮鋭化効果制御パラメータ107を用いて調整し、パラメータ115を生成する。具体的には、パラメータ調整部121は、鮮鋭化効果制御パラメータ107を用いて、差分パラメータ112に対して鮮鋭化効果ゲイン及び微小信号コアリングの最適化制御を行う。パラメータ調整部121は、生成したパラメータ115を高解像度画像生成部114に出力する。
高解像度画像生成部114は、元の映像信号101にパラメータ115を加算する。高解像度画像生成部114は、上述の処理により鮮鋭化が施された映像信号116を出力する。
なお、この鮮鋭化処理は一つの映像フレームに対して繰り返し施されてもよい。鮮鋭化処理は、例えば差分検出部110により検出される差分パラメータ112がしきい値以下になるまで、繰り返し行われる。鮮鋭化処理を繰り返すことにより、精度の高い高解像度画像を生成することができる。
また、ユーザは、操作部16やリモートコントローラ17等を用いた入力によって、入力される映像信号(視聴する映像コンテンツ)が実写映像とグラフィックス映像のいずれであるかを設定してもよい。図7は、映像表示部14に表示されるアニメモード選択画面301の例を示す。
アニメモード選択画面301は、自動(おまかせ)ボタン302、オンボタン303、及びオフボタン304を備える。ユーザは、アニメモード選択画面301から、これら3つのボタンのいずれかを選択する。
自動(おまかせ)ボタン302が選択された場合、グラフィックス判定部119は、ヒストグラムに基づいて、入力映像信号が実写映像とグラフィックス映像のいずれであるかを判定する。そして、点広がり関数による補正選択部113は、判定結果に基づいて撮像モデル関数を選択する。すなわち、点広がり関数による補正選択部113は、入力映像信号が実写映像である場合には、撮像ぼけを考慮した点広がり関数を撮像モデル関数に設定し、入力映像信号がグラフィックス映像である場合には、撮像ぼけを考慮しない点広がり関数(フラットな補正のための点広がり関数)を撮像モデル関数に設定する。
オンボタン303が選択された場合、点広がり関数による補正選択部113は、撮像ぼけを考慮しない点広がり関数(フラットな補正のための点広がり関数)を撮像モデル関数に設定する。オフボタン304が選択された場合、点広がり関数による補正選択部113は、撮像ぼけを考慮した点広がり関数を撮像モデル関数に設定する。オンボタン303又はオフボタン304が選択された場合、それぞれグラフィックス判定のオンとグラフィックス判定のオフとを示す制御パラメータ120と同様のパラメータが、点広がり関数による補正選択部113に入力される。点広がり関数による補正選択部113は、入力されたパラメータに応じて、上述のように撮像モデル関数を切り替える。
このように、自動ボタン302が選択された場合には、グラフィックス判定部119によって、入力映像信号が実写映像とグラフィックス映像のいずれかであるかを自動的に判定することができ、オンボタン303又はオフボタン304が選択された場合には、グラフィックス判定のオン又はオフを手動で設定することができる。
また、グラフィックス判定部119は、入力映像信号に付加されるEPG情報(番組情報)も用いて、入力映像信号が実写映像とグラフィックス映像のいずれであるかを判定してもよい。EPG情報は、例えば、映像コンテンツ(番組)のジャンル情報を含む。例えば、映像コンテンツがアニメーション番組である場合、EPG情報には、「アニメ」を示すジャンル情報が含まれる。また例えば、映像コンテンツがニュース番組である場合、EPG情報には、「ニュース」を示すジャンル情報が含まれる。
例えば、EPG情報に含まれるジャンル情報が「アニメ」を示す場合(すなわち、入力される映像コンテンツ(入力映像信号)がアニメーション番組であることを示す場合)、グラフィックス判定部119は、図5のしきい値TH1、または、TH2もしくは、TH1、TH2共にグラフィックスONよりに可変し判定する。また例えば、EPG情報に含まれるジャンル情報が「ニュース」を示す場合(すなわち、入力される映像コンテンツ(入力映像信号)がニュース番組であることを示す場合)、グラフィックス判定部119は、図5のしきい値TH1、または、TH2もしくは、TH1、TH2共にグラフィックスOFFよりに可変し判定する。つまり、グラフィックス判定部119は、ジャンル情報に基づいて、入力映像信号が実写映像とグラフィックス映像のいずれであるかを判定するためのしきい値TH1,TH2を変更する。
上述のように、グラフィックス判定部119は、算出したDgtotalとしきい値TH1及びTH2とに基づいて、入力映像信号が実写映像とグラフィックス映像のいずれであるかを判定する。グラフィックス判定部119は、Dgtotalがしきい値TH1よりも大きい場合、グラフィックス判定をオンに設定する。また、グラフィックス判定部119は、Dgtotalがしきい値TH2よりも小さい場合、グラフィックス判定をオフに設定する。
この判定にさらにジャンル情報(EPG情報)を考慮するとき、グラフィックス判定部119は、ジャンル情報が「アニメ」等のグラフィックス映像に対応するジャンルを示す場合、しきい値TH1もしくはTH2、又はしきい値TH1及びTH2を小さく設定する。グラフィックス判定部119は、小さく設定されたしきい値に基づいて判定を行う。したがって、ジャンル情報が「アニメ」等のグラフィックス映像に対応するジャンルを示す場合、入力映像信号はグラフィックス映像である(グラフィックス判定オン)と判定されやすくなる。
また、グラフィックス判定部119は、ジャンル情報が「ニュース」等の実写映像に対応するジャンルを示す場合、しきい値TH1もしくはTH2、又はしきい値TH1及びTH2を大きく設定する。グラフィックス判定部119は、大きく設定されたしきい値に基づいて判定を行う。したがって、ジャンル情報が「ニュース」等の実写映像に対応するジャンルを示す場合、入力映像信号は実写映像である(グラフィックス判定オフ)と判定されやすくなる。
このように、入力映像信号の輝度ヒストグラムと入力映像信号に付加されるEPG情報(ジャンル情報)とを用いて、入力映像信号が実写映像とグラフィックス映像のいずれであるかを判定することにより、いずれか一方を用いて判定を行う場合よりも高精度に判定を行うことができる。
点広がり関数による補正選択部113は、EPG情報とヒストグラムとに基づくグラフィックス判定の結果に基づいて、撮像モデル関数を変更する。なお、グラフィックス判定部119は、EPG情報とヒストグラムのいずれか一方に基づいて、入力映像信号が実写映像とグラフィックス映像のいずれであるかを判定してもよい。
図8は、ヒストグラム検出部104による処理結果を用いた、鮮鋭化処理部108による鮮鋭化処理の手順の例を示すフローチャートである。
まず、ヒストグラム検出部104及び鮮鋭化処理部108に映像信号が入力される(ステップS101)。ヒストグラム検出部104には、映像信号101に含まれる輝度信号(Y)101aが入力される。鮮鋭化処理部108には、映像信号101が入力される。
次に、ヒストグラム検出部104は、画素の輝度レベルに基づいて、入力された輝度信号101aからフレーム毎にヒストグラムを生成する(ステップS102)。具体的には、ヒストグラム検出部104は、輝度信号(Y)101aに含まれるフレーム毎の画素を、輝度レベル毎にカウントすることによって輝度レベル毎の画素数を算出する。
そして、グラフィックス判定部119は、算出された輝度レベル毎の画素数(ヒストグラム)に基づいて、映像信号が実写映像とグラフィックス映像のいずれであるかを判定する(ステップS103)。グラフィックス判定部119によるグラフィックス判定処理の手順は、図9に示すフローチャートを参照して後述する。
次いで、点広がり関数による補正選択部113は、グラフィックス判定の結果に基づいて、補正に用いる点広がり関数(撮像モデル関数)を選択する(ステップS104)。具体的には、点広がり関数による補正選択部113は、制御パラメータ120がグラフィックス判定のオフを示す場合(映像信号が実写映像と判定された場合)に、撮像ぼけを考慮した点広がり関数を、補正に用いる撮像モデル関数に設定する。一方、点広がり関数による補正選択部113は、制御パラメータ120がグラフィックス判定のオンを示す場合(映像信号がグラフィックス映像と判定された場合)に、撮像ぼけを考慮しない点広がり関数を、補正に用いる撮像モデル関数に設定する。
仮の高解像度画像生成部111は、点広がり関数による補正選択部113によって設定された撮像モデル関数に基づいて、高解像度画像生成部114が保持する画像を補正し、仮の高解像度画像を生成する(ステップS105)。なお、高解像度画像生成部114が保持する高解像度画像は、初期状態では入力映像信号による画像である。
ステップS103からステップS105までの処理と並行して、周波数状態判定部107は、ヒストグラム検出部104によって生成されたフレーム毎のヒストグラムを用いて、入力された輝度信号(Y)101aの周波数状態を検出する(ステップS106)。具体的には、周波数状態判定部105は、輝度信号(Y)101aの周波数分布に基づき、映像信号から鮮鋭化を施す成分を抽出するフィルタ制御パラメータ106と、鮮鋭化効果を決定するための鮮鋭化効果制御パラメータ(効果ゲイン・微小信号コアリング制御信号)107とを生成する。周波数状態判定部105は、算出したフィルタ制御パラメータ106を鮮鋭化帯域フィルタ109に出力し、鮮鋭化効果制御パラメータ107をパラメータ調整部121に出力する。
鮮鋭化帯域フィルタ109は、周波数状態判定部105から入力されたフィルタ制御パラメータ106に基づいて、映像信号101から鮮鋭化を施す交流成分を抽出する(ステップS107)。鮮鋭化帯域フィルタ109は、抽出した交流成分を差分検出部110に出力する。
次いで、差分検出部110は、仮の高解像度画像生成部111により生成された仮の高解像度画像と、鮮鋭化帯域フィルタ109により抽出された交流成分との差分を示す差分パラメータ112を生成する(ステップS108)。差分検出部110は、生成した差分パラメータ112をパラメータ調整部121に出力する。
パラメータ調整部121は、差分検出部110により生成された差分パラメータ112を、周波数状態判定部105により生成された鮮鋭化効果制御パラメータ107を用いて調整する(ステップS109)。パラメータ調整部121は、調整されたパラメータ115を高解像度画像生成部114に出力する。
高解像度画像生成部114は、元の映像信号101にパラメータ115を加算して、高解像度画像を生成する(ステップS110)。そして、高解像度画像生成部114は、差分検出部110により検出された差分がしきい値より大きいか否かを判定する(ステップS111)。差分がしきい値より大きい場合(ステップS111のYES)、ステップS105に戻る。差分がしきい値以下である場合(ステップS111のNO)、高解像度画像生成部114は生成した高解像度画像を出力する(ステップS112)。
図9は、図10に示すフローチャートのステップS103に対応するグラフィックス判定処理の手順の例を示すフローチャートである。グラフィックス判定部119は、テレビジョン受信機11に入力される映像信号が、実写映像とグラフィックス映像のいずれであるかを判定する。グラフィックス判定部119は、入力映像信号が実写映像である場合にはグラフィックス判定をオフに設定し、入力信号がグラフィックス映像である場合にはグラフィックス判定をオンに設定する。
まず、グラフィックス判定部119は、輝度のダイナミックレンジをn個に分割して、n段階の輝度レベルに基づくヒストグラムを生成する(ステップS201)。グラフィックス判定部119は、輝度信号101aに含まれるフレーム毎の画素を、輝度レベル毎にカウントすることによって、輝度レベル毎の画素数DIN(1)〜DIN(n)を算出する。
次に、グラフィックス判定部119は、判定に用いる変数Dgtotalを初期化する(ステップS202)。グラフィックス判定部119は、Dgtotalに0を設定する。
そして、グラフィックス判定部119は、繰り返し処理(ループA)のための変数iに1を設定する(ステップS203)。なお、変数iは1からn−1の値を取り得る。
グラフィックス判定部119は、DIN(i)及びDIN(i+1)から、それぞれしきい値αを減算したDINA及びDINBを算出する(ステップS204)。DINAが負の値である場合、グラフィックス判定部119はDINAに0を設定する。同様に、DINBが負の値である場合、グラフィックス判定部119はDINBに0を設定する。そして、グラフィックス判定部119は、変数Dgtotalに設定されている値に、DINAとDINBとの差の絶対値を加算した値を設定する(ステップS205)。
次いで、グラフィックス判定部119は、変数iが(n−1)以上であるか否かを判定する(ステップS206)。変数iが(n−1)以上でない場合、グラフィックス判定部119は、変数iに1を加えて、ループA(ステップS203からステップS206)の処理を再度実行する。
変数iが(n−1)以上である場合、グラフィックス判定部119は、ループAの処理を終了する。そして、グラフィックス判定部119は、Dgtotalがしきい値TH1より大きいか否かを判定する(ステップS207)。Dgtotalがしきい値TH1より大きい場合(ステップS207のYES)、グラフィックス判定部119は、グラフィックス判定をオンに設定する(ステップS208)。
Dgtotalがしきい値TH1以下である場合(ステップS207のNO)、グラフィックス判定部119は、Dgtotalがしきい値TH2未満であるか否かを判定する(ステップS209)。Dgtotalがしきい値TH2未満である場合(ステップS209のYES)、グラフィックス判定部119は、グラフィックス判定をオフに設定する(ステップS210)。また、Dgtotalがしきい値TH2以上である場合(ステップS209のNO)、グラフィックス判定部119は、グラフィックス判定を一つ前の映像フレームに対する判定結果のままに維持する。この際、処理対象のフレーム(現在のフレーム)が映像信号の先頭のフレームである場合、グラフィックス判定はオフに設定される。つまり、グラフィックス判定の初期値はオフに設定されている。
以上の処理により、グラフィックス判定部119は、入力映像信号が実写映像とグラフィックス映像のいずれであるかを判定し、入力映像信号が実写映像である場合にはグラフィックス判定をオフに設定し、入力信号がグラフィックス映像である場合にはグラフィックス判定をオンに設定する。鮮鋭化処理部108は、グラフィックス判定に応じて撮像モデル関数を変更し(切り替え)、入力映像信号に適した鮮鋭化処理(再構成処理)を施す。つまり、鮮鋭化処理部108は、グラフィックス判定がオフである場合(入力映像信号が実写映像である場合)には、撮像ぼけを考慮した点広がり関数を撮像モデル関数に設定して鮮鋭化処理を行う。また、鮮鋭化処理部108は、グラフィックス判定がオンである場合(入力映像信号がグラフィックス映像である場合)には、撮像ぼけを考慮しない点広がり関数を撮像モデル関数に設定して鮮鋭化処理を行う。入力映像信号に対して、当該入力映像信号の性質に応じた鮮鋭化処理を施すことにより、画質を向上させることができる。
図10は、本実施形態の映像処理装置の変形例を示す、ヒストグラム検出部104及び鮮鋭化処理部108の構成を示すブロック図である。本実施形態の変形例における鮮鋭化処理部108は、入力映像信号をアップコンバートする機能を有する。これは例えば、DVDビデオなどのSD映像、又は地上デジタル放送などの準高解像度映像を高解像度映像に変換する際に用いられる。したがって、本実施形態の変形例では、入力映像信号にアップコンバート処理(スケーリング処理)を施し、このアップコンバート処理を施した映像信号に対して鮮鋭化を行う。本実施形態の変形例における鮮鋭化処理部108は、仮の高解像度画像生成部122をさらに具備し、図2に示す仮の高解像度画像生成部111に替えて、仮の低解像度画像生成部123を備える。
仮の高解像度画像生成部122は、入力映像信号をアップコンバートする。仮の高解像度画像生成部122は、第1解像度の入力映像信号(低解像度画像)を、映像表示部14に表示される映像の解像度である、第1解像度よりも高い第2解像度の映像信号(高解像度画像)に変換する。仮の高解像度画像生成部122は、アップコンバートした映像信号を高解像度画像生成部114に出力する。
仮の低解像度画像生成部123は、高解像度画像生成部114から出力された高解像度画像に対して、撮像モデル関数に基づく補正及びダウンコンバートを施す。仮の低解像度画像生成部123は、ダウンコンバートによって、第2解像度の高解像度画像を第1解像度の低解像度画像に変換する。仮の低解像度画像生成部123は、ダウンコンバートされた画像(映像信号)を差分検出部110に出力する。
差分検出部110は、仮の低解像度画像生成部123により生成された仮の高解像度画像と、鮮鋭化帯域フィルタ109により抽出された交流成分との差分を示す差分パラメータ112を生成する。差分検出部110は、生成した差分パラメータ112をパラメータ調整部121に出力する。
パラメータ調整部121は、差分検出部110により生成された差分パラメータ112を、周波数状態判定部105により生成された鮮鋭化効果制御パラメータ107を用いて調整し、パラメータ115を生成する。パラメータ調整部121は、生成したパラメータ115を高解像度画像生成部114に出力する。
高解像度画像生成部114は、元の映像信号101にパラメータ115を加算する。高解像度画像生成部114は、上述の処理により鮮鋭化が施された映像信号116を出力する。
図11は、図10に示す本実施形態の映像処理装置の変形例による鮮鋭化処理の手順の例を示すフローチャートである。
まず、信号処理部51及び映像処理部62は、それぞれヒストグラム検出部104及び鮮鋭化処理部108に映像信号を入力する(ステップS301)。信号処理部51は、ヒストグラム検出部104に映像信号101に含まれる輝度信号(Y)101aを入力する。映像処理部62は、鮮鋭化処理部108に映像信号101を入力する。
次に、仮の高解像度画像生成部122は、映像信号をアップコンバートして仮の高解像度画像を生成する(ステップS302)。そして、仮の高解像度画像生成部122は、アップコンバートした映像信号を高解像度画像生成部114に出力する。
ヒストグラム検出部104は、画素の輝度レベルに基づいて、入力された輝度信号101aからフレーム毎にヒストグラムを生成する(ステップS303)。具体的には、ヒストグラム検出部104は、輝度信号(Y)101aに含まれるフレーム毎の画素を、輝度レベル毎にカウントすることによって輝度レベル毎の画素数を算出する。
そして、グラフィックス判定部119は、算出された輝度レベル毎の画素数(ヒストグラム)に基づいて、映像信号が実写映像とグラフィックス映像のいずれであるかを判定する(ステップS304)。グラフィックス判定部119によるグラフィックス判定処理の手順は、図9に示すフローチャートを参照して後述する。
次いで、点広がり関数による補正選択部113は、グラフィックス判定の結果に基づいて、補正に用いる点広がり関数(撮像モデル関数)を選択する(ステップS305)。具体的には、点広がり関数による補正選択部113は、制御パラメータ120がグラフィックス判定のオフを示す場合(映像信号が実写映像と判定された場合)に、撮像ぼけを考慮した点広がり関数を、補正に用いる撮像モデル関数に設定する。一方、点広がり関数による補正選択部113は、制御パラメータ120がグラフィックス判定のオンを示す場合(映像信号がグラフィックス映像と判定された場合)に、撮像ぼけを考慮しない点広がり関数を、補正に用いる撮像モデル関数に設定する。
仮の低解像度画像生成部123は、高解像度画像生成部114が保持する画像に対して、点広がり関数による補正選択部113によって設定された撮像モデル関数に基づく補正と、ダウンコンバートとを施した仮の低解像度画像を生成する(ステップS306)。なお、高解像度画像生成部114が保持する高解像度画像は、初期状態では仮の高解像度画像生成部122から入力された仮の高解像度画像である。また、仮の低解像度画像生成部123により生成された仮の低解像度画像の解像度は、元の映像信号(入力映像信号)の解像度と同じである。
ステップS304からステップS306までの処理と並行して、周波数状態判定部107は、ヒストグラム検出部104によって生成されたフレーム毎のヒストグラムを用いて、入力された輝度信号(Y)101aの周波数状態を検出する(ステップS307)。具体的には、周波数状態判定部105は、輝度信号(Y)101aの周波数分布に基づき、映像信号から鮮鋭化を施す成分を抽出するフィルタ制御パラメータ106と、鮮鋭化効果を決定するための鮮鋭化効果制御パラメータ(効果ゲイン・微小信号コアリング制御信号)107とを生成する。周波数状態判定部105は、算出したフィルタ制御パラメータ106を鮮鋭化帯域フィルタ109に出力し、鮮鋭化効果制御パラメータ107をパラメータ調整部121に出力する。
鮮鋭化帯域フィルタ109は、周波数状態判定部105から入力されたフィルタ制御パラメータ106に基づいて、映像信号101から鮮鋭化を施す交流成分を抽出する(ステップS308)。鮮鋭化帯域フィルタ109は、抽出した交流成分を差分検出部110に出力する。
次いで、差分検出部110は、仮の高解像度画像生成部111により生成された仮の高解像度画像と、鮮鋭化帯域フィルタ109により抽出された交流成分との差分を示す差分パラメータ112を生成する(ステップS309)。差分検出部110は、生成した差分パラメータ112をパラメータ調整部121に出力する。
パラメータ調整部121は、差分検出部110により生成された差分パラメータ112を、周波数状態判定部105により生成された鮮鋭化効果制御パラメータ107を用いて調整する(ステップS310)。パラメータ調整部121は、調整されたパラメータ115を高解像度画像生成部114に出力する。
高解像度画像生成部114は、元の映像信号101にパラメータ115を加算して、高解像度画像を生成する(ステップS311)。そして、高解像度画像生成部114は、差分検出部110により検出された差分がしきい値より大きいか否かを判定する(ステップS312)。差分がしきい値より大きい場合(ステップS312のYES)、ステップS305に戻る。差分がしきい値以下である場合(ステップS312のNO)、高解像度画像生成部114は生成した高解像度画像を出力する(ステップS313)。
以上の処理により、本実施形態の変形例の映像処理装置は、入力映像信号(低解像度画像)にアップコンバート処理を施し、このアップコンバート処理を施した映像信号に対して鮮鋭化を行った高解像度画像を生成できる。その際、鮮鋭化処理部108は、グラフィックス判定に応じて撮像モデル関数を切り替え、入力映像信号に適した鮮鋭化処理(再構成処理)を施すことができる。本実施形態の変形例の映像処理装置は、入力映像信号の解像度を上げ、さらに、当該入力映像信号の性質に応じた鮮鋭化処理を施すことにより、画質を向上させることができる。
なお、本実施形態では、ヒストグラム検出部104を信号処理部51に設け、鮮鋭化処理部108を映像処理部62に設ける例について説明したが、ヒストグラム検出部104及び鮮鋭化処理部108を信号処理部51に設けてもよい。
以上説明したように、本実施形態によれば、映像の性質に応じた画質処理を施すことができる。グラフィックス判定部119は、入力映像信号が実写映像とグラフィックス映像のいずれであるかを判定し、入力映像信号が実写映像である場合にはグラフィックス判定をオフに設定し、入力信号がグラフィックス映像である場合にはグラフィックス判定をオンに設定する。鮮鋭化処理部108は、グラフィックス判定に応じて撮像モデル関数を切り替え、入力映像信号に適した鮮鋭化処理(再構成処理)を施す。これにより、ユーザは、入力映像信号の性質、すなわち映像コンテンツの内容に応じて、最適な画質処理が施された映像を視聴することができる。
なお、上述の説明では、入力映像信号を実写映像とグラフィックス映像のいずれであるかを判定して、撮像モデル関数を切り替える例について述べたが、実写映像とグラフィックス映像とに限らず、さらに細分化された映像の性質(内容)に基づいて、それぞれに適した撮像モデル関数を設定してもよい。
また本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。