JP6242157B2 - 画像処理装置及び画像処理方法、プログラム - Google Patents

Description

本発明は画像処理装置及び画像処理方法、プログラムに関し、特に、映像表示のための技術に関する。

近年、ＴＶの受像機やＰＣのモニタをはじめとして、液晶表示デバイスなどの様々な表示デバイスを備えた映像表示装置が実用化されている。映像表示装置は、Ｒ、Ｇ、Ｂ信号に代表される色成分毎の映像信号を入力し、映像信号に対してホワイトバランスやコントラスト調整などの色調整や、各種フィルタリング処理を施した後、表示デバイスへと出力して、表示する。

フィルタリング処理の代表的な手法として時間的な空間周波数分離処理やエッジ強調処理がある。「時間的な空間周波数分離処理」とは、入力映像信号のフレーム期間を複数のサブフレーム期間に分割した際に、ガウシアンフィルタなどを用いて抽出した映像の空間的高周波数成分を１つのサブフレームに局在して出力する方法である。これによって、液晶表示装置に代表されるホールド型表示装置において視認される動きぼやけを低減することが可能となる。

「エッジ強調処理」は、入力する映像信号の色成分毎にラプラシアンなどの微分演算を用いてエッジ成分を抽出し、当該エッジ成分を元の映像信号に加減算することで映像の鮮鋭化を図る処理である。

一方、エッジ強調処理を色成分毎に施すと、映像信号の色成分のバランスによってはある特定の色成分が他より強調される場合があり、その結果、色味が変化する現象がある。これは、特に映像信号の特定の色成分が最大信号レベルまたは最小信号レベル付近にある場合に、出力ダイナミックレンジによって特定の色成分の強調量が制限されるため、色味の変化が顕著となるものである。

また、エッジ強調処理の前処理において白レベルとして規定するＲ、Ｇ、Ｂの最大信号レベルをそれぞれ変更する場合がある。例えば、ホワイトバランス調整において白レベルの色味を調整する場合や、明るさ調整においてＲ、Ｇ、Ｂの取り得る最大信号レベルや最小信号レベルを変更する場合である。このような前処理を施した映像信号に対してエッジ強調処理を色成分毎に施すと、色味が変化する。一方で、さらに、前処理で規定した最大信号レベル、または最小信号レベルを逸脱し、明るさが変化して視認される場合がある。

これに対して、色成分毎に強調量を算出し、当該強調量のうち絶対値が最小となるものを各色成分に適用することで、色相の変化を抑えることが知られている（特許文献１）。

特開２００２−１５０２８３号公報

特許文献１に記載された技術は、フィルタリング処理による色味の変化を抑制することができるが、前処理で規定した最大、または最小信号レベルを超えることによって明るさの変化が生じる場合があった。

このため、フィルタリング処理による色味の変化の抑制と、前処理で規定した最大信号レベルよりも信号レベルが大きくなることによって生じる白レベルの明るさの変化を抑制する必要がある。更に、最小信号レベルよりも信号レベルが小さくなることによって生じる黒レベルの明るさの変化を抑制する必要もある。

本発明は上記課題に鑑みなされたものであり、フィルタリング処理による色味の変化をさらに抑制することが可能な技術を提供することを目的とする。

上記目的を達成するため、本発明による画像処理装置は以下の構成を有する。即ち、
複数の色成分の画素値を含む画像データを入力する入力手段と、
前記入力手段により入力された入力画像データに含まれる複数の色成分のうち１又は複数の色成分の画素値の最大値が変更されると共に、前記最大値の変更量に応じて、前記１又は複数の色成分の画素値が変更される調整処理を前記入力画像データに対して実行する調整手段と、
前記調整手段により前記入力画像データに対して調整処理が実行された調整済み画像データの複数の色成分ごとに、前記調整手段による最大値の変更量に応じた伸長処理を実行する伸長手段と、
前記伸長手段により前記調整済み画像データに対して伸長処理が実行された伸長済み画像データに対して所定の画像処理を実行する画像処理手段と、
前記画像処理手段により前記伸長済み画像データに対して前記所定の画像処理が実行された画像処理済み画像データの複数の色成分ごとに、前記伸長処理による伸長の度合いに応じた圧縮処理を実行する圧縮手段と、
前記圧縮手段により前記画像処理済み画像データに対して圧縮処理が実行された結果に基づく画像データを出力する出力手段とを有し、
前記伸長手段は、前記調整済み画像データが取り得る最大信号レベルと最小信号レベルにより定まるダイナミックレンジを、前記画像処理手段による前記所定の画像処理において扱われる信号レベルのダイナミックレンジまで伸長するための度合いに従って前記複数の色成分ごとに伸長処理を行う。

本発明によれば、フィルタリング処理による色味の変化をさらに抑制することが可能な技術を提供することができる。

映像表示装置の機能構成例を示すブロック図である。 映像信号レベルの一例を説明する図である。 映像表示装置が解決しようとする課題を説明する図である。 映像表示装置による処理手順を示すフローチャートである。 フィルタ処理部の機能構成例を示す図である。 フィルタ処理部の機能構成例を示す図である。 映像表示装置の機能構成例を示すブロック図である。 映像表示装置による処理手順を示すフローチャートである。

以下、添付図面を参照して本発明の実施の形態を詳細に説明する。

＜＜実施形態１＞＞
本実施形態に係る情報処理装置としての映像表示装置は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３つの色成分から成る映像信号を入力として、各種色調整やフィルタリング処理を行った後、表示デバイスへと出力し表示するものである。

（映像表示装置の機能構成）
図１は、本発明の第１の実施形態における映像表示装置の機能構成例を示すブロック図である。１０１は色調整部、１０２は伸長部、１０３はフィルタ処理部、１０４は圧縮部である。色調整部１０１は、Ｒ、Ｇ、Ｂの３つの色成分から成る映像信号を入力として、色相調整や明度調整などの色調整を色成分毎に行う。

伸長部１０２は色調整後の映像信号の信号レベルを色成分毎に伸長する。伸長方法はゲイン演算でもよいしＬＵＴを用いたテーブル演算でもよい。伸長度合は、色調整部１０１において色成分毎に適用される調整値に基づいて決定する。伸長度合の一例として、色調整部１０１において処理された映像信号がとり得る最大信号レベルと最小信号レベルを判定し、それぞれを後段のフィルタ処理部１０３の取り得る最大のダイナミックレンジまで色成分毎に伸長する。

フィルタ処理部１０３は、伸長後の映像信号に対して色成分毎にフィルタリング処理を行う。フィルタリング処理は、例えばエッジ強調処理である。エッジ強調処理は、２次元の空間フィルタを用いて原画像の低周波成分を抽出し、現画像との差分値を高域成分として現画像に加算することで実現する。また、ラプラシアンフィルタによって２次微分演算を行うことでエッジ成分を検出し、強調する手法もある。フィルタリング処理の一例として、本実施形態ではエッジ強調処理を用いて説明するが、エッジ強調処理に限らず、ローパスフィルタを用いたノイズ除去処理や平滑化処理、縮小、拡大、変形処理における補間処理もフィルタリング処理の一例である。

圧縮部１０４は、フィルタリング処理後の映像信号の信号レベルを色成分毎に圧縮する。圧縮方法はゲイン演算でもよいしＬＵＴを用いたテーブル演算でもよい。具体的には、伸長部１０２における伸長度合の逆数を設定することが望ましい。

なお、本実施形態に係る情報処理装置としての映像表示装置は専用の電子回路として実現されるが、映像表示装置の実現の形態はこれに限られない。例えば、プログラム可能論理回路（ＰＬＤ：Programmable Logic Device）や、パーソナルコンピュータ、ワークステーション等の汎用の情報処理装置により実現しても構わない。

（動作例）
図２を用いて動作の一例を説明する。図２は、第１の実施形態における映像信号レベルの一例を説明する図であり、Ｒ、Ｇ、Ｂそれぞれの信号レベルを模式的に示している。図２（Ａ）は色調整部１０１への入力、図２（Ｂ）は色調整部１０１の出力、図２（Ｃ）は伸長部１０２の出力、図２（Ｄ）はフィルタ処理部１０３の出力、図２（Ｅ）は圧縮部１０４の出力、である。

図中のＭｉｎ（０％）、Ｍａｘ（１００％）はそれぞれの処理部でとり得ることが可能な最小信号レベルと最大信号レベルである。また入力映像信号レベルはＲ、Ｇ、Ｂともに８０％としている（図２（Ａ））。

ここで、例えば色調整部１０１にてホワイトバランス調整を行った結果、入力映像信号の最大信号レベルが色成分に応じて一定の割合で低減したとする。低減度合は、Ｒの最大信号レベルが６０％（図中ＷＲ＿Ｍａｘ）、Ｇの最大信号レベルが８０％（図中ＷＧ＿Ｍａｘ）とする。なお、Ｂは調整されず最大信号レベルは１００％（図中ＷＢ＿Ｍａｘ）とする。

伸長部１０２では、ホワイトバランス調整後の最大信号レベルを、色調整部１０１が取り得る最大のダイナミックレンジ、またはフィルタ処理部１０３が取り得る最大のダイナミックレンジまで色成分毎に伸長する。具体的には、色調整部１０１の入力ダイナミックレンジとフィルタ処理部１０３の入力ダイナミックレンジとが同じであるときは、Ｒの信号レベルを（１００／６０）倍、Ｇの信号レベルを（１００／８０）倍する。これはそれぞれ（Ｍａｘ／ＷＲ＿Ｍａｘ）倍、（Ｍａｘ／ＷＧ＿Ｍａｘ）倍に該当する。例えば、ゲイン値をＲについて（Ｍａｘ／ＷＲ＿Ｍａｘ）倍にしているが、１倍以上で（Ｍａｘ／ＷＲ＿Ｍａｘ）以下の値とすることが望ましい。

フィルタ処理部１０３は、伸長部１０２おいて伸長した映像信号に対してエッジ強調処理を施す。図２（Ｄ）の斜線で表したレベルがエッジ強調処理を行った結果、加算された強調量である。この例では、Ｒ、Ｇ、Ｂともに最大信号レベルでクリップされている。

圧縮部１０４では、エッジ強調処理後の映像信号レベルを、伸長部１０２における伸長度合に応じて圧縮する。具体的には、伸長度合を逆算すればよく、Ｒの信号レベルを（６０／１００）倍、Ｇの信号レベルを（８０／１００）倍する。これはそれぞれ（ＷＲ＿Ｍａｘ／Ｍａｘ）倍、（ＷＧ＿Ｍａｘ／Ｍａｘ）倍に該当する。図２（Ｅ）で示すように、圧縮した結果、ホワイトバランス調整で規定した最大信号レベルを超えない範囲において、入力の映像信号に対してエッジ強調処理が施される。

このように、本実施形態では、情報処理装置において、映像信号の信号レベルを色成分毎に予め定められた割合で伸長し、伸長済みの映像信号に対してフィルタリング処理を行い、映像信号の信号レベルを色成分毎に予め定められた割合で圧縮する。特に、本実施形態では、映像信号の伸長・圧縮の割合は、フィルタリング処理による映像信号の色味の変化が少なくなるように、映像信号の色成分毎に予め定められる。具体的には、伸長・圧縮の割合は、色調整部１０１において色調整が行われた映像信号の信号レベルのダイナミックレンジと、フィルタ処理部１０３で扱う信号レベルのダイナミックレンジとに基づき、色成分毎に定められる。このため、本実施形態によれば、映像信号の各色成分について、ホワイトバランス調整後の信号が最大信号レベルを超えることがなく、色味の変化を抑えることが可能となる。

図３は、フィルタ処理前後で信号レベルを色成分毎に伸長、圧縮しない場合の課題を説明する図である。図３は、ホワイトバランス調整を行った後にフィルタ処理を行った場合のＲ、Ｇ、Ｂそれぞれの信号レベルを模式的に示している。図３（Ａ）はホワイトバランス調整への入力信号レベル、図３（Ｂ）はホワイトバランス調整の出力信号レベルを示しており、図２（Ａ）、図２（Ｂ）と同一であるため説明は省略する。図３（Ｃ）はホワイトバランス調整の出力信号に対してエッジ強調処理を行った場合の信号レベルを示している。

フィルタ処理部１０３におけるダイナミックレンジがホワイトバランス調整によって低減したダイナミックレンジよりも大きいため、ホワイトバランス調整で規定した最大信号レベルを超える場合が生じる。図３（Ｃ）は、Ｇ、Ｂについて、ホワイトバランス調整後の信号が最大信号レベルを超えている場合の例を示している。また、色成分毎にその程度が異なるため、強調量が色成分毎に大きく異なる場合が生じる。

一方、本実施形態の構成では、図２を用いて説明したように色調整後のダイナミックレンジに応じてフィルタ処理前後で信号レベルを色成分毎に伸長、圧縮する。このため、本実施形態の構成においては、ホワイトバランス調整で規定した最大信号レベルを超えない範囲において、フィルタ処理が施される。これによりフィルタ処理によって白レベルの明るさの変化、特に、ホワイトバランス調整で規定したレベルを超えることによる明るさの変化を低減することができる。また、フィルタ処理による色成分毎の強調程度の差が小さくなるため、色味の変化も低減することが可能となる。

ここで、前述の説明は最大信号レベルの伸長と圧縮についてゲイン演算にて実行したが、最小信号レベルについても同様に行えばよい。色調整において、例えば黒レベルにオフセットが付加された場合、黒レベルをＭｉｎ（０％）レベルまで伸長すればよい。

（処理手順）
次に、第１の実施形態に係る映像表示装置が実行する処理について、図４を参照して説明する。図４は、第１の実施形態における処理の一例を示すフローチャートである。

まず、Ｒ、Ｇ、Ｂの３つの色成分から成る映像信号を画素毎に入力し（ステップＳ１０１）、色成分毎に色調整処理を行う（ステップＳ１０２）。次に、色調整処理における色調整値を取得し（ステップＳ１０３）、色調整値に応じて色成分毎に伸長処理を行う（ステップＳ１０４）。例えば、Ｓ１０３では、色調整処理において出力される最大の信号レベルが色成分毎に異なる場合に、その最大の信号レベルを色成分毎に取得する。そして、Ｓ１０４では、取得した最大の信号レベルが、入力する映像信号が取り得る最大の信号レベルとなるようゲイン演算によって伸長する。

伸長した映像信号に対して、エッジ強調処理などのフィルタリング処理を行い（ステップＳ１０５）、その後、色調整値に応じて色成分毎に圧縮処理を行う（ステップＳ１０６）。例えば、Ｓ１０４の伸長処理で設定したゲイン値の逆数を用いたゲイン演算にて圧縮処理を行う。その後、Ｒ、Ｇ、Ｂそれぞれの映像信号を画素毎に出力する（ステップＳ１０７）。圧縮処理がなされた映像信号は、液晶パネル等の表示装置に出力される。以上の処理を画素毎、またフレーム毎に繰り返し実行、処理を終了する。

このように、本実施形態では、複数の色成分からなる映像信号に対して所定の信号処理を行う構成において、映像信号に対して色成分毎に色調整を行い、当該色調整に伴う映像信号のダイナミックレンジの変化を色成分毎に補償する。このため、色調整等の前処理とフィルタリング処理等の信号処理とにおける信号のダイナミックレンジが整合しないことによる色味の変化を抑制することが可能となる。

なお、伸長方法としてゲイン演算をあげたがこれに限らない。例えば、ＬＵＴを用いたテーブル演算において、信号レベルの代表点毎に非線形に伸長してもよい。また伸長部１０２において表示する輝度に対して線形な特性となるようなガンマ変換処理を予め実行してもよい。すなわち、映像信号の信号レベルが表示装置における表示出力の輝度に対して線形な特性となるように記映像信号に対してガンマ変換処理を行ってもよい。これによってフィルタリング処理を表示する輝度に対して線形な空間で処理することができる。

また、Ｒ、Ｇ、Ｂの３つの色成分として説明したがこれに限らない。（Ｌ、ａ、ｂ）、（Ｙ、Ｕ、Ｖ）など、任意の複数の色成分から成る映像信号に対して処理するものであってもよい。輝度成分と色成分に分解した後それぞれの信号レベルに対して処理をしたとしても同様である。

以上、本実施形態によれば、フィルタリング処理による色味の変化の抑制と、前処理で規定した最大信号レベルよりも信号レベルが大きくなることによって生じる白レベルの明るさの変化を抑制することが可能となる。同様に、最小信号レベルよりも信号レベルが小さくなることによって生じる黒レベルの明るさの変化を抑制することが可能となる。

＜＜実施形態２＞＞
本実施形態では、フィルタリング処理として「時間的な空間周波数分離処理」に適用した場合を例として説明する。背景技術欄で説明したように、「時間的な空間周波数分離処理」とは、入力される各フレームの画像をＮ（Ｎ≧２）個のサブフレーム画像として出力し、１フレーム期間内にＮ数のサブフレーム画像を出力するものである。「時間的な空間周波数分離処理」では、入力フレームレートのＮ倍の出力フレームレートが得られる。そして、その際に、動きぼやけに関与する高周波数成分をあるサブフレームに局在させることで、動きぼやけを改善する処理である。本実施形態の構成の大部分は実施形態１の構成と同様であるため、相違点を中心に説明する。

図５は、第２の実施形態におけるフィルタ処理部１０３の機能構成例を示す図である。フレームレート変換部４０１は、伸長部１０２からの出力をフレームメモリ部４０２に格納し、入力フレームレートの例えば２倍のフレームレートで画像Ａ［ｉ］を読みだし、ＬＰＦ４０３においてローパス画像ＬＰＦ（Ａ［ｉ］）を生成する。ローパス画像ＬＰＦ（Ａ［ｉ］）は、例えば、画像Ａ［ｉ］に対してガウス関数に基づいたローパスフィルタ処理を行うことで生成する。次に、画像Ａ［ｉ］とローパス画像ＬＰＦ（Ａ［ｉ］）とに基づいて高周波成分強調画像Ｈ（Ａ［ｉ］）を生成し、選択部４０４にてサブフレーム毎にそれぞれを交互に選択して出力する。２サブフレーム期間にける表示輝度の積分値は画像Ａ［ｉ］を２サブフレーム期間表示した際の積分輝度値と同程度とすることが望ましい。このため、高周波成分強調画像Ｈ（Ａ［ｉ］）と低周波成分画像Ｌ（Ａ［ｉ］）は、例えば式（１）、式（２）に従って生成する。

Ｈ（Ａ［ｉ］）＝Ａ［ｉ］＋ＨＰＦ（Ａ［ｉ］） ・・式（１）
Ｌ（Ａ［ｉ］）＝ＬＰＦ（Ａ［ｉ］） ・・式（２）
なお、高周波成分の強調量ＨＰＦ（Ａ［ｉ］）は式（３）で表現される。

ＨＰＦ（Ａ［ｉ］）＝Ａ［ｉ］−ＬＰＦ（Ａ［ｉ］） ・・式（３）
以上により、２倍速でフレームレート変換を実行した場合に、動きぼやけに関与する高周波数成分を一方のサブフレームに局在させることで動きぼやけを改善することができる。

ここで、色調整部１０１において、例えばホワイトバランス調整によって最大信号レベルを色成分毎に変えた場合、第１の実施形態と同様、ホワイトバランス調整で規定した最大信号レベルを超えることによる明るさの変化や色味の変化が生じる場合がある。例えば、ローパスフィルタ処理結果を用いて生成した高周波成分強調画像Ｈ（Ａ［ｉ］）がホワイトバランス調整で規定した最大信号レベルを超える場合が想定できる。よって、第１の実施形態と同様、色成分毎に伸長した後に「時間的な空間周波数分離処理」を施し、圧縮を行うことで明るさの変化や色味の変化を低減する。また、２倍速でフレームレート変換した場合の「時間的な空間周波数分離処理」においては２サブフレーム期間内において積分した色（積分色とよぶ）の変動が小さくなるよう伸長度合と圧縮度合を定めるとよい。

なお、２倍速における実施形態を例として説明したがこれに限らない。２倍速以上であってもよいし、生成したサブフレーム画像を前後フレームの線形和としてもよい。動きベクトル情報を算出して前後フレームから画像を生成してサブフレーム画像として適用してもよい。また、フレームレート変換部４０１をフィルタ処理部１０３の一部としたが、例えば色調整部１０１の前段や伸長部１０２の前段にあってとしても、本実施形態における効果は得られる。

以上、本実施形態においては、入力された映像信号のフレーム期間を複数のサブフレーム期間に変換し、映像信号の高周波成分を強調した画像と、映像信号の低周波成分画像とのいずれか一方を、サブフレーム期間の各々について選択する。このため、本実施形態によれば、動きぼやけを改善することができる。また、本実施形態では、映像信号の信号レベルの伸長・圧縮の割合は、複数のサブフレーム期間における積分色の変化が少なくなるように、映像信号の色成分毎に予め定められる。このため、色調整等の前処理とフィルタリング処理等の信号処理とにおける信号のダイナミックレンジが整合しないことによる色味の変化を抑制することが可能となる。

このように本実施形態によれば、「時間的な空間周波数分離処理」において、フィルタリング処理による色味の変化の抑制と、前処理で規定した最大信号レベルよりも信号レベルが大きくなることによって生じる白レベルの明るさの変化を抑制することができる。同様に、最小信号レベルよりも信号レベルが小さくなることによって生じる黒レベルの明るさの変化を抑制することが可能となる。また、表示画面を視認した際の積分色の変動による色味の変化を抑制することが可能となる。

＜＜実施形態３＞＞
本実施形態は、フィルタリング処理における強度が色成分毎に異なることで生じる色味の変化をさらに抑制する構成を説明する。本実施形態では、フィルタリング処理として「時間的な空間周波数分離処理」に適用した場合を例として説明する。本実施形態の構成の大部分は実施形態１、２の構成と同様であるため、相違点を中心に説明する。

図６は、第３の実施形態におけるフィルタ処理部１０３の機能構成例を示す図である。図５で示した機能構成例と同じ機能要素については同一符号を付している。強調量調整部５０１は色成分毎に算出した強調量ＨＰＦ（Ａ［ｉ］）の色成分間の差分値の絶対値が所定の閾値内であるかを判定する。色成分間の差分値とは、ＲとＧ、ＧとＢ、ＢとＲそれぞれの強調量ＨＰＦ（Ａ［ｉ］）の差分値のことである。予め定める閾値を超える場合は、強調量調整部５０１は、絶対値が大きい色成分の強調量ＨＰＦ（Ａ［ｉ］）を閾値内となるよう低減する。低減量をＤ（Ａ［ｉ］）（符号付き）とすると、本実施形態における高周波成分強調画像Ｈ（Ａ［ｉ］）と低周波成分画像Ｌ（Ａ［ｉ］）は、例えば式（４）、式（５）に従って生成する。

Ｈ（Ａ［ｉ］）＝Ａ［ｉ］＋（ＨＰＦ（Ａ［ｉ］）−Ｄ（Ａ［ｉ］））・・式（４）
Ｌ（Ａ［ｉ］）＝ＬＰＦ（Ａ［ｉ］）＋Ｄ（Ａ［ｉ］） ・・式（５）
なお、前述の閾値は特に中間信号レベルにおいてフィルタリング処理によってその強度が異なることで生じる色味の変化が低減するよう決定すればよい。例えば、閾値＝０に設定すると色成分毎の強調量は同一値となる。また、前述の強調量ＨＰＦ（Ａ［ｉ］）の色成分間の差分値を求める際は、強調量ＨＰＦ（Ａ［ｉ］）を色成分毎に所定のゲイン値を用いてゲイン演算した値を適用するとよい。なお、所定のゲイン値は後段の圧縮部１０４における圧縮程度に応じて決定する。これによって圧縮によって低減される強調程度を考慮した上で閾値との比較が可能となる。また、本実施形態では強調量ＨＰＦ（Ａ［ｉ］）の色成分間の差分値に基づいて判定しているが、フィルタリング処理前後における変調量に基づいた判定を行うことで所望の効果を得ることができる。

このように、フィルタ処理部１０３は、信号レベルが伸長された映像信号に対して色成分毎にフィルタリング処理を行。ここで、フィルタリング処理において映像信号の各色成分に適用される変調量は、フィルタリング処理による調整量の色成分間の差分値が所定の範囲内となるように決定される。このため、本実施形態によれば、色調整等の前処理とフィルタリング処理等の信号処理とにおける信号のダイナミックレンジが整合しないことによる色味の変化を抑制することが可能となる。

以上、本実施形態によれば、「時間的な空間周波数分離処理」において、フィルタリング処理による色味の変化の抑制と、前処理で規定した最大信号レベルよりも信号レベルが大きくなることによって生じる白レベルの明るさの変化を抑制することが可能となる。同様に、最小信号レベルよりも信号レベルが小さくなることによって生じる黒レベルの明るさの変化を抑制することが可能となる。また、表示画面を視認した際の積分色の変動による色味の変化を抑制することが可能となる。さらに、フィルタリング処理における強度が色成分毎に異なることで生じる色味の変化を抑制することが可能となる。

＜＜実施形態４＞＞
本実施形態では、フィルタリング処理によって生じる色味の変化や明るさの変化を低減する構成を説明する。本実施形態では、伸長部１０２及び圧縮部１０４による信号のダイナミックレンジの調整を行う代わりに、フィルタ処理部１０３の内部で色成分毎にクリップ処理を行う構成を説明する。より具体的には、本実施形態の構成は、フィルタリング処理の前処理として行われる色調整によって強調され易い色味の変化や明るさの変化、及びフィルタリング処理の強度が色成分毎に異なることで視認され易い色味の変化を低減する。フィルタリング処理として「時間的な空間周波数分離処理」に適用した場合を例として説明する。

（映像表示装置の機能構成）
図７は、本実施形態における映像表示装置の機能構成例を示すブロック図である。図１、図５、図６で示した機能構成例と同じ機能要素については同一符号を付している。

クリップ部６０１は、前述の式（４）を用いて算出した高周波成分強調画像Ｈ（Ａ［ｉ］）の出力ダイナミックレンジを色成分毎にクリップ処理を行う。具体的には、色調整部１０１で規定される最大信号レベルと最小信号レベルを色成分毎に取得し、取得したレベルに応じてクリップレベルを決定する。例えば最大信号レベルの場合、取得したレベルをそのままクリップレベルとすればよく、取得したレベル以上で、かつ、フィルタ処理部１０３が出力可能な最大信号レベル以下であることが望ましい。また、最小信号レベルの場合、取得したレベルをそのままクリップレベルとすればよく、取得したレベル以下で、かつ、フィルタ処理部１０３が出力可能な最小信号レベル以上であることが望ましい。クリップレベル（符号付き）をＣ（Ａ［ｉ］）とすると、選択部４０４にて選択されて出力される高周波成分強調画像Ｈ（Ａ［ｉ］）と低周波成分画像Ｌ（Ａ［ｉ］）は、例えば式（６）、式（７）に従って生成する。

Ｈ（Ａ［ｉ］）＝Ａ［ｉ］＋ＨＰＦ（Ａ［ｉ］）−Ｄ（Ａ［ｉ］）−Ｃ（Ａ［ｉ］） ・・式（６）
Ｌ（Ａ［ｉ］）＝ＬＰＦ（Ａ［ｉ］）＋Ｄ（Ａ［ｉ］）＋Ｃ（Ａ［ｉ］） ・・式（７）
なお、前述の式は色成分毎に適用される。さらに、各色成分のクリップレベルＣ（Ａ［ｉ］）の中から絶対値が最大の値を各色成分に適用することで、クリップ程度を色成分間で同程度とすることができる。さらに、クリップレベルＣ（Ａ［ｉ］）の色成分間の差分値の絶対値が所定の閾値内であるかを判定し、所定の閾値を超える場合は、閾値内となるようクリップレベルＣ（Ａ［ｉ］）の絶対値が小さい色成分の値を大きくしてもよい。

また、クリップ処理は強調量調整部５０１において色毎に判定することも可能である。また、フィルタ処理部１０３を表示する輝度に対して線形な空間で処理する、つまりフィルタ処理部１０３の前段で表示系のガンマを考慮したガンマ変換処理を行う場合もある。ガンマ変換処理が色調整部１０１の後段にある場合は、色調整部１０１から取得する最大信号レベル、及び最小信号レベルに対してもガンマ変換処理を施すとよい。

（処理手順）
次に、本実施形態における処理の一例についてフローチャートを用いて説明する。図８は、本実施形態における処理の一例を示すフローチャートである。まず、Ｒ、Ｇ、Ｂの３つの色成分から成る映像信号を画素毎に入力し（ステップＳ２０１）、色成分毎に色調整処理を行う（ステップＳ２０２）。その後、例えば２倍速でフレームレート変換を行い、式（３）に基づいて強調量ＨＰＦ（Ａ［ｉ］）を色成分毎に算出する（ステップＳ２０３）。強調量ＨＰＦ（Ａ［ｉ］）の色成分間の差分値の絶対値が予め定める閾値より大きいか否かを判定する（ステップＳ２０４）。判定の結果、閾値より大きい場合は、絶対値の大きい色成分の強調量ＨＰＦ（Ａ［ｉ］）が閾値内となるよう、高周波成分強調画像Ｈ（Ａ［ｉ］）に加算する強調量ＨＰＦ（Ａ［ｉ］）を例えば式（４）に基づいて低減する（ステップＳ２０５）。一方、低減量に応じて、例えば式（５）に基づいて低周波成分画像Ｌ（Ａ［ｉ］）を補正する。次に、色調整処理における色調整値を取得し（ステップＳ２０６）、色調整値に応じて色成分毎にクリップ処理を行う（ステップＳ２０７）。例えば、色調整処理において出力される最大の信号レベルが色成分毎に異なる場合に、その最大の信号レベルを色成分毎に取得し、例えば式（６）に基づいて高周波成分強調画像Ｈ（Ａ［ｉ］）を低減する。一方、低減量に応じて、例えば式（７）に基づいて低周波成分画像Ｌ（Ａ［ｉ］）を補正する。その後、Ｒ、Ｇ、Ｂそれぞれの映像信号を画素毎に出力する（ステップＳ２０８）。以上の処理を画素毎、またフレーム毎に繰り返し実行する。

以上のように、本実施形態においては、伸長部１０２、圧縮部１０４に代えて、
フィルタリング処理が行われた映像信号の信号レベルを色成分毎に予め定められたダイナミックレンジに収まるようにクリップすることにより、色調整部１０１における色調整に伴う映像信号のダイナミックレンジの変化を色成分毎に補償する。ここで、クリップ処理後のダイナミックレンジは、色調整が行われた映像信号の信号レベルのダイナミックレンジに基づき、色成分毎に定められる。このため、色調整等の前処理とフィルタリング処理等の信号処理とにおける信号のダイナミックレンジが整合しないことによる色味の変化を抑制することができる。なお、本実施形態でも、入力された映像信号のフレーム期間を複数のサブフレーム期間に変換し、映像信号の高周波成分を強調した画像と低周波成分画像とのいずれかをサブフレーム期間毎に選択する「時間的な空間周波数分離処理」を行う。このため、動きぼやけを改善することができる。

以上、本実施形態によれば、「時間的な空間周波数分離処理」において、フィルタリング処理による色味の変化の抑制と、前処理で規定した最大信号レベルよりも信号レベルが大きくなることによって生じる白レベルの明るさの変化を抑制することが可能となる。同様に、最小信号レベルよりも信号レベルが小さくなることによって生じる黒レベルの明るさの変化を抑制することが可能となる。また、表示画面を視認した際の積分色の変動による色味の変化を抑制することが可能となる。さらに、フィルタリング処理における強度が色成分毎に異なることで生じる色味の変化を抑制することが可能となる。

＜＜その他の実施形態＞＞
以上、複数の実施形態について説明をしたが、前述した実施形態において、本発明の要旨を逸脱しない範囲内で、種々の変更を行ってよい。

フィルタリング処理として「エッジ強調処理」「時間的な空間周波数分離処理」について説明したがこれらへの適用に限られない。例えば、空間フィルタを用いたフィルタリング処理においても適用できる。

またＲ、Ｇ、Ｂの３つの色成分として説明したがこれに限らない。複数の色成分から成る映像信号に対して処理するものであってもよいし、輝度成分と色成分に分解した後それぞれの信号レベルに対して処理をしたとしても同様である。また、色調整における最大信号レベルと最小信号レベルなどの色調整値の取得方法は前述で説明した方法に限らず、例えば色調整後の画像を解析することでフレーム毎に最大信号レベル、最小信号レベルを取得してもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (13)

1. 複数の色成分の画素値を含む画像データを入力する入力手段と、
   前記入力手段により入力された入力画像データに含まれる複数の色成分のうち１又は複数の色成分の画素値の最大値が変更されると共に、前記最大値の変更量に応じて、前記１又は複数の色成分の画素値が変更される調整処理を前記入力画像データに対して実行する調整手段と、
   前記調整手段により前記入力画像データに対して調整処理が実行された調整済み画像データの複数の色成分ごとに、前記調整手段による最大値の変更量に応じた伸長処理を実行する伸長手段と、
   前記伸長手段により前記調整済み画像データに対して伸長処理が実行された伸長済み画像データに対して所定の画像処理を実行する画像処理手段と、
   前記画像処理手段により前記伸長済み画像データに対して前記所定の画像処理が実行された画像処理済み画像データの複数の色成分ごとに、前記伸長処理による伸長の度合いに応じた圧縮処理を実行する圧縮手段と、
   前記圧縮手段により前記画像処理済み画像データに対して圧縮処理が実行された結果に基づく画像データを出力する出力手段とを有し、
   前記伸長手段は、前記調整済み画像データが取り得る最大信号レベルと最小信号レベルにより定まるダイナミックレンジを、前記画像処理手段による前記所定の画像処理において扱われる信号レベルのダイナミックレンジまで伸長するための度合いに従って前記複数の色成分ごとに伸長処理を行うことを特徴とする画像処理装置。
2. 前記調整処理は、ホワイトバランス処理であることを特徴とする請求項１に記載の画像処理装置。
3. 前記入力手段により入力される画像データは、（Ｒ、Ｇ、Ｂ）の各色成分の画素値を含む画像データ、（Ｌ、ａ、ｂ）の各成分の画素値を含む画像データ、又は、（Ｙ、Ｕ、Ｖ）の各成分の画素値を含む画像データであることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記所定の画像処理は、前記伸長済み画像データのエッジを強調するためのエッジ強調処理であることを特徴とする請求項１乃至３のうち、何れか１項に記載の画像処理装置。
5. 前記所定の画像処理は、前記伸長済み画像データの空間的高周波成分を強調した高周波成分強調画像データを生成するための強調処理であることを特徴とする請求項１乃至３のうち、何れか１項に記載の画像処理装置。
6. 前記画像処理手段は、前記伸長済み画像データの空間的な高周波成分が除去された低周波成分画像データを生成するための処理をさらに実行し、
   前記出力手段は、前記高周波成分強調画像データに基づく画像データと前記低周波成分画像データに基づく画像データとを交互に出力することを特徴とする請求項５に記載の画像処理装置。
7. 前記伸長手段及び前記圧縮手段は、ゲイン演算により前記伸長処理及び前記圧縮処理を実行することを特徴とする請求項１乃至６のうち、何れか１項に記載の画像処理装置。
8. 前記圧縮手段が前記圧縮処理のために用いるゲイン値は、前記伸長手段が前記伸長処理のために用いるゲイン値の逆数であることを特徴とする請求項７に記載の画像処理装置。
9. 前記調整処理による画素値の低下量と、前記伸長処理による画素値の向上量は一致することを特徴とする請求項１乃至８のうち、何れか１項に記載の画像処理装置。
10. 入力画像データに含まれる複数の色成分のうち１又は複数の色成分の画素値の最大値が変更されると共に、前記最大値の変更量に応じて、前記１又は複数の色成分の画素値が変更される調整処理を前記入力画像データに対して実行する調整工程と、
    前記入力画像データに対して調整処理が実行された調整済み画像データの複数の色成分ごとに、前記最大値の変更量に応じた伸長処理を実行する伸長工程と、
    前記調整済み画像データに対して伸長処理が実行された伸長済み画像データに対して所定の画像処理を実行する画像処理工程と、
    前記伸長済み画像データに対して前記所定の画像処理が実行された画像処理済み画像データの複数の色成分ごとに、前記伸長処理による伸長の度合いに応じた圧縮処理を実行する圧縮工程と、
    前記画像処理済み画像データに対して圧縮処理が実行された結果に基づく画像データを出力する出力工程とを有し、
    前記伸長工程においては、前記調整済み画像データが取り得る最大信号レベルと最小信号レベルにより定まるダイナミックレンジを、前記画像処理工程による前記所定の画像処理において扱われる信号レベルのダイナミックレンジまで伸長するための度合いに従って前記複数の色成分ごとに伸長処理が行われることを特徴とする画像処理方法。
11. 前記所定の画像処理は、前記伸長済み画像データのエッジを強調するためのエッジ強調処理であることを特徴とする請求項１０に記載の画像処理方法。
12. 前記所定の画像処理は、前記伸長済み画像データの空間的高周波成分を強調した高周波成分強調画像データを生成するための強調処理であることを特徴とする請求項１０又は１１に記載の画像処理方法。
13. コンピュータを請求項１乃至９のうち何れか１項に記載の画像処理装置の各手段として動作させるためのプログラム。

Images