JP5340104B2 - 画像処理装置、画像処理方法 - Google Patents

Description

本発明は、フレームレート変換技術に関するものである。

映像の規格であるＳＭＰＴＥ−１７０Ｍ（通称ＮＴＳＣ）では、６０Ｈｚという映像表示周波数が規定されており、規格化したアメリカを中心に、日本、韓国、中南米の放送・撮像システムで、統一的にこの映像表示周波数が採用されている。一方、表示パネル・駆動回路の技術の向上に伴ってより高い駆動周波数での映像表示が可能となっており、実際、２倍速の１２０Ｈｚや４倍速の２４０Ｈｚで駆動する技術が出現している。

例えば、特許文献１では、表示画像のフレーム周波数を上げ、動きぼけの原因となる空間周波数特性の低下を抑制するものが提案されている。一方で、非特許文献１には、発光駆動周波数と明るさとの間の知覚感度の関係が報告されている。この報告では、点滅光と定常光の明るさの違いについて調査した結果を報告している。非特許文献１の被験者実験の結果によると、単位時間当たりの物理的な発光強度が同じである場合、点滅光の周波数が約７０Ｈｚ以下においては点滅光が定常光よりも明るく感じ、約８０Ｈｚ以上では点滅光と定常光は同程度の明るさになると報告されている。

特開２００１−４２８３１号公報

森峰生、"臨界融合周波数以上の点滅刺激による明るさ知覚への影響"、映像情報メディア学会誌Ｖｏｌ．５２，Ｎｏ．４，ｐｐ．６１２−６１５

６０Ｈｚの入力フレームに対して、単位時間あたりの発光強度が同一で２倍の１２０Ｈｚや４倍２４０Ｈｚとなるようにサブフレームを生成し、例えばインパルス駆動で表示すると、上述したように駆動周波数に応じて人間の明るさの知覚感度が異なる。そのため、６０Hzで表示した場合に比べて人が知覚する明るさは暗くなってしまうという問題があった。

本発明は以上の問題に鑑みてなされたものであり、フレームレート変換により生成されるそれぞれのサブフレーム画像を再生しても、再生結果に対する明暗が軽減されるように、それぞれのサブフレーム画像を生成する為の技術を提供することを目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。即ち、複数のフレーム画像を順次取得する取得手段と、前記取得手段が取得したフレーム画像から複数のサブフレーム画像を生成する生成手段と、前記複数のサブフレーム画像のそれぞれについて階調変換を行う変換手段と、前記変換手段により階調変換が施されたそれぞれのサブフレーム画像を順次出力する手段とを備え、前記変換手段は、前記サブフレーム画像において輝度値が閾値以下の画素に対しては、サブフレーム画像間で共通の階調変換を施し、前記サブフレーム画像において輝度値が閾値よりも大きい画素に対しては、サブフレーム画像ごとに異なる階調変換を施すことを特徴とする。

本発明の構成によれば、フレームレート変換により生成されるそれぞれのサブフレーム画像を再生しても、再生結果に対する明暗が軽減されるように、それぞれのサブフレーム画像を生成することができる。

（ａ）〜（ｃ）は画像処理装置の機能構成例を示すブロック図。 １つのフレーム画像に対して行う処理のフローチャート。 （ａ）、（ｂ）、（ｅ）、（ｆ）は階調変換の変換特性を示す図、（ｃ）、（ｄ）は階調変換の変換曲線を示す図。 １つのフレーム画像に対して行う処理のフローチャート。 最小値フィルタ部１０７による最小値フィルタ処理を説明するための図。 各サブフレーム画像について説明する図。 （ａ）は１フレーム画像に対する処理のフローチャート、（ｂ）はステップＳ３０３における処理の詳細を示すフローチャート。 （ａ）、（ｂ）は各サブフレーム画像を説明する図、（ｃ）は合成表示輝度を示す図。 第１の実施形態に係る画像処理装置を拡張した場合の構成例を示す図。 画像処理装置の機能構成例を示すブロック図。 コンピュータのハードウェアを構成例を示すブロック図。 画像処理装置の適用対象の装置の構成例を示す図。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。また以下の説明では、物理的な発光強度に対して人が知覚する明るさがより大きくなる効果を含んだ、人が知覚する明るさを「明るさ感」と呼称する。

［第１の実施形態］
物理的に等しい発光強度に対して高輝度部でより明るく見えるように入力フレーム画像に対するフレームレート変換を行う画像処理装置について以下、説明する。図１（ａ）は、本実施形態に係る画像処理装置の機能構成例を示すブロック図である。図１（ａ）に示す如く、本実施形態に係る画像処理装置は、フレームレート変換部１０１（図１（ａ）ではＦＲＣ１０１として示している）、階調変換部１０２、階調変換部１０３、切替部１０４、を有している。

フレームレート変換部１０１には、複数のフレーム画像が順次入力（順次取得）される。フレームレート変換部１０１は、入力されたフレーム画像から、それぞれ階調が異なる複数のサブフレーム画像を生成する。本実施形態では一例として、１つのフレーム画像から階調が異なる２つのサブフレーム画像を生成する場合について説明する。そしてフレームレート変換部１０１は、生成した一方のサブフレーム画像を階調変換部１０２に送出し、生成した他方のサブフレーム画像を階調変換部１０３に送出する。従って、フレームレート変換部１０１が１つのフレーム画像からＮ枚のサブフレーム画像を生成する場合、階調変換部は生成されるサブフレーム画像の数、即ち、Ｎ個用意する必要がある。

階調変換部１０２、１０３はそれぞれ、入力されたサブフレーム画像の階調変換を行う。より具体的には、階調変換部１０２、１０３のそれぞれは、輝度値が閾値以下の画素に対しては同じ階調変換を施すのであるが、輝度値が閾値よりも大きい画素に対しては階調変換部１０２、１０３で異なる階調変換を施す。

切替部１０４は、階調変換部１０２、階調変換部１０３のそれぞれで階調変換が施されたサブフレーム画像を順次選択して外部に出力する。なお、階調変換部１０２、階調変換部１０３の何れを先に選択するのかについては特に限定するものではない。

なお、本実施形態に係る画像処理装置は図１２に示す如く、ビデオ信号変換部１８０１、画像処理部１８０２を介して入力されたフレーム画像（映像信号）を処理し、駆動回路１８０３を介して表示パネル１８０４へと送出するように、組み込まれるものである。図１２は、本実施形態に係る画像処理装置の適用対象の装置の構成例を示す図である。

図２は、本実施形態に係る画像処理装置が１つのフレーム画像に対して行う処理のフローチャートである。先ず、ステップＳ１０２では、フレームレート変換部１０１は、１つのフレーム画像を入力フレーム画像２０１（入力画像）として取得する。

次に、ステップＳ１０３では、フレームレート変換部１０１は、入力フレーム画像２０１から、それぞれ階調が異なる２枚のサブフレーム画像２０２，２０４を生成する。そしてフレームレート変換部１０１は、生成したサブフレーム画像２０２を階調変換部１０２に送出すると共に、生成したサブフレーム画像２０４を階調変換部１０３に送出する。

なお、入力フレーム画像２０１から複数枚のサブフレーム画像を生成するための方法については特に限定するものではない。例えば、入力フレーム画像２０１を複数枚コピーしてそれぞれをサブフレーム画像としても良いし、入力フレーム画像２０１と１つ前のフレーム画像とを用いて複数枚の動き補償中間画像をサブフレーム画像として生成しても良い。動き補償中間画像を生成する場合は、例えば特開２００５−３０１６１９号公報に開示されているようなベクトル探索を行う方法を用いてもよい。

次に、ステップＳ１０４では、階調変換部１０２は、フレームレート変換部１０１からサブフレーム画像２０２を取得すると、このサブフレーム画像２０２に対して階調変換を施し、サブフレーム画像２０３を生成する。同様に、階調変換部１０３は、フレームレート変換部１０１からサブフレーム画像２０４を取得すると、このサブフレーム画像２０４に対して階調変換を施し、サブフレーム画像２０５を生成する。

ここで、階調変換部１０２、階調変換部１０３のそれぞれで行う階調変換について説明する。図３（ａ）、（ｂ）は、階調変換部１０２、階調変換部１０３のそれぞれで行う階調変換の変換特性を示す図である。

図３（ａ）には、階調変換部１０２で行う階調変換における変換特性を示しており、図図３（ｂ）には、階調変換部１０３で行う階調変換における変換特性を示している。図３（ａ）において横軸には入力輝度値（入力ｘ）、縦軸には出力輝度値（出力ｆ１）を取っている。一方、図３（ｂ）において横軸には入力輝度値（入力ｘ）、縦軸には出力輝度値（出力ｆ２）を取っている。

上記の通り、階調変換部１０２は、図３（ａ）に示す変換特性に基づいてサブフレーム画像２０２の階調変換を行う。従って、階調変換部１０２は、サブフレーム画像２０２において閾値Ｓ１以下の輝度値ｘを有する画素については、以下の式（変換情報）に従って新たな輝度値ｆ１（ｘ）を計算する。

ｆ１（ｘ）＝ａ×ｘ
一方、上記の通り、階調変換部１０３は、図３（ｂ）に示す変換特性に基づいてサブフレーム画像２０２の階調変換を行う。従って、階調変換部１０３は、サブフレーム画像２０４において閾値Ｓ１以下の輝度値ｘを有する画素については、以下の式（変換情報）に従って新たな輝度値ｆ２（ｘ）を計算する。

ｆ２（ｘ）＝ａ×ｘ （ａは係数）
これにより、サブフレーム画像２０２、２０４の何れについても、閾値Ｓ１以下の輝度値ｘを有する画素については同じ変換式に基づいて輝度値が更新される。また、階調変換部１０２は、サブフレーム画像２０２において閾値Ｓ１よりも大きい輝度値ｘを有する画素については、以下の式（変換情報）に従って新たな輝度値ｆ１（ｘ）を計算する。

ｆ１（ｘ）＝ｂ×ｘ＋Ｓ１×（ａ−ｂ） （ｂは係数）
また、階調変換部１０３は、サブフレーム画像２０４において閾値Ｓ１よりも大きい輝度値ｘを有する画素については、以下の式（変換情報）に従って新たな輝度値ｆ２（ｘ）を計算する。

ｆ２（ｘ）＝Ｓ１×ａ
このように、サブフレーム画像２０２、２０４は、閾値Ｓ１よりも大きい輝度値ｘを有する画素についてはそれぞれ異なる変換式に基づいて輝度値が更新されることになる。即ち、上記で述べた変換情報とは、次のように構成された情報であるといえる。即ち、入力輝度値が閾値以下の場合、入力輝度値に対する出力輝度値の変化率が全てのサブフレーム画像で同じになるように構成されており、入力輝度値が閾値より大きい場合、上記変化率が全てのサブフレーム画像で異なるように構成されている。

このようにして、サブフレーム画像２０２、２０４の何れについても、それぞれの画素の輝度値が更新され、サブフレーム画像２０３，２０５が生成される。図２に戻って、次に、ステップＳ１０５では、切替部１０４は、階調変換部１０２により生成されたサブフレーム画像２０３、階調変換部１０３により生成されたサブフレーム画像２０５を順次選択し、出力フレーム画像２０６として外部に送出する。

図８（ａ）、（ｂ）は、６０Ｈｚでフレーム画像が本装置に入力される場合に、これを１２０Ｈｚで出力する場合の各サブフレーム画像について説明する図である。各サブフレーム画像において、輝度値が閾値Ｓ１以下の画素群については図８（ａ）に示す如く、それぞれのサブフレーム画像で均等の輝度値でもって出力されることになる。一方、各サブフレーム画像において、輝度値が閾値Ｓ１よりも大きい画素群については図８（ｂ）に示す如く、サブフレーム画像間に差分が発生し、時間周波数は120Hzと60Hzが混在している。この60Hz成分に明るさ感を向上させる効果があり、閾値Ｓ１よりも大きい輝度値を有する画素群を明るく人に認識させることが出来る。

［第２の実施形態］
以下に説明する各実施形態は、第１の実施形態と異なる部分についてのみ説明する。本実施形態では、入力フレーム画像のうち輝度値が高くて孤立した領域に対してのみサブフレーム画像間に差分をもたせることにより、大画面フリッカを抑制しつつ明るさ感を向上させる。

図１（ｂ）は、本実施形態に係る画像処理装置の機能構成例を示すブロック図である。図１（ｂ）において図１（ａ）と同じ構成要素については同じ参照番号を付けており、その説明は省略する。

フレームレート変換部１０１は第１の実施形態で説明したように、入力されたフレーム画像から複数のサブフレーム画像を生成する。本実施形態でも第１の実施形態と同様に、１つのフレーム画像から２つのサブフレーム画像を生成する場合について説明する。一方のサブフレーム画像２０２は減算器１０８に入力され、他方のサブフレーム画像２０４は最小値フィルタ部１０７に入力される。

最小値フィルタ部１０７は、入力されたサブフレーム画像２０４に対して周知の最小値フィルタを施し、変換済み（処理済み）のサブフレーム画像２１３を生成する。階調変換部１０３は、最小値フィルタ部１０７による変換済みのサブフレーム画像２１３に対して階調変換を行い、サブフレーム画像２０５を生成する。最小値フィルタは、フィルタサイズ内の最小値をそのフィルタサイズ内の全ての画素に拡張するが、このような領域拡張フィルタであれば最小値に限定されない。例えば、フィルタサイズ内に極値的な最小値がある場合には、この最小値はノイズの可能性が高いので、最小値の次に小さい値を最小値と見なしてフィルタサイズ内の全ての画素に拡張してもよい。

減算器１０８は、フレームレート変換部１０１から入力されたサブフレーム画像２０２と、階調変換部１０３から入力されたサブフレーム画像２０５と、の差分フレーム画像２９０を生成する。切替部１０４は、減算器１０８により生成された差分フレーム画像２９０と、階調変換部１０３による階調変換済みのサブフレーム画像２０５とを順次出力する。

図４は、本実施形態に係る画像処理装置が１つのフレーム画像に対して行う処理のフローチャートである。先ず、ステップＳ２０２では、フレームレート変換部１０１は、１つのフレーム画像を入力フレーム画像２０１（入力画像）として取得する。

次に、ステップＳ２０３では、フレームレート変換部１０１は、入力フレーム画像２０１から２枚のサブフレーム画像２０２，２０４を生成する。この生成方法については特に限定するものではなく、第１の実施形態と同じであっても良い。そしてフレームレート変換部１０１は、生成したサブフレーム画像２０２を減算器１０８に送出すると共に、生成したサブフレーム画像２０４を最小値フィルタ部１０７に送出する。

次に、ステップＳ２０４では、最小値フィルタ部１０７は、サブフレーム画像２０４に対して最小値フィルタ処理を施す。ここで、最小値フィルタ処理について説明する。係る技術は周知のものであるので、ここでは簡単に説明する。最小値フィルタ処理とは、画像を構成する各画素の画素値（輝度値）ｓｘに対して以下の変換を行うことである。

ｆ（ｓｘ）＝ｓｘ （ｓｘ≦Ｓ１）
ｆ（ｓｘ）＝ｓ＿ｍｉｎ （ｓｘ＞Ｓ１）
係る変換では、着目画素の画素値ｓｘが閾値Ｓ１以下であれば、着目画素についての変換後の画素値として画素値ｓｘをそのまま用いる。一方、画素値ｓｘが閾値Ｓ１よりも大きい場合には、着目画素を中心とする規定面積の領域内のそれぞれの画素の画素値のうち最小の画素値ｓ＿ｍｉｎを取得し、取得したこの画素値ｓ＿ｍｉｎを着目画素についての変換後の画素値とする。

図５は、最小値フィルタ部１０７による最小値フィルタ処理を説明するための図で、図５（ａ）には変換前のそれぞれの画素の輝度値を示しており、図５（ｂ）には変換後のそれぞれの画素の輝度値を示している。図５において横軸は１つの画像内におけるそれぞれの画素の位置、縦軸はそれぞれの画素の輝度値を示している。図５（ａ）においてｘｖは、閾値Ｓ１よりも大きい輝度値を有する画素で構成されている領域（高輝度領域）を示している。図５（ａ）に示した輝度分布を有するフレーム画像に対して最小値フィルタ処理を施すと、図５（ｂ）に示す如く、高輝度領域の輝度値は、その周辺の最小輝度値に変換されている。

図４に戻って、次に、ステップＳ２０５では、階調変換部１０３は、最小値フィルタ部１０７による変換済みのサブフレーム画像２１３に対して階調変換処理を行う。係る階調変換処理は、第１の実施形態で階調変換部１０３が行ったものと同じである。

次に、ステップＳ２０６では、減算器１０８は、フレームレート変換部１０１から受けたサブフレーム画像２０２から、階調変換部１０３による階調変換済みのサブフレーム画像２０５を減じた差分フレーム画像２９０を生成する。

次に、ステップＳ２０７では、切替部１０４は、階調変換部１０３により生成されたサブフレーム画像２０５、減算器１０８により生成された差分フレーム画像２９０を順次選択し、出力フレーム画像２０６として外部に送出する。

図６は、６０Ｈｚでフレーム画像が本装置に入力される場合に、これを１２０Ｈｚで出力する場合の各サブフレーム画像について説明する図である。図６（ａ）は、入力フレーム画像２０１の一例を示している。領域Ａ、領域Ｂは高輝度領域であり、領域Ａの面積は領域Ｂの面積に比して充分に大きいので、入力フレーム画像２０１に対して最小値フィルタ処理を施しても、領域Ｂ内の輝度値は抑制されるが、領域Ａ内の輝度値はあまり抑制されない。領域Ｂについては図６（ｃ）に示す如く、明るさ感が向上する。また、領域Ａについては、図６（ｂ）に示す如く、フリッカが抑制される。

以上の説明により、本実施形態によれば、入力フレーム画像の輝度と面積に応じてサブフレーム画像の階調を制御し、高輝度であり孤立領域でのみサブフレーム画像間に差分をつけて明るさ感を向上し、それ以外の領域ではフリッカを抑制することが出来る。

［第３の実施形態］
本実施形態では、物理的な最大発光強度に対して高輝度部でより明るく見えるようにフレームレート変換を行う。図１（ｃ）は、本実施形態に係る画像処理装置の機能構成例を示すブロック図である。図１（ｃ）に示した構成は、図１（ａ）に示した構成に変換階調制御部９００を加えた構成となっており、その他の各部の動作については第１の実施形態と同じである。

変換階調制御部９００は、入力フレーム画像２０１を解析し、階調変換部１０２で用いる変換特性（曲線）ｆ１、階調変換部１０３で用いる変換特性（曲線）ｆ２を求め、求めたｆ１，ｆ２をそれぞれ、階調変換部１０２、階調変換部１０３に設定する。

図７（ａ）は、本実施形態に係る画像処理装置が、１つのフレーム画像について行う処理のフローチャートである。ステップＳ３０２では、変換階調制御部９００は、入力フレーム画像２０１を取得する。次にステップＳ３０３では、変換階調制御部９００は、取得した入力フレーム画像２０１を解析し、階調変換部１０２で用いる変換曲線ｆ１、階調変換部１０３で用いる変換曲線ｆ２を求める。ステップＳ３０３における処理の詳細については後述する。

次に、ステップＳ３０４では、フレームレート変換部１０１は、変換階調制御部９００を介して入力フレーム画像２０１を取得する。そして、フレームレート変換部１０１は、入力フレーム画像２０１から、それぞれ階調が異なる２枚のサブフレーム画像２０２，２０４を第１の実施形態と同様にして生成する。そしてフレームレート変換部１０１は、生成したサブフレーム画像２０２を階調変換部１０２に送出すると共に、生成したサブフレーム画像２０４を階調変換部１０３に送出する。

ステップＳ３０５では階調変換部１０２は、フレームレート変換部１０１から取得したサブフレーム画像２０２に対して、変換階調制御部９００が求めた変換曲線ｆ１を用いて階調変換を施し、サブフレーム画像２０３を生成する。同様に、階調変換部１０３は、フレームレート変換部１０１から取得したサブフレーム画像２０４に対して、変換階調制御部９００が求めた変換曲線ｆ２を用いて階調変換を施し、サブフレーム画像２０５を生成する。

次に、ステップＳ３０６では、切替部１０４は、階調変換部１０２により生成されたサブフレーム画像２０３、階調変換部１０３により生成されたサブフレーム画像２０５を順次選択し、出力フレーム画像２０６として外部に送出する。

次に、上記ステップＳ３０３における処理の詳細について説明する。図７（ｂ）は、ステップＳ３０３における処理の詳細を示すフローチャートである。ステップＳ３１２では、先ず、変換階調制御部９００は、入力フレーム画像２０１を構成する各画素の輝度値を参照し、最大の輝度値Ｓｍａｘを取得する。そして取得した最大の輝度値Ｓｍａｘを用いて、輝度値ｘを変換するための変換曲線ｆ１、ｆ２を以下のように規定する。

ｆ１（ｘ）＝ｆ２（ｘ）＝ｘ （ｘ≦２Ｓｍａｘ−Ｐｍａｘ）
ｆ１（ｘ）＝２ｘ−２Ｓｍａｘ＋Ｐｍａｘ（２Ｓｍａｘ−Ｐｍａｘ＜ｘ）
ｆ２（ｘ）＝２Ｓｍａｘ−Ｐｍａｘ （２Ｓｍａｘ−Ｐｍａｘ＜ｘ≦Ｓｍａｘ）
ｆ２（ｘ）＝Ｐｍａｘ （Ｓｍａｘ＜ｘ）
ここでＰｍａｘは輝度値が取りうる最大値で、例えば輝度値が８ビットで表現されている場合には、Ｐｍａｘは２５５となる。図３（ｅ）、（ｆ）は、階調変換部１０２、階調変換部１０３のそれぞれで行う階調変換の変換特性を示す図である。

図３（ｅ）には、階調変換部１０２で行う階調変換における変換特性（ｆ１）を示しており、図３（ｆ）には、階調変換部１０３で行う階調変換における変換特性（ｆ２）を示している。図３（ｅ）において横軸には入力輝度値（入力ｓ）、縦軸には出力輝度値（出力ｆ１（ｓ））を取っている。一方、図３（ｆ）において横軸には入力輝度値（入力ｓ）、縦軸には出力輝度値（出力ｆ２（ｓ））を取っている。なお、変換曲線ｆ１、ｆ２は、出力の階調性を保たせるために、以下の条件を満たすのであれば、他の関数であっても良い。

Ｓｍａｘ ≦ｆ１（Ｓｍａｘ）≦Ｐｍａｘ
２Ｓｍａｘ−Ｐｍａｘ≦ｆ２（Ｓｍａｘ）≦Ｓｍａｘ
図８（ｃ）は、サブフレーム画像２０３とサブフレーム画像２０５とを合成した場合の表示輝度を示す図である。入力輝度範囲、即ちＳｍａｘ以下の輝度値においては入出力の階調が線形関係になっており階調性を保つことができている。また、（２Ｓｍａｘ−Ｐｍａｘ）以上の輝度値においてはサブフレーム間に輝度差が出来、60Hz成分が出来ることにより明るさ感が向上する。

以上の説明により、本実施形態によれば、入力フレーム画像の信号範囲内の高輝度領域においてサブフレーム間の輝度差により60Hz成分を生成し、明るさ感を向上することが出来る。また、入力画像の信号範囲内では階調性を維持することが可能となる。

［第４の実施形態］
上記第１〜第３の実施形態では、説明上、フレームレートを２倍にする場合について説明したが、Ｍ／Ｎ倍のフレームレートにも適用可能である。図９は、第１の実施形態に係る画像処理装置を、フレームレートを３倍にするように拡張した場合の構成例を示す図である。

第１の実施形態で説明したように、フレームレートを３倍にする場合には、フレームレート変換部１０１は入力フレーム画像から３つのサブフレーム画像を生成することになる。従って、図９に示す如く、それぞれのサブフレーム画像に対する階調変換を行う階調変換部１０２，１０３，１４０１をフレームレート変換部１０１の後段に設ける必要がある。そしてもちろん、切替部１０４は、階調変換部１０２、１０３、１４０１を順次選択することになる。図３（ｃ）は、階調変換部１０２における階調変換の変換曲線を示しており、図３（ｄ）は、階調変換部１０３、１４０１における階調変換の変換曲線を示している。

また、図１０に示す如く、図１（ａ）に示した構成において、階調変換部１０２、階調変換部１０３の前段にそれぞれハイパスフィルタ１６０１、ローパスフィルタ１６０２を設けても良い。

特開２００２−３５１３８２号公報では、ローパスフィルタおよびハイパスフィルタを用いたフレームレート変換方法が提案されている。この場合、サブフレーム画像の一方の高空間周波を抑制し、他方のサブフレーム画像の高空間周波数を強調することにより画像が動いた際の動きボケおよび疑似輪郭が抑制される。従って図１０に示した構成においても、上述した明るさ感向上の効果に加えて疑似輪郭や尾引きを低減させることが出来る。

また、上記で説明したそれぞれの技術は適宜組み合わせても良いても良い。また、上記各実施形態では、フリッカを出す状態によって明るさ感が向上する効果を利用しているが、ユーザ入力によってフリッカ感と明るさ感を調整して設定することもできる。具体的には、表示状態を視認しながら階調変換部のf(Smax)を調整し、f(Smax)に従って曲線fを設定する方法が考えられる。

以上の各実施形態によれば、映像を表示させる際、フレームレート変換により駆動周波数が高くなり、知覚する明るさが低下した場合でも、出力周波数よりも低い周波数の輝度変動が生成されることにより、知覚的な明るさを向上させることが可能となる。また、物理的な最大発光強度に対して、知覚する明るさをより大きくすることも可能となる。

［第５の実施形態］
図１（ａ），（ｂ），（ｃ），９，１０に示したそれぞれの装置が有する各部は全てハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、これら各部を全てコンピュータプログラムでもって構成しても良い。この場合、このようなコンピュータプログラムを格納するためのメモリと、このメモリに格納されているコンピュータプログラムを実行するＣＰＵとを有するコンピュータは、上記各実施形態に係る画像処理装置に適用することができる。

図１１は、上記各実施形態に係る画像処理装置に適用可能なコンピュータのハードウェアを構成例を示すブロック図である。ＣＰＵ１７０１は、ＲＡＭ１７０２やＲＯＭ１７０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ１７０１は、図１（ａ），（ｂ），（ｃ），９，１０に示した各部として機能することになる。

ＲＡＭ１７０２は、外部記憶装置１７０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１７０９を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１７０２は、ＣＰＵ１７０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１７０２は、各種のエリアを適宜提供することができる。

ＲＯＭ１７０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部１７０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ１７０１に対して入力することができる。表示部１７０５は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ１７０１による処理結果を画像や文字などでもって表示することができる。

外部記憶装置１７０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１７０６には、ＯＳ（オペレーティングシステム）や、図１（ａ），（ｂ），（ｃ），９，１０に示した各部の機能をＣＰＵ１７０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置１７０６には、処理対象としての各フレーム画像が保存されていても良い。また、外部記憶装置１７０６には、上記各実施形態における説明で、既知の情報として説明したもの（例えば係数ａ、ｂ等）についても保存されている。

外部記憶装置１７０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１７０１による制御に従って適宜ＲＡＭ１７０２にロードされ、ＣＰＵ１７０１による処理対象となる。

Ｉ／Ｆ１７０７には、ＬＡＮやインターネット等のネットワーク、他の機器を接続することができ、本コンピュータはこのＩ／Ｆ１７０７を介して様々な情報を取得したり、送出したりすることができる。１７０８は上述の各部を繋ぐバスである。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (9)

1. 複数のフレーム画像を順次取得する取得手段と、
   前記取得手段が取得したフレーム画像から複数のサブフレーム画像を生成する生成手段と、
   前記複数のサブフレーム画像のそれぞれについて階調変換を行う変換手段と、
   前記変換手段により階調変換が施されたそれぞれのサブフレーム画像を順次出力する手段と
   を備え、
   前記変換手段は、
   前記サブフレーム画像において輝度値が閾値以下の画素に対しては、サブフレーム画像間で共通の階調変換を施し、
   前記サブフレーム画像において輝度値が閾値よりも大きい画素に対しては、サブフレーム画像ごとに異なる階調変換を施す
   ことを特徴とする画像処理装置。
2. 前記生成手段は、前記取得手段が取得したフレーム画像からそれぞれ階調が異なる複数のサブフレーム画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記変換手段は、
   入力輝度値が前記閾値以下の場合には該入力輝度値に対する出力輝度値の変化率が全てのサブフレーム画像で同じになるように階調変換を行うために用いる情報であり且つ入力輝度値が前記閾値よりも大きい場合には該入力輝度値に対する出力輝度値の変化率が全てのサブフレーム画像で異なるように階調変換を行うために用いる情報である変換情報を用いて、前記複数のサブフレーム画像のそれぞれの階調を変換することを特徴とする請求項１に記載の画像処理装置。
4. 前記変換手段は、
   前記取得手段が取得したフレーム画像を構成する各画素の輝度値のうち最大の輝度値を取得し、該取得した最大の輝度値に基づいて、前記複数のサブフレーム画像のそれぞれに対する階調変換の為の変換曲線を求め、該求めた変換曲線に基づいて階調変換を行うことを特徴とする請求項１に記載の画像処理装置。
5. 複数のフレーム画像を順次取得する取得手段と、
   前記取得手段が取得したフレーム画像から２つのサブフレーム画像を生成する生成手段と、
   前記２つのサブフレーム画像のうち一方のサブフレーム画像に対して最小値フィルタを施すフィルタ手段と、
   前記フィルタ手段による処理済みのサブフレーム画像に対して階調変換を行う変換手段と、
   前記２つのサブフレーム画像のうち他方のサブフレーム画像と、前記変換手段による変換済みのサブフレーム画像と、の差分フレーム画像を生成する手段と、
   前記変換手段による変換済みのサブフレーム画像と、前記差分フレーム画像と、を順次出力する手段と
   を備えることを特徴とする画像処理装置。
6. 画像処理装置が行う画像処理方法であって、
   前記画像処理装置の取得手段が、複数のフレーム画像を順次取得する取得工程と、
   前記画像処理装置の生成手段が、前記取得工程で取得したフレーム画像から複数のサブフレーム画像を生成する生成工程と、
   前記画像処理装置の変換手段が、前記複数のサブフレーム画像のそれぞれについて階調変換を行う変換工程と、
   前記画像処理装置の出力手段が、前記変換工程で階調変換が施されたそれぞれのサブフレーム画像を順次出力する工程と
   を備え、
   前記変換工程では、
   前記サブフレーム画像において輝度値が閾値以下の画素に対しては、サブフレーム画像間で共通の階調変換を施し、
   前記サブフレーム画像において輝度値が閾値よりも大きい画素に対しては、サブフレーム画像ごとに異なる階調変換を施す
   ことを特徴とする画像処理方法。
7. 画像処理装置が行う画像処理方法であって、
   前記画像処理装置の取得手段が、複数のフレーム画像を順次取得する取得工程と、
   前記画像処理装置の生成手段が、前記取得工程で取得したフレーム画像から２つのサブフレーム画像を生成する生成工程と、
   前記画像処理装置のフィルタ手段が、前記２つのサブフレーム画像のうち一方のサブフレーム画像に対して最小値フィルタを施すフィルタ工程と、
   前記画像処理装置の変換手段が、前記フィルタ工程での処理済みのサブフレーム画像に対して階調変換を行う変換工程と、
   前記画像処理装置の差分フレーム画像生成手段が、前記２つのサブフレーム画像のうち他方のサブフレーム画像と、前記変換工程での変換済みのサブフレーム画像と、の差分フレーム画像を生成する工程と、
   前記画像処理装置の出力手段が、前記変換工程での変換済みのサブフレーム画像と、前記差分フレーム画像と、を順次出力する工程と
   を備えることを特徴とする画像処理方法。
8. コンピュータを、請求項１乃至５の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
9. 請求項８に記載のコンピュータプログラムを格納した、コンピュータが読み取り可能な記憶媒体。

Images