JP6730916B2 - コントラスト補正装置及びプログラム - Google Patents

Description

本発明は、映像のコントラストを補正するコントラスト補正装置及びプログラムに関する。

画像を標本化する際に、画像がナイキスト周波数を超える周波数成分を含んでいると、サンプリング定理によりモアレ（折返し雑音）が発生することが知られている。そこで、このモアレを除去するために、入力画像に対してまずローパスフィルタを施してから、コントラスト補正等の画像処理を行う装置が知られている（例えば、特許文献１参照）。

特開平０９−２６１４８１号公報

一般に、単板式センサーカメラで撮影されたカラー動画像は、色標本化構造に起因する色モアレが発生する可能性がある。しかし、従来のコントラスト補正処理は色標本化構造を考慮しておらず、ローパスフィルタを施しても色標本化構造に起因する色モアレを補正することができなかった。

かかる事情に鑑みてなされた本発明の目的は、色標本化構造に起因する色モアレを抑制することが可能なコントラスト補正装置及びプログラムを提供することにある。

上記課題を解決するため、本発明に係るコントラスト補正装置は、映像のコントラストを補正するコントラスト補正装置であって、前記映像を色信号毎に周波数分解して周波数分解画像を生成する周波数分解部と、前記映像を撮像した撮像素子の色標本化構造から前記映像のナイキスト周波数を把握し、ナイキスト周波数が低いほどコントラストが小さくなるように、色信号の周波数帯域毎の第１の補正係数を決定する色標本化構造補正係数決定部と、前記補正係数に基づいて、色信号の周波数帯域毎に前記周波数分解画像のコントラストを補正して帯域毎コントラスト補正画像を生成するコントラスト補正部と、前記帯域毎コントラスト補正画像を周波数逆分解してコントラストが補正された映像を出力するフレーム画像再構成部と、を備えることを特徴とする。

さらに、本発明に係るコントラスト補正装置において、前記映像はフレームレートが変換されたフレームレート変換映像であり、前記フレームレート変換映像がフレームレートを高くするように変換された映像である場合にはコントラストが大きくなり、フレームレート変換映像がフレームレートを低くするように変換された映像である場合にはコントラストが小さくなるように、色信号の周波数帯域毎の第２の補正係数を決定するフレームレート補正係数決定部を更に備え、前記コントラスト補正部は、前記第１の補正係数及び前記第２の補正係数に基づいて、前記周波数分解画像のコントラストを補正して前記帯域毎コントラスト補正画像を生成することを特徴とする。

さらに、本発明に係るコントラスト補正装置において、前記コントラスト補正部は、時間周波数を変化させたときの空間周波数に対する視覚のコントラスト感度を示す時空間コントラスト感度特性に基づき、前記周波数分解画像のコントラストを補正することを特徴とする。

さらに、本発明に係るコントラスト補正装置において、前記周波数分解部は、前記時空間コントラスト感度特性を基準に、水平方向及び垂直方向の分解階数を決定することを特徴とする。

さらに、本発明に係るコントラスト補正装置において、前記コントラスト補正部は、空間の異方性を考慮して前記周波数分解画像のコントラストを補正することを特徴とする。

さらに、本発明に係るコントラスト補正装置において、前記周波数分解部は、ウェーブレット分解を用いて前記周波数分解画像を生成し、前記フレーム画像再構成部は、ウェーブレット再構成を用いて周波数分解画像をフレーム画像に逆変換することを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記コントラスト補正装置として機能させることを特徴とする。

本発明によれば、色モアレを抑制することが可能となり、主観画質を向上させることができる。

本発明の第１の実施形態に係るコントラスト補正装置の構成例を示すブロック図である。 本発明の第１の実施形態に係るコントラスト補正装置における周波数分解部により生成される周波数分解画像を示す図である。 代表的な色標本化構造を示す図である。 マイケルソンコントラストを説明する図である。 本発明の実施形態に係るコントラスト補正装置におけるコントラスト補正処理に用いるコントラスト補正関数を示す図である。 明所視における視覚の時空間コントラスト感度特性を示す図である。 本発明の第２の実施形態に係るコントラスト補正装置の構成例を示すブロック図である。 本発明の第２の実施形態に係るコントラスト補正装置における周波数分解部により生成される周波数分解画像を示す図である。

以下、本発明の実施形態について、図面を参照して詳細に説明する。

（第１の実施形態）
本発明の第１の実施形態に係るコントラスト補正装置について、以下に説明する。図１は、本発明の第１の実施形態に係るコントラスト補正装置の構成例を示すブロック図である。図１に示すコントラスト補正装置１は、周波数分解部１１と、色標本化構造補正係数決定部１２と、コントラスト補正部１３と、フレーム画像再構成部１４とを備える。

コントラスト補正装置１は、コントラスト補正装置１に入力される映像を撮像した撮像素子の色標本化構造（赤色信号、緑色信号、及び青色信号の標本化構造）を示す色標本化構造情報を入力する。色標本化構造には、代表的なものとして、３板型、Ｆ６５型、ベイヤ（Ｂａｙｅｒ）型などが挙げられる。そして、コントラスト補正装置１は、入力された映像のコントラストを色標本化構造情報に基づいて補正し、コントラストが補正されたコントラスト補正映像を生成して外部に出力する。

周波数分解部１１は、入力された映像を色信号毎に周波数分解して周波数分解画像を生成し、コントラスト補正部１３に出力する。周波数分解は、フーリエ変換、オクターブ分解、ウェーブレット分解などにより行う。本実施形態では、ウェーブレット分解を行うものとして説明する。また、ウェーブレット分解は各分解階数におけるパワーレベルを均等に保つために、パーセバルの等式を満たすように処理を行うのが好適である。なお、特定の周波数帯域のみを更にウェーブレット分解してもよい。

図２は、周波数分解部１１によりウェーブレット分解された周波数分解画像を示す図である。ここでは、水平方向の分解階数ｎ_ｈ＝２、垂直方向の分解階数ｎ_ｖ＝２としている。ＬＨ^ｎ，ＨＬ^ｎ，ＨＨ^ｎ（ｎ＝１，２）は、それぞれ水平高周波帯域画像、垂直高周波帯域画像、対角高周波帯域画像であり、ＬＬ^２は低周波帯域画像である。

色標本化構造補正係数決定部１２は、入力された映像のナイキスト周波数を色標本化構造から把握し、ナイキスト周波数が低いほどコントラストが小さくなるように、色信号の周波数帯域毎に補正係数を決定し、コントラスト補正部１３に出力する。

図３は、代表的な色標本化構造を示す図である。図３を参照して、補正係数の決定方法の具体例を説明する。図３（ａ）は正方格子型標本化構造で、３板式センサーカメラにおける緑色、赤色、青色信号の標本化や、Ｆ６５型色標本化構造を持つ単板式センサーカメラの緑色信号の標本化などに用いられる。図３（ｂ）は５の目型標本化構造で、Ｆ６５型色標本化構造を持つ単板式センサーカメラの赤色、青色信号の標本化や、ベイヤ型色標本化構造を持つ単板式センサーカメラの緑色信号の標本化などに用いられる。図３（ｃ）は図３（ａ）を水平、垂直方向に１：２画素間引した正方格子型標本化構造で、ベイヤ型色標本化構造を持つ単板式センサーカメラにおける赤色、青色信号の標本化などに用いられる。

カメラの各色信号は、上記の色標本化構造から画素を補間内挿して、すべての標本位置に色信号が含まれる画像が出力される。ここで、カメラの光学系ローパスフィルタリングが不十分な場合は、エイリアシングによる色モアレが発生する。単板式センサーカメラでは、センサー面に光学系ローパスフィルタが搭載されている場合でも、図３（ｂ）や図３（ｃ）のような色標本化構造の場合は、エイリアシングによる色モアレが発生する可能性がある。また３板式センサーカメラでも、センサー面の光学系ローパスフィルタ特性はナイキスト周波数で完全に遮断されないため、エイリアシングによる色モアレを完全に抑制することができない。他にも、光学系ローパスフィルタレスカメラや、標本化周波数の高いスチルカメラで動画を撮影して画素間引きして動画読み出しを行う場合は、大量の色モアレが発生する可能性がある。

そこで、色モアレを抑制するために、色標本化構造補正係数決定部１２は、周波数帯域毎に補正係数を設定する。ここでは、周波数分解部１１における、空間方向へのｎ階ウェーブレット分解処理にあわせて補正係数を決定する。例えば分解階数ｎ＝２の場合は、水平高周波帯域ＬＨ^ｎ、垂直高周波帯域ＨＬ^ｎ、対角高周波帯域ＨＨ^ｎにおける補正係数を｛Ｍ（ＬＨ^ｎ），Ｍ（ＨＬ^ｎ），Ｍ（ＨＨ^ｎ）｝とし、色標本化構造に合わせて補正係数を設定する。

補正係数値は、色標本化構造が図３（ａ）に示す正方格子型構造の場合は、例えば｛Ｍ（ＬＨ^ｎ），Ｍ（ＨＬ^ｎ），Ｍ（ＨＨ^ｎ）｜ｎ＝１，２｝＝｛１，１，１｝に決定する。つまり、この場合にはコントラスト補正は行われない。

図３（ｂ）に示す正方格子型構造の場合は、例えば｛Ｍ（ＬＨ^１），Ｍ（ＨＬ^１），Ｍ（ＨＨ^１）｝＝｛０．７５，０．７５，０．５｝に決定し、｛Ｍ（ＬＨ^２），Ｍ（ＨＬ^２），Ｍ（ＨＨ^２）｝＝｛１，１，０．７５｝に決定する。

図３（ｃ）に示す正方格子型構造の場合は、例えば｛Ｍ（ＬＨ^１），Ｍ（ＨＬ^１），Ｍ（ＨＨ^１）｝＝｛０．５，０．５，０．５｝に決定し、｛Ｍ（ＬＨ^２），Ｍ（ＨＬ^２），Ｍ（ＨＨ^２）｝＝｛０．７５，０．７５，０．７５｝に決定する。

コントラスト補正部１３は、周波数分解画像の周波数帯域毎のコントラストを算出する。そして、色標本化構造補正係数決定部１２により決定された補正係数に基づいて、周波数帯域毎に周波数分解画像のコントラストを補正して、コントラストが補正された周波数分解画像（帯域毎コントラスト補正画像）を生成し、フレーム画像再構成部１４に出力する。コントラスト補正部１３は、コントラストとしてマイケルソン（Michelson）コントラストを用いてもよいし、最小輝度と最大輝度の比を用いてもよい。

図４を参照してマイケルソンコントラストについて説明する。縞模様の最大輝度をＬ_ｍａｘとし、縞模様の最小輝度をＬ_ｍｉｎとすると、マイケルソンコントラストＣは式（１）で表される。なお、本実施形態では、コントラストの算出に用いるＬ_ｍａｘ及びＬ_ｍｉｎを絶対値とする。

図５は、コントラスト補正処理に用いるコントラスト補正関数ｙ＝ｆ（ｘ）を示す図であり、横軸ｘはコントラスト補正前の要素の絶対値を示し、縦軸ｙはコントラスト補正後の要素の絶対値を示す。コントラスト補正部１３は、例えば最大絶対値と最小絶対値の平均値Ｌ_ａｖｅ＝（Ｌ_ｍａｘ＋Ｌ_ｍｉｎ）／２を一定に保ったまま、コントラストを補正係数Ｍを乗じた値に変換する。この場合、コントラスト変換後の要素の最大絶対値Ｌ’_ｍａｘはＬ_ａｖｅ＋（Ｌ_ｍａｘ−Ｌ_ａｖｅ）×Ｍとなり、コントラスト変換後の要素の最小絶対値Ｌ’_ｍｉｎはＬ_ａｖｅ−（Ｌ_ａｖｅ−Ｌ_ｍｉｎ）×Ｍとなる。コントラスト補正部１３は、補正関数に従ってコントラストを変換した後、コントラスト変換前の要素の値と同一の正負の符号を付す。また、コントラスト変換後の要素の値がその下限値又は上限値を超える場合は、下限値又は上限値でクリップする。

フレーム画像再構成部１４は、コントラスト補正部１３により生成された帯域毎コントラスト補正画像をフレーム画像に周波数逆分解して、コントラストが補正された映像（コントラスト補正映像）をコントラスト補正装置１の外部に出力する。周波数分解部１１において空間ウェーブレット分解を行った場合には、フレーム画像再構成部１４において空間ウェーブレット再構成を行う。

なお、上述したコントラスト補正装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、コントラスト補正装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

上述したように、第１の実施形態に係る発明では、撮像素子の色標本化構造から映像のナイキスト周波数を把握し、ナイキスト周波数が低いほどコントラストが小さくなるように、色信号の周波数帯域毎に補正する。かかる構成により、本発明によれば、色標本化構造に起因する色モアレを抑制することが可能となり、主観画質を向上させることが可能となる。

（第２の実施形態）
次に、フレームレート変換映像を入力する場合について、第２の実施形態として以下に説明する。ここで、フレームレート変換映像とは、任意の手法によりフレームレートが変換された映像のことをいう。

フレームレートを変換する一般的な手法としては、線形補間フレーム内挿法と動き補正フレーム内挿法が知られている。線形補間フレーム内挿法では、時間軸上の内挿フレーム位置の前後フレーム画像に対して、線形フィルタ処理を適用して内挿フレームを生成する。動き補正フレーム内挿法では、時間軸上の内挿フレーム位置の前後フレーム画像間で動き推定を行い、その結果を用いて内挿フレーム位置に動き補正フレーム内挿を行う。

フレームレート変換映像を標本化すると、色モアレに加えて、色モアレに起因する色多重像が知覚されやすい。この原因として、フレームレート変換に伴う視覚のコントラスト感度の変化により、本来知覚されづらいはずのコントラスト差分が知覚されるようになることがあり、その際に色多重像が知覚されることが考察される。

図６は、明所視における視覚の時空間コントラスト感度特性を示す図である。横軸は空間周波数を表し、縦軸はコントラスト感度を表す。ここで、コントラスト感度はコントラスト閾値の逆数であり、コントラスト閾値は刺激の検出ができる最低のマイケルソンコントラストである。図６は時空間コントラスト感度特性の一例であり、コントラスト感度はこの値に限られるものではなく、またより多くの時間周波数のコントラスト感度を含むものであってもよい。時空間コントラスト感度特性の詳細については、例えば、J. G. Robson, “Spatial and Temporal Contrast-Sensitivity Functions of the Visual System”, Journal of the Optical Society of America, Vol. 56, Issue 8, pp. 1141-1142 (Mar. 1966)を参照されたい。

図６では時間周波数を変化させた場合のコントラスト感度を示しており、白丸のプロットは時間周波数が１サイクル／秒の場合を示し、黒丸のプロットは時間周波数が６サイクル／秒の場合を示し、白三角のプロットは時間周波数が１６サイクル／秒の場合を示し、黒三角のプロットは時間周波数が２２サイクル／秒の場合を示す。なお、図６では時間周波数が２２サイクル／秒（４４フレーム／秒）までしか示されていないが、それ以上の場合は値を外挿して計算することができる。２２サイクル／秒より時間周波数が高くなっても、コントラスト感度は指数関数的にしか減少しない。

図６より、視覚の時空間コントラスト感度は、時間周波数が１サイクル／秒といった低い場合には中間周波数帯域が高い帯域通過型の特性を示す。一方、一般的な映像のように時間周波数が８サイクル／秒（すなわち、１６フレーム／秒）を超える場合には低域通過型の特性を示し、時間周波数が上昇するほど全ての空間周波数帯域にわたりコントラスト感度が低下する。

フレームレート変換によりフレームレートが低下する場合は、図６より全ての空間周波数帯域にわたり視覚の時空間コントラスト感度が上昇するため、本来知覚されづらいはずのコントラスト差分が知覚されやすくなるという現象が発生する。例えば、１２０フレーム／秒のスーパーハイビジョン映像から２４フレーム／秒のデジタルシネマ映像へフレームレート変換を行う場合は、視覚の時空間コントラスト感度が上昇するため、フレームレート変換前の１２０フレーム／秒の映像を視聴する際には知覚されづらかったコントラスト差分が知覚されやすくなる。

また、フレームレート変換によりフレームレートが上昇する場合は、図６より全ての空間周波数帯域にわたり視覚の時空間コントラスト感度が低下するため、本来知覚されやすいはずのコントラスト差分が知覚されづらくなるという現象が発生する。例えば、２４フレーム／秒のデジタルシネマ映像から１２０フレーム／秒のスーパーハイビジョン映像へフレームレート変換を行う場合は、視覚の時空間コントラスト感度が低下するため、フレームレート変換前の２４フレーム／秒の映像を視聴する際には知覚されやすかったコントラスト差分が知覚されづらくなる。第２の実施形態では、このようなフレームレート変換による影響を考慮してコントラストの補正を行う。

図７は、本発明の第２の実施形態に係るコントラスト補正装置の構成例を示すブロック図である。図７に示すコントラスト補正装置２は、周波数分割部１１’と、色標本化構造補正係数決定部１２と、コントラスト補正部１３’と、フレーム画像再構成部１４と、フレームレート補正係数決定部１５とを備える。

周波数分解部１１’は、入力された映像を色信号毎に時空間方向に周波数分解して、周波数分解画像を生成し、コントラスト補正部１３’に出力する。本実施形態では、周波数分解としてウェーブレット分解を行うものとして説明する。また、ウェーブレット分解は各分解階数におけるパワーレベルを均等に保つために、パーセバルの等式を満たすように処理を行うのが好適である。なお、特定の周波数帯域のみを更にウェーブレット分解してもよい。

あるいは、周波数分解部１１’は、時空間コントラスト感度特性及び空間周波数情報を用いて、周波数分解能にあたる水平方向及び垂直方向の分解階数ｎ_ｈ，ｎ_ｖを、時空間コントラスト感度特性を基準に、映像の空間周波数から決定してもよい。この場合、図６に示したように、一般的な映像の時間周波数では時空間コントラスト感度が低域通過型の特性を示すため、映像を標準視距離で見た際にｎ階ウェーブレット分解した空間低周波数帯域が時空間コントラスト感度特性においてフラットな領域に入るように分解階数ｎを決定する。

例えば、スーパーハイビジョンでは、水平画素数が７６８０画素、標準視距離０．７５Ｈ（Ｈは画面高）における視野角が約１００度であるため、空間周波数は７６．８画素／度となり、単位をサイクル／度に変換すると約４０サイクル／度となる。そして、図４に示したように、コントラスト感度がほぼフラットな領域になるのは空間周波数が約２．５サイクル／度以下であり、ウェーブレット分解はオクターブ分解の一種であるため、分解階数ｎ_ｈ，ｎ_ｖはそれぞれ４あればよいことになる（４０×（１/２）^４＝２．５）。

図８は、周波数分解部１１’によりウェーブレット分解された周波数分解画像を示す図である。ここでは、水平方向の分解階数ｎ_ｈ＝２、垂直方向の分解階数ｎ_ｖ＝２、時間方向の分解階数ｎ_ｔ＝１としている。

色標本化構造補正係数決定部１２は、第１の実施形態と同様に、入力された映像のナイキスト周波数を色標本化構造から把握し、ナイキスト周波数が低いほどコントラストが小さくなるように、色信号の周波数帯域毎に第１の補正係数Ｍ１を決定し、コントラスト補正部１３’に出力する。

フレームレート補正係数決定部１５は、フレームレート変換情報を入力し、フレームレート変換映像がフレームレートを高くするように変換された映像である場合にはコントラストが大きくなり、フレームレート変換映像がフレームレートを低くするように変換された映像である場合にはコントラストが小さくなるように、色信号の周波数帯域毎に第２の補正係数Ｍ２を決定し、コントラスト補正部１３’に出力する。具体例については後述する。ここで、フレームレート変換情報とは、変換前後のフレームレートを含む情報である。

コントラスト補正部１３’は、周波数分解画像の周波数帯域毎のコントラストを算出する。そして、色標本化構造補正係数決定部１２により決定された第１の補正係数Ｍ１、及びフレームレート補正係数決定部１５により決定された第２の補正係数Ｍ２に基づいて、色信号の周波数帯域毎に周波数分解画像のコントラストを補正して、コントラストが補正された周波数分解画像（帯域毎コントラスト補正画像）を生成し、フレーム画像再構成部１４に出力する。

例えば、コントラスト補正部１３’は、輝度の最大絶対値と最小絶対値の平均値Ｌ_ａｖｅ＝（Ｌ_ｍａｘ＋Ｌ_ｍｉｎ）／２を一定に保ったまま、周波数分解画像のコントラストを周波数帯域毎に、第１の補正係数Ｍ１及び第２の補正係数Ｍ２を乗じた値に変換する。

フレーム画像再構成部１４は、第１の実施形態と同様に、コントラスト補正部１３により生成された帯域毎コントラスト補正画像をフレーム画像に周波数逆分解して、コントラストが補正されたコントラストが補正された映像（コントラスト補正映像）をコントラスト補正装置２の外部に出力する。周波数分解部１１’において時空間ウェーブレット分解を行った場合には、フレーム画像再構成部１４において時空間ウェーブレット再構成を行う。

フレームレート補正係数決定部１５は、時空間コントラスト感度特性を用いて、コントラスト感度の変化率に応じて第２の補正係数Ｍ２を決定してもよい。時空間コントラスト感度特性を用いた第２の補正係数Ｍ２の具体的な決定の仕方について、２４フレーム／秒の４Ｋデジタルシネマを６０フレーム／秒の４Ｋテレビジョンにフレームレートを変換した映像を入力する例について、以下に説明する。この例では、図８と同様に、水平方向の分解階数ｎ_ｈ＝２、垂直方向の分解階数ｎ_ｖ＝２、時間方向の分解階数ｎ_ｔ＝１とする。

４Ｋテレビジョンは、水平画素数が３８４０（又は４０９６）画素、標準視距離１．５Ｈにおける視野角が約６０度であるため、最大空間周波数は６４画素／度となり、単位をサイクル／度に変換すると約３０サイクル／度となる。また、垂直画素数が２１６０画素、標準視距離１．５Ｈにおける視野角が約４０度であるため、最大空間周波数は５４画素／度となり、単位をサイクル／度に変換すると約３０サイクル／度となる。

最大空間周波数が３０サイクル／度の画像を空間方向に２階ウェーブレット分解すると、分解階数ｎ_ｈ＝１，ｎ_ｖ＝１の空間周波数帯域（ＬＨ^１，ＨＬ^１，ＨＨ^１）は１５〜３０サイクル／度となるため、その代表値を２２．５サイクル／度とする。また、分解階数ｎ_ｈ＝２，ｎ_ｖ＝２のうちの空間高周波数帯域（ＬＨ^２，ＨＬ^２，ＨＨ^２）は７．５〜１５サイクル／度となるため、その代表値を１１．２５サイクル／度とする。また、分解階数ｎ_ｈ＝２，ｎ_ｖ＝２のうちの空間低周波数帯域（ＬＬ^２）は０〜７．５サイクル／度となるため、その代表値を３．７５サイクル／度とする。

フレームレート変換映像のフレームレートは２４フレーム／秒から６０フレーム／秒に変換されており、単位をサイクル／秒に変換すると、最大時間周波数が１２サイクル／秒から３０サイクル／秒への変換となる。

最大時間周波数が１２サイクル／秒の画像を時間方向に１階ウェーブレット分解すると、時間高周波数帯域（Ｈ^１）は６〜１２サイクル／秒となり、時間低周波数帯域（Ｌ^１）は０〜６サイクル／秒となる。また、最大時間周波数が３０サイクル／秒の画像を時間方向に１階ウェーブレット分解すると、時間高周波数帯域（Ｈ^１）は１５〜３０サイクル／秒となり、時間低周波数帯域（Ｌ^１）は０〜１５サイクル／秒となる。つまり、本実施形態のフレームレート変換は、時間高周波数帯域（Ｈ^１）については代表値が９サイクル／秒から２２．５サイクル／秒への変換となり、時間低周波数帯域（Ｌ^１）については代表値が３サイクル／秒から７．５サイクル／秒への変換となる。

コントラスト補正部１３’は、時空間コントラスト感度特性より、フレームレート変換前後の時間周波数についてそれぞれ、周波数分解画像の周波数帯域毎のコントラスト感度（ＣＳ：Contrast Sensitivity）を求める。

時間高周波数帯域（Ｈ^１）における、各空間周波数帯域のコントラスト感度は、９サイクル／秒から２２．５サイクル／秒へフレームレートを変換したとして図６を参照すると、以下のようになる。水平・垂直方向の分解階数ｎ_ｈ＝１，ｎ_ｖ＝１の空間周波数帯域（ＬＨ^１，ＨＬ^１，ＨＨ^１）は、コントラスト感度が６から１になる。水平・垂直方向の分解階数ｎ_ｈ＝２，ｎ_ｖ＝２のうちの空間高周波数帯域（ＬＨ^１，ＨＬ^１，ＨＨ^１）は、コントラスト感度が２６から３になる。水平・垂直方向の分解階数ｎ_ｈ＝２，ｎ_ｖ＝２のうちの空間低周波数帯域（ＬＬ^２）は、コントラスト感度が９０から１２になる。

また、時間低周波数帯域（Ｌ^１）における、各空間周波数帯域のコントラスト感度は、３サイクル／秒から７．５サイクル／秒へフレームレートを変換したとして図６を参照すると、以下のようになる。水平・垂直方向の分解階数ｎ_ｈ＝１，ｎ_ｖ＝１の空間周波数帯域（ＬＨ^１，ＨＬ^１，ＨＨ^１）は、コントラスト感度が１１から１０になる。水平・垂直方向の分解階数ｎ_ｈ＝２，ｎ_ｖ＝２のうちの空間高周波数帯域（ＬＨ^１，ＨＬ^１，ＨＨ^１）は、コントラスト感度が５０から４０になる。水平・垂直方向の分解階数ｎ_ｈ＝２，ｎ_ｖ＝２のうちの空間低周波数帯域（ＬＬ^２）は、コントラスト感度が２００から１８０になる。

第２の補正係数Ｍ２は、フレームレート変換後の時間周波数におけるコントラスト感度に対する、フレームレート変換前の時間周波数におけるコントラスト感度の比として求める。これらをまとめると下記の表１のようになる。なお、時空間最低周波数帯域（Ｌ^１且つＬＬ^２）については、便宜的に直流成分だとみなしてコントラストの補正を行わなくてもよいし、同様に補正を行ってもよい。

コントラスト感度の逆数がコントラスト閾値となり、刺激の検出ができる最低のコントラストとなる。コントラスト補正部１３’は、各時空間周波数帯域において、コントラスト閾値の変化に応じて補正を行うものである。この補正を行うことで、例えばコントラスト閾値が上昇（コントラスト感度が低下）した場合には、フレームレート変換前にコントラスト差分が知覚されていたが変換後は知覚されなくなったものを知覚されるように補正することができる。また、コントラスト閾値が低下（コントラスト感度が上昇）した場合には、フレームレート変換前にコントラスト差分が知覚されていなかったが変換後は知覚されるようになったものを知覚されないように補正することができる。

また、斜め方向のコントラスト感度は低下することが知られているため、コントラスト補正部１３’は、さらに空間の異方性を考慮して周波数分解画像のコントラストを周波数帯域毎に補正してもよい。例えば、斜め方向用の時空間コントラスト感度特性を別途用意するか、あるいは時空間コントラスト感度特性を補正して斜め方向のコントラスト感度を推定する。

なお、上述したコントラスト補正装置２として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、コントラスト補正装置２の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

上述したように、第２の実施形態に係る発明では、フレームレート変換映像がフレームレートを高くするように変換された映像である場合にはコントラストが大きくなり、フレームレート変換映像がフレームレートを低くするように変換された映像である場合にはコントラストが小さくなるように、色信号の周波数帯域毎にコントラストを補正する。かかる構成により、本発明によれば、色標本化構造に起因する色モアレやフレームレート変換に起因する色多重像のようなアーティファクトを抑制することが可能となり、主観画質を向上させることが可能となる。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

１，２ コントラスト補正装置
１１，１１’ 周波数分解部
１２ 色標本化構造補正係数決定部
１３，１３’ コントラスト補正部
１４ フレーム画像再構成部
１５ フレームレート補正係数決定部

Claims (7)

1. 映像のコントラストを補正するコントラスト補正装置であって、
   前記映像を色信号毎に周波数分解して周波数分解画像を生成する周波数分解部と、
   前記映像を撮像した撮像素子の色標本化構造から前記映像のナイキスト周波数を把握し、ナイキスト周波数が低いほどコントラストが小さくなるように、色信号の周波数帯域毎の第１の補正係数を決定する色標本化構造補正係数決定部と、
   前記補正係数に基づいて、色信号の周波数帯域毎に前記周波数分解画像のコントラストを補正して帯域毎コントラスト補正画像を生成するコントラスト補正部と、
   前記帯域毎コントラスト補正画像を周波数逆分解してコントラストが補正された映像を出力するフレーム画像再構成部と、
   を備えることを特徴とするコントラスト補正装置。
2. 前記映像はフレームレートが変換されたフレームレート変換映像であり、
   前記フレームレート変換映像がフレームレートを高くするように変換された映像である場合にはコントラストが大きくなり、フレームレート変換映像がフレームレートを低くするように変換された映像である場合にはコントラストが小さくなるように、色信号の周波数帯域毎の第２の補正係数を決定するフレームレート補正係数決定部を更に備え、
   前記コントラスト補正部は、前記第１の補正係数及び前記第２の補正係数に基づいて、前記周波数分解画像のコントラストを補正して前記帯域毎コントラスト補正画像を生成することを特徴とする、請求項１に記載のコントラスト補正装置。
3. 前記コントラスト補正部は、時間周波数を変化させたときの空間周波数に対する視覚のコントラスト感度を示す時空間コントラスト感度特性に基づき、前記周波数分解画像のコントラストを補正することを特徴とする、請求項２に記載のコントラスト補正装置。
4. 前記周波数分解部は、前記時空間コントラスト感度特性を基準に、水平方向及び垂直方向の分解階数を決定することを特徴とする、請求項３に記載のコントラスト補正装置。
5. 前記コントラスト補正部は、空間の異方性を考慮して前記周波数分解画像のコントラストを補正することを特徴とする、請求項１から４のいずれか一項に記載のコントラスト補正装置。
6. 前記周波数分解部は、ウェーブレット分解を用いて前記周波数分解画像を生成し、
   前記フレーム画像再構成部は、ウェーブレット再構成を用いて周波数分解画像をフレーム画像に逆変換することを特徴とする、請求項１から５のいずれか一項に記載のコントラスト補正装置。
7. コンピュータを、請求項１から６のいずれか一項に記載のコントラスト補正装置として機能させるためのプログラム。
   

Images