JP5436020B2

JP5436020B2 - 画像処理装置および画像処理方法

Info

Publication number: JP5436020B2
Application number: JP2009104776A
Authority: JP
Inventors: 太介西尾; 裕紀進藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-04-23
Filing date: 2009-04-23
Publication date: 2014-03-05
Anticipated expiration: 2029-04-23
Also published as: US20130063666A1; US8654260B2; US20100271553A1; US8334931B2; JP2010257100A

Description

本発明は、画像処理装置および画像処理方法に関する。

入力映像の特徴を検出してガンマ特性を変更することにより、表示映像の画質を向上する技術が知られている。このような技術は、例えば、特開２００１−１６９１４３号公報（特許文献１）に記載されている。また、上記ガンマ特性を表すガンマ特性曲線を動的に生成する技術が知られている。このような技術は、例えば、特開２００６−３１９９５３号公報（特許文献２）に記載されている。通常、このような処理においては、入力映像の明暗等が急激に変化した場合においても視聴者の違和感を防止するために、緩やかにガンマ特性を変更するような工夫がなされている。

一方、映画のシネマ映像は毎秒２４コマからなり、２−３プルダウン処理によって毎秒６０コマのテレビジョン信号に変換される。テレビジョン信号受像機が、入力映像が２−３プルダウン処理されたものだと判断すると、適切な画像処理を行って高品位なシネマ映像を表示する技術が知られている。このような技術は、例えば、特開２００７−７４４３９号公報（特許文献３）に記載されている。

また、フレームレート変換処理により、入力映像のコマ数よりも多いコマ数の映像を表示する映像表示装置が存在する。例えば、毎秒１２０コマの映像を表示する装置に２−３プルダウン処理された映像を表示する場合、シネマ映像の各コマを５回ずつ繰り返し表示することにより毎秒１２０コマの表示を実現できる（毎秒２４コマ×５＝１２０コマ）。このようにして高品位なシネマ映像を表示する技術は、例えば、特開２００４−３０２０４５号公報（特許文献４）に記載されている。

特開２００１−１６９１４３号公報特開２００６−３１９９５３号公報特開２００７−７４４３９号公報特開２００４−３０２０４５号公報

しかしながら、２−３プルダウン処理された映像を表示する場合や、シネマ映像の各コマを５回ずつ表示する場合、同一のフレームが繰り返し表示される。あるいは、６０Ｈｚの映像を１２０Ｈｚにフレームレート変換する際に、同じコマを２回繰り返し表示する方法を用いた場合も、同一のフレームが繰り返し表示される。従来はこれらの場合であっても、上述のようにガンマ特性の急激な変化を抑制する処理が行われていた。そのため、フレーム間で画像に変化がないのに、ガンマ特性が緩やかに変化するように処理されてしまっていた。その結果、同一画像を正確に繰り返し表示させることができなくなり、元の映像を再現できなくなる問題があった。

また、従来は、シーンチェンジの有無を考慮しないでガンマ特性の急激な変化を抑制する処理を行っていた。しかしながら、シーンチェンジがあった場合はガンマ特性が急激に変化しても、ユーザーに違和感を与えることはない。にもかかわらず変化を抑制した場合、かえって元の映像の再現性が低くなる、映像のメリハリが失われるなどの現象が起こっ
てしまう。

本発明は上記実情に鑑みてなされたものであり、その目的は、入力映像の補正処理を行う際に、シーンチェンジの有無やフレームレート変換処理等を考慮して、元映像を再現するのに相応しいガンマ特性曲線を適用する画像処理装置または方法を提供することにある。

上記目的を達成するために本発明では、以下の構成を採用する。すなわち、
入力映像を構成する各入力画像について輝度の特徴量を抽出するとともに、入力映像のシーンチェンジの有無を検出する特徴抽出部と、
隣接する入力画像の間に、直前の画像を繰り返して補間画像を作成する第１の補間方法と、前後の画像から補間画像を作成する第２の補間方法と、のいずれかにより作成した補間画像を挿入するフレームレート変換部と、
前記特徴抽出部で抽出された特徴量の大きさに基づいて、各入力画像に対応する出力画像に適用すべき輝度補正曲線を決定する制御部と、
前記制御部で決定された輝度補正曲線を用いて各出力画像の輝度を補正する輝度補正部と、を備え、
前記制御部は、
第１の入力画像とそれに続く第２の入力画像の特徴量の差が所定値よりも大きく、かつ、前記第１の入力画像と前記第２の入力画像の間にシーンチェンジが無い場合には、輝度補正曲線の時間変化が抑制されるように、前記第２の入力画像に対応する出力画像に適用すべき輝度補正曲線を決定し、
前記フレームレート変換部により作成した補間画像に適用する輝度補正曲線を、当該補間画像の作成に用いた補間方法に応じて決定することを特徴とする画像処理装置である。
また、本発明では、以下の構成を採用する。すなわち、
入力映像を構成する各入力画像について輝度の特徴量を抽出するとともに、入力映像のシーンチェンジの有無を検出する特徴抽出部と、
入力映像が、２−３プルダウン処理によって毎秒２４コマのシネマ映像から作成されたものか否かを判定するプルダウン信号検出部と、
前記特徴抽出部で抽出された特徴量の大きさに基づいて、各入力画像に対応する出力画像に適用すべき輝度補正曲線を決定する制御部と、
前記制御部で決定された輝度補正曲線を用いて各出力画像の輝度を補正する輝度補正部と、を備え、
前記制御部は、
第１の入力画像とそれに続く第２の入力画像の特徴量の差が所定値よりも大きく、かつ、前記第１の入力画像と前記第２の入力画像の間にシーンチェンジが無い場合には、輝度補正曲線の時間変化が抑制されるように、前記第２の入力画像に対応する出力画像に適用すべき輝度補正曲線を決定し、
前記プルダウン信号検出部による判定結果が２−３プルダウン処理によって作成されたというものであれば、同じシネマ映像のコマから作成された出力画像には同じ輝度補正曲線を適用することを特徴とする画像処理装置である。

本発明ではまた、以下の構成を採用する。すなわち、
入力映像を構成する各入力画像について輝度の特徴量を抽出するステップと、
入力映像のシーンチェンジの有無を検出するステップと、
隣接する入力画像の間に、直前の画像を繰り返して補間画像を作成する第１の補間方法と、前後の画像から補間画像を作成する第２の補間方法と、のいずれかにより作成した補間画像を挿入するステップと、
抽出された特徴量の大きさに基づいて、各入力画像に対応する出力画像に適用すべき輝度補正曲線を決定するステップと、
決定された輝度補正曲線を用いて各出力画像の輝度を補正するステップと、を備え、
前記決定するステップでは、
第１の入力画像とそれに続く第２の入力画像の特徴量の差が所定値よりも大きく、かつ、前記第１の入力画像と前記第２の入力画像の間にシーンチェンジが無い場合には、輝度補正曲線の時間変化が抑制されるように、前記第２の入力画像に対応する出力画像に適用すべき輝度補正曲線を決定し、
前記作成した補間画像に適用する輝度補正曲線を、当該補間画像の作成に用いた補間方法に応じて決定することを特徴とする画像処理方法である。
また、本発明では、以下の構成を採用する。すなわち、
入力映像を構成する各入力画像について輝度の特徴量を抽出するステップと、
入力映像のシーンチェンジの有無を検出するステップと、
入力映像が、２−３プルダウン処理によって毎秒２４コマのシネマ映像から作成されたものか否かを判定するステップと、
抽出された特徴量の大きさに基づいて、各入力画像に対応する出力画像に適用すべき輝度補正曲線を決定するステップと、
決定された輝度補正曲線を用いて各出力画像の輝度を補正するステップと、を備え、
前記決定するステップでは、
第１の入力画像とそれに続く第２の入力画像の特徴量の差が所定値よりも大きく、かつ、前記第１の入力画像と前記第２の入力画像の間にシーンチェンジが無い場合には、輝度補正曲線の時間変化が抑制されるように、前記第２の入力画像に対応する出力画像に適用すべき輝度補正曲線を決定し、
前記判定するステップによる判定結果が２−３プルダウン処理によって作成されたというものであれば、同じシネマ映像のコマから作成された出力画像には同じ輝度補正曲線を適用することを特徴とする画像処理方法である。

本発明によれば、入力映像の補正処理を行う際に、シーンチェンジの有無やフレームレート変換処理等を考慮して、元映像を再現するのに相応しいガンマ特性曲線を適用することができるようになる。

画像処理装置の構成を示すブロック図。ガンマ特性曲線の例。フレームレート変換しない場合のガンマ補正を説明する図。フレームレート変換しない場合のガンマ補正を説明するフローチャート。フレームレート変換する場合のガンマ補正を説明する図。シネマ映像をフレームレート変換する場合のガンマ補正を説明する図。シネマ映像をフレームレート変換しない場合のガンマ補正を説明する図。

以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。

＜実施例１＞
図１のブロック図を用いて、画像処理装置の構成を説明する。画像処理装置は特徴抽出部１０１、プルダウン信号検出部１０２、順次走査変換部１０３、フレームレート変換部１０４、ガンマ補正部１０５、フレームレート変換設定部１０６、およびガンマ補正処理制御部１０７の各ブロックを含む。図中、太い矢印は入力映像が様々な処理を経て出力映像となる様子を示し、細い矢印は制御データ等の流れを示す。本発明の画像処理装置は、受信した放送波から入力映像を取り出し、画像好適化を施した上で出力映像をディスプレイに出力し表示する機能を持つ。例えば、画像処理装置は、ディスプレイを備えるテレビジョン装置に組み込まれていても良いし、ＳＴＢ（ＳｅｔＴｏｐＢｏｘ）などを構成してディスプレイに映像を出力しても良い。

特徴抽出部１０１は、入力映像のフィールドごとに特徴量を算出し、その特徴量をガンマ補正処理制御部１０７に出力する。特徴量としては、フィールドに含まれる画素の輝度の合計値を用いる。さらに、特徴抽出部は、入力映像の隣接するフィールド間でシーンチェンジがあったかどうかを検出し、検出結果をガンマ補正処理制御部に出力する。本実施例では、連続する２つのフィールド（第１の入力画像および第２の入力画像）の輝度の平均値を比較し、差分が所定の値よりも大きければシーンチェンジがあったものとする。

プルダウン信号検出部１０２は、入力映像が２−３プルダウン処理をされたものかどうか判定し、結果をガンマ補正処理制御部に出力する。判定方法としては、同じコマから作成されたフィールドが２個又は３個ずつ連続しているか判断する方法や、放送送信側で２−３プルダウンであることの識別信号が埋め込まれている場合はその信号を検出する方法を用いることができる。順次走査変換部１０３は、入力映像が飛び越し走査によるインターレース信号である場合に、必要に応じて順次走査変換を行ってプログレッシブ信号を作成する。フレームレート変換部１０４は、フレームレート変換設定部１０６から指示された変換方法により、１秒あたりの表示画像数を変更する。フレームレート変換設定部１０６は、ユーザーの操作などによりフレームレート変換方法を設定し、その設定内容をフレームレート変換部、および、ガンマ補正処理制御部に出力する。設定内容としては、中間画像を作成する方法や同一画像を繰り返す方法などがあり、それぞれ異なるやり方で入力映像のフィールド（またはフレーム）に複数枚の出力画像を対応させている。

ガンマ補正部１０５は、ガンマ補正処理制御部が選択したガンマ特性曲線を用いて、入力映像に対して非線形変換処理を行う。ガンマ補正処理制御部１０７は、特徴抽出部からの特徴量およびシーンチェンジの有無、プルダウン信号検出部からの判定結果、および、フレームレート変換設定部からの設定内容を用いて最適なガンマ特性曲線を選択し、ガンマ補正部に出力する。図２の丸数字１〜９にガンマ特性曲線の例を示す。本図において横軸は入力階調、縦軸は出力階調である。ガンマ補正処理制御部は、特徴量の大きさを９段階に分類し、それぞれの段階に対応する丸数字１〜９のいずれかのガンマ特性曲線を選択する。例えば、特徴量が最大の段階である、すなわち画像の明るさレベルが最大の場合は、ガンマ特性曲線９を選択して白とびを防止する。逆に特徴量が最少の段階である、すなわち画像が暗い場合は、ガンマ特性曲線１を選択して黒つぶれを防止する。また特徴量が中間であれば、その値に応じてガンマ特性曲線２〜８のいずれかを選択する。

なお、ガンマ補正部は本発明の輝度補正部に当たる。また、ガンマ特性曲線は本発明の輝度補正曲線に当たり、実施例中ではいわゆるガンマカーブを用いているが、入力画像の輝度を出力画像の輝度に変換することができれば、ガンマカーブに限る必要はない。また、ガンマ補正処理制御部は本発明の制御部に当たる。また、実施例中では、複数のガンマ特性曲線のうちのいずれかを選択する方法を用いているが、ガンマ特性曲線は、入力画像
の特徴量に基づいて動的に生成しても良いし、また、複数のガンマ特性曲線を用いて、適切なガンマ特性曲線を生成しても良い。

本実施例では入力映像はフィールド周波数６０Ｈｚ、すなわち毎秒６０フィールドのインターレース信号である。言い換えると、入力映像を構成する各入力画像（フィールド）は、１秒間に６０枚ずつ切り替わる。また、入力映像に２−３プルダウン処理は施されていない。また、入力映像に順次走査変換は行われる。また、フレームレート変換設定部に対しては、「フレームレート変換を行わない」というユーザーからの指示が出されている。これらの前提を踏まえて、ガンマ補正処理制御部がガンマ特性曲線を選択しガンマ補正する方法を説明する。

図３（ａ）に、特徴抽出部が入力映像から特徴量の算出およびシーンチェンジ有無の検出をした結果を出力するタイミングを示す。図示したように、フィールドの終了直前のタイミングで結果が出力される。ガンマ補正処理制御部は出力された結果などに基づいて、ガンマ特性曲線を選択する。そして、ガンマ補正部が、選択されたガンマ特性曲線に基づく非線形変換処理を行い、出力映像を得る。なお、ガンマ補正処理制御部によるガンマ特性曲線の選択は、具体的には適用ガンマ指示値を選択することにより行われる。適用ガンマ指示値とは図２に示したガンマ特性曲線を特定する値であり、１〜９のいずれかの数値で表される。上述したように、特徴量（輝度の合計値、すなわち画像の明るさ）が大きい程、適用ガンマ指示値も大きくなる。

図３（ｂ）に、シーンチェンジなし、かつ、特徴量がフィールドＡからＢにかけて大きく減少し、フィールドＢからＣでは変動しなかった時に、ガンマ補正処理制御部が選択する適用ガンマ指示値を示す。フィールドＡからＢへの遷移時に特徴量が大きく減少しているが、適用ガンマ指示値を特徴量変化に応じた値に設定すると、出力映像がいきなり明るくなり過ぎてユーザーに違和感を与える恐れがある。そこで図３（ｂ）に示したように、出力フレームＢへの適用ガンマ指示値を、出力フレームＡに適用する値と、特徴量に応じた本来の値の中間に設定する。このようにして出力映像の輝度の変動する量を制御し、フレーム単位で段階的にガンマ特性曲線を変更することが可能になる。これによりユーザーにとって違和感のない出力映像の表示ができる。

図３（ｃ）に、シーンチェンジがフィールドＡとＢの間で検出され、かつ、特徴量がフィールドＡからＢにかけて大きく減少し、フィールドＢからＣでは変動しなかった時に、ガンマ補正処理制御部が選択する適用ガンマ指示値を示す。この場合は出力フレームＡとＢの間でシーンチェンジが発生しているため、画像の明るさが急激に変動してもユーザーに違和感を生じさせることはない。そこでガンマ補正処理制御部は特徴量に応じた適用ガンマ指示値をそのまま選択し、ガンマ補正部に補正を行わせる。特徴量の変化がシーンチェンジに起因する場合、ガンマ特性曲線を段階的に変化させてしまうと、かえって元映像を再現できず、メリハリのない映像表示になってしまう恐れがある。そこで、シーンチェンジありと判定された場合は上記のように特徴量に直接対応したガンマ補正を行うことにより、元映像の再現度が高い、好適な映像表示をすることができるようになる。

図４のフローチャートを用いて、上述した図３（ｂ）および図３（ｃ）の処理についてさらに説明する。ステップＳ０１で、特徴抽出部はフィールドＡの特徴量Ｖ_Ａおよび輝度の平均値を算出し、ガンマ補正処理制御部はＶ_Ａに対応する適用ガンマ指示値Ｐを選択する。ステップＳ０２で、特徴抽出部はフィールドＢの特徴量Ｖ_Ｂおよび輝度の平均値を算出し、ガンマ補正処理制御部はＶ_Ｂに対応する適用ガンマ指示値Ｒを選択する。適用ガンマ指示値ＰおよびＲは、それぞれ図３（ｂ）、図３（ｃ）に示してある。ステップＳ０３で、特徴抽出部はフィールドＡとＢの輝度の平均値を比較し、シーンチェンジ検出を行う。ステップＳ０４で、ガンマ補正処理制御部はＶ_ＡとＶ_Ｂを比較し、両者の差が所定値Ｖ
_Ｔより大きいかどうかを判断する。Ｓ０４＝ＮＯであれば、ガンマ補正処理制御部はフィールドＢに対する適用ガンマ指示値Ｒの選択を確定させる。一方、Ｓ０４＝ＹＥＳであれば、ステップＳ０５で、ガンマ補正処理制御部は、シーンチェンジの有無に基づき後続処理を決定する。Ｓ０５＝ＹＥＳであれば、特徴量変化はシーンチェンジが原因の可能性が高い。そこでガンマ補正処理制御部はフィールドＢに対する適用ガンマ指示値Ｒの選択を確定させる。一方、Ｓ０５＝ＮＯであれば、ガンマ特性曲線の急激な変動を抑制するために、ガンマ補正処理制御部は適用ガンマ指示値をＱに変更する。

なお、画像の特徴量としては、画像に含まれる画素の輝度の平均値を用いることもできる。また、輝度のレンジを横軸、画素数を縦軸とする輝度ヒストグラムを作成し、その形状（例えばヒストグラムが正規分布で近似できる場合、そのピークの値）に基づいてガンマ特性曲線を選択するようにしても良い。

＜実施例２＞
本実施例での入力映像はフィールド周波数６０Ｈｚのインターレース信号である。また、入力映像に２−３プルダウン処理は施されていない。また、入力映像に順次走査変換は行われる。また、フレームレート変換設定部に対しては、「フレーム周波数１２０Ｈｚの信号に変換する」というユーザーからの指示が出されている。これらの前提を踏まえて、ガンマ補正処理制御部がガンマ特性曲線を選択しガンマ補正する方法を説明する。なお装置の構成は実施例１と同様である。

本実施例においても、特徴抽出部は図３（ａ）に示したタイミングで、特徴量の算出およびシーンチェンジ有無の判定結果を出力する。そして、フレームレート変換部はフレームレート変換設定部の設定内容に従い、補間画像として補間フレームを作成し、出力映像のフレームの境界に挿入する。

図５（ａ）に、シーンチェンジなし、かつ、特徴量がフィールドＡからＢにかけて大きく減少し、フィールドＢからＣでは変動しなかった時の適用ガンマ指示値を示す。本図でのフレームレート変換は、フレームレート変換部が前後のフレームから中間画像を作成する方法で行われる。すなわち、中間画像Ａ’はフレームＡとＢから、Ｂ’はフレームＢとＣから、Ｃ’はフレームＣと後続のフレームから、それぞれ生成されている。この方法は、本発明の第２の補間方法に当たる。ここで、ガンマ補正処理制御部が、フレームレート変換された後の映像に対して適用ガンマ指示値を選択することにより、きめ細かい画像処理が可能になっている。例えば中間画像Ａ’に対しては、フレームＡとＢの適用ガンマ指示値の中間の値が選択される。これにより、視聴者に違和感を与えること無く滑らかにガンマ特性を変更できる。

一方、図５（ｂ）に示したのは、フレームレート変換部が前のフレームを繰り返す方法でフレームレート変換を行う場合の適用ガンマ指示値である。この方法は、本発明の第１の補間方法に当たる。図示したように、ガンマ補正処理制御部は、同じ画像に対しては同じ適用ガンマ指示値を選択する。これにより、元映像の再現性を高めることができる。このように、フレームレート変換方法を考慮しつつ適用ガンマ指示値を段階的に変化させることにより、明るさの急激な変化の抑制と元映像の再現を両立させている。

図５（ｃ）に、シーンチェンジがフィールドＡとＢの間で検出され、かつ、特徴量がフィールドＡからＢにかけて大きく減少し、フィールドＢからＣでは変動しなかった時に、ガンマ補正処理制御部が選択する適用ガンマ指示値を示す。この場合はシーンチェンジが発生しているため、画像の明るさが急激に変化してもユーザーに違和感を生じさせることはない。そこで、ガンマ補正処理制御部は、特徴量に対応する適用ガンマ指示値をそのまま選択する。

このように、入力映像と表示映像のフレームレートが異なる場合であっても、ガンマ補正処理制御部が特徴量と、シーンチェンジの有無と、フレームレート変換方法に応じて適切にガンマ補正制御を行うことができ、良好なガンマ特性の設定が可能となる。

＜実施例３＞
本実施例での入力映像はフィールド周波数６０Ｈｚのインターレース信号である。また、入力映像には２−３プルダウン処理が施されている。また、入力映像に順次走査変換は行われない。また、フレームレート変換設定部に対しては、「フレーム周波数１２０Ｈｚの信号に変換する」というユーザーからの指示が出されている。これらの前提を踏まえて、ガンマ補正処理制御部がガンマ特性曲線を選択しガンマ補正する方法を説明する。なお装置の構成は実施例１と同様である。また、本実施例中では順次走査変換は行われないとしているが、順次走査変換が行われる場合も同様である。

図６（ａ）に、２−３プルダウン処理された入力映像の構成を示す。図示したように画像Ａが２回、画像Ｂが３回、画像Ｃが２回、画像Ｄが３回繰り返されている。このように２−３プルダウン処理においては、シネマ映像の１つのコマから２つまたは３つのフィールドが作成されることにより、フレームレートの違いが吸収される。フレームレート変換部が図６（ａ）のような入力映像をフレーム周波数１２０Ｈｚに変換する場合、図６（ｂ）に示すように、元のシネマ画像の１コマを５回ずつ繰り返す。この方法により、元のシネマ映像と同じタイミングで映像を表示できる。

図６（ｂ）に、シーンチェンジなし、かつ、特徴量がフィールドＡからＢにかけて大きく減少し、フィールドＢからＤまでは変動しない時に、ガンマ補正処理制御部が選択する適用ガンマ指示値を示す。図示したように、シネマ映像の同じコマから作成されたフレームには、同じ適用ガンマ指示値が用いられる。これにより、元のシネマ映像を忠実に再現した高品質な映像表示ができるようになる。また、本実施例ではシーンチェンジが起きていないので、フレームＢからＤにかけて徐々にガンマ特性を変化させている。これにより、画面の明るさが急激に変化してユーザーに違和感を生じさせるような事態を防ぐことが可能になる。

図６（ｃ）に、シーンチェンジがフィールドＡからＢの間で検出され、かつ、特徴量がフィールドＡからＢにかけて大きく減少し、フィールドＢからＤまでは変動しなかった時に、ガンマ補正処理制御部が選択する適用ガンマ指示値を示す。この場合シーンチェンジが発生しているのでガンマ特性が急激に変化してもユーザーに違和感を与えることはない。そこで、ガンマ補正特性制御部は、フィールドＢの特徴量に対応するガンマ特性をそのまま適用する。一方で、シネマ映像の同じコマから作成されたフィールドには同じ適用ガンマ指示値が用いられるので、元映像の再現性が高い表示が可能になる。

このように入力映像が２−３プルダウン処理されたシネマ映像であり、フレームレートが変換される場合でも、ガンマ補正処理制御部が、特徴量とシーンチェンジの有無に応じて適切にガンマ補正制御を行うことができる。これにより、毎秒２４コマのシネマ映像に相応しいガンマ特性の変更が可能となり、シネマ映像の忠実な再現が可能となる。

＜実施例４＞
本実施例での入力映像はフィールド周波数６０Ｈｚのインターレース信号である。また、入力映像には２−３プルダウン処理が施されている。また、入力映像に順次走査変換は行われない。また、フレームレート変換設定部に対しては、「フレームレート変換しない」というユーザーからの指示が出されている。これらの前提を踏まえて、ガンマ補正処理制御部がガンマ特性曲線を選択しガンマ補正する方法を説明する。なお装置の構成は実施
例１と同様である。また、図７（ａ）に示した入力映像の構成は、実施例３において図６（ａ）を用いて説明したものと同様である。

図７（ｂ）に、シーンチェンジなし、かつ、特徴量がフィールドＡからＢにかけて大きく減少し、フィールドＢからＤまでは変動しない時に、ガンマ補正処理制御部が選択する適用ガンマ指示値を示す。図示したように、シネマ映像の同じコマから作成されたフレームには、同じ適用ガンマ指示値が用いられる。これにより、元のシネマ映像を忠実に再現した、高品質な映像表示ができるようになる。また、本実施例ではシーンチェンジが起きていないので、フレームＢからＤにかけて徐々にガンマ特性を変化させている。これにより、画面の明るさが急激に変化してユーザーに違和感を生じさせるような事態を防ぐことが可能になる。

図７（ｃ）に、シーンチェンジがフィールドＢとＣの間で検出され、かつ、特徴量がフィールドＢからＣにかけて大きく減少し、その他のフィールド境界では変動しなかった時に、ガンマ補正処理制御部が選択する適用ガンマ指示値を示す。この場合シーンチェンジが発生しているのでガンマ特性が急激に変化してもユーザーに違和感を与えることはない。そこで、ガンマ補正特性制御部は、フィールドＣの特徴量に対応するガンマ特性をそのまま適用するように選択を行っている。一方で、シネマ映像の同じコマから作成されたフレームには、同じ適用ガンマ指示値が用いられるので、元映像の再現性が高い表示が可能になる。

このように入力映像がシネマ映像であり、２−３プルダウン処理が行われていても、ガンマ補正処理制御部はフレームレート変換方法、特徴量、シーンチェンジの有無およびプルダウン検出結果に応じて適切にガンマ補正制御を行うことができる。これにより、毎秒２４コマのシネマ表現をより忠実に再現でき、良好なガンマ変更が可能となる。

１０１特徴抽出部
１０５ガンマ補正部
１０７ガンマ補正処理制御部

Claims

入力映像を構成する各入力画像について輝度の特徴量を抽出するとともに、入力映像のシーンチェンジの有無を検出する特徴抽出部と、
隣接する入力画像の間に、直前の画像を繰り返して補間画像を作成する第１の補間方法と、前後の画像から補間画像を作成する第２の補間方法と、のいずれかにより作成した補間画像を挿入するフレームレート変換部と、
前記特徴抽出部で抽出された特徴量の大きさに基づいて、各入力画像に対応する出力画像に適用すべき輝度補正曲線を決定する制御部と、
前記制御部で決定された輝度補正曲線を用いて各出力画像の輝度を補正する輝度補正部と、を備え、
前記制御部は、
第１の入力画像とそれに続く第２の入力画像の特徴量の差が所定値よりも大きく、かつ、前記第１の入力画像と前記第２の入力画像の間にシーンチェンジが無い場合には、輝度補正曲線の時間変化が抑制されるように、前記第２の入力画像に対応する出力画像に適用すべき輝度補正曲線を決定し、
前記フレームレート変換部により作成した補間画像に適用する輝度補正曲線を、当該補間画像の作成に用いた補間方法に応じて決定することを特徴とする画像処理装置。
前記特徴量は、前記入力画像に含まれる複数の画素の輝度の合計値であることを特徴とする請求項１に記載の画像処理装置。
前記制御部は、
第１の入力画像とそれに続く第２の入力画像の特徴量の差が所定値よりも大きく、かつ、前記第１の入力画像と前記第２の入力画像の間にシーンチェンジが無い場合には、前記第１の入力画像の特徴量に対応する輝度補正曲線と、前記第２の入力画像の特徴量に対応する輝度補正曲線との間の補正特性を持つ輝度補正曲線を、前記第２の入力画像に対応する出力画像に適用すべき輝度補正曲線として決定し、
前記特徴量の差が所定値よりも小さいか、前記第１の入力画像と前記第２の入力画像の間にシーンチェンジが有る場合には、前記第２の入力画像の特徴量に対応する輝度補正曲線を、前記第２の入力画像に対応する出力画像に適用すべき輝度補正曲線として決定する
ことを特徴とする請求項１または２に記載の画像処理装置。
前記制御部は、
第１の補間方法で補間画像が作成されていれば、直前の画像と同じ輝度補正曲線を補間画像に適用し、
第２の補間方法で補間画像が作成されていれば、前後の画像に適用される輝度補正曲線に基づいて当該補間画像に適用する輝度補正曲線を決定することを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
入力映像を構成する各入力画像について輝度の特徴量を抽出するとともに、入力映像のシーンチェンジの有無を検出する特徴抽出部と、
入力映像が、２−３プルダウン処理によって毎秒２４コマのシネマ映像から作成されたものか否かを判定するプルダウン信号検出部と、
前記特徴抽出部で抽出された特徴量の大きさに基づいて、各入力画像に対応する出力画像に適用すべき輝度補正曲線を決定する制御部と、
前記制御部で決定された輝度補正曲線を用いて各出力画像の輝度を補正する輝度補正部と、を備え、
前記制御部は、
第１の入力画像とそれに続く第２の入力画像の特徴量の差が所定値よりも大きく、かつ、前記第１の入力画像と前記第２の入力画像の間にシーンチェンジが無い場合には、輝度補正曲線の時間変化が抑制されるように、前記第２の入力画像に対応する出力画像に適用すべき輝度補正曲線を決定し、
前記プルダウン信号検出部による判定結果が２−３プルダウン処理によって作成されたというものであれば、同じシネマ映像のコマから作成された出力画像には同じ輝度補正曲線を適用することを特徴とする画像処理装置。
入力映像を構成する各入力画像について輝度の特徴量を抽出するステップと、
入力映像のシーンチェンジの有無を検出するステップと、
隣接する入力画像の間に、直前の画像を繰り返して補間画像を作成する第１の補間方法と、前後の画像から補間画像を作成する第２の補間方法と、のいずれかにより作成した補間画像を挿入するステップと、
抽出された特徴量の大きさに基づいて、各入力画像に対応する出力画像に適用すべき輝度補正曲線を決定するステップと、
決定された輝度補正曲線を用いて各出力画像の輝度を補正するステップと、を備え、
前記決定するステップでは、
第１の入力画像とそれに続く第２の入力画像の特徴量の差が所定値よりも大きく、かつ、前記第１の入力画像と前記第２の入力画像の間にシーンチェンジが無い場合には、輝度補正曲線の時間変化が抑制されるように、前記第２の入力画像に対応する出力画像に適用すべき輝度補正曲線を決定し、
前記作成した補間画像に適用する輝度補正曲線を、当該補間画像の作成に用いた補間方法に応じて決定することを特徴とする画像処理方法。
前記特徴量は、前記入力画像に含まれる複数の画素の輝度の合計値であることを特徴とする請求項６に記載の画像処理方法。
前記決定するステップでは、
第１の入力画像とそれに続く第２の入力画像の特徴量の差が所定値よりも大きく、かつ、前記第１の入力画像と前記第２の入力画像の間にシーンチェンジが無い場合には、前記第１の入力画像の特徴量に対応する輝度補正曲線と、前記第２の入力画像の特徴量に対応する輝度補正曲線との間の補正特性を持つ輝度補正曲線を、前記第２の入力画像に対応す
る出力画像に適用すべき輝度補正曲線として決定し、
前記特徴量の差が所定値よりも小さいか、前記第１の入力画像と前記第２の入力画像の間にシーンチェンジが有る場合には、前記第２の入力画像の特徴量に対応する輝度補正曲線を、前記第２の入力画像に対応する出力画像に適用すべき輝度補正曲線として決定することを特徴とする請求項６または７に記載の画像処理方法。
前記決定するステップでは、
第１の補間方法で補間画像が作成されていれば、直前の画像と同じ輝度補正曲線を補間画像に適用し、
第２の補間方法で補間画像が作成されていれば、前後の画像に適用される輝度補正曲線に基づいて当該補間画像に適用する輝度補正曲線を決定することを特徴とする請求項６から請求項８のいずれか１項に記載の画像処理方法。
入力映像を構成する各入力画像について輝度の特徴量を抽出するステップと、
入力映像のシーンチェンジの有無を検出するステップと、
入力映像が、２−３プルダウン処理によって毎秒２４コマのシネマ映像から作成されたものか否かを判定するステップと、
抽出された特徴量の大きさに基づいて、各入力画像に対応する出力画像に適用すべき輝度補正曲線を決定するステップと、
決定された輝度補正曲線を用いて各出力画像の輝度を補正するステップと、を備え、
前記決定するステップでは、
第１の入力画像とそれに続く第２の入力画像の特徴量の差が所定値よりも大きく、かつ、前記第１の入力画像と前記第２の入力画像の間にシーンチェンジが無い場合には、輝度補正曲線の時間変化が抑制されるように、前記第２の入力画像に対応する出力画像に適用すべき輝度補正曲線を決定し、
前記判定するステップによる判定結果が２−３プルダウン処理によって作成されたというものであれば、同じシネマ映像のコマから作成された出力画像には同じ輝度補正曲線を適用することを特徴とする画像処理方法。