JP5500964B2 - 動画像処理装置及びその制御方法、プログラム - Google Patents

Description

本発明は動画像を表示する動画像処理装置において、暗所における人間の視覚特性を考慮して、低照度・低輝度時の階調補正を改善する方法に関する。

従来、高画質化や視認性改善を目的として、入力信号の表示内容や視聴者の周囲環境の明るさに応じて映像信号のコントラストやブライトネス、ディスプレイ装置の表示輝度や色信号に対して適応的に制御する技術が知られている。

たとえば、特許文献１では、環境光センサーなどの明るさ制御信号に基づいて、液晶パネルへの印加映像信号の振幅、動作基準レベルの双方あるいは片方のみを自動的に制御することにより、視認性を向上させる方法が提案されている。

また、特許文献２では、入力信号がＣＧ画像の場合やＴＶ等の自然動画像の場合でも、各々画像の特徴を考慮して画像補正を行い、画質と視認性の改善を行う方法が提案されている。

また、特許文献３では、画像信号の明るさに応じて光源（バックライト）を調光し、階調間の色調変化を低減し、低輝度から高輝度までの色純度を保持する方法が提案されている。

特開平０６−８３２８７号公報 特開２００７−２４８９３６号公報 特開２００６−０３９５２０号公報

しかしながら、従来の動画像処理装置では、照明を暗くした環境下において、映画のような平均輝度が低い画像を見る際には、暗所における人間の視覚特性を十分に考慮していないため、徐々に色味や階調が変化するように知覚されていた。これは、人間の感覚系は様々な環境に適応するために、その感度を変化させる機能を有しているためである。たとえば、上映中の映画館に入った瞬間は館内が真っ暗で何も見えないが、しばらく時間が経過すると周囲がよく見えてくる。これは、光に対する感度が変化したためであり、暗順応と呼ばれている。暗順応に要する時間は、網膜中心と周辺視野で異なるが、網膜周辺５°で認識できる輝度は時間の経過とともに低下し、約３０分で認識できる輝度が一定となる。逆に、暗所から明所に切り替わった場合は、約０．５秒で認識できる輝度が一定となる。

また、明るい画像から暗い画像に切り替わった場合、観察者は時間とともに青みを感じるようになり、逆に、暗い画像から明るい画像に切り替わった場合は、時間とともに赤みを感じるようになる。この現象はプルキンエシフトと呼ばれ、人の目は暗くなると赤から青へ感度がシフトする特性がある。このため、明るい画像を用いてホワイトバランスを設定した動画像処理装置では、明るい画像から暗い画像へ切り替わった場合に、時間とともにホワイトバランスのずれた青っぽい画像として知覚するようになる。

さらに、人の目は明るい環境から暗い環境へ切り替わった場合、知覚される階調特性が軟調化（明るく見える）し、逆に、暗い環境から明るい環境へ切り替わった場合は、硬調化（暗く見える）する。この現象はバートルソン効果と呼ばれ、人の目は周囲が暗くなると同一光刺激に対して明るく感じる特性がある。このため、明るい環境で階調特性を設定した動画像処理装置では、明るい環境から暗い環境へ切り替わった場合に、時間とともに階調バランスのずれた画像として知覚されるようになる。

特許文献１に開示されている液晶ディスプレイの表示制御装置では、明所視認性の改善のみを目的としているもので、暗所における視認性および画質の改善については、何ら改善されるものではない。

特許文献２に開示されている動画像処理装置では、プルキンエの比視感度に基づいてホワイトバランスを調整しているが、順応に要する時間を考慮していないため、シーン変化や観察環境の変化に柔軟に対応することができない。

また、特許文献３も同様に、順応に要する時間を考慮していないため、シーン変化や観察環境の変化に柔軟に対応することができない。

そこで、本願発明は、暗所における視覚特性と暗順応に要する時間を考慮することで、暗所においても安定した視認性を実現する動画像処理装置を提供することを目的とする。

上記課題を解決するために本発明の動画像処理装置は、入力された映像信号に基づく映像を表示パネルに表示させる動画像処理装置であって、前記表示パネルの周辺の照明情報を取得する照明情報取得手段と、前記入力された映像信号の明るさを示す明度情報を検出する明度情報検出手段と、前記照明情報で示される明るさが第１の閾値より低く、かつ、前記明度情報で示される明るさが第２の閾値よりも低い状態の継続時間に基づいて、順応係数を算出する順応係数算出手段と、前記照明情報取得手段により取得された照明情報が第１の明るさに対応する場合、前記第１の明るさより明るい第２の明るさに対応する場合よりも、前記表示される映像から赤色が知覚されやすくなるように前記映像信号に対して画像補正を行うと共に、前記継続時間が第１の時間の場合よりも、前記継続時間が前記第１の時間より長い第２の時間の場合のほうが、前記映像信号に基づいて表示される映像から赤色が知覚されやすくなるように前記順応係数算出手段により算出された前記順応係数を用いて前記映像信号に対する補正を行う画像補正手段とを備えることを特徴とする。

本発明によれば、暗所における視覚特性と暗順応に要する時間を考慮した補正を行うため、暗所においても視認性を向上させることができる。

本願発明の実施形態に係る動画像処理装置のシステム構成例を示すブロック図 本願発明の実施形態に係る動画像処理装置のブロック図 本願発明の実施形態に係る動画像処理装置のフローチャート図 明度情報取得方法を説明する図 順応係数算出処理のフローチャート図 暗所における順応係数算出方法を説明する図 補正係数算出処理のフローチャート図 ガンマ補正係数の算出方法を説明する図 輝度ゲイン補正係数の算出方法を説明する図 ＲＧＢゲイン補正係数の算出方法を説明する図 画像補正処理のフローチャート図

以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜実施形態１＞
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜システム構成について＞
図１は、本発明の実施形態に係る動画像処理装置のシステム構成例を示すブロック図である。本構成において、１０１は環境光センサー、１０２は映像入力Ｉ／Ｆ、１０３はシステムバス、１０４はＣＰＵ、１０５はメインメモリ、１０６は表示制御回路、１０７は表示パネルである。

上記構成における動画像処理動作について、図２を用いて説明する。照明情報取得部（明度情報取得手段）２０１は環境光センサー１０１より構成され、取得された照明情報はシステムバス１０３を経由してメインメモリ１０５に格納される。明度情報検出部（照明情報取得手段）２０２は、映像入力Ｉ／Ｆ１０３とＣＰＵ１０４から構成され、映像入力Ｉ／Ｆ１０３から入力される映像信号に対してＣＰＵ１０４がフレームごとに明度情報を取得する。また取得した明度情報はシステムバス１０３を経由してメインメモリ１０５に格納される。順応係数算出部（順応係数算出手段）２０３はＣＰＵ１０４から構成され、メインメモリ１０５に格納された照明情報と明度情報を用いて、順応係数を算出し、算出した順応係数はシステムバス１０３を経由してメインメモリ１０５に格納される。補正係数算出部（補正係数算出手段）２０４はＣＰＵ１０４から構成され、メインメモリ１０５に格納された照明情報と明度情報と順応係数を用いて、補正係数を算出し、算出した補正係数はシステムバス１０３を経由してメインメモリ１０５に格納される。画像補正部（画像補正手段）２０５は表示制御回路１０６から構成され、メインメモリ１０５に格納された補正係数を用いて、画像補正を行う。

＜システム全体の処理＞
図３は動画像処理装置における処理フローを示したフローチャートである。

ステップＳ３０１において、照明情報取得部２０１は照明情報を取得する。照明情報は、本装置（特には表示パネル１０７）の周辺の照明照度で構成される。照明情報はリアルタイムに取得できるものが望ましいが、ユーザの指示、または起動時等に取得するものでも構わない。また、前記照明情報は、照明照度の他に、色度情報を加えても構わない。色度情報は、ｘｙ平面の値、ｕｖ平面の値、ｕ’ｖ’平面の値、あるいは、ＸＹＺ刺激値そのものであってもよい。

ステップＳ３０２において、明度情報検出部２０２は、入力される映像信号に対して、フレームごとに明度情報を算出する。明度情報は、入力された映像信号の明るさを示すものであればよく、たとえば、既知の方法によりシーンごとに輝度ヒストグラムを算出し、輝度ヒストグラムの最大輝度レベルを明度情報としても構わない。

図４は明度情報取得方法を説明する図である。図４に示すとおり、所定時間ごとにシーン解析を行い、輝度ヒストグラムを算出する。その際に算出した輝度ヒストグラムの最大値を明度情報として取得する。また、フレームごとの明度情報取得方法は、最大輝度レベルのみならず、輝度レベル平均や輝度レベルの重心の値を明度情報としても構わない。また明度情報検出部２０２は、すでに算出されている映像信号の明度情報を抽出してもよい。

ステップＳ３０３において、順応係数算出部２０３は、ステップＳ３０１で取得した照明情報と、ステップＳ３０２で算出した明度情報を用いて、明るさに対する観察者の順応係数を算出する。順応係数算出の処理フローは後述する。

ステップＳ３０４において、補正係数算出部２０４はステップＳ３０１で取得した照明情報と、ステップＳ３０２で算出した明度情報と、ステップＳ３０３で算出した順応係数を用いて補正係数を算出する。補正係数算出の処理フローは後述する。

ステップＳ３０５において、画像補正部２０５はステップＳ３０４で算出した補正係数に基づいて画像補正を実施する。画像補正の処理フローは後述する。

＜順応係数算出の処理＞
図５は順応係数算出処理フローを示したフローチャートである。

ステップＳ５０１において、順応係数算出部２０３は、ステップＳ３０１で取得した照明情報を取得する。ステップＳ５０２において、順応係数算出部２０３は、ステップＳ３０２で取得した明度情報を取得する。

ステップＳ５０３において、順応係数算出部２０３は、ステップＳ５０１で取得した照明情報が予め定められた閾値（第１の閾値）よりも小さいか否かを判断し、閾値より小さい場合はステップＳ５０４へ、大きい場合はステップＳ５０６に進む。閾値は予めメインメモリに格納してあってもよいし、ユーザが設定してもよい。

ステップＳ５０４において、順応係数算出部２０３は、ステップＳ５０２で取得した明度情報が予め定められた閾値（第２の閾値）よりも小さいか否かを判断し、閾値より小さい場合はステップＳ５０５へ、大きい場合はステップＳ５０６に進む。閾値は予めメインメモリに格納してあってもよいし、ユーザが設定してもよい。

ステップＳ５０５において、順応係数算出部２０３は、照明情報と明度情報から順応係数ｋ（ｔ）を算出する。

図６は暗所における順応係数算出方法を説明する図である。照明情報が閾値より小さく、明度情報も閾値より小さくなった時間を基準とすると、人の目は、１０分程で知覚できる最小輝度が落ち着いた後、さらに２０分程かけて徐々に知覚できる最小輝度が低下する特性がある。

この視覚特性に基づき、所定の時間が経過するまでの間、算出すべき順応係数が減少していく関数を用いて順応係数を算出する。たとえば、順応係数は以下数式（１）を用いて算出する。
（数式１）
ｋ（ｔ）＝１−０．０３ｔ （０＜ｔ＜１０）
ｋ（ｔ）＝１．０５−０．０３５ｔ （１０＜ｔ＜３０） ・・・（１）
ｋ（ｔ）＝０ （３０＜ｔ）
ここで、変数ｔはステップＳ５０５を処理する間の継続時間（分）であり、ステップＳ５０６に進む場合にゼロにリセットされる。

本実施形態では、暗順応における感度特性に基づいて順応係数を求めたが、これとは異なるパラメータを用いても構わない。たとえば、以下数式（２）のように単調減少する式を用いて算出しても構わない。
（数式２）
ｋ（ｔ）＝１−１／ｎ＊ｔ （０＜ｔ＜ｎ）
ｋ（ｔ）＝０ （ｎ＜ｔ） ・・・（２）
ただし、ｎは暗順応時間（分）である。

また、順応係数は数式ではなく、対応表などの変換テーブルを予めメインメモリに保持しておき、変換テーブルに基づいて導出しても構わない。ステップＳ５０６では、順応係数を予め定められた値にリセットする。設定値は予めメインメモリに格納してあってもよいし、ユーザが設定してもよい。ここでは、順応係数は０に設定するものとする。

＜補正係数算出の処理＞
図７は補正係数算出処理フローを示したフローチャートである。

ステップＳ７０１において、補正係数算出部２０４はステップＳ３０１で取得した照明情報を取得する。ステップＳ７０２において、補正係数算出部２０４はステップＳ３０３で算出した順応係数ｋ（ｔ）を取得する。

ステップＳ７０３において、補正係数算出部２０４は照明情報に基づいて明所ゲインＫ１を算出する。明所ゲインは、対応表などの変換テーブルを予めメインメモリに保持しておき、変換テーブルに基づいて導出しても構わない。また、予めメインメモリに格納してあってもよいし、ユーザが設定してもよい。ここでは、明所ゲインは予め１．０に設定しているものとする。

ステップＳ７０４において、補正係数算出部２０４は照明情報に基づいて暗所ゲインＫ２を算出する。これにより算出される補正係数は、ガンマ補正係数、輝度ゲイン補正係数、ＲＧＢゲイン補正係数のうち、少なくとも１つ以上の補正係数である。

図８はガンマ補正係数の算出方法を説明する図である。８０１は明るい環境における知覚ガンマ特性、８０２は暗い環境における知覚ガンマ特性である。先述のバートルソン効果によれば、明るい環境で知覚されるガンマ特性と暗い環境で知覚されるガンマ特性との比は１：１．５となる。

この視覚特性に基づき、たとえば、ガンマ補正係数の暗所ゲインは以下数式（３）を用いて算出する。
（数式３）
Ｋ２＝−０．０５＊ｌ＋１．５ （０＜ｌ＜１０）
Ｋ２＝１．０ （１０＜ｌ） ・・・（３）
ここで、変数ｌはステップＳ７０１で取得した照明情報であり、単位は輝度（ｃｄ／ｍ２）であるとする。

図９は輝度ゲイン補正係数の算出方法を説明する図である。９０１は明るい環境における知覚できる最小輝度、９０２は暗い環境における知覚できる最小輝度である。図９によれば、明るい環境で知覚できる最小輝度と暗い環境で知覚できる最小輝度との比は１００：１となる。この視覚特性に基づき、たとえば、輝度ゲイン補正係数の暗所ゲインは以下数式（４）を用いて算出する。
（数式４）
Ｋ２＝０．０９９＊ｌ＋０．０１ （０＜ｌ＜１０）
Ｋ２＝１．０ （１０＜ｌ） ・・・（４）
図１０はＲＧＢゲイン補正係数の算出方法を説明する図である。１００１は明るい環境における比視感度曲線、１００２は暗い環境における比視感度曲線である。先述のプルキンエシフト現象によれば、各波長において知覚できる比視感度が異なる。赤の波長では、明るい環境で知覚できる比視感度と暗い環境で知覚できる比視感度は０．６：０．１となる。また、緑の波長では、明るい環境で知覚できる比視感度と暗い環境で知覚できる比視感度は１．０：０．４となる。また、青の波長では、明るい環境で知覚できる比視感度と暗い環境で知覚できる比視感度は０．１６：０．８となる。

この視覚特性に基づき、たとえば、ＲＧＢゲイン補正係数の暗所ゲインは以下数式（５）を用いて算出する。
（数式５）
Ｋ２＿Ｒ＝−０．５＊ｌ＋６．０ （０＜ｌ＜１０）
Ｋ２＿Ｇ＝−０．１５＊ｌ＋２．５ （０＜ｌ＜１０）
Ｋ２＿Ｂ＝０．０８＊ｌ＋０．２ （０＜ｌ＜１０）
Ｋ２＝１．０ （１０＜ｌ） ・・・（５）
ここで、Ｋ２＿Ｒ、Ｋ２＿Ｇ、Ｋ２＿Ｂは、ＲＧＢ各色信号におけるゲイン係数であるとする。本実施形態では、暗順応における感度特性に基づいて順応係数を求めたが、これとは異なるパラメータを用いても構わない。また、暗所ゲインは数式ではなく、対応表などの変換テーブルを予めメインメモリに保持しておき、変換テーブルに基づいて導出しても構わない。

ステップＳ７０５において、補正係数算出部２０４は順応係数に基づいて、明所ゲインと暗所ゲインから順応ゲインＫを算出する。順応ゲインは、たとえば、以下数式（６）を用いて算出する。
（数式６）
Ｋ＝ｋ（ｔ）＊Ｋ１＋（１−ｋ（ｔ））＊Ｋ２ ・・・（６）
＜画像補正の処理＞
図１１は画像補正の処理フローを示したフローチャートである。
ステップＳ１１０１において、画像補正部２０５はステップＳ３０４で算出した順応ゲインを取得する。ステップＳ１１０２において、画像補正部２０５はガンマ補正係数の順応ゲインに基づいてガンマ補正を行う。ガンマ補正では入力信号の輝度レベルに対してガンマ係数を累乗する。

ステップＳ１１０３において、画像補正部２０５は輝度ゲイン補正係数の順応ゲインに基づいて輝度ゲイン補正を行う。輝度ゲイン補正では入力信号の輝度レベルに対して輝度ゲイン係数を乗算する。

ステップＳ１１０４において、画像補正部２０５はＲＧＢゲイン補正係数の順応ゲインに基づいてＲＧＢゲイン補正を行う。ＲＧＢゲイン補正ではＲＧＢ各入力信号に対してＲＧＢゲイン係数を乗算する。

以上のように、本実施形態は、暗所における視覚特性と暗順応に要する時間を考慮した補正係数を算出し、これに基づいて画像補正を行うため、暗所においても視認性を向上させることができる。

＜その他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。

さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。

Claims (11)

1. 入力された映像信号に基づく映像を表示パネルに表示させる動画像処理装置であって、
   前記表示パネルの周辺の照明情報を取得する照明情報取得手段と、
   前記入力された映像信号の明るさを示す明度情報を検出する明度情報検出手段と、
   前記照明情報で示される明るさが第１の閾値より低く、かつ、前記明度情報で示される明るさが第２の閾値よりも低い状態の継続時間に基づいて、順応係数を算出する順応係数算出手段と、
   前記照明情報取得手段により取得された照明情報が第１の明るさに対応する場合、前記第１の明るさより明るい第２の明るさに対応する場合よりも、前記表示される映像から赤色が知覚されやすくなるように前記映像信号に対して画像補正を行うと共に、前記継続時間が第１の時間の場合よりも、前記継続時間が前記第１の時間より長い第２の時間の場合のほうが、前記映像信号に基づいて表示される映像から赤色が知覚されやすくなるように前記順応係数算出手段により算出された前記順応係数を用いて前記映像信号に対する補正を行う画像補正手段と
   を備えることを特徴とする動画像処理装置。
2. 前記継続時間が前記第１の時間の場合、前記継続時間が前記第２の時間の場合よりも、前記映像信号に応じて表示される映像が明るくなるように、前記順応係数算出手段により算出された前記順応係数を用いて前記映像信号に対する画像補正を行なうことを特徴とする請求項１に記載の動画像処理装置。
3. 前記順応係数算出手段は、前記継続時間が前記第１の時間から前記第２の時間になるまでよりも、前記継続時間が前記第２の時間より長い第３の時間から第４の時間になるまでのほうが、前記継続時間の増加に対する順応係数の減少が小さくなるように順応係数を算出し、
   前記画像補正手段は、前記順応係数が低いほど前記画像補正後に表示される映像が暗くなるように画像補正を行なうことを特徴とする請求項１又は２に記載の動画像処理装置。
4. 前記明度情報検出手段は、所定時間分の前記入力された映像信号の輝度の最大値を明度情報として取得することを特徴とする請求項１乃至３のうち何れか１項に記載の動画像処理装置。
5. 前記入力された映像信号の輝度を補正するための輝度ゲイン補正係数と、前記入力された映像信号の色情報を補正するためのＲＧＢゲイン補正係数を、前記順応係数算出手段によって算出された前記順応係数から算出する補正係数算出手段を有し、
   前記画像補正手段は、前記補正係数算出手段により算出された前記輝度ゲイン補正係数と前記ＲＧＢゲイン補正係数を前記入力された映像信号に乗算することで前記画像補正を行なうことを特徴とする請求項１乃至４のうち何れか１項に記載の動画像処理装置。
6. 入力された映像信号に基づく映像を表示パネルに表示させる動画像処理装置が行う動画像処理方法であって、
   前記表示パネルの周辺の照明情報を取得する照明情報取得工程と、
   前記入力された映像信号の明るさを示す明度情報を検出する明度情報検出工程と、
   前記照明情報で示される明るさが第１の閾値より低く、かつ、前記明度情報で示される明るさが第２の閾値よりも低い状態の継続時間に基づいて、順応係数を算出する順応係数算出工程と、
   前記照明情報取得工程により取得された照明情報が第１の明るさに対応する場合、前記第１の明るさより明るい第２の明るさに対応する場合よりも、前記表示される映像から赤色が知覚されやすくなるように前記映像信号に対して画像補正を行うと共に、前記継続時間が第１の時間の場合よりも、前記継続時間が前記第１の時間より長い第２の時間の場合のほうが、前記映像信号に基づいて表示される映像から赤色が知覚されやすくなるように前記順応係数算出工程により算出された前記順応係数を用いて前記映像信号に対する補正を行なう画像補正工程とを備えることを特徴とする動画像処理方法。
7. 前記継続時間が前記第１の時間の場合、前記継続時間が前記第２の時間の場合よりも、前記映像信号に応じて表示される映像が明るくなるように、前記順応係数算出工程により算出された前記順応係数を用いて前記映像信号に対する画像補正を行なうことを特徴とする請求項６に記載の動画像処理方法。
8. 前記順応係数算出工程は、前記継続時間が前記第１の時間から前記第２の時間になるまでよりも、前記継続時間が前記第２の時間より長い第３の時間から第４の時間になるまでのほうが、前記継続時間の増加に対する順応係数の減少が小さくなるように順応係数を算出し、
   前記画像補正工程は、前記順応係数が低いほど前記画像補正後に表示される映像が暗くなるように画像補正を行なうことを特徴とする請求項６又は７に記載の動画像処理方法。
9. 前記明度情報検出工程は、所定時間分の前記入力された映像信号の輝度の最大値を明度情報として取得することを特徴とする請求項６乃至８のうち何れか１項に記載の動画像処理方法。
10. 前記入力された映像信号の輝度を補正するための輝度ゲイン補正係数と、前記入力された映像信号の色情報を補正するためのＲＧＢゲイン補正係数を、前記順応係数算出工程によって算出された前記順応係数から算出する補正係数算出工程を有し、
    前記画像補正工程は、前記補正係数算出工程により算出された前記輝度ゲイン補正係数と前記ＲＧＢゲイン補正係数を前記入力された映像信号に乗算することで前記画像補正を行なうことを特徴とする請求項６乃至９のうち何れか１項に記載の動画像処理方法。
11. コンピュータが読み出して実行することにより、前記コンピュータを、請求項１乃至５のいずれか１項に記載の動画像処理装置として機能させることを特徴とするプログラム。

Images