JP7843476B2 - 映像処理システム、映像処理方法、及びプログラム - Google Patents

Description

本開示は、ディスプレイの表示パネルに表示される映像を処理するための映像処理システム等に関する。

例えば、特許文献１には、テレビジョン装置が開示されている。このテレビジョン装置は、周囲光の照度と色合いを検出する外光検出部と、表示パネルに表示する映像の画質を調整する画質制御部と、を備える。画質制御部は、外光検出部にて検出された照度値と色合い値に応じて、表示する映像の色温度を調整する。

特開２０１０－１２４１９７号公報

本開示は、ディスプレイの表示パネルに表示される映像の色温度を精度良く補正しやすい映像処理システム等を提供する。

本開示の一態様に係る映像処理システムは、第１入力インタフェースと、第２入力インタフェースと、プロセッサと、を備える。前記第１入力インタフェースは、ディスプレイの表示パネルに出力される映像信号を取得する。前記第２入力インタフェースは、前記表示パネルへ照射される環境光の色温度を示す色温度情報を取得する。前記プロセッサは、前記環境光の色温度に追従するように前記映像信号の色温度の補正量を演算する。前記プロセッサは、前記補正量の演算では、前記映像信号の画素輝度が輝度閾値を下回る場合、前記環境光の色温度を打ち消すサブ補正量を演算し、前記サブ補正量によって前記補正量の絶対値が小さくなるように前記補正量を補正する。前記プロセッサは、前記補正量に応じて前記映像信号の色温度を補正した前記映像信号を出力する。

本開示の一態様に係る映像処理方法では、ディスプレイの表示パネルに出力される映像信号を取得し、前記表示パネルへ照射される環境光の色温度を示す色温度情報を取得し、前記環境光の色温度に追従するように前記映像信号の色温度の補正量を演算し、前記補正量の演算では、前記映像信号の画素輝度が輝度閾値を下回る場合、前記環境光の色温度を打ち消すサブ補正量を演算し、前記サブ補正量によって前記補正量の絶対値が小さくなるように前記補正量を補正し、前記補正量に応じて前記映像信号の色温度を補正した前記映像信号を出力する。

本開示の一態様に係るプログラムは、１以上のプロセッサに、前記映像処理方法を実行させる。

本開示における映像処理システム等によれば、ディスプレイの表示パネルに表示される映像の色温度を精度良く補正しやすい、という利点がある。

図１は、環境光の色温度に基づく映像信号の色温度の補正処理の課題の説明図である。 図２は、実施の形態に係る映像処理システムを含む全体構成を示すブロック図である。 図３は、実施の形態に係る映像処理システムの動作例を示すフローチャートである。 図４は、映像信号の色温度のサブ補正量を演算する動作例を示すフローチャートである。 図５は、映像信号の色温度のサブ補正量を演算する動作の説明図である。 図６は、映像信号の色温度の補正の一例を示す図である。 図７は、映像信号の色温度の補正の他の一例を示す図である。 図８は、映像信号の色温度の補正量と画素輝度との相関を示す図である。 図９は、実施の形態に係る映像処理システムの利点の説明図である。

［１．本開示の基礎となった知見］
まず、発明者の着眼点が下記に説明される。

従来、ディスプレイに照射される環境光をＲＧＢセンサで検知し、ＲＧＢセンサで検知された環境光に関する情報を用いて、環境光の色温度に追従するように映像信号の色温度を補正することで、ホワイトバランスを補正する技術が知られている。ここで、「環境光」とは、例えば太陽光又は照明器具が放射する光等であって、ディスプレイの周囲からディスプレイへと照射される光である。この技術では、例えば環境光の色温度が基準色温度よりも高い場合、映像信号の色温度を高くなるように補正し、環境光の色温度が基準色温度よりも低い場合、映像信号の色温度を低くなるように補正する。このように映像信号の色温度を補正することにより、人間の視覚の色順応を考慮した適切な色温度でディスプレイに映像を表示しやすくなる。

しかしながら、上記の技術では、以下のような課題がある。図１は、環境光の色温度に基づく映像信号の色温度の補正処理の課題の説明図である。図１の（ａ）、（ｃ）の各々において、矢印Ａ１はディスプレイ１に照射される環境光を表しており、矢印Ａ２はディスプレイ１の表示パネル１０で反射した環境光を表している。また、図１の（ａ）、（ｃ）の各々において、矢印Ａ３は、映像信号に基づいてディスプレイ１の表示パネル１０から出力される光を表している。そして、矢印Ａ３の大きさは、ディスプレイ１の表示パネル１０から出力される光束の大きさ、言い換えれば映像信号の輝度の高低を表している。

図１の（ｂ）、（ｄ）は、それぞれディスプレイ１の表示パネル１０に表示されるグレースケールを表している。なお、図１の（ｂ）、（ｄ）では、それぞれドット密度が大きいほど暗く、ドット密度が小さいほど明るいことを表している。図１の（ｂ）は、図１の（ａ）に示すように映像信号の輝度が比較的高い場合のグレースケールを表している。図１の（ｂ）に示すように、映像信号の輝度が比較的高い場合、ディスプレイ１の表示パネル１０から出力される光に対して環境光の強度が相対的に低いため、環境光の影響がグレースケールに現れていないか、又は殆ど現れていない。

一方、図１の（ｄ）は、図１の（ｃ）に示すように映像信号の輝度が比較的低い場合のグレースケールを表している。図１の（ｄ）に示すように、映像信号の輝度が比較的低い場合、ディスプレイ１の表示パネル１０から出力される光に対して環境光の強度が相対的に高いため、環境光の影響がグレースケールに現れる。具体的には、比較的明るい階調を示す領域Ｇ１においては、環境光の影響が現れていないか、又は殆ど現れていないが、比較的暗い階調を示す領域Ｇ２においては、斜線のハッチングで示されるように、環境光の影響が現れる。例えば、環境光が青みを帯びた光であって、映像信号の輝度が比較的低い場合、比較的暗い階調を示す領域Ｇ２において、青みを帯びた色が現れる。

上述のように、環境光の色温度に基づいて映像信号の色温度を補正する場合、映像信号の輝度によっては、ディスプレイ１の表示パネル１０に表示される映像の色温度を精度良く補正することが難しい、という課題がある。

以上を鑑み、発明者は本開示を創作するに至った。

以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略又は簡略化される場合がある。

（実施の形態）
［２．構成］
［２－１．全体構成］
まず、実施の形態に係る映像処理システムを含む全体構成について図２を用いて説明する。図２は、実施の形態に係る映像処理システム２を含む全体構成を示すブロック図である。映像処理システム２は、ディスプレイ１の表示パネル１０へ出力される映像信号を補正する処理を実行し、補正後の映像信号を出力するためのシステムである。実施の形態では、映像処理システム２は、ディスプレイ１に内蔵されている。なお、映像処理システム２は、ディスプレイ１の外部に備えられていてもよい。

表示パネル１０は、例えば液晶パネル、又は有機ＥＬ（Electro-Luminescence）パネルで構成されている。表示パネル１０は、取得した映像データで示される、動画像又は静止画像を含む映像を表示する。当該映像データは、映像処理システム２から出力される補正後の映像信号に含まれる。

映像信号は、例えばアンテナにより受信したアナログ信号をデジタル信号に変換し、変換したデジタル信号を復号することで得られる地上波放送用の映像データを含む。なお、映像信号は、例えば動画配信サービスを提供するサーバからインターネット等のネットワークを介して送信される映像データを含んでいてもよい。また、映像信号は、例えばディスプレイ１に接続された録画装置に記憶された映像データを含んでいてもよい。

ディスプレイ１の周辺には、ＲＧＢセンサ３が設けられている。ＲＧＢセンサ３は、ディスプレイ１の表示パネル１０に照射される環境光を検出するためのセンサである。具体的には、ＲＧＢセンサ３は、Ｒ（赤色）、Ｇ（緑色）、及びＢ（青色）の各々に対応する３つのフォトダイオードを有しており、各フォトダイオードに照射された環境光の構成強度を検出する。そして、ＲＧＢセンサ３は、検出した環境光の構成強度に応じたＲＧＢ情報を出力する。ここで、環境光の構成強度は、環境光のＲ成分の光強度、環境光のＧ成分の光強度、及び環境光のＢ成分の光強度を含む。ＲＧＢセンサ３が出力したＲＧＢ情報は、映像処理システム２に入力される。

［２－２．映像処理システム］
次に、映像処理システム２の構成について具体的に説明する。映像処理システム２は、図２に示すように、第１入力インタフェース（以下、「第１入力Ｉ／Ｆ（Interface）」と記載）２１と、第２入力インタフェース（以下、「第２入力Ｉ／Ｆ」と記載）２２と、ＳｏＣ（System on a Chip）２３と、を備えている。ＳｏＣ２３は、ＣＰＵ（Central Processing Unit）２３１と、メモリ２３２と、映像処理回路２３３と、を有している。

第１入力Ｉ／Ｆ２１は、例えば有線通信インタフェースであって、ディスプレイ１の表示パネル１０に出力される映像信号を取得する。なお、第１入力Ｉ／Ｆ２１は、無線通信インタフェースであってもよい。また、第１入力Ｉ／Ｆ２１には、放送波を受信して映像信号を出力するチューナが接続されていてもよい。

第２入力Ｉ／Ｆ２２は、例えば有線通信インタフェースであって、表示パネル１０へ照射される環境光の色温度を示す色温度情報を取得する。実施の形態では、第２入力Ｉ／Ｆ２２は、ＲＧＢセンサ３との間で有線通信を行うことにより、ＲＧＢセンサ３からＲＧＢ情報（色温度情報）を取得する。なお、第２入力Ｉ／Ｆ２２は、無線通信インタフェースであってもよい。

ＣＰＵ２３１は、第１入力Ｉ／Ｆ２１で取得した映像信号に対して、第２入力Ｉ／Ｆ２２で取得した色温度情報に基づく補正処理を実行し、補正処理後の映像信号を映像処理回路２３３に出力する情報処理を行う。上述の情報処理は、ＣＰＵ２３１がメモリ２３２に記憶されたコンピュータプログラムを実行することにより実現される。ＣＰＵ２３１は、映像処理システム２のプロセッサの一例である。

上述の補正処理は、第１補正演算処理と、第２補正演算処理と、を含んでいる。第１補正演算処理は、人間の視覚の色順応を考慮して、環境光の色温度に追従するように映像信号の色温度の補正量を演算する処理である。第２補正演算処理は、映像信号の画素輝度に応じて、環境光の色温度を打ち消すように第１補正演算処理で演算した補正量の絶対値を減じる処理である。言い換えれば、第２補正演算処理は、映像信号の画素輝度によっては過剰となる第１補正演算処理における映像信号の色温度の補正量を、その絶対値を減じることで適切な補正量に調整する処理である。第１補正演算処理及び第２補正演算処理については、後述する［３．動作］にて詳細に説明する。

メモリ２３２は、ＣＰＵ２３１が実行するコンピュータプログラム、及び各種機能の実現に必要な情報等が記憶される記憶装置である。メモリ２３２は、例えば半導体メモリ等によって実現される。なお、メモリ２３２は、ＣＰＵ２３１の外付けメモリではなく、ＣＰＵ２３１の内蔵メモリとして実現されてもよい。

映像処理回路２３３は、ＣＰＵ２３１により映像信号の色温度が補正された補正後の映像信号を表示パネル１０に出力する。なお、映像処理回路２３３は、例えば輪郭補正処理、又は雑音除去処理等の映像信号の色温度の補正処理以外の補正処理を、補正後の映像信号に対して実行してもよい。また、第１入力Ｉ／Ｆ２１から入力される映像信号が符号化又は暗号化されている場合、映像処理回路２３３が復号し、復号した映像信号について補正処理を含む各種の映像処理を行う。また、実施の形態では、ＣＰＵ２３１は、映像処理回路２３３と別体に構成されているが、これに限られず、映像処理回路２３３の一部であってもよい。

［３．動作］
以下、実施の形態に係る映像処理システム２の動作、つまり映像処理方法の一例について説明する。

［３－１．映像信号の色温度の補正処理］
まず、実施の形態に係る映像処理システム２の主たる動作である映像信号の色温度の補正処理について図３を用いて説明する。図３は、実施の形態に係る映像処理システム２の動作例を示すフローチャートである。

まず、映像処理システム２の第１入力Ｉ／Ｆ２１は、映像信号を取得する（Ｓ１０１）。実施の形態では、第１入力Ｉ／Ｆ２１で取得する映像信号は、ＹＵＶ信号又はＹＣｂＣｒ信号から変換されたＲＧＢ信号である。また、映像処理システム２の第２入力Ｉ／Ｆ２２は、ＲＧＢセンサ３から出力されるＲＧＢ情報を取得する（Ｓ１０２）。ステップＳ１０１、Ｓ１０２は、この順に限らず、逆の順で実行されてもよいし、並行して実行されてもよい。

次に、映像処理システム２のＣＰＵ２３１は、取得したＲＧＢ情報に基づいて、環境光の照度を示す照度情報、及び環境光の色温度を示す色温度情報を演算して取得する（Ｓ１０３）。具体的には、ＣＰＵ２３１は、取得したＲＧＢ情報に含まれる環境光のＲ成分の光強度、環境光のＧ成分の光強度、及び環境光のＢ成分の光強度を、適宜の変換式を用いて環境光の照度に変換する演算を行うことで、照度情報を取得する。また、ＣＰＵ２３１は、取得したＲＧＢ情報に含まれる環境光のＲ成分の光強度、環境光のＧ成分の光強度、及び環境光のＢ成分の光強度を、上記の変換式とは異なる適宜の変換式を用いて環境光の色温度に変換する演算を行うことで、色温度情報を取得する。

次に、ＣＰＵ２３１は、映像信号の色温度の補正量Ａを演算する（Ｓ１０４）。ステップＳ１０４は、上述の第１補正演算処理に相当する。具体的には、ＣＰＵ２３１は、ステップＳ１０３で算出した環境光の色温度に基づいて、環境光の色温度に追従するように映像信号の色温度の補正量Ａを演算する。

例えば、環境光が青みを帯びた光である、つまり環境光の色温度が基準色温度（例えば、昼白色を示す約５０００Ｋ）よりも高い場合、ＣＰＵ２３１は、環境光の色温度と基準色温度との差分に応じた補正量Ａを演算する。この場合、映像信号の色温度を高くするように補正するため、補正量Ａは正の値となる。また、例えば、環境光が赤みを帯びた光である、つまり環境光の色温度が基準色温度よりも低い場合、ＣＰＵ２３１は、環境光の色温度と基準色温度との差分に応じた補正量Ａを演算する。この場合、映像信号の色温度を低くするように補正するため、補正量Ａは負の値となる。

また、ＣＰＵ２３１は、映像信号の色温度のサブ補正量を演算する（Ｓ１０５）。ここで、サブ補正量は、ステップＳ１０４で算出した映像信号の色温度の補正量Ａに加算される値である。サブ補正量の演算処理については、後述する［３－２．サブ補正量の演算処理］にて詳細に説明する。ステップＳ１０４、Ｓ１０５は、この順に限らず、逆の順で実行されてもよいし、並行して実行されてもよい。

次に、ＣＰＵ２３１は、映像信号の画素ごとに、画素輝度と輝度閾値Ｔｈ３（図８参照）とを比較する（Ｓ１０６）。輝度閾値Ｔｈ３は、例えば［１．本開示の基礎となった知見］で説明した比較的明るい階調を示す領域Ｇ１と、比較的暗い階調を示す領域Ｇ２との境界に相当する輝度である。輝度閾値Ｔｈ３は、例えば映像処理システム２の設計者等により予め設定され、メモリ２３２に記憶されている。

画素輝度が輝度閾値Ｔｈ３以上である場合（Ｓ１０６：Ｎｏ）、ＣＰＵ２３１は、サブ補正量を用いて補正を行わない（Ｓ１０７）。つまり、この場合、ＣＰＵ２３１は、ステップＳ１０４で算出した映像信号の色温度の補正量Ａに、ステップＳ１０５で算出した映像信号の色温度のサブ補正量を加算しない。一方、画素輝度が輝度閾値Ｔｈ３を下回る場合（Ｓ１０６：Ｙｅｓ）、ＣＰＵ２３１は、サブ補正量を用いて補正を行う（Ｓ１０８）。つまり、この場合、ＣＰＵ２３１は、ステップＳ１０４で算出した映像信号の色温度の補正量Ａに、ステップＳ１０５で算出した映像信号の色温度のサブ補正量を加算する。

次に、ＣＰＵ２３１は、映像信号（ここでは、処理対象の画素）の色温度を補正する（Ｓ１０９）。具体的には、ステップＳ１０７を経た場合、ＣＰＵ２３１は、ステップＳ１０４で算出した映像信号の色温度の補正量Ａに基づいて、映像信号の色温度を補正する。一方、ステップＳ１０８を経た場合、ＣＰＵ２３１は、ステップＳ１０４で算出した映像信号の色温度の補正量Ａに、ステップＳ１０５で算出したサブ補正量を加算した補正量に基づいて、映像信号の色温度を補正する。つまり、ステップＳ１０９で参照する補正量を「補正量Ｂ」とすると、ステップＳ１０７を経た場合、「補正量Ｂ＝補正量Ａ」となり、ステップＳ１０８を経た場合、「補正量Ｂ＝補正量Ａ＋サブ補正量」となる。ステップＳ１０５～Ｓ１０８は、上述の第２補正演算処理に相当する。

その後、映像信号の全ての画素で処理を終えるまで（Ｓ１１０においてＮｏとなる間）、ＣＰＵ２３１は、上述のステップＳ１０６～Ｓ１０９を画素ごとに実行する。そして、映像信号の全ての画素で処理を終えると（Ｓ１１０：Ｙｅｓ）、ＣＰＵ２３１は、補正した映像信号を映像処理回路２３３に出力する（Ｓ１１１）。これにより、ディスプレイ１の表示パネル１０には、環境光の色温度に基づいて色温度が補正された映像が表示される。

［３－２．映像信号の色温度のサブ補正量の演算処理］
次に、実施の形態に係る映像処理システム２による映像信号の色温度のサブ補正量の演算処理について図４及び図５を用いて説明する。図４は、映像信号の色温度のサブ補正量を演算する動作例を示すフローチャートである。図５は、映像信号の色温度のサブ補正量を演算する動作の説明図である。

図５の（ａ）は、環境光の照度と補正係数との相関データを示す図であって、縦軸が補正係数、横軸が環境光の照度を表している。なお、「補正係数」は、「補正割合」であってもよい。図５の（ａ）に示すように、補正係数は、環境光の照度が照度閾値Ｔｈ１以下である場合は零であり、環境光の照度が照度閾値Ｔｈ１を上回ると、環境光の照度に比例して増大する。そして、補正係数は、環境光の照度が照度所定値Ｔｈ１０以上になると、一定値となる。

図５の（ｂ）は、環境光の色温度と補正量Ｃとの関係図であって、縦軸が補正量Ｃ、横軸が環境光の色温度を表している。図５の（ｂ）に示すように、補正量Ｃは、環境光の色温度が所定範囲Ｒ１にある場合は零である。ここで、所定範囲Ｒ１は、環境光の色温度が第１色閾値Ｔｈ２１以上、第２色閾値Ｔｈ２２以下となる範囲である。補正量Ｃは、環境光の色温度が第１色閾値Ｔｈ２１を下回ると正の値となり、その絶対値が環境光の色温度に比例して増大する。そして、補正量Ｃは、環境光の色温度が色所定値Ｔｈ２１０以下になると、一定値となる。一方、補正量Ｃは、環境光の色温度が第２色閾値Ｔｈ２２を上回ると負の値となり、その絶対値が環境光の色温度に比例して増大する。そして、補正量Ｃは、環境光の色温度が色所定値Ｔｈ２２０以上になると、一定値となる。

図５の（ａ）、（ｂ）の各々で示される関係のデータは、例えば映像処理システム２の設計者等により設定され、予めメモリ２３２に記憶されている。

図４に示すように、まず、ＣＰＵ２３１は、ステップＳ１０３で取得した環境光の照度と照度閾値Ｔｈ１とを比較する（ステップＳ２０１）。そして、環境光の照度が照度閾値Ｔｈ１以下である場合（Ｓ２０１：Ｎｏ）、ＣＰＵ２３１は、補正係数を零に決定する（Ｓ２０２）。つまり、この場合、ＣＰＵ２３１は、環境光の照度に応じて映像信号の色温度の補正量の絶対値を減じる処理を行わない。

一方、環境光の照度が照度閾値Ｔｈ１を上回ると（Ｓ２０１：Ｙｅｓ）、ＣＰＵ２３１は、図５の（ａ）に示す関係のデータを参照して、環境光の照度に応じた補正係数を決定する（Ｓ２０３）。つまり、この場合、ＣＰＵ２３１は、環境光の照度に応じて映像信号の色温度の補正量の絶対値を減じる処理を行う。

また、ＣＰＵ２３１は、ステップＳ１０３で取得した環境光の色温度と所定範囲Ｒ１とを比較する（Ｓ２０４）。そして、環境光の色温度が所定範囲Ｒ１内、つまり第１色閾値Ｔｈ２１以上、第２色閾値Ｔｈ２２以下となる範囲にある場合（Ｓ２０４：Ｙｅｓ）、ＣＰＵ２３１は、補正量Ｃを零に決定する（Ｓ２０５）。つまり、この場合、ＣＰＵ２３１は、環境光の色温度に応じて映像信号の色温度の補正量の絶対値を減じる処理を行わない。

一方、環境光の色温度が所定範囲Ｒ１を逸脱すると（Ｓ２０４：Ｎｏ）、ＣＰＵ２３１は、図５の（ｂ）に示す関係のデータを参照して、環境光の色温度に応じた補正量Ｃを決定する（Ｓ２０６）。つまり、この場合、ＣＰＵ２３１は、環境光の色温度に応じて映像信号の色温度の補正量の絶対値を減じる処理を行う。

実施の形態では、ＣＰＵ２３１は、ステップＳ２０１～Ｓ２０３の処理と、ステップＳ２０４～Ｓ２０６の処理とを並行して実行しているが、これに限られない。例えば、ＣＰＵ２３１は、ステップＳ２０１～Ｓ２０３の処理を実行した後に、ステップＳ２０４～Ｓ２０６の処理を実行してもよいし、逆の順番で実行してもよい。

そして、ＣＰＵ２３１は、ステップＳ２０１～Ｓ２０３の処理で算出した補正係数と、ステップＳ２０４～Ｓ２０６の処理で算出した補正量Ｃとを乗算することにより、サブ補正量を算出する（Ｓ２０７）。

ここで、サブ補正量を算出することの意義について説明する。まず、ステップＳ１０４で算出した補正量Ａを用いて映像信号の色温度を補正すると、環境光の色温度に追従するようにして映像信号の色温度が補正される。例えば、環境光の色温度が高ければ、補正量Ａを用いて補正することにより、映像信号の色温度が高くなる。

しかしながら、映像信号の輝度が比較的低い（つまり、映像信号の画素輝度が輝度閾値Ｔｈ３を下回る）場合、補正量Ａを用いて映像信号の色温度を補正すると、補正が過剰になりがちである。例えば、環境光の色温度が高く、かつ、映像信号の輝度が比較的低い場合に、補正量Ａを用いて補正を行うと、環境光の影響を受けてユーザが視認する映像の色温度が高くなり過ぎてしまい、映像が青みを帯びたように見えてしまう。

そこで、実施の形態では、映像信号の輝度が比較的低い場合に、サブ補正量を補正量Ａに加算することで、補正量Ａの絶対値を減じている。これにより、映像信号の色温度補正によってユーザが視認する映像の色温度が過剰に補正されるのを抑制することが可能である。

ただし、環境光の照度が比較的低い（つまり、環境光の照度が照度閾値Ｔｈ１を下回る）場合は、環境光の影響が小さいため、補正量Ａの絶対値を減じる処理は不要となる。この場合、補正係数を零とすることで、サブ補正量を零とする。

［３－３．映像信号の色温度の補正例］
実施の形態では、ＣＰＵ２３１は、映像信号におけるＲ成分、Ｇ成分、及びＢ成分の各々の補正量、つまり映像信号におけるＲＧＢ値を補正することにより、映像信号の色温度を補正する。以下、映像信号の色温度の補正例について、図６及び図７を用いて説明する。

図６は、映像信号の色温度の補正の一例を示す図である。図７は、映像信号の色温度の補正の他の一例を示す図である。図６の（ａ）、（ｂ）、（ｃ）は、それぞれ映像信号のＲ成分の補正量と画素輝度との関係図、映像信号のＧ成分の補正量と画素輝度との関係図、及び映像信号のＢ成分と画素輝度との関係図を表している。図７の（ａ）、（ｂ）、（ｃ）も同様である。

まず、映像信号のＲ成分、Ｇ成分、及びＢ成分の各々の補正量を調整することにより、映像信号の色温度を補正することについて説明する。例えば、Ｇ成分及びＢ成分に対して、Ｒ成分を相対的に小さくするように補正することで、映像信号の色温度を高くすることが可能である。また、例えば、Ｒ成分及びＧ成分に対して、Ｂ成分を相対的に小さくするように補正することで、映像信号の色温度を低くすることが可能である。

図６及び図７は、いずれも環境光の色温度を打ち消すように映像信号の色温度を補正する場合、つまりサブ補正量を決定する場合に参照される関係を示している。

具体的には、図６は、環境光が赤みを帯びた光、つまり環境光のＲ成分が比較的大きい場合を表している。図６に示すように、環境光のＲ成分が比較的大きい場合、つまり環境光の色温度が基準色温度よりも低い場合、ＣＰＵ２３１は、Ｇ成分及びＢ成分の各々の補正量を増大させることにより、環境光の色温度を打ち消すようなサブ補正量を決定する。

図７は、環境光が青みを帯びた光、つまり環境光のＢ成分が比較的大きい場合を表している。図７に示すように、環境光のＢ成分が比較的大きい場合、つまり環境光の色温度が基準色温度よりも高い場合、ＣＰＵ２３１は、Ｒ成分及びＧ成分の各々の補正量を増大させることにより、環境光の色温度を打ち消すようなサブ補正量を決定する。

なお、実施の形態では、Ｒ成分、Ｇ成分、及びＢ成分の各補正量の大きさは、補正係数の大きさ、つまり環境光の照度に応じて変化する。具体的には、ＣＰＵ２３１は、環境光の照度が大きい、つまり補正係数が大きい場合、Ｒ成分、Ｇ成分、及びＢ成分の各補正量を大きくする。一方、ＣＰＵ２３１は、環境光の照度が小さい、つまり補正係数が小さい場合、Ｒ成分、Ｇ成分、及びＢ成分の各補正量を小さくする。

図８は、映像信号の色温度の補正量と画素輝度との相関を示す図である。なお、図８は、環境光の照度が比較的高く、照度閾値Ｔｈ１以上である場合を表している。図８の（ａ）は、ステップＳ１０４で算出した映像信号の色温度の補正量Ａと画素輝度との相関を示す図であって、縦軸が補正量Ａ、横軸が画素輝度を表している。図８の（ａ）に示すように、ステップＳ１０４で算出した補正量Ａは、画素輝度に依らず一定となる。また、ステップＳ１０４で算出した補正量Ａは、環境光の色温度が基準色温度よりも高い場合、白色の矢印で示されるように、環境光の色温度に追従するように映像信号の色温度を補正すべく、補正量Ａは正の値となる。一方、ステップＳ１０４で算出した補正量Ａは、環境光の色温度が基準色温度よりも低い場合、黒色の矢印で示されるように、環境光の色温度に追従するように映像信号の色温度を補正すべく、補正量Ａは負の値となる。

図８の（ｂ）は、ステップＳ１０５で算出したサブ補正量と画素輝度との相関を示す図であって、縦軸がサブ補正量、横軸が画素輝度を表している。図８の（ｂ）に示すように、サブ補正量は、画素輝度が輝度閾値Ｔｈ３以上である場合、零で一定となる。一方、サブ補正量は、画素輝度が輝度閾値Ｔｈ３を下回る場合、環境光の色温度及び画素輝度に応じた値となる。具体的には、サブ補正量は、環境光の色温度が基準色温度よりも高い場合、黒色の矢印で示されるように、環境光の色温度を打ち消すように映像信号の色温度を補正すべく、負の値となる。一方、サブ補正量は、環境光の色温度が基準色温度よりも低い場合、白色の矢印で示されるように、環境光の色温度を打ち消すように映像信号の色温度を補正すべく、正の値となる。

図８の（ｃ）は、ステップＳ１０４で算出した映像信号の色温度の補正量ＡにステップＳ１０５で算出したサブ補正量を加算した補正量Ｂと画素輝度との相関を示す図であって、縦軸が補正量Ｂ、横軸が画素輝度を表している。図８の（ｃ）に示すように、画素輝度が輝度閾値Ｔｈ３以上である場合、補正量Ｂは一定となる。一方、画素輝度が輝度閾値Ｔｈ３を下回る場合、補正量Ｂの絶対値は、加算するサブ補正量に応じて減じられる。

具体的には、環境光の色温度が基準色温度よりも高い場合、補正量Ｂは正の値となるが（右側の白色の矢印参照）、画素輝度が輝度閾値Ｔｈ３を下回ると、その絶対値がサブ補正量（左側の黒色の矢印参照）に応じて減じられる。また、環境光の色温度が基準色温度よりも低い場合、補正量Ｂは負の値となるが（右側の黒色の矢印参照）、画素輝度が輝度閾値Ｔｈ３を下回ると、その絶対値がサブ補正量（左側の白色の矢印参照）に応じて減じられる。

［４．効果等］
以下、実施の形態に係る映像処理システム２の利点について図９を用いて説明する。図９は、実施の形態に係る映像処理システム２の利点の説明図である。図９は、表示パネル１０に表示される、ユーザが視認する映像の色温度と画素輝度との相関を示す図であって、縦軸が色温度、横軸が画素輝度を表している。当該映像の色温度は、環境光の色温度の影響を受けた色温度となる。また、図９の画素輝度が輝度閾値Ｔｈ３以下の領域において、上下２本の点線は、ステップＳ１０４で算出した映像信号の色温度の補正量Ａのみに基づいて映像信号の色温度を補正した場合を表している。一方、当該領域において、実線は、ステップＳ１０４で算出した映像信号の色温度の補正量Ａに、ステップＳ１０５で算出したサブ補正量を加算した補正量Ｂで映像信号の色温度を補正した場合を表している。

図９に示すように、ステップＳ１０４で算出した映像信号の色温度の補正量Ａのみに基づいて映像信号の色温度を補正した場合、画素輝度が輝度閾値Ｔｈ３以下の領域、つまり比較的暗い階調を示す領域において色温度が過剰に補正されてしまう。図９に示す例では、環境光が青みを帯びた光である、つまり環境光の色温度が比較的高い場合、上側の点線で示されるように、比較的暗い階調を示す領域において色温度が高くなり、表示パネル１０には青みを帯びた色が現れてしまう。というのも、画素輝度が低い領域では環境光の色温度の影響をより強く受けるため、環境光の色温度が高いと、その領域の色温度が高く見える。そこに画素輝度が高い領域と同様に環境光に応じた補正（環境光の色温度が高いときに色温度を高くする補正）を行うと、色温度が高くなりすぎてしまうからである。また、環境光が赤みを帯びた光である、つまり環境光の色温度が基準色温度よりも低い場合、下側の点線で示されるように、比較的暗い階調を示す領域において色温度が低くなり、表示パネル１０には赤みを帯びた色が現れてしまう。というのも、上記と同様に、画素輝度が低い領域では環境光の色温度の影響をより強く受けるため、環境光の色温度が低いと、その領域の色温度が低く見える。そこに画素輝度が高い領域と同様に環境光に応じた補正（環境光の色温度が低いときに色温度を低くする補正）を行うと、色温度が低くなりすぎてしまうからである。

これに対して、実施の形態に係る映像処理システム２では、上述のように、環境光の色温度に追従するように映像信号の色温度の補正量を演算する第１補正演算処理を実行するだけでなく、映像信号の画素輝度に応じて、環境光の色温度を打ち消すように補正量の絶対値を減じる第２補正演算処理を実行している。図９に示す例では、環境光が青みを帯びた光である、つまり環境光の色温度が比較的高い場合、黒色の矢印で示されるように、比較的暗い階調を示す領域において映像信号の色温度の補正量の絶対値を減じている。これにより、表示パネル１０に表示される映像の色温度は、画素輝度に依らず概ね一定となり、表示パネル１０には青みを帯びた色が現れにくい。また、環境光が赤みを帯びた光である、つまり環境光の色温度が比較的低い場合、白色の矢印で示されるように、比較的暗い階調を示す領域において映像信号の色温度の補正量の絶対値を減じている。これにより、表示パネル１０に表示される映像の色温度は、画素輝度に依らず概ね一定となり、表示パネル１０には赤みを帯びた色が現れにくい。

このように、実施の形態に係る映像処理システム２では、環境光の色温度に追従するように映像信号の色温度を補正し、かつ、映像信号の画素輝度に応じて、環境光の色温度を打ち消すように補正量の絶対値を減じている。このため、実施の形態に係る映像処理システム２では、比較的暗い階調を示す領域において映像信号の色温度が過剰に補正されにくいので、ディスプレイ１の表示パネル１０に表示される映像の色温度を精度良く補正しやすい、という利点がある。

［５．その他の実施の形態］
以上、実施の形態について説明したが、本開示は、上記実施の形態に限定されるものではない。

上記実施の形態では、映像処理システム２は、ＲＧＢセンサ３が出力するＲＧＢ情報に基づいて算出することで照度情報及び色温度情報を取得しているが、これに限られない。例えば、映像処理システム２は、ディスプレイ１の周辺に設置された撮像素子が出力する照度情報を取得することで、照度情報を取得してもよい。撮像素子は、例えばＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサ等で構成される。このように、環境光の照度を検知する機器と、環境光の色温度を検知する機器とが別々であってもよい。

上記実施の形態では、映像処理システム２は、環境光の照度を示す照度情報を参照してサブ補正量を調整しているが、これに限られない。例えば、映像処理システム２は、環境光の色温度を示す色温度情報のみを参照してサブ補正量を調整してもよい。この場合、図４に示すフローチャートにおいて、ステップＳ２０１～Ｓ２０３は不要となる。また、この場合、ステップＳ２０７において、サブ補正量は、補正量Ｃに等しくなる。

上記実施の形態では、映像処理システム２は、映像信号におけるＲＧＢ値を補正することにより映像信号の色温度を補正しているが、これに限られない。例えば、映像処理システム２は、映像信号がＹＣｂＣｒ信号である場合、映像信号におけるＹＣｂＣｒ値を補正することにより映像信号の色温度を補正してもよい。

上記実施の形態では、映像処理システム２は映像処理回路２３３を備えているが、これに限られない。つまり、映像処理システム２は、第１入力Ｉ／Ｆ２１と、第２入力Ｉ／Ｆ２２と、ＣＰＵ２３１（プロセッサ）と、を備えていればよい。

また、上記実施の形態において、映像処理システム２は、単一の装置によって実現されたが、複数の装置として実現されてもよい。映像処理システム２が複数の装置によって実現される場合、映像処理システム２が備える機能的な構成要素は、複数の装置にどのように振り分けられてもよい。

また、上記実施の形態における装置間の通信方法については特に限定されるものではない。上記実施の形態において２つの装置が通信を行う場合、２つの装置間には図示されない中継装置が介在してもよい。

また、上記実施の形態で説明された処理の順序は、一例である。複数の処理の順序は変更されてもよいし、複数の処理は並行して実行されてもよい。また、特定の処理部が実行する処理を別の処理部が実行してもよい。また、上記実施の形態で説明されたデジタル信号処理の一部がアナログ信号処理によって実現されてもよい。

また、上記実施の形態において、各構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサ等のプログラム実行部が、ハードディスク又は半導体メモリ等の記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

また、各構成要素は、ハードウェアによって実現されてもよい。例えば、各構成要素は、回路（又は集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。

また、本開示の全般的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭ等の記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。例えば、本開示は、コンピュータが実行する映像処理方法として実行されてもよいし、このような映像処理方法をコンピュータに実行させるためのプログラムとして実現されてもよい。また、本開示は、このようなプログラムが記録されたコンピュータ読み取り可能な非一時的な記録媒体として実現されてもよい。なお、ここでのプログラムには、汎用の情報端末を上記実施の形態の映像処理システムとして機能させるためのアプリケーションプログラムが含まれる。

その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、又は、本開示の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。

（まとめ）
以上述べたように、第１の態様に係る映像処理システム２は、第１入力Ｉ／Ｆ２１と、第２入力Ｉ／Ｆ２２と、ＣＰＵ２３１と、を備える。ＣＰＵ２３１は、プロセッサの一例である。第１入力Ｉ／Ｆ２１は、ディスプレイ１の表示パネル１０に出力される映像信号を取得する。第２入力Ｉ／Ｆ２２は、表示パネル１０へ照射される環境光の色温度を示す色温度情報を取得する。ＣＰＵ２３１は、環境光の色温度に追従するように映像信号の色温度の補正量を演算する。ＣＰＵ２３１は、映像信号の画素輝度が輝度閾値を下回る場合、環境光の色温度を打ち消すように映像信号の色温度の補正量の絶対値を減じる。ＣＰＵ２３１は、補正量に応じて映像信号の色温度を補正した映像信号を出力する。

これによれば、比較的暗い階調を示す領域において映像信号の色温度が過剰に補正されにくいので、ディスプレイ１の表示パネル１０に表示される映像の色温度を精度良く補正しやすい、という利点がある。

また、第２の態様に係る映像処理システム２では、第１の態様において、ＣＰＵ２３１は、環境光の照度を示す照度情報を更に取得する。ＣＰＵ２３１は、映像信号の画素輝度が輝度閾値Ｔｈ３を下回る場合、環境光の照度に更に基づいて補正量を調整する。

これによれば、環境光の照度を参照しない場合と比較して、更に精度良く映像の色温度を補正しやすくなる、という利点がある。

また、第３の態様に係る映像処理システム２では、第２の態様において、ＣＰＵ２３１は、環境光の照度が照度所定値Ｔｈ１０に達するまでは、環境光の照度が照度閾値Ｔｈ１よりも大きくなるにつれて補正量の絶対値を増大させ、環境光の照度が照度所定値Ｔｈ１０に達すると、以降、補正量の絶対値を増大させない。

これによれば、環境光の照度に応じた色温度の補正が過剰に行われるのを抑制することで、更に精度良く映像の色温度を補正しやすくなる、という利点がある。

また、第４の態様に係る映像処理システム２では、第１～第３のいずれか１つの態様において、ＣＰＵ２３１は、環境光の色温度が色所定値Ｔｈ２１０（又はＴｈ２２０）に達するまでは、環境光の色温度が所定範囲Ｒ１から離れるにつれて補正量の絶対値を増大させ、環境光の色温度が色所定値Ｔｈ２１０（又はＴｈ２２０）に達すると、以降、補正量の絶対値を増大させない。

これによれば、環境光の色温度に応じた色温度の補正が過剰に行われるのを抑制することで、更に精度良く映像の色温度を補正しやすくなる、という利点がある。

また、第５の態様に係る映像処理システム２では、第１～第４のいずれか１つの態様において、映像信号は、ＲＧＢ信号である。ＣＰＵ２３１は、映像信号におけるＲＧＢ値を補正することにより、映像信号の色温度を補正する。

これによれば、ＲＧＢ値を補正するという簡易な手法により映像信号の色温度を補正するので、映像信号の色温度の補正処理を実行しやすい、という利点がある。

また、第６の態様に係る映像処理方法では、ディスプレイ１の表示パネル１０に出力される映像信号を取得し（Ｓ１０１）、表示パネル１０へ照射される環境光の色温度を示す色温度情報を取得し（Ｓ１０３）、環境光の色温度に追従するように映像信号の色温度の補正量を演算し（Ｓ１０５）、映像信号の画素輝度が輝度閾値を下回る場合（Ｓ１０６：Ｙｅｓ）、環境光の色温度を打ち消すように映像信号の色温度の補正量の絶対値を減じ（Ｓ１０８）、補正量に応じて映像信号の色温度を補正した映像信号を出力する（Ｓ１１１）。

これによれば、比較的暗い階調を示す領域において映像信号の色温度が過剰に補正されにくいので、ディスプレイ１の表示パネル１０に表示される映像の色温度を精度良く補正しやすい、という利点がある。

また、第７の態様に係るプログラムは、１以上のプロセッサに、第６の態様に係る映像処理方法を実行させる。

これによれば、比較的暗い階調を示す領域において映像信号の色温度が過剰に補正されにくいので、ディスプレイ１の表示パネル１０に表示される映像の色温度を精度良く補正しやすい、という利点がある。

本開示の映像処理システム等は、ディスプレイの表示パネルに表示される映像を処理するシステム等に適用可能である。

１ ディスプレイ
１０ 表示パネル
２ 映像処理システム
２１ 第１入力Ｉ／Ｆ
２２ 第２入力Ｉ／Ｆ
２３ ＳｏＣ
２３１ ＣＰＵ
２３２ メモリ
２３３ 映像処理回路
３ ＲＧＢセンサ
Ａ１、Ａ２、Ａ３ 矢印
Ｇ１、Ｇ２ 領域
Ｒ１ 所定範囲
Ｔｈ１ 照度閾値
Ｔｈ１０ 照度所定値
Ｔｈ２１０、Ｔｈ２２０ 色所定値
Ｔｈ２１ 第１色閾値
Ｔｈ２２ 第２色閾値
Ｔｈ３ 輝度閾値

Claims (7)

1. ディスプレイの表示パネルに出力される映像信号を取得する第１入力インタフェースと、
   前記表示パネルへ照射される環境光の色温度を示す色温度情報を取得する第２入力インタフェースと、
   プロセッサと、を備え、
   前記プロセッサは、
   前記環境光の色温度に追従するように前記映像信号の色温度の補正量を演算し、
   前記補正量の演算では、前記映像信号の画素輝度が輝度閾値を下回る場合、前記環境光の色温度を打ち消すサブ補正量を演算し、前記サブ補正量によって前記補正量の絶対値が小さくなるように前記補正量を補正し、
   前記補正量に応じて前記映像信号の色温度を補正した前記映像信号を出力する、
   映像処理システム。
2. 前記プロセッサは、
   前記環境光の照度を示す照度情報を更に取得し、
   前記映像信号の前記画素輝度が前記輝度閾値を下回る場合、前記環境光の照度に更に基づいて前記補正量を調整する、
   請求項１に記載の映像処理システム。
3. 前記プロセッサは、前記環境光の照度が照度所定値に達するまでは、前記環境光の照度が照度閾値よりも大きくなるにつれて前記補正量の絶対値を増大させ、前記環境光の照度が前記照度所定値に達すると、以降、前記補正量の絶対値を増大させない、
   請求項２に記載の映像処理システム。
4. 前記プロセッサは、前記環境光の色温度が色所定値に達するまでは、前記環境光の色温度が所定範囲から離れるにつれて前記補正量の絶対値を増大させ、前記環境光の色温度が前記色所定値に達すると、以降、前記補正量の絶対値を増大させない、
   請求項１～３のいずれか１項に記載の映像処理システム。
5. 前記映像信号は、ＲＧＢ信号であって、
   前記プロセッサは、前記映像信号におけるＲＧＢ値を補正することにより、前記映像信号の色温度を補正する、
   請求項１～３のいずれか１項に記載の映像処理システム。
6. ディスプレイの表示パネルに出力される映像信号を取得し、
   前記表示パネルへ照射される環境光の色温度を示す色温度情報を取得し、
   前記環境光の色温度に追従するように前記映像信号の色温度の補正量を演算し、
   前記補正量の演算では、前記映像信号の画素輝度が輝度閾値を下回る場合、前記環境光の色温度を打ち消すサブ補正量を演算し、前記サブ補正量によって前記補正量の絶対値が小さくなるように前記補正量を補正し、
   前記補正量に応じて前記映像信号の色温度を補正した前記映像信号を出力する、
   映像処理方法。
7. １以上のプロセッサに、
   請求項６に記載の映像処理方法を実行させる、
   プログラム。