JP5205007B2 - 光源推定方法および装置 - Google Patents

Description

本発明は、色再現技術に関し、より詳しくはホワイトバランスのための光源推定方法および装置に関するものである。

光には色温度と呼ばれる特有の色があるが、その単位としてケルビン（Ｋ）が用いられる。一般的に、人間の視覚能力は自動的に色に対する感受性を調節するため、どのような色温度の光が照らされても色彩に対する人間の認識差は非常に微弱である。しかし、カメラやビデオカメラのようなイメージピックアップ装置は、色温度が反映された色彩をそのまま検出するため、光源が変わればイメージピックアップ装置が撮影したイメージは互いに異なる色彩を帯びるようになる。

例えば、晴れた日の太陽光は色温度が高いためにイメージピックアップ装置が撮影したイメージは全体的に青色を帯びる反面、日の出や日没の時間帯の太陽光は色温度が低いためにイメージピックアップ装置が撮影したイメージは全体的に赤色を帯びるようになる。

このような問題点を改善するために提案されたオートホワイトバランス（Ａｕｔｏｍａｔｉｃ Ｗｈｉｔｅ Ｂａｌａｎｃｉｎｇ；ＡＷＢ）技術は、撮影されたイメージが色温度に応じて赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）成分のうち少なくとも一方向に偏向する場合、イメージの色調が歪曲する現象を補正する役割をする。

しかし、従来のホワイトバランス技術では、同一光源の下で撮影された映像であっても映像内に存在する物体の色やサイズによって一貫性のある色再現が難しい。

本発明は、上記のような問題点を解決するためになされたものであり、より安定した光源推定によって色再現性能を向上させることにその目的がある。

本発明の目的は、以上で言及した目的に制限されず、言及していないまた他の目的は下記記載によって当業者が明確に理解できるものである。

前記目的を達成するために、本発明の一態様に係る光源推定方法は、入力映像から複数の有効映像を検出するステップと、前記各有効映像に含まれるデータに基づいて推定された光源からホワイトバランスのための光源を決定するステップとを含む。

また、前記目的を達成するために、本発明の他の態様に係る光源推定装置は、入力映像から複数の有効映像を検出する映像検出部と、前記各有効映像に含まれるデータに基づいて推定された光源からホワイトバランスのための光源を決定する光源決定部とを含む。

上記のような本発明に係る光源推定方法および装置によれば、光源情報がないか、あるいは物体色と類似する光源情報のみある入力映像に対して発生する光源推定誤差を改善することによって、光源推定が要求される映像処理の正確度および色再現性能を向上させられる長所がある。

その他、実施形態の具体的な事項は、詳細な説明および図面に含まれている。
本発明の利点および特徴、そしてそれらを達成する方法は、添付する図面と共に詳細に後述する実施形態を参照すれば明確になる。しかし、本発明は以下にて開示する実施形態に限定されず、互いに異なる多様な形態に具現され得、単に本実施形態は本発明の開示が完全なものとなるようにし、本発明が属する技術分野で通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであって、本発明は請求項の範疇によってのみ定義されるものである。

以下、添付するブロック図または処理フローチャートに対する図面を参考にしながら本発明について説明する。この時、処理フローチャートの各ブロックとフローチャートの組合せは、コンピュータプログラムインストラクションによって行われることが理解できる。

これらコンピュータプログラムインストラクションは、汎用コンピュータ、特殊用コンピュータ、またはその他のプログラム可能なデータプロセシング装備のプロセッサに搭載することができるため、コンピュータまたはその他のプログラム可能なデータプロセシング装備のプロセッサによって行われるそのインストラクションがフローチャートブロックで説明する機能を行う手段を生成するようになる。これらコンピュータプログラムインストラクションは、特定方式で機能を具現するために、コンピュータまたはその他のプログラム可能なデータプロセシング装備が備えられるコンピュータによって利用可能または読取可能なメモリに格納されることも可能であるため、そのコンピュータによって利用可能または読取可能なメモリに格納されたインストラクションは、フローチャートブロックで説明する機能を行うインストラクション手段を含む製造品目の生産に用いることも可能である。

コンピュータプログラムインストラクションは、コンピュータまたはその他のプログラム可能なデータプロセシング装備上に搭載することも可能であるため、コンピュータまたはその他のプログラム可能なデータプロセシング装備上で一連の動作ステップが行われ、コンピュータで実行されるプロセスを生成して、コンピュータまたはその他のプログラム可能なデータプロセシング装備の機能を行うインストラクションはフローチャートブロックで説明する各ステップの機能を実行することも可能である。

また、各ブロックは、特定された論理的機能を実行するための１つ以上の実行可能なインストラクションを含むモジュール、セグメント、またはコードの一部を示すことができる。また、複数の代替実行例ではブロックで言及された機能が順序から外れて行われることも可能であることに注目しなければならない。例えば、連続して図示されている２つのブロックは、実質的に同時に行われることも可能であり、またはそのブロックが時には該当する機能によって逆順に行われることも可能である。

図１は、本発明の実施形態に係る映像表示システム１００を示すブロック図である。映像表示システム１００は、光源推定装置２００と、ホワイトバランス装置３００と、映像出力装置４００とを含むことができる。このような映像表示システム１００は、デジタルスチルカメラ（ｄｉｇｉｔａｌ ｓｔｉｌｌ ｃａｍｅｒａ）、デジタルビデオカムコーダ（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｃａｍｃｏｄｅｒ）、デジタル監視カメラ（ｄｉｇｉｔａｌ ｓｕｒｖｅｉｌｌａｎｃｅ ｃａｍｅｒａ）等を含むことができる。

光源推定装置２００は、入力映像から複数の有効映像を検出し、前記各有効映像に含まれるデータに基づいて推定された光源からホワイトバランスのための光源を決定する。光源推定装置２００に関するより詳細な説明は、図２を参照して後述することにする。

ホワイトバランス装置３００は、光源推定装置２００によって決められた光源を用いて、前記入力映像に対するホワイトバランス作業を行う。ホワイトバランス作業に関しては様々な公知の技術があるため、本発明ではこれに関する説明を省略する。

映像出力装置４００は、ホワイトバランス作業が行われた入力映像を表示する。このような映像出力装置４００は、ＬＣＤ、ＰＤＰ、ＬＥＤ、ＯＬＥＤ、フレキシブルディスプレイなどのような多様な表示手段によって具現され得る。

図２は、本発明の第１実施形態に係る光源推定装置２００を示すブロック図である。光源推定装置２００は、映像入力部２１０と、映像検出部２２０と、光源決定部２３０とを含むことができる。

映像入力部２１０には、所定の映像ソースから映像が入力され、前記入力映像を成す各副画素、すなわち、Ｒ、Ｇ、Ｂ成分を出力する。ここで、前記入力映像は、そのものがＲＧＢ形態の信号になっている場合もあるが、他の信号フォーマットになっている場合もある。入力映像がＲＧＢ形態の信号になっている場合、映像入力部２１０は、前記ＲＧＢ形態の入力映像を輝度信号を含む形態、例えばＹＣｒＣｂ形態の信号フォーマットに変換することができる。

映像検出部２２０は、入力映像に含まれる映像を互いに比較し、以前の映像に比べて場面が転換された映像、および以前の映像に比べて光源が転換された映像のうち少なくとも１つ以上を検出する。このために映像検出部２２０は、第１計算部２２１と、第２計算部２２２と、判断部とを含んで構成され得る。

先ず、第１計算部２２１は、以前の映像に比べて場面が転換された映像を検出するための第１パラメータを計算する。この時、前記第１パラメータとしては、現在の映像の輝度と以前の映像の輝度の差の絶対値の合計（以下、「第１ＳＡＤ」という）を例に挙げることができる。ここで、第１ＳＡＤに基づき、以前の映像と異なる動き情報を有する映像を検出する方法について説明すれば次の通りである。まず、第１計算部２２１は、現在の映像と以前の映像において同一位置の２つのピクセルが有する輝度値の差を算出する。第１計算部２２１は、現在の映像と以前の映像を構成するすべてのピクセルを対象に前記の過程を行う。次に、第１計算部２２１は、算出された値の絶対値を全て足して現在の映像に対する第１ＳＡＤを求める。前述した方法によって算出された第１ＳＡＤが第１閾値以上である場合、判断部２２３は現在の映像が以前の映像と異なる動き情報を有する映像に該当すると判断することができる。

第２計算部２２２は、以前の映像と異なる光源情報を有する映像を検出するための第２パラメータを計算する。この時、前記第２パラメータとしては、標準化されたＳＡＤ（ｎｏｒｍａｌｉｚｅｄ ＳＡＤ；以下「第２ＳＡＤ」という）を例に挙げることができる。ここで、第２ＳＡＤとは、現在の映像の平均輝度と以前の映像の平均輝度とを一致させた状態で求められるＳＡＤを意味する。

前述した第２ＳＡＤに基づいて以前の映像と異なる光源情報を含む映像を検出する方法について説明すれば次の通りである。まず、第２計算部２２２は、現在の映像の平均輝度と以前の映像の平均輝度を各々算出する。次に、第２計算部２２２は、現在の映像の平均輝度と以前の映像の平均輝度のうちいずれか１つを調節し、２つの映像の平均輝度を一致させる。例えば、現在の映像の平均輝度は１００で、以前の映像の平均輝度を１１０とする。この時、第２計算部２２２は、現在の映像の平均輝度を１１０に調節し、現在の映像の平均輝度と以前の映像の平均輝度とをすべて１１０に一致させられる。または、第２計算部２２２は、以前の映像の平均輝度を１００に調節し、現在の映像の平均輝度と以前の映像の平均輝度とをすべて１００に一致させられる。このように、現在の映像の平均輝度と以前の映像の平均輝度とを互いに一致させた後、第２計算部２２２は、現在の映像と以前の映像において同一位置のピクセル別に輝度値の差を算出する。次に、第２計算部２２２は、算出された値の絶対値をすべて足して現在の映像に対する第２ＳＡＤを求める。前述した方法によって求められた第２ＳＡＤが第２閾値以上である場合、判断部２２３は、現在の映像が以前の映像と異なる光源情報を有する映像に該当すると判断することができる。

判断部２２３は、前述したように、第１ＳＡＤと第１閾値を比較して以前の映像に比べて場面が転換された映像を検出したり、または第２ＳＡＤと第２閾値を比較して以前の映像と異なる光源情報を有する映像を検出したりすることができる。

他の実施形態によれば、判断部２２３は、第１ＳＡＤと第２ＳＡＤとを直接比較することによって、以前の映像と異なる動き情報および光源情報を有する映像を検出することができる。具体的に、第１ＳＡＤと第２ＳＡＤとを比較した結果、２つの値が互いに類似し、２つの値がすべて第１閾値より大きい場合、判断部２２３は、現在の映像が以前の映像に比べて場面が転換された映像であると判断できる。もし、第１ＳＡＤと第２ＳＡＤとを比較した結果、２つの値が互いに異なり、第１ＳＡＤ値が第１閾値より大きい場合、判断部２２３は、現在の映像が以前の映像と異なる光源情報を有する映像であると判断できる。以下の説明では、映像検出部２２０によって検出された映像を「有効映像」と称する。

光源決定部２３０は、各有効映像に含まれるデータに基づいて推定された光源からホワイトバランスのための光源を決定する。このために光源決定部２３０は、パラメータ計算部２３１と、光源推定部２３２と、格納部２３３と、光源選択部２３４と、光源更新部２３５と、光源補正部２３６とを含んで構成される。

パラメータ計算部２３１は、前述した映像検出部２２０によって検出された有効映像を代表できるパラメータを計算する。前記有効映像を代表するパラメータは、輝度の分散、色度の分散、色度変化率、無彩色軸の傾きを含むことができる。

輝度分散は、有効映像に対する輝度分布情報を示す。この時、輝度分散が大きい映像であるほど表面反射率が互いに異なる面を多く含む場面に対応する映像と解釈することができる。これに関する具体的な説明のために、まず「分散」の定義について述べる。分散とは、各変量から平均値を引いた偏差を自乗して平均を求めたものを意味する。この時、分散が小さいということは、前記各変量の大半が前記平均値に近い値を有することを意味する。言い換えれば、各変量の分布が均一であることを意味する。逆に、分散が大きいということは、前記各変量の大半が前記平均値との差が大きいことを意味し、つまり、各変量の分布が均一ではないことを意味する。

一方、すべての物体の面は、互いに異なる表面反射率を有するが、表面反射率が互いに異なる面を多く含む場面である場合、各面によって反射される光源の程度が互いに異なり、このような場面に対応する映像の輝度分散は、表面反射率が互いに異なる面を少なめに含む場面に対応する映像の輝度分散に比べて大きい値を有する。このように、分散の定義と、すべての物体の面は互いに異なる反射率を有するという事実に基づき、輝度分散が大きい映像であるほど表面反射率が互いに異なる面を多く含む場面に対応する映像であると解釈することができる。

色度分散は、有効映像に対する輝度分布情報を示すものであり、輝度分散と同じように、その値が大きいほど互いに異なる面を多く含む場面に対応する映像であると解釈することができる。

色度変化率は、有効映像のうち、現在の有効映像の色度が以前の有効映像の色度に比べてどれだけ変化したかを示す。以前の有効映像の色度に比べて現在の有効映像の色度が増加した場合には、色度増加率がすなわち色度変化率となる。逆に、以前の有効映像の色度に比べて現在の有効映像の色度が減少した場合には、色度減少率がすなわち色度変化率となる。色度変化率を求める時、現在の有効映像と以前の有効映像との間隔は任意に調節され得る。ここで、間隔というのはフレーム間隔を意味する。具体的に、本発明にて入力映像は動映像として理解され得、入力映像から抽出された有効映像は前記入力映像を構成するフレームとして理解され得る。そのため、現在の有効映像と以前の有効映像との間隔は、すなわちフレーム間隔と見ることができる。図面には示していないが、パラメータ計算部２３１は、現在の有効映像と以前の有効映像との間の間隔、すなわち、フレーム間隔を調節できる手段をさらに含むことができる。

無彩色軸の傾きとは、有効映像に含まれるデータを輝度−色度空間上に分布させた時、最大輝度値を有するデータ（以下、「最大輝度ポイント」という）と最小輝度値を有するデータ（以下、「最小輝度ポイント」という）とを連結する直線が、前記輝度−色度空間上の輝度軸となす角度（θ）を意味する。このような無彩色軸の傾きは、図３に示す例によって理解することができる。

前述したような輝度分散、色度分散、色度変化率、および無彩色軸の傾きなどのパラメータは、複数の有効映像に対して各々推定された光源情報の中からホワイトバランスを行うのに必要な光源情報を選別し出すための判断基準として用いられ得る。

再び図２を参照すれば、光源推定部２３２は、有効映像に含まれるデータに基づいて前記有効映像の光源を推定する。前記有効映像が複数である場合、光源推定部２３２は各有効映像に対する光源を推定する。所定の映像に含まれるデータに基づいて光源を推定する作業に関しては様々な公知の技術があるため、本発明ではこれに関する説明を省略する。

格納部２３３は、各有効映像を代表するパラメータと、各有効映像に含まれるデータに基づいて推定された各光源情報とを格納することができる。このような格納部２３３は、キャッシュ、ＲＯＭ（リードオンリメモリ）、ＰＲＯＭ（Ｐｒｏｇｒａｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、およびフラッシュメモリのような非揮発性メモリ素子、またはＲＡＭ（ランドムアクセスメモリ）のような揮発性メモリ素子、またはハードディスクドライブのような格納媒体のうち少なくとも１つとして具現され得るがこれに限らない。

光源選択部２３４は、各有効映像を代表するパラメータ、すなわち輝度分散、色度分散、色度変化率、無彩色軸の傾きなどの情報が所定の判断基準に符号するか否かを判別する。そして、光源選択部２３４は、光源推定部２３２によって推定された光源のうち、前記判断基準に符合する有効映像（以下、「グローバル映像」という）の光源を選択する。

この時、有効映像の中からグローバル映像を判別する方法は次の通りである。例えば、所定の有効映像に対する輝度分散が予め指定された閾値以上である場合、前記有効映像はグローバル映像として判別され得る。または、前記有効映像に対する色度分散が予め指定された閾値以上である場合にも、前記有効映像はグローバル映像として判別され得る。または、前記有効映像に対する無彩色軸の傾きが予め指定された閾値以内である場合にも、前記有効映像はグローバル映像として判別され得る。または、前記有効映像の色度変化率が予め指定された閾値以内である場合にも、前記有効映像はグローバル映像として判別され得る。以上のように、所定の有効映像を代表するパラメータのうち少なくとも１つ以上のパラメータが予め定義された判断基準に符合する場合、該当有効映像はグローバル映像として判別され得る。

一方、光源更新部２３５は、グローバル映像の個数を予め指定された臨界値と比較した結果に応じて、今後ホワイトバランス作業が行われるのに必要な光源を選択的に更新する。具体的に、グローバル映像の個数が予め指定された臨界値より多い場合、光源更新部２３５は、光源選択部２３４によって選択された光源、すなわち各グローバル映像の光源の中から任意の光源を選択し、既に格納された光源を前記選択された光源に更新することができる。

他の例として、光源更新部２３５は、光源選択部２３４によって選択された光源（すなわち、各グローバル映像の光源）の中間値を算出した後、既に格納された光源を算出した中間値に更新することもできる。

グローバル映像の個数が予め指定された臨界値未満であれば、光源更新部２３５は、既に保存された光源をそのまま維持することができる。

光源補正部２３６は、光源更新部２３５によって更新された光源を補正する。具体的に、光源補正部２３６は、前記更新された光源をＲＧＢ信号フォーマットで示した時、Ｒ、Ｇ、Ｂ成分の比が１：１：１になるように前記更新された光源を補正する。

次に、図４は、本発明の第１実施形態に係る光源推定装置２００の動作過程を示すフローチャートである。

先ず、映像入力部２１０に入力映像が入力される（Ｓ４１０）。
次に、映像検出部２２０は、入力映像に含まれる映像の中から複数の有効映像を検出する（Ｓ４２０）。すなわち、映像検出部２２０は、以前の映像に比べて場面が転換された映像、および以前の映像に比べて光源が転換された映像を検出する。前記Ｓ４２０段階は、現在の映像の第１ＳＡＤおよび第２ＳＡＤを計算するステップと、前記第１ＳＡＤと前記第２ＳＡＤとを各々予め定義された閾値と比較して有効映像を検出するステップとからなり得る。

ここで、前記第１ＳＡＤは、現在の映像と以前の映像において同一位置のピクセルが有する輝度値の差をピクセル別に求めた後、前記ピクセル別輝度値の差の絶対値をすべて足すことによって得られる。また、前記第２ＳＡＤは、現在の映像の平均輝度と以前の映像の平均輝度を同一にさせた後、現在の映像と以前の映像において同一位置のピクセルが有する輝度値の差を求め、前記輝度値の差に対する絶対値をすべて足すことによって得られる。

映像検出部２２０によって複数の有効映像が検出されれば、パラメータ計算部２３１は、有効映像を代表するパラメータを計算する（Ｓ４３０）。この時、前記パラメータは、輝度分散、色度分散、色度変化率、および無彩色軸の傾きのうち少なくとも１つを含むことができる。

映像検出部２２０によって複数の有効映像が検出されれば、光源推定部２３２は、各有効映像に含まれるデータに基づいて各有効映像の光源を推定する（Ｓ４４０）。

次に、光源選択部２３４は、所定の有効映像のパラメータが予め指定された判断基準に符合する場合、前記有効映像をグローバル映像として判別し、前記グローバル映像の光源を選択する（Ｓ４５０）。前記判断基準は、予め指定された閾値以内の色度変換率、予め指定された閾値以上の輝度分散、予め指定された閾値以上の彩度分散、予め指定された閾値以内の無彩色軸の傾きを含むことができる。

一方、光源更新部２３５は、グローバル映像の個数を予め指定された臨界値と比較した結果に応じて、今後ホワイトバランス作業が行われるのに必要な光源を選択的に更新する（Ｓ４６０）。前記Ｓ４６０段階は、グローバル映像の個数が予め指定された閾値以上である場合、グローバル映像の光源の中間値を算出するステップと、既に指定された光源を前記中間値に更新するステップと、グローバル映像の個数が予め指定された臨界値未満である場合、既に格納された光源をそのまま維持するステップとからなり得る。

次に、光源補正部２３６は、光源更新部２３５によって更新された光源を補正する（Ｓ４７０）。
このように光源が補正されれば、ホワイトバランス装置３００は、補正された光源に基づいて入力映像に対するホワイトバランス作業を行う。ホワイトバランス作業が完了した映像は、映像出力装置４００によって表示され得る。

以上の実施形態では、グローバル映像の個数を予め指定された臨界値と比較した結果に応じて、ホワイトバランスのための光源情報を選択的に更新する光源推定装置２００について説明した。以下では、他の実施形態として、有効映像を代表するパラメータに基づいて、ホワイトバランスのための光源情報を更新する光源推定装置について図５を参考に説明する。

図５は、本発明の第２実施形態に係る光源推定装置５００を示すブロック図である。図５にて、映像入力部５１０、第１計算部５２１、第２計算部５２２、判断部５２３、パラメータ計算部５３１、光源推定部５３２、格納部５３３、光源補正部５３６は図２と同様であるため、それらに関する説明は省略し、光源選択部５３４と光源更新部５３５の動作を中心に説明する。

光源選択部５３４は、有効映像を代表するパラメータのうちいずれか１つのパラメータが所定の判断基準に符合する場合、光源推定部５３２によって推定された光源の中から前記有効映像の光源を選択する。例えば、所定の有効映像の色度変化率が予め定義された閾値以内である場合、光源選択部５３４は、推定された光源の中から前記有効映像の光源を選択する。

他の例として、前記有効映像の輝度分散が予め定義された閾値以上である場合、光源選択部５３４は、推定された光源情報の中から前記有効映像の光源を選択することもできる。

また他の例として、前記有効映像の色度分散が予め定義された閾値以上である場合、光源選択部５３４は、推定された光源情報の中から前記有効映像の光源を選択することもできる。

また他の例として、光源選択部５３４は、前記有効映像の無彩色軸の傾きが予め定義された閾値以内である場合、推定された光源の中から前記有効映像の光源を選択することもできる。

一方、光源更新部５３５は、光源選択部５３４によって選択された光源に基づき、今後ホワイトバランス作業が行われるのに必要な光源情報を更新する。具体的に、光源更新部５３５は、光源選択部５３４によって選択された光源の中間値を算出した後、既に格納された光源を算出した中間値に更新することができる。

図６は、本発明の第２実施形態に係る光源推定装置５００の動作過程を示すフローチャートである。

先ず、映像入力部５１０に入力映像が入力される（Ｓ６１０）。
次に、映像検出部５２０は、入力映像に含まれる映像の中から複数の有効映像を検出する（Ｓ６２０）。言い換えれば、映像検出部５２０は、以前の映像に比べて場面が転換された映像、および以前の映像に比べて光源が転換された映像を検出する。前記Ｓ５２０段階は、現在の映像の第１ＳＡＤを計算するステップと、前記現在の映像の第２ＳＡＤを計算するステップと、前記計算された第１ＳＡＤと前記計算された第２ＳＡＤを各々予め定義された閾値と比較して有効映像を検出するステップとからなり得る。

ここで、前記第１ＳＡＤは、現在の映像と以前の映像において同一位置のピクセルが有する輝度値の差をピクセル別に求め、前記各輝度値の差の絶対値をすべて足すことによって得られる。

また、前記第２ＳＡＤは、現在の映像の平均輝度と以前の映像の平均輝度を同一にした後、現在の映像と以前の映像において同一位置のピクセルが有する輝度値の差をピクセル別に求め、前記ピクセル別輝度値の差の絶対値をすべて足すことによって得られる。

映像検出部５２０によって有効映像が検出されれば、パラメータ計算部５３１は、有効映像を代表できるパラメータを計算する（Ｓ６３０）。この時、前記パラメータは、輝度分散、色度分散、色度変化率、および無彩色軸の傾きのうち少なくとも１つを含むことができる。

映像検出部５２０によって複数の有効映像が検出されれば、光源推定部５３２は、各有効映像に含まれるデータに基づいて各有効映像の光源を推定する（Ｓ６４０）。

次に、光源選択部５３４は、所定の有効映像のパラメータが予め指定された判断基準に符合するか否かを判断し、前記判断基準に符合する有効映像の光源を選択する（Ｓ６５０）。前記判断基準は、予め指定された閾値以内の色度変換率、予め指定された閾値以上の輝度分散、予め指定された閾値以上の彩度分散、予め指定された閾値以内の無彩色軸の傾きを含むことができる。

次に、光源更新部５３５は、前記Ｓ６５０段階によって選択された光源に基づいて、ホワイトバランスのための光源情報を更新する（Ｓ６６０）。前記Ｓ６６０段階は、前記Ｓ６５０段階によって選択された光源の中間値を求めるステップと、既に格納された光源を前記中間値に更新するステップとからなり得る。

次に、光源補正部５３６は、前記Ｓ６６０段階によって更新された光源を補正する（Ｓ６７０）。

光源の補正が行われば、ホワイトバランス装置３００は、補正された光源に基づいて入力映像に対するホワイトバランス作業を行う。ホワイトバランス作業が完了した入力映像は、映像出力装置４００によって表示され得る。

以上の説明にて光源推定装置を構成する構成要素を示す「〜部」は一種のモジュールとして具現され得る。ここで、「モジュール」は、ソフトウェア、またはＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）のようなハードウェアの構成要素を意味し、モジュールはある機能を行う。ただし、モジュールはソフトウェアまたはハードウェアに限定される意味ではない。モジュールは、アドレッシングできる格納媒体にあるように構成することもでき、１つまたはそれ以上のプロセッサを実行するように構成することもできる。したがって、一例としてモジュールはソフトウェア構成要素、オブジェクト指向ソフトウェア構成要素、クラス構成要素、およびタスク構成要素のような構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、および変数を含む。構成要素とモジュールの中で提供されている機能は、さらに小さい数の構成要素およびモジュールに結びついたり追加的な構成要素とモジュールにさらに分離できる。

以上、添付した図面を参照して本発明の実施形態を説明したが、本発明が属する技術分野で通常の知識を有する者であれば、本発明がその技術的思想や必須の特徴を変更せず、他の具体的な形態によって実施することができるということを理解できる。したがって、以上で記述した実施形態はすべての面で例示的なものであり、限定的なものではないことを理解しなければならない。

本発明の実施形態に係る映像表示システムを示すブロック図である。 本発明の第１実施形態に係る光源推定装置を示すブロック図である。 ある映像に対する無彩色軸の傾きを輝度−色度空間に示す図である。 本発明の第１実施形態に係る光源推定装置の動作過程を示すフローチャートである。 本発明の第２実施形態に係る光源推定装置を示すブロック図である。 本発明の第２実施形態に係る光源推定装置の動作過程を示すフローチャートである。

符号の説明

１００ 映像表示システム
２００，５００ 光源推定装置
２１０，５１０ 映像入力部
２２０，５２０ 映像検出部
２２１，５２１ 第１計算部
２２２，５２２ 第２計算部
２２３，５２３ 判断部
２３０，５３０ 光源決定部
２３１，５３１ パラメータ計算部
２３２，５３２ 光源推定部
２３３，５３３ 格納部
２３４，５３４ 光源選択部
２３５，５３５ 光源更新部
２３６，５３６ 光源補正部

Claims (20)

1. 入力映像から複数の有効映像を検出するステップと、
   前記各有効映像に含まれるデータに基づいて推定された光源からホワイトバランスのための光源を決定するステップとを含み、
   前記複数の有効映像は、
   以前の映像に比べて場面が転換された映像および前記以前の映像と異なる光源情報を有する映像を含んでいる光源推定方法。
2. 前記有効映像を検出するステップは、
   前記以前の映像と現在の映像において同一位置のピクセル別に輝度値の差を計算するステップと、
   前記計算された各結果の値の絶対値を合算して第１ＳＡＤを計算するステップと、
   前記第１ＳＡＤが予め指定された閾値以上である場合、前記現在の映像を前記有効映像として判断するステップとを含む請求項１に記載の光源推定方法。
3. 前記有効映像を検出するステップは、
   前記以前の映像の平均輝度と前記現在の映像の平均輝度とを一致させるステップと、
   前記以前の映像と前記現在の映像において同一位置のピクセル別に輝度値の差を計算するステップと、
   前記計算された各結果の値の絶対値を合算して第２ＳＡＤを計算するステップと、
   前記第２ＳＡＤが予め指定された閾値以上である場合、前記現在の映像を前記有効映像として判断するステップとを含む請求項１に記載の光源推定方法。
4. 前記ホワイトバランスのための光源を決定するステップは、
   前記各有効映像に含まれるデータに基づいて、前記各有効映像の光源を推定するステップと、
   前記推定された光源の中間値を計算するステップと、
   前記中間値を前記ホワイトバランスのための光源に更新するステップと、
   を含む請求項１に記載の光源推定方法。
5. 前記有効映像を代表するパラメータを計算するステップと、
   前記パラメータが予め指定された判断基準に符合する場合、前記有効映像の光源を選択するステップとをさらに含む請求項４に記載の光源推定方法。
6. 前記パラメータは、
   前記有効映像の輝度分散、色度分散、色度変化率、および無彩色軸の傾きのうち少なくとも１つを含む請求項５に記載の光源推定方法。
7. 前記有効映像を代表するパラメータを計算するステップと、
   前記パラメータが予め指定された判断基準に符合する場合、前記有効映像をグローバル映像として判別するステップと、
   前記グローバル映像の個数が予め指定された閾値以上である場合、前記グローバル映像の光源を選択するステップとをさらに含む請求項４に記載の光源推定方法。
8. 前記パラメータは、
   前記有効映像の輝度分散、色度分散、色度変化率、および無彩色軸の傾きのうち少なくとも１つを含む請求項７に記載の光源推定方法。
9. 前記更新された光源を補正するステップをさらに含む請求項４に記載の光源推定方法。
10. 請求項１に記載の光源推定方法で少なくとも一つの段階を行うためのコンピュータ判読可能コードが記録された媒体。
11. 入力映像から複数の有効映像を検出する映像検出部と、
    前記各有効映像に含まれるデータに基づいて推定された光源からホワイトバランスのための光源を決定する光源決定部とを含み、
    前記複数の有効映像は、
    以前の映像に比べて場面が転換された映像および前記以前の映像と異なる光源情報を有する映像を含んでいる映像表示システム。
12. 前記映像検出部は、
    前記以前の映像と現在の映像において同一位置のピクセル別に輝度値の差を計算し、前記計算された各結果の値の絶対値を合算して第１ＳＡＤ（Ｓｕm ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）を計算する第１計算部と、
    前記第１ＳＡＤが予め指定された閾値以上である場合、前記現在の映像を前記有効映像として判断する判断部とを含む請求項１１に記載の
    映像表示システム。
13. 前記映像検出部は、
    前記以前の映像の平均輝度と前記現在の映像の平均輝度とを一致させた後、前記以前の映像と前記現在の映像において同一位置のピクセル別に輝度値の差を計算した後、前記計算された各結果の値の絶対値を合算して第２ＳＡＤ（Ｓｕm ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）を計算する第２計算部と、
    前記第２ＳＡＤが予め指定された閾値以上である場合、前記現在の映像を前記有効映像として判断する判断部とを含む請求項１１に記載の
    映像表示システム。
14. 前記光源決定部は、
    前記各有効映像に含まれるデータに基づいて、前記各有効映像の光源を推定する光源推定部と、
    前記推定された光源の中間値を計算し、前記中間値を前記ホワイトバランスのための光源に更新する光源更新部とを含む請求項１１に記載の
    映像表示システム。
15. 前記光源決定部は、
    前記有効映像を代表するパラメータが予め指定された判断基準に符合する場合、前記有効映像の光源を選択する光源選択部をさらに含む請求項１４に記載の
    映像表示システム。
16. 前記パラメータは、
    前記有効映像の輝度分散、色度分散、色度変化率、および無彩色軸の傾きのうち少なくとも１つを含む請求項１５に記載の
    映像表示システム。
17. 前記光源決定部は、
    前記有効映像を代表するパラメータが予め指定された判断基準に符合する場合、前記有効映像をグローバル映像として判別し、前記グローバル映像の個数が予め指定された閾値以上である場合、前記グローバル映像の光源を選択する光源選択部をさらに含む請求項１４に記載の
    映像表示システム。
18. 前記パラメータは、
    前記有効映像の輝度分散、色度分散、色度変化率、および無彩色軸の傾きのうち少なくとも１つを含む請求項１７に記載の
    映像表示システム。
19. 前記光源決定部は、
    前記更新された光源を補正する光源補正部をさらに含む請求項１４に記載の映像表示システム。
20. 前記決定されたホワイトバランスのための光源に基づき、ホワイトバランスを行うホワイトバランス装置、および
    前記ホワイトバランス装置の結果を出力する映像出力装置をさらに含む請求項１１に記載の映像表示システム。

Images