JP4056185B2 - カラー映像処理装置及び方法 - Google Patents
カラー映像処理装置及び方法 Download PDFInfo
- Publication number
- JP4056185B2 JP4056185B2 JP29653899A JP29653899A JP4056185B2 JP 4056185 B2 JP4056185 B2 JP 4056185B2 JP 29653899 A JP29653899 A JP 29653899A JP 29653899 A JP29653899 A JP 29653899A JP 4056185 B2 JP4056185 B2 JP 4056185B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- space
- predetermined
- signal
- illumination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Color Image Communication Systems (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
【0001】
本発明は映像処理装置及び方法に係り、特にカラー映像処理装置及び方法に関する。
【従来の技術】
【0002】
カメラのようなカラー映像入力装置を使用して場面を撮影し、撮影された映像データをモニターのような映像出力装置を用いて再現する時や、インターネットからダウンロードした映像データをディスプレーしようとする場合、再現される映像の色を元の場面映像の色と一致させることがカラー映像処理分野で重要な問題である。このような問題を解決するためには、被写体を照射する照明(以下、場面照明と称する)に対する照明色を求めて映像入力装置の基準白色点をそれに一致させることと、再現する映像が有する白色点と再現する映像出力装置のディスプレー色温度との間の光源色処理問題が核心である。
【0003】
しかし、ほとんどのカメラは一つまたは二つの基準照明を使用して全ての回路が調整されるため、基準照明以外の照明下で被写体を撮影する場合、映像出力装置で再現される映像は場面映像と異なる色に示される問題があり、カメラの基準照明と被写体の場面照明との間の照明色または色温度の差が大きいほど再現された映像の色と被写体の元来色との間の色差がさらに大きくなるという問題がある。
【0004】
また、被写体の照明がカメラの基準照明と一致したとしても、カメラによって撮影された映像をディスプレーするモニターの陰極線管色温度と被写体に照射される照明色に差がある場合、その色温度差に該当する程度の色変形を誘発する問題がある。場面映像の色と再現映像の色を一致させるための従来の一般的な方法で、使用者によりモニター上で映像取扱ソフトウェア(例: Adobe社のPhotoshop)でRed、Green、Blue(以下、RGBと称する)または色相、輝度、彩度の三原色の量を調整して映像が変更できる。
【0005】
しかし、熟練者ではなく一般の使用者が二つの映像間の色一致のための最適のRGB比率値を求めるためには長時間と努力が要求される短所があり、特に光源間の不均衡により現れる問題を色相などの調整を通じて克服し難い。二つの映像の色一致に核心になる場面照明の照明色と映像入力装置の白色均衡を一致させる方法がカメラ分野で一部適用されている。
【0006】
このような方法としてはたとえば光学センサーを用いる方法があるが、これは米国特許第4,616,253号と第4,805,010号に示されている。前記資料では、被写体を照射する照明色成分を検出する目的でカメラ装置に光学センサーを内蔵したりまたは独立的な装置として使用して照明から放射される照明色の色座標値を求め、その色座標値をカメラの白色として設定して最適の場面映像を得る。
【0007】
しかし、このような方法は、光検出器を使用する場合、付加的なハードウェアの付着に従う費用負担の外にもハードウェアで直接対応できない遠距離撮影で得られる映像に適用するには問題がある。また、カメラ装置が白色調節できる高級型であるべきという制限が付加される。さらに、予め定義されたカメラではなく他種の映像入力装置から作られたカラー映像は色一致することができないという短所がある。
【0008】
映像入力装置の種類とは関係なく、照明色推定の問題を解決するための従来の方法が米国特許第4,685,071号に示されている。前記方法はカラー映像自体から照明色を検出する。即ち、前記方法は映像から鏡のように反射する光(specularly reflected light=Highlight)を用いて明るさに独立的な色変化を検出するために映像を色度座標を有する色座標空間上に投影し、彩度と色相が最も急に変わる色境界を検出し、彩度の変化による色境界周囲のデータ集合を使用して照明色を検出する。この場合、彩度の変化による境界か、色相の変化による境界かを区別するために色境界の両辺にあるデータ集合を収集して直線近似し、両辺から収集されたデータ集合から求めた直線の傾斜が同じ場合、彩度による境界で決定し、照明色検出のためのデータ集合とし、このような彩度の変化による境界点周囲の多くのデータ集合から得られた直線の交点の経路から照明色として決定する変数を求める。
【0009】
しかし、前記方法は遂行時間が長い短所がある。また各境界点データから両辺のデータ収集が難しいだけでなく、境界点単位で処理することによって多くの境界点から両辺のデータを収集し、直線近似して比較、判断する作業が反復されるべき短所がある。また、色度図上で照明色の計算のためにいくつかの有効なハイライトが存在すべき問題がある。
【0010】
他の従来の方法が米国特許第5,495,428号に示されている。前記方法は照明色のはじめになる直線を探すために映像データを色度空間ヒストグラム上に投影させ、色度空間上で各々のクラスターに対する主軸直線を計算し、直線が収斂する位置の色度値を求める。しかし、前記方法は複雑な境界変化検出方法を使用しないが、その代りに全てのクラスターを対象として計算を遂行することによってやはり長時間がかかり、映像内の物体の色が似ている場合、クラスターの固まり現象が発生して正確性が落ち、また映像内に強いハイライト情報が存在してこそ安全性のある照明色の抽出ができるという短所がある。
【0011】
図8は、映像の生成及び再現過程を示す一般の映像処理システムの構成を示すブロック図である。図8を参照すれば、任意の照明により照射される人間と木がある場面は、例えば色温度5000Kを有する任意の基準照明で設定されたカメラで撮影でき、また例えば色温度7500Kを有するさらに他の任意の基準照明で設定されたカメラにより撮影できる。また、例えば銀塩写真の形態に印画された映像が、例えば色温度2800Kの固有の照明設定を有するイメージスキャナーにより読取られる場合もある。また、入力映像は映像入力装置が定義できないインターネット上でダウンロードされた映像である場合もある。上記の方法により得られた映像データは、コンピュータまたは映像処理装置により任意の映像出力装置でディスプレーされる。この場合、モニターもその色温度設定が異なったりする。即ち、場面映像は一つであるが、映像入力装置との照明色の差によって、そして任意の光源を有する映像データとモニターのディスプレー色温度差によりいろいろな他の色を有する多くの映像が現れる。
【発明が解決しようとする課題】
【0012】
本発明が達成しようとする技術的課題は、映像の構成要素、映像入力装置種類とは関係なくて安定的に場面映像と再現映像の色を一致させうるカラー映像処理装置を提供することである。本発明が達成しようとする他の技術的な課題は、前記カラー映像処理装置内で具現されるカラー映像処理方法を提供することである。
【課題を解決するための手段】
【0013】
前記課題を達成するために、本発明によるカラー映像処理装置は、映像入力装置から出力される第1RGB信号を入力し、映像処理を遂行してディスプレー手段に出力するカラー映像処理装置において、入力されたRGB信号を相異なる所定の複数のN個の照明色を使用してRGB空間上の信号を所定の色空間上の信号に光源変換する手段と、所定の色空間上の信号を、ディスプレー手段に対する所定の複数のM個の色温度を使用してRGB空間上に光源変換する手段とを含み、N×M個の映像信号を生成し、出力することを特徴とする。
【0014】
また、入力されたRGB信号をバッファリングして出力する第1フレームメモリ手段と、
前記第1フレームメモリ手段から出力されたRGB信号を入力してダウンサンプリングすることによってRGB信号を出力する映像サンプリング部と、ダウンサンプリングされたRGB信号を相異なる所定のN個の照明色を用いて光源変換を遂行し、出力装置の色温度を以って光源変換を遂行して光源変換されたRGB信号を出力する色変換部と、光源変換されたRGB信号をバッファリングして出力する第2フレームメモリ手段とをさらに含むことを特徴とする。
【0015】
また、前記色変換部は、所定のN個の照明色を用いてRGB空間上の信号を所定の色空間上の信号に光源変換する行列を計算する並列接続されたN個の行列演算器を具備する第1演算部を含むことが望ましい。
【0016】
また、前記色変換部は、ディスプレー手段に対する所定のM個の色温度を使用して所定の色空間上の信号をRGB空間上の信号に光源変換するための行列を計算する並列接続されたM個の行列演算器を具備する第2演算部をさらに含むことが望ましい。
【0017】
また、前記色変換部は、所定のN個の照明色を使用してRGB空間上の信号を所定の色空間上の信号に光源変換する行列に関する情報を貯蔵し、所定の第1制御信号に応答して前記情報を出力する第1メモリ、及び前記第1メモリから出力された前記情報に従って行列演算を遂行する第1行列演算部を具備する第1演算部を含むことが望ましい。
【0018】
また、前記色変換部は、所定の色空間上の信号を、ディスプレー手段に対する所定のM個の色温度を使用してRGB空間上に光源変換する行列に関する情報を貯蔵し、所定の第2制御信号に応答して前記情報を供給する第2メモリ、及び前記第2メモリから出力された前記情報に従って行列演算を遂行する第2行列演算部を具備する第2演算部をさらに含むことが望ましい。
【0019】
また、前記所定の色空間は標準色空間であることが望ましい。また、前記所定の色空間は、変換された信号の大きさが以前のRGB信号の大きさと線形的な関係を有する色空間であることがさらに望ましい。代案として、前記所定の色空間は、CIEXYZ、CIEUVW色空間、又はuv色度座標空間、若しくはY、R-Y、B-Y座標を適用した色空間よりなる、国際照明委員会が勧告する標準色空間群の中で選択されたことでもよい。また、前記色変換部の所定のN個の照明色は、人間の視覚で区別し易い差を持って日常で頻繁に用いられる2800K、4300K、5000K、5500K、6500K、又は7500Kの色温度を含む群から少なくとも一つ以上を含むことが望ましい。
【0020】
また、前記色変換部は、照明の色温度を知っている場合には
【0021】
【数2】
を使用して光源変換を遂行することが望ましい。
【0022】
前記他の課題を達成するために、本発明によるカラー映像処理方法は、映像入力装置から出力されるRGB空間上の信号を映像処理してディスプレー手段に出力するカラー映像処理方法において、(a-1)所定の複数のN個の照明色を使用してRGB空間上の信号を所定の色空間上の信号に光源変換する段階と、(a-2)所定の色空間上の信号をディスプレー手段に対する所定の複数のM個の色温度を使用してRGB空間上に光源変換し、N×M個の映像信号を生成する段階と、(b)光源変換されたN×M個の映像信号をディスプレー手段に映像として示す段階と、(c)ディスプレー手段に示されたN×M個の映像の中で視感的に最適の映像を選択する段階と、(d)(c)段階で選択した映像に当る照明色を最適照明色として選択する段階とを含むことを特徴とする。
【0023】
また、前記(a)段階の所定のN個の照明色は、人間の視覚で区別し易い差を持って日常で頻繁に用いられる、概略2800K、4300K、5000K、5500K、6500K、又は7500Kの色温度よりなる群から選択された少なくとも一つ以上の照明色を含むことが望ましい。また、前記(a)段階で前記所定の色空間は、変換された信号の大きさが以前のRGB信号の大きさと線形的な関係を有する色空間であることが望ましい。代案として、前記(a)段階で前記所定の色空間は、CIEXYZ、CIEUVW色空間、又はuv色度座標空間、若しくはY、R-Y、B-Y座標を適用した色空間よりなる、国際照明委員会が勧告する標準色空間群の中で選択されたことが望ましい。
【発明の実施の形態】
【0024】
以下、添付した図面を参照して本発明に係る望ましい実施例を説明する。図1には、本発明の実施例に係るカラー映像処理装置の主要部分に対する構成を示した。
【0025】
図1を参照すれば、本発明によるカラー映像処理装置20は、第1フレームメモリ202、映像サンプリング部204、色変換部206、及び第2フレームメモリ208を具備する。
【0026】
このようなカラー映像処理装置20の動作を説明すれば、先に、第1フレームメモリ202は、入力された三原色の第1RGB信号Rin、Gin、Binをバッファリングして出力する。映像サンプリング部204は、前記第1フレームメモリ202から出力された第1RGB信号を入力してダウンサンプリングすることによって第2RGB信号を出力する。
【0027】
例えば、入力された第1RGB信号の映像空間解像度が640(幅)×480(高さ)で、カラーモニター210の空間解像度が1280(幅)×1024(高さ)とし、6または18個の比較映像をカラーモニター210上にディスプレーすれば、映像サンプリング部204のダウンサンプリング比は、前記空間解像度を考慮してマイコン(図示せず)からの制御信号Cont#addr#Aに従って決定される。言い換えれば、映像サンプリング部204は入力された映像の空間解像度を出力装置に合うように変換して色変換部206に出力する。映像サンプリング部204はまた、場合によってマイコンの制御下でダウンサンプリングを遂行せずに映像を通過させる機能を遂行することもできる。
【0028】
色変換部206は、ダウンサンプリングされて出力された第2RGB信号を後述される方法で選択された6個の代表照明色を使用して光源変換し、光源変換された信号をカラーモニター210に対する3つの代表色温度を使用して第3RGB信号で光源変換を遂行する。第2フレームメモリ208はマイコンからの第2制御信号Cont#addr#Bに応答して変換された第3RGB信号を順次に貯蔵してカラーモニター210に出力する。図2には色変換部206の詳細な構成を示した。
【0029】
図2を参照すれば、色変換部206は第1演算部32と第2演算部34とを具備する。第1演算部32は6個の行列演算器321、322、323、324、325、326を具備する。行列演算器321、322、323、324、325、326は並列に接続される。第2演算部34は3個の行列演算器341、342、343を具備する。行列演算器341、342、343は並列に接続される。
【0030】
6個の行列演算器321、322、323、324、325、326は各々異なる6個の代表照明色を使用して入力されたRGB空間上の信号をXYZ空間上の信号に光源変換する行列を各々計算する。3個の行列演算器341、342、343はディスプレー手段の各々異なる3個の色温度を使用してXYZ空間上の信号をRGB空間上の信号に変換する行列を各々計算する。
【0031】
行列演算器321、322、323、324、325、326と行列演算器341、342、343は、マイクロコンピュータ(図示せず)からの制御信号(Cont)に応答して行列演算を遂行する。行列演算器321、322、323、324、325、326は入力されたRGB空間上の信号をXYZ空間上の信号に光源変換するための行列演算を遂行する時、6個の照明色に該当する相異なる行列係数値を使用する。
【0032】
また、各行列演算器341、342、343は、入力されたXYZ空間上の信号をRGB空間上の信号に光源変換するための行列演算を遂行する時、3個の色温度に該当する相異なる行列係数値を使用する。結果的に、ディスプレー上には6個の照明色と3個のディスプレーに対する色温度を組合した総18個の映像がディスプレーされる。使用者は18個の映像中で視覚的に適合した映像を選択する。
【0033】
これにより、該当映像を光源変換するのに使われた場面映像の照明色とディスプレー手段の色温度が最適照明色及び色温度として決定される。以上、本発明によるカラー映像処理装置の色変換部206では、RGB色空間とCIEXYZ色空間との間の光源変換を遂行することを例として説明した。
【0034】
しかし、これに限定されず、色変換部206が入力されたRGB空間上の信号を所定の色空間上の信号に変換するとする時、前記所定の色空間は国際照明委員会が勧告する他の標準色空間でありうる。前記所定の色空間は、変換された色空間上の信号の大きさが変換前のRGB空間上の信号の大きさと線形的な関係を有することができる色空間であることがさらに望ましい。このような色空間としてCIEUVW色空間がある。
【0035】
また、前記所定の色空間は、カラー映像分野の産業で広く用いられるY、R-Y、B-Y座標を適用した色空間でありうる。代案として、前記色変換部は必要によってRGB空間とrg色度座標空間との間の光源変換を遂行することもできる。一方、各行列別に一つずつの行列演算器を使用して計算するように具現することは望ましくない。
【0036】
図3には色変換部206の実際的な構成の一例を示した。図3を参照すれば、色変換部206は第1演算部42と第2演算部44を具備する。
【0037】
第1演算部42は第1メモリ422と第1行列演算部424を具備する。動作を説明すれば、第1行列演算部424に必要な代表照明色別行列係数はマイコン制御信号Cont#Cに応答して第1メモリ422からダウンロードされて設定され、第2行列演算部444に必要な代表照明色別行列係数はマイコン制御信号Cont#Dに応答して第2メモリ442からダウンロードされて設定される。これにより、第1行列演算部42はRGBからXYZへの信号変換を、第2行列演算部44はXYZからRGBへの信号変換を遂行する。
【0038】
次に、どのように代表照明を選択し、光源変換を遂行するかに対して詳細に説明する。
【0039】
人間の目は照明変化に従う被写体の色変化に鈍感な色恒常性(Color Constancy)を有するということは一般的に知られた理論である。反面、カメラのようなカラー映像入力装置の場合は、被写体を照射する照明の分光スペクトル(以下、照明色)に従って三刺激値間の比率が大きく変わる。映像で色の表現は:
【0040】
【数3】
のようにRGBまたはCIEXYZ(以下、XYZ)のような三刺激値で表現される。
【0041】
即ち、物体表面の分光反射度S(λ)と物体を照射する照明の分光スペクトルE(λ)、及びカメラなどのセンサー分光特性rk(λ)の掛け算の和で表現される。従って、数式2の照明色のような照明要素は再現色に影響を及ぼす主要要素として作用される。
【0042】
図4には、本発明の実施例に係るカラー映像処理装置に適用した代表照明のスペクトル分布を示した。図4を参照すれば、本発明の実施例に係るカラー映像処理装置に使われた照明は、周辺で主に用いられる、例えば2800Kの色温度を有する白熱灯、4300Kの色温度を有する蛍光灯、並びに各々5000K、5500K、6500K、及び7500Kの色温度を有する4種の太陽光で総6種類である。
【0043】
図5には、前記代表照明の色温度を色度図で示した。図5を参照すれば、このような6種類の照明色は色座標上で相異なる位置にあることが分かり、これは照明の色成分が相異なることを意味する。
【0044】
【表1】
表1には、場面照明として用いられる6種の照明に対する代表的な色温度対XYZ&xy座標値の関係を示した。
【0045】
例えば、色温度2800Kの白熱灯と色温度7500Kの太陽光熱でXYZ値を比較すれば、X値は10%以上、Z値は70%以上の差があることが分かる。一方、RGB信号をXYZ信号に変換するためには、RGB三原色のXYZ値と照明のXYZ値で計算された伝達関数行列Aが定義されるべきである。
【0046】
【数4】
RGB三原色のXYZ値は、カメラあるいはイメージスキャナーごとに固有なフィルターの設計があるので値は各々若干異なる場合があるが、XYZ分光感度と類似の分光感度を有するフィルターを設計することが望ましいので、例えば現在業界標準のCCIR 601あるいはCCIR 709のRGB三原色の中で一つを使用することが望ましい。
【0047】
【表2】
表2で白色光(white)は、照明色であって場面照明を意味し、場面の照明色は変化が多くてまた変化量も大きい場合があるので数式2が定義できない。
【0048】
しかし、ほとんどの照明色は本発明で使用した6個の代表照明色中いずれか一つで定義できる。この照明色の個数は必要によって増加または減少させうる。2800Kの色温度を有する白熱灯を照明として使用した場合、数式4は数式5のように示すことができる。
【0049】
【数5】
数式5は再び数式6及び数式7のように変換できる。
【0050】
【数6】
【0051】
【数7】
また、類似に、4300Kの色温度を有する蛍光灯、並びに各々5000K、5500K、6500K、及び7500Kの色温度を有する4種の太陽光熱を照明として使用した場合、数式4は数式8のように示すことができる。
【0052】
【数8】
図6には、本発明の実施例に係るカラー映像処理装置に適用したモニター色温度を色度図に示した。図6を参照すれば、モニターで広く使われる3種の色温度(5000K、6500K、9300K)がXY色度座標上に示されている。
【0053】
【表3】
表3には、モニターで用いられる代表的な色温度対XYZ&xyの関係を示した。即ち、3個の色温度を有するモニターに対してXYZ三刺激値とxy色度座標値を示した。
【0054】
表3のように色温度5000Kと9300Kを比較すればX軸で色温度間の差は小さいものの、Z軸の場合には大きい差があることが分かる。XYZ空間上の信号をRGB空間上の信号に光源変換する過程は、数式7のように行列式で示すことができる。数式9の行列式で、ディスプレー手段の各々異なる3個の色温度(5000K、6500K、9300K)が行列係数を決定するのに使用される。
【0055】
【数9】
以上のような方法によってモニターの色温度と照明色に従って総18個の映像がモニター上に同時にまたは順次にディスプレーされる。使用者はこの映像の中で場面映像と類似の色分布を有する映像を選択することによって最適照明色とディスプレー色温度を決定して、場面映像と再現映像との間の色一致が達成できる。
【0056】
前述した本発明に係るカラー映像処理装置で具現されるカラー映像処理方法の主要段階を図7に示した。
【0057】
図7を参照すれば、本発明に係るカラー映像処理方法は、先に被写体を照射する代表照明色を選定する(段階802)。本実施例では2800K、4300K、5000K、5500K、6500K、7500Kの色温度に該当する照明色が代表照明色として選択された。
このような代表照明色は人間の視覚によって容易に区別できる差を持って日常で頻繁に使われることが望ましい。これよりさらに細分化した照明色を使用することもできるが、この場合は視覚的に区別することにおいてより細心な注意が要求される。
【0058】
次に、モニターの色温度を知っているかどうかを決定する(段階806)。段階806でモニターの色温度を知らないことと決定された場合には、所定の3個の色温度をモニターの代表色温度と設定する(段階808)。
【0059】
本実施例では5000K、6500K、及び9300Kの3種の色温度を代表色温度と設定する。反面に、段階806でモニターの色温度を知っていることと決定された場合には、知っている色温度を代表色温度と設定する(段階810)。
【0060】
ここで、XYZ三刺激値またはxy色度座標値を示すための色空間としては、CCIR601が使われうる。さて、段階802で選択された各代表照明色を使用してRGB-XYZ光源変換行列係数を計算する(段階820)。次に、前記行列係数を使用してRGB-XYZ光源変換を遂行する(段階822)。また、選択された各代表色温度を使用してXYZ-RGB光源変換行列係数を計算する(段階824)。
【0061】
次に、前記行列係数を使用してXYZ-RGB光源変換を遂行する(段階826)。
【0062】
次に、光源変換された複数の映像をモニター上にディスプレー(段階828)し、使用者は視感的に場面映像と最も類似の映像または使用者が最も好む映像を選択する(段階830)。即ち、モニターの色温度種類と場面の照明色に従って総18個の映像がモニター上に同時にまたは順次にディスプレーされ、使用者はこの映像の中で場面映像と類似の色分布を有する映像を選択することによって場面映像と再現映像との間の色一致を達成するための最適照明色とディスプレー色温度が決定される。
【0063】
以上で説明した光源変換過程を一つの式で簡略化して示すと、
【0064】
【数10】
と同じである。
【0065】
ここで、WSは場面照明色、WRは再現用基準照明色、WDはモニターの色温度を示す。即ち、場面映像と再現映像との間の色一致映像が選択されれば、この三個の白色点(照明色または色温度)に対する変数も決定されるので、場面に照射される照明色WSが抽出される。以上の実施例のように、周辺でよく使われる照明色を代表照明色として使用することが望ましい。
【0066】
しかし、代案として、照明の色温度Tcが知られた場合、下記のように照明色温度Tc対標準色空間(色度値xy)間の変換公式を用いて代表照明色の範囲と間隔を調節して使用することができる。
【0067】
【数11】
【発明の効果】
【0068】
前述したように本発明によれば、場面で被写体を照射する照明(場面照明)の照明色と映像出力装置のディスプレー色温度に対する推定のために、多様な照明色を有する照明を使用して光源変換を遂行し、これを通じて作られた映像を使用者が選択するようにすることによって、使用者が光源を知らない場合にも自然なカラー映像または好みの色の映像が得られる。
【0069】
またこのような過程を通じて撮影された映像における場面照明に対する情報も得られる長所がある。これにより、本発明は従来技術の問題点の場面映像で光源の種類、映像出力装置の色温度設定状態、ハードウェアの複雑度、映像の構成要素の制限、または映像の複雑度などに関係なく、正確性と安全性の側面でさらに効果的な方法が提供でき、方法の具現はハードウェアまたはソフトウェアで具現できる。従って本発明は、映像処理システム、カラーカメラ、カラーイメージングソフトウェアなどに広く適用できる。
【0070】
前述したように、本発明に係るカラー映像処理装置は、場面で被写体を照射する照明の照明色と、映像出力装置のディスプレー色温度に対する推定のために多様な色温度を有する照明を使用して光源変換を遂行し、使用者がこれを通じて作られた映像が選択できるようにすることによって、光源に対する情報がなくても自然なカラー映像または好みの色の映像が得られる。
【図面の簡単な説明】
【図1】本発明の実施例に係るカラー映像処理装置の構成を示すブロック図である。
【図2】図1の装置の色変換部の構成例を示すブロック図である。
【図3】図1の装置の色変換部の他の構成例を示すブロック図である。
【図4】本発明の実施例に係るカラー映像処理装置に適用した代表照明に対するスペクトル分布図である。
【図5】本発明の実施例に係るカラー映像処理装置に適用した代表照明の色温度を示す色度図グラフである。
【図6】本発明の実施例に係るカラー映像処理装置に適用したモニター色温度を示す色度図グラフである。
【図7】本発明の実施例に係るカラー映像処理方法の主要段階を示すフローチャートである。
【図8】映像の生成及び再現過程を示す一般の映像処理システムの構成を示すブロック図である。
【符号の説明】
20 カラー映像処理装置
202 第1フレームメモリ
204 映像サンプリング部
206 色変換部
208 第2フレームメモリ
210 カラーモニター
Claims (15)
- 映像入力装置から出力される第1RGB信号を入力し、映像処理を遂行してディスプレー手段に出力するカラー映像処理装置において、
入力されたRGB信号を相異なる所定の複数のN個の照明色を使用してRGB空間上の信号を所定の色空間上の信号に光源変換する手段と、
所定の色空間上の信号を、ディスプレー手段に対する所定の複数のM個の色温度を使用してRGB空間上に光源変換する手段とを含み、
N × M 個の映像信号を生成し、出力することを特徴とするカラー映像処理装置。 - 入力されたRGB信号をバッファリングして出力する第1フレームメモリ手段と、
前記第1フレームメモリ手段から出力されたRGB信号を入力してダウンサンプリングすることによってRGB信号を出力する映像サンプリング部と、
ダウンサンプリングされたRGB信号を相異なる所定のN個の照明色を用いて光源変換を遂行し、出力装置の色温度を以って光源変換を遂行して光源変換されたRGB信号を出力する色変換部と、
光源変換されたRGB信号をバッファリングして出力する第2フレームメモリ手段とをさらに含むことを特徴とする請求項1に記載のカラー映像処理装置。 - 前記色変換部は、所定のN個の照明色を用いてRGB空間上の信号を所定の色空間上の信号に光源変換する行列を計算する並列接続されたN個の行列演算器を具備する第1演算部を含むことを特徴とする請求項1に記載のカラー映像処理装置。
- 前記色変換部は、ディスプレー手段に対する所定のM個の色温度を使用して所定の色空間上の信号をRGB空間上の信号に光源変換するための行列を計算する並列接続されたM個の行列演算器を具備する第2演算部をさらに含むことを特徴とする請求項3に記載のカラー映像処理装置。
- 前記色変換部は、所定のN個の照明色を使用してRGB空間上の信号を所定の色空間上の信号に光源変換する行列に関する情報を貯蔵し、所定の第1制御信号に応答して前記情報を出力する第1メモリ、及び前記第1メモリから出力された前記情報に従って行列演算を遂行する第1行列演算部を具備する第1演算部を含むことを特徴とする請求項1に記載のカラー映像処理装置。
- 前記色変換部は、所定の色空間上の信号を、ディスプレー手段に対する所定のM個の色温度を使用してRGB空間上に光源変換する行列に関する情報を貯蔵し、所定の第2制御信号に応答して前記情報を供給する第2メモリ、及び前記第2メモリから出力された前記情報に従って行列演算を遂行する第2行列演算部を具備する第2演算部をさらに含むことを特徴とする請求項5に記載のカラー映像処理装置。
- 前記所定の色空間は、標準色空間であることを特徴とする請求項3乃至請求項6中いずれか一つに記載のカラー映像処理装置。
- 前記所定の色空間は、変換された信号の大きさが以前のRGB信号の大きさと線形的な関係を有する色空間であることを特徴とする請求項3乃至請求項6中いずれか一つに記載のカラー映像処理装置。
- 前記所定の色空間は、CIEXYZ、CIEUVW色空間、又はuv色度座標空間、若しくはY、R-Y、B-Y座標を適用した色空間よりなる、国際照明委員会が勧告する標準色空間群の中で選択されたことを特徴とする請求項3乃至請求項6中いずれか一つに記載のカラー映像処理装置。
- 前記色変換部の所定のN個の照明色は、人間の視覚で区別し易い差を持って日常で頻繁に用いられる2800K、4300K、5000K、5500K、6500K、又は7500Kの色温度を含む群から少なくとも一つ以上を含むことを特徴とする請求項1に記載のカラー映像処理装置。
- 映像入力装置から出力されるRGB空間上の信号を映像処理してディスプレー手段に出力するカラー映像処理方法において、
(a- 1 ) 所定の複数の N 個の照明色を使用して RGB 空間上の信号を所定の色空間上の信号に光源変換する段階と、
(a- 2 ) 所定の色空間上の信号をディスプレー手段に対する所定の複数の M 個の色温度を使用して RGB 空間上に光源変換し、 N × M 個の映像信号を生成する段階と、
(b)光源変換されたN×M個の映像信号をディスプレー手段に映像として示す段階と、
(c)ディスプレー手段に示されたN×M個の映像の中で視感的に最適の映像を選択する段階と、
(d)(c)段階で選択した映像に当る照明色を最適照明色として選択する段階とを含むことを特徴とするカラー映像処理方法。 - 前記(a)段階の所定のN個の照明色は、人間の視覚で区別し易い差を持って日常で頻繁に用いられる、約2800K、4300K、5000K、5500K、6500K、又は7500Kの色温度よりなる群から選択された少なくとも一つ以上の照明色を含むことを特徴とする請求項12に記載のカラー映像処理方法。
- 前記(a)段階で前記所定の色空間は、変換された信号の大きさが以前のRGB信号の大きさと線形的な関係を有する色空間であることを特徴とする請求項12に記載のカラー映像処理方法。
- 前記(a)段階で前記所定の色空間は、CIEXYZ、CIEUVW色空間、又はuv色度座標空間、若しくはY、R-Y、B-Y座標を適用した色空間よりなる、国際照明委員会が勧告する標準色空間群の中で選択されたことを特徴とする請求項14に記載のカラー映像処理方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019980044351A KR100278642B1 (ko) | 1998-10-22 | 1998-10-22 | 칼라 영상 처리장치 및 방법 |
KR98-044351 | 1998-10-22 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000138948A JP2000138948A (ja) | 2000-05-16 |
JP4056185B2 true JP4056185B2 (ja) | 2008-03-05 |
Family
ID=19555000
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP29653899A Expired - Fee Related JP4056185B2 (ja) | 1998-10-22 | 1999-10-19 | カラー映像処理装置及び方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US6639628B1 (ja) |
JP (1) | JP4056185B2 (ja) |
KR (1) | KR100278642B1 (ja) |
Families Citing this family (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4212165B2 (ja) * | 1998-11-13 | 2009-01-21 | オリンパス株式会社 | 色再現システム |
KR100513759B1 (ko) * | 2001-11-28 | 2005-09-09 | 삼성전자주식회사 | 다원색 디스플레이의 색신호 처리장치 및 처리방법 |
JP2004080402A (ja) * | 2002-08-19 | 2004-03-11 | Nec Viewtechnology Ltd | ダイナミックホワイトバランス調整回路及びマルチ画面表示装置 |
US7352894B2 (en) * | 2003-09-30 | 2008-04-01 | Sharp Laboratories Of America, Inc. | Systems and methods for illuminant estimation |
US7636473B2 (en) * | 2004-03-12 | 2009-12-22 | Seiko Epson Corporation | Image color adjustment |
JP2005260693A (ja) * | 2004-03-12 | 2005-09-22 | Seiko Epson Corp | 照明光源に応じた座標変換を施して画像を再生する画像再生方法 |
WO2005101853A1 (ja) * | 2004-04-05 | 2005-10-27 | Mitsubishi Denki Kabushiki Kaisha | 撮像装置 |
US7119838B2 (en) * | 2004-08-19 | 2006-10-10 | Blue Marlin Llc | Method and imager for detecting the location of objects |
US8907975B1 (en) * | 2005-12-13 | 2014-12-09 | Nvidia Corporation | Sampled digital video communication system and method |
US7808531B2 (en) * | 2005-12-14 | 2010-10-05 | Samsung Electronics Co., Ltd. | Method and apparatus for auto white controlling |
JP4791233B2 (ja) | 2006-04-10 | 2011-10-12 | 三菱電機株式会社 | 画像処理装置、画像処理方法、画像出力装置、画像処理システム |
TWI332191B (en) * | 2006-09-28 | 2010-10-21 | Wistron Corp | Method and apparatus of looking for new color temperature point |
CN101193229B (zh) * | 2006-11-21 | 2011-01-12 | 深圳Tcl新技术有限公司 | 一种电视功能界面换肤的方法及系统 |
US7940423B2 (en) * | 2007-11-30 | 2011-05-10 | Canon Kabushiki Kaisha | Generating a device independent interim connection space for spectral data |
WO2009143717A1 (zh) * | 2008-05-28 | 2009-12-03 | 北京中视中科光电技术有限公司 | 一种色域扩展系统及方法 |
US8644565B2 (en) * | 2008-07-23 | 2014-02-04 | Indiana University Research And Technology Corp. | System and method for non-cooperative iris image acquisition |
KR20100131232A (ko) * | 2009-06-05 | 2010-12-15 | 삼성모바일디스플레이주식회사 | 표시 장치 및 그 구동 방법 |
US8605167B2 (en) * | 2010-09-01 | 2013-12-10 | Apple Inc. | Flexible color space selection for auto-white balance processing |
US8861850B2 (en) * | 2012-01-31 | 2014-10-14 | Apple Inc. | Digital image color correction |
US8872946B2 (en) | 2012-05-31 | 2014-10-28 | Apple Inc. | Systems and methods for raw image processing |
US9077943B2 (en) | 2012-05-31 | 2015-07-07 | Apple Inc. | Local image statistics collection |
US9031319B2 (en) | 2012-05-31 | 2015-05-12 | Apple Inc. | Systems and methods for luma sharpening |
US8917336B2 (en) | 2012-05-31 | 2014-12-23 | Apple Inc. | Image signal processing involving geometric distortion correction |
US8953882B2 (en) | 2012-05-31 | 2015-02-10 | Apple Inc. | Systems and methods for determining noise statistics of image data |
US8817120B2 (en) | 2012-05-31 | 2014-08-26 | Apple Inc. | Systems and methods for collecting fixed pattern noise statistics of image data |
US9025867B2 (en) | 2012-05-31 | 2015-05-05 | Apple Inc. | Systems and methods for YCC image processing |
US9014504B2 (en) | 2012-05-31 | 2015-04-21 | Apple Inc. | Systems and methods for highlight recovery in an image signal processor |
US9332239B2 (en) | 2012-05-31 | 2016-05-03 | Apple Inc. | Systems and methods for RGB image processing |
US9105078B2 (en) | 2012-05-31 | 2015-08-11 | Apple Inc. | Systems and methods for local tone mapping |
US9743057B2 (en) | 2012-05-31 | 2017-08-22 | Apple Inc. | Systems and methods for lens shading correction |
US11089247B2 (en) | 2012-05-31 | 2021-08-10 | Apple Inc. | Systems and method for reducing fixed pattern noise in image data |
US9142012B2 (en) | 2012-05-31 | 2015-09-22 | Apple Inc. | Systems and methods for chroma noise reduction |
KR20140133272A (ko) | 2013-05-10 | 2014-11-19 | 삼성디스플레이 주식회사 | 영상 처리 장치 및 영상 처리 방법 |
CN103399767A (zh) * | 2013-07-31 | 2013-11-20 | 深圳创维数字技术股份有限公司 | 一种界面换肤方法及装置 |
JP6590476B2 (ja) * | 2014-10-28 | 2019-10-16 | キヤノン株式会社 | 画像表示装置 |
CN108182923B (zh) * | 2018-01-02 | 2020-06-05 | 京东方科技集团股份有限公司 | 在显示装置上显示图像的方法、显示装置和电子设备 |
US10748304B2 (en) * | 2018-03-08 | 2020-08-18 | Datacolor Inc. | Color search using a smartphone and a reference color chart |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS58210782A (ja) | 1982-06-02 | 1983-12-08 | Nippon Kogaku Kk <Nikon> | カラ−テレビジヨンカメラ |
US4685071A (en) | 1985-03-18 | 1987-08-04 | Eastman Kodak Company | Method for determining the color of a scene illuminant from a color image |
US4805010A (en) | 1987-05-29 | 1989-02-14 | Eastman Kodak Company | Still video camera with common circuit for color balance and exposure control |
JPH06165189A (ja) * | 1992-11-25 | 1994-06-10 | Nikon Corp | ホワイトバランス調整装置 |
US5495428A (en) | 1993-08-31 | 1996-02-27 | Eastman Kodak Company | Method for determining color of an illuminant in an image based on histogram data |
JPH07203256A (ja) * | 1993-12-28 | 1995-08-04 | Canon Inc | カメラのファインダー装置 |
JPH07301842A (ja) * | 1994-05-02 | 1995-11-14 | Asahi Optical Co Ltd | 電子スチルカメラ |
KR0150056B1 (ko) * | 1994-08-12 | 1998-12-01 | 이대원 | 색보정 기능을 가지는 카메라 |
KR0176825B1 (ko) * | 1995-08-16 | 1999-05-01 | 구자홍 | 티브이의 영상 모드 선택 방법 및 그 장치 |
US5805213A (en) * | 1995-12-08 | 1998-09-08 | Eastman Kodak Company | Method and apparatus for color-correcting multi-channel signals of a digital camera |
US5956015A (en) * | 1995-12-18 | 1999-09-21 | Ricoh Company, Ltd. | Method and system for correcting color display based upon ambient light |
US5668596A (en) * | 1996-02-29 | 1997-09-16 | Eastman Kodak Company | Digital imaging device optimized for color performance |
JP3661817B2 (ja) * | 1996-09-03 | 2005-06-22 | ソニー株式会社 | 色補正装置、色補正制御装置および色補正システム |
JP3624604B2 (ja) * | 1996-12-28 | 2005-03-02 | 株式会社ニコン | 撮像装置の色再現補正装置および補正方法 |
US5920358A (en) * | 1997-01-30 | 1999-07-06 | Fuji Photo Film Co., Ltd. | Method of transforming colors of image |
-
1998
- 1998-10-22 KR KR1019980044351A patent/KR100278642B1/ko not_active IP Right Cessation
-
1999
- 1999-10-19 JP JP29653899A patent/JP4056185B2/ja not_active Expired - Fee Related
- 1999-10-22 US US09/425,674 patent/US6639628B1/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
KR100278642B1 (ko) | 2001-01-15 |
KR20000026693A (ko) | 2000-05-15 |
US6639628B1 (en) | 2003-10-28 |
JP2000138948A (ja) | 2000-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4056185B2 (ja) | カラー映像処理装置及び方法 | |
JP4266461B2 (ja) | カラー照明色温度の検出方法及び該装置 | |
US7098944B1 (en) | Image processing apparatus and method | |
JP3129502B2 (ja) | 測色方法及びその装置 | |
US6594384B1 (en) | Apparatus and method for estimating and converting illuminant chromaticity using perceived illumination and highlight | |
KR100441595B1 (ko) | 색온도 변환장치 및 방법 | |
Finlayson et al. | Hue that is invariant to brightness and gamma. | |
JPH09214787A (ja) | 画像処理装置及び方法 | |
JP2007300253A (ja) | 撮像装置およびその光源推定装置 | |
CN113194303A (zh) | 图像白平衡方法、装置、电子设备和计算机可读存储介质 | |
EP1808680A2 (en) | Measuring method and apparatus using color images | |
US9105105B2 (en) | Imaging device, imaging system, and imaging method utilizing white balance correction | |
JP2978615B2 (ja) | カラーバランス調整装置及び方法 | |
JP2008526075A (ja) | 自動ホワイトバランス制御 | |
US6507667B1 (en) | Color digital imaging apparatus having a rule-based hue-shift processor | |
CN114930381A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
KR20160098540A (ko) | 컬러 테이블 생성 장치, 카메라 영상 보정/제어 장치 및 그 방법 | |
JPH11205812A (ja) | 白バランス制御方法及び装置 | |
JP7520586B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2006054679A (ja) | ホワイトバランス装置及びそのプログラム | |
JP7309415B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
KR100581526B1 (ko) | 광원변화에 따라 백색 보정을 하는 디지털 카메라 | |
GB2377755A (en) | Colour temperature calculation | |
JPH0766986A (ja) | カラーバランス調整装置および調整方法 | |
KR100207985B1 (ko) | Cie 표색계를 이용한 화이트 밸런스 조정 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051012 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20061101 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20061107 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070629 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070717 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071017 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071113 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071211 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101221 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |