JP3128119U - 映像補償装置 - Google Patents

Abstract

【課題】ＡＷＢ技術と合わせて用いることにより撮った映像が本当の映像により近くなる映像補償装置を提供する。
【解決手段】オリジナル映像の画素点に対して色域転換操作を実行して、前記画素点の第１映像を転換して色域平面に対応する第２映像信号値とする。前記色域平面上にはスキンカラー軸があり且つ前記スキンカラー軸の両側には第１スキンカラー補償区域と第２スキンカラー補償区域がある。前記第２映像信号値に対し数学とロジック演算を実行することによって前記画素点の位置を判断する。前記画素点が第１スキンカラー補償区域或いは第２スキンカラー補償区域内位置している時、前記第２映像信号値に対し補償操作を実行することにより、前記画素点をスキンカラー軸に接近させ、前記画素点の色彩をスキンカラーにより近付ける。
【選択図】図５

Description

本発明は映像補償装置に関するもので、特にオートホワイトバランス（ＡＷＢ）機能に合わせたスキンカラー補償装置に関するものである。

一般の撮影デバイスがＣＣＤレンズにより映像情報を取得する時、其の得られた映像画素の赤、緑、青の色度値は環境光源の色温度の違いによる影響により色ずれが生じる。例えば、白色物は光源の色温度が低い場合、取得される映像は、赤、黄の色調に傾き、光源色温度が高い場合は青、緑の色調に傾く映像の色の歪みを生じさせてしまう。

既存の撮影デバイス（例えば、デジタルカメラ）はほとんどがオートフォーカス（ＡＦ）、オート露光（ＡＥ）やオートホワイトバランス（ＡＷＢ）等の機能を備えているので、取得した映像効果を実際の映像により近づけることができ、其の中でオートホワイトバランス（ＡＷＢ）機能は光線の組み合わせを自動修正することにより色彩補償の目的を達成させるものをいう。物体自体の色は、投射光線の色により変化し、人類の目はこのような光線によって生じた変化を自動修正する。しかしながらカメラレンズはそういった機能を備えていない。オートホワイトバランス（ＡＷＢ）機能を設ける目的はカメラにも人と同じような機能を備えさせるためであり、異なる光照平均値を計算し、内部の色彩バランスを自動調節することにより、あらゆる条件において本来の白色を再現する効果を得る。オートホワイトバランス（ＡＷＢ）技術は、現在の画面内の映像の特質に基づき、計算をした後、すぐに全体の映像内における赤、緑、青の三原色の強度を調整し、外部光線により生じた色誤差を修正する。

公知のホワイトバランス校正方法は、撮影によって得られた映像の画素値をＲＧＢ座標からＹＣｂＣｒ座標に転換し、更に複数のサンプリングブロックによりそれぞれのサンプリングブロックのＹ、Ｃｂ、Ｃｒの平均値を計算し、更にＣｂ、Ｃｒを２本の軸として４つの象限に区分し、更に各サンプリングブロックのＣｂ、Ｃｒ値によってサンプリングブロックが対応する象限を求め、シフトした象限により方向を修正する。前記ホワイトバランス校正方法の計算条件が多ければ多いほど、より正確な校正が得られるが、そのことが校正計算を複雑にし、かなりの時間を消費する。

その他すでに知らされているホワイトバランス校正方法にはグレイワールドアサンプションの方法及び光点の検索による方法が含まれる。グレイワールドアサンプションの方法は、まず摂取した映像全体を中性の灰色とみなし、映像がもし中性の灰色に属していない場合、Ｒゲイン値とＢゲイン値を調整することにより、そのＲＧの差とＢＧの差を０に近づけ、この時のＲＧＢゲイン値を中性灰色とみなす。しかしながら、前記方法で樹林の環境や夕焼けの景色を撮った場合にはミスが出やすい。光点の検索の方法には光点の反射部分に通常白色が現れる確率が比較的高いことを考慮したものであり、この方法のキーポイントは光点特徴の判断が正確か否かにあるが、ただしよく判断ミスが起こる。

前記公知のホワイトバランス校正技術の欠点を鑑みて、本発明の目的、オートホワイトバランス（ＡＷＢ）技術と合わせて用いることにより撮った映像が本当の映像により近くなる映像補償装置を提供することにある。

前記目的を基に、本考案の実施形態では、オリジナル映像を取得し、且つオリジナル映像に対してオートホワイトバランス（ＡＷＢ）操作を実行する。前記オリジナル映像の画素点に対し色域転換操作を実行し、前記画素点の第１映像信号値を転換して色域平面に対応する第２映像信号値にする、前記色域平面上にはスキンカラー軸があり且つ前記スキンカラー軸の両側には第１スキンカラー補償区域と第２スキンカラー補償区域があり、且つ第１軸、第２軸、第３軸及び第４軸により前記第１スキンカラー補償区域と前記第２カラー補償区域を第1子区域、第２サブ区域、第３サブ区域及び第４サブ区域にそれぞれ分ける。前記第２映像信号値に対して数学とロジック演算を実行し前記画素点の位置を判断する。前記画素点が前記第１サブ区域、前記第２サブ区域、前記第３サブ区域、或いは第４サブ区域内に位置している時、前記第２映像信号値に対して補償操作を実行し、前記画素点を前記第１軸、前記第２軸、前記第３軸或いは前記第４軸上に接近させる。

さらに本考案の実施形態では、ホワイトバランスユニット、色域転換ユニット及び映像補償ユニットを含む。前記ホワイトバランスユニットはオリジナル映像に対してオートホワイトバランス（ＡＷＢ）操作を実行する。前記色域転換ユニットは、オリジナル映像の画素点に対して色域転換操作を実行し、前記画素点の第1映像信号値を転換して色域平面に対応する第２映像信号値にする。前記色域平面上にはスキンカラー軸があり、且つ前記スキンカラー軸の両側には第１スキンカラー補償区域と第２スキンカラー補償区域があり、且つ第１軸、第２軸、第３軸及び第４軸により前記第１スキンカラー補償区域と前記第２カラー補償区域が第1サブ区域、第２サブ区域、第３サブ区域及び第４サブ区域にそれぞれ分けられる。前記映像補償ユニットは前記第２映像信号値に対して数学とロジック演算を実行することにより前記画素点の位置を判断し、前記画素点が前記第１サブ区域、前記第２サブ区域、前記第３サブ区域、或いは第４サブ区域内に位置している時、前記第２映像信号値に対して前記補償操作を実行し、前記画素点を前記第１軸、前記第２軸、前記第３軸或いは前記第４軸上に接近させる。

オートホワイトバランス（ＡＷＢ）技術と合わせて用いることにより撮った映像が本当の映像により近くなる映像補償装置を提供する。

本考案についての目的、特徴、長所が一層明確に理解されるよう、以下に実施形態を例示し、図１〜図５を参照にしながら、詳細に説明する。本考案の明細書には異なる実施例を用いて本考案の異なる実施方式の技術的特徴について説明した。其の中で実施例内の各ユニットの配置は説明に用い、本考案を制限するものではない。実施形態内の符号には一部重複しているものが見られるが、それは説明を簡素化するためであって、異なる実施例間との関連性を指しているものではない。

本考案の映像補償装置はオートホワイトバランス（ＡＷＢ）技術と組み合わせることにより、撮った映像をｙｐり実際の映像に近けることができる。本発明実施形態は、主に如何にして映像中のスキンカラーに対して補正を行って映像中のスキンカラーを人体のスキンカラーに近付けるかを説明するものであり、しかしながらこれは本考案を限定するものではなく、あらゆる映像中のあらゆる色彩が本考案の装置により色彩補償される。

本考案の補償装置と方法は、色彩補償を進行する前に、まずオリジナル映像を適当な映像フォーマットに転換してから処理を行う必要がある。オリジナル映像のそれぞれの画素点は赤（Ｒ）、緑（ＣＧ）、青（ＣＢ）の三原色により構成されており、本発明の実施形態においてＲＧＢ映像信号を輝度信号（Luminance signal）Ｙと２つの色調節信号（Chrominance signal）Ｕ、Ｖに転換する。Ｒ、Ｇ、ＢをＹ、Ｕ、Ｖに転換する方程式は下記の通りである：
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
Ｕ＝Ｂ―Ｙ、及び
Ｖ＝Ｒ―Ｙ。

転換後得られたＹ、Ｕ、Ｖ値を基に幾何演算を実行し、補償後のＹ‘、Ｕ‘、Ｖ‘値を得た後、更にＹ’、Ｕ‘、Ｖ’値を転換してＲ、Ｇ、Ｂ値に戻し、これにより最後の結果映像（Resulting image）を得る。下記は前記転換方程式を基に本考案実施形態の映像補償の実施過程を説明したものである。

図１に示されるのは本考案実施形態の映像補償装置の機能ブロック説明図である。

本考案の実施形態の映像補償装置はホワイトバランスユニット１１０、色域転換（Color space control）ユニット１２０及び映像補償ユニット１３０を含む。ホワイトバランスユニット１１０は取得された映像に対してオートホワイトバランス（ＡＷＢ）機能を実行する。色域転換ユニット１２０は前記転換方程式を基に取得した映像の画素点Ｒ、Ｇ、Ｂ値をＹ、Ｕ、Ｖ値に転換する。映像補償ユニット１３０は色域転換ユニット１２０からＹ、Ｕ、Ｖ値を取得し、さらに、補償が必要な画素点に対して一連の数学とロジック演算を実行して、補償後のＹ’、Ｕ’、Ｖ’値を得、そして更にＹ’、Ｕ’、Ｖ’値を転換してＲ、Ｇ、Ｂ値に戻し、そのことにより結果映像１４０を取得する。

図２に示されるのはーＹ―ＵＶ平面の説明図である。

経験値或いは統計式に基づいてＹ―ＵＶ平面上における基準軸と補償区域を定義する。図２を参照する。軸２１０はスキンカラー軸で、軸２１０上に位置する全ての画素点は、スキンカラーに最も近い色彩を表現し、軸２１０から離れた位置の画素ほど、スキンカラーから離れた色彩を表現する。Ｒ−Ｙ軸は赤色の色彩軸を代表しており、Ｂ−Ｙ軸は黄色の色彩軸を表しており、Ｒ−Ｙ軸により近づくということは画素点がより赤色に近づくことを意味しており、逆にＢ−Ｙ軸により近づくということはより黄色に近づくことを意味している。軸２１０の右と左はそれぞれ第１スキンカラー補償区域と第２スキンーカラー補償区域として定義されており、第１スキンカラー補償区域は第１サブ区域２２０と第３サブ区域２４０を含み、第２スキンカラー補償区域は第２サブ区域２３０と第４サブ区域２５０を含む。第１サブ区域２２０は軸２２１と軸２２２（軸２２１、軸２２２の角度はそれぞれθ_ｕ２、θ_ｕ１である。）とＡＢ，ＤＥ線分により構成され、第２サブ区域２３０は軸２３１と軸２３２（軸２３１、軸２３２の角度はそれぞれθ_ｄ１、θ_ｄ２である。）とＨＩ、ＫＬ線分により構成され、第３サブ区域２４０は軸２２１と軸２２３（軸２２１、軸２２３の角度はそれぞれθ_u２、θ_u３である。）とＢＣ、ＥＦ線分により構成され、第４サブ区域２５０は軸２２１と軸２３３（軸２３１、軸２３３の角度はそれぞれθ_ｄ1、θ_ｄ３である。）とＧＨ、ＪＫ線分により構成される。第１サブ区域２２０についていうと、仮に画素点（ここから原点にまで延伸させて得られた軸の角度をψとする）が軸２２１と軸２２２の間にあった場合は、前記点を軸２２１に接近させることにより、色彩の表現をよりスキンカラーにより近付ける。第３サブ区域２４０について言えば、仮に画素点（ここから原点まで延伸させて得られた軸の角度をψとする）が軸２２１と軸２２３の間にあった場合は、前記点を軸２２３に接近させることにより、色彩の表現をスキンカラーにより近付ける。同じように、第２サブ区域２３０についていうと、仮に画素点（ここから原点まで延伸させて得られた軸の角度をψとする）が軸２３１と軸２３２の間にあった場合は、前記点を軸２３１に接近させることにより、色彩の表現をスキンカラーにより近付ける。第４サブ区域２５０について言えば、仮に画素点（ここから原点まで延伸させて得られた軸の角度をψとする）軸２３１と軸２３３の間にあった場合は、前記点を軸２３３に接近させることにより、色彩の表現をスキンカラーにより近付ける。さらに、ｒ_ｍａｘとｒ_ｍｉｎを定義する。ｒ_ｍａｘ値はＡ、Ｂ、Ｃ、Ｇ、Ｈ或いはＩ点から原点までの長さを表しており、ｒ_ｍｉｎ値はＤ、Ｅ、Ｆ、Ｊ、Ｋ、或いはＬ点から原点までの長さを表している。ここで注意したいのが、本考案の実施形態は、ある画素点が軸２２１或いは軸２２３の右側或いは軸２３１或いは軸２３３の左側にあった場合（つまりθ_ｕ１≦ψ＜θ_ｕ２、θ_ｕ２＜ψ＜θ_ｕ３、θ_ｄ１≦ψ＜θ_ｄ２或いはθ_ｄ３＜ψ＜θ_ｄ１）にのみ前記画素点に対して接近の操作を行うため、図における角度は皆ψで表示される。

以下に映像補償ユニット１３０内の機能ブロックによって実行される演算について簡潔に述べる。図３を参照すると、ここに示されているのは図１の映像補償ユニットの機能ブロックの説明図である。機能ブロック１３１は画素点Ｒ、Ｇ、Ｂ値の転換によって得られるＹ値に対し絶対値を取るものである。機能ブロック１３２は画素点の座標値に基づいて計算を行いｒ値を取得する。機能ブロック１３３はｒ値がｒ_ｍａｘとｒ_ｍｉｎの間にあるかを判断し、その判断によって画素点が第１スキンカラー補償区域或いは第２スキンカラー補償区域内にあるかを判断し、つまり画素点がＡＣ線分とＤＦ線分の間にあるか或いはＧＩ線分とＪＬ線分の間にあるかを判断する。機能ブロック１３４は画素点がＹ−ＵＶ平面の第２象限にあるかを判断する。機能ブロック１３５は、転換後に得られたＵ，Ｖ値に基づいて計算を実行しに画素点から原点へ延伸させて得られる軸の角度（ψ）を得る。機能ブロック１３６は画素点が第１サブ区域２２０、第２サブ区域２３０、第３サブ区域２４０或いは第４サブ区域２５０内にあるかを判断し、つまり画素点が軸２２１と軸２２２の間、軸２２１と軸２２３の間、軸２３１と軸２３２の間あるいは軸２３１と軸２３３の間にあるかを判断する。

図４は図３の映像補償ユニットの実施範例を示している。図４を参照すると、本実施形態においては、事前にＹ―ＵＶ平面の第２象限に位置する１４０度の軸をスキンカラー軸として定義し、第１サブ区域２２０と第３サブ区域２４０はそれぞれ軸２２１、２２２、２２３（軸２２１、２２２及び２２３の角度はそれぞれ１１２．５、９０及び１３５度）によって構成され、ｒ_ｍａｘは７５でｒ_ｍｉｎは５であり、第２サブ区域２３０と第４サブ区域２５０は軸２３１、２３２、２３３（軸２３１、２３２及び２３３の角度はそれぞれ１６７．５、１８０及び１４５度）によって構成される。第１サブ区域２２０と第３サブ区域２４０についていえば、仮に画素点（原点まで延伸させて得られた軸の角度をψとする）が軸２２１（１１２．５度）と軸２２２（９０度）の間或いは軸２２１（１１２．５度）と軸２２３（１３５度）の間にある時、前記画素点を軸２２１（１１２．５度）或いは２２３（１３５度）に接近させることにより、色彩の表現によりスキンカラーに近付ける。これと同様に、第２サブ区域２３０と第４サブ区域２５０についていえば、仮に画素点（ここから原点まで延伸させて得られた軸の角度をψとする）が軸２３１（１６７．５度）と軸２３２（１８０度）の間或いは軸２３１（１６７．５度）と軸２３３（１４５度）の間にある時、前記点を軸２３１（１６７．５度）或いは２３３（１４５度）に接近させることにより、色彩の表現をよりスキンカラーに近付ける。別の実施形態では、本発明の映像補償装置と方法を応用し、自動調整を行って第１スキンカラー補償区域或いは第２スキンカラー補償区域内に位置する第１サブ区域、第２サブ区域、第３サブ区域及び第４サブ区域内のうちから選んだ１つ或いは複数個のサブ区域内。画素点に対しスキンカラー補償を行うことができる。

図５に示しているのは本考案実施形態の映像補償方法のフローチャートである。

まず初めに、色域平面上にスキンカラーに対応する軸を定義し（ステップ１）、前記スキンカラー軸は前記色域平面上の第２象限に位置している。前記軸の両側に第１スキンカラー補償区域（図２に示されている軸２１０右側の区域）と第２スキンカラー補償区域（つまり、図２によって示されている軸２１０左側の区域）を定義し、且つ第１スキンカラー補償区域は第１軸(図２に示されている軸２２１)、第３軸（つまり図２に示されている軸２２３）と第５軸（つまり図２に示されている軸２２２）を定義し、第２スキンカラー補償区域には、第２軸（つまり図２に示されている軸２３１）、第４軸（つまり図２に示されている軸２２３）と第６軸（つまり図２に示されている軸２３２）を定義する（ステップＳ２）。従って第１スキンカラー補償区域は少なくとも第１スキンカラー補償区域（つまり図２に示されている第１スキンカラー補償区域２２０）と第３サブ区域（つまり図２に示されている第３サブ区域２４０）に区分され且つ第２スキンカラー補償区域は少なくとも第２サブ区域（つまり図２に示されている第２サブ区域２３０）と第４サブ区域（つまり図２に示されている第４サブ区域２５０）に区分される。本考案の実施形態において、それぞれのスキンカラー補償区域は２つのサブ区域に区分されてはいるが、それは本考案の使用範囲を限定するものでない。ただし、若し最も優れた補償効果を達成したいならば、それぞれのスキンカラー補償区域は最大３つのサブ区域しか区分できない。

オリジナル映像に対してオートホワイトバランス（ＡＷＢ）を実行し（ステップＳ３）、続いて前記オリジナル映像に対して色域転換操作を実行することにより、前記オリジナル映像のそれぞれの画素点のＲ、Ｇ、Ｂ値を前記色域平面に対応するＹ、Ｕ、Ｖ値に転換する（ステップＳ４）。取得したＹ、Ｕ、Ｖ値に対し数学とロジック演算を実行することにより、前記オリジナル映像に対応する画素点が第１サブ区域、第２サブ区域、第３サブ区域或いは第４サブ区域内のどこに位置しているかを判断する（ステップＳ５）。若し前記画素点が第１サブ区域に位置している場合、補償操作を実行することにより前記画素点を第１軸上に接近させる（ステップＳ６）。もし前記画素点を第２サブ区域内に位置している場合、補償操作を実行することにより前記画素を第２軸に接近させる（ステップＳ７）。もし前記画素点が第３サブ区域内に位置している場合、補償操作を実行することにより前記画素点を第３軸に接近させる（ステップＳ８）。もし前記画素点が第４サブ区域内に位置している場合、補償操作を実行することにより前記画素点を第４軸に接近させる（ステップＳ９）。

さらに、第１サブ区域、第２サブ区域、第３サブ区域或いは第４サブ区域内に位置する全ての画素点の転換がすでに完了したか否かを判断し（ステップＳ１０）、完了していたら前記色域転換方法によりＹ’、Ｕ’、Ｖ’値を転換してＲ、Ｇ、Ｂ値に戻し、そのことにより最後の結果映像を取得する（ステップ１１）。若し完了していなければ、ステップＳ５に戻り、前記原始映像中の第１サブ区域、第２サブ区域、第３サブ区域或いは第４サブ区域内に位置するその他画素点に対し前記補償演算を実行し、そのことにより全ての画素点が補償後に新たなＹ’Ｕ’Ｖ’値を得るようにさせる。

本考案実施形態の映像補償方法は、得られた映像に対して色補償を実行し、そのことによって補償された画素点の色彩表現が更にスキンカラーに近づく。

本考案を好ましい実施形態によって以上のように開示したが、これは本考案を限定しようとするものではなく、当業者によれば、本考案の精神と範囲を逸脱しない限りにおいて変更および修飾を施すことができる。よって、本考案の保護範囲は、添付の考案請求の範囲で定義されたものが基準とされる。

実施形態の映像補償装置の機能ブロックの説明図である。 Ｙ−ＵＶ平面の説明図である。 図１の映像補償ユニットの機能ブロック説明図である。 図３の映像補償ユニットの実施範例である。 本考案の実施形態の映像補償装置のフローチャートである。

符号の説明

１１０ ホワイトバランスユニット
１２０ 色域転換ユニット
１３０ 映像補償ユニット
１３１〜１３６ 機能ブロック
１４０ 結果映像
２１０、２２１、２２２、２２３、２３１、２３２、２３３ 軸
２２０ 第１サブ区域
２３０ 第２サブ区域
２４０ 第３サブ区域
２５０ 第４サブ区域

Claims (8)

1. オリジナル映像の画素点に対し色域転換操作を実行することにより、前記画素点の第1映像信号値を転換して色域平面に対応する第２映像信号値とするのに用いられ、前記色域平面上にはスキンカラー軸があり且つ前記スキンカラー軸の両側には第１スキンカラー補償区域と第２スキンカラー補償区域がある、色域転換ユニット、及び
   前記色域転換ユニットと接続されており、前記第２映像信号値に対し数学とロジック演算を実行して、前記画素点の位置を判断し、且つ前記画素点が前記第１スキンカラー補償区域或いは前記第２スキンカラー補償区域内にある場合、前記第２映像信号値に対して補償操作を実行することにより前記画素点を前記スキンカラー軸に接近させて、前記画素点の色彩をよりスキンカラーに近づける映像補償ユニットを含む映像補償装置。
2. 前記色域転換ユニットは、第1軸、第２軸、第３軸と第４軸に基づいて前記第１スキンカラー補償区域と前記第２スキンカラー補償区域を第１サブ区域、第２サブ区域、第３サブ区域と第４サブ区域にそれぞれ区分し、
   前記映像補償ユニットは、前記第２映像信号値に対して前記数学とロジック演算を実行することにより前記画素点の位置を判断し、且つ前記画素点が前記第１サブ区域、前記第２サブ区域、前記第３サブ区域或いは前記第４サブ区域内に位置する場合、前記第２映像信号値に対し前記補償操作を実行することにより、前記画素点を前記第１軸、前記第２軸、前記第３軸或いは前記第４軸上に接近させる請求項１の映像補償装置。
3. 前記第１サブ区域は前記第１軸と第５軸により形成され、且つ前記第２サブ区域は前記第２軸と第６軸により形成される請求項３の映像補償装置。
4. 前記映像補償ユニットは、前記画素点が前記第１サブ区域内に位置している時、前記第２映像信号値に対し前記補償操作を実行することにより前記画素点を前記第１軸に接近させ、前記画素点が前記第２サブ区域内に位置している時、前記第２映像信号値に対して前記補償操作を実行することにより前記画素点を第２軸に接近させ、前記画素点が前記第３サブ区域内に位置している時、前記第２映像信号値に対して前記補償操作を実行することにより前記画素点を前記第３軸に接近させ、前記画素点が前記第４サブ区域内に位置している時、前記第２映像信号値に対して前記補償操作を実行することにより前記画素点を前記第４軸に接近させる請求項３の映像補償装置。
5. 前記映像補償ユニットは、前記第１サブ区域、前記第２サブ区域、前記第３サブ区域、或いは第４サブ区域内に位置するその他の画素点がすでに前記補償操作が完了されたか判断し、もしその他の画素点が皆前記補償操作を完了した場合は、前記色域転換操作によりそれぞれの画素点に対応する第２映像信号値を転換して、最後の結果映像を取得し、完了していない場合はその他の画素点に対して前記補償操作を実行する請求項４記載の映像補償装置。
6. 前記色域転換ユニットと連結され、前記色域転換操作の実行前に、前記オリジナル映像に対してオートホワイトバランス（オートホワイトバランス（ＡＷＢ））操作を実行するオートホワイトバランスユニットを更に含む請求項１の映像補償装置。
7. 前記色域転換ユニットは前記画素点のＲＧＢ映像信号値を前記色域平面に対応するＹＵＶ映像信号値とに転換する請求項１記載の映像補償装置。
8. 前記スキンカラー軸は前記色域平面の第２象限に位置する請求項１記載の映像補償装置。

Images