JP3731741B2

JP3731741B2 - カラー動画像処理方法および処理装置

Info

Publication number: JP3731741B2
Application number: JP2002062179A
Authority: JP
Inventors: 真人中島; 慎吾安藤; 岳人黒子
Original assignee: Keio University
Current assignee: Keio University
Priority date: 2002-03-07
Filing date: 2002-03-07
Publication date: 2006-01-05
Anticipated expiration: 2022-03-07
Also published as: JP2003264849A

Description

【０００１】
【発明の属する技術分野】
本発明は、ビデオカメラなどの電子的撮像装置に好適なカラー動画像処理方法および処理装置に関し、特に、デジタル動画像の視認性を向上させる方法および装置に関するものである。
【０００２】
【従来の技術】
逆光下において、明るい景色をバックに記念撮影を行うと、人物が黒く潰れて撮影されてしまうことが多い。近年、カメラやビデオカメラには逆光防止機能が備わっているが、それを用いて撮影すると、人物は鮮明に写すことが出来ても、バックの景色が飽和して白くとんで撮影されてしまう。
【０００３】
このように、明暗の混在する状況において、潰れや白とびを起こすことなく、撮影対象全体を鮮明に撮影することは困難であった。その原因は、撮像装置のダイナミックレンジにある。一般に実際の撮影対象に比べて、撮像装置のダイナミックレンジは狭いため、撮影対象の非常に明るい部分や暗い部分の微細な明度差は圧縮され、細部情報が失われる。そのため、潰れや白とびが発生する。近年広く普及しているデジタルカメラやデジタルビデオカメラにおいては撮像素子の小型化に伴い、さらにこの問題が深刻である。
【０００４】
従来、上記のような細部情報の消失を低減するために、種々の技術が提案されている。例えば、特開平9-65252号により、ビデオフレームまたはフィールドをブロックに分割し、各ブロックについて平均輝度レベルを求め、その平均輝度レベルに応じて補正曲線を選択する階調補正装置が提案されている。
【０００５】
しかしながら、この階調補正装置の場合、予め複数の補正曲線を用意しておく必要がある。予め用意された補正曲線では、適切な補正が得られるのか否かという懸念がある。また、用意する補正曲線の種類や、補正曲線パターンの設定方法がすべて手動でなされるという側面もある。さらに、時間方向に対しては、実際に適用される補正曲線と、そのフレームで適用されるべきと判断された補正曲線とが、規定フレーム数以上連続して異なる場合に、後者の補正曲線に１段階だけ近づけるように変更されるという仕組みであるため、ある時間範囲にある同位置のブロックでは、常に同じ補正曲線が適用されることになり、補正効果の低下が考えられる。
【０００６】
そこで、本発明の発明者等は先に、カラー原色画像から生成した色相／彩度／明度空間の明度画像を複数の領域に分割し、その領域毎のヒストグラムを平滑化して濃度変換曲線を作成し、その濃度変換曲線を用いて明度画像の濃度変換を行い、濃度変換された明度画像からカラー原色画像を生成するカラー画像処理方法を提案した（2000年特許願第336394号）。このカラー画像処理方法によれば、補正が必要な領域の判別および適切な補正度合の決定をすべて自動で行い、有用な情報の消失を低減することにより視認性を向上できるという効果がある。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記カラー画像処理方法をそのままカラー動画像に採用した場合には、短時間で大きく明度が変化する部分ある場合に、輝度レベルが時間的に変動して、ちらついて見えてしまう現象であるフリッカが生じてしまうという問題点があった。また、周囲に比較して明度が大きく異なる部分がある場合に、同様なフリッカが生じてしまうという問題点があった。さらに、ブッロクノイズが発生してしまうという問題点があった。
【０００８】
本発明は、このような問題点を解決するためになされたもので、デジタルカラー動画像において、潰れや白とびにより視認性が低下した部分を自動的に判別してその部分の視認性を改善し、かつフリッカ等の動的劣化を効果的に抑制して、見た目に不自然さのないカラー動画像を得ることの出来るカラー動画像処理方法および装置を提案するものである。
【０００９】
【課題を解決するための手段】
本発明に係るカラー動画像処理方法は、カラー原色動画像から明度画像を生成するステップと、予め定められたフレーム毎の前記明度画像のテクスチャを解析し、前記解析結果に基づいて前記明度画像を複数の領域にブロック単位で量子化して分割するステップと、前記分割された領域毎のヒストグラムを、濃度値のばらつきとテクスチャの複雑さとに基づいて決定される上限値以上の頻度数を平均してバイアス値とするための第１のクリップ値と、前記上限値に比例する下限値以下の頻度数の総和を最小濃度値または最大濃度値に加算するための第２のクリップ値とを用いて平滑化することにより、第１の濃度変換曲線を作成するステップと、前記第１の濃度変換曲線を過去の第２の濃度変換曲線とブレンドすることにより、第２の濃度変換曲線を作成するステップと、前記第２の濃度変換曲線を用いて前記明度画像の濃度変換を行うステップと、前記濃度変換を受けた明度画像を用いてカラー原色画像を生成するステップとを具備することを特徴とする。この構成により、フレーム間において濃度変換曲線が大きく変化することが抑制され、結果としてカラー原色動画像おけるフリッカの発生を防ぐことが出来る。
【００１０】
また、本発明に係るカラー動画像処理方法は、前記予め定められたフレームの内、隣り合うフレームの第２の濃度変換曲線を内挿することにより、前記隣り合うフレーム間のフレームの第２の濃度変換曲線を作成するステップを具備することを特徴とする。この構成により、全てのフレームについて第１の濃度変換曲線を作成することなく、全てのフレームに対してフリッカの発生を防ぐことが可能な濃度変換を行うことが出来る。
【００１１】
さらに、本発明に係るカラー動画像処理方法は、隣接するブロックの第２の濃度変換曲線をフレーム内で内挿して第３の濃度変換曲線を作成するステップと、第３の濃度変換曲線を用いて明度画像の濃度変換を行うステップを具備することを特徴とする。この構成により、局所的に明度が大きく異なる部分の発生を防止することで、フリッカの発生を抑制することが出来る。
【００１２】
そして、本発明に係るカラー動画像処理方法は、注目画素が領域の境界のブロックにある場合に、そのブロックおよび近傍のブロックの第３の濃度変換曲線を用いて注目画素の濃度値を変換し、変換した濃度値を重み付け平均して変換濃度値とするステップを具備することを特徴とする。この構成により、領域の境界に近づくにつれて互いの濃度変換特性を近づけ、ブロックノイズの発生を抑制することが出来る。
【００１３】
また、本発明に係るカラー動画像処理装置は、カラー原色動画像から明度画像を生成する手段と、予め定められたフレーム毎の前記明度画像のテクスチャを解析し、前記解析結果に基づいて前記明度画像を複数の領域にブロック単位で量子化して分割する手段と、前記分割された領域毎のヒストグラムを平滑化することにより、第１の濃度変換曲線を作成する手段と、前記第１の濃度変換曲線を過去の第１の濃度変換曲線とブレンドすることにより、第２の濃度変換曲線を作成する手段と、前記第２の濃度変換曲線を用いて前記明度画像の濃度変換を行う手段と、前記濃度変換を受けた明度画像を用いてカラー原色画像を生成する手段とを具備することを特徴とする。この構成により、フレーム間において濃度変換曲線が大きく変化することが抑制され、結果としてカラー原色動画像おけるフリッカの発生を防ぐことが出来る。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
図１は本発明の実施の形態のカラー動画像処理装置の構成を示すブロック図であり、図２はその装置における処理の流れの概要を示すフロー図である。
【００１５】
図１に示すように、本実施の形態のカラー動画像処理装置は、フレーム分割手段１、色形式変換手段２、視認性改善処理部３、色形式逆変換手段４、およびフレーム結合手段５を備えている。なお、このカラー動画像処理装置は、コンピュータのアプリケーションソフトとして構成しても良いし、ハードウェアとして構成しても良い。また、ビデオカメラに搭載し、ボタン操作でON/OFFを切り替えられるようにしたり、ビデオデッキやディスプレイに搭載したりしても良い。
【００１６】
フレーム分割手段１は、図２のステップST１に示すように、ＣＣＤ撮像素子等を有する撮像手段（図示せず）で生成されたＲＧＢの原色カラー動画像情報を取り込み、その動画像をフレーム単位の静止画に分割して、色形式変換手段２へ出力する。
【００１７】
色形式変換手段２は、図２のステップST２に示すように、ＲＧＢ原色カラー画像情報を、顕色系と呼ばれる、色相（Ｈ:hue）、彩度（Ｓ:saturation ）、明度（Ｉ:intensity）からなるＨＳＩ空間の画像情報に変換する。
【００１８】
ＲＧＢ空間とＨＳＩ空間とを対応付けるモデルは各種あるが、ここでは双六角錐カラーモデルによる変換を行う。双六角錐カラーモデルの概念について図３を用いて説明する。この図の（ａ）はＲＧＢ空間における明度軸の設定を示し、（ｂ）は明度軸に対して垂直な面に対する射影の様子を示し、（ｃ）は射影後の双六角錐のＨＳＩ空間を示す。
【００１９】
カラー画像の各画素において、ＲＧＢ値から上記双六角錐カラーモデルを用いることで、ＨＳＩ値が算出される。明度情報（明度値）は、カラー画像の明るさの成分を表しており、カラー画像情報から生成されるモノクロ画像情報と一致する。
【００２０】
そして、本実施の形態では、図４に示すように、双六角錐カラーモデルを円筒座標系で規格化したＨＳＩ空間を採用し、ＲＧＢ→ＨＳＩ変換、およびＨＳＩ→ＲＧＢ変換に用いている。以下、ＲＧＢ→ＨＳＩ変換、およびＨＳＩ→ＲＧＢ変換のアルゴリズムの一例を説明する。
【００２１】
ＲＧＢ直交座標系において、３軸に接する立方体を考えると、Ｒ，Ｇ，Ｂとその補色Ｃ，Ｍ，Ｙは図３（ａ）に示すような位置関係にある。このＲＧＢ立方体の主対角軸を明度軸Ｉとし、一方の頂点をＩ＝０の黒、他方の頂点をＩ＝１の白とし、
Ｉ＝［（ｍａｘ｛Ｒ，Ｇ，Ｂ｝＋（ｍｉｎ｛Ｒ，Ｇ，Ｂ｝］／２
と定義する。
【００２２】
ここで、Ｉ軸に直交する平面にＲＧＢ立方体を平行投影すると、図３（ｂ）に示されるような正六角形が形成される。これに対し、Ｉ軸に直交する平面上で色相Ｈ、彩度Ｓを図３（ｃ）のように定義する。以下、その変換方法を示す。ただし、Ｒ，Ｇ，Ｂ，Ｓ，Ｉの値域は［０，１］であり、Ｈは［０，２π］の値を持つものとする。
【００２３】
〔１〕ＲＧＢ→ＨＳＩ変換
まず、Ｉを次式で定義する。
Ｉ＝（Ｉ_max＋Ｉ_min）／２
ただし、Ｉ_max＝ｍａｘ｛Ｒ，Ｇ，Ｂ｝
Ｉ_min＝ｍｉｎ｛Ｒ，Ｇ，Ｂ｝
【００２４】
ｉ）Ｉ_max＝Ｉ_minのとき
Ｓ＝０
Ｈ＝不定
【００２５】
ii）Ｉ_max≠Ｉ_minのとき
Ｓを以下のように定義する。
Ｉ≦０．５のとき：Ｓ＝（Ｉ_max−Ｉ_min）／（Ｉ_max＋Ｉ_min）
Ｉ＞０．５のとき：Ｓ＝（Ｉ_max−Ｉ_min）／（２−Ｉ_max＋Ｉ_min）
【００２６】
次にｒ，ｇ，ｂを以下のように定める。
ｒ＝（Ｉ_max−Ｒ）／（Ｉ_max−Ｉ_min）
ｇ＝（Ｉ_max−Ｇ）／（Ｉ_max−Ｉ_min）
ｂ＝（Ｉ_max−Ｂ）／（Ｉ_max−Ｉ_min）
【００２７】
最後にＨを以下のように定める。
Ｒ＝Ｉ_maxのとき：Ｈ＝π／３（ｂ−ｇ）
Ｇ＝Ｉ_maxのとき：Ｈ＝π／３（２＋ｒ−ｂ）
Ｂ＝Ｉ_maxのとき：Ｈ＝π／３（４＋ｇ−ｒ）
【００２８】
〔２〕ＨＳＩ→ＲＧＢ変換
まず、Ｍ₁，Ｍ₂を以下のように求める。
Ｉ≦０．５のとき：Ｍ₂＝Ｉ・（１＋Ｓ）
Ｉ＞０．５のとき：Ｍ₂＝Ｉ＋Ｓ−Ｉ・Ｓ
Ｍ₁＝２Ｉ−Ｍ₂
【００２９】
ｉ）Ｓ＝０のとき
Ｒ＝Ｇ＝Ｂ＝１
【００３０】
ii）Ｓ≠０のとき
▲１▼：処理＃１
ｈ＝Ｈ＋（２／３）πとして、後述する処理＃２を行い、得た値Ｘを用いてＲを次のように定める。
Ｒ＝Ｘ
【００３１】
ｈ＝Ｈとして後述する処理＃２を行い、得た値Ｘを用いてＧを次のように定める。
Ｇ＝Ｘ
【００３２】
ｈ＝Ｈ−（２／３）πとして、後述する処理＃２を行い、得た値Ｘを用いてＢを次のように定める。
Ｂ＝Ｘ
【００３３】
▲２▼：処理＃２
まずｈ_aを次のように定める。
ｈ_a＝ｈ
ｈ＜０のとき：ｈ_a＝ｈ＋２π
ｈ＞２πのとき：ｈ_a＝ｈ−２π
【００３４】
次にｈ_aの値によってＸを以下のように定める。
ｈ_a＜π／３のとき
Ｘ＝Ｍ₁＋（Ｍ₂−Ｍ₁）・ｈ_a／（π／３）
【００３５】
（π／３）≦ｈ_a＜πのとき
Ｘ＝Ｍ₂
【００３６】
π≦ｈ_a＜（４／３）πのとき
【００３７】
Ｘ＝Ｍ₁＋（Ｍ₂−Ｍ₁）・（（４／３）π−ｈ_a／（π／３））
（４／３）π≦ｈ_a＜２πのとき
Ｘ＝Ｍ₁
【００３８】
このように、円筒座標系で規格化したＨＳＩ空間を用いると、明度情報に対して視認性の改善を施すことのみで、彩度情報（彩度値）に対しても同時に同程度の補正が可能となる。この点について図５を用いて説明する。図５は、円筒座標系で規格化したＨＳＩ空間のＩ軸とＳ軸を通る平面と双六角錐カラーモデルとの対応関係を示す図である。この図に示すように、円筒座標系で規格化したＨＳＩ空間において明度値をＩ₁からＩ₂へ濃度変換すると、双六角錐カラーモデルにおいては、明度値の変化すると同時に彩度値もＳ₁からＳ₂へと変換されている。
【００３９】
色形式変換手段３は、複数フレーム毎の１フレームの明度値Ｉ_iを抽出して視認性改善処理部３へ出力する。以下、抽出されたフレームを代表フレームと呼ぶ。視認性改善処理部３は、図２のステップST３に示すように、代表フレームの明度値Ｉiに対して後述する所定の視認性改善処理を施す。
【００４０】
図１に示すように、視認性改善処理部３は、領域分割手段６と、濃度変換曲線作成手段７と、動画像適用処理手段８と、濃度変換手段９とから構成されている。そして、図６に示すように、濃度変換曲線作成手段７は、濃度ヒストグラム作成手段11、エントロピー算出手段12、エッジ度合算出手段13、コントラスト操作クリップ値決定手段14、濃度シフト操作クリップ値決定手段15、第１クリッピング手段16、第２クリッピング手段17、および累積ヒストグラム作成手段18から構成されている。さらに、図７に示すように、動画像適用処理手段８は、濃度変換曲線ブレンド手段19、時間軸方向内挿手段20、およびフレーム内挿手段21から構成されている。
【００４１】
領域分割手段６は、図８のステップST21〜22に示されているように、入力された明度画像に対して領域分割と、領域境界の空間的量子化を行う。まず、ステップST21では、入力画像のテクスチャを解析し、この解析結果に基づいて入力画像を複数の領域に分割する。本実施の形態では、下記の式［１］に示すＬＯＧ(Laplacian Of Gaussian)フィルタを入力画像に演算するフィルタリング処理により領域を決定している。図９（ａ）に示す画像を領域分割した結果を図９（ｂ）に示す。
【００４２】
【数１】

【００４３】
ここで、テクスチャ解析による領域分割の結果と、人間が同一の画像を見て手動で領域分割した結果とは異なることが多い。よって、上記テクスチャ解析による領域分割の結果をそのまま用いると、両者の結果の異なる部分が人間の目には不自然に感じられる。
【００４４】
そこで、本実施の形態では、次のステップST22において、画素単位で解析された上記領域分割の結果を、多少の解像度を下げ、量子化している。具体的には、図９（ｃ）に示すように、入力画像を正方形ブロックに分割して、同図（ｂ）に示す領域分割の結果と重ね合わせ、領域の境界に該当する正方形ブロックについては、領域の占有率に応じていずれの領域に属するかを決定する。これにより、図９（ｂ）に示す領域分割の結果が、同図（ｄ）に示すように量子化される。
【００４５】
領域分割手段６で空間的に量子化された画像データは濃度変換曲線作成手段７内の濃度ヒストグラム作成手段11に入力される。濃度ヒストグラム作成手段11では、図８のステップST23に示すように、濃度ヒストグラムを領域毎に作成する。
【００４６】
濃度変換曲線作成手段７では、基本的には、濃度ヒストグラムを領域毎に作成し、次に累積ヒストグラムを領域毎に作成して、その累積ヒストグラムを用いて濃度変換を行う。しかし、この基本処理のみでは、例えば図１０（ａ）に示す濃度ヒストグラムから同図（ｂ）に示す累積ヒストグラムが作成され、入力濃度Ｉ_i0を出力濃度Ｉ_o0に濃度変換する場合、濃度ヒストグラムの頻度の高い濃度部分で累積ヒストグラムの値が急激に変化するため、過度にコントラストが強調されてしまう。
【００４７】
そこで、本実施の形態では、第１のクリップ値を導入することで過度のコントラスト強調を防止している。すなわち、図１１（ａ）に示すように、濃度ヒストグラムに対して第１のクリップ値CLを設定し、第１のクリップ値CLより上の部分をクリップして取り出す。そして、図１１（ｂ）に示すように、上記クリップした部分の総和を平均化し、元の濃度ヒストグラムの下側に配置する。つまり、第１のクリップ値CL以上の部分のヒストグラムの総和の平均値が濃度ヒストグラムのバイアス値となっている。図１１（ｃ）の曲線Ａ₁はクリップを行う前の濃度ヒストグラムから作成した累積ヒストグラムであり、曲線Ａ₂はクリップ後の濃度ヒストグラムから作成した累積ヒストグラムである。二つの曲線の比較から明らかなように、クリップを行うことにより、累積ヒストグラムの値の急激な変化がなくなる。したがって、過度にコントラストが強調される事態が防止される。ここで、第１のクリップ値CLが大きいと、濃度ヒストグラムの平滑化の度合が大きく、第１のクリップ値CLが小さいと、濃度ヒストグラムの平滑化の度合が小さい。
【００４８】
ここで、図１２（ａ）に示すような、既に濃度ヒストグラムの濃度値のばらつきが大きい、換言すればダイナミックレンジの広い領域については、ダイナミックレンジの狭い画像出力装置で出力しても、細部情報が消失しにくいため、濃度ヒストグラムを平滑化する必要性は小さい。一方、図１２（ｂ）に示すような、濃度ヒストグラムの濃度値のばらつきが小さい、すなわちダイナミックレンジの狭い領域については、ダイナミックレンジの狭い画像出力装置で出力すると、細部情報が消失するおそれが大きいため、濃度ヒストグラムを平滑化してダイナミックレンジを広げる必要がある。
【００４９】
そこで、本実施の形態では、領域毎に濃度ヒストグラムの濃度値のばらつき具合を求め、このばらつき具合に応じて、濃度ヒストグラムの平滑化の度合を左右するクリップ値CLを決定する。具体的には、エントロピー算出手段12が下記の式［２〕を用いてエントロピーＨを算出し、図１２（ｃ）に示す特性を用いて第１のクリップ値CLを求める。
【００５０】
【数２】

【００５１】
このとき、空や白壁のような、元々全体に濃度差の少ない物体を含む領域の場合、濃度ヒストグラムの濃度値のばらつき具合のみでヒストグラムの平滑化の度合であるクリップ値を決定すると、過剰な処理が行われる可能性がある。そこで、本実施の形態では、テクスチャの複雑さを加味してクリップ値を再決定する。
【００５２】
テクチスチャの複雑さを示す指標として、ここでは、領域分割の一手法として提案したＬＯＧフィルタとの演算によって取得される、エッジ抽出結果を用いる。σ値（空間定数）が大小２種類のＬＯＧフィルタを画像に演算するフィルタリング処理を行うと、そのσ値の大きさにより異なるエッジ抽出画像が取得される。その結果例を図１３に示す。この図の（ａ）、（ｂ）において右上部の太線で囲まれた領域は空を示している。この図から明らかなように、空など、人間が見て濃度差の無い部分に関しては、σ値の大小にかかわらず、その領域内の画像のエッジ数の差異は少ない。そこで、この特徴をテクスチャの複雑さを表す値として採用し、以下の式［３］によりクリップ値を再決定し、エッジ数の差異の小さい領域に関しては、平滑化の度合を小さくする。
【００５３】
【数３】

【００５４】
この式において、CL_oldは領域内の濃度のばらつき具合のみを基に決定したクリップ値、CL_newは新しく決定したクリップ値、edge_small、edge_largeはそれぞれσ値が小、大の領域内のエッジ数である。ここで、edge_small、edge_large、はエッジ度合算出手段13により算出され、CL_newはコントラスト操作クリップ値決定手段14により算出される。そして、第１クリッピング手段16により、クリップが実行される。
【００５５】
以上説明した、領域毎に行われるヒストグラムの平滑化は元来画像処理におけるコントラスト強調の手法であるため、そのテクスチャの種類によっては不自然な結果を生むことがある。例として人間の肌があげられる。特に、カラー画像に適用した場合、その色の差が顕著になり、あらが目立つ結果となる。そこで、本発明の第１の実施の形態では、ヒストグラムの平滑化の度合、つまりコントラスト強調の度合を弱め、かつ出力の際に生じる情報の消失を防ぐために、領域の明るさ補正を行う手法として第２のクリップ値を導入する。
【００５６】
第２のクリップ値は濃度ヒストグラムの下部に設定される。図１４（ａ）に示すように、濃度ヒストグラムの全ての濃度値において、第２のクリップ値CL₂以下の部分を取り去り、その総和を最小濃度値（０）もしくは最大濃度値（２５５）の頻度に足し合わせる。なお、図１４（ｂ）は最小濃度値に足し合わせた場合を示した。そして、このようにクリップされた濃度ヒストグラムを用いて、累積ヒストグラムを作成し、それを正規化したものを濃度変換曲線とする。図１４（ｃ）の曲線Ａ₃はクリップを行う前の濃度ヒストグラムから作成した累積ヒストグラムであり、曲線Ａ₄はクリップ後の濃度ヒストグラムから作成した累積ヒストグラムである。この濃度変換曲線の形状から分かるように、第２のクリップ値を導入することにより、コントラスト強調の度合が弱まり、かつ領域全体の明るさ均一に変化した結果を得ることができる。ここで、濃度シフト操作クリップ値決定手段15により第２のクリップ値が決定され、第２クリッピング手段17によりクリップが実行される。第２のクリップ値は、第１のクリップ値と比例関係を持たせることが好適である。
【００５７】
そして、累積ヒストグラム作成手段18により、第１クリッピング手段16および第２クリッピング手段17でクリップされた濃度ヒストグラムを用いて、累積ヒストグラムが作成される。以上説明したエントロピー算出手段12から第１クリッピング手段16および第２クリッピング手段17までの動作は図８のステップST24に対応し、累積ヒストグラム作成手段18の動作はステップST25に対応する。
【００５８】
累積ヒストグラム作成手段18で作成された濃度変換曲線は、動画像適用処理手段８に入力される。ここで、濃度変換曲線は代表フレーム毎に作成されている。動画像適用処理手段８は、まず図８のステップST26に示すように、過去の濃度変換曲線のブレンド、および時間軸方向の内挿を行う。
【００５９】
まず、図７の濃度変換曲線ブレンド手段19は、図６の累積ヒストグラム作成手段18で作成された濃度変換曲線に対して、過去の代表フレームについて濃度変換曲線ブレンド手段19で作成された濃度変換曲線を所定の割合でブレンドして、新たな濃度変換曲線を作成する。ここで、ｎ番目（ただし、ｎは２以上の整数）の代表フレームについて濃度変換曲線ブレンド手段19に入力される濃度変換曲線をＨ(n) 、濃度変換曲線ブレンド手段19から出力される濃度変換曲線をＨ'(n)とすると、下記の式［４］および［５］の関係が成立する。
【００６０】
Ｈ'(n)＝p・Ｈ'(n-1)+(1-p)・Ｈ(n) …式［４］
【００６１】
Ｈ'(1)＝Ｈ(1) …式［５］
【００６２】
この式［４］において、ｐ（0≦p≦1）は、過去の濃度変換曲線の重み付け係数である。
【００６３】
このようにして得られたＨ'(n)をｎ番目の代表フレームに適用する濃度変換曲線として採用する。図１５は代表フレームを４フレーム毎にした場合を例示している。なお、図１５では便宜上、Ｈ'(n)を作成する処理のみ示したが、Ｈ'(n+1)についても同様に処理されることは言うまでもない。
【００６４】
Ｈ'(n)の導入により、フレーム間において濃度変換曲線が大きく変化することが抑制され、結果としてフリッカの発生を防ぐことが出来る。なお、ここでは、Ｈ'(n)を生成する際に、一つ前の代表フレームの濃度変換曲線Ｈ'(n-1)のみをブレンドしているが、さらに二つ前の代表フレームＨ'(n-2)や、それ以前の代表フレームをブレンドしても良い。
【００６５】
濃度変換曲線ブレンド手段19の出力は時間軸方向内挿手段20に入力される。時間軸方向内挿手段20は、代表フレームにおける濃度変換曲線を基に代表フレーム以外のフレームの濃度変換曲線を生成する。ここで、代表フレーム間隔がｒ枚とし、ｎ番目の代表フレームからｘ枚（ｘ＜ｒ）後のフレームの濃度変換曲線をＨ'(n,x)とすると、Ｈ'(n,x)は下記の式［６］で表される。
【００６６】
Ｈ'(n,x)＝｛(r-x)/r｝・Ｈ'(n)+(x/r)・Ｈ'(n+1) …式［６］
【００６７】
つまり、隣り合う２つの代表フレームからのフレーム枚数に応じて、それら２つの代表フレームの濃度変換曲線の加重平均をとることで、それら２つの代表フレームの濃度変換曲線を内挿し、各フレームの濃度変換曲線を決定する。
【００６８】
このようにして得られたＨ'(n,x)をｎ番目の代表フレームと（ｎ＋１）番目の代表フレームの間のフレームに適用される濃度変換曲線として採用する。図１６は代表フレームを４フレーム毎にした場合を例示している。
【００６９】
Ｈ'(n,x)を採用することにより、全てのフレームについて濃度変換曲線Ｈ'(n)を作成することなく、全てのフレームについてフリッカの発生を防ぐことが可能な濃度変換を行うことが出来る。
【００７０】
時間軸方向内挿手段20で作成された濃度変換曲線は、フレーム内内挿手段21に入力される。時間軸方向内挿手段20から出力される濃度変換曲線は、濃度変換曲線のブレンドおよび濃度変換曲線の内挿を伴うものであるため、各フレームは濃度変換曲線をほぼ最小ブロック単位で持つことになる。このまま濃度変換を行うとブロックノイズが発生する。そこで、フレーム内内挿手段21は、図８のステップST27に示すように、フレーム内の濃度変換曲線の内挿を行うことで、ブロックノイズを除去する処理を行う。
【００７１】
ここで、各フレームの左からK番目、上からL番目のブロックにおける濃度変換曲線をｈ(K,L)とすると、フレーム内内挿手段21は、下記の式［７］により、隣接する４個のブロックの濃度変換曲線との平均値ｈ'(K,L)を求める。
【００７２】

【００７３】
ｈ'(K,L)を導入することにより、周囲と比較して明度が大きく異なる部分の発生を抑えることが出来るので、動画像で見た場合にちらつきの原因となるフレーム間の微小な濃度差を目立たなくすることが出来る。
【００７４】
次に、領域の境界が不連続にならないようにするために、境界に該当する正方形ブロック内の各画素については、以下のような内挿処理を行う。図１７（ａ）に示すように、注目画素の濃度値を、この画素が属するブロックＢ₁および近傍の三つのブロックＢ₂、Ｂ₃、Ｂ₄のそれぞれの濃度変換曲線を用いて濃度変換し、変換後の濃度値ｈ₁、ｈ₂、ｈ₃、ｈ₄を得る。そして、下記の式［８］に基づいて、内挿後の濃度値ｆ（ｘ，ｙ）を算出する。つまり、前記濃度値ｈ₁、ｈ₂、ｈ₃、ｈ₄を、四つのブロックＢ₁、Ｂ₂、Ｂ₃、Ｂ₄の中心から注目画素までの距離に応じて重み付けする。この内挿処理により、領域の境界に近づくにつれて互いの濃度変換曲線を近づけ、ブロックノイズの発生を抑制することが出来る。
【００７５】
【数４】

【００７６】
以上の処理を受けた濃度変換曲線は濃度変換手段９へ出力され、色形式変換手段２から出力される明度画像Ｉに対して、ステップST28に示すように、濃度変換を行う。
【００７７】
濃度変換手段９から出力された、濃度変換された明度画像情報Ｉ_o1は、色形式逆変換手段４に入力される。色形式逆変換手段４は、図２のステップST４に示すように、前記明度画像情報Ｉ_o1と、色形式変換手段２の出力である色相情報Ｈおよび彩度情報Ｓとを用いて、視認性の改善されたＲＧＢ原色カラー画像情報を生成する。このカラー画像情報は、図２のステップST５に示すように、フレーム結合手段５で動画像フレームとされ、図示されていないモニタやプリンタに送られ、表示あるいは印刷される。
【００７８】
本発明者の実験によれば、画像サイズ７２０×４８０(pixel)、フレームレート２９．９７、動画像フォーマットＤＶのカラー動画像に対して、最小ブロックサイズ４０×４０(pixel)、代表フレーム間隔１０フレームとした場合、式［４］の重み付け係数ｐ最適値は０．７５であった。しかしながら、動画像フォーマット、および各種パラメータは種々の変更が可能であることは言うまでもない。
【００７９】
また、以上の実施の形態では、色形式変換手段２は、円筒座標系で規格化された色相／彩度／明度空間の明度画像を生成したが、Ｙ／Ｃb ／Ｃr 空間を採用して明度画像Ｙを生成しても良い。
【００８０】
【発明の効果】
以上詳細に説明したように、本発明のカラー動画像処理方法および処理装置によれば、デジタルカラー動画像において潰れや白とびにより視認性が低下した部分を自動的に判別して、その部分のコントラストを適切に強調することで視認性を改善し、かつフリッカ等の動的劣化を効果的に抑制することにより、見た目に不自然さのないカラー動画像を得ることができる。
【００８１】
また、本発明のカラー動画像処理方法によれば、全てのフレームについて濃度変換曲線を作成することなく、視認性を改善し、かつフリッカ等の動的劣化を効果的に抑制することにより、見た目に不自然さのないカラー動画像を得ることができる。
【００８２】
さらに、本発明のカラー動画像処理方法によれば、視認性を改善し、かつフリッカ等の動的劣化を効果的に抑制し、さらに局所的に明度が大きく異なる部分の発生を防止することでフリッカを抑制することにより、見た目に不自然さのないカラー動画像を得ることができる。
【００８３】
そして、本発明のカラー動画像処理方法によれば、視認性を改善し、かつフリッカ等の動的劣化を効果的に抑制し、さらに局所的に明度が大きく異なる部分の発生を抑えると共にブロックノイズの発生を抑制することにより、見た目に不自然さのないカラー動画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態のカラー動画像処理装置の構成を示すブロック図、
【図２】図１のカラー動画像処理装置におけるカラー画像処理の流れの概要を示すフロー図、
【図３】双六角錐カラーモデルを説明するための図、
【図４】円筒座標系で規格化したＨＳＩ空間を説明するための図、
【図５】円筒座標系で規格化したＨＳＩ空間と双六角錐カラーモデルとの対応関係を示す図、
【図６】図１のカラー動画像処理装置における濃度変換曲線作成手段の構成を示すブロック図、
【図７】図１のカラー動画像処理装置における動画像適用処理手段の構成を示すブロック図、
【図８】図１のカラー動画像処理装置における視認性改善処理部の処理の流れの概要を示すフロー図、
【図９】図１の視認性改善処理部における領域分割手段の動作を説明するための図、
【図１０】ヒストグラムの平滑化を説明するための図、
【図１１】第１のクリップ値を説明するための図、
【図１２】第１のクリップ値の決定方法を説明するための図、
【図１３】σ値の異なるエッジ抽出画像の取得例を示す図、
【図１４】第２のクリップ値を説明するための図、
【図１５】濃度変換曲線のブレンド処理を説明するための図、
【図１６】濃度変換曲線の時間軸方向内挿処理を説明するための図、
【図１７】濃度変換手段における線形補間方法を説明するための図である。
【符号の説明】
１フレーム分割手段
２色形式変換手段
３視認性改善処理部
４色形式逆変換手段
５フレーム結合主段
６領域分割手段
７濃度変換曲線作成手段
８動画像適用処理手段
９濃度変換手段
19 濃度変換曲線ブレンド手段
20 時間軸方向内挿手段
21 フレーム内内挿手段

Claims

カラー原色動画像から明度画像を生成するステップと、予め定められたフレーム毎の前記明度画像のテクスチャを解析し、前記解析結果に基づいて前記明度画像を複数の領域にブロック単位で量子化して分割するステップと、前記分割された領域毎のヒストグラムを、濃度値のばらつきとテクスチャの複雑さとに基づいて決定される上限値以上の頻度数を平均してバイアス値とするための第１のクリップ値と、前記上限値に比例する下限値以下の頻度数の総和を最小濃度値または最大濃度値に加算するための第２のクリップ値とを用いて平滑化することにより、第１の濃度変換曲線を作成するステップと、前記第１の濃度変換曲線を過去の第２の濃度変換曲線とブレンドすることにより、第２の濃度変換曲線を作成するステップと、前記第２の濃度変換曲線を用いて前記明度画像の濃度変換を行うステップと、前記濃度変換を受けた明度画像を用いてカラー原色画像を生成するステップとを具備することを特徴とするカラー動画像処理方法。
予め定められたフレームの内、隣り合うフレームの第２の濃度変換曲線を内挿することにより、前記隣り合うフレーム間のフレームの第２の濃度変換曲線を作成するステップを具備することを特徴とする請求項１記載のカラー動画像処理方法。
隣接するブロックの第２の濃度変換曲線をフレーム内で内挿して第３の濃度変換曲線を作成するステップと、前記第３の濃度変換曲線を用いて前記明度画像の濃度変換を行うステップとを具備することを特徴とする請求項１記載のカラー動画像処理方法。
注目画素が領域の境界のブロックにある場合に、そのブロックおよび近傍のブロックの第３の濃度変換曲線を用いて注目画素の濃度値を変換し、変換した濃度値を重み付け平均して変換濃度値とするステップを具備することを特徴とする請求項３記載のカラー動画像処理方法。
カラー原色動画像から明度画像を生成する手段と、予め定められたフレーム毎の前記明度画像のテクスチャを解析し、前記解析結果に基づいて前記明度画像を複数の領域にブロック単位で量子化して分割する手段と、前記分割された領域毎のヒストグラムを、濃度値のばらつきとテクスチャの複雑さとに基づいて決定される上限値以上の頻度数を平均してバイアス値とするための第１のクリップ値と、前記上限値に比例する下限値以下の頻度数の総和を最小濃度値または最大濃度値に加算するための第２のクリップ値とを用いて平滑化することにより、第１の濃度変換曲線を作成する手段と、前記第１の濃度変換曲線を過去の第１の濃度変換曲線とブレンドすることにより、第２の濃度変換曲線を作成する手段と、前記第２の濃度変換曲線を用いて前記明度画像の濃度変換を行う手段と、前記濃度変換を受けた明度画像を用いてカラー原色画像を生成する手段とを具備することを特徴とするカラー動画像処理装置。