JP4350741B2

JP4350741B2 - 画像処理方法およびその装置

Info

Publication number: JP4350741B2
Application number: JP2006328846A
Authority: JP
Inventors: 康男福田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-12-05
Filing date: 2006-12-05
Publication date: 2009-10-21
Anticipated expiration: 2026-12-05
Also published as: US7894667B2; US20080131021A1; JP2008147718A

Description

本発明は、動画像の自動画像補正に関する。

ディジタルカメラが普及し、エンドユーザがカラー画像を扱う機会が増えた。ただし、エンドユーザは必ずしもディジタルカメラに通熟しているわけではない。例えば、ディジタルカメラを用いて撮影した結果がすべて良好であるとは限らない。勿論、撮影の直後、ディジタルカメラに付属する液晶ディスプレイで撮影画像を確認し、撮影の失敗に気付けば撮影し直すことも考えられる。しかし、確認をしなかった場合や、ディスプレイが付属しないディジタルカメラで確認ができない場合もある。そもそも、一瞬のシャッタチャンスを狙った写真の場合は撮影し直すことができない。

撮影結果が良好ではない撮影画像を補正するための自動もしくは半自動の補正方法が提案されている。例えば、撮影画像中の全画素もしくはサンプル画素を調べ、撮影画像の特徴量を算出し、特徴量により良好な撮影画像か否かを判定する。そして、良好ではないと判定した撮影画像（暗すぎる、明るすぎる、色かぶりがある等）は、その特徴量に応じて撮影画像の各画素値を変換して、より良好な画像にする。

一般に、静止画像の自動補正処理技術は、画像が暗ければ明るく補正し、逆に明るすぎる場合にはその明るさを抑える、というように適正な明るさを目指す処理であると言える。この自動補正処理技術は、静止画像に限定されるものでなく、動画像にも適用することが考えられる。

一方、動画像には、フェイドイン、フェイドアウトなどの時間軸に沿って画像の明るさを変化させる効果が知られている。このようなフェイドイン・アウト効果を含む動画像に、先の静止画像の自動補正処理技術を適用すれば、適正な明るさを目指す処理によって、フェイドイン・アウト効果が打ち消される問題がある。

特開平11-317873号公報

本発明は、フェイドイン・アウト効果を保持し、観察者に与える違和感を抑制して、動画像を自動画像補正することを目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

本発明にかかる画像処理は、動画を構成するフレーム画像を読み込み、前記フレーム画像の代表輝度値および該代表輝度値に応じた目標輝度値に基づき画像補正条件を設定し、前記画像補正条件を用いて前記フレーム画像を画像補正する際に、フェイドイン・アウト効果の期間に含まれる動画像のフレームを検出し、前記フェイドイン・アウト効果の期間に含まれるフレームについて、前記フェイドイン効果の期間に含まれるフレームか、前記フェイドアウト効果の期間に含まれるフレームかを判定し、前記フェイドアウト効果の期間に含まれると判定したフレームの前記目標輝度値を設定し、前記フェイドイン・アウト効果の期間に含まれないと判定したフレームに対しては前記フレーム画像に基づき設定した画像補正条件を用いた画像補正を施し、前記フェイドアウト効果の期間に含まれると判定したフレームに対しては前記目標輝度値および前記フレーム画像の代表輝度値に基づき設定した画像補正条件を用いた画像補正を施す。前記設定は、前記フェイドアウト効果の最終輝度値および前記フェイドアウト効果の期間の終了タイミングを予測し、前記最終輝度値、前記終了タイミング、および、直前のフレームの目標輝度値もしくは補正後のフレーム画像の代表輝度値または前記フェイドイン・アウト効果の期間の開始を検出したフレームの目標輝度値もしくは補正後のフレーム画像の代表輝度値から、注目フレームの目標輝度値を計算することを特徴とする。

本発明によれば、フェイドイン・アウト効果を保持し、観察者に与える違和感を抑制して、動画像を自動画像補正することができる。

以下、本発明にかかる実施例の画像処理を図面を参照して詳細に説明する。

［装置の構成］
図1は実施例の画像処理装置の構成例を示すブロック図である。

CPU 104は、RAM 106をワークメモリとして、データ保存部102やROM 105に格納されたプログラムを実行し、システムバス109を介して後述する構成を制御し、後述する画像処理を実行する。なお、CPU 104は、後述する処理に必要なプログラムやデータをデータ保存部102またはROM 105からRAM 106にロードし、RAM 106にロードしたプログラムを実行する。

入力部101は、ユーザ指示を入力するためのキーボードやポインティングデバイスや、データの供給装置を接続するための汎用インタフェイスである。ポインティングデバイスとしては、マウス、トラックボール、トラックパッド、タブレットなどが挙げられる。汎用インタフェイスとしては、USB (universal serial bus)やIEEE1394などのシリアルバスが挙げられる。本実施例をディジタルカメラに適用する場合、ユーザ指示を入力する入力部101は、ボタンやモードダイヤルなどで構成されてもよい。勿論、ソフトウェアによってキーボードを後述する表示部103に表示して、ボタンやモードダイヤルあるいはポインティングデバイスによって文字や数字を入力する所謂ソフトウェアキーボードでもよい。また、データの供給装置としては、ディジタルカメラ、ディジタルビデオカメラ、メモリカードリーダなどが挙げられる。

データ保存部102は、主に動画像データを保持する部分で、ハードディスクドライブ等で構成される。ただし、様々なメモリカードが接続可能なカードリーダとメモリカードの組み合わせ、あるいは、書き換え可能な光ディスクをデータ保存部102にしてもよい。勿論、データ保存部102は、動画像データだけでなく、プログラムやその他のデータを保存することも可能である。

通信部107は、機器間の通信を行うためのインタフェイスで、例えば、コンピュータネットワーク、シリアルバス、パラレルバス、電話回線などの有線通信方式のインタフェイスである。また、赤外線(IrDA)、IEEE802.11a/b/g、Bluetooth、UWB (ultra wide band)などの無線通信方式のインタフェイスでもよい。通信部107を介して、パーソナルコンピュータやサーバ装置などから各種データやプログラムの供給を受けることができる。

表示部103は、グラフィカルユーザインタフェイス(GUI)や、画像処理前後の画像などを表示するCRTやLCDなどである。なお、表示部103は、画像処理装置とケーブルを介して接続されたモニタでもよい。

［自動画像補正］
本実施例の画像処理装置は、動画像に自動画像補正を行う際に、補正対象の動画像がフェイドイン・アウト効果を含む場合、その効果を損うことなく補正を行う。自動画像補正は様々な方法が存在するが、自動画像補正は任意の方法で構わない。概略、自動画像補正は、画像を適切な明るさに補正することを目的とし、暗い画像は明るく、逆に明る過ぎる画像は明るさを抑える（暗くする）補正を行い、結果として中庸の明るさの画像を生成するものである。

具体的な自動画像補正の一例を詳しく説明する。

まず、画像を一画素ずつ読み込んで、画素の輝度値のヒストグラムを作成する。そして、輝度ヒストグラムからシャドウポイント(SP、輝度値Lsp)とハイライトポイント(HP、輝度値Lhp)を決定する。続いて、ブラックバランス用のデータを得るために、Lspから目標シャドウポイントの輝度値Lsp'までの範囲の輝度値をもつ画素のR、G、Bごとの平均値RS、GS、BS（図6参照）を計算する。同様に、ホワイトバランス用のデータを得るために、Lhpから目標ハイライト輝度値Lhp'までの範囲の輝度値をもつ画素のR、G、Bごとの平均値RH、GH、BH（図6参照）を計算する。

次に、輝度のヒストグラムから画像の平均輝度を算出し、平均輝度に応じて露出補正量を決定する。図2は露出補正量を決定する方法を説明する図で、横軸は補正前画像の平均輝度値、縦軸は補正画像の平均輝度値（目標輝度値）である。破線301は、補正前画像の平均輝度値と補正画像の平均輝度値が等しい場合、言い替えれば露出補正量を常に0にした場合の補正特性を示す。

一方、実線302は、補正前画像のある平均輝度値（図2の破線301と実線302の交点に対応する平均輝度値）を境として、補正前画像の平均輝度値yが境より低い場合は平均輝度値yからy'に上げる特性を示す。逆に、補正前画像の平均輝度値yが境より高い場合は平均輝度値yを下げる特性を示す。例えば、実線302の傾きは、SPの輝度値Lspがある閾値Ths以下、かつ、HPの輝度値Lhpがある閾値Thh以上の場合、言い換えれば、ある程度適切にハイライトとシャドウが表現されている画像の場合だとする。もし、ハイライトやシャドウが適切ではない（露出アンダや露出オーバ）の場合は、実線302の傾きを小さくする。ただし、破線301と実線302の交点は変えない。

このようにして、図6に示すように、補正前の平均輝度値AVE（図2のyに相当）に対する補正後の平均輝度値NAVE（図2のy'に相当）を決定して輝度値の補正特性を決定する。また、図6に示すように、平均値RS、GS、BSと、平均値RH、GH、BHから各色成分の補正特性を決定する。

次に、画像の平均輝度値yと目標輝度値y'の関係、ホワイトバランス用の平均値RS、GS、BS、ブラックバランス用の平均値RH、GH、BHから補正特性を決定してルックアップテーブル(LUT)を作成する。そして、LUTを使用して画素ごとに画像補正を施す。

このように、補正前画像の平均輝度値yより低い、暗い画像領域は明るく補正し、平均輝度値yより高い明るい画像領域は暗く補正して、画像を中庸の明るさに近付けるよう補正する。このような自動画像補正を、フェイドイン・アウト効果を含む動画像に適用すれば、フェイドイン・アウト効果の意図に反することになる。

［動画像の自動画像補正］
図1に示す画像処理装置は、フェイドイン・アウト効果を検出し、その検出結果に応じて自動画像補正処理を制御して、フェイドイン・アウト効果を保持したまま動画像の自動画像補正を行う。

図3は画像処理装置のCPU 104が実行する画像処理の流れを示すフローチャートである。

まず、処理に必要な変数を初期化するなどの初期化処理を行う(S201)。勿論、フェイドイン・アウト効果の検出に必要な変数の初期化も行う。

次に、データ保存部102に保持された動画像データから1フレーム分の画像データの読み込む(S202)。なお、データ保存部102は、所定フォーマットの動画像データを保持する。もし、動画像データがMPEG方式などでデータ圧縮されている場合は、伸長処理により1フレーム分の画像データを取得する。

次に、フェイドイン・アウト効果を検出する(S203)。フェイドイン・アウト効果の検出は任意の方法でよいが、フェイドイン・フェイドアウト効果の検出方法の一例を以下に説明する。

まず、フレーム内の空間方向の差分絶対和を求め、差分絶対和を画素数で割り、平均画素差分値を計算する。この差分には、例えばYCCデータの場合、輝度値Yの差分だけを用いてもよいし、輝度値Y、色度値Cb、Crのすべての差分を使ってもよい。続いて、前フレームの平均画素差分値と、注目フレームの平均画素差分値のさらに差分を計算して、その差分値を符号と絶対値に分離する。そして、絶対値＞所定の閾値であれば、注目フレームはフェイドイン・アウト効果の期間（以下「フェイド期間」と呼ぶ）に含まれると判定する。また、符号が負であればフェイドアウト中、正であればフェイドイン中と判定する。

さらに、絶対値＞所定の閾値になったフレームの特徴量Sを保持するとともに、フェイド期間において、フレーム数Nをカウントする。そして、絶対値＞所定の閾値になったフレームの特徴量と、注目フレームの特徴量の差分Dを注目フレームまでのカウント値Nで割った変化率D/Nを計算する。一方、フェイドインまたはアウトに応じて特徴量（平均画素差分値）の最終値Eを予め定め、最終値Eと注目フレームの特徴量Cからフェイド終了までの予定変化量E-Cを計算する。そして、予定変化量E-Cを変化率D/Nで割ることでフェイド期間が終了するまでの期間N(E-C)/Dを予測する。

次に、ステップS203の検出結果に基づき注目フレームがフェイド期間に含まれるか否かを判定する(S204)。注目フレームがフェイド期間に含まれないと判定した場合は、注目フレームの画像データに自動画像補正を施す(S205)。また、注目フレームがフェイド期間に含まれると判定した場合は、ステップS205をスルーパスして自動画像補正を行わない。なお、フェイド期間の終了は、上述したように予測可能であるから、フェイド期間の終了予測フレームを過ぎても自動画像補正がスルーパスされることはない。

次に、注目フレームの画像データを出力する(S206)。従って、ステップS204でフェイド期間に含まれると判定したフレームの場合はステップS202で読み込んだ画像データが、フェイド期間に含まれないと判定したフレームの場合はステップS205で自動画像補正した画像データが出力される。なお、画像データの出力は、データ保存部102に所定フォーマットの動画像データにして格納する、表示部103に表示する、あるいは、通信部107などを介して他の装置に送信するなどでよい。

次に、動画像データのすべてのフレームの処理を終了したか否かを判定し(S207)、未了であれば処理をステップS202に戻して、ステップS202からS206の処理を繰り返す。また、終了であれば処理を終了する。なお、処理終了か否かの判定は、動画像データはデータ保存部102に所定フォーマットで格納されているので、ステップS202の読み込み処理に成功したか否かで判定し、失敗した場合に処理終了と判定してもよい。その場合、ステップS207の判定は、ステップS202とS203の間で行う。また、動画像データのフォーマットによっては、動画像データファイルが含む総フレーム数をメタデータとして保持する場合がある。この場合は、総フレーム数をカウンタにセットして、フレームを読み込む度にカウントダウンして、カウント値が0の場合にステップS208で処理終了と判定すればよい。

勿論、入力部101から処理終了を示すユーザ指示を入力した場合にステップS208で処理終了と判定することも考えられる。これは、図1に示す構成に、さらに動画像入力部を設け、動画像入力部から入力した動画像を自動画像補正する場合に有効である。

このように、動画像を自動画像補正する際、フェイドイン・アウト効果を検出し、フェイド期間中のフレームは自動画像補正しないようにすることで、フェイドイン・アウト効果を保持したまま動画像の自動画像補正を行うことができる。

［変形例］
上記では、フェイド期間中か否かに応じて自動画像補正を行う、行わないを分岐するようにした。しかし、自動画像補正処理が「無補正（補正処理なし）」という設定を有する場合、フェイド期間中か否かに応じて補正するしないの指示を自動画像補正処理に与えることで、処理を分岐しないように構成することが可能である。

例えば、画像を解析して補正特性を決定した後、その補正特性に対応する補正用LUTを生成して、補正用LUTにより画像補正を行う。従って、フェイド期間中の場合は、補正用LUTではなく、入力値と同値を出力するLUTを使用するように自動画像補正処理に指示を与えることで「無補正」の自動画像補正処理を実行することができる。

このように、自動画像補正処理を行う、行わないによって処理を分岐しない構成にすれば、パラメータの書き換えだけで、処理フローを単一化することができるので、ハードウェアで動画像の自動画像補正処理を実現する場合に有利である。

以下、本発明にかかる実施例2の画像処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。

実施例1では、フェイド期間中は自動画像補正を行わない、または、無補正にする例を説明した。しかし、フェイドアウト効果の際、フェイドの開始が知覚されるフレームと、フェイド期間の開始が検出されるフレームの間に差があると、その差のフレームに相当する期間、観察者に違和感を与える場合がある。上述したフェイドイン・アウト効果の検出方法は、閾値やフェイドイン・アウト効果の変化速度によって、人間がフェイドの開始を知覚するタイミング（フレーム）と、フェイド期間の開始が検出されるタイミング（フレーム）にずれが発生する可能性がある。

図4はフェイド開始タイミングのずれの問題を説明する図で、横軸は時刻またはフレーム番号を、縦軸は画像の平均輝度値（代表輝度値）を表す。破線401は、動画像データの各フレームの平均輝度値の時間的な変化を示す。また、実線402は、各フレームの補正後の平均輝度値の一例を示す。また、図4において、時刻T0はフェイドアウトの開始時刻、T2は終了時刻、一方、時刻T1はフェイド期間の開始を検出した時刻とする。

図4の0からT0の期間に示すように、自動画像補正により、補正後の平均輝度値402は、補正前のフレームの全体的な平均輝度値yに近付く。

時刻T1においてフェイド期間の開始が検出されると、実施例1によれば、自動画像補正処理は中断される。従って、時刻T1の直前T1-1までは、平均輝度値が実線402に沿う画像データが出力され、時刻T1以降は平均輝度値が破線401に沿う画像データが出力されることになる。すなわち、時刻T1-1と時刻T1の間で、平均輝度値が破線402から破線401にジャンプすることになり、極端な明るさの変化が発生して観察者に違和感を与える。また、時刻T1で自動画像補正を中断しなければ、時刻T1以降も平均輝度値が実線402に沿う画像データが出力され、フェイドアウト効果の意図に反することになる。

そこで、実施例2では、フェイド期間の開始を検出した後、平均輝度値が実線403に沿う画像データを出力するようにして、観察者に与える違和感を解消する。

図5は画像処理装置のCPU 104が実行する画像処理の流れを示すフローチャートである。図3に示す画像処理と異なるのは、ステップS500からS502の処理である。

ステップS204でフェイド期間中と判定した場合、実施例1で説明した方法により、フェイドアウト効果か否かを判定する(S500)。フェイドアウト効果ではない、言い替えれば、フェイドイン効果の場合は実施例1と同様に処理をステップS206に進めて、自動画像補正をスルーパスする。

また、フェイドアウト効果の場合は、実施例1で説明した方法により、フェイド期間の終了を予測し(S501)、補正目標値を設定して(S502)、処理をステップS205に進め、自動画像補正を実行する。

補正目標値の設定は、前フレームの自動画像補正処理(S205)で用いた補正目標（輝度）値または補正結果の平均輝度値を記憶して利用する。つまり、前のフレームの補正目標輝度値と、フェイド期間の終了時の輝度値（最終値E）、現在の時刻、フェイド期間の終了予測時刻から、図4の実線403に沿う平均輝度値になるように式(1)により補正目標値を設定する。なお、最終値Eは例えば255に設定する。
Yt = (Ye - Y0)/{Te - (T - 1)} + Y0 …(1)
ここで、Ytは補正目標値
Teはフェイド期間の終了予測時刻（フレーム番号）
Tは現在の時刻（フレーム番号）
Yeはフェイド期間の終了時の輝度値（最終値E）
Y0は前のフレームの補正目標輝度値または補正結果の平均輝度値

また、ステップS502で補正目標値が設定された場合、ステップS205の自動画像補正は補正目標値に応じた自動画像補正を行うことは言うまでもない。

また、補正目標値の設定に、前フレームの補正目標値または前のフレームの補正結果の平均輝度値を用いる例を説明したが、図4に示す実線403の軌跡を算出するのに妥当な値であればどのような値でも構わない。例えば、フェイド期間の開始を検出した時点の補正目標（輝度）値または補正結果の平均輝度値を用いてもよい。この場合の補正目標値の計算は式(2)で示される。
Yt = (Ye - Ys)/(Te - Ts)×(T - Ts) + Ys …(2)
ここで、Tsはフェイド期間の開始の検出時刻（フレーム番号）
YsはTsにおける補正目標（輝度）値または補正結果の平均輝度値

このように、フェイドアウト効果を検出した場合、急激な平均輝度値の変化を防いで、フェイドアウト効果を再現しつつ自動画像補正を行うことができるから、観察者に与える違和感を抑制することができる。

［他の実施例］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明の目的は、上記実施例の機能を実現するソフトウェアを記録した記憶媒体（記録媒体）をシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ（CPUやMPU）が前記ソフトウェアを実行することでも達成される。この場合、記憶媒体から読み出されたソフトウェア自体が上記実施例の機能を実現することになり、そのソフトウェアを記憶した記憶媒体は本発明を構成する。

また、前記ソフトウェアの実行により上記機能が実現されるだけでなく、そのソフトウェアの指示により、コンピュータ上で稼働するオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。

また、前記ソフトウェアがコンピュータに接続された機能拡張カードやユニットのメモリに書き込まれ、そのソフトウェアの指示により、前記カードやユニットのCPUなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。

本発明を前記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するソフトウェアが格納される。

実施例の画像処理装置の構成例を示すブロック図、露出補正量を決定する方法を説明する図、画像処理装置のCPUが実行する画像処理の流れを示すフローチャート、フェイド開始タイミングのずれの問題を説明する図、画像処理装置のCPU 104が実行する画像処理の流れを示すフローチャート、自動画像補正の一例を説明するための図である。

Claims

動画を構成するフレーム画像を読み込み、前記フレーム画像の代表輝度値および該代表輝度値に応じた目標輝度値に基づき画像補正条件を設定し、前記画像補正条件を用いて前記フレーム画像を画像補正する画像処理方法であって、
フェイドイン・アウト効果の期間に含まれる動画像のフレームを検出する検出ステップと、
前記フェイドイン・アウト効果の期間に含まれるフレームについて、前記フェイドイン効果の期間に含まれるフレームか、前記フェイドアウト効果の期間に含まれるフレームかを判定する判定ステップと、
前記フェイドアウト効果の期間に含まれると判定したフレームの前記目標輝度値を設定する設定ステップと、
前記フェイドイン・アウト効果の期間に含まれないと判定したフレームに対しては前記フレーム画像に基づき設定した画像補正条件を用いた画像補正を施し、前記フェイドアウト効果の期間に含まれると判定したフレームに対しては前記目標輝度値および前記フレーム画像の代表輝度値に基づき設定した画像補正条件を用いた画像補正を施す補正ステップとを有し、
前記設定ステップは、前記フェイドアウト効果の最終輝度値および前記フェイドアウト効果の期間の終了タイミングを予測するステップ、並びに、前記最終輝度値、前記終了タイミング、および、直前のフレームの目標輝度値もしくは補正後のフレーム画像の代表輝度値または前記フェイドイン・アウト効果の期間の開始を検出したフレームの目標輝度値もしくは補正後のフレーム画像の代表輝度値から、注目フレームの目標輝度値を計算するステップを有することを特徴とする画像処理方法。
前記代表輝度値は、前記フレーム画像の平均輝度値であることを特徴とする請求項1に記載された画像処理方法。
動画を構成するフレーム画像を読み込み、前記フレーム画像の代表輝度値および該代表輝度値に応じた目標輝度値に基づき画像補正条件を設定し、前記画像補正条件を用いて前記フレーム画像を画像補正する画像処理装置であって、
フェイドイン・アウト効果の期間に含まれる動画像のフレームを検出する検出手段と、
前記フェイドイン・アウト効果の期間に含まれるフレームについて、前記フェイドイン効果の期間に含まれるフレームか、前記フェイドアウト効果の期間に含まれるフレームかを判定する判定手段と、
前記フェイドアウト効果の期間に含まれると判定したフレームの前記目標輝度値を設定する設定手段と、
前記フェイドイン・アウト効果の期間に含まれないフレームに対しては前記フレーム画像に基づき設定した画像補正条件を用いた画像補正を施し、前記フェイドアウト効果の期間に含まれると判定したフレームに対しては前記目標輝度値および前記フレーム画像の代表輝度値に基づき設定した画像補正条件を用いた画像補正を施す補正手段とを有し、
前記設定手段は、前記フェイドアウト効果の最終輝度値および前記フェイドアウト効果の期間の終了タイミングを予測する手段、並びに、前記最終輝度値、前記終了タイミング、および、直前のフレームの目標輝度値もしくは補正後のフレーム画像の代表輝度値または前記フェイドイン・アウト効果の期間の開始を検出したフレームの目標輝度値もしくは補正後のフレーム画像の代表輝度値から、注目フレームの目標輝度値を計算する手段を有することを特徴とする画像処理装置。
画像処理装置を制御して、請求項1または請求項2に記載された画像処理を実現することを特徴とするプログラム。
請求項4に記載されたプログラムが記録されたことを特徴とするコンピュータが読み取り可能な記録媒体。