JP6462990B2

JP6462990B2 - 画像処理装置およびその方法

Info

Publication number: JP6462990B2
Application number: JP2014045561A
Authority: JP
Inventors: 愛三好
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-03-07
Filing date: 2014-03-07
Publication date: 2019-01-30
Anticipated expiration: 2034-03-07
Also published as: JP2015171038A; US9894283B2; US20150256806A1

Description

本発明は、撮影データの色変換処理に関する。

映像製作における色調整の規格化がThe Academy of Motion Picture Arts and Sciences (AMPAS)において図られている。

図1のブロック図によりAMPASが提唱するディジタル映画制作ワークフロー規格AMPAS-IIFの色変換アーキテクチャー例を示す。AMPAS-IIFの色変換アーキテクチャーは、基本的に、二つの共通色空間と入出力デバイスの対応付けとして定義される（非特許文献1参照）。

二つの共通色空間は、入力色空間1503と出力色空間1505であり、入力色空間1503はAcademy Color Encoding Specification (ACES)である。また、出力色空間1505は、Output Color Encoding Specification (OCES)である。入力デバイス色空間からACES色空間への変換は、入力デバイス変換（Input Device Transform: IDT）1502によって行われる。ACES色空間からOCES色空間への変換は、基準レンダリング変換（Reference Rendering Transform: RRT）1504によって行われる。OCES色空間から出力デバイス色空間への変換は出力デバイス変換（Output Device Transform: ODT）1506によって行われる。

IDT1502により、入力デバイスである撮像装置1501の映像データ（デバイス色空間）がACES1503の映像データ（共通色空間）に変換される。そして、ACES1503の映像データに色調整などの編集加工が施される。その後、RRT104により、編集加工された映像データがOCES1505の映像データに変換される。そして、ODT1506により、OCES1505の映像データ（共通色空間）が出力デバイスである表示装置1507の映像データ（デバイス色空間）に変換される。

ここで、ACES1503は、シーン基準の色空間として定義され、シーン自体を測色計で測定したCIEの三刺激値XYZを線形変換した値をもつ。また、すべてのスペクトル軌跡をカバーするRGB三原色の色度が定められ、16ビット（ビットフロート）でエンコーディングされる。

このように、AMPAS-IIFは、映像製作のワークフローに標準を与える。様々な動画素材を共通色空間であるACESに変換する仕組み、映画上映やテレビジョン(TV)向けの観賞用動画をACESから理想的な出力デバイスの色空間(OCES)に変換する仕組み、OCESから実在する表示デバイスに色変換する仕組みを提供する。その結果、撮影後の編集工程における煩雑な画像変換、色調整作業などの効率化が期待される。

ところで、IDT1502に用いるマトリクス係数は、撮影シーンの光源の分光特性、センサ特性に応じて定まる。従来、代表的な数種類の光源、例えば太陽光、ハロゲンランプなどに基づく入力デバイス変換用のマトリクス係数は、撮像装置の製造者によって装置内部の入力デバイス変換処理や編集ソフトに組み込まれ、ユーザに提供されていた。

SMPTE ST 2065-1:2012

IDT1502においても、製造者が予め組み込んだ数種の光源の中から撮影シーンの光源に該当する光源が選択され、入力デバイス変換に適用される。一方、映画やCMなどの動画作品の撮影には表現手法として様々な光源が用いられる。その結果、製造者が予め組み込んだ光源だけでは対応できない光源が存在し、実際の撮影シーンの光源とIDT1502のマトリクス係数が一致せず、撮像装置1501の映像データを正確にがACES1503に変換できない場合がある。

また、一連のシーンの中で光源が変化する場合がある。例えば、被写体が屋内から屋外に出るシーンである。しかし、IDT1502においては、一つの映像データには一つのマトリクス係数を適用する手法が一般的である。その結果、例えば、屋内シーンにおいては、映像データのACES1503への変換精度が高くても、屋外シーンにおいては、当該変換精度が低下する問題がある。

上記の問題は、映像データをACES1503に変換したところ、映像データの色が想定外の色に変わることを意味する。その場合、後工程において、被写体の実際の色を知らない編集者が色調整しなくてはならないという煩雑な作業が発生し、作業効率の低下を招く。

本発明は、撮影シーンにおける光源に関連する情報を映像データに付加することを目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

本発明にかかる画像処理は、映像データを入力し、前記映像データのフレームごとに、前記映像データの撮影シーンの分光撮像データを入力し、前記映像データのフレームごとに、前記撮影シーンの光源の変化を検出し、前記分光撮像データに基づき前記撮影シーンの光源に関連する情報を作成し、前記映像データのフレームごとに、前記光源の変化が検出された場合に前記光源に関連する情報を前記映像データに付加し、前記光源の変化が検出されなかった場合に前記光源に関連する情報を前記映像データに付加しない。

本発明によれば、撮影シーンにおける光源に関連する情報を映像データに付加することができる。

AMPASが提唱するディジタル映画制作ワークフロー規格AMPAS-IIFの色変換アーキテクチャー例を示すブロック図。実施例の画像処理装置の構成例を示すブロック図。実施例1の画像処理装置の処理構成例を示すブロック図。撮像装置と分光撮像装置の関係を示す図。撮影処理を説明するフローチャート。サンプリング部による分光撮像データのサンプリングと正規化を説明する図。分光情報付き映像データのフォーマット例を示す図。色変換処理を説明するフローチャート。色変換処理部の処理を説明するフローチャート。実施例2の画像処理装置の処理構成例を示すブロック図。ホワイトバランスと光源の関係を説明する図。フラグ付き映像データのフォーマット例を示す図。撮影処理を説明するフローチャート。色変換処理を説明するフローチャート。実施例3の画像処理装置の処理構成例を示すブロック図。撮影処理を説明するフローチャート。

以下、本発明にかかる実施例の画像処理を図面を参照して詳細に説明する。

実施例では、撮影シーンの光源に関連する情報を収集して、映像データをACES色空間へ色変換（以下、ACES変換）する際の、色変換の前提となる光源と実際の撮影シーンの光源の不一致により発生する色のずれを防ぐ処理を説明する。つまり、シーン撮影とともにシーンの光源（とくに被写体を照明する光源）の分光特性を取得し、分光特性データに基づき映像データを高精度にACES変換する。

［装置の構成］
図2のブロック図により実施例の画像処理装置100の構成例を示す。

CPU101は、RAM102をワークメモリとして、ROM103や記憶部105などに格納された各種プログラムを実行し、システムバス112を介して、後述する構成を制御する。CPU101が実行するプログラムには、後述する画像処理を実現するプログラムが含まれる。なお、記憶部105は、ハードディスクドライブ(HDD)やソリッドステートドライブ(SSD)によって構成される。

入力I/F104は、ビデオ入力用の例えばSDI (serial digital interface)などのインタフェイスである。入力I/F104には、シーンを撮影した映像データを生成する撮像装置108、シーンの光源や周囲光を分光撮像した分光撮像データを生成する分光撮像装置109などが接続される。なお、映像データや分光撮像データの入力には、メモリカードと汎用I/F106に接続されたカードリーダを用いてもよい。また、入力I/F104として、USB2.0/3.0、IEEE1394b-2002、HDMI（登録商標）1.4、DisplayPort、Thunderboltなどのインタフェイスを利用することも可能である。

汎用インタフェイス(I/F)106は、例えばUSBなどのシリアルバスインタフェイスであり、入力デバイス107としてキーボード、ポインティングデバイス、カードリーダなどが接続される。また、出力I/F110は、例えばHDMI（登録商標）やDisplayPortなどのマルチメディアインタフェイスであり、出力デバイス111としてモニタなどが接続される。

CPU101は、出力デバイス111にユーザインタフェイス(UI)を表示し、UIを介して入力されるユーザ指示に従い、実施例の画像処理プログラムを含む各種プログラムを実行する。そして、実施例の画像処理プログラムを実行する場合、CPU101は、ユーザ指示に基づき撮像装置108や分光撮像装置109から映像データや分光撮像データを入力する。そして、記憶部105に格納された各種データと分光撮像データに基づき、映像データに各種演算処理を施し、処理後の映像データを記憶部105に格納したり、汎用I/F106を介してメモリカードに格納する。その際、入力した映像データや処理後の映像データをUIに表示する。なお、CPU101は、撮像装置108や分光撮像装置109から入力される映像データや分光撮像データを、一旦または一時的に記憶部105に格納した後、上記演算処理を実行してもよい。

また、実施例の画像処理プログラムや画像処理に必要なデータの格納先は、記憶部105に限らず、例えば、メモリカードのような記録媒体や図示しないネットワークインタフェイスとネットワークを介して接続されたコンピュータ装置（サーバ）でもよい。

［画像処理］
実施例の画像処理は、シーンの撮影工程に関する処理（以下、撮影処理）と、その後の色変換工程に関する処理（以下、色変換処理）から構成される。これら工程は並行または順次に実行される。例えば、シーン撮影と同時にACESの映像データを得たい場合には撮影と同時に色変換処理が実行される。また、撮影した映像データを、一旦、デバイス色空間のデータとして保存した後、当該映像データをACES変換する場合が考えられる。その場合は、撮影処理の後、色変換処理が実行される。

図3のブロック図により実施例1の画像処理装置100の処理構成例を示す。図3に示す処理構成は、CPU101が実施例1の画像処理のプログラムを実行することで実現される。

撮影処理において、画像処理装置110は、シーンを撮影した映像データと分光撮像データを入力し、分光撮像データをデータ圧縮し、映像データと圧縮した分光撮像データを組み合わせたデータ（以下、分光情報付き映像データ）を生成する。つまり、シーンの画像に光源に関する情報を付加した映像データを生成する。

ユーザ指示に基づき、映像データ入力部204は撮像装置108から映像データを入力し、分光データ入力部201は分光撮像装置109から分光撮像データを入力する。分光データ入力部201は、例えば映像データ入力部204が撮像装置108から入力する同期信号に同期して分光撮像装置109にトリガ信号を送信して、分光撮像装置109による分光撮像データの取得タイミングを制御する。

図4により撮像装置108と分光撮像装置109の関係を示す。撮像装置108は、被写体501を含むシーンの映像を撮影する。撮像装置108の近傍に配置された分光撮像装置109は、撮影シーンの光源502や周囲光を分光撮影して、光の波長ごとの輝度情報（分光撮像データ）を取得する。

なお、分光撮像装置109は、USBや有線または無線ネットワーク503を介して撮像装置108と接続され、撮像装置108がシーンを撮影する間、単位時間ごとに、光源502や周囲光の分光撮像データを取得する。なお、本実施例においては、映像データのフレームごとに一つの分光撮像データが取得される。つまり、24 fpsの映像データが撮影される場合、毎秒24の分光撮像データが取得されるが、これに限るものではない。勿論、撮像装置108と分光撮像装置109は一体化されていてもよい。さらに、撮像装置108と分光撮像装置109は、画像処理装置110内部にそれぞれ撮像部、分光撮像部として内蔵されていてもよい。

サンプリング部202は、分光撮像データをサンプリングし、映像データの例えばフレームヘッダに記録可能な形式に正規化する。データ構成部205は、サンプリング部202が出力するデータ（以下、サンプリング分光データ）を、映像データの対応するフレームのヘッダに記録した分光情報付き映像データを生成する。データ保存部206は、ユーザ指示に応じて、分光情報付き映像データをRAM102または記録部105などに格納する。以上が撮影処理である。

色変換処理において、色変換処理部203は、ユーザ指示に基づき、RAM102または記憶部105などから分光情報付き映像データを読み出し、分光情報付き映像データを色変換処理した変換映像データを生成する。変換映像データは、一旦、RAM102または記憶部105に格納され、その後、ユーザ指示に従い記憶部105への保存や出力デバイス111への出力が行われる。

●撮影処理
図5のフローチャートにより撮影処理を説明する。CPU101は、映像処理の開始を示すユーザ指示が入力されると(S301)、撮影処理を開始する。

映像データ入力部204は、撮像装置108から映像データを入力し、当該映像データをデータ構成部205に出力する(S302)。また、分光撮像データ入力部201は、分光撮像装置109から分光撮像データを入力し、当該分光撮像データをサンプリング部202に出力する(S303)。

次に、サンプリング部202は、詳細は後述するが、入力された分光撮像データをサンプリングし正規化して、例えばフレームヘッダに記録可能な形式に変換したサンプリング分光データをデータ構成部205に出力する(S304)。データ構成部205は、詳細は後述するが、サンプリング分光データを、入力される映像データの対応するフレームのヘッダに記録した分光情報付き映像データを生成し、当該データをデータ保存部206に出力する(S305)。

次に、データ保存部206は、分光情報付き映像データをRAM102または記憶部105などに格納する(S306)。

CPU101は、撮影処理の終了を示すユーザ指示が入力されたか否かを判定し(S307)、当該ユーザ指示が未入力の場合は処理をステップS302に戻し、続く映像データの処理を行う。一方、撮影処理の終了を示すユーザ指示が入力された場合は処理をステップS301に戻し、撮影処理を中断する。なお、ステップS302からS306の処理は、フレーム単位に行ってもよいし、映像データ入力部204および分光撮像データ入力部201にフレームバッファをもたせることで、複数フレームを一単位として行ってもよい。

●サンプリング部
図6によりサンプリング部202による分光撮像データのサンプリングと正規化を説明する。図6(a)はある光源の分光撮像データである分光放射輝度L(λ)を示し、図6(b)の各点は図6(a)の分光撮像データに対応するサンプリング分光データL(i)を示す。サンプリング部202は、下式を用いて、分光撮像データを所定の波長間隔でサンプリングし正規化する。
N = (λ_max - λ_min)/S；
L(i) = {L(λ_min + S×i) - L_min}×D/L_max； …(1)
ここで、λ_maxは可視域の最大波長（例えば780nm）、
λ_minは可視域の最小波長（例えば380nm）、
Sは放射輝度のサンプリングステップ（例えば10nm）、
L_minはL(λ)の最小値、
L_maxはL(λ)の最大値、
Dはサンプリング分光データの最大値（例えば255）
iは整数（0≦i≦N）。

図6(b)の例では、サンプリング分光データL(i)として、41の波長に対応する8ビットに正規化されたデータL(0)〜L(41)が得られる。

図6には、例えば波長1nmステップで放射輝度の絶対値を測定し、S=10nmでサンプリングする例を示した。しかし、測定ステップは分光撮像装置109の性能に依存し、2nmステップや5nmステップなどの測定でも構わない。また、測定ステップが10nmを超える場合、色変換精度は低下するが、サンプリングステップをS=20nmやS=50nmにしてサンプリング分光データL(i)を生成すればよい。また、色変換処理に必要な放射輝度は相対値でもよく、放射輝度の測定は相対値で行っても構わない。

図7により分光情報付き映像データのフォーマット例を示す。図7はフレームデータを示し、フレームデータのヘッダにサンプリング数Nとサンプリング分光データL(i)が記録される。このように、撮影処理において、撮影シーンの光源の分光情報を含む映像データが生成される。

●色変換処理
図8のフローチャートにより色変換処理を説明する。

CPU101は、色変換処理の開始を示すユーザ指示が入力されると(S401)、色変換処理を開始する。なお、ユーザは、UIを介して、撮影処理の実行、撮影処理と色変換処理の連続的な実行、または、色変換処理の実行を指示することができる。CPU101は、撮影処理の実行が指示された場合は撮影処理だけを行い、色変換処理の実行が指示された場合は色変換処理だけを行う。また、撮影処理と色変換処理の連続的な実行が指示された場合は両処理を並行して実行する。

色変換処理部203は、RAM102または記憶部105に格納された分光情報付き映像データから注目フレームを読み出す(S402)。そして、色変換処理部203は、詳細は後述するが、注目フレームのヘッダに記録された分光情報に基づき、注目クレームのフレームデータに色変換処理を施し、色変換処理後の注目フレーム（以下、変換フレーム）をデータ保存部206に出力する(S403)。

次に、データ保存部206は、変換フレームを変換映像データとして記憶部105などに保存する(S404)。注目フレームの色変換処理が終了すると、CPU101は、分光情報付き映像データに含まれる全フレームの色変換処理が終了したか否かを判定し(S405)、未了の場合は処理をステップS402に戻す。これにより、色変換処理部203は、分光情報付き映像データから次のフレームを注目フレームとして読み出し色変換処理を実行する。そして、分光情報付き映像データが含む全フレームの色変換処理が終了するまでステップS402からS404の処理が繰り返される。

なお、ステップS402からS404の処理は、フレーム単位に行ってもよいし、複数フレームを一単位として行ってもよい。

●色変換処理部
図9のフローチャートにより色変換処理部203の処理(S403)を説明する。なお、図9に示す処理は1フレーム分の処理である。

色変換処理部203は、注目フレームのヘッダに記録されたサンプリング分光データL(i)から色変換マトリクスMtrを算出し、フレームデータと色変換マトリクスMtrの積算により色変換後のフレームデータを算出する。なお、色変換マトリクスMtrは、入力デバイス変換(IDT)に相当し、例えば3×3の行列である。

色変換マトリクスMtrの算出において、色変換処理部203は、記憶部105から仮想被写体の分光反射率R(i)、等色関数x(i)y(i)z(i)、撮像装置108のRGBフィルタ特性r(i)g(i)b(i)を取得する(S4021)。仮想被写体の分光反射率R(i)は、サンプリング分光データL(i)のサンプリングステップSとサンプリング数Nに基づき、仮想被写体の分光反射率R(λ)からサンプリングされたサンプリングデータである。同様に、等色関数x(i)y(i)z(i)は等色関数x(λ)y(λ)z(λ)からサンプリングされたサンプリングデータであり、透過特性r(i)g(i)b(i)は透過特性r(λ)g(λ)b(λ)からサンプリングされたサンプリングデータである。なお、ステップS4021の処理は、色変換処理において一度だけ実行すればよい初期処理である。

仮想被写体は、実際の撮影シーンに登場するものではなく、計算上必要な仮想的な被写体であり、ColorChecker（登録商標）のようなカラーパレットでもよいし、人の肌などでもよい。

次に、色変換処理部203は、注目フレームのヘッダから分光情報を取得し(S4022)、下式により、分光情報に基づく仮想被写体の三刺激値X1Y1Z1を算出する(S4023)。
L'(i) = L(i)・L_max/D + L_min；
X1 = 683(N-1)S・ΣL'(i)R(i)x(i)；
Y1 = 683(N-1)S・ΣL'(i)R(i)y(i)；
Z1 = 683(N-1)S・ΣL'(i)R(i)z(i)； …(2)
ここで、iは整数（1≦i≦N）、
Σ演算の範囲は1からN。

次に、色変換処理部203は、下式により、撮像装置108が撮影する仮想被写体画像のRGB値R_CamG_CamB_Camを算出する(S4024)。
R_Cam = (N-1)S・ΣL'(i)R(i)r(i)；
G_Cam = (N-1)S・ΣL'(i)R(i)g(i)；
B_Cam = (N-1)S・ΣL'(i)R(i)b(i)； …(3)
ここで、iは整数（1≦i≦N）、
Σ演算の範囲は1からN。

次に、色変換処理部203は、式(4)(5)によって算出されるX2Y2Z2と、式(2)によって算出されたX1Y1Z1の間の差を最小にする色変換マトリクスMtrを算出する(S4025)。なお、最適化手法は限定されないが、例えば準ニュートン法を用いる。
┌ ┐ ┌ ┐
│R_ACES│ │R_Cam│
│G_ACES│= Mtr│G_Cam│ …(4)
│B_ACES│ │B_Cam│
└ ┘ └ ┘
┌ ┐ ┌ ┐┌ ┐
│X2│ │0.9525523959 0.0 0.0000936786││R_ACES│
│Y2│ = │0.3439664498 0.7281660966 -0.0721325464││G_ACES│ …(5)
│Z2│ │0.0 0.0 1.0088251844││B_ACES│
└ ┘ └ ┘└ ┘
ここで、R_ACESG_ACESB_ACESはACESにおけるRGB値。

カラーパレットのような仮想被写体を用いる場合、カラーパレットが含む主要色（例えば記憶色）についてステップS4023からS4025の処理が繰り返され、主要色における色差の合計を最小にする色変換マトリクスMtrが算出される。

色変換処理部203は、色変換マトリクスMtrを算出すると、式(4)により、フレームデータから色変換処理後のフレームデータを算出する(S4026)。その際、フレームデータのRGB値は輝度に対してリニアであることが前提である。フレームデータにガンマ補正が施されている場合、色変換処理部203は、逆ガンマ補正によりフレームデータを輝度リニアに逆変換した後、式(4)の演算を行う。

前フレームの分光情報と注目フレームの分光情報の間に変化がない場合、または、当該変化が所定の閾値未満の場合、色変換処理部203は、前フレームにおいて算出した色変換マトリクスMtrを使用する。

また、過去のフレームの処理において算出した色変換マトリクスMtrをキャッシュしてもよい。その場合、色変換処理部203は、注目フレームの分光情報がキャッシュした色変換マトリクスMtrの分光情報と同一または近似する場合（キャッシュヒット）、キャッシュした色変換マトリクスMtrを使用する。

このように、撮影シーンの光源の分光情報を映像データの色変換情報として映像データに付加し、色変換処理において分光情報から色変換マトリクスを生成する。その結果、実際の撮影シーンの光源の特性を反映した高精度な色変換が可能になる。また、予め用意された色変換マトリクスに対応する光源以外の光源によって撮影シーンが照明されていたとしても、当該光源の特性を反映した高精度な色変換が可能になる。

以下、本発明にかかる実施例2の映像データの色処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。

実施例1では、フレームごとに光源情報をフレームヘッダに記録する方法を説明した。実施例2では、光源の変化をフレームヘッダに記録する例を説明する。

図10のブロック図により実施例2の画像処理装置100の処理構成例を示す。図10に示す処理構成は、CPU101が実施例2の画像処理のプログラムを実行することで実現される。実施例2の処理構成は、図3の構成から分光撮像データ入力部201とサンプリング部202を削除し、光源変化検出部211と光源選択部212を加えた構成を有する。また、実施例2において、分光撮像装置109は不要である。

光源変化検出部211は、映像データ入力部204が入力した映像データから光源の変化を検出する。例えば、フレームのホワイトバランスの変化を光源の変化として検出すればよい。

図11によりホワイトバランスと光源の関係を説明する。あるフレームfにおけるホワイトバランスWB(f)は、フレームの各画素においてB-G値、R-G値を算出し、それらの平均値として表される。図11において平均R-G値と平均B-G値から延伸した直線の交点がホワイトバランスWB(f)である。また、図11に示す領域A1からA5は光源の違いを表す。

図11に示すように、フレームf1のホワイトバランスWB(f1)が領域A3にあり、次フレームf2のホワイトバランスWB(f2)が領域A4にある場合、光源変化検出部211は、撮影シーンの光源が変化したと判定する。その場合、光源変化検出部211は、光源変化フラグF=‘1’をデータ構成部205に出力する。

データ構成部205は、光源変化検出部211が出力するフラグFを、映像データの光源変換が検出されたフレームのヘッダに記録したフラグ付き映像データを生成する。データ保存部206は、ユーザ指示に応じて、フラグ付き映像データをRAM102または記録部105などに格納する。以上が撮影処理である。

色変換処理において、光源選択部212は、撮影シーンの光源選択用のUIである光源選択ダイアログをユーザに提供して、ユーザに光源を選択させる。光源選択ダイアログには、例えば、代表的な光源名の選択リストが表示される。ユーザは、例えば出力デバイス111に表示された撮影シーンの画像を参照して、当該リストから当該撮影シーンに対応する光源名を選択する。

色変換処理部203は、ユーザ指示に基づき、RAM102または記憶部105などからフラグ付き映像データを読み出し、選択された光源に対応する色変換マトリクスMtrを用いてフラグ付き映像データを色変換処理した変換映像データを生成する。変換映像データは、一旦、RAM102または記憶部105に格納され、その後、ユーザ指示に従い記憶部105への保存や出力デバイス111への出力が行われる。

図12によりフラグ付き映像データのフォーマット例を示す。図12(a)はフレームデータを示し、フレームデータのヘッダに光源変化フラグFが記録される。なお、光源変化が検出されたフレームにはF=‘1’が記録され、光源変化が未検出のフレームにはF=‘0’が記録される。

また、上記では、フレーム集合の映像データを説明したが、映像データがマルチメディアコンテナに格納されている場合もある。その場合、図12(b)に例示するように、コンテナのヘッダに光源変化フラグF=‘1’が発生した回数N_Tと光源変化が検出されたフレームのタイムコードt(j)（1≦j≦N_T）が記録される。

図13のフローチャートにより撮影処理を説明する。なお、ステップS301、S302、S307の処理は実施例1と略同様であり、その詳細説明を省略する。

光源変化検出部211は映像データから光源の変化を検出し(S311)、データ構成部205はフラグ付き映像データを生成し(S312)、データ保存部206はフラグ付き映像データをRAM102または記録部105などに格納する(S313)。

図14のフローチャートにより色変換処理を説明する。なお、ステップS401、S403-S405の各処理は実施例1と略同様であり、その詳細説明を省略する。

色変換処理が開始されると、光源選択部212は、光源選択ダイアログをUIに表示し(S411)、光源の選択を待ち(S412)、光源が選択されると処理をステップS413に進める。

色変換処理部212は、RAM102または記憶部105に格納されたフラグ付き映像データから注目フレームを読み出し(S413)、注目フレームの光源変化フラグFを判定する(S414)。そして、F=‘0’の場合は処理をステップS403に進める。一方、F=‘1’の場合は光源変化が検出されているため、光源選択部212に、光源選択ダイアログをUIに表示させ(S415)、光源の選択を待つ(S416)。そして、光源が選択されると、処理をステップS403に進める。

ステップS403において、色変換処理部203は、選択された光源に対応する色変換マトリクスMtrを記憶部105から読み出し、当該色変換マトリクスMtrを色変換処理に設定して色変換処理を行う。つまり、光源変化が検出されたフレームが出現しない限り、設定済みの色変換マトリクスMtrを使用する色変換処理が継続される。そして、光源変化が検出されたフレームが出現すると、色変換マトリクスMtrの再選択と再設定が行われ、再設定された色変換マトリクスMtrを使用する色変換処理が開始される。

このように、撮影シーンにおける光源変化を示す情報を映像データに付加し、色変換処理において光源変化を示す情報に基づき色変換マトリクスの再設定を行う。その結果、実際の撮影シーンの光源の特性を反映した高精度な色変換が可能になる。

なお、上記では、光源変化検出部211によって光源変化を検出する例を説明したが、ユーザが入力デバイス107を介して光源変化を指示し、当該指示が入力されたタイミングのタイムコードを取得して、光源変化タイミングとすることもできる。

以下、本発明にかかる実施例3の映像データの色処理を説明する。なお、実施例3において、実施例1、2と略同様の構成については、同一符号を付して、その詳細説明を省略する。

実施例1では、フレームデータに分光情報を付加する例を説明した。分光情報はサンプリングと正規化が施されているとは言え、サンプリングステップS=10nmとすると41のサンプリング分光データL(i)をヘッダに付加することになり、映像データのデータ量が増大する。

本実施例3では、分光撮像データから色変換マトリクスMtrを作成し、作成した色変換マトリクスMtrをフレームデータに付加する。フレームデータに付加されるデータは、色変換マトリクスMtrが3×3とすれば九個のマトリクス係数で済み、付加するデータ量が削減される。つまり、サンプリング数Nを減らして変換精度を低下させることなく、映像データのデータ量増大を抑制することができる。

図15のブロック図により実施例3の画像処理装置100の処理構成例を示す。図15に示す処理構成は、CPU101が実施例3の画像処理のプログラムを実行することで実現される。実施例3の処理構成は、サンプリング部202の代わりに、色変換マトリクス作成部221を有する。

色変換マトリクス作成部221は、入力された分光撮像データから色変換マトリクスMtrを作成する。色変換マトリクスMtrの作成方法は、実施例1と略同様であるが、各データがサンプリングされていない点と、分光情報が正規化されていない点で異なる。つまり、色変換マトリクス作成部221は、式(2)(3)の代わりに式(2')(3')を用いて、仮想被写体の三刺激値X1Y1Z1の算出と撮像装置108が撮影する仮想被写体画像のRGB値の算出を行う。そして、式(4)(5)を用いて色変換マトリクスMtrを作成する。
X1 = 683∫L(λ)R(λ)x(λ)；
Y1 = 683∫L(λ)R(λ)y(λ)；
Z1 = 683∫L(λ)R(λ)z(λ)； …(2')
ここで、積分範囲は例えば380nmから780nm。
R_Cam = ∫L(λ)R(λ)r(λ)；
G_Cam = ∫L(λ)R(λ)g(λ)；
B_Cam = ∫L(λ)R(λ)b(λ)； …(3')
ここで、積分範囲は例えば380nmから780nm。

データ構成部205は、色変換マトリクス作成部211が出力する色変換マトリクスのマトリクス係数をフレームのヘッダに記録した色変換マトリクス付き映像データを生成する。データ保存部206は、ユーザ指示に応じて、色変換マトリクス付き映像データをRAM102または記録部105などに格納する。以上が撮影処理である。

図16のフローチャートにより撮影処理を説明する。なお、ステップS301、S302、S303、S307の処理は実施例1と略同様であり、その詳細説明を省略する。

色変換マトリクス作成部221は分光撮像データから色変換マトリクスを作成し(S321)、データ構成部205は色変換マトリクス付き映像データを生成する(S322)。そして、データ保存部206は色変換マトリクス付き映像データをRAM102または記録部105などに格納する(S323)。

実施例3の色変換処理において、図8のステップS402「分光情報付き映像データから注目フレームを読み出す」の「分光情報付き映像データ」が「色変換マトリクス付き映像データ」に置き換わる。そして、色変換処理部203は、注目フレームに付加された色変換マトリクスMtrを用いて、式(4)により、フレームデータから色変換処理後のフレームデータを算出する(S4026)。これらを除き、処理の大きな違いはない。

前フレームの分光撮像データと注目フレームの分光撮像データの間に変化がない場合、または、当該変化が所定の閾値未満の場合、色変換マトリクス作成部221は、前フレームにおいて作成した色変換マトリクスMtrを出力する。

また、過去のフレームの処理において作成した色変換マトリクスMtrをキャッシュしてもよい。その場合、色変換マトリクス作成部221は、注目フレームの分光撮像データがキャッシュした色変換マトリクスMtrの分光撮像データと同一または近似する場合（キャッシュヒット）、キャッシュした色変換マトリクスMtrを出力する。

このように、撮影シーンの光源に対応する色変換マトリクスを映像データの色変換情報として映像データに付加し、当該色変換マトリクスを用いて色変換処理を行う。その結果、実際の撮影シーンの光源の特性を反映した高精度な色変換が可能になる。また、実施例1と同様に、予め用意された色変換マトリクスに対応する光源以外の光源によって撮影シーンが照明されていたとしても、当該光源の特性を反映した高精度な色変換が可能になる。

［変形例］
以上、三つの実施例を説明したが、これら実施例の機能を組み合わせることも可能である。例えば、実施例1と2を組み合わせて、撮影シーンの光源変化を検出した場合に、光源変化を検出したフレームに分光情報を付加することができる。あるいは、実施例2と3を組み合わせて、撮影シーンの光源変化を検出した場合に、光源の分光特性から色変換マトリクスを生成し、光源変化を検出したフレームに色変換マトリクスを付加することができる。

光源変化は、映像データのフレームのホワイトバランスの変化から検出してもよいし、分光撮像データの変化から検出してもよい。このように、光源変化を検出した場合に分光情報または色変換マトリクスの付加を行えば、CPU101の演算量を削減することができる。

上記の実施例により、例えば、撮影シーンの光源が変化した場合、光源に関連する情報に基づく色変換により、映像データの色変換の前提となる光源と実際の撮影シーンの光源の不一致により発生する色のずれを防ぐことができる。

［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステムあるいは装置のコンピュータ（又はCPUやMPU等）がプログラムを読み出して実行する処理である。

Claims

映像データを入力する第一の入力手段と、
前記映像データのフレームごとに、前記映像データの撮影シーンの分光撮像データを入力する第二の入力手段と、
前記映像データのフレームごとに、前記撮影シーンの光源の変化を検出する検出手段と、
前記分光撮像データに基づき前記撮影シーンの光源に関連する情報を作成する作成手段と、
前記映像データのフレームごとに、前記検出手段により光源の変化が検出された場合に前記光源に関連する情報を前記映像データに付加し、前記検出手段により光源の変化が検出されなかった場合に前記光源に関連する情報を前記映像データに付加しない付加手段とを有する画像処理装置。
前記作成手段は、前記光源に関連する情報として、前記分光撮像データを所定の波長間隔でサンプリングした分光情報を作成する請求項1に記載された画像処理装置。
前記作成手段は、前記光源に関連する情報として、前記分光撮像データを所定の波長間隔でサンプリングし、前記サンプリングした分光撮像データを正規化した分光情報を作成する請求項1に記載された画像処理装置。
さらに、前記映像データに付加された分光情報から色変換マトリクスを生成し、前記色変換マトリクスを使用して前記映像データを色変換する色変換手段を有する請求項2または請求項3に記載された画像処理装置。
前記色変換手段は、前記分光情報、仮想被写体の分光反射率、等色関数、前記映像データを撮像する撮像手段のRGBフィルタ特性から前記色変換マトリクスを作成する請求項4に記載された画像処理装置。
前記作成手段は、前記光源に関連する情報として、前記映像データの色変換マトリクスを作成する請求項1に記載された画像処理装置。
前記作成手段は、前記分光撮像データ、仮想被写体の分光反射率、等色関数、前記映像データを撮像する撮像手段のRGBフィルタ特性から前記色変換マトリクスを作成する請求項6に記載された画像処理装置。
さらに、前記映像データに付加された色変換マトリクスを使用して前記映像データを色変換する色変換手段を有する請求項6または請求項7に記載された画像処理装置。
前記検出手段は、前記映像データのホワイトバランスの変化から前記光源の変化を検出する請求項1に記載された画像処理装置。
映像データを入力し、
前記映像データのフレームごとに、前記映像データの撮影シーンの分光撮像データを入力し、
前記映像データのフレームごとに、前記撮影シーンの光源の変化を検出し、
前記分光撮像データに基づき前記撮影シーンの光源に関連する情報を作成し、
前記映像データのフレームごとに、前記光源の変化が検出された場合に前記光源に関連する情報を前記映像データに付加し、前記光源の変化が検出されなかった場合に前記光源に関連する情報を前記映像データに付加しない画像処理方法。
コンピュータを請求項1から請求項9の何れか一項に記載された画像処理装置の各手段として機能させるためのプログラム。
請求項11に記載されたプログラムが記録されたコンピュータが読み取り可能な記録媒体。