JP6387238B2 - 動画の色調整方法および動画の色調整システム - Google Patents

Description

本発明は、画像の色を調整する画像の色調整方法および画像の色調整システムに関する。

従来、映画の制作では、撮影後のポストプロダクションにおいて、撮影した画像の色を調整する、いわゆるカラーコレクション（色調整）が行われている。このカラーコレクションでは、撮影機材や映写機材等の特性の違いによる色味の差を調整したり、作品全体を監督の意図する雰囲気に合致させたりといったことが行われる。近年の映画撮影では、従来のフィルム撮影に代わってデジタル撮影が主流となっており、また、民生用のデジタルカメラ等も幅広く普及していることから、デジタル撮影した画像の色調整を効率的、効果的に行うための装置や方法等も種々提案されている（例えば、特許文献１または２参照）。

特開２０１０−５５０２９号公報 特開２００７−２０８６７３号公報

しかしながら、従来の装置や方法では、例えば画像データのＲ値（Ｒｅｄ）、Ｇ値（Ｇｒｅｅｎ）およびＢ値（Ｂｌｕｅ）を各画素について一律に変更する等、画像の全体的な色味の調整や特定の色の調整のみを行うものがほとんどであり、例えば画像中の人物等、特定の領域についてのみ色調整を行うことが難しいという問題があった。

すなわち、特定の領域についてのみ色調整を行うには、上記特許文献２に示されるように、色調整を行う領域を指定する必要があるが、領域指定を適切に行わない限り、色調整を行いたくない領域にまで色調整の影響が少なからず及ぼされる結果となるため、領域指定に手間がかかるという問題があった。

また、領域指定を適切に行ったとしても、領域内に含まれる画素について一律に色調整が行われることから、領域内外の境界部分において色味の差が大きく出てしまい、看者に違和感を与える画像となってしまう場合があった。

本発明は、斯かる実情に鑑み、簡便且つ自由度の高い色調整を行うことが可能な色調整方法および色調整システムを提供しようとするものである。

（１）本発明は、画像を構成する各画素の奥行き情報を取得する奥行き情報取得ステップと、前記各画素の色情報を調整する調整情報を取得する調整情報取得ステップと、前記奥行き情報に基づいて前記調整情報を補正した個別調整情報を各画素に設定する個別調整情報設定ステップと、前記個別調整情報に基づいて前記各画素の色情報を変更する色情報変更ステップと、を有することを特徴とする、画像の色調整方法である。

（２）本発明はまた、前記個別調整情報設定ステップは、前記奥行き情報の関数である補正情報を導出する補正情報導出ステップと、前記補正情報に基づいて前記個別調整情報を導出する個別調整情報導出ステップと、を有することを特徴とする、上記（１）に記載の画像の色調整方法である。

（３）本発明はまた、前記奥行き情報は、所定の範囲内の数値であり、前記補正情報は、前記所定の範囲内で極値をとる関数であることを特徴とする、上記（２）に記載の画像の色調整方法である。

（４）本発明はまた、色調整の基準とする前記奥行き情報である基準奥行き情報を取得する基準奥行き情報取得ステップを有し、前記補正情報は、前記基準奥行き情報において極値をとる関数であることを特徴とする、上記（３）に記載の画像の色調整方法である。

（５）本発明はまた、前記基準奥行き情報は、前記画像中の指定された前記画素の前記奥行き情報に基づいて取得されることを特徴とする、上記（４）に記載の画像の色調整方法である。

（６）本発明はまた、前記画像中において色調整を行う領域を特定する領域特定ステップを有することを特徴とする、上記（１）乃至（５）のいずれかに記載の画像の色調整方法である。

（７）本発明はまた、前記調整情報は、所定の複数の前記画素の色情報に基づいて前記各画素の色情報を調整するフィルタであることを特徴とする、上記（１）乃至（６）のいずれかに記載の画像の色調整方法である。

（８）本発明はまた、画像を構成する各画素の奥行き情報を取得する奥行き情報取得手段と、前記各画素の色情報を調整する調整情報を取得する調整情報取得手段と、前記奥行き情報に基づいて前記調整情報を補正した個別調整情報を各画素に設定する個別調整情報設定手段と、前記個別調整情報に基づいて前記各画素の色情報を変更する色情報変更手段と、を有することを特徴とする、画像の色調整システムである。

（９）本発明はまた、前記個別調整情報設定手段は、前記奥行き情報の関数である補正情報を導出する補正情報導出手段と、前記補正情報に基づいて前記個別調整情報を導出する個別調整情報導出手段と、を有することを特徴とする、上記（８）に記載の画像の色調整システムである。

本発明に係る色調整方法および色調整システムによれば、簡便且つ自由度の高い色調整を行うことが可能という優れた効果を奏し得る。

本発明の実施の形態に係る色調整システムを構成するコンピュータの内部構成を示した概略図である。 補助記憶装置に記憶された色調整プログラムのプログラム構成、およびこの色調整プログラムをＣＰＵが実行することによって実現される色調整システムの機能構成を示した概略図である。 （ａ）および（ｂ）補正情報の一例を示した概略図である。 （ａ）色調整を行う対象画像の一例を示した概略図である。（ｂ）対象画像の奥行き情報の分布を表すデプスマップの一例を示した概略図である。 （ａ）および（ｂ）対象画像に色調整を行う場合の補正情報の例を示した概略図である。 （ａ）〜（ｈ）その他の補正情報の例を示した概略図である。 色調整システムによる色調整方法の手順を示したフローチャートである。 色調整を行う際に表示装置に表示する色調整画面の一例を示した概略図である。 対象画像において色調整を行う領域を特定する場合の一例を示した図である。 （ａ）および（ｂ）調整情報を各種フィルタとした場合における色調整の例を示した図である。

以下、本発明の実施の形態を添付図面を参照して説明する。

図１は、本実施形態に係る色調整システム１を構成するコンピュータ１０の内部構成を示した概略図である。同図に示されるように、コンピュータ（電子計算機）１０は、ＣＰＵ１２、ＲＯＭ１４、ＲＡＭ１６、補助記憶装置１８、入力装置２０、表示装置２２、入出力インタフェース２４およびバス２６を備えて構成されている。

ＣＰＵ１２は、中央演算処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、各種プログラムを実行することによって色調整システム１の各種機能を実現する。ＲＯＭ１４は、リード・オンリー・メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）であり、ＣＰＵ１２で実行される基本的なプログラムを記憶する。ＲＡＭ１６は、ランダム・アクセス・メモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であり、ＣＰＵ１２の作業領域として使用される。

補助記憶装置１８は、例えばハードディスクドライブ、光ディスクドライブ、フラッシュメモリまたはソリッド・ステート・ドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等から構成され、色調整システム１の全体的な基本動作を実現するＯＳ（Ｏｐｅｒａｔｉｏｎ Ｓｙｓｔｅｍ）プログラム、および画像の色調整を行う際にＣＰＵ１２で実行される色調整プログラムを記憶すると共に、画像等の各種データを記憶する。

入力装置２０は、例えばキーボードやマウス、タッチパネル等から構成され、ユーザからの各種情報の入力操作を受け付ける。表示装置２２は、例えば液晶ディスプレイから構成され、各種画像を表示すると共に、ユーザに対する視覚的なインタフェースを提供する。入出力インタフェース２４は、画像データ等の各種データを外部の機器とやり取りするためのインタフェースである。バス２６は、ＣＰＵ１２、ＲＯＭ１４、ＲＡＭ１６、補助記憶装置１８、入力装置２０、表示装置２２および入出力インタフェース２４等を一体的に接続して通信を行うための経路である。

図２は、補助記憶装置１８に記憶された色調整プログラムのプログラム構成、およびこの色調整プログラムをＣＰＵ１２が実行することによって実現される色調整システム１の機能構成を示した概略図である。同図に示されるように、色調整プログラムは、奥行き情報取得プログラム、調整情報取得プログラム、基準奥行き情報取得プログラム、個別調整情報設定プログラム、および色情報変更プログラムから構成されている。また、個別調整情報プログラムは、補正情報導出プログラムおよび個別調整情報導出プログラムから構成されている。

従って、色調整システム１は、機能構成として、奥行き情報取得プログラムの実行によって実現される奥行き情報取得手段３０、調整情報取得プログラムの実行によって実現される調整情報取得手段３２、基準奥行き情報取得プログラムの実行によって実現される基準奥行き情報取得手段３４、個別調整情報設定プログラムの実行によって実現される個別調整情報設定手段３６、色情報変更プログラムの実行によって実現される色情報変更手段３８を備えている。また、個別調整情報設定手段３６は、補正情報導出プログラムの実行によって実現される補正情報導出手段３６ａ、および個別調整情報導出プログラムの実行によって実現される個別調整情報導出手段３６ｂを備えている。

なお、色調整システム１では、色調整プログラムの各構成と各機能構成とが１対１の対応関係にあることから、以下、色調整システム１の機能構成の説明のみを行い、プログラムの説明については省略する。

奥行き情報取得手段３０は、色調整を行う対象画像の各画素に設定された奥行き情報を取得するものである。この奥行き情報は、具体的には、画像において各画素が表している部分の前後方向（すなわち、画面に垂直な方向）の位置を設定するものであり、例えば通常の平面画像（二次元画像）から、右眼用画像および左眼用画像からなる立体視画像（三次元画像）を生成する際に、いわゆるデプスマップ等として作成されるものである。

奥行き情報取得手段３０は、対象画像について予めデプスマップ等が作成されている場合には、このデプスマップ等を参照して奥行き情報を取得する。このデプスマップ等は、予め画像データと共に補助記憶装置１８に記憶されているものであってもよいし、入出力インタフェース２４を介して外部から取得されるものであってもよい。

対象画像について予めデプスマップ等が作成されていない場合には、奥行き情報取得手段３０は、各画素について奥行き情報を新たに生成する。この奥行き情報の生成方法としては、例えば特開２００２−１２３８４２号公報に開示された方法や、本出願人に係る特開２０１２−２２７７９７号公報に開示された方法等、既知の各種方法を採用することができる。また、対象画像が三次元コンピュータグラフィックスである場合には、対象画像に含まれる各オブジェクトの仮想三次元空間上における配置情報に基づいて奥行き情報を生成するようにしてもよい。取得または生成した奥行き情報は、必要に応じてＲＡＭ１６または補助記憶装置１８に記憶される。

調整情報取得手段３２は、画像の色調整を行う際の色の調整量（修正量）、具体的には、画像を構成する各画素について設定された色情報の調整量（修正量）を示す調整情報を取得するものである。ここで、各画素について設定された色情報としては、例えばＲＧＢカラーモデルにおけるＲ値（Ｒｅｄ）、Ｇ値（Ｇｒｅｅｎ）およびＢ値（Ｂｌｕｅ）や、ＣＭＹカラーモデルにおけるＣ値（Ｃｙａｎ）、Ｍ値（Ｍａｇｅｎｔａ）、Ｙ値（Ｙｅｌｌｏｗ）等であってもよいし、色の三属性である色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）および明度（Ｖａｌｕｅ）であってもよい。すなわち、色情報は、各種色空間における座標値であればよく、色の修正を各種色空間内における移動とみなすならば、調整情報は各種色空間内における移動量を示すものであるということができる。なお、色情報は、グレースケールにおける階調値であってもよいことは言うまでもない。

調整情報取得手段３２は、入力装置２０を介したユーザからの調整情報の入力により、調整情報を取得する。調整情報の入力は、例えば表示装置２２にスライダの画像を表示してこれをマウス等によってユーザにドラッグさせることで行ってもよいし、キーボード等によって直接調整情報の数値を入力させることで行ってもよい。また、予め補助記憶装置１８等に記憶されたデータを調整情報取得手段３２が参照することで、調整情報を取得するようにしてもよい。取得した調整情報は、ＲＡＭ１６または補助記憶装置１８に記憶される。

基準奥行き情報取得手段３４は、色調整において基準とする奥行き情報である基準奥行き情報を取得するものである。基準奥行き情報取得手段３４は、入力装置２０を介したユーザからの基準奥行き情報の入力により、基準奥行き情報を取得する。基準奥行き情報の入力は、例えば表示装置２２に対象画像を表示し、マウスポインタ等によってユーザから指定された画素の奥行き情報を基準奥行き情報として取得するようにしてもよいし、キーボード等によって基準奥行き情報の数値を直接入力させるようにしてもよい。取得した基準奥行き情報は、ＲＡＭ１６または補助記憶装置１８に記憶される。

個別調整情報設定手段３６は、取得した調整情報を奥行き情報に基づいて補正し、画素ごとの色の調整量（修正量）を示す個別調整情報を各画素について設定するものである。個別調整情報設定手段３６は、上述のように、補正情報導出手段３６ａおよび個別調整情報導出手段３６ｂを備えている。補正情報導出手段３６ａは、取得した基準奥行き情報に基づいて、奥行き情報を変数とする関数である補正情報を導出するものである。導出した補正情報は、必要に応じてＲＡＭ１６または補助記憶装置１８に記憶される。また、個別調整情報導出手段３６ｂは、導出した補正情報および各画素に設定された奥行き情報に基づいて、画素ごとに補正された調整情報である個別調整情報を導出するものである。導出した個別調整情報は、各画素に対応付けてＲＡＭ１６または補助記憶装置１８に記憶され、これにより、各画素に個別調整情報が設定される。

図３（ａ）および（ｂ）は、補正情報の一例を示した概略図であり、横軸を奥行き情報Ｄ、縦軸を補正情報Ｃとしたグラフを示ししている。上述のように、補正情報Ｃは奥行き情報Ｄの関数、すなわちＣ＝ｆ（Ｄ）であり、この例では、同図（ａ）に示されるように、基準奥行き情報ＳＤにおいて極大値をとる正規分布曲線に類似した曲線となるように補正情報Ｃを設定している。また、この例では、補正情報Ｃの最大値を１、最小値を０（または、略０）に設定している。従って、この例では、補正情報Ｃを調整情報に直接乗ずることで個別調整情報を導出することにより、基準奥行き情報ＳＤにおいて色の調整量が最大（取得した調整情報と同一の調整量）となり、基準奥行き情報ＳＤから離れるに従って色の調整量が減少するようになっている。

補正情報Ｃをこのような関数に設定することで、奥行き情報Ｄの値が基準奥行き情報ＳＤの値の近傍となる画素についてのみ色調整を行い、他の画素については色調整を行わない（または、殆ど行わない）ようにすることができる。これにより、色調整システム１では、複雑で手間のかかる領域指定等を行わずとも、色調整を行いたい領域に含まれる画素の奥行き情報Ｄを基準奥行き情報ＳＤに設定するだけで、所望の領域のみに色調整を行うことが可能となっている。

さらに、色調整システム１では、同図（ｂ）に示されるように、画像中の奥行き情報Ｄの値の範囲内（ここでは、０〜１００の範囲内）で、基準奥行き情報ＳＤの値を変更することで、対象画像中のいずれの領域に色調整を行うかを選択することが可能となっている。また、色調整システム１では、補正情報Ｃの曲線形状、例えば尖度（尖り具合）や歪度（対称性）を変更することで、色調整を行う領域の範囲を適宜に調整することも可能となっている。

図４（ａ）は、色調整を行う対象画像１００の一例を示した概略図であり、同図（ｂ）は、対象画像１００の奥行き情報の分布を表すデプスマップ１１０の一例を示した概略図である。同図（ａ）に示されるように、例えば対象画像１００が人物１０１、丘１０２、木１０３、山１０４および空１０５が映し出された画像である場合、画像中の各被写体の前後方向の位置は、人物１０１が最も手前側となり、以下、丘１０２、木１０３、山１０４、空１０５の順で奥側に位置することとなる。

従って、対象画像１００のデプスマップ１１０においては、同図（ｂ）に示されるように、人物１０１が映し出された領域１１１内に最も手前側近傍を示す値の奥行き情報が分布することとなる。例えば、最も手前側を示す奥行き情報の値を０、最も奥側を示す奥行き情報の値を１００とした場合に、領域１１１内における奥行き情報の値は、例えば０〜２０の範囲内で分布することとなる。そして、人物１０１よりも奥側に位置する丘１０２が映し出された領域１１２内における奥行き情報は、領域１１１よりも奥側となる値、例えば３０〜６０の範囲内で分布することとなる。

同様にして、木１０３が映し出された領域１１３内における奥行き情報の値は、領域１１２よりも奥側となる例えば７０〜８０の範囲内で分布し、山１０４が映し出された領域１１４内における奥行き情報の値は、領域１１３よりも奥側となる例えば８５〜９５の範囲内で分布し、空１０５が映し出された領域１１５内における奥行き情報の値は、９８〜１００の範囲内で分布することとなる。

このように、対象画像１００を構成する各画素に設定された奥行き情報は、一般に人物１０１や丘１０２等の被写体ごとに特有の範囲内で分布することとなるため、奥行き情報に基づいて色調整の度合いを変化させることにより、特定の領域についてのみ色調整を行うことができる。すなわち、対象画像１００について、例えば奥行き情報の値が０〜２０の範囲内の画素については調整情報を補正せず、奥行き情報の値が０〜２０の範囲外の画素については調整情報を０（色調整を行わない）に補正するように補正情報を設定することで、人物１０１が映し出された領域についてのみ色調整を行うことができる。

図５（ａ）および（ｂ）は、対象画像１００に色調整を行う場合の補正情報Ｃの例を示した概略図である。上述のように、対象画像１００中の人物１０１を構成する画素の奥行き情報Ｄの値は０〜２０の範囲内となり、丘１０２を構成する画素の奥行き情報Ｄの値は３０〜６０の範囲内となり、木１０３を構成する画素の奥行き情報Ｄの値は７０〜８０の範囲内となり、山１０４を構成する画素の奥行き情報Ｄの値は８５〜９５となり、空１０５を構成する画素の奥行き情報Ｄの値は９８〜１００となっている。

従って、同図（ａ）に示されるように、基準奥行き情報ＳＤを０〜２０の範囲内の値に設定し、補正情報Ｃの曲線形状を適宜に調整することで、主に人物１０１に対してのみ色調整を行うことができる。これにより、例えば丘１０２や木１０３に同種の色が含まれている場合にも、これらの色に影響を与えることなく、人物１０１の肌色だけを調整することが可能となる。また、例えば人物１０１の黒髪の色合いを調整する場合においても、木１０３の影等、他の部分の黒色を維持したまま、黒髪のみの色合いを調整することが可能となる。

すなわち、色調整システム１によれば、対象画像１００中の所望の領域についてのみ色調整を行うことが可能であるため、色調整の自由度を飛躍的に高めることができる。また、複雑で手間のかかる領域指定を行う必要がないため、多彩な色調整をきわめて簡便に行うことができる。さらに、基準奥行き情報ＳＤの値および補正情報Ｃの曲線形状を微調整することで、人物１０１の周縁側（一般に、中心側よりも奥側に位置している）に向けて色の調整量を減少させることが可能であるため、人物１０１と丘１０２等の背景との境界における色味の不連続を適宜にぼかし、色調整後の画像を看者に違和感を与えない自然な画像に調整することが可能となっている。

また、同図（ｂ）に示されるように、補正情報Ｃの曲線形状を丘１０２、木１０３および山１０４に跨がるように設定することで、主に丘１０２に対して色調整を行いつつ、木１０３および山１０４に対しても略グラデーション状に色調整を行うことができる。すなわち、補正情報Ｃの曲線形状を適宜に設定することにより、特定の領域に対してのみ色調整を行うだけではなく、複数の領域に対してそれぞれ異なる調整量の色調整を行うことも可能となっている。すなわち、補正情報Ｃの設定に応じて色調整を行う範囲および度合いを適宜に調整することができるため、色調整の自由度を飛躍的に高めることが可能となっている。

なお、補正情報Ｃの値の範囲は、０〜１に限定されるものではなく、その他の数値範囲であってもよい。また、個別調整情報の導出は、例えば加算、減算、除算または適宜の関数等、調整情報に補正情報を乗ずる以外の演算処理によって行うようにしてもよい。また、補正情報Ｃ＝ｆ（Ｄ）は、正規分布曲線に類似した形状の関数に限定されるものではなく、その他の形状の関数であってもよい。

図６（ａ）〜（ｈ）は、その他の補正情報Ｃの例を示した概略図である。補正情報Ｃは、例えば同図（ａ）または（ｂ）に示されるように、直線的に値が変化するものであってもよいし、例えば同図（ｃ）または（ｄ）に示されるように、段状または階段状に値が変化するものであってもよい。また、これらを組み合わせた関数から補正情報Ｃを構成するようにしてもよい。

また、補正情報Ｃは、例えば同図（ｅ）に示されるように、基準奥行き情報ＳＤにおいて極小値をとるものであってもよい。この場合、色調整から除外する領域を指定することができる。また、補正情報Ｃは、例えば同図（ｆ）に示されるように、複数の極大値または極小値を有するものであってもよい。この場合、色調整を行う領域または色調整から除外する領域を複数指定することができる。

なお、補正情報Ｃが極小値を有するようにする場合、極小値は０（すなわち、色調整を行わないようにする値）であってもよいし、その他の値であってもよい。また、補正情報Ｃが複数の極大値または極小値を有するようにする場合、複数の極大値（極小値）は、それぞれ同じ値であってもよいし、異なる値であってもよい。

さらに、補正情報Ｃは、例えば同図（ｇ）または（ｈ）に示されるように、極大値または極小値を有さないものであってもよい。画像の構成によっては、補正情報Ｃをこのように設定した方が適切な色調整を行うことができる場合がある。この場合、補正情報Ｃを予め極大値または極小値を持たない関数に設定するようにしてもよいし、極大値または極小値を画像中の奥行き情報Ｄの範囲外に設定するようにしてもよい。なお、この場合において、補正情報の傾きの大きさが限定されないことは言うまでもない。

図２に戻って、色情報変更手段３８は、個別調整情報に基づいて各画素の色情報を変更するものである。色情報変更手段３８は、対象画像を構成する各画素の色情報を個別調整情報に基づいて変更した画像データを生成し、ＲＡＭ１６または補助記憶装置１８に記憶する。また、必要に応じて、色調整後の画像を表示装置２２に表示する。なお、色情報を変更した画像データは、元の対象画像の画像データとは別に記憶するようにしてもよいし、元の画像データに上書きして記憶するようにしてもよい。

このように、色調整システム１では、色調整を行う対象画像の構成に応じて適宜に補正情報Ｃを設定することにより、ユーザが所望する様々な色調整を行うことが可能となっている。補正情報Ｃの設定は、ユーザが入力装置２０を介して関数式を入力または選択することにより行ってもよいし、図５（ａ）または（ｂ）に示したようなグラフを表示装置２２に表示し、ユーザが入力装置２０を介して補正情報Ｃの曲線を描画（例えば、ベジエ曲線等により）することにより行ってもよい。なお、後者の場合、描画された曲線の近似式から奥行き情報Ｄの各値に対応する補正情報Ｃの値を導出するようにしてもよいし、描画された曲線の座標から直接奥行き情報Ｄの各値に対応する補正情報Ｃの値を導出するようにしてもよい。また、色調整後の画像を表示装置２２に表示し、ユーザがこれを参照しながら関数式の係数の値や基準奥行き情報ＳＤの値を変更したり、マウス操作等による描画でグラフの形状や位置を変更したりすることで、微調整を行うようにしてもよい。

次に、色調整システム１による画像の色調整方法の手順を説明する。図７は、色調整システム１による色調整方法の手順を示したフローチャートである。また、図８は、色調整を行う際に表示装置２２に表示する色調整画面２００の一例を示した概略図である。

色調整システム１による色調整方法では、まずステップＳ１０において、色調整を行う対象画像１００を取得する（画像取得ステップ）。ここでは、例えば補助記憶装置１８に記憶した画像の中から、入力装置２０を介したユーザの選択により色調整を行う対象画像１００を特定して取得する。取得した対象画像１００は、必要に応じてＲＡＭ１６に記憶すると共に、図８に示されるように、色調整画面２００の画像表示領域２０２に表示する。

次に、ステップＳ１２では、対象画像１００を構成する各画素の奥行き情報Ｄを取得する（奥行き情報取得ステップ）。ここでは、対象画像１００について予めデプスマップ等により奥行き情報Ｄが設定されている場合には、これを参照して奥行き情報Ｄを取得する。また、対象画像１００について予め奥行き情報Ｄが設定されていない場合には、対象画像１００について新たに奥行き情報Ｄを生成して取得する。

対象画像１００および奥行き情報Ｄを取得したならば、次に、ステップＳ１４において、表示装置２２に色調整画面２００を表示する（色調整画面表示ステップ）。この色調整画面２００は、例えば図８に示されるように、対象画像１００を表示する画像表示領域２０２と、調整情報を入力するための調整情報入力領域２０４と、補正情報Ｃをグラフ表示する補正情報表示領域２０６と、を有している。なお、この例では、調整情報入力領域２０４に色情報であるＲ値、Ｇ値およびＢ値の調整量を個別に入力するためのスライダを表示するようにしている。

次に、ステップＳ１６では、調整情報を取得する（調整情報取得ステップ）。ここでは、例えば調整情報入力領域２０４に表示した各スライダを操作するようにユーザに促し、マウス等の入力装置２０を介して入力されたＲ値、Ｇ値およびＢ値の調整量を取得する。なお、調整情報入力領域２０４は、調整量の数値を直接入力するものであってもよい。また、表示の切り替え等により、色相Ｈ、彩度Ｓおよび明度Ｖ等、他の色空間における座標値の調整量を入力可能としてもよい。

次に、ステップＳ１８では、基準奥行き情報ＳＤを取得する（基準奥行き情報取得ステップ）。ここでは、例えば画像表示領域２０２に表示した対象画像１００中において、色調整を行いたい領域（または、色調整から除外したい領域）中の１点を指定するようにユーザに促し、マウス等の入力装置２０を介してユーザに指定された点の画素の奥行き情報Ｄを基準奥行き情報ＳＤとする。なお、ユーザに複数の画素を指定させ、指定された複数の画素の奥行き情報Ｄの平均値を基準奥行き情報とするようにしてもよい。また、補正情報Ｃが複数の極大値（極小値）を有するようにする場合には、極大値（極小値）ごとに基準奥行き情報ＳＤを取得する。

次に、ステップＳ２０では、補正情報Ｃを導出する（補正情報導出ステップ）。ここでは、例えばまずユーザに補正情報Ｃのパターンをいくつか提示する等して、入力装置２０を介してユーザに補正情報Ｃのパターンを選択させ、選択されたパターンおよび基準奥行き情報ＳＤから補正情報Ｃを導出する。そして、導出した補正情報Ｃを補正情報表示領域２０６にグラフ表示する。その後、必要であれば補正情報Ｃを修正するようにユーザに促し、修正が入力されたならば、これに基づく新たな補正情報Ｃを導出する。

なお、補正情報Ｃの修正は、補正情報表示領域２０６において補正情報Ｃの形状等を描画修正することにより行ってもよいし、補正情報Ｃの関数式を表示して関数式の数値（係数等）を変更することにより行ってもよい。補正情報Ｃを描画修正する場合には、例えば補正情報表示領域２０６に表示した補正情報Ｃの曲線にポイントやハンドルを設け、これらをマウス等でドラッグすることにより行う。また、基準奥行き情報ＳＤを変更する場合に、補正情報表示領域２０６に表示した基準奥行き情報ＳＤを示す直線をマウスでドラッグすることにより行うようにしてもよい。

次に、ステップＳ２２では、個別調整情報を導出して各画素に設定する（個別調整情報導出ステップ）。ここでは、対象画像を構成する各画素の奥行き情報Ｄ、および補正情報Ｃに基づいて個別調整情報を画素ごとに導出し、各画素に対応付けてＲＡＭ１６または補助記憶装置１８に記憶する。

次に、ステップＳ２４では、色情報を変更する（色情報変更ステップ）。ここでは、対象画像１００を構成する各画素の色情報を個別調整情報に基づいて変更し、色調整後の対象画像１００を画像表示領域２０２に表示する。なお、個別調整情報を全画素について導出した後に色情報を変更するのではなく、個別調整情報の導出および色情報の変更を画素ごとに行うようにしてもよい。

次に、ステップＳ２６では、色調整が完了したか否か、すなわちユーザの所望する色調整が達成されたか否かを判断する（完了判断ステップ）。ここでは、例えば色調整を完了するかどうかを色調整画面２００に表示する等してユーザに確認し、入力装置２０を介してユーザが色調整を完了する旨を入力した場合は、処理を終了する。また、入力装置２０を介してユーザが色調整を継続する旨を入力した場合は、ステップＳ１６に戻って、調整情報、基準奥行き情報ＳＤおよび補正情報Ｃの微調整を行えるようにする。

従って、ユーザは、色調整後の対象画像１００の状態を確認しながら、調整情報、基準奥行き情報ＳＤおよび補正情報Ｃを微調整することができるので、所望の色調整を容易且つ迅速に行うことが可能となっている。なお、微調整においては、調整情報、基準奥行き情報ＳＤおよび補正情報Ｃを全て入力し直すのではなく、変更が必要なものだけを入力すればよいことは言うまでもない。

以上の手順により、色調整システム１による画像の色調整が完了する。このように、色調整システム１によれば、ユーザは、選択した領域中の少なくとも１点を指定するだけで、複雑な領域指定を行うことなく特定の領域に対してのみ容易に色調整を行う、または特定の領域について色調整を除外することが可能となっている。また、奥行き情報Ｄと補正情報Ｃの関係をグラフ表示することにより、ユーザは、色調整を行う範囲および色調整の程度を視覚的に容易に把握することが可能となっている。さらに、補正情報Ｃの設定または修正をグラフ描画によって行うことで、ユーザは、より直感的な操作で色調整を行うことが可能となっている。

なお、調整情報の取得（ステップＳ１６）、基準奥行き情報ＳＤの取得（ステップＳ１８）および補正情報Ｃの導出（ステップＳ２０）は、必ずしもこの順番で行う必要はなく、その他の順番で行うようにしてもよい。また、色調整画面２００に、取得した奥行き情報Ｄに基づくデプスマップを表示するようにしてもよい。また、デプスマップを表示する場合には、等高線表示等によって各領域に含まれる奥行き情報Ｄの値の範囲が視覚的に把握できるようにしてもよい。また、色調整画面２００の画像表示領域２０２に色調整前の対象画像１００と色調整後の対象画像１００を並列表示することで、色調整前後の変化を比較できるようにしてもよい。

また、動画等、複数の対象画像１００について連続的に色調整を行う場合には、調整情報、基準奥行き情報ＳＤおよび補正情報Ｃとして、１つ前の画像（前フレームの画像）において設定した調整情報、基準奥行き情報ＳＤおよび補正情報Ｃを取得するようにしてもよい。また、１つ前の画像とのパターンマッチングにより一致した画素または領域における奥行き情報Ｄを基準奥行き情報ＳＤとして取得するようにしてもよい。

また、上述した色調整の手順において、例えばステップＳ１６の前に、対象画像１００中において色調整を行う領域を特定する領域特定ステップを設けるようにしてもよい。すなわち、色調整システム１に領域特定プログラムの実行によって実現される領域特定手段を設け、この領域特定手段によって色調整を行う領域を予備的に限定しておくようにしてもよい。図９は、対象画像１００において色調整を行う領域を特定する場合の一例を示した図である。

この場合、同図に示されるように、領域特定ステップでは、例えば色調整画面２００の画像表示領域２０２に表示した対象画像１００において、ユーザが操作したマウスポインタの軌跡１０６に囲まれた領域を、色調整を行う色調整領域１００ａとして特定する。そして、ステップＳ１８では、色調整領域１００ａ内に含まれる画素の奥行き情報Ｄの範囲内で基準奥行き情報ＳＤを取得し、ステップＳ２０では、色調整領域１００ａ内に含まれる画素の奥行き情報Ｄの範囲内で補正情報Ｃを導出する。また、ステップＳ２２では、色調整領域１００ａ内に含まれる画素についてのみ個別調整情報の導出および設定を行い、ステップＳ２４では、色調整領域１００ａ内に含まれる画素についてのみ色情報の変更を行う。

このようにすることで、色調整における演算処理量を低減することができるため、高精細画像や動画に対しても容易且つ迅速に色調整を行うことが可能となる。また、例えば対象画像１００における２つの木１０３のように、奥行き情報Ｄが略同一の範囲となる（すなわち、前後方向の位置が略同一である）２つの被写体の一方に対してのみ色調整を行うことが可能となる。すなわち、対象画像中に奥行き情報Ｄが略同一または近い範囲となる複数の被写体が存在している場合においても、これらの被写体のうちの一部を選択して色調整を行うことができる。さらに、実際に色調整を行う領域の範囲は補正情報Ｃの設定によって詳細に特定することが可能であるため、色調整領域１００ａの指定は、図９に示されるように、ラフに行うことができる。すなわち、複雑な領域指定を行う必要はない。

なお、色調整領域１００ａの指定は、その他の方法により行ってもよい。例えば、動画等の複数の画像について色調整を行う場合には、１つ前の画像における色調整領域１００ａとのパターンマッチングにより一致した領域を色調整領域１００ａとするようにしてもよい。また、色調整領域１００ａは１つの連続した領域に限定されるものではなく、複数の領域を色調整領域１００ａとして指定するようにしてもよい。

また、調整情報は、例えば移動平均フィルタ、加重平均フィルタ、ガウシアンフィルタ、メディアンフィルタ、バイラテラルフィルタ、ソーベルフィルタまたはラプラシアンフィルタ等、各種フィルタの形で取得されるものであってもよい。すなわち、調整情報は、所定の複数の画素、例えば注目画素およびその近傍の画素の色情報に基づいて注目画素の色情報を調整するものであってもよい。この場合、ステップＳ１６では、調整情報入力領域２０４に例えば複数種類のフィルタを提示する等して、フィルタの種類、カーネルのサイズ（例えば、３×３や７×７等）およびカーネルにおける各係数等をユーザに選択または入力させることで、調整情報を取得する。

また、ステップＳ２２における個別調整情報の導出では、補正情報Ｃの値に応じてフィルタ処理の効果が変化するようにカーネルを補正または変更することで個別調整情報を導出する。具体的には、例えば加重平均フィルタやガウシアンフィルタ等のようにカーネルの中央および中央近傍の係数に重み付けをしている場合には、補正情報Ｃによってこの重み付けを変更することで、フィルタ処理の効果を変化させることができる。

また、例えば補正情報Ｃの値が０〜０．２５の場合はカーネルのサイズを３×３とし、補正情報Ｃの値が０．２５〜０．５の場合はカーネルのサイズを５×５とし、補正情報Ｃの値が０．５〜０．７５の場合はカーネルのサイズを７×７とし、補正情報Ｃの値が０．７５〜１の場合はカーネルのサイズを９×９とする等、補正情報Ｃの値に応じてカーネルのサイズを変更することで、フィルタ処理の効果を変化させるようにしてもよい。その他、例えば移動平均フィルタを加重平均フィルタやガウシアンフィルタに変更する等、補正情報Ｃの値に応じてフィルタの種類を変更するようにしてもよい。また、例えば補正情報Ｃの値が所定の閾値よりも小さい場合はフィルタ処理（すなわち、色調整）を行わないようにし、補正情報Ｃの値が所定の閾値以上の場合はフィルタ処理を行うようにしてもよい。

このように、調整情報を各種フィルタとした場合には、例えば画像中の特定の領域を選択的に平滑化（ぼかす）したり、鮮鋭化したりする色調整が可能となる。図１０（ａ）および（ｂ）は、調整情報を各種フィルタとした場合における色調整の例を示した図である。調整情報を各種フィルタとすることにより、例えば同図（ａ）に示されるように、人物１０１以外の丘１０２、木１０３、山１０４および空１０５、すなわち背景を適度にぼかして人物１０１を際立たせることが可能となる。

そして、この場合においても補正情報Ｃの調整によってぼかす範囲やぼかしの程度を容易に設定することが可能であるため、人物１０１等の特定の被写体を際立たせた画像をきわめて簡便に得ることができる。さらに、補正情報Ｃを適宜に設定することにより、例えば同図（ｂ）に示されるように、背景中の木１０３をぼかす範囲から除外し、木１０３を人物１０１と共に際立たせるといったことも容易となっている。

なお、同図（ａ）および（ｂ）に示す例において、人物１０１または木１０３をフィルタ処理によって選択的に鮮鋭化することで、際立たせるようにしてもよいことは言うまでもない。また、調整情報を各種フィルタとすることにより、画像中の特定の領域についてノイズ除去やエッジ抽出等の処理を行うようにしてもよい。また、調整情報であるフィルタのカーネルの大きさが、特に限定されないことは言うまでもない。

以上説明したように、本実施形態に係る画像の色調整方法は、画像（対象画像１００）を構成する各画素の奥行き情報Ｄを取得する奥行き情報取得ステップＳ１２と、各画素の色情報を調整する調整情報を取得する調整情報取得ステップＳ１６と、奥行き情報Ｄに基づいて調整情報を補正した個別調整情報を各画素に設定する個別調整情報設定ステップ（ステップＳ２０およびＳ２２）と、個別調整情報に基づいて各画素の色情報を変更する色情報変更ステップＳ２４と、を有している。

また、本実施形態に係る画像の色調整システム１は、画像（対象画像１００）を構成する各画素の奥行き情報Ｄを取得する奥行き情報取得手段３０と、各画素の色情報を調整する調整情報を取得する調整情報取得手段３２と、奥行き情報Ｄに基づいて調整情報を補正した個別調整情報を各画素に設定する個別調整情報設定手段３６と、個別調整情報に基づいて各画素の色情報を変更する色情報変更手段３８と、を有している。

このような構成とすることで、簡便且つ自由度の高い色調整を行うことができる。すなわち、一般に画像中の被写体はそれぞれ異なる奥行き位置に配置されていることから、奥行き情報Ｄに基づいて色調整の度合いを変化させることにより、特定の領域を選択して色調整を行ったり、複数の領域ごとに異なる色調整を行ったりすることができる。

また、個別調整情報設定ステップは、奥行き情報Ｄの関数である補正情報Ｃを導出する補正情報導出ステップＳ２０と、補正情報に基づいて個別調整情報を導出する個別調整情報導出ステップＳ２２と、を有している。また、個別調整情報設定手段３６は、奥行き情報Ｄの関数である補正情報Ｃを導出する補正情報導出手段３６ａと、補正情報Ｃに基づいて個別調整情報を導出する個別調整情報導出手段３６ｂと、を有している。

このようにすることで、補正情報Ｃをどのような関数に設定するかによって様々な態様の色調整を行うことができると共に、色調整の具合を容易に微調整することが可能となる。また、奥行き情報Ｄと補正情報Ｃの関係をグラフ表示することが可能となるため、補正情報Ｃの設定及び修正を直感的な操作で行うことができる。

また、奥行き情報Ｄは、所定の範囲内（例えば０〜１００）の数値であり、補正情報Ｃは、所定の範囲内で極値（極大値または極小値）をとる関数となっている。このようにすることで、画像中の特定の領域についてのみ色調整を行う、または色調整から除外することが可能となる。また、色調整を行う領域と色調整を行わない領域の境界における色味の不連続を適宜にぼかし、色調整後の画像を違和感のない画像に調整することができる。

また、本実施形態に係る画像の色調整方法は、色調整の基準とする奥行き情報Ｄである基準奥行き情報ＳＤを取得する基準奥行き情報取得ステップＳ１８を有し、補正情報Ｃは、基準奥行き情報ＳＤにおいて極値をとる関数となっている。このようにすることで、色調整を行う領域または色調整を行わない領域を容易に指定することが可能になると共に、所望の色調整に適した補正情報Ｃを容易に設定することが可能となる。

また、基準奥行き情報ＳＤは、画像（対象画像１００）中の指定された画素の奥行き情報Ｄに基づいて取得される。このようにすることで、色調整を行う領域または色調整を行わない領域をきわめて容易に指定することが可能になると共に、所望の色調整に適した補正情報Ｃを容易に設定することが可能となる。

また、本実施形態に係る画像の色調整方法は、画像（対象画像１００）中において色調整を行う領域を特定する領域特定ステップを有するものであってもよく、本実施形態に係る色調整システム１は、画像（対象画像１００）中において色調整を行う領域を特定する領域特定手段を有するものであってもよい。このようにすることで、色調整における演算処理量を低減するだけではなく、略同一の奥行き位置に位置する複数の被写体のうちの一部についてのみ色調整を行う等、さらに多彩な態様で色調整を行うことが可能となる。

また、調整情報は、所定の複数の画素の色情報に基づいて各画素の色情報を調整するフィルタであってもよい。このようにすることで、画像中の特定の領域に対してフィルタ処理を行うことが可能となるため、例えば平滑化、鮮鋭化、ノイズ除去またはエッジ抽出等、より多彩な態様で色調整を行うことが可能となる。

以上、本発明の実施の形態について説明したが、本発明の画像の色調整方法および画像の色調整システムは、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

例えば、色調整システム１は、単一のコンピュータ１０から構成されるものに限定されるものではなく、複数のコンピュータ１０から構成されるものであってもよい。さらにこの場合、複数のコンピュータ１０は、インターネットを介して互いに接続されるものであってもよい。また、奥行き情報Ｄを新たに生成する場合に、奥行き情報取得手段３０とは別に奥行き情報生成手段を設けるようにしてもよい。

また、上記実施形態では、奥行き情報Ｄに応じて色情報の調整量を変更するようにした場合の例を示したが、本発明はこれに限定されるものではなく、奥行き情報Ｄに応じて色調整を行う確率を変更するようにしてもよい。すなわち、例えば奥行き情報Ｄの値が１０における補正情報Ｃの値が０．７である場合に、奥行き情報Ｄの値が１０である画素のうち７割の個数だけ（例えば、１００個のうち７０個だけ）について色情報を変更するようにしてもよい。

この場合、個別調整情報は、調整情報と同じ値、または０（色調整を行わない）のいずれかのみに設定されることとなる。色情報を調整するか否かの判定は、単純に例えば乱数値の発生確率に基づいて行ってもよいし、対象となる画素の位置や分布状態等を考慮して行ってもよい。また、奥行き情報Ｄに応じて色情報の調整量を変更するか、色調整を行う確率を変更するかをユーザに選択させるようにしてもよい。

また、上記実施形態では、各種色空間における座標値を色情報として調整する場合の例を示したが、本発明はこれに限定されるものではなく、例えばガンマ値やアルファチャンネル等、その他の情報を色情報としてもよい。また、色情報の変更は、マスク処理により行うようにしてもよい。

また、上記実施形態において示した作用および効果は、本発明から生じる最も好適な作用および効果を列挙したものに過ぎず、本発明による作用および効果は、これらに限定されるものではない。

本発明に係る色調整方法および色調整システムは、映画やテレビ番組等の製作、および出版や印刷等の分野だけではなく、デジタルカメラ、テレビ、ディスプレイおよびプリンタ等の画像を扱う各種機器の分野においても利用することができる。

１ 色調整システム
３０ 奥行き情報取得手段
３２ 調整情報取得手段
３６ 個別調整情報設定手段
３６ａ 補正情報導出手段
３６ｂ 個別調整情報導出手段
３８ 色情報変更手段
Ｃ 補正情報
Ｄ 奥行き情報
ＳＤ 基準奥行き情報
Ｓ１２ 奥行き情報取得ステップ
Ｓ１６ 調整情報取得ステップ
Ｓ１８ 基準奥行き情報取得ステップ
Ｓ２０ 補正情報導出ステップ
Ｓ２２ 個別調整情報導出ステップ
Ｓ２４ 色情報変更ステップ

Claims (7)

1. 複数の画像から構成される動画の色調整方法であって、
   複数の前記画像から選択される一の画像を構成する各画素の奥行き情報を取得する奥行き情報取得ステップと、
   前記一の画像の前記各画素の色情報を調整する調整情報を取得する調整情報取得ステップと、
   前記奥行き情報に基づいて前記調整情報を補正した個別調整情報を前記一の画像の各画素に設定する個別調整情報設定ステップと、
   前記個別調整情報に基づいて前記一の画像の前記各画素の色情報を変更する色情報変更ステップと、を有し、
   更に前記一の画像の前記個別調整情報設定ステップは、
   前記奥行き情報の関数である補正情報を導出する補正情報導出ステップと、
   前記補正情報に基づいて前記個別調整情報を導出する個別調整情報導出ステップと、を有しており、
   前記動画における前記一の画像の次の画像に対する前記個別調整情報設定ステップでは、前記一の画像における前記調整情報及び前記補正情報を利用して、前記個別調整情報を導出することを特徴とする、
   動画の色調整方法。
2. 前記一の画像に対する前記個別調整情報設定ステップでは、補正対象範囲となる前記奥行き情報として、所定の範囲内の数値が設定されることで、前記補正情報は、前記所定の範囲内で極値をとる関数となっており、
   前記次の画像に対する前記個別調整情報設定ステップでは、前記一の画像における前記所定の範囲内の数値を利用して、前記個別調整情報を導出することを特徴とする、
   請求項１に記載の動画の色調整方法。
3. 前記一の画像において、色調整の基準とする前記奥行き情報である基準奥行き情報を取得する基準奥行き情報取得ステップを有し、
   前記一の画像における前記個別調整情報設定ステップの前記補正情報は、前記基準奥行き情報において極値をとる関数であり、
   前記次の画像に対する前記個別調整情報設定ステップでは、前記一の画像における前記基準奥行き情報を利用して、前記個別調整情報を導出することを特徴とする、
   請求項２に記載の動画の色調整方法。
4. 前記基準奥行き情報は、前記一の画像における前記画像中の指定された前記画素の前記奥行き情報に基づいて取得されることを特徴とする、
   請求項３に記載の動画の色調整方法。
5. 前記一の画像の中において色調整を行う領域を特定する領域特定ステップを有し、
   前記次の画像に対する前記領域特定ステップでは、前記一の画像における前記色調整を行う領域とのパターンマッチングによって、前記色調整を行う領域を特定することを特徴とする、
   請求項１乃至４のいずれかに記載の動画の色調整方法。
6. 前記調整情報は、所定の複数の前記画素の色情報に基づいて前記各画素の色情報を調整するフィルタであることを特徴とする、
   請求項１乃至５のいずれかに記載の動画の色調整方法。
7. 複数の画像から構成される動画の色調整システムであって、
   複数の前記画像から選択される一の画像を構成する各画素の奥行き情報を取得する奥行き情報取得手段と、
   前記一の画像の前記各画素の色情報を調整する調整情報を取得する調整情報取得手段と、
   前記奥行き情報に基づいて前記調整情報を補正した個別調整情報を前記一の画像の各画素に設定する個別調整情報設定手段と、
   前記個別調整情報に基づいて前記一の画像の前記各画素の色情報を変更する色情報変更手段と、を有し、
   更に前記個別調整情報設定手段は、
   前記一の画像に対して、前記奥行き情報の関数である補正情報を導出する補正情報導出手段と、
   前記補正情報に基づいて前記個別調整情報を導出する個別調整情報導出手段と、を有しており、
   前記個別調整情報設定手段は、前記動画における前記一の画像の次の画像に対して、前記一の画像における前記調整情報及び前記補正情報を利用して、前記個別調整情報を導出することを特徴とする、
   動画の色調整システム。