JP6126638B2 - 画像処理装置、画像処理方法およびそのプログラム - Google Patents

Description

本発明は距離情報を利用した色変換処理機能を有する画像処理装置に関する。

近年、デジタルカメラが普及して多くのユ−ザがデジタルカメラを使用する機会が増えてきている。このため、デジタルカメラに対するユーザのニーズもより多様化し、その一つとして被写体画像の色をユーザが希望する色に色変換を行うための方法がある。例えば、指定した色を色変換するためのスイッチカラーなどの技術が知られている。ユ−ザが希望する色変換を行う方法としては、例えば特許文献１などの方法がある。
特許文献１では、撮影時において色相、彩度、明度等のパラメ−タを変更する際、撮像装置の限られたユーザインターフェースでも変換元色と変換目標色を自由、明瞭且つ容易に設定することが可能となり、撮影時における所望の色変換を簡易な操作で実現できる。

特開２００６−１８６５９４号公報

特許文献１は、撮影画像から変換元色を抽出し、それを変換目標色に色変換を行うことが可能な技術であるが、光源によって被写体の色に部分的に異なる範囲が存在する場合、被写体全体を期待通りに変換目標色に変換できないことがある。
更に、変換元色の色域を広げて被写体を変換目標色に色変換する事が可能であるが、同色系統の背景が存在する場合、背景も色変換されてしまう問題がある。

上記課題を解決する為の本発明の画像処理装置は、被写体を撮像した画像信号およびその撮像情報を取得するための画像取得手段と、撮像情報に基づいて被写体画像の距離情報を生成し、距離情報を画像信号と関連付ける距離マップを作成するための距離マップ作成手段と、前記被写体の画像に対して色変換のための指定領域を決定するための領域決定手段と、決定された指定領域の画像信号および画像信号と距離情報とを関連付ける距離マップに基づいて指定領域の色情報および距離情報を抽出するための抽出手段と、抽出された色情報および距離情報に基づいて、被写体からの距離に従って異なる大きさの色変換域を設定する設定手段とを備える。

本発明によれば、距離情報と色情報を用いることでよりユーザの意図に合った指定色の領域抽出を行うことができる。これにより、光源によって被写体の色に部分的に異なる範囲がある場合および同色系統の背景が存在する場合に起こる従来技術の色変換の不都合を回避することが可能となる。

本発明の実施形態に係わる撮像装置のブロック図 焦点検出用画素を含む撮像素子の画素配列を示す図 図２の画素配列を有する撮像素子からの画像信号に基づいて被写体距離を算出する方法を示す図 本発明の第１の実施例に係わる色変換処理を説明するための図 本発明の実施形態に係わる撮像装置、被写体、背景の位置関係を示す図 本発明の実施形態に係わる距離マップを説明するための図 本発明の実施形態に係わる色変換モードでの表示画面の例を示す図 本発明の実施形態の色変換処理部に係わる３次元ルックアップテーブルを説明するための図 本発明の第１の実施例に係わる色範囲の設定を説明するための図 本発明の第１の実施例に係わる色範囲の設定を説明するための図 本発明の第１の実施例に係わる被写体距離に従った色域レベルの設定例を示す図 本発明の第１の実施例に係わる被写体距離に従った色域レベルの他の設定例を示す図 本発明の第１の実施例に係わる被写体距離に従った色域レベルの他の設定を示す図 本発明の第１の実施例に係わる被写体距離に従った色域レベルの他の設定例を示す図 本発明の第１の実施例に係わる色変換処理部のルックアップテーブル（ＬＵＴ）部を説明するための図 本発明の実施形態に係わる撮像装置の撮影モードの動作のフローチャートを示す図 本発明の実施形態に係わる色変換モードの動作のフローチャートを示す図 本発明の第２の実施例に係わるＬＵＴ部を説明する図 本発明の第２の実施例に係わる被写体距離に従った色域レベルの設定例を示す図

以下、本発明の好ましい実施形態を添付の図面を参照して詳細に説明する。

第１の実施例は、撮像装置における変換元色から変換目標色への色変換処理に本件発明を適用した例である。

図１は、本実施例に係わる画像処理装置を含む撮像装置１００の構成を示すブロック図である。同図を参照して本実施例に係わる撮像画像での画像情報と距離情報の取得からそれらのメモリへの書き込みまでの構成について説明する。

実空間の被写体像が撮影レンズ１０１を通してから光学像として撮像素子１０２上に結像され、ここで電気信号に変換される。

Ａ／Ｄ変換部１０３は撮像素子１０２から出力されたアナログ画像信号をデジタル信号に変換する。
Ａ／Ｄ変換部１０３でデジタルデータに変換された撮像素子１０２の出力は、デジタル信号処理部１０４と瞳分割取得部１０５に入力される。

デジタル信号処理部１０４は、Ａ／Ｄ変換部１０３から入力されたデータに対して画素補間処理などのデジタル信号処理を行い、システム制御部１０７に出力する。

瞳分割画像取得部１０５は、内部ＲＯＭに記録された焦点検出画素の位置情報（画素アドレス）に基づいて瞳分割された情報を取得し、更に、左右に視差のついた一対のステレオ画像（撮像情報）を生成する。

システム制御部１０７は、デジタル信号処理部１０４からの画像データをメモリ１０６に書き込む。なおシステム制御部１０７は、撮像装置全体の制御を行い、図示しない記憶装置に記憶された制御プログラムをロードして実行することにより制御を実現する。

距離演算部１０８は、瞳分割取得部１０５から送られてくる一対のステレオ画像（撮影情報）を複数領域（ブロック）に分割し、位相差検出方式でブロックごとの被写体画像の距離情報を算出し、ブロックに対する被写体画像の距離の分布データである距離マップを作成する。距離マップの詳しい作成方法に関しては、例えば特開２００９−１０５６８１号の公開公報に記載されている。作成された距離マップはメモリ１０６に書き込まれ、画像データと関連付けられる（距離マップ取得）。

メモリ１０６は撮影した静止画像や動画像、距離マップなどを格納するためのメモリである。メモリ１０６は所定枚数の静止画像や所定時間の動画像などを格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連射撮影などに対しても大量の画像データの高速書き込みをメモリ１０６に対して行うことが可能となる。

指定部１０９は、色変換の設定を行うための指定領域を決定する指定領域決定手段である。指定領域の座標アドレスはシステム制御部１０７を介して抽出部１１０に出力される。

抽出部１１０は、指定部１０９で指定された座標アドレスからメモリ１０６内のＲＡＷファイル（距離情報が関連付けられた画像）の距離情報および色情報の抽出を行う抽出手段である。

パラメータ決定部１１１は、抽出部１１０から入力された色情報および距離情報から色変換域のパラメータを決定し、前記パラメータをメモリ１０６に書き込む。書き込まれたパラメータは、色変換を行う際に色変換処理部１１４の３次元ルックアップテーブルに設定され、変換元色から変換目標色の色変換処理に使用される。

色変換処理部１１４では、３次元ルックアップテーブルに設定されたパラメータに基づいて被写体までの距離に応じた色変換を行う。

Ｄ／Ａ変換部１１２は、メモリ１０６に書き込まれた画像から表示用に間引きされた画像データをアナログ信号に変換し、画像表示部１１３に出力する。

画像表示部１１３はＬＣＤ等で構成され、ＥＶＦ表示などに使用される。本実施例では、ユーザが変換元色の指定、又は変換目標色の指定を行う際に使用される。

図４は、色変換処理部１１４の構成を示す図である。

ホワイトバランス処理部４０１はメモリ１０６から読み出された画像にホワイトバランス処理を行う。ホワイトバランスの方法は例えば特開２００３―２４４７２３号公報に記載されている方法を用いる。画像信号処理部４０２は、補間処理、マトリックス演算処理、色差ゲイン演算処理、ガンマ処理、色相補正演算処理を行う。また、輝度信号作成処理部４０３は、色差信号変換処理、輝度信号作成処理、高域強調処理、ガンマ処理を行う。これらの処理の結果、画像信号がＹＵＶ信号に変換される。なお、これらの処理方法は例えば特開２００６―１８６５９４公報に記述されている。ＲＧＢ変換処理部４０４はＹＵＶ信号にＲＧＢ変換を行う。ＲＧＢ変換されたデータは、ＬＵＴ部４０５で３次元ルックアップテーブルに割り当てられる。ＬＵＴ部４０５での処理の詳細は後述する。

次に、本実施例における距離算出方法について説明する。
撮像素子１０２は図２に示すようなベイヤ−配列のＲＧＢ画素と焦点検出用画素で構成されている。Ｒの画素は赤色のカラーフィルター、Ｇは緑色のカラーフィルター、Ｂは青色のカラーフィルターを用いて構成されている。また、Ｓは距離情報を算出するために必要な、左目、右目の焦点検出画素を示している。図３には焦点検出画素が撮像素子よりも手前に焦点が結像している場合の図を示す。Ａで示される射出瞳の左側（図の場合上）を通る半光束は撮像素子上で被写体像Ａ’とし、Ｂで示される射出瞳の右側（図の場合下）を通る半光束は撮像素子上で被写体像Ｂ’とする。つまり、各画素において撮像光学系の瞳の半分ずつを通った光束から生成される一対の画像信号の位相は互いに左右でシフトしている。従って、２つの画像信号から被写体像の相対位置関係であるずれ量を求めることによってデフォーカス量（フォーカス情報）を算出する。更に、フォーカシングレンズの位置とデフォーカス量の和から対応する被写体の距離を距離演算部１０８で算出する。

尚、距離算出において、焦点検出画素の画素信号の検出方法は、瞳分割画像取得部１０５にて行われる。瞳分割画像取得部１０５内のＲＯＭに記録された焦点検出画素の位置情報（アドレス）に基づいて、焦点検出画素の画素信号と他の画素の画像信号を分離し、左右の視差のついた一対のステレオ画像を生成している。

本実施例においては、被写体７０５と背景７０６の距離の関係は図５に示す関係とする。図５は、被写体を横から見た図であり、図示されている距離Ｚ、ｂ、ａ、ｃは、それぞれＺ=３．０ｍ、ｂ＝０．５ｍ、ａ＝０．４ｍ、ｃ＝０．３ｍであるとする。また、図示されているように背景７０６の距離は３．４ｍ以上であり、被写体７０５は３．０ｍ〜３．３ｍの範囲内であるとする。

次いで、画像情報と距離マップの関係について説明する。
本実施例では、図７に示すＥＶＦ画面７００に表示される表示画像の距離マップをｎ×ｍ画素のブロック単位で距離情報の位置情報（座標アドレス）が分布している。それぞれのブロックにおいて位置情報（座標アドレス）が設定されているので、指定部１０９で指定領域を選択すると、位置情報（座標アドレス）に対応する距離情報をメモリ１０６から読み出す。

また、図６は本実施例における図７の取り込み枠７０４近辺の距離マップの一部を示した図である。本図では取り込み枠７０４近辺の被写体７０５と背景７０６の距離分布を示めしている。取り込み枠７０４よって変換元色に対応する入力の指定領域が抽出され、距離を抽出することができる。被写体７０５を指定した取り込み枠７０４内の取得距離は各ブロックにおける距離情報の平均として算出している。本実施例の場合、距離Ｚを取得できる。また、本実施例では、２５ブロック分の距離情報の平均から算出しているが、この方法に限定されるものではない。

下記に色変換を行う為のパラメータ設定方法について説明する。
パラメータ設定では、課題で示したように、光源の違いによって被写体が変換目標色に変換できないことや、更には、背景色に同色系統の色が使用されていることを考慮して、パラメータを決定する。具体的には、本実施例では入力の指定領域近辺（画面に垂直な方向（図５の横軸）の距離において）では光源の違いによる微妙な色の変化を許容した色変換が行われるように色変換域を広くし、指定領域から遠い（画面に垂直な方向の距離において）範囲では被写体と同系統の背景色が選択されないように色変換域を狭くする。また、パラメータの設定では、指定部１０９で指定された指定領域上の色情報と距離情報に応じて変換元色の色域の設定行う。これらは、前に述べたようにパラメータ決定部１１１が行う。

次に、色変換におけるパラメータについて説明を行う。
図８は、本実施例の３次元ルックアップテーブルの変換元色を概念的に示す図である。同図に示すように、本実施例では３次元ルックアップテーブルを用いて色変換パラメータを決めている。回路規模を減らすため、ＲＧＢ空間をそれぞれ３２分割し、３３×３３×３３＝３５９３７個の３次元代表格子点におけるＲＧＢ値のルックアップテーブルを用意する。点ａ〜ｈまでを代表格子点とし、各ＲＧＢ画素のデータが代表格子点内にある場合、その位置を補間演算としてそれぞれ求めていき、ルックアップテーブルを作成していく。代表格子点以外のデータはＲＧＢ信号の補間により求めるものとする。

更に、色変換におけるパラメータの色域設定では、パラメータ決定部１１１は抽出した色情報、距離情報に基づいて色域を決めるパラメータを決定する。パラメータの決め方としては、距離に応じて輝度範囲の異なる色域とするため、Ｒ：Ｇ：Ｂ＝３：６：１の割合を基に自動変更し決定できるものとする。また、図８を用いて取り込み枠７０４内の変換元色、背景７０６のＲＧＢ値と変換元色の格子点について考える。
変換元色（Ｒ、Ｇ、Ｂ）＝（９０、５、１１６）、
背景 （Ｒ、Ｇ、Ｂ）＝（１００、２１、１１８）
の時、変換元色の３次元ルックアップテーブルの格子点は、図８に示すように、
格子点ａ （８８、０、１１２）
格子点ｂ （９６、０、１１２）
格子点ｃ （８８、０、１２０）
格子点ｄ （８８、８、１１２）
格子点ｅ （９６、０、１２０）
格子点ｆ （８８、８、１２０）
格子点ｇ （９６、８、１１２）
格子点ｈ （９６、８、１２０）
である。なお、上記変換元色は、図８の位置８０２に対応する。

以上のような色変換域である場合、上述した距離Ｚ（３．０ｍ）では色域を広くする為、図９に示すように変換元色の代表格子点の領域を輝度方向に広げる（最大）。次に、２．６ｍ、３．４ｍでは、図１０に示すように背景７０６の領域が指定されないように色域を図９の色変換域に対して輝度方向に向かって狭くする。更に、本実施例では、色情報を輝度方向に可変させた領域をユーザが分かりやすいように色域レベルで表し、色域レベル０〜５を自動で設定する。０は色域なしを示し、５は色域が広い状態、つまり本実施例では変換元色が（９０、５、１１６）である為、以下のようなパラメータ設定で行う。
色域レベル５ Ｒの領域 ８８〜１１２の領域、
Ｇの領域 ０〜４０の領域、
Ｂの領域 １１２〜１２０の領域
色域レベル４ Ｒの領域 ８８〜１０４の領域、
Ｇの領域 ０〜３２の領域、
Ｂの領域 １１２〜１２０の領域
色域レベル３ Ｒの領域 ８８〜１０４の領域、
Ｇの領域 ０〜２４の領域、
Ｂの領域 １１２〜１２０の領域
色域レベル２ Ｒの領域 ８８〜９６の領域、
Ｇの領域 ０〜１６の領域、
Ｂの領域 １１２〜１２０の領域
色域レベル１ Ｒの領域 ８８〜９６の領域、
Ｇの領域 ０〜８の領域、
Ｂの領域 １１２〜１２０の領域
色域レベル０ Ｒの領域無し、
Ｇの領域無し、
Ｂの領域無し

本実施例では、変換元色（９０、５、１１６）が色域レベル１〜５の領域に含まれ、背景７０６（１００、２１、１１８）が色域レベル３〜５に含まれている。

本実施例では、距離によって色変換域を決定する際に、２．６ｍ、３．４ｍを境界領域と設定する。また、本実施例では、３．０ｍにおける色域レベルを５に設定し、距離２．６ｍ、３．４ｍでは色域レベルを１に設定する。更に、２．５ｍ、３．５ｍでは色域レベルを０とし、２．７ｍ、３．３ｍでは色域レベル１〜５の範囲で設定できるようにする。本実施例では、２．７ｍ、３．３ｍの色域レベルを２に設定する。このように設定した距離と色域レベルの関係を図１１に示す。図１２のグラフは２．６ｍ〜３．４ｍの範囲で変換目標色に変換できる色変換域が離散的に設定されていることを示している。

更に、色変換における変換目標色のパラメータも同様に、上記に記載されている方法で色域レベル設定を行っている。色域レベルは、Ｒ：Ｇ：Ｂ＝３：６：１の割合で輝度方向に広くし、自動でパラメータを決める。変換元色の色域レベルに対応するように変換目標色の色域レベル０〜５の領域の作成をおこない、すべてパラメータ決定部１１１で自動設定を行う。

また、本実施例では、色域を広げる際に、２５５を超える値にならないように設定を行っているが、これに限らない。色域を広げた際に、２５５を超えるパラメータになる場合、超える値はすべて２５５に設定する。例えば、（Ｒ、Ｇ、Ｂ）＝（２０、２５０、１８０）のとき、色域レベル２以上に対応するＧ領域は、２４８〜２５５としている。他方、Ｒ、Ｂ領域に対しては色域レベル２以上でＲ領域１６〜３２、Ｂ領域１７６〜１９２で常に一定になるように行うか、又は、Ｒ領域、Ｂ領域に対しては、変換元色同様に色域を広げてもよい。

また、本実施例では、色域を自動設定で行っているが、ユーザが好みで指定できるものとしてもよい。

また、本実施例では、距離によって色域の広さを変更したが、色の変化によって色域の広さを変更することも可能である。

次いて、３次元ルックアップテーブルにおける色変換を説明する。
３次元ルックアップテーブルでは変換元色と変換目標色の色域が決定されると、設定された色域レベルに対応する座標位置で変換目標色となるようにその立方格子を形成する各格子点の値を変更する。例えば、図８において決定された変換元色が点８０２のＲＧＢ値であった場合、補間処理の際に点８０２におけるＲＧＢ値を目標変換色のＲＧＢ値になるように、立方格子８０１の各格子点ａ〜ｈの値を変更する。

このように、指定された変換元色と変換目標色により３次元ルックアップテーブルでの格子点データを決定して色変換を行うので、再生する画像に対してユーザの好みの色設定を容易に与えることができる。また、上記の色変換処理では、３次元ルックアップテーブルにおいて、変換したい色およびその近傍の代表格子点のみが変更される。このため、画像中の色全体ではなく、一部の色のみをユーザの好みの色へと変換することを容易にできる。

ここで図４に示す本実施例の色変換処理部１１４のＲＧＢ変換処理部４０４およびＬＵＴ部４０５におけるデータ処理について具体的に説明する。

ＲＧＢ変換処理部４０４は、ＹＵＶの色変換際のパラメータを用いて下記の式に従い入力されるデータのＲＧＢ変換を行う。
Ｒ＝Ｙ＋０．０００Ｕ＋１．１４０Ｖ
Ｇ＝Ｙ―０．３９６Ｕ―０．５８１Ｖ
Ｂ＝Ｙ＋２.０２９Ｕ―０．０００Ｖ
ＲＧＢ変換されたデータは、ＬＵＴ部４０５で３次元ルックアップテーブルに割り当てられる。

ＬＵＴ部４０５には、パラメータ決定部１１１で範囲設定された情報が３次元ルックアップテーブルに書き込まれている。本実施例では図１５に示すようにＬＵＴ４０５が構成されており、３次元ルックアップテーブルは色域レベル０〜５ごとに分かれている。ＲＧＢ変換部４０４から出力されたデータは各色域レベルの３次元ルックアップテーブルで変換され、それらの結果から距離情報に従って選択された変換結果が出力される。
最終的に、Ｒ、Ｇ、Ｂはルックアップテーブル変換した結果Ｒ´、Ｇ´、Ｂ´とすると、以下のように色変換処理が実行される。
（Ｒ´、Ｇ´、Ｂ´）＝ＬＵＴ[(Ｒ、Ｇ、Ｂ)]
Ｒ、Ｇ、Ｂのデータは、各色域レベルの３次元ルックアップテーブルで色変換処理を受け、距離情報に色域レベルの変換結果がＲ´、Ｇ´、Ｂ´として出力され、メモリ１０６に書き込まれる。

次に、撮影モードにおいて目標元色を目標変換色に変更する処理について図1６のフローチャートを参照して説明する。

まず、ユーザがデジタルカメラで撮影を開始すると、ステップＳ１６０１においてシステム制御部１０７は露出制御部開始タイミングか否かを判定する。露出制御開始タイミングであればステップＳ１６０２へ進み露出制御処理を行う。この露出制御処理はＥＶＦに撮像画像を表示する為の露出設定である。

次に、ステップＳ１６０３においてシステム制御部１６７はホワイトバランス制御の開始タイミングか否かを判定する。ホワイトバランス制御の開始タイミングであればステップＳ１６０４に進み、ホワイトバランス制御処理が行われる。ホワイトバランス制御処理では、ホワイトバランス処理をするためのホワイトバランス係数を求め、色変換処理部１１４が用いるホワイトバランス係数を更新する。

ステップＳ１６０５では、変換元色から変換目標色に変換する色変換モードが実行され、処理が終わると再度、ステップＳ１６０１に戻る。
色変換モードにおけるサブルーチン内の処理を図１７のフローチャートを参照して説明する。

ステップＳ１７０１では、ステップＳ１６０２、ステップＳ１６０４によって処理された画像データをＥＶＦで表示し、画像表示部１１３のＬＣＤ上には図７示すＥＶＦ画面７００が表示される。図７に示すように、色変換モードにおいては、ＬＣＤ上にＥＶＦ画面７００、ＥＶＦ画面７００内の取り込み枠７０４、変換元色表示枠７０３、変換目標色表示枠７０１が表示される。

ユーザは変換元色を指定する為、カメラの方向および光学ズームを動作させ、取り込み枠一杯に所望の色が入るように画角を設定する。例えば、図示しないカメラの十字ボタンの左が押されると、ステップＳ１７０３で変換元色の取り込み指示が入力されたとして、ステップＳ６０７へ進む。ステップＳ１７０７では、その時点における取り込み枠７０４内の画像の画素データが取得され、ステップＳ１７０８ではその平均値が算出され変換元色（Src色）と距離情報が決定される。変換元色が決定されると変換元色を表すパッチが変換元色表示枠７０３に表示され、距離表示枠７０２に距離が表示される。

同様にユーザは変換目標色を決定する為に、ＥＶＦ画面７００の中央付近に固定された取り込み枠７０４一杯に所望の色が入るようにして、図示しない十字ボタンの右ボタンを押す。十字ボタンの右ボタンが押されると変換目標色の取り込み指示が入力されたとしてからステップＳ１７０９に移動する。ステップＳ１７０９では、その時点における取り込み枠７０４内の画像の色情報が取得され、ステップＳ１７１０では、取り込み枠７０４内においての色の平均値が算出され、変換目標色（Dst色）が決定される。変換目標が決定されると、変換目標色を表すパッチが指定した変換目標色に変換される。

ステップＳ１７０８、又は、ステップＳ１７１０にて変換元色或は変換目標色が決定されると、ステップＳ１７１１では変換元色から変換目標色に変換する為の、パラメータの色域レベルの設定が行われる。本実施例では上記に述べたように、Ｚ（３．０ｍ）付近の色域レベルを５とし、２．６ｍ、３．４ｍ付近では色域レベルを１とすることで、被写体７０５と背景７０６が同色系統でも被写体７０５の色変換領域のみを選択することが可能となる。これは上記で述べたように、被写体７０５が色域レベル１〜５、背景７０６が色域レベル３〜５に含まれているため、背景の色域が選択されないためである。

処理はステップＳ６１２に進む。ステップＳ１７１２では、変換元色から変換目標色に色変換される。

更に、変換目標色に変換された後、撮影を行う場合、ステップＳ１７０５でシャッターボタンが押されたか否かの判定をし、ステップＳ１７０６にて撮影が行われる。

なお、本実施例では、被写体７０５が距離２．７ｍ〜３．３ｍ内に含まれ、背景７０６の距離が３．４ｍ以上範囲としているが、これに限定されるものではない。被写体７０５が距離２．６ｍ〜３．４ｍ内に含まれ、背景７０６の距離が３．５ｍ以上である場合、背景色のＲＧＢが取り込み枠７０４内の変換元色ＲＧＢと全くの同成分であっても、被写体７０５のみ色変換が可能である。

また、本実施例において、色域レベルは２．６ｍ〜３．４ｍの範囲では０以外で記述されているが、これに限定されるものではない。光源の違いによって２．６ｍ〜３．４ｍの範囲で色域レベルを０にしても良い。

色域レベルの他の設定の例を示す。

図１２は距離Ｚが０．３ｍの場合を色域レベルの設定例を示す。図１２は、距離Ｚが近い場合に、同じ色域レベルが設定される被写体距離の間隔を狭めていることを示している。このような色域の設定はマクロ撮影の際に有効である。また、図１３のように、距離Ｚが近い場合（図では０．３ｍの場合）でも、０．３ｍ以内の距離では等色域レベルの距離間隔を狭く、０．３ｍ以上の距離では等色域レベルの距離間隔を広く設定してもよい。それぞれの図１３におけるグラフの距離の関係は、ｂ＞ｄ＞ｅ＞ａ＞cである。ここでは、入力の指定領域が近い距離にある場合、図１２と同様であるが距離Ｚ（０．３ｍ）から遠くなるほど１間隔を広くしている。

距離Ｚが遠い場合（図では１５ｍの場合）の色域について同じレベルの設定例を領域を図１４に示す。同色域における間隔は図１２と同様に、各レベルが同じ間隔であるが、図１２に比べて１間隔は距離Ｚが大きいため広くしている。

図１２〜図１４のように距離Ｚの遠近によって領域を限定しているが、これ以外の設定も可能である。

また、本実施例では、図１１のように色域レベルをＺ＋ａ（３．４ｍ）、Ｚ−ａ（２．６ｍ）では小さく、距離Ｚ（３．０）では大きく、Ｚ＋ｂ（３．５ｍ）、Ｚ−ｂ（２．５ｍ）では０にしているが、これに限られるものではない。

次に、本発明の第２の実施例を説明する。本実施例は、第１の実施例での色変換処理部１１４のＬＵＴ部４０３の変形例である。

図１８は本実施例のＬＵＴ部１８０１の構造を示す。なお、図１８において第１の実施例と同じ構成要素は同じ参照符号を付し、ここでの説明は省略する。本実施例のＬＵＴ部１８０１は、第１の実施例のセレクター部１５０１をＭＩＸ部１８０１に変更して補間処理を行える構成としている。ＭＩＸ部１８０１は、隣り合う色域レベルの間の位置に対する色域レベルを補間により決定し、第１の実施例に比べてより連続的な変換データを生成する。図１９は、補間によって決定した距離に対する色域レベルを示す。この場合、第１の実施例の色域レベル０〜５に対応させると、２．７ｍ、３．３ｍの領域では色域レベル３になる。従って、例えば色域レベル１と色域レベル２の領域に位置するデータに対しては、両レベルの補間に応じて決まる色域レベルに従って変換結果Ｒ´、Ｇ´、Ｂ´が生成される。

なお、本実施例では２．７ｍ、３．３ｍの領域では色域レベル３と記述しているが、これに限定するものではなく、他の補間構成でもよい。

上述した実施例１〜２では、３次元ルックアップテーブルをＲＧＢ空間で示しているが、これに限定することなく他の色空間でも良い。

また、実施例１〜２では、色域の広さを輝度方向に変更しているが、これに限定されるものでく、例えば彩度方向に変更してもよい。

また、実施例１〜２では、色域レベルを０〜５で指定して色変換を行っているが色域レベルの値はこれに限定されるものではない。０〜１０など更に大きくしても良い。

また、実施例１〜２では、ユーザが指定する色変換モードにも例えば撮影モードに応じてバリエーションを持たせる方法など容易に設定することも可能である。例えば、逆光モードでは、入力の指定領域に近い距離では色域を狭くし、遠くなるほど色域を広くするなど事前に設定コマンドを用意しておく方法なども可能である。

また、実施例１〜２では、変換元色および変換目標色の取り込みを行うあたり十字ボタンの左右ボタンを用いたが、これに限られるものではない。他のボタンを当てても良いし、もしくは専用ボタンも設けても良い。

また、実施例１〜２において変換元色/変換目標色取り込み時のＥＶＦ画面７００中の取り込み枠は中央付近に固定されているが、ユーザの指定により取り込み枠をＥＶＦ画面７００中の任意の場所に移動することが可能なようにすることも可能である。また、同様に色取り込み枠の大きさもユーザの指定により変化可能なようにすることも可能である。

なお、上記実施例においては、指定色を１色しか設定しない例について説明したが、これに限られるものではない。

また、実施例１〜２において、変換元色から変換目標色への変換を行っているが、変換元色のみを残してもよい。

また、実施例１〜２において、撮像装置に限定しているが、これに限られるものではない。

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

また、上述した実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、これはこの例に限定されない。すなわち、本発明は、タッチパネルを用いたパーソナルコンピュータやＰＤＡといった機器に適用してもよい。さらに、携帯電話端末や携帯型の画像ビューワ、プリンタ装置に設けられた印刷画像選択および確認のためのディスプレイ、デジタルフォトフレームなど、タッチパネルを用いた表示制御装置であれば、本発明は適用可能である。

また、上述した実施の形態の処理は、各機能を具現化したソフトウェアのプログラムコードを記録した記憶媒体をシステム或いは装置に提供してもよい。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって、前述した実施形態の機能を実現することができる。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フロッピィ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスクなどを用いることができる。或いは、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリーカード、ＲＯＭなどを用いることもできる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現されるだけではない。そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した各実施例の機能が実現される場合も含まれている。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれてもよい。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含むものである。

Claims (25)

1. 被写体を撮像した画像信号を取得する画像取得手段と、
   ユーザ操作に応じて、前記画像信号の色情報と、前記画像信号における被写体の距離情報とに基づいて、所定の距離範囲にある領域を設定する設定手段と、
   前記設定手段により設定される領域に色変換を施す画像処理手段と、
   前記画像処理手段で前記色変換が行われた画像信号を表示部に表示する表示手段と、を備え、
   前記設定手段によって設定される領域は、当該領域の画像信号が、被写体の距離に対応して異なる色範囲を有し、
   前記画像処理手段は、距離範囲に応じて色変換を行うための複数のルックアップテーブルを生成し、前記画像信号を前記距離範囲の画像ごとに、対応する前記ルックアップテーブルを用いてそれぞれ色変換を行うことを特徴とする画像処理装置。
2. 被写体を撮像した画像信号を取得する画像取得手段と、
   ユーザ操作に応じて、前記画像信号の色情報と、前記画像信号における被写体の距離情報とに基づいて、所定の色範囲にある領域を設定する設定手段と、
   前記設定手段により設定される領域に色変換を施す画像処理手段と、
   前記画像処理手段で前記色変換が行われた画像信号を表示部に表示する表示手段と、を備え、
   前記設定手段によって設定される領域は、当該領域の画像信号が、被写体の距離に対応して異なる色範囲を有することを特徴とする画像処理装置。
3. 前記画像信号における被写体の位置と前記被写体の距離情報とが関連付けられた距離マップを取得する距離マップ取得手段を備え、
   前記設定手段は、前記距離マップに基づいて領域を設定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記設定手段によって設定される領域は、被写体の距離に対応して離散的に色範囲の広さが設定されていることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記設定手段によって設定される領域は、被写体の距離に対応して連続的に色範囲の広さが設定されていることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
6. 前記設定手段は、被写体からの距離が前記被写体から背景までの距離より大きい範囲に対しては領域を設定しないことを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 前記画像処理手段は、前記設定手段によって設定された領域に対応する画像信号に前記色変換を施す色変換手段を備えることを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 前記距離マップ取得手段は、位相差を有する一対の画像信号に基づいて前記被写体の距離情報を生成し、前記距離マップを生成することを特徴とする請求項３に記載の画像処理装置。
9. 前記距離マップ取得手段は、前記画像信号のフォーカス情報を含む撮像情報に基づいて前記被写体の距離情報を生成し、前記距離マップを生成することを特徴とする請求項３に記載の画像処理装置。
10. 撮像光学系の異なる瞳領域を通過した光束を受光した対の画像信号を取得する画像取得手段と、
    前記画像取得手段から取得される画像信号の信号成分と、前記対の画像信号の位相差とに基づいて、画像信号の所定の距離範囲にある領域を設定する設定手段と、
    前記設定手段により設定される領域に色変換を施す画像処理手段と、
    前記画像処理手段で前記色変換が行われた画像信号を表示部に表示する表示手段と、を備え、
    前記設定手段によって設定される領域は、当該領域の画像信号が、被写体の距離に対応して異なる色範囲を有し、
    前記画像処理手段は、距離範囲に応じて色変換を行うための複数のルックアップテーブルを生成し、前記画像信号を前記距離範囲の画像ごとに、対応する前記ルックアップテーブルを用いてそれぞれ色変換を行うことを特徴とする画像処理装置。
11. 被写体を撮像した画像信号を取得する画像取得手段と、
    ユーザ操作に応じて、前記画像信号の色情報と、前記画像信号における被写体の位置に対応する前記被写体の距離情報とに基づいて、所定の距離範囲にある領域を設定する設定手段と、
    前記設定手段により設定される領域に画像処理を施す画像処理手段と、
    を備え、
    前記設定手段によって設定される領域は、当該領域の画像信号が、被写体の距離に対応して異なる色範囲を有し、
    前記画像処理手段は、距離範囲に応じて色変換を行うための複数のルックアップテーブルを生成し、前記画像信号を前記距離範囲の画像ごとに、対応する前記ルックアップテーブルを用いてそれぞれ色変換を行うことを特徴とする画像処理装置。
12. 被写体を撮像する撮像手段と、
    請求項１乃至１０のいずれか一項に記載の画像処理装置と、
    を備えることを特徴とする撮像装置。
13. 被写体を撮像する撮像手段と、
    画像信号を表示する表示手段と、
    請求項１１に記載の画像処理装置と、
    を備えることを特徴とする撮像装置。
14. 前記表示手段は、前記設定手段により設定される領域を前記画像信号とともに表示する請求項１２または１３に記載の撮像装置。
15. 前記撮像手段は、撮像光学系の異なる瞳領域を通過した光束を受光し、一対の画像信号を出力することを特徴とする請求項１２乃至１４のいずれか一項に記載の撮像装置。
16. 被写体を撮像した画像信号を取得するステップと、
    ユーザ操作に応じて、前記画像信号の色情報と、前記画像信号における被写体の位置に対応する前記被写体の距離情報とに基づいて、所定の距離範囲にある領域を設定するステップと、
    設定される領域に色変換を施すステップと、
    前記色変換が行われた画像を表示部に表示するステップと、
    を有し、
    前記設定するステップにおいて設定される領域は、当該領域の画像信号が、被写体の距離に対応して異なる色範囲を有し、
    前記色変換のステップでは、距離範囲に応じて色変換を行うための複数のルックアップテーブルを生成し、前記画像信号を前記距離範囲の画像ごとに、対応する前記ルックアップテーブルを用いてそれぞれ色変換を行うことを特徴とする画像処理方法。
17. 被写体を撮像した画像信号を取得するステップと、
    ユーザ操作に応じて、前記画像信号の色情報と、前記画像信号における被写体の位置に対応する前記被写体の距離情報とに基づいて、所定の色範囲にある領域を設定するステップと、
    設定される領域に色変換を施すステップと、
    前記色変換が行われた画像を表示部に表示するステップと、
    を有し、
    前記設定するステップにおいて設定される領域は、当該領域の画像信号が、被写体の距離に対応して異なる色範囲を有し、
    前記色変換のステップでは、距離範囲に応じて色変換を行うための複数のルックアップテーブルを生成し、前記画像信号を前記距離範囲の画像ごとに、対応する前記ルックアップテーブルを用いてそれぞれ色変換を行うことを特徴とする画像処理方法。
18. 撮像光学系の異なる瞳領域を通過した光束を受光した対の画像信号を取得するステップと、
    取得される画像信号の信号成分と、前記対の画像信号の位相差とに基づいて、画像信号の所定の距離範囲にある領域を設定するステップと、
    設定される領域に色変換を施すステップと、
    前記色変換が行われた画像信号を表示部に表示するステップと、
    を有し、
    前記設定するステップにおいて設定される領域は、当該領域の画像信号が、被写体の距離に対応して異なる色範囲を有し、
    前記色変換のステップでは、距離範囲に応じて色変換を行うための複数のルックアップテーブルを生成し、前記画像信号を前記距離範囲の画像ごとに、対応する前記ルックアップテーブルを用いてそれぞれ色変換を行うことを特徴とする画像処理方法。
19. 画像処理装置のコンピュータに実行させるプログラムであって、
    被写体を撮像した画像信号を取得するステップ、
    ユーザ操作に応じて、前記画像信号の色情報と、前記画像信号における被写体の距離情報とに基づいて、所定の距離範囲にある領域を設定するステップ、
    設定される領域に色変換を施すステップ、
    前記色変換が行われた画像を表示部に表示するステップ、
    として機能させるためのプログラムであり、
    前記設定するステップにおいて設定される領域は、当該領域の画像信号が、被写体の距離に対応して異なる色範囲を有し、
    前記色変換のステップでは、距離範囲に応じて色変換を行うための複数のルックアップテーブルを生成し、前記画像信号を前記距離範囲の画像ごとに、対応する前記ルックアップテーブルを用いてそれぞれ色変換を行うプログラム。
20. 画像処理装置のコンピュータに実行させるプログラムであって、
    被写体を撮像した画像信号を取得するステップ、
    ユーザ操作に応じて、前記画像信号の色情報と、前記画像信号における被写体の距離情報とに基づいて、所定の色範囲にある領域を設定するステップ、
    設定される領域に色変換を施すステップ、
    前記色変換が行われた画像を表示部に表示するステップ、
    として機能させるためのプログラムであり、
    前記設定するステップにおいて設定される領域は、当該領域の画像信号が、被写体の距離に対応して異なる色範囲を有し、
    前記色変換のステップでは、距離範囲に応じて色変換を行うための複数のルックアップテーブルを生成し、前記画像信号を前記距離範囲の画像ごとに、対応する前記ルックアップテーブルを用いてそれぞれ色変換を行うプログラム。
21. 画像処理装置のコンピュータに実行させるプログラムであって、
    撮像光学系の異なる瞳領域を通過した光束を受光した対の画像信号を取得するステップ、
    取得される画像信号の信号成分と、前記対の画像信号の位相差とに基づいて、画像信号の所定の距離範囲にある領域を設定するステップ、
    設定される領域に色変換を施すステップ、
    前記色変換が行われた画像信号を表示部に表示するステップ、
    として機能させるためのプログラムであり、
    前記設定するステップにおいて設定される領域は、当該領域の画像信号が、被写体の距離に対応して異なる色範囲を有し、
    前記色変換のステップでは、距離範囲に応じて色変換を行うための複数のルックアップテーブルを生成し、前記画像信号を前記距離範囲の画像ごとに、対応する前記ルックアップテーブルを用いてそれぞれ色変換を行うプログラム。
22. コンピュータを、請求項１乃至１１のいずれか一項に記載された画像処理装置の各手段として機能させるプログラム。
23. コンピュータを、請求項１乃至１１のいずれか一項に記載された画像処理装置の各手段として機能させるプログラムを格納した記憶媒体。
24. 被写体を撮像した画像信号を取得する画像取得手段と、
    ユーザ操作に応じて、前記画像信号の色情報と、前記画像信号における被写体の距離情報とに基づいて、所定の距離範囲にある領域を設定する設定手段と、
    前記設定手段により設定される領域に色変換を施す画像処理手段と、
    前記画像処理手段で前記色変換が行われた画像信号を表示部に表示する表示手段と、を備え、
    前記設定手段によって設定される領域は、被写体の距離に対応して離散的に色範囲の広さが設定されており、
    前記画像処理手段は、距離範囲に応じて色変換を行うための複数のルックアップテーブルを生成し、前記画像信号を前記距離範囲の画像ごとに、対応する前記ルックアップテーブルを用いてそれぞれ色変換を行うことを特徴とする画像処理装置。
25. 被写体を撮像した画像信号を取得する画像取得手段と、
    ユーザ操作に応じて、前記画像信号の色情報と、前記画像信号における被写体の距離情報とに基づいて、所定の距離範囲にある領域を設定する設定手段と、
    前記設定手段により設定される領域に色変換を施す画像処理手段と、
    前記画像処理手段で前記色変換が行われた画像信号を表示部に表示する表示手段と、を備え、
    前記設定手段によって設定される領域は、被写体の距離に対応して連続的に色範囲の広さが設定されており、
    前記画像処理手段は、距離範囲に応じて色変換を行うための複数のルックアップテーブルを生成し、前記画像信号を前記距離範囲の画像ごとに、対応する前記ルックアップテーブルを用いてそれぞれ色変換を行うことを特徴とする画像処理装置。

Images