JP3950822B2 - Imaging apparatus, imaging method, control program, and computer-readable memory - Google Patents

Description

【００２０】
マトリクス演算部２０３においてマトリクス演算処理されたＣＣＤデジタル信号は、色差ゲイン演算処理部２０４において色差信号にゲインがかけられる。この演算は以下の式（２）〜（４）により行われる。まず、上記（１）式で得られたＲｍ信号、Ｇｍ信号、及びＢｍ信号を、Ｙ信号、Ｃｒ信号、及びＣｂ信号からなる色空間で表現された信号値に変換する。さらに、式（３）によりＣｒ信号及びＣｂ信号にゲイン（ゲイン定数＝Ｇ１）がかけられる。そして、式（４）により、Ｙ信号、Ｃｒ'信号（ゲインがかけられたＣｒ信号）、及びＣｂ'信号（ゲインがかけられたＣｂ信号）は、それぞれＲｇ信号、Ｇｇ信号、及びＢｇ信号へと変換される。なお、式（４）は式（２）の逆行列演算である。
【００２１】
【数２】

【００２２】
色差ゲイン演算処理部２０４によって上述の色差ゲイン演算処理が施されたＣＣＤデジタル信号は、ガンマ処理部２０５へ送られる。ガンマ処理部２０５では以下の式（５）〜式（７）を用いてＣＣＤデジタル信号をデータ変換する。ただし、式（５）〜式（７）において、GammaTableは１次元ルックアップテーブルである。
Rt＝GammaTable[Rg] …式（５）
Gt＝GammaTable[Gg] …式（６）
Bt＝GammaTable[Bg] …式（７）。
【００２３】
ガンマ処理されたＣＣＤデジタル信号は、色相補正演算処理部２０６へと送られる。この演算では、まず、以下の式（８）により、Ｒｔ信号、Ｇｔ信号、及びＢｔ信号が、Ｙ信号、Ｃｒ信号及びＣｂ信号へ変換される。さらに、式（９）によりＣｒ信号、Ｃｂ信号が補正される。そして、式（１０）により、Ｙ信号、Ｃｒ'信号（補正されたＣｒ信号）、及びＣｂ'信号（補正されたＣｂ信号）が、Ｒｈ信号、Ｇｈ信号、及びＢｈ信号へ変換される。なお、式（１０）は、式（８）の逆行列演算である。こうして色相補正演算処理部２０６において色相補正演算処理されたＣＣＤデジタル信号（Ｒｈ、Ｇｈ、Ｂｈ）は、エッジ合成処理部２０８へ送られる。
【００２４】
【数３】

【００２５】
一方、エッジ強調処理部２０７は、ホワイトバランス処理部２０１から送られてくるホワイトバランス処理されたＣＣＤデジタル信号を元にエッジを検出し、エッジ信号のみを抽出する。そして、抽出されたエッジ信号がゲインアップにより増幅されてエッジ合成処理部２０８へと送られる。エッジ合成処理部２０８では色相補正演算処理部２０６から送られてきたＲｈ信号、Ｇｈ信号、及びＢｈ信号に、エッジ強調処理部２０７で抽出されたエッジ信号を加えてエッジ合成処理を行う。以上が信号処理の流れである。
【００２６】
ユーザがパラメータ変更を行わない場合は、撮影モード設定部１０８で設定されたパラメータ、すなわち式（１）中のＭ１１，Ｍ２１，Ｍ３１，…，Ｍ３３、式（３）中のＧ１，Ｇ２、及び式（９）中のＨ１１，Ｈ２１，Ｈ１２，Ｈ２２の各パラメータに、設定された撮影モードのデフォルトの値が用いられる。これに対し、ユーザが画像再生パラメータの変更を行う場合には、これらのデフォルトの画像再生パラメータ値が、パラメータ決定部１０７により変更、決定された画像再生パラメータで置換されることになる。以下、パラメータ決定部１０７によるパラメータの決定処理について説明する。
【００２７】
図５の画像データ５０１（図５ではファイル名Src.bmpの画像）は、ＢＭＰファイルフォーマットで記述されている変換元の画像データ（ソース画像ともいう）であり、ユーザが用意したどのような画像でもかまわない。ユーザはこの変換元の画像データ５０１を自分の好みの色再現になるようにパソコン上でレタッチする。なお、このときのレタッチは、画像全体に一様な変換を行うのではなく、変換したい領域のみをレタッチにより変更する。また、このレタッチは、色相の変更や、彩度の変更等のどのようなレタッチでもかまわない。本実施形態においては空の部分のみを好みの色に変換している。図５では、このレタッチによって作成されたディスティネーション画像を画像データ５０２（ファイル名Dst.bmp）として示している。なお、画像データ５０１と画像データ５０２の大きさは同一である。ソース画像データ５０１としては撮像によって得られた撮影画像データを用いてもよいし、当該撮影画像データとともに記録媒体に記録されるサムネイル画像データを用いてもよい。
【００２８】
ソース画像とディスティネーション画像を用いた一連の処理を図８Ａのフローチャートを用いて簡単に説明する。
【００２９】
ユーザは、撮像装置の内部メモリあるいは撮像装置外部の着脱可能な記録メディアから読み出した（ステップＳ７０１）変換元のソース画像データ５０１を撮像装置の表示部で見ながらレタッチし（ステップＳ７０２）、得られた画像を別ファイルの変換後のディスティネーション画像データ５０２（例えば、ファイル名Dst.bmp）としてセーブする（ステップＳ７０３）。ここで２つの画像データ５０１（Src.bmp）と画像データ５０２（Dst.bmp）を撮像装置の記録メディアあるいは撮像装置の内部メモリに記録する（ステップＳ７０４）。そして、ユーザは、画像再生パラメータの変更を行うべき撮影モードを指定し、パラメータ変更の実行を指示する。
【００３０】
パラメータの変更がユーザにより指示されると、図１のパラメータ決定部１０７は、ソース画像データ５０１とディスティネーション画像データ５０２の対応する画素の色信号値に基づいてパラメータを決定する（ステップＳ７０５）。本実施形態で決定されるパラメータは、式（１）中のＭ１１，Ｍ２１，Ｍ３１，…，Ｍ３３、式（３）中のＧ１，Ｇ２、式（９）中のＨ１１，Ｈ２１，Ｈ１２，Ｈ２２である。そして、決定されたパラメータによって撮像モードのパラメータを更新し（ステップＳ７０６）、更新されたパラメータが撮像装置の内部メモリあるいは、撮像装置外部の着脱可能な記録メディアに登録される（ステップ７０７）。
【００３１】
図６は、パラメータ決定部１０７内の構成の一例を示したブロック図である。以下に、ステップＳ７０５で行なわれるパラメータ決定部１０７の動きを、図６を用いて説明する。図６中の画像データ読み取り部６０１は、撮像装置の記録媒体に格納されているソース画像データ５０１とディスティネーション画像データ５０２を読み出す。色変換リスト作成部６０２は、読み出されたソース画像データ５０１とディスティネーション画像データ５０２における同位置の画素のＲＧＢ信号値の差に基づき、図７Ａのようなソース画像のＲＧＢ信号値からディスティネーション画像のＲＧＢ信号値への色変換リスト７００を作成する。
【００３２】
この色変換リスト７００は、ＲＧＢ空間に図７Ｂの如く設定した各格子点のＲＧＢ信号値が、ソース画像からディスティネーション画像への色変換においてどのように変化するかを示したものである。本実施形態では、ＲＧＢの各軸について信号値０〜２５５（８ビット）を３２ステップ刻みで８分割し、ＲＧＢ空間に９×９×９＝７２９個の格子点を設定している。色変換リスト７００のソース画像側のＲＧＢ信号値は各格子点のＲＧＢ信号値であり、ディスティネーション側のＲＧＢ信号値はそれぞれの変換結果に対応する。図８ＡのステップＳ７０５において行なわれるリスト７００の作成処理を図８Ｂのフローチャートにより詳述するが、格子点近傍のＲＧＢ信号値を有するソース画像中の画素とこれに対応するディスティネーション画像中の画素のＲＧＢ値を用いることによりリスト７００が作成される。
【００３３】
パラメータ作成部６０３は、色変換リスト７００に記録されたＲＧＢ値の変化を実現するように上記パラメータを決定する。
【００３４】
以下、リスト作成の手順を図８Ｂのフローチャートに従って説明する。
【００３５】
図８において、まず初めに基準信号値が発生される。この基準信号値は各格子点のＲＧＢ信号値であり、Rsn信号（ｎ＝０〜７２８）、Gsn信号（ｎ＝０〜７２８）、及びBsn信号（ｎ＝０〜７２８）を発生する（ステップＳ８０１）。なお、格子点の設定は上記（図７Ｂ）に限定されないことはいうまでもない。
【００３６】
次に、発生した基準信号値（Rsn,Gsn,Bsn）に近いＲＧＢ信号値をソース画像信号中からサーチし、そのＲＧＢ信号値と画素位置を保持する（ステップＳ８０２）。このサーチでは、例えば以下の式（１１）より求まる信号値差Ｅが所定の閾値Ｔｈよりも小さくなるＲＧＢ信号値を有する画素を抽出し、そのＲＧＢ信号値と画素位置を保持する。
【００３７】
【数４】

【００３８】
ただし、式（１１）において、ｘ、ｙは画像座標値を示し、Ａ（ｘ，ｙ）はｘ、ｙ座標値におけるＡ信号の値を示す。またここで、信号値差Ｅは、色空間上における基準信号値（Rsn,Gsn,Bsn）とソース画像中のＲＧＢ信号値（Rs,Gs,Bs）との距離を表している。
【００３９】
ステップＳ８０３では、ステップＳ８０２で保持された画素がＮ個以上存在しているか否かを判定する。この判定の結果、ステップＳ８０２によってＮ個以上の画素が保持されていれば、ステップＳ８０５へ、そうでなければステップＳ８０４へ進む。
【００４０】
ステップＳ８０５では、当該基準信号に対応する信号値を以下の手順で算出する。まず、以下の式（１２）〜式（１４）を用いて、ディスティネーション画像中の対応する画素のＲＧＢ信号値との差分信号値をdR、dG、dBを求める。即ち、ステップＳ８０２でサーチされ保持された各画素とディスティネーション画像中の対応する画素とのＲＧＢ信号値の差を、
dR=Rs(x,y)-Rd(x,y) …式（１２）
dG=Gs(x,y)-Gd(x,y) …式（１３）
dB=Bs(x,y)-Bd(x,y) …式（１４）
により求める。
【００４１】
そして、ステップＳ８０２で保持された全画素についてのdR、dG、dBの平均値（dRの平均値dRave、dGの平均値dGave、及びdBの平均値dBave）を算出し、これら平均値と式（１５）〜（１７）を用いてソース画像における各格子点位置のＲＧＢ信号値がディスティネーション画像においてどのように変化するかを求める。
Rdn=Rsn-dRave …式（１５）
Gdn=Gsn-dGave …式（１６）
Bdn=Bsn-dBave …式（１７）。
【００４２】
一方、信号値差Ｅの値がスレッショルド値Ｔｈより小さい画素がソース画像中にＮ個以上存在しない場合はノイズとみなし、基準信号値（Rsn,Gsn,Bsn）をそのままディスティネーション画像における格子点位置のＲＧＢ信号値（Rdn,Gdn,Bdn）とする。
Rdn=Rsn …式（１８）
Gdn=Gsn …式（１９）
Bdn=Bsn …式（２０）。
【００４３】
パラメータ作成部６０３は、以上のようにして求められた色変換リストに記録されている色変換が実現されるようにパラメータを決定する。まず、変換リスト中のソース画像側のＲＧＢ信号値（基準信号値（Rsn信号、Gsn信号、及びBsn信号）に相当する）について、式（１０）〜式（１）の逆変換を行う。この逆変換では、変更したい撮影モードのパラメータを用いる。この逆変換の結果をRn、Gn、Bnとする。そして、これらRn、Gn、及びBnの値を変更されたパラメータを用いて式（１）〜式（１０）により変換した結果（信号の値）をそれぞれRdn'、Gdn'、及びBdn'とすると、当該撮影モードの新たなパラメータは、次式で求められる値Diffが最小になるように減衰最小自乗法を用いて決定される。
【００４４】
【数５】

【００４５】
パラメータ作成部６０３は，以上のようにして、ソース画像及びディスティネーション画像の関係から新たに求めたパラメータを、パラメータを変更すべく指定された撮影モードのパラメータとして撮像装置内部あるいは撮像装置外部の着脱可能な記録媒体（不図示）に記憶する。
【００４６】
次に、パラメータ変更が行われた撮影モードでの撮影データの流れを図１、および図２を用いて説明する。前述のようにソース画像をレタッチすることによってパラメータ変更を行った撮影モードが選択され、撮影が行われると、撮像部１０１からＡ／Ｄ変換部１０３により、撮影されたＣＣＤ信号が画像処理部１０４へと送られる。画像処理部１０４では図２のホワイトバランス処理部２０１からエッジ合成処理部２０８までの処理が行われるが、そこで用いられるパラメータは予め用意されたパラメータではなく、撮像装置内部あるいは撮像装置外部の着脱可能な記録媒体に記憶されている変更されたパラメータが読み出されて処理が行われる。
【００４７】
変更されたパラメータにより処理された画像データはフォーマット変換部１０５へと送られ、画像フォーマットにしたがって変換され、画像記録部１０６にて撮像装置の記録媒体へと書き込まれる。以上がパラメータ変更が行われた撮影モードでのデータの流れである。
【００４８】
以上のように、本実施形態によれば、ソース画像とディスティネーション画像の関係から新たに求められたパラメータをパラメータ変更された撮影モードとして記録媒体に保持しておくことができる。そして、このパラメータ変更された撮影モードを選択することにより、以降の撮影では変更されたパラメータが適用されて自動的に画像処理されることとなる。そのため、ユーザの好みの色味を撮影時に反映させることが可能になり、一度のパラメータ設定によって統一された色味の撮影画像を自動的に得ることができる。また、その際に撮像時にどのようなパラメータ、色変換リストやＬＵＴを用いて処理されたか特定できる情報を画像とともにタグ情報の中に記録しておいてもよい。
【００４９】
また、上記実施形態では、予め決められた撮影モードのパラメータを変更し、変更後のパラメータによって当該撮影モードのパラメータを上書きする場合について述べたがこれに限られるものではない。例えば、ユーザが予めカスタム設定可能な撮影モード（カスタムモード）を１つ又は複数用意しておき、作成されたパラメータをそのカスタムモードのパラメータとして保持するようにしても良い。このようにすれば、予め用意された撮影モードのパラメータを維持させることができる。
【００５０】
以上のように、第１実施形態では、任意のソース画像データと、このソース画像データがレタッチされることにより得られるディスティネーション画像データとを記録しておき、所望の撮影モードについて画像再生パラメータの変更を実行することがユーザにより指定されると、ソース画像データとディスティネーション画像データとを比較して色変換リストを作成し、作成した色変換リストを用いて当該撮影モードにおける画像再生パラメータを変更する。このため、ユーザの好みの色設定を再生する画像に対して容易に与えることができる。また、画像全体ではなく、一部の色のみをユーザの好みの色へと変換することも容易に実現することができる。
【００５１】
なお、第１実施形態においては、画像再生パラメータを書き換える撮影モードを１つ指定して、その撮影モードのみのパラメータを書き換えて登録する例をあげたが、１つのモードだけではなく、ユーザが指定した複数の撮影モードを同時に書き換える様にしてもよい。この場合、式（１０）〜式（１）の逆変換を指定された各撮影モードに設定されている画像再生パラメータを用いて実行することになる。即ち、１つの色変換リストを用いて、上述のパラメータ作成部６０３による処理を指定された撮影モードの各々について実行させることになる。
【００５２】
また、第１実施形態においては、ソース画像とディスティネーション画像のフォーマットにＢＭＰファイルフォーマットを用いたが、ソース画像とディスティネーション画像のフォーマットはこれに限られるものではなく、ＪＰＥＧや、ＴＩＦＦ等のファイルフォーマットを用いて行うことも可能である。
【００５３】
さらに、第１実施形態では、撮像装置が上述したパラメータ決定処理を含む画像処理を実行するように構成しているので、撮像処理に伴って前述した色変換処理を行える。しかしながら、必ずしも撮像装置が上記画像処理を実行するように構成する必要はない。例えば、上記画像処理を実行する画像処理装置を単独で構成してもよい。このように構成すれば、ユーザが所有する任意の画像データを入力して前述した色変換処理を行うことができ、ユーザの好みの色設定を容易に行える。
【００５４】
この場合、例えば、ソース画像とディスティネーション画像、またはそれらに代る色変換リストを用いて画像変換パラメータを決定し、決定されたパラメータでもって、例えば撮像装置に予め用意されている画像再生パラメータを変更する。そして、作成された色変換リストあるいは変更された画像変換パラメータに名前を付けて登録する登録作業を行う。登録作業は画像再生パラメータの変更を行うべき撮影モードを指定し、パラメータ変更の実行することによって登録されるようにしてもよい。或いは、当該画像処理装置によって、登録された画像変換パラメータを用いてユーザが所有する任意の画像データを色変換することもできる。なお、上記において、画像変換パラメータは、前述した画像再生パラメータに相当するパラメータである。上記画像処理装置は撮像装置と別体であってもよく、別体の場合は、例えばＵＳＢ等のインターフェースを介して生成した画像再生パラメータを撮像装置に転送するように構成することになる。
【００５５】
＜第２実施形態＞
次に、本発明の第２実施形態を説明する。第１実施形態では、生成した色変換リストに基づいて式（１）、（３）、（９）の画像再生パラメータを変更したが、第２実施形態では、図９の３次元ルックアップテーブル演算処理部９０９におけるルックアップテーブルの値（格子点データ）を変更する。図９は、第２実施形態による画像処理部１０４に含まれる処理を説明するためのブロック図である。以下に図９のブロック図を用いて本実施形態の撮像装置における画像処理の流れを説明する。
【００５６】
ホワイトバランス処理部９０１、補間処理部９０２、マトリクス演算部９０３、色差ゲイン演算部９０４、ガンマ処理部９０５、色相補正演算処理部９０６、エッジ強調処理部９０７、及びエッジ合成処理部９０８の動きは、前述した第１の実施形態と同じである為、ここでは詳細な説明をしない。ここでは、第１の実施形態にはなかった３次元ルックアップテーブル演算処理部９０９について詳細に説明する。
【００５７】
色相補正演算処理部９０６により処理されたＣＣＤデジタル信号（入力ＲＧＢ信号）Ｒｈ、Ｇｈ、Ｂｈは、３次元ルックアップテーブル演算処理部９０９へと送られ、ＣＣＤデジタル信号（出力ＲＧＢ信号）ＲＬ、ＧＬ、ＢＬへと変換される。
【００５８】
以下に、３次元ルックアップテーブル演算について簡単に説明する。なお、ここではＲＧＢの３次元ルックアップテーブルを用いて説明しているが、ルックアップテーブルは、扱う信号に応じて多次元ルックアップテーブルとしても構わない。
【００５９】
本実施形態においては、３次元ルックアップテーブルの容量を減らすため、Ｒ信号、Ｇ信号、及びＢ信号の最小値から最大値までを９分割した、９×９×９の７２９の３次元代表格子点（ルックアップテーブル）を用意し、代表格子点以外のＲＧＢ信号は補間により求める。
【００６０】
また補間演算は以下の式（２２）〜式（２４）により行われる。ただし、式（２２）〜式（２４）において、入力ＲＧＢ信号をR、G、B、そのときの出力ＲＧＢ信号をRout(R,G,B)、Gout(R,G,B)、Bout(R,G,B)とする。また、入力ＲＧＢ信号Ｒ、Ｇ、Ｂそれぞれの信号値より小さく、かつ一番近い値の代表格子点の信号をRi、Gi、Biとする。さらに、代表格子点出力信号をRout(Ri,Gi,Bi)、Gout(Ri,Gi,Bi)、Bout(Ri,Gi,Bi)とし、代表格子点のステップ幅をStep（本実施形態においては３２）とする。
【００６１】

【００６２】
以下、上記式（２２）、式（２３）、及び式（２４）のルックアップテーブル変換及び補間演算式を簡易的に以下のような式（２５）で表すことにする。ただし、式（２５）において、Ｒ、Ｇ、Ｂは入力信号値を示し、ＬＵＴは９×９×９のルックアップテーブルを示し、Rout、Gout、Boutはルックアップテーブル変換及び補間演算した結果を示す。
(Rout,Gout,Bout)＝LUT[(R,G,B)] …式（２５）。
【００６３】
以上のような演算を用いて、入力ＲＧＢ信号Rh、Gh、Bhを出力ＲＧＢ信号RL、GL、BLに変換する（式（２６））。
(RL,GL,BL)＝LUT[(Rh,Gh,Bh)] …式（２６）。
【００６４】
３次元ルックアップテーブル変換及び補間演算された信号は、エッジ合成処理部９０８へと送られる。エッジ合成処理部９０８では、３次元ルックアップテーブル演算処理部９０９から送られてきた出力ＲＧＢ信号（ＲＬ、ＧＬ、ＢＬ信号）にエッジ強調処理部９０７で検出されたエッジ信号が加えられる。以上が第２実施形態による画像処理演算の流れである。
【００６５】
ユーザがパラメータの変更を行わない場合は、式（１）中のＭ１１，Ｍ２１，Ｍ３１，…，Ｍ３３、式（３）中のＧ１，Ｇ２、式（９）中のＨ１１，Ｈ２１，Ｈ１２，Ｈ２２、及び式（２６）のルックアップテーブルＬＵＴの各値として、撮影モードに対応して予め設定されている画像再生パラメータのデフォルト値が用いられる。
【００６６】
そして、第２実施形態においては、ユーザがパラメータの変更を行う場合には、式（２６）のルックアップテーブルの格子点データが決定され、ルックアップテーブルの格子点データのみが置換されることになる。以下にパラメータの変更動作を説明する。色変換リスト７００が作成されると、色変換リスト７００を元にルックアップテーブルの格子点データを決定する。なお、本実施形態におけるパラメータの変更において、色変換リスト７００の作成までは第1実施形態と同様であるため、ここでは詳細な説明を省略する。色変換リスト７００が作成されると、色変換リスト７００を元に、３次元ルックアップテーブルの格子点データを決定する。なお、３次元ルックアップテーブルの格子点データの決定は、あらかじめ撮像装置内に設定されているデフォルトのルックアップテーブルと色変換リスト７００を用いて決定される。
【００６７】
まず、初めに色変換リストを元にソース画像信号からディスティネーション画像信号に変換する３次元ルックアップテーブルLUTlistを作成する。この色変換リストの３次元ルックアップテーブル変換及び補間演算処理は以下の式（２７）に示すような変換式を用いて行われる。
(Rdn,Gdn,Bdn)=LUTlist[(Rsn,Gsn,Bsn)] …式（２７）。
【００６８】
色変換リストに基づく色変換を撮像装置の３次元ルックアップテーブル変換に反映すると以下の式（２８）ような式で表される。
(RL',GL',BL')＝LUTlist[LUT[(Rh,Gh,Bh)]] …式（２８）。
【００６９】
また、デフォルトのルックアップテーブル及び色変換リストに基づくルックアップテーブルは、一つのルックアップテーブルにマージすることが可能なため、式（２８）は、以下の式（２９）のような一つのルックアップテーブルとすることができる。
(RL',GL',BL')＝LUTcustm[(Rh,Gh,Bh)] …式（２９）。
【００７０】
以上のように、２つのルックアップテーブル（LUT、LUTlist）をマージして求められた新しいルックアップテーブルLUTcustmをユーザの設定した撮像装置のパラメータ変更を行いたい撮影モードの３次元ルックアップテーブルとして置き換える。
【００７１】
以上のように、第２実施形態では、任意のソース画像データと、ソース画像データがレタッチされることにより得られるディスティネーション画像データとを記録しておき、パラメータの変更を行う撮影モードが設定され、パラメータの変更を実行することがユーザにより指定されると、ソース画像データとディスティネーション画像データとを比較して色変換リストを作成するとともに、作成した色変換リストに基づいて３次元ルックアップテーブルの格子点データを決定し、決定した３次元ルックアップテーブルの格子点データを設定された撮影モードにおける３次元ルックアップテーブルの格子点データとするようにしたので、ユーザの好みの色設定を、再生する画像に対して容易に与えることができる。また、色を変更したいルックアップテーブルの格子点についてのみ変更されるので、画像全体ではなく、一部の色のみをユーザの好みの色へと変換することもより容易に実現することができる。
【００７２】
すなわち、前述した第１の実施形態のように、マトリクス演算、色差ゲイン演算、ガンマ処理、色相補正演算処理等のパラメータを用いて、カスタマイズしようとした場合、ユーザがある特定の色のみを変更しようとしても、その色だけを変更することは不可能である。しかしながら、本実施形態のように３次元ルックアップテーブルを用いることにより、他の色（他の色領域）はまったく変更せずに、特定の色（特定の色領域）だけを変更することが可能になる。
【００７３】
なお、本実施形態においては、第１の実施形態と同様にソース画像とディスティネーション画像とを撮像装置の記録媒体に記録して、撮像装置内で色変換リストを作成し、それに基づきパラメータを決定する例を示したが、あらかじめ色変換リストをパソコンで作成し、色変換リストを記録媒体に直接記録して、その色変換リストを元にパラメータを決定するようにしてもよい。
【００７４】
＜第３実施形態＞
第１実施形態では、レタッチ処理の前後の画像の対応する画素のＲＧＢ信号値を用いて色変換リスト７００を作成した。第３実施形態では、ユーザが指定する画素のペアのＲＧＢ信号値を用いて色変換リストを作成する。なお、第３実施形態で作成した色変換リストに基づき、第１実施形態で説明した画像再生パラメータの変更や第２実施形態で説明したルックアップテーブルの作成あるいは更新ができることは明らかである。
【００７５】
以下に第３実施形態による色変換リストの作成処理を説明する。
【００７６】
図１０に示される画像は変換元の第１の色を指示するために用意されたソース画像１００１、その第１の色の変換目標色である第２の色を指定するために用意されたディスティネーション画像１００２である。ユーザはこれら２つの画像を用意するが、これら２つの画像は本実施形態の撮像装置とは異なる撮像装置で撮影した画像であってもよいし、ユーザがレタッチ処理して作成した画像であってもかまわない。また、ソース画像とディスティネーション画像は本撮像装置が対応しているフォーマットであれば、ＪＰＥＧ、ＴＩＦＦ、ＧＩＦ等どのようなフォーマットでもよい。また、ソース画像とディスティネーション画像の大きさはそれぞれ異なっていてもよい。また、ソース画像とディスティネーション画像は撮像時に得られる撮影画像データを用いてもよいし、当該撮影画像データとともに記録媒体に記録されるサムネイル画像データを用いてもよい。撮影画像データは、撮像素子からの出力信号をＡ／Ｄ変換し、非圧縮あるいは、可逆圧縮をして所定のフォーマットに変換されたＲＡＷデータでも良い。
【００７７】
ユーザは上記２つの画像を撮像装置の記録メディア内に記録し、パラメータ決定を開始する。パラメータの決定は図１のパラメータ決定部１０７により行われる。図１１は第３実施形態によるパラメータ決定部１０７の機能構成を示すブロック図である。以下に、第３実施形態によるパラメータ決定部１０７の動作を図１１を用いて説明する。
【００７８】
まず、画像データ読み取り部１６０１では撮像装置の記録媒体に格納されているソース画像とディスティネーション画像を読み出す。読み出された画像データは、図示は省略するが、撮像装置の画像表示部に表示される。ユーザは画像表示部に表示されたソース画像中にある変換元となるソース色を図１０中に示すようなカーソルＡを移動することにより指定する。同様に、ディスティネーション画像中から当該ソース色の変換目標となるディスティネーション色をカーソルＢを移動して指定する。変換したいソース色が複数存在する場合には続けてソース画像中の次のソース色とその変換目標となるディスティネーション画像中のディスティネーション色を指定していく。この色指定作業により図１２のような変換色指示リストが生成される。変換色指示リストには、ソース色のＲＧＢ信号値（Rs(i),Gs(i),Bs(i)）と、それぞれについて変換目標として指示されたディスティネーション色のＲＧＢ信号値（Rd(i),Gd(i),Bd(i)）のペアが登録される。なお、ユーザが設定した変換したい色の数（色のペア数）をＣとすると、ｉ=０〜Ｃ−１となる。
【００７９】
以上のようにして色変換指示リストが作成されると、色変換指示リストは色変換リスト作成部６０３へと送られる。色変換リスト作成部６０３は、色変換指示リストに基づいて第１実施形態で説明したような色変換リスト７００を生成する。パラメータ作成部１６０４は、生成された色変換リスト７００の内容に基づいて、第１及び第２実施形態で説明した方法で画像再生パラメータ（Ｍ１１，Ｍ２１，Ｍ３１，…，Ｍ３３、Ｇ１，Ｇ２、Ｈ１１，Ｈ２１，Ｈ１２，Ｈ２２、或いはルックアップテーブル）を更新する。
【００８０】
次に色変換リストからパラメータ作成を行う手順を図１３のフローチャートを参照して説明する。
【００８１】
まずステップＳ１８０１において、基準信号Rsn、Gsn、Bsnを発生する。この基準信号は図７Ｂを参照して第１実施形態で説明した基準信号値と同じものである。次に、ステップＳ１８０２において、ステップＳ１８０１で発生した基準信号値に近いＲＧＢ信号値を上記色変換指示リストよりサーチする。このサーチは、ｉ＝０〜Ｃ−１の各ソース色について、以下に示す式（３０）を用いて信号値差Ｅを算出し、この信号値差Ｅが閾値Ｔｈよりも小さくなるＲＧＢ信号値を抽出するものである。
【００８２】
【数６】

【００８３】
ステップＳ１８０２で１つ以上のＲＧＢ信号値が抽出されたならば、ステップＳ１８０５へ進み、変換後の当該基準信号に対応する色信号値を算出する。まず、抽出されたソース色のＲＧＢ信号値と、そのソース色の対として色変換指示リストに記録されているディスティネーション色のＲＧＢ信号値の差分信号dR、dG、dBを求める。
dR = Rs(i)-Rd(i) …式（３１）
dG = Gs(i)-Gd(i) …式（３２）
dB = Bs(i)-Bd(i) …式（３３）
但し、（Rs(i)、Gs(i)、Bs(i)）は抽出されたソース色のＲＧＢ信号値であり、（Rd(i)、Gd(i)、Bd(i)）は夫々のソース色に対応するディスティネーション色のＲＧＢ信号値である。
【００８４】
そして、抽出された信号におけるdRの平均値dRave、dGの平均値dGave、dBの平均値dBaveを求め、基準信号Rsn、Gsn、Bsnとの演算により、Rsn、Gsn、Bsnに対応する色変換後の信号値Rdn、Gdn、Bdnが求められる。
Rdn =Rsn- dRave …式（３４）
Gdn =Gsn- dGave …式（３５）
Bdn =Bsn- dBave …式（３６）
【００８５】
また、信号値差Ｅの値が閾値Ｔｈより小さいものが一つも存在しない場合は、ステップＳ１８０３からステップＳ１８０４へ進み、以下の式によりRdn、Gdn、Bdnが求められる。
Rdn = Rsn …式（３７）
Gdn = Gsn …式（３８）
Bdn = Bsn …式（３９）。
【００８６】
以上の処理をｎ=０〜７２８まで実行することにより、色変換リストが生成される。そして、こうして求められた色変換リストに基づき、画像再生パラメータ或いは３次元ルックアップテーブルが作成される。作成されたルックアップテーブルによって予め設定されているルックアップテーブルを上書きして更新するようにしてもよい。
【００８７】
なお、上記第３実施形態では、色変換リストを作成するにあたり、ソースとディスティネーションの２つの画像を用いたが、図１４に示すように同一画像中からソース色とディスティネーション色の組み合わせを指定するようにしてもかまわない。更に、３つ以上の画像の中からソース色とディスティネーション色のペアを指定するようにしてもよい。また本実施形態における３次元ルックアップテーブルのパラメータは信号値３２ステップ刻みの７２９の格子点をもつものであったが、これに限られるものではなく、どのような格子点間隔のものであってもよい。
【００８８】
以上のように第３実施形態によれば、ユーザの好みの色再現を設定するにあたり、変換元の色であるソース色と変換後の目標色であるディスティネーション色を画像でユーザに指示させることにより、容易にユーザの好みの撮像装置の色設定を実現することが可能となる。また、３次元ルックアップテーブルを用いた色変換を行うことにより画面全体に影響を及ぼすパラメータではなく、一部の色のみを好みの色へと変換することも容易に実現することが可能となる。
【００８９】
以上の第１乃至第３実施形態では、ＲＧＢ信号によって表されるソース画像、ディスティネーション画像について述べたが、ＲＧＢ信号に限らず、ＣＭＹＧ信号等であってもよい。ＣＭＹＧを用いた場合は、４次元ルックアップテーブルを用いるように可変に設定できる。他にＹＣｒＣｂやＬ*ａ*ｂ信号等を用いても構わない。
【００９０】
＜第４実施形態＞
上記第１乃至第３実施形態においてソース画像とディスティネーション画像をもとに作成された画像再生パラメータ、あるいはパラメータにより作成された色変換リスト、あるいはルックアップテーブルを撮影装置の内部メモリや着脱可能な記録メディアに記録することができる。なお、記録する際に、複数の色変換リスト等が記録されることもあるため、それぞれ名前を付けて登録するのが好ましい。また、各々異なる色変換リスト、画像変換パラメータ、あるいはルックアップテーブルを登録できる複数のカスタムモードを有する場合や、カスタムモードが複数の異なる色変換リスト、画像変換パラメータ、もしくはルックアップテーブルを登録できる場合には、登録されているものを撮像装置の表示部に図１５のように一覧表示する。
【００９１】
ユーザが撮影時に撮影モードを選択するとともに更新された複数の色変換リスト等が登録されている一覧表示し、その中からユーザが好ましいものを選択する。また、撮影時に限らず、撮影後であっても、着脱可能な記録メディアに入っている変換対象とする撮影画像を選択して、登録されている色変換リスト等を選択すれば、選択された撮影画像に対して色変換が行われるようにしてもよい。
【００９２】
＜他の実施形態＞
前述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、前記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【００９３】
また、この場合、前記ソフトウェアのプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えば、かかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００９４】
また、コンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００９５】
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。
【００９６】
【発明の効果】
以上説明したように本発明によれば、ソース画像から指定された変換元の画素値とディスティネーション画像から指定された変換目標の画素値からなる画素値のペアに基づいて第１の色を第２の色に変換するための画像処理パラメータを新たに生成し、生成された画像処理パラメータを更新することによって、撮影により得られる撮像画像を処理するための撮影モードとして登録しておくので、撮影者が撮影時に撮影モードを設定するだけで自動的に撮影者の色変換の好みを反映した画像処理パラメータを適用して変換された画像を撮影画像として得ることが可能になる。
【図面の簡単な説明】
【図１】 第１実施形態による撮像装置の構成の一例を示したブロック図である。
【図２】 第１実施形態による画像処理部の処理を説明するブロック図である。
【図３】 第１実施形態によるＡ／Ｄ変換後のＣＣＤデジタル信号の概念を示す概念図である。
【図４】 第１実施形態による補間処理後のＣＣＤデジタル信号の概念を示す概念図である。
【図５】 第１実施形態によるソース画像とディスティネーション画像とを示す図である。
【図６】 第１実施形態によるパラメータ決定部の処理を説明するブロック図である。
【図７Ａ】 第１実施形態による色変換リストを示す図である。
【図７Ｂ】 第1実施形態による基準信号を説明する図である。
【図８Ａ】 ソース画像とディスティネーション画像を用いた一連の処理を示すフローチャートである。
【図８Ｂ】 第１実施形態による色変換リストの作成処理を説明するフローチャートである。
【図９】 第２実施形態による画像処理部の処理を説明するブロック図である。
【図１０】 第３実施形態によるソース色とディスティネーション色を指定する方法を説明する図である。
【図１１】 第３実施形態によるパラメータ決定部の処理を説明するブロック図である。
【図１２】 第３実施形態による色変換指示リストの一例を示す図である。
【図１３】 第３実施形態による色変換リストの作成処理を説明するフローチャートである。
【図１４】 第３実施形態によるソース色とディスティネーション色の指定方法の他の例を説明する図である。
【図１５】 第１乃至第３実施形態によって作成され、登録された画像再生パラメータあるいは色変換リストの一覧表示例を示す図である。[0001]
BACKGROUND OF THE INVENTION
The present invention Imaging apparatus, imaging method, control program, and computer-readable memory In particular, it is suitable for use in performing color conversion processing on image data obtained by imaging a subject.
[0002]
[Prior art]
Some conventional imaging devices allow color conversion parameters (hue, saturation, gamma table, contrast, etc.) to be changed in the imaging device so that an image preferred by the user can be obtained. In general, in such an imaging apparatus, a user can select a desired parameter from a plurality of parameters prepared in advance by a manufacturer, and color conversion processing is executed using the selected parameter. Thus, the user's favorite image can be obtained (see Patent Document 1).
[0003]
[Patent Document 1]
JP 11-187351 A
[0004]
[Problems to be solved by the invention]
However, in such a conventional imaging device, when setting the color conversion parameter, it is necessary to actually change the color conversion parameter and shoot a similar scene to check whether a desired image can be obtained. There wasn't. In other words, setting the color conversion parameter is very time-consuming because it requires such a trial and error procedure.
[0005]
In addition, the change of the color conversion parameter in such a conventional imaging apparatus changes only a specific color (for example, a sky color) in order to affect the problem that the degree of freedom of the change is small and all reproduced colors. There is a problem that it is not possible to answer such needs. For this reason, the setting as desired by the user is not always possible, and there is a problem that it is difficult to easily obtain an image that the user likes.
[0006]
The present invention has been made in view of the above-described problems, and an object thereof is to easily obtain a user's favorite image.
Another object of the present invention is to automatically set color conversion parameters based on images before and after editing by retouching and the like, and to easily realize user's favorite color conversion.
Another object of the present invention is to automatically set color conversion parameters from a color pair designated by the user, and to easily realize user's favorite color conversion. is there.
Another object of the present invention is to make it possible to change only a desired color and a color close thereto.
[0007]
[Means for Solving the Problems]
In order to achieve the above object, an image processing apparatus according to the present invention comprises the following arrangement. That is,
Imaging obtained from an imaging unit having an imaging device An input means for inputting an image;
Designation means for designating a pixel value from each of a source image for designating a first color of a conversion source and a destination image for designating a second color of a conversion target corresponding to the first color;
Obtaining means for obtaining one or more pairs of pixel values composed of a conversion source pixel value designated from the source image and a conversion target pixel value designated from the destination image by the designation means;
An image processing parameter for converting the first color into the second color based on a pair of pixel values acquired by the acquisition unit. Newly generated, A decision means to decide;
Determined by the determining means Said Image processing parameters In order to process the image obtained by shooting Shooting mode By updating the image processing parameters to the shooting mode Registration means to register as,
When shooting Said A shooting mode setting means for setting a shooting mode;
By the shooting mode setting means Set The shooting mode Automatically according to Image processing parameters registered by the registration means Apply Input by the input means Imaging Convert the pixel value of the image and convert the converted image Imaging Conversion means for outputting as an image.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.
[0012]
<First Embodiment>
FIG. 1 is a block diagram illustrating an example of a configuration of an imaging apparatus to which the image processing apparatus of the present embodiment is applied. In FIG. 1, an imaging unit 101 includes a lens system, a diaphragm, and a shutter, and forms an image of a subject on a surface of a CCD (imaging device) 102. The image formed on the surface of the CCD 102 is photoelectrically converted into an analog signal, sent to the A / D conversion unit 103, where it is converted into a CCD digital signal (input image signal).
[0013]
The CCD digital signal obtained by the A / D conversion unit 103 is sent to the image processing unit 104, converted based on the image reproduction parameter corresponding to the mode information set by the shooting mode setting unit 108, and output as an output image signal. Is output. The output image signal is converted into a JPEG format or the like by the format conversion unit 105, and written into an internal memory such as a compact flash (registered trademark) or the like by the image recording unit 106.
[0014]
The shooting mode setting unit 108 sets image reproduction parameters corresponding to the shooting mode designated by the user from the plurality of shooting modes in the image processing unit 104. When the user customizes the image reproduction parameter used in the image processing unit 104, the parameter determined by the parameter determination unit 107 is sent to the image processing unit 104, and the image reproduction parameter set by the shooting mode setting unit 108 is changed. The The above is the movement of each block in the imaging apparatus.
[0015]
Here, the shooting mode is to set image reproduction parameters according to the imaging conditions in each scene, such as landscape mode, portrait mode, night view mode, and the gamma table, matrix calculation coefficient, Lookup table data is different. For example, in the portrait mode, the saturation is lowered, in the landscape mode, the saturation is increased to increase the contrast, and in the night view mode, black is set as a parameter of the sun setting. Further, a customization mode in which the user can arbitrarily register at least one parameter may be prepared.
[0016]
The operation of the image processing unit 104 will be described in detail. FIG. 2 is a block diagram showing a functional configuration of the image processing unit 104 in FIG. Hereinafter, the flow of image processing in the imaging apparatus of the present embodiment will be described using the block diagram of FIG.
[0017]
The CCD digital signal output from the A / D conversion unit 103 in FIG. 1 is first sent to the white balance processing unit 201 to obtain the white balance coefficient and the color temperature of the light source so that white in the image becomes a white signal. It is done. By multiplying the CCD digital signal by the obtained white balance coefficient, white balance processing is performed so that white in the image becomes a white signal. The CCD digital signal subjected to the white balance processing is sent to the edge enhancement processing unit 207 and the interpolation processing unit 202.
[0018]
In the interpolation processing unit 202, all pixels for each color component are obtained by interpolation calculation using pixel values (color signal values) at R, G1, G2, and B pixel positions from the single-chip CCD pixel array 300 as shown in FIG. Find the value. That is, R, G1, G2, B surface data 400 as shown in FIG. 4 is created. The matrix calculation unit 203 performs color conversion (conversion from RGB to YCrCb) for each pixel of the surface data 400 by using the following equation (1).
[0019]
[Expression 1]

[0020]
The CCD digital signal that has been subjected to matrix calculation processing in the matrix calculation unit 203 is gained by the color difference gain calculation processing unit 204. This calculation is performed by the following equations (2) to (4). First, the Rm signal, the Gm signal, and the Bm signal obtained by the above equation (1) are converted into signal values expressed in a color space composed of a Y signal, a Cr signal, and a Cb signal. Further, the gain (gain constant = G1) is applied to the Cr signal and the Cb signal according to Expression (3). Then, according to Equation (4), the Y signal, the Cr ′ signal (the gained Cr signal), and the Cb ′ signal (the gained Cb signal) are converted into the Rg signal, the Gg signal, and the Bg signal, respectively. Is converted. Equation (4) is an inverse matrix operation of Equation (2).
[0021]
[Expression 2]

[0022]
The CCD digital signal that has been subjected to the above-described color difference gain calculation processing by the color difference gain calculation processing unit 204 is sent to the gamma processing unit 205. The gamma processing unit 205 converts data of the CCD digital signal using the following equations (5) to (7). However, in Expressions (5) to (7), GammaTable is a one-dimensional lookup table.
Rt = GammaTable [Rg] ... Formula (5)
Gt = GammaTable [Gg] ... Formula (6)
Bt = GammaTable [Bg] (7)
[0023]
The gamma-processed CCD digital signal is sent to the hue correction calculation processing unit 206. In this calculation, first, the Rt signal, the Gt signal, and the Bt signal are converted into a Y signal, a Cr signal, and a Cb signal by the following equation (8). Further, the Cr signal and the Cb signal are corrected by the equation (9). Then, the Y signal, the Cr ′ signal (corrected Cr signal), and the Cb ′ signal (corrected Cb signal) are converted into an Rh signal, a Gh signal, and a Bh signal by Expression (10). Equation (10) is the inverse matrix operation of Equation (8). The CCD digital signals (Rh, Gh, Bh) subjected to the hue correction calculation processing in the hue correction calculation processing unit 206 are sent to the edge synthesis processing unit 208.
[0024]
[Equation 3]

[0025]
On the other hand, the edge enhancement processing unit 207 detects an edge based on the white balance processed CCD digital signal sent from the white balance processing unit 201 and extracts only the edge signal. Then, the extracted edge signal is amplified by gain up and sent to the edge synthesis processing unit 208. The edge synthesis processing unit 208 performs edge synthesis processing by adding the edge signal extracted by the edge enhancement processing unit 207 to the Rh signal, Gh signal, and Bh signal sent from the hue correction calculation processing unit 206. The above is the flow of signal processing.
[0026]
When the user does not change the parameters, the parameters set by the shooting mode setting unit 108, that is, M11, M21, M31,..., M33 in equation (1), G1, G2 in equation (3), and equation The default values of the set shooting modes are used for the parameters H11, H21, H12, and H22 in (9). On the other hand, when the user changes the image reproduction parameter, these default image reproduction parameter values are replaced with the image reproduction parameter changed and determined by the parameter determination unit 107. Hereinafter, parameter determination processing by the parameter determination unit 107 will be described.
[0027]
The image data 501 in FIG. 5 (image with the file name Src.bmp in FIG. 5) is image data of a conversion source (also referred to as a source image) described in the BMP file format, and any image prepared by the user. But it doesn't matter. The user retouches the conversion source image data 501 on the personal computer so as to reproduce his / her favorite color. Note that the retouching at this time does not perform uniform conversion on the entire image, but changes only the region to be converted by retouching. In addition, this retouch may be any retouch such as a change in hue or a change in saturation. In the present embodiment, only the sky portion is converted into a favorite color. In FIG. 5, the destination image created by this retouching is shown as image data 502 (file name Dst.bmp). Note that the sizes of the image data 501 and the image data 502 are the same. As the source image data 501, captured image data obtained by imaging may be used, or thumbnail image data recorded on a recording medium together with the captured image data may be used.
[0028]
A series of processing using the source image and the destination image will be briefly described with reference to the flowchart of FIG. 8A.
[0029]
The user reads out from the internal memory of the imaging apparatus or a removable recording medium outside the imaging apparatus (step S701) and retouchs while viewing the source image data 501 of the conversion source on the display unit of the imaging apparatus (step S702). The saved image is saved as destination image data 502 (for example, file name Dst.bmp) after conversion of another file (step S703). Here, the two image data 501 (Src.bmp) and the image data 502 (Dst.bmp) are recorded in the recording medium of the imaging apparatus or the internal memory of the imaging apparatus (step S704). Then, the user designates a shooting mode in which the image reproduction parameter should be changed and instructs execution of the parameter change.
[0030]
When the parameter change is instructed by the user, the parameter determination unit 107 in FIG. 1 determines a parameter based on the color signal values of the corresponding pixels in the source image data 501 and the destination image data 502 (step S705). Parameters determined in the present embodiment are M11, M21, M31,..., M33 in formula (1), G1 and G2 in formula (3), and H11, H21, H12, and H22 in formula (9). is there. Then, the imaging mode parameter is updated with the determined parameter (step S706), and the updated parameter is registered in the internal memory of the imaging apparatus or a removable recording medium outside the imaging apparatus (step 707).
[0031]
FIG. 6 is a block diagram showing an example of the configuration in the parameter determination unit 107. Hereinafter, the movement of the parameter determination unit 107 performed in step S705 will be described with reference to FIG. An image data reading unit 601 in FIG. 6 reads the source image data 501 and the destination image data 502 stored in the recording medium of the imaging apparatus. Based on the difference between the RGB signal values of the pixels at the same position in the read source image data 501 and the destination image data 502, the color conversion list creation unit 602 calculates the destination from the RGB signal values of the source image as shown in FIG. 7A. A color conversion list 700 to RGB signal values of an image is created.
[0032]
This color conversion list 700 shows how the RGB signal values at the respective grid points set in the RGB space as shown in FIG. 7B change in the color conversion from the source image to the destination image. In the present embodiment, the signal values 0 to 255 (8 bits) are divided into 8 in 32 steps for each of the RGB axes, and 9 × 9 × 9 = 729 grid points are set in the RGB space. The RGB signal value on the source image side in the color conversion list 700 is the RGB signal value at each grid point, and the RGB signal value on the destination side corresponds to each conversion result. The process of creating the list 700 performed in step S705 in FIG. 8A will be described in detail with reference to the flowchart in FIG. 8B. The list 700 includes pixels in the source image having RGB signal values near the grid points and the corresponding pixels in the destination image. A list 700 is created by using the RGB values.
[0033]
The parameter creation unit 603 determines the parameters so as to realize the change of the RGB values recorded in the color conversion list 700.
[0034]
The list creation procedure will be described below with reference to the flowchart of FIG. 8B.
[0035]
In FIG. 8, first, a reference signal value is generated. This reference signal value is an RGB signal value at each grid point, and generates an Rsn signal (n = 0 to 728), a Gsn signal (n = 0 to 728), and a Bsn signal (n = 0 to 728) (step). S801). Needless to say, the setting of the grid points is not limited to the above (FIG. 7B).
[0036]
Next, an RGB signal value close to the generated reference signal value (Rsn, Gsn, Bsn) is searched from the source image signal, and the RGB signal value and the pixel position are held (step S802). In this search, for example, a pixel having an RGB signal value whose signal value difference E obtained from the following equation (11) is smaller than a predetermined threshold Th is extracted, and the RGB signal value and the pixel position are held.
[0037]
[Expression 4]

[0038]
In equation (11), x and y indicate image coordinate values, and A (x, y) indicates the value of the A signal in the x and y coordinate values. Here, the signal value difference E represents the distance between the reference signal value (Rsn, Gsn, Bsn) in the color space and the RGB signal value (Rs, Gs, Bs) in the source image.
[0039]
In step S803, it is determined whether there are N or more pixels held in step S802. As a result of the determination, if N or more pixels are held in step S802, the process proceeds to step S805, and if not, the process proceeds to step S804.
[0040]
In step S805, a signal value corresponding to the reference signal is calculated according to the following procedure. First, using the following formulas (12) to (14), dR, dG, and dB are obtained as differential signal values from the RGB signal values of the corresponding pixels in the destination image. That is, the RGB signal value difference between each pixel searched and held in step S802 and the corresponding pixel in the destination image is
dR = Rs (x, y) -Rd (x, y) (12)
dG = Gs (x, y) -Gd (x, y) (13)
dB = Bs (x, y) -Bd (x, y) (14)
Ask for.
[0041]
Then, average values of dR, dG, and dB (average value of dR, dRave, average value of dG, dGave, and average value of dB dBave) for all the pixels held in step S802 are calculated. 15) to (17) are used to determine how the RGB signal value at each grid point position in the source image changes in the destination image.
Rdn = Rsn-dRave ... Formula (15)
Gdn = Gsn-dGave (16)
Bdn = Bsn-dBave (Expression (17))
[0042]
On the other hand, if N or more pixels whose signal value difference E is smaller than the threshold value Th are not present in the source image, it is regarded as noise, and the reference signal values (Rsn, Gsn, Bsn) are used as they are in the destination image. RGB signal values (Rdn, Gdn, Bdn).
Rdn = Rsn (18)
Gdn = Gsn (19)
Bdn = Bsn Expression (20).
[0043]
The parameter creation unit 603 determines parameters so that the color conversion recorded in the color conversion list obtained as described above is realized. First, inverse conversion of Expressions (10) to (1) is performed on RGB signal values (corresponding to reference signal values (Rsn signal, Gsn signal, and Bsn signal)) on the source image side in the conversion list. In this inverse transformation, parameters of the shooting mode to be changed are used. The result of this inverse transformation is Rn, Gn, Bn. Then, the results (signal values) obtained by converting the values of Rn, Gn, and Bn using the changed parameters according to the equations (1) to (10) are Rdn ′, Gdn ′, and Bdn ′, respectively. The new parameter of the shooting mode is determined using the attenuation least square method so that the value Diff obtained by the following equation is minimized.
[0044]
[Equation 5]

[0045]
The parameter creation unit 603 attaches and detaches the parameter newly obtained from the relationship between the source image and the destination image as described above as the parameter of the photographing mode designated to change the parameter inside or outside the imaging device. Store in a possible recording medium (not shown).
[0046]
Next, the flow of shooting data in the shooting mode in which the parameters are changed will be described with reference to FIG. 1 and FIG. As described above, when the shooting mode in which the parameter is changed is selected by retouching the source image and shooting is performed, the captured CCD signal is captured by the A / D conversion unit 103 from the imaging unit 101 to the image processing unit 104. Sent to. The image processing unit 104 performs processing from the white balance processing unit 201 to the edge synthesis processing unit 208 in FIG. 2, but the parameters used therein are not parameters prepared in advance, and can be attached or detached inside or outside the imaging device. The changed parameters stored in the recording medium are read and processed.
[0047]
The image data processed with the changed parameters is sent to the format conversion unit 105, converted according to the image format, and written to the recording medium of the imaging apparatus by the image recording unit 106. The above is the data flow in the shooting mode in which the parameter change is performed.
[0048]
As described above, according to the present embodiment, a parameter newly obtained from the relationship between the source image and the destination image can be held in the recording medium as the imaging mode with the parameter changed. Then, by selecting the imaging mode with the parameter changed, the changed parameter is applied and image processing is automatically performed in subsequent imaging. Therefore, the user's favorite color can be reflected at the time of shooting, and a shot image with a unified color can be automatically obtained by a single parameter setting. Further, at this time, information that can specify what parameters, color conversion list, and LUT were used at the time of imaging may be recorded in the tag information together with the image.
[0049]
In the above embodiment, a case has been described in which a predetermined shooting mode parameter is changed and the shooting mode parameter is overwritten by the changed parameter. However, the present invention is not limited to this. For example, one or a plurality of shooting modes (custom modes) that can be custom-set by the user may be prepared in advance, and the created parameters may be held as parameters for the custom mode. In this way, it is possible to maintain shooting mode parameters prepared in advance.
[0050]
As described above, in the first embodiment, arbitrary source image data and destination image data obtained by retouching the source image data are recorded, and image reproduction parameters for a desired shooting mode are recorded. When execution of the change is specified by the user, a color conversion list is created by comparing the source image data and the destination image data, and the image reproduction parameter in the shooting mode is changed using the created color conversion list. To do. For this reason, a user's favorite color setting can be easily given to an image to be reproduced. Also, it is possible to easily convert not only the entire image but only a part of colors into a user's favorite color.
[0051]
In the first embodiment, an example has been given in which one shooting mode for rewriting the image reproduction parameter is specified, and the parameter for only the shooting mode is rewritten and registered. The plurality of shooting modes may be rewritten at the same time. In this case, the inverse transformation of Expression (10) to Expression (1) is executed using the image reproduction parameter set for each designated shooting mode. That is, using the single color conversion list, the above-described processing by the parameter creation unit 603 is executed for each designated shooting mode.
[0052]
In the first embodiment, the BMP file format is used as the format of the source image and the destination image. However, the format of the source image and the destination image is not limited to this, and a file such as JPEG or TIFF is used. It is also possible to use a format.
[0053]
Furthermore, in the first embodiment, since the imaging device is configured to execute image processing including the parameter determination processing described above, the color conversion processing described above can be performed along with the imaging processing. However, it is not always necessary to configure the imaging apparatus to execute the image processing. For example, an image processing apparatus that executes the image processing may be configured independently. If comprised in this way, the arbitrary color image data which a user owns can be input and the color conversion process mentioned above can be performed, and a user's favorite color setting can be performed easily.
[0054]
In this case, for example, an image conversion parameter is determined using a source image and a destination image, or a color conversion list instead of the source image, and an image reproduction parameter prepared in advance in the imaging apparatus is determined using the determined parameter. change. Then, a registration operation for registering the created color conversion list or the changed image conversion parameter with a name is performed. The registration work may be registered by designating a shooting mode in which the image reproduction parameter should be changed and executing the parameter change. Alternatively, the image processing apparatus can also perform color conversion on arbitrary image data owned by the user using registered image conversion parameters. In the above, the image conversion parameter is a parameter corresponding to the above-described image reproduction parameter. The image processing apparatus may be a separate body from the imaging apparatus. In the case of a separate body, the image reproduction parameter generated via, for example, an interface such as a USB is transferred to the imaging apparatus.
[0055]
Second Embodiment
Next, a second embodiment of the present invention will be described. In the first embodiment, the image reproduction parameters of the expressions (1), (3), and (9) are changed based on the generated color conversion list. In the second embodiment, the three-dimensional lookup table calculation of FIG. The value (grid point data) of the lookup table in the processing unit 909 is changed. FIG. 9 is a block diagram for explaining processing included in the image processing unit 104 according to the second embodiment. The flow of image processing in the imaging apparatus of this embodiment will be described below using the block diagram of FIG.
[0056]
The movements of the white balance processing unit 901, the interpolation processing unit 902, the matrix calculation unit 903, the color difference gain calculation unit 904, the gamma processing unit 905, the hue correction calculation processing unit 906, the edge enhancement processing unit 907, and the edge synthesis processing unit 908 are as follows. Since it is the same as the first embodiment described above, a detailed description is not given here. Here, the three-dimensional lookup table calculation processing unit 909 that was not in the first embodiment will be described in detail.
[0057]
The CCD digital signals (input RGB signals) Rh, Gh, Bh processed by the hue correction calculation processing unit 906 are sent to the three-dimensional lookup table calculation processing unit 909, and the CCD digital signals (output RGB signals) RL, GL , BL.
[0058]
Hereinafter, the three-dimensional lookup table calculation will be briefly described. Here, the description is made using an RGB three-dimensional lookup table, but the lookup table may be a multi-dimensional lookup table depending on a signal to be handled.
[0059]
In this embodiment, in order to reduce the capacity of the three-dimensional lookup table, a 9 × 9 × 9 729 three-dimensional representative lattice is obtained by dividing the R signal, the G signal, and the B signal from the minimum value to the maximum value into nine. A point (lookup table) is prepared, and RGB signals other than the representative grid points are obtained by interpolation.
[0060]
The interpolation calculation is performed by the following formulas (22) to (24). However, in the equations (22) to (24), the input RGB signals are R, G, B, and the output RGB signals at that time are Rout (R, G, B), Gout (R, G, B), Bout ( R, G, B). Also, Ri, Gi, and Bi are representative lattice point signals that are smaller than and closest to the input RGB signals R, G, and B, respectively. Further, the representative grid point output signal is Rout (Ri, Gi, Bi), Gout (Ri, Gi, Bi), Bout (Ri, Gi, Bi), and the step width of the representative grid point is Step (in this embodiment) 32).
[0061]

[0062]
Hereinafter, the look-up table conversion and interpolation calculation formulas of the above formulas (22), (23), and (24) will be simply expressed by the following formula (25). However, in Expression (25), R, G, and B represent input signal values, LUT represents a 9 × 9 × 9 lookup table, and Rout, Gout, and Bout represent the results of lookup table conversion and interpolation. Show.
(Rout, Gout, Bout) = LUT [(R, G, B)] (25)
[0063]
Using the above calculation, the input RGB signals Rh, Gh, Bh are converted into output RGB signals RL, GL, BL (formula (26)).
(RL, GL, BL) = LUT [(Rh, Gh, Bh)] (26).
[0064]
The signal subjected to the three-dimensional lookup table conversion and the interpolation calculation is sent to the edge synthesis processing unit 908. In the edge synthesis processing unit 908, the edge signal detected by the edge enhancement processing unit 907 is added to the output RGB signal (RL, GL, BL signal) sent from the three-dimensional lookup table calculation processing unit 909. The above is the flow of the image processing calculation according to the second embodiment.
[0065]
When the user does not change the parameter, M11, M21, M31,..., M33 in equation (1), G1, G2 in equation (3), H11, H21, H12, H22 in equation (9). As the values of the lookup table LUT in Expression (26), default values of image reproduction parameters set in advance corresponding to the shooting mode are used.
[0066]
In the second embodiment, when the user changes the parameter, the grid point data of the lookup table of Expression (26) is determined, and only the grid point data of the lookup table is replaced. Become. The parameter changing operation will be described below. When the color conversion list 700 is created, the grid point data of the lookup table is determined based on the color conversion list 700. In the parameter change in the present embodiment, the process up to the creation of the color conversion list 700 is the same as in the first embodiment, and thus detailed description thereof is omitted here. When the color conversion list 700 is created, the grid point data of the three-dimensional lookup table is determined based on the color conversion list 700. Note that the lattice point data of the three-dimensional lookup table is determined using a default lookup table and a color conversion list 700 set in advance in the imaging apparatus.
[0067]
First, a three-dimensional lookup table LUTlist for converting a source image signal to a destination image signal is created based on the color conversion list. The color conversion list three-dimensional lookup table conversion and interpolation calculation processing are performed using a conversion equation as shown in the following equation (27).
(Rdn, Gdn, Bdn) = LUTlist [(Rsn, Gsn, Bsn)] (27).
[0068]
When the color conversion based on the color conversion list is reflected in the three-dimensional lookup table conversion of the imaging apparatus, it is expressed by the following expression (28).
(RL ′, GL ′, BL ′) = LUTlist [LUT [(Rh, Gh, Bh)]] Equation (28).
[0069]
In addition, since the default lookup table and the lookup table based on the color conversion list can be merged into one lookup table, the expression (28) can be converted into one look like the following expression (29). It can be an uptable.
(RL ′, GL ′, BL ′) = LUTcustm [(Rh, Gh, Bh)] Equation (29).
[0070]
As described above, the new look-up table LUTcustm obtained by merging the two look-up tables (LUT, LUTlist) is replaced with a three-dimensional look-up table for the photographing mode in which the user wishes to change the parameters of the image pickup apparatus. .
[0071]
As described above, in the second embodiment, arbitrary source image data and destination image data obtained by retouching the source image data are recorded, and a shooting mode for changing parameters is set. When the user specifies to change the parameters, the source image data and the destination image data are compared to create a color conversion list, and a three-dimensional lookup table based on the generated color conversion list Since the lattice point data of the determined three-dimensional lookup table is set as the lattice point data of the three-dimensional lookup table in the set shooting mode, the user's favorite color setting is It can be easily given to an image to be reproduced. In addition, since only the lattice points of the lookup table whose color is to be changed are changed, it is possible to more easily realize not only the entire image but also converting only a part of the colors to the user's favorite color.
[0072]
That is, as in the first embodiment described above, when trying to customize using parameters such as matrix calculation, color difference gain calculation, gamma processing, hue correction calculation processing, etc., the user should change only a specific color. However, it is impossible to change only that color. However, by using a three-dimensional lookup table as in this embodiment, it is possible to change only a specific color (specific color region) without changing other colors (other color regions) at all. become.
[0073]
In this embodiment, as in the first embodiment, the source image and the destination image are recorded on the recording medium of the imaging device, a color conversion list is created in the imaging device, and parameters are determined based on the color conversion list. However, the color conversion list may be created in advance on a personal computer, the color conversion list may be directly recorded on a recording medium, and the parameters may be determined based on the color conversion list.
[0074]
<Third Embodiment>
In the first embodiment, the color conversion list 700 is created using the RGB signal values of the corresponding pixels in the images before and after the retouching process. In the third embodiment, a color conversion list is created using RGB signal values of a pixel pair designated by the user. It is obvious that the image reproduction parameter described in the first embodiment can be changed and the lookup table described in the second embodiment can be created or updated based on the color conversion list created in the third embodiment.
[0075]
The color conversion list creation process according to the third embodiment will be described below.
[0076]
The image shown in FIG. 10 is a source image 1001 prepared for designating the first color of the conversion source, and a dis prepared for designating the second color which is the conversion target color of the first color. It is a nation image 1002. The user prepares these two images. These two images may be images taken by an imaging device different from the imaging device of the present embodiment, or may be images created by a retouch process by the user. It doesn't matter. Further, the source image and the destination image may be in any format such as JPEG, TIFF, and GIF as long as the format is supported by the imaging apparatus. The sizes of the source image and the destination image may be different from each other. The source image and the destination image may be captured image data obtained at the time of imaging, or thumbnail image data recorded on a recording medium together with the captured image data. The captured image data may be RAW data that is converted into a predetermined format by A / D converting an output signal from the image sensor and performing non-compression or lossless compression.
[0077]
The user records the two images in the recording medium of the imaging apparatus, and starts parameter determination. The parameter is determined by the parameter determination unit 107 in FIG. FIG. 11 is a block diagram illustrating a functional configuration of the parameter determination unit 107 according to the third embodiment. The operation of the parameter determination unit 107 according to the third embodiment will be described below with reference to FIG.
[0078]
First, the image data reading unit 1601 reads the source image and the destination image stored in the recording medium of the imaging apparatus. The read image data is displayed on the image display unit of the imaging apparatus, although illustration is omitted. The user designates a source color as a conversion source in the source image displayed on the image display unit by moving a cursor A as shown in FIG. Similarly, the destination color that is the conversion target of the source color is designated by moving the cursor B from the destination image. When there are a plurality of source colors to be converted, the next source color in the source image and the destination color in the destination image to be converted are designated. By this color designation work, a conversion color instruction list as shown in FIG. 12 is generated. The conversion color instruction list includes RGB signal values (Rs (i), Gs (i), Bs (i)) of the source color, conversion A pair of RGB signal values (Rd (i), Gd (i), Bd (i)) of the destination color designated as the target is registered. If the number of colors to be converted (number of color pairs) set by the user is C, i = 0 to C-1.
[0079]
When the color conversion instruction list is created as described above, the color conversion instruction list is sent to the color conversion list creation unit 603. The color conversion list creation unit 603 generates the color conversion list 700 as described in the first embodiment based on the color conversion instruction list. Based on the contents of the generated color conversion list 700, the parameter creation unit 1604 performs image reproduction parameters (M11, M21, M31,..., M33, G1, G2, H11 by the method described in the first and second embodiments. , H21, H12, H22, or a lookup table).
[0080]
Next, the procedure for creating parameters from the color conversion list will be described with reference to the flowchart of FIG.
[0081]
First, in step S1801, reference signals Rsn, Gsn, and Bsn are generated. This reference signal is the same as the reference signal value described in the first embodiment with reference to FIG. 7B. In step S1802, an RGB signal value close to the reference signal value generated in step S1801 is searched from the color conversion instruction list. In this search, a signal value difference E is calculated for each source color of i = 0 to C-1 by using the following equation (30), and the RGB signal value in which the signal value difference E is smaller than the threshold value Th. Is extracted.
[0082]
[Formula 6]

[0083]
If one or more RGB signal values are extracted in step S1802, the process advances to step S1805 to calculate a color signal value corresponding to the converted reference signal. First, difference signals dR, dG, and dB of the RGB signal value of the destination color recorded in the color conversion instruction list as a pair of the extracted source color and the source color are obtained.
dR = Rs (i) -Rd (i) (31)
dG = Gs (i) -Gd (i) (32)
dB = Bs (i) -Bd (i) Equation (33)
However, (Rs (i), Gs (i), Bs (i)) are the RGB signal values of the extracted source colors, and (Rd (i), Gd (i), Bd (i)) are the respective values. This is the RGB signal value of the destination color corresponding to the source color.
[0084]
Then, the average value dRave, dG average value dGave, and dB average value dBave of dR in the extracted signal are obtained, and after color conversion corresponding to Rsn, Gsn, Bsn by calculation with reference signals Rsn, Gsn, Bsn Signal values Rdn, Gdn, and Bdn are obtained.
Rdn = Rsn -dRave formula (34)
Gdn = Gsn -dGave ... Formula (35)
Bdn = Bsn -dBave Equation (36)
[0085]
If no signal value difference E is smaller than the threshold value Th, the process advances from step S1803 to step S1804, and Rdn, Gdn, and Bdn are obtained by the following equations.
Rdn = Rsn Equation (37)
Gdn = Gsn Equation (38)
Bdn = Bsn Expression (39).
[0086]
A color conversion list is generated by executing the above processing from n = 0 to 728. Based on the color conversion list thus obtained, an image reproduction parameter or a three-dimensional lookup table is created. It is also possible to update by overwriting a preset lookup table with the created lookup table.
[0087]
In the third embodiment, two images of the source and destination are used to create the color conversion list. However, as shown in FIG. 14, a combination of the source color and the destination color is designated from the same image. It doesn't matter if you do. Further, a source color / destination color pair may be designated from three or more images. Further, although the parameters of the three-dimensional lookup table in this embodiment have 729 grid points with signal values of 32 steps, the present invention is not limited to this, and any grid point spacing can be used. Also good.
[0088]
As described above, according to the third embodiment, when setting a user's favorite color reproduction, the user is instructed by the image with the source color that is the conversion source color and the destination color that is the target color after conversion. Thus, it is possible to easily realize the color setting of the user's favorite imaging device. In addition, by performing color conversion using a three-dimensional lookup table, it is possible to easily realize conversion of only a part of colors to a favorite color instead of parameters that affect the entire screen. .
[0089]
In the first to third embodiments described above, the source image and the destination image represented by the RGB signal have been described. However, the present invention is not limited to the RGB signal, and may be a CMYG signal or the like. When CMYG is used, it can be variably set to use a four-dimensional lookup table. Alternatively, a YCrCb or L * a * b signal may be used.
[0090]
<Fourth embodiment>
In the first to third embodiments, the image reproduction parameter created based on the source image and the destination image, the color conversion list created based on the parameter, or the lookup table can be attached to or detached from the internal memory of the photographing apparatus. It can be recorded on a recording medium. Note that when recording, a plurality of color conversion lists and the like may be recorded, so it is preferable to register each with a name. When there are multiple custom modes that can register different color conversion lists, image conversion parameters, or lookup tables, or when the custom mode can register multiple different color conversion lists, image conversion parameters, or lookup tables The registered items are displayed as a list on the display unit of the imaging apparatus as shown in FIG.
[0091]
A user selects a shooting mode at the time of shooting, displays a list of a plurality of updated color conversion lists and the like, and the user selects a preferable one from the list. In addition, not only at the time of shooting, but also after shooting, if you select a captured image to be converted contained in a removable recording medium and select a registered color conversion list, etc. Color conversion may be performed on the captured image.
[0092]
<Other embodiments>
In order to operate various devices to realize the functions of the above-described embodiments, program codes of software for realizing the functions of the above-described embodiments are provided to an apparatus or a computer in the system connected to the various devices. What is implemented by operating the various devices according to a program supplied and stored in a computer (CPU or MPU) of the system or apparatus is also included in the scope of the present invention.
[0093]
In this case, the program code of the software itself realizes the functions of the above-described embodiments, and the program code itself and means for supplying the program code to the computer, for example, the program code are stored. The recorded medium constitutes the present invention. As a recording medium for storing the program code, for example, a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a magnetic tape, a nonvolatile memory card, a ROM, or the like can be used.
[0094]
Further, by executing the program code supplied by the computer, not only the functions of the above-described embodiments are realized, but also the OS (operating system) or other application software in which the program code is running on the computer, etc. It goes without saying that the program code is also included in the embodiment of the present invention even when the functions of the above-described embodiment are realized in cooperation with the embodiment.
[0095]
Further, after the supplied program code is stored in the memory provided in the function expansion board of the computer or the function expansion unit connected to the computer, the CPU provided in the function expansion board or function expansion unit based on the instruction of the program code Needless to say, the present invention includes a case where the functions of the above-described embodiment are realized by performing part or all of the actual processing.
[0096]
【The invention's effect】
As described above, according to the present invention, the first color is changed based on the pixel value pair consisting of the conversion source pixel value specified from the source image and the conversion target pixel value specified from the destination image. Image processing parameters to convert to 2 colors For processing a captured image obtained by shooting by newly generating and updating the generated image processing parameter Register as a shooting mode Therefore, it is possible to obtain a converted image as a photographed image by automatically applying image processing parameters reflecting the photographer's color conversion preference simply by setting the photographing mode at the time of photographing. .
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an example of a configuration of an imaging apparatus according to a first embodiment.
FIG. 2 is a block diagram illustrating processing of an image processing unit according to the first embodiment.
FIG. 3 is a conceptual diagram showing a concept of a CCD digital signal after A / D conversion according to the first embodiment.
FIG. 4 is a conceptual diagram showing the concept of a CCD digital signal after interpolation processing according to the first embodiment.
FIG. 5 is a diagram showing a source image and a destination image according to the first embodiment.
FIG. 6 is a block diagram illustrating processing of a parameter determination unit according to the first embodiment.
FIG. 7A is a diagram showing a color conversion list according to the first embodiment.
FIG. 7B is a diagram illustrating a reference signal according to the first embodiment.
FIG. 8A is a flowchart showing a series of processing using a source image and a destination image.
FIG. 8B is a flowchart for describing color conversion list creation processing according to the first embodiment;
FIG. 9 is a block diagram illustrating processing of an image processing unit according to a second embodiment.
FIG. 10 is a diagram illustrating a method for specifying a source color and a destination color according to the third embodiment.
FIG. 11 is a block diagram illustrating processing of a parameter determination unit according to a third embodiment.
FIG. 12 is a diagram showing an example of a color conversion instruction list according to the third embodiment.
FIG. 13 is a flowchart illustrating color conversion list creation processing according to the third embodiment.
FIG. 14 is a diagram illustrating another example of a method for specifying a source color and a destination color according to the third embodiment.
FIG. 15 is a diagram showing a list display example of image reproduction parameters or color conversion lists created and registered according to the first to third embodiments.

Claims (15)

Input means for inputting a captured image obtained from an imaging unit having an imaging element ;
Designation means for designating a pixel value from each of a source image for designating a first color of a conversion source and a destination image for designating a second color of a conversion target corresponding to the first color;
Obtaining means for obtaining one or more pairs of pixel values composed of a conversion source pixel value designated from the source image and a conversion target pixel value designated from the destination image by the designation means;
Determining means for newly generating and determining an image processing parameter for converting the first color into the second color based on a pair of pixel values acquired by the acquiring means;
In the image processing parameter determined by said determining means, by updating the imaging mode for processing an image obtained by the photographing, and registration means for registering the image processing parameter as a shooting mode,
A photographing mode setting means for setting the photographing mode when photographing,
Automatically, the applied image processing parameters registered by registration means converts the pixel values of the input captured image by the input means in accordance with the shooting mode set by the photographing mode setting means, conversion imaging apparatus characterized by comprising a conversion means for outputting a captured image an image after. The imaging apparatus according to claim 1, wherein the destination image is an image obtained by retouching the source image. The imaging apparatus according to claim 1, wherein the source image and the destination image are the same image recorded on a removable recording medium. The source image is an image recorded on a removable recording medium, and the destination image is an image different from the source image recorded on the removable recording medium. The imaging apparatus according to 1. The imaging apparatus according to claim 2, wherein the source image and the destination image have the same image size and are stored in a storage medium in the same image format. The imaging apparatus according to claim 2, wherein the source image and the destination image are thumbnail images obtained by reducing the captured image . The determining means includes
The imaging apparatus according to claim 1, wherein the image processing parameter is determined based on a change in a pixel value of a conversion source and a pixel value of a conversion target in the pixel value pair acquired by the acquisition unit. The registration unit stores the image processing parameter determined by the determination unit in a first storage medium,
And the converting means, the image pickup apparatus according to claim 1, characterized in that to store the captured image in the second storage medium. A display means for displaying the captured image,
The registration unit registers a plurality of different image processing parameters for the shooting mode,
The imaging apparatus according to claim 1, wherein the plurality of different image processing parameters are displayed on the display unit. The conversion means interpolates the captured image so that each color component has a value in all pixels,
Color difference amplification is performed on the interpolated image,
Gamma-converting the color difference amplified image;
Hue correction is performed on the gamma-converted image,
The imaging apparatus according to claim 1, wherein the determination unit newly generates and determines an image processing parameter by changing parameters in the interpolation processing, the color difference amplification, and the hue correction. The converting means includes
Multi-dimensional lookup table conversion means for converting an image using a multi-dimensional lookup table formed from a plurality of grid points set in a color space to obtain an output image,
The determination unit extracts a pixel value pair in which the pixel value of the conversion source among the pixel value pairs is in the vicinity of the color signal value of the grid point, and the conversion source of the extracted pixel value pair 2. The imaging according to claim 1, wherein the image processing parameter is determined by determining a pixel value of a grid point of the multidimensional lookup table based on a change in a pixel value and a pixel value of a conversion target. apparatus. 12. The imaging apparatus according to claim 11, wherein the multi-dimensional lookup table is a three-dimensional lookup table having R, G, and B as elements. An input step of inputting a captured image obtained from an imaging unit having an imaging element ;
A designation step for designating a pixel value from each of a source image for designating a first color of a conversion source and a destination image for designating a second color of a conversion target corresponding to the first color;
An acquisition step of acquiring at least one pixel value pair consisting of a conversion source pixel value specified from the source image and a conversion target pixel value specified from the destination image in the specification step;
A determination step of newly generating and determining an image processing parameter for converting the first color into the second color based on the pixel value pair acquired in the acquisition step;
In the image processing parameter determined by said determining step, by updating the imaging mode for processing an image obtained by photographing a registration step of registering the image processing parameter as a shooting mode,
A photographing mode setting step of setting the shooting mode during shooting
Automatically, the applied image processing parameters registered in the registration step converts the pixel values of the input captured image in the input step in accordance with the Oite set the shooting mode to the photographing mode setting step the imaging method characterized by comprising a conversion step of outputting the converted image as a captured image. A control program for causing a computer to execute the image processing method according to claim 13 . A computer-readable memory storing a control program for causing a computer to execute the image processing method according to claim 13 .

Images