JP5696783B2 - 画像処理装置 - Google Patents

Description

本発明は、２つのカラー画像間での色合わせを行う技術に関する。

近年、表示される画像を立体視可能な三次元テレビなどの三次元表示装置の普及が進んでおり、三次元表示装置用の立体視可能な左目用および右目用のカラー画像の画像群（立体画像）の色合わせを容易に行える技術が望まれている。

特許文献１には、カラー画像の色再現性を向上させ得る画像処理装置が示されている。該装置においては、被写体の撮影に先立って、カラーチャートと照明ムラ補正用チャートとが同一照明下で一台のカメラによってそれぞれ撮影された各画像が取得される。次に、取得された各画像を用いて、照明むらの有無に関わらずカラーチャートが撮影された画像の色データを目標色データに変換するための補正情報を取得する校正が行われる。そして、被写体が撮影されたカラー画像が該補正情報を用いて変換されることにより、カラー画像の色再現性の向上が図られている。

特開２００７−８１５８０号公報

互いに異なる左右２台のカメラのような異なる色合いの画像を生成するステレオカメラによって被写体がそれぞれ撮影された左画像と右画像とを取得する装置において、被写体の照明条件が常に一定である場合には、左画像と右画像とに対して特許文献１の校正技術をそれぞれ適用して絶対的な基準に対する各画像の色再現性をそれぞれ向上させることによって、左画像と右画像との色合わせを行うことが可能となる。

ここで、互いに異なる２台のカメラにおいては、分光感度特性もまた、通常、互いに異なったものとなる。従って、例えば、光源が、校正時と被写体の撮影時とで異なる場合において、特許文献１の技術により左画像と右画像との色合わせを行うためには、被写体の撮影に先立って、専用の校正用チャートを用いた校正を、再度、行う必要がある。しかしながら、光源の変化などにより照明条件が変動する度に、専用の校正用チャートを用いる特許文献１の校正を行うことは、容易ではない。

このため、照明条件が変化する場合には、互いに異なる左右２台のカメラを有するステレオカメラによって被写体がそれぞれ撮影された左画像と右画像との色合わせを、特許文献１の技術を用いて行うことが困難になるといった問題がある。

本発明は、こうした問題を解決するためになされたもので、被写体の照明条件に関わらず、被写体がそれぞれ撮影された各画像の間での色合わせを容易に行うことができる技術を提供することを目的とする。

上記の課題を解決するため、第４の態様に係る画像処理装置は、被写体が撮影された第１画像と第２画像とを取得する取得部と、前記第１画像の画素表現情報についての第１ヒストグラムの度数分布を前記第２画像の画素表現情報についての第２ヒストグラムの度数分布に対して相対的に近づける変換によって前記第１画像と前記第２画像との色合わせ処理を行う処理部とを備え、前記処理部が、前記第１画像の第１部分と前記第２画像の第２部分とに基づいて前記色合わせ処理を行い、前記第１部分が前記第１画像のうち前記第２画像に対する第１オクルージョン領域以外の部分であるとともに、前記第２部分が前記第２画像のうち前記第１画像に対する第２オクルージョン領域以外の部分である。

第５の態様に係る画像処理装置は、第４の態様に係る画像処理装置であって、前記処理部が、前記第１画像と前記第２画像との間での対応点探索処理を行うことによって前記第１オクルージョン領域と前記第２オクルージョン領域とをそれぞれ特定する。

第１の態様に係る画像処理装置は、被写体が撮影された第１画像と第２画像とを取得する取得部と、前記第１画像の画素表現情報についての第１ヒストグラムの度数分布を前記第２画像の画素表現情報についての第２ヒストグラムの度数分布に対して相対的に近づける変換によって前記第１画像と前記第２画像との色合わせ処理を行う処理部とを備え、前記処理部が、前記第１画像と前記第２画像とのうち前記画素表現情報の値が飽和している画素の割合を表現した飽和度がより低い一方の画像の前記飽和度を他方の画像の前記飽和度に近づける飽和度補正処理を更に行う。

第２の態様に係る画像処理装置は、第１の態様に係る画像処理装置であって、前記変換の前の前記他方の画像の前記画素表現情報の各値を前記変換の後の該画素表現情報の各値にそれぞれ対応させる入出力関係によって変換用ガンマテーブルを定義したとき、前記処理部が、前記変換用ガンマテーブルにおける入力値の値域の端部に対応した該変換用ガンマテーブルの出力値に基づいて、前記飽和度補正処理を行う。

第３の態様に係る画像処理装置は、第１の態様に係る画像処理装置であって、前記処理部が、前記他方の画像の前記画素表現情報についてのヒストグラムにおける該画素表現情報の値域の端部に対応した該ヒストグラムの度数に基づいて、前記飽和度補正処理を行う。

第７の態様に係る画像処理装置は、被写体が撮影された第１画像と第２画像とを取得する取得部と、前記第１画像の画素表現情報についての第１ヒストグラムの度数分布を前記第２画像の画素表現情報についての第２ヒストグラムの度数分布に対して相対的に近づける変換によって前記第１画像と前記第２画像との色合わせ処理を行う処理部とを備え、前記処理部が、前記第１画像と前記第２画像とのうち色かぶりの少ない方の画像を目標画像とするとともに、前記第１ヒストグラムの度数分布および前記第２ヒストグラムの度数分布を前記目標画像の前記画素表現情報についてのヒストグラムの度数分布に近づける変換によって前記色合わせ処理を行う。

第６の態様に係る画像処理装置は、被写体が撮影された第１画像と第２画像とを取得する取得部と、前記第１画像の画素表現情報についての第１ヒストグラムの度数分布を前記第２画像の画素表現情報についての第２ヒストグラムの度数分布に対して相対的に近づける変換によって前記第１画像と前記第２画像との色合わせ処理を行う処理部とを備え、前記処理部が、前記第１画像と前記第２画像とのうち撮影に係る撮像系の解像度が高い方の画像を目標画像とするとともに、前記第１ヒストグラムの度数分布および前記第２ヒストグラムの度数分布を前記目標画像の前記画素表現情報についてのヒストグラムの度数分布に近づける変換によって前記色合わせ処理を行う。

第８の態様に係る画像処理装置は、第１から第７の何れか１つの態様に係る画像処理装置であって、前記処理部が、前記第１画像と前記第２画像とについてのＲＧＢ成分、明度、および彩度のうち何れか１つの情報を前記画素表現情報として前記色合わせ処理を行うとともに、該色合わせ処理が行われた前記第１画像と前記第２画像とについてのＲＧＢ成分、明度、および彩度のうち前記何れか１つの情報以外の情報を前記画素表現情報として前記色合わせ処理をさらに行う。

第９の態様に係る画像処理装置は、第１から第８の何れか１つの態様に係る画像処理装置であって、前記処理部が、前記第１画像の画像領域が複数のブロックに分割された各ブロックのうち注目ブロックと、前記第２画像の画像領域が前記複数のブロックに分割された各ブロックのうち配置関係が該注目ブロックに対応した対応ブロックとについて、前記注目ブロックの前記画素表現情報についてのヒストグラムの度数分布を前記対応ブロックの前記画素表現情報についてのヒストグラムの度数分布に対して相対的に近づけるブロックごとの変換によって、前記第１画像のうち前記注目ブロックと、前記第２画像のうち前記対応ブロックとの色合わせ処理を行う。

第１０の態様に係る画像処理装置は、第９の態様に係る画像処理装置であって、前記処理部が、前記第１画像と前記第２画像とのそれぞれについて、(ａ)前記複数のブロックのそれぞれにおける前記ブロックごとの変換の変換特性に、該複数のブロックの相互間の距離に応じた重み付けを行って該複数のブロック間で相互に適用することによって、該複数のブロックのそれぞれにおける前記ブロックごとの変換の新たな変換特性を取得し、(ｂ)前記複数のブロックのそれぞれについて前記ブロックごとの変換の新たな変換特性に基づいて前記画素表現情報の値を変換する。

第１１の態様に係る画像処理装置は、被写体が撮影された第１画像と第２画像とを取得する取得部と、前記第１画像の画素表現情報についての第１ヒストグラムの度数分布を前記第２画像の画素表現情報についての第２ヒストグラムの度数分布に対して相対的に近づける変換によって前記第１画像と前記第２画像との色合わせ処理を行う処理部とを備え、前記取得部は、前記第１画像と前記第２画像とは異なる時刻に第３画像と第４画像とを取得し、前記処理部は、前記第３画像と前記第４画像との前記色合わせ処理を行って変換特性を取得するとともに、前記第３画像と前記第４画像との前記色合わせ処理によって得られた変換特性に基づいて、前記第１画像と前記第２画像との前記色合わせ処理の変換特性を補正する。

第１から第１１の何れの態様に係る発明によっても、被写体が撮影された第１画像と第２画像とに対して、第１画像についての第１ヒストグラムの度数分布を前記第２画像についての第２ヒストグラムの度数分布に対して相対的に近づけることによって第１画像と第２画像との色合わせ処理が行われる。該色合わせ処理は、専用の校正用チャートを要しないため被写体の撮影毎に行われ得る。このため、被写体の照明条件に関わらず、互いに異なるカメラによって被写体がそれぞれ撮影された各画像の間での色合わせが容易に行われ得る。

図１は、実施形態に係る画像処理装置を用いた画像処理システムの概略構成を示す図である。 図２は、実施形態に係る画像処理装置の要部の構成例を示す機能ブロック図である。 図３は、入力画像の１例を示す図である。 図４は、入力画像の１例を示す図である。 図５は、累積ヒストグラムを用いた変換用ガンマテーブルの生成処理を説明するための図である。 図６は、対象画像のＲ値の変換用ガンマテーブルの１例を示す図である。 図７は、目標画像のＲ値の変換用ガンマテーブルの１例を示す図である。 図８は、目標画像の累積ヒストグラムの１例をそれぞれ示す図である。 図９は、非累積ヒストグラムを用いた変換用ガンマテーブルの生成処理を説明するための図である。 図１０は、対象画像のＲ値の変換用ガンマテーブルの１例を示す図である。 図１１は、入力画像における共通領域の１例を示す図である。 図１２は、入力画像における共通領域の１例を示す図である。 図１３は、入力画像のオクルージョン領域が除外された部分の１例を示す図である。 図１４は、入力画像のオクルージョン領域が除外された部分の１例を示す図である。 図１５は、入力画像における複数の部分領域の１例を示す図である。 図１６は、部分領域の相互の重みの１例を示す図である。 図１７は、入力画像における複数の部分領域の１例を示す図である。 図１８は、入力画像における複数の部分領域の１例を示す図である。 図１９は、入力画像における複数の部分領域の１例を示す図である。 図２０は、複数の部分領域における重み付け処理の１例を説明するための図である。 図２１は、変換用ガンマテーブルに基づく飽和度の１例を説明するための図である。 図２２は、変換用ガンマテーブルに基づく飽和度の１例を説明するための図である。 図２３は、変換用ガンマテーブルに基づく飽和度の１例を説明するための図である。 図２４は、変換用ガンマテーブルに基づく飽和度の１例を説明するための図である。 図２５は、補正テーブルの１例を示す図である。 図２６は、対象画像のＲ値の補正後の変換用ガンマテーブルの１例を示す図である。 図２７は、対象画像のＧ値の補正後の変換用ガンマテーブルの１例を示す図である。 図２８は、対象画像のＢ値の補正後の変換用ガンマテーブルの１例を示す図である。 図２９は、目標画像の各色成分の補正後の変換用ガンマテーブルの１例を示す図である。 図３０は、非累積ヒストグラムに基づく飽和度の１例を説明するための図である。 図３１は、補正テーブルの１例を示す図である。 図３２は、時系列画像の概念を説明するための図である。 図３３は、時系列画像における変換用ガンマテーブルの１例を示す図である。 図３４は、実施形態に係る画像処理装置の動作フローの１例を示す図である。 図３５は、実施形態に係る画像処理装置の動作フローの１例を示す図である。 図３６は、実施形態に係る画像処理装置の動作フローの１例を示す図である。 図３７は、実施形態に係る画像処理装置の動作フローの１例を示す図である。 図３８は、実施形態に係る画像処理装置の動作フローの１例を示す図である。 図３９は、実施形態に係る画像処理装置の動作フローの１例を示す図である。

＜実施形態について＞
以下、本発明の一実施形態を図面に基づいて説明する。図面では同様な構成および機能を有する部分に同じ符号が付され、下記説明では重複説明が省略される。また、各図面は模式的に示されたものであり、例えば、各図面における画像上の表示物のサイズおよび位置関係等は必ずしも正確に図示されたものではない。なお、説明の便宜上、図１５および図２０には直交するＸＹの２軸が付されている。

＜（１）画像処理システム１００Ａについて＞
図１は、実施形態に係る画像処理装置２００Ａを用いた画像処理システム１００Ａの概略構成を示す図である。図１に示されるように、画像処理システム１００Ａは、ステレオカメラ３００と画像処理装置２００Ａとを主に備えて構成されている。画像処理システム１００Ａでは、被写体７０をステレオカメラ３００が撮影することにより取得した第１画像である入力画像１および第２画像である入力画像２（図１、図２）を画像処理装置２００Ａが取得し、画像処理装置２００Ａが入力画像１および２を処理することによって入力画像１および２の間での色合わせ処理を行う。画像処理装置２００Ａは、該色合わせ処理により、立体画像２９を構成する出力画像３および４（図１、図２）を生成する。生成された立体画像２９は、画像処理装置２００Ａの表示部４３（図２）に表示される。

＜（１−１）ステレオカメラ３００について＞
図１に示されるように、ステレオカメラ３００は、第１カメラ６１と第２カメラ６２とを主に備えて構成されている。また、第１カメラ６１および第２カメラ６２は、それぞれ、不図示の撮影光学系と、カラー撮像素子を有する制御処理回路とを主に備えて構成されている。第１カメラ６１と第２カメラ６２とは、所定の基線長を隔てて設けられており、撮影光学系に入射した被写体からの光線情報を制御処理回路等で同期して処理することによって、デジタルカラー画像である入力画像１および２を生成する。入力画像１および２の画像サイズは、例えば、３４５６画素×２５９２画素などの所定サイズであり、入力画像１および２は、被写体７０のステレオ画像を構成する。

図３および図４は、入力画像１および入力画像２の１例をそれぞれ示す図である。図３および図４に示されるように、入力画像１、２には、近景の被写体と遠景の被写体とを含む共通の被写体がそれぞれ撮影されている。近景被写体像６６ａ（図３）は、入力画像１における該近景被写体の画像であり、近景被写体像６６ｂ（図４）は、入力画像２における該近景被写体の画像である。入力画像１における近景被写体像６６ａの周囲と、入力画像２における近景被写体像６６ｂの周囲とのそれぞれには、該近景被写体の背景が、背景被写体像として撮影されている。

なお、入力画像１および２の画素数が互いに異なるとしても本発明の有用性を損なうものではない。また、第１カメラ６１と第２カメラ６２とのそれぞれの撮影光学系の光学的性能が互いに異なったとしても本発明の有用性を損なうものではない。該光学的性能は、例えば、ＯＴＦ（Optical Transfer function）、撮影倍率、収差、およびシェーディング特性などである。

ステレオカメラ３００の各種動作は、画像処理装置２００Ａから入出力部４１（図２）および通信回線ＤＬ（図１、図２）を介して供給される制御信号に基づいて制御される。通信回線ＤＬは、有線の回線であっても無線の回線であっても良い。また、生成された入力画像１および２は、通信回線ＤＬを介して画像処理装置２００Ａの入出力部４１へと供給される。また、ステレオカメラ３００は、第１カメラ６１と第２カメラ６２との同期をとりつつ被写体を時間順次に連続的に撮影することによって、複数の入力画像１および複数の入力画像２を生成可能な構成であっても良い。

＜（１−２）画像処理装置２００Ａについて＞
図２は、実施形態に係る画像処理装置２００Ａの要部の構成例を示す機能ブロック図である。図２に示されるように、画像処理装置２００Ａは、ＣＰＵ１１Ａ、入出力部４１、操作部４２、表示部４３、ＲＯＭ４４、ＲＡＭ４５および記憶装置４６を主に備えて構成されており、例えば、汎用のコンピュータでプログラムを実行することなどによって実現される。

入出力部４１は、例えばＵＳＢインタフェース、またはＢｌｕｅｔｏｏｔｈ（登録商標）インタフェースなどの入出力インタフェース、マルチメディアドライブ、およびネットワークアダプタなどのＬＡＮやインターネットに接続するためのインタフェースなどを備えて構成され、ＣＰＵ１１Ａとの間でデータの授受を行うものである。具体的には、入出力部４１は、例えば、ＣＰＵ１１Ａがステレオカメラ３００を制御するための各種の制御信号を、通信回線ＤＬなどを介して入出力部４１に接続されたステレオカメラ３００へと供給する。

また、入出力部４１は、ステレオカメラ３００が撮影した入力画像１および入力画像２を画像処理装置２００Ａへとそれぞれ供給する。なお、入出力部４１は、予め入力画像１および入力画像２が記憶された光ディスクなどの記憶媒体を受け付けることなどによっても、入力画像１および入力画像２を画像処理装置２００Ａにそれぞれ供給する。

操作部４２は、例えば、キーボードあるいはマウスなどによって構成されており、操作者が操作部４２を操作することによって、画像処理装置２００Ａへの各種制御パラメータの設定、画像処理装置２００Ａの各種動作モードの設定などが行われる。また、画像処理装置２００Ａの機能部は、操作部４２から設定される各動作モードに応じた処理を行うことができるように構成されている。

表示部４３は、例えば、パララックスバリア方式などの３次元表示方式に対応した３次元表示用の液晶表示画面などによって構成される。また、表示部４３は、出力画像３と出力画像４とによって構成される立体画像２９を表示部４３における３次元表示方式に対応した画像形式に変換する不図示の画像処理部を備えている。表示部４３は、該画像処理部によって必要な変換処理が施された該立体画像をその表示画面に表示する。

表示部４３における３次元表示方式として、例えば、左目用画像および右目用画像を交互に高速で切り替えて表示部４３に表示するとともに、該切り替えに同期して、左目および右目にそれぞれ対応した各シャッター部を交互に開閉可能な専用めがねを介して表示部４３に表示された立体画像が観察される三次元表示方式が採用されてもよい。なお、表示部４３は、ステレオカメラ３００から供給される画像、画像処理装置２００Ａが生成した画像、画像処理装置２００Ａに関する各種設定情報、および制御用ＧＵＩ（Graphical User Interface）などを、二次元の画像や文字情報として観察者に視認され得るように表示することもできる。

ＲＯＭ（Read Only Memory）４４は、読出し専用メモリであり、ＣＰＵ１１Ａを動作させるプログラムＰＧ１などを格納している。なお、読み書き自在の不揮発性メモリ（例えば、フラッシュメモリ）が、ＲＯＭ４４に代えて使用されてもよい。

ＲＡＭ（Random Access Memory）４５は、読み書き自在の揮発性メモリであり、画像処理装置２００Ａが取得した各種画像、ならびに画像処理装置２００Ａが生成する立体画像２９などを一時的に記憶する画像格納部、ＣＰＵ１１Ａの処理情報を一時的に記憶するワークメモリなどとして機能する。

記憶装置４６は、例えば、フラッシュメモリなどの読み書き自在な不揮発性メモリやハードディスク装置等によって構成されており、画像処理装置２００Ａの各種制御パラメータや各種動作モードなどの情報を恒久的に記録する。

ＣＰＵ（Central Processing Unit）１１Ａは、画像処理装置２００Ａの各機能部を統轄制御する制御処理装置であり、ＲＯＭ４４に格納されたプログラムＰＧ１などに従った制御および処理を実行する。ＣＰＵ１１Ａは、後述するように、取得部である画像取得部１２、および処理部である画像処理部１３としても機能する。ＣＰＵ１１Ａは、これらの機能部などによって、入力画像１の画素表現情報についてのヒストグラム（第１ヒストグラム）の度数分布を、入力画像２の画素表現情報についてのヒストグラム（第２ヒストグラム）の度数分布に対して相対的に近づける変換を行う。ＣＰＵ１１Ａは、該変換によって入力画像１の色データ（色情報）を、入力画像２の色データ（色情報）に相対的に近づける色合わせ処理を行う。そして、ＣＰＵ１１Ａは、該色合わせ処理によって出力画像３および４を生成する。また、ＣＰＵ１１Ａは、ステレオカメラ３００の撮像動作の制御を行うとともに、表示部４３を制御して、各種画像、算出結果、および各種制御情報などを表示部４３に表示させる。

また、ＣＰＵ１１Ａ、入出力部４１、操作部４２、表示部４３、ＲＯＭ４４、ＲＡＭ４５、記憶装置４６等のそれぞれは、信号線４９を介して電気的に接続されている。したがって、ＣＰＵ１１Ａは、例えば、入出力部４１を介したステレオカメラ３００の制御およびステレオカメラ３００からの画像情報の取得、および表示部４３への表示等を所定のタイミングで実行できる。なお、図２に示される構成例では、画像取得部１２および画像処理部１３などの各機能部は、ＣＰＵ１１Ａで所定のプログラムを実行することによって実現されているが、これらの各機能部はそれぞれ、例えば、専用のハードウェア回路などによって実現されてもよい。

＜（２）画像処理装置２００Ａの動作について＞
＜（２−１）動作の概要について＞
図３４は、実施形態に係る画像処理装置２００Ａの動作フローＳ１０Ａの概要の１例を示す図である。画像処理装置２００Ａの画像取得部１２は、操作部４２を用いたユーザの操作を受け付けることなどによって、ステレオカメラ３００によってそれぞれ取得された入力画像１および２を取得する（図３４のステップＳ１０）。入力画像１、２は、互いに異なる撮像系である第１カメラ６１および第２カメラ６２によって被写体がそれぞれ撮影された画像である。

入力画像１、２が取得されると、画像処理部１３は、入力画像１の画素表現情報についてのヒストグラムの度数分布を入力画像２の画素表現情報についてのヒストグラムの度数分布に対して相対的に近づける変換によって、入力画像１の色データ（色情報）を、入力画像２の色データ（色情報）に相対的に近づける色合わせ処理を行う（図３４のステップＳ２０）。

なお、本願においては、画像におけるＲＧＢ成分、明度、および彩度のうち何れか１つの情報は、「画素表現情報」とも称される。

色合わせ処理が行われると、画像処理部１３は、入力画像１、２のうち画素表現情報（ＲＧＢ成分）の値が飽和している画素の割合を表現した飽和度がより低い一方の画像についての飽和度を他方の画像の飽和度に近づける飽和度の補正処理を行い（図３４のステップＳ３０）、出力画像３、４をそれぞれ生成する（図３４のステップＳ４０）。

＜（２−２）色合わせ処理について＞
画像処理装置２００Ａは、入力画像１、２の画素表現情報のヒストグラムに基づいて入力画像１と入力画像２との間での色合わせ処理を行う。なお、本願においては、入力値と、該入力値に対応する累積度数（累積画素数）との関係を表現する累積ヒストグラムと、入力値と、該入力値に対応する度数（画素数）との関係を表現するヒストグラムとを区別するために、後者のヒストグラムは、「通常のヒストグラム」、または「非累積ヒストグラム」とも適宜称される。

また、本願においては、累積ヒストグラムと、通常のヒストグラム（非累積ヒストグラム）との総称として、単に、「ヒストグラム」という用語が適宜使用される。

ここで、入力画像１、２は、同一の被写体がそれぞれ撮影された画像であるので、本来、両画像の画素表現情報のヒストグラムの形も凡そ近いものとなるはずである。従って、画像処理装置２００Ａは、例えば、ホワイトバランス設定の違いなどにより入力画像１、２における色あいが違っている場合にも、両画像のヒストグラムを近づける変換（ヒストグラムの形をおおよそ合わせる変換）によって、両画像の色を互いに近づけることができる。

より詳細には、画像処理装置２００Ａは、先ず、入力画像１、２のそれぞれの画素表現情報のヒストグラムを相対的に近づけるように入力画像１、２の色情報を変換する変換用ガンマテーブルを生成する。そして、画像処理装置２００Ａは、該変換用ガンマテーブルを用いて入力画像１、２の色情報を変換することにより入力画像１、２の色合わせ処理を行う。なお、変換用ガンマテーブルについては、後述する。

なお、入力画像１、２の画素数が互いに異なる場合には、入力画像１、２のヒストグラムは、各画像の画素数によってそれぞれ正規化された後に、各ヒストグラムを相対的に近づける処理に用いられる。従って、入力画像１、２の画素数が互いに異なったとしても、本発明の有用性を損なうものではない。

画像処理装置２００Ａによれば、色合わせ処理専用の校正用チャートが不要である。従って、ステレオカメラ３００の生産時のカラーキャリブレーションが不要になるとともに、被写体の照明条件の変動に関わらず、ステレオカメラ３００による被写体の撮影時に、撮影ごとに毎回色合わせ処理を行うことも可能となる。

＜目標画像の設定について＞
画像処理装置２００Ａは、色合わせ処理の開始に先立って、入力画像１、２の少なくとも一方から入力画像１、２のうち少なくとも一方から派生する目標画像を生成し、上述したヒストグラムを近づける処理において目標となるヒストグラムを与える目標画像として用いる。目標画像は、入力画像１、２のうち何れか一方自体であってもよい。また、目標画像は、例えば、入力画像１、２の画素値の平均を取った画像など、入力画像１および２に基づいて、生成されてもよい。また、入力画像１、２と同一の被写体が、予め撮影された別画像が目標画像として設定されたとしても本発明の有用性を損なうものではない。

すなわち、画像処理装置２００Ａは、入力画像１、２のうち一方のヒストグラムを他方のヒストグラムに近づける処理を行う場合もあれば、入力画像１、２の各ヒストグラムの両方を別の画像についてのヒストグラムに近づける処理を行う場合もある。また、本願においては、入力画像１、２のうち目標画像として設定されていない画像は、「対象画像」とも称される。

図８は、目標画像の累積ヒストグラムの１例をそれぞれ示す図であり、累積ヒストグラムＣＨ１、ＣＨ２は、入力画像１、２のＲ成分の値（Ｒ値）についての累積ヒストグラムである。累積ヒストグラムＣＨＴは、入力画像１、２に基づいて生成された別の画像（目標画像）のＲ値についての累積ヒストグラムである。図８に示される例においては、画像処理装置２００Ａの画像処理部１３は、入力画像１、２の両方を対象画像として設定している。そして、画像処理部１３は、累積ヒストグラムＣＨ１およびＣＨ２のそれぞれを累積ヒストグラムＣＨＴに近づける変換を与える変換用ガンマテーブルを、入力画像１、２のそれぞれについて生成する。

次に、目標画像の生成（特定）について、具体的に説明する。画像処理部１３は、予め設定された動作モードに応じて、入力画像１、２のうち色かぶりの少ない方の画像を目標画像とする。なお、画像処理部１３は、例えば、特開２００１−２２９３７４号公報に開示されている手法などを用いることによって、入力画像１、２のそれぞれの画像データについて画素表現情報の信号分布の特徴量を基に各画像の色かぶり量を判定する不図示の色かぶり量判定部として機能し得る。また、画像処理部１３は、色かぶり量の判定の結果、入力画像１、２のうち色かぶり量の少ない方の画像を目標画像とする不図示の目標画像特定部としても機能し得る。

また、画像処理部１３は、予め設定された動作モードに応じて、入力画像１、２のうち撮影に係る撮像系の解像度が高い方の画像を目標画像とする。すなわち、画像処理部１３は、例えば、第１カメラ６１と第２カメラ６２とのうち、第１カメラ６１の方が撮影光学系の解像度が高い場合には、第１カメラ６１の画像（入力画像１）を目標画像として特定することにより、目標画像を生成する。

解像度が高い撮像系、すなわち画素数の多い撮像系は、一般に、解像度が低い撮像系、すなわち画素数の少ない撮像系よりも、各種の光学的性能が優れたレンズ、および処理回路が用いられる。従って、撮影される画像の収差、偽色の有無などの画質も、解像度が高い撮像系によって撮像された画像の方が良くなる。従って、撮像系の解像度が高い方の画像が目標画像とされれば、入力画像１、２の色合わせ処理の結果がより改善され得る。

なお、画像処理部１３は、動作モードに応じて、操作部４２を用いてユーザが目標画像を指定する情報に基づいて目標画像を選択指定することもできる。

＜（２−２−１）累積ヒストグラムの使用による色合わせ処理＞
次に、図３、４に示されるように入力画像１が対象画像ＯＧとして、また、入力画像２が目標画像ＴＧとしてそれぞれ設定された場合を例として、累積ヒストグラムを使用した色合わせ処理について図３５の動作フローを適宜参照しつつ説明する。図３５は、実施形態に係る画像処理装置２００Ａの累積ヒストグラムを用いた色合わせ処理に係る動作フローＳ１００Ａの１例を示す図である。なお、本願においては、画像の各画素表現情報は、それぞれ８ビットで表現される。

また、図５は、累積ヒストグラムを用いた変換用ガンマテーブルの生成処理を説明するための図である。なお、図５においては、画像のＲ成分（Ｒ値）についての変換用ガンマテーブルの生成処理が、例として説明される。

また、図６は、入力画像１（対象画像ＯＧ）のＲ値の変換用ガンマテーブルＵＲの１例を示す図であり、図７は、入力画像２（目標画像ＴＧ）のＲ値の変換用ガンマテーブルＶＲの１例を示す図である。

色合わせ処理が開始されて、画像取得部１２が、入力画像１、２を取得する（図３５のステップＳ１１０）と、画像処理部１３は、入力画像１、２のそれぞれについて、ＲＧＢ各成分の累積ヒストグラムを取得する（図３５のステップＳ１２０）。なお、図５においては、入力画像１のＲ値の累積ヒストグラムＣＨ１と、入力画像２のＲ値の累積ヒストグラムＣＨ２とが示される。また、累積ヒストグラムＣＨ１、ＣＨ２は、累積度数の最大値によってそれぞれ正規化されている。

次に、画像処理部１３は、目標画像ＴＧ、すなわち入力画像２についてのＲＧＢの各成分の累積ヒストグラムを取得する（図３５のステップＳ１３０）。図５に示されるように、目標画像ＴＧのＲ値の累積ヒストグラムＣＨＴは、累積ヒストグラムＣＨ２でもある。

対象画像ＯＧと、目標画像ＴＧとのそれぞれについての各色成分の累積ヒストグラムが取得されると、画像処理部１３は、入力画像１、２について、ＲＧＢ各成分の変換用ガンマテーブルを生成する（図３５のステップＳ１４０）。

Ｒ値（Ｒ成分）について変換用ガンマテーブルＵＲ、ＶＲが生成される場合には、該ステップＳ１４０において、画像処理部１３は、累積ヒストグラムＣＨ１上に、例えば、点Ｐａ１〜Ｐａ５のように複数の点を設定する。なお、点Ｐａ１〜Ｐａ５のＲ値は、それぞれＡ１〜Ａ５である。

複数の点Ｐａ１〜Ｐａ５が設定されると、画像処理部１３は、点Ｐａ１〜Ｐａ５にそれぞれに対応する累積ヒストグラムＣＨ２上の点Ｐｂ１〜Ｐｂ５を、累積度数の値を対応付け指標として特定することにより取得する。ここで、点Ｐａ１〜Ｐａ５のＲ値の各累積度数は、点Ｐｂ１〜Ｐｂ５のＲ値の各累積度数とそれぞれ等しい値となる。

このように、画像処理部１３は、累積度数の値を対応付け指標として、累積ヒストグラムＣＨ１の画素表現情報の値と、累積ヒストグラムＣＨ２の画素表現情報の値とを対応づけた組みを、累積度数の複数の値のそれぞれについて取得する。

点Ｐｂ１〜Ｐｂ５が特定されると、画像処理部１３は、図６に示されるように、入力画像１のＲ値Ａ１〜Ａ５と入力画像２のＲ値Ｂ１〜Ｂ５とに対応した点ｃ１〜ｃ５を特定する。そして、画像処理部１３は、入力画像１の各Ｒ値（入力値）と、出力画像３の各Ｒ値（出力値）とを対応させる入出力関係を点ｃ１〜ｃ５に基づいて特定する。特定された入出力関係（「変換特性」とも称される）は、「変換用ガンマテーブル」とも称される。

変換用ガンマテーブルＵＲは、例えば、点ｃ１〜ｃ５を通る折れ線や、近似曲線などとして特定される。なお、変換用ガンマテーブルＵＲは、例えばＲ値が８ビットの場合、入力値０が出力値０に対応し、入力値２５５が出力値２５５に対応するように生成される。他の画素表現値についての変換用ガンマテーブルの生成についても同様にして生成される。

ここで、入力画像２は、目標画像ＴＧであるので、入力画像２は、そのまま出力画像４として生成される。従って、入力画像２についての変換用ガンマテーブルＶＲは、図７において点ｄ１〜ｄ５によって特定されるように、傾き１の直線となる。このように入力画像が、目標画像そのものである場合には、無変換の変換用ガンマテーブルが作られる。

上述したように、入力画像１を出力画像３に変換する変換用ガンマテーブルＵＲは、入力画像１（対象画像ＯＧ）のＲ値の累積ヒストグラムＣＨ１の値と、入力画像２（目標画像ＴＧ）のＲ値の累積ヒストグラムＣＨ２とを互いに近づけるように特定された変換特性である。

入力画像１、２について、ＲＧＢの各成分の変換用ガンマテーブルがそれぞれ生成されると、画像処理部１３は、生成された各変換用ガンマテーブルを用いて、入力画像１、２のＲＧＢの各成分を変換することによって、出力画像３、４をそれぞれ生成（図３５のステップＳ１５０）し、色合わせ処理を終了する。

累積ヒストグラムにおいては、画素表現情報の値と、該値に対応する累積度数とが１対１に対応する。従って、上述したように、累積ヒストグラムが用いられれば、累積ヒストグラム上に、例えば、ピークなどの特徴点以外の複数の点を特定することによって、対象画像ＯＧの累積ヒストグラムと、目標画像ＴＧの累積ヒストグラムとを相対的に近づけることができる。

複数の点に基づいて各累積ヒストグラムが近づけられるので、累積ヒストグラムが用いられれば、例えば、通常のヒストグラムが用いられる場合に比べて、より正確に色合わせが行われ得る。なお、ＲＧＢの各成分の何れかを画素表現情報として色合わせ処理が行われる場合には、ＲＧＢ各色成分のバランスを保つために、ＲＧＢの各成分のうち他の成分についても色合わせ処理がそれぞれ行われる。

＜（２−２−２）非累積ヒストグラムの使用による色合わせ処理＞
図９は、非累積ヒストグラムＨ１、Ｈ２を用いた変換用ガンマテーブルＵＲ（図１０）の生成処理を説明するための図である。非累積ヒストグラムＨ１は、入力画像１（対象画像ＯＧ）の非累積ヒストグラムであり。非累積ヒストグラムＨ２は、入力画像２の非累積ヒストグラムである。入力画像２は、目標画像ＴＧでもあるので、非累積ヒストグラムＨ２は、非累積ヒストグラムＨＴでもある。

点Ｑ１は、非累積ヒストグラムＨ１における度数のピーク値を与える点であり、点Ｑ２は、非累積ヒストグラムＨ２における度数のピーク値を与える点である。また、Ｒの値ａは、点Ｑ１に対応したＲ値であり、Ｒの値ｂは、点Ｑ２に対応したＲ値である。

図１０は、対象画像ＯＧ（入力画像１）のＲ値の変換用ガンマテーブルＵＲの１例を示す図である。変換用ガンマテーブルＵＲは、入力画像１のＲ値を、出力画像３のＲ値に変換する入出力関係（変換特性）である。

非累積ヒストグラムを変換用ガンマテーブルの生成に用いる動作モードが設定されている場合には、画像処理部１３は、点Ｑ１、Ｑ２などの特徴点に基づいて、変換用ガンマテーブルを生成する。より具体的には、画像処理部１３は、先ず、図１０に示されるように、変換前のＲ値ａと変換後のＲ値ｂとに対応した点Ｑ３を特定する。次に、点Ｑ３を点（０，０）および点（２５５，２５５）のそれぞれと結ぶ折れ線（曲線）を特定することによって、変換用ガンマテーブルＵＲを生成する。変換用ガンマテーブルの生成に使用される非累積ヒストグラム上の特徴点としては、例えば、ピーク値その他の極値を与える特徴点などが用いられ得る。

上述したように、非累積ヒストグラムに基づいて変換用ガンマテーブルが生成される場合には、入力画像１および２のそれぞれの画素表現情報についてのヒストグラムを互いに近づける変換用ガンマテーブルが、非累積ヒストグラムの特徴点に基づいて生成される。そして、生成された変換用ガンマテーブルによっても、出力画像３、４の間での色データの合い具合は、入力画像１、２の間での色データの合い具合に比べて改善される。従って、変換用ガンマテーブルが非累積ヒストグラムを用いて生成されたとしても、本発明の有用性を損なうものではない。

＜（２−２−３）異なる色空間での複数回の色合わせ処理＞
次に、異なる色空間での複数回の色合わせ処理が行われる動作モードが設定されている場合の画像処理装置２００Ａの動作について説明する。該説明に先立って、上述したＲＧＢの各成分における色空間とは異なる色空間における色合わせ処理について、Ｃ（彩度）が色空間として用いられる場合を説明する。

図３６は、実施形態に係る画像処理装置２００Ａが、彩度を変換用ガンマテーブルの生成に係る画素表現情報として入力画像１、２の色合わせ処理を行う動作フローＳ２００Ａの１例を示す図である。なお、図３６に示される動作フローは、ステップＳ２２０、Ｓ２７０での処理を除き、図３５に示される動作フローの画素表現情報であるＲＧＢの各成分が彩度に置き換えられた場合と同様の処理によって行われる。

動作フローＳ２００Ａが開始されると、画像処理部１３は、入力画像１、２を取得する（ステップＳ２１０）。次に、画像処理部１３は、入力画像１、２の色空間をＲＧＢからＬＣＨ（明度、彩度、色相）へと変換し（ステップＳ２２０）、入力画像１、２についてＣ（彩度）成分の累積ヒストグラムを取得する（ステップＳ２３０）。

Ｃ（彩度）成分の累積ヒストグラムが取得されると、画像処理部１３は、予め生成、または特定されている目標画像についてのＣ（彩度）成分の累積ヒストグラムを取得する（ステップＳ２４０）。該累積ヒストグラムが取得されると、画像処理部１３は、ステップＳ１４０（図３５）と同様にして、入力画像１、２のそれぞれについてＣ成分の変換用ガンマテーブルを生成する（ステップＳ２５０）とともに、生成された各変換用ガンマテーブルを用いて、入力画像１、２のそれぞれのＣ成分を変換する（ステップＳ２６０）。

該変換が終了すると、画像処理部１３は、Ｃ成分がそれぞれ変換された入力画像１、２の色空間をＬＣＨからＲＧＢへと逆変換することによって、出力画像３、４を生成し（ステップＳ２７０）、色合わせ処理を終了する。なお、該色合わせ処理は、例えば、Ｌ（明度）とＣ（彩度）との両方に基づいて行われても良い。

画像処理部１３は、異なる色空間での複数回の色合わせ処理を行う場合には、先ず、入力画像１、２についてのＲＧＢ成分、明度、および彩度のうち何れか１つの情報を画素表現情報として１回目の色合わせ処理を行う。次に、画像処理部１３は、該色合わせ処理が行われた入力画像１、２についてのＲＧＢ成分、明度、および彩度のうち一回目の色合わせ処理に用いられた情報以外の情報を画素表現情報として２回目の色合わせ処理を行う。

より具体的には、画像処理部１３は、例えば、先ず、図３５の動作フローによってＲＧＢ各色成分についての色合わせ処理をそれぞれ行った後、図３６の動作フローによってＣ（彩度）成分に基づいた色合わせ処理を行う。逆に、ＲＧＢ成分以外の画素表現情報に基づいた色合わせ処理が行われ、次に、ＲＧＢ各成分に基づいた色合わせ処理が行われたとしても本発明の有用性を損なうものではない。

入力画像１、２の間での色合わせ処理が、互いに異なる色空間で複数回行われれば、例えば、ＲＧＢの各色空間での色合わせ処理のみが行われる場合に比べて、変換後の出力画像３、４の間での色の合い具合がより改善される。

＜（２−２−４）部分領域を使用した色合わせ処理＞
図３および図４にそれぞれ示された入力画像１、２においては、画像領域の全体における画素表現情報のヒストグラムが取得され、該ヒストグラムに基づいて、色合わせ処理が行われていた。しかしながら、入力画像１の画像領域の１部の画像と、入力画像２の画像領域の一部の画像とのそれぞれのヒストグラムに基づいて色合わせ処理が行われたとしても本発明の有用性を損なうものではない。

なお、該入力画像１の画像領域の１部の画像と、該入力画像２の画像領域の一部の画像とは、被写体上の同一部分をそれぞれ含んでいれば良く、例えば、入力画像１についての該一部の領域サイズと、入力画像２についての該一部の領域サイズとが異なっていてもよい。例えば、入力画像１、２のそれぞれの画像領域のうち色合わせ処理が必要な部分領域が、色合わせ処理の対象として設定される場合には、画像領域の全体についてのヒストグラムに基づいて色合わせ処理が行われる場合に比べて、該色合わせ処理が必要な部分領域の間での色合わせ処理がより改善され得る。

画像処理部１３は、ヒストグラムの生成に係る部分領域として、動作モードに応じて、ユーザが操作部４２を操作することにより指定した領域情報を取得するとともに、動作モードに応じて、入力画像１、２の画像情報などに基づいて該領域情報を生成する。なお、部分領域についてのヒストグラムに基づいて取得された変換用ガンマテーブルが、該部分領域だけでなく、例えば、画像領域の全体などの他の領域に適用されたとしても本発明の有用性を損なうものではない。

＜（２−２−４−１）共通領域の採用について＞
図１１および図１２は、例えば入力画像１および２に上下の視差があった場合の、入力画像１および２における共通領域３２ａおよび３２ｂの１例をそれぞれ示す図である。共通領域３２ａは、入力画像１における破線の矩形によって内包された領域であり、共通領域３２ｂは、入力画像２における破線の矩形によって内包された領域である。また、共通領域３２ａおよび３２ｂは、入力画像１および２のうち被写体の同一部分をそれぞれ捉えた画像に係る領域である。すなわち、共通領域３２ａにおける入力画像１の画像と、共通領域３２ｂにおける入力画像２の画像とは、被写体の同一部分にそれぞれ対応した部分画像である。

画像処理部１３は、動作モードに応じて、操作部４２を介してユーザが指定した共通領域の領域情報、またはステレオカメラ３００のステレオ校正時に生成された共通領域の領域情報を取得することにより共通領域３２ａ、３２ｂを特定する。また、画像処理部１３は、動作モードに応じて、入力画像１、２の間でのパターンマッチング処理の結果に基づいて共通領域の領域情報を生成することにより共通領域３２ａ、３２ｂを特定する。

画像処理部１３が行うパターンマッチング処理に用いられる相関演算手法としては、例えば、ＮＣＣ（Normalized Cross Correlation）法、ＳＡＤ（Sum of Absolute Difference）法、またはＰＯＣ（Phase Only Correlation）法などが採用される。

ステレオ校正は、ステレオカメラ３００に対して予め実施されており、所定の撮影条件で第１カメラ６１および第２カメラ６２によって校正用チャートがそれぞれ撮影された校正用の各画像がステレオ校正に用いられる。ステレオカメラ校正においては、該校正用の各画像について画像間での共通領域が特定されるとともに、画像の収差の除去処理、および平行化処理などに使用される各パラメータが求められている。また、求められた該各パラメータと、該校正用の画像間での共通領域を特定するための領域情報とは、記憶装置４６に記憶されている。画像処理部１３は、予め記憶装置４６に記憶されている共通領域についての領域情報を取得することにより入力画像１、２についての共通領域３２ａ、３２ｂを特定する。

＜（２−２−４−２）オクルージョン領域の除去＞
図１３は、図１１に加えて、入力画像１の共通領域３２ａのうち斜線が付されたオクルージョン領域６８ａ（第１オクルージョン領域）が除外された部分領域３３ａの１例を示す図である。また、図１４は、図１２に加えて、入力画像２の共通領域３２ｂのうち斜線が付されたオクルージョン領域６８ｂ（第２オクルージョン領域）が除外された部分領域３３ｂの１例を示す図である。

オクルージョン領域６８ａは、第１カメラ６１によって撮影され得るが、近景被写体像６６ａに係る近景被写体のために第２カメラ６２によっては撮影され得ない遠景被写体についての画像の領域である。同様に、オクルージョン領域６８ｂは、第２カメラ６２によって撮影され得るが、近景被写体像６６ｂに係る近景被写体のために第１カメラ６１によっては撮影され得ない遠景被写体についての画像の領域である。

画像処理装置２００Ａの動作モードが、オクルージョン領域を除いた部分画像に基づく色合わせ処理に対応した動作モードが設定されている場合には、画像処理部１３は、例えば、入力画像１、２の間での対応点探索処理を行うことなどによってオクルージョン領域６８ａおよび６８ｂをそれぞれ特定する。該対応点探索処理は、ＳＡＤ法、またはＰＯＣ法などの相関演算手法を用いたパターンマッチング処理により互いに対応づけられる各領域の代表点を特定する処理などにより行われ得る。画像処理部１３は、特定された部分領域３３ａおよび３３ｂのそれぞれのヒストグラムを互いに近づける変換によって色合わせ処理を行う。該色合わせ処理によれば、オクルージョン領域６８ａおよび６８ｂにおける画像がヒストグラムの生成に用いられないため、生成される各ヒストグラムの形は、オクルージョン領域が使用される場合に比べて、互いに、より近いものとなる。従って、該色合わせ処理によれば、画像間の色の合い具合をより改善できる。なお、オクルージョン領域を除いた部分画像として、共通領域からオクルージョン領域を除いた領域の画像の他、例えば、入力画像の全域からオクルージョン領域を除いた部分画像が採用されたとしても本発明の有用性を損なうものではない。

＜（２−２−５）分割された複数の部分領域を使用した色合わせ処理＞
図１５は、入力画像１および２のそれぞれに設定された複数の部分領域（「ブロック」とも称される）の１例を示す図である。図１５では、１２個のブロックＭ１〜Ｍ１２が設定されている。画像処理部１３は、画像処理装置２００Ａの動作モードに応じて、分割された複数の部分領域を使用した色合わせ処理を行う。該色合わせ処理において、画像処理部１３は、図１５に例示されるように、入力画像１および２のそれぞれの画像領域を複数のブロック（Ｍ１〜Ｍ１２）に分割する。

画像処理部１３は、入力画像１の画像領域が分割された各ブロックのうち注目ブロックと、入力画像２の画像領域が分割された各ブロックのうち配置関係が該注目ブロックに対応した対応ブロックとをそれぞれ特定する。注目ブロックと対応ブロックとが特定されると、画像処理部１３は、該注目ブロックの画素表現情報についてのヒストグラムの度数分布を該対応ブロックの該画素表現情報についてのヒストグラムの度数分布に対して相対的に近づける変換用ガンマテーブルを、注目ブロックと対応ブロックとのそれぞれに対して生成する。

画像処理部１３は、注目ブロックと対応ブロックとのそれぞれに対して、対応する変換用ガンマテーブルを適用して該画素表現情報の値を変換することにより、注目ブロックと対応ブロックとの間での色合わせ処理、すなわちブロックごとの色合わせ処理を行う。画像処理部１３は、該色合わせ処理を注目ブロックおよび対応ブロックの組み合わせを変更しつつ行うことにより入力画像１および２の間での色合わせ処理を行う。

分割された複数の部分領域を使用する上述した色合わせ処理によれば、互いに対応する各ブロックの間での色合わせ処理が行われる。従って、例えば、入力画像１、２においてシェーディングが生じている場合でも、画像全体に対するヒストグラムに基づいて色合わせ処理が行われる場合に比べて、色合わせ処理後の色の合い具合がより改善され得る。

＜重み付け処理について＞
画像処理部１３は、動作モードに応じて、入力画像１および２のそれぞれについて、各ブロックの変換用ガンマテーブルに、各ブロックの相互間の距離に応じた重み付けを行って各ブロック間で相互に適用することにより、各ブロックの新たな変換用ガンマテーブルを取得する。画像処理部１３は、入力画像１および２のそれぞれについて、各ブロックの画素表現情報の値を取得された新たな変換用ガンマテーブルに基づいて変換することにより入力画像１および２についての色合わせ処理を行う。

図３７および図３８は、画像処理装置２００Ａが、それぞれ複数の部分領域に分割された入力画像１および２について重み付け処理を用いた色合わせ処理を行う動作フローＳ３００Ａの１例を示す図である。また、図１６は、各部分領域に適用される重みの１例を説明するための図であり、ｗ５〜ｗ７は、ブロックＭ６における＋Ｘ方向（図１５）の各位置に適用されるブロックＭ５〜Ｍ７のそれぞれの重みを示している。

図１７〜図１９は、入力画像１、２における複数の分割領域（ブロック）の１例であるブロックＭ１３〜Ｍ２１、ブロックＭ２２〜Ｍ２９、およびブロックＭ３０〜Ｍ３５をそれぞれ示す図である。また、図２０は、複数の部分領域における重み付け処理の１例をブロックＭ１、Ｍ１３、Ｍ２２、およびＭ３０を用いて説明するための図である。なお、図２０においては、視認性を高めるために便宜上、ブロックＭ１、Ｍ１３、Ｍ２２、およびＭ３０の外縁の相互の重なり部分がずらされて表示されている。また、点ＰＯ１は、ブロックＭ１の領域の中央の点である。以下に、図１５〜図２０を適宜参照しつつ、図３７および図３８の動作フローＳ３００Ａの説明を行う。

動作フローＳ３００Ａが開始されると、画像処理部１３は、入力画像１、２を取得（ステップＳ３１０）し、入力画像１、２のそれぞれを、例えば、図１５に示されるように複数の部分領域（ブロック）に分割する（ステップＳ３２０）。次に、画像処理部１３は、該複数の部分領域のうち１つの部分領域を選択する（ステップＳ３３０）。部分領域の選択が完了すると、画像処理部１３は、入力画像１、２のそれぞれについて、選択された部分領域のＲＧＢの各成分の累積ヒストグラムを取得する（ステップＳ３４０）。

次に、画像処理部１３は、予め生成、または特定されている目標画像についてのＲＧＢの各成分の累積ヒストグラムを取得する（ステップＳ３５０）。画像処理部１３は、例えば、（１）式によって算出されるブロックＭ６の新たな累積ヒストグラムＣＨ６＿ＮをブロックＭ６の累積ヒストグラムとして取得し、他のブロックについても同様にして累積ヒストグラムを取得する。

該累積ヒストグラムが取得されると、画像処理部１３は、ステップＳ１４０（図３５）と同様にして、入力画像１、２のそれぞれについて選択された部分領域のＲＧＢの各成分の変換用ガンマテーブルを生成する（ステップＳ３６０）。

処理対象の部分領域について該変換用ガンマテーブルの生成が完了すると、画像処理部１３は、全ての部分領域の選択が完了したか否かを確認する（ステップＳ３７０）。ステップＳ３７０での確認の結果、全ての部分領域の選択が完了していなければ、画像処理部１３は処理をステップＳ３３０へと戻す。

ステップＳ３７０での確認の結果、全ての部分領域の選択が完了していれば、画像処理部１３は、重み付けによって各部分領域についての新たな変換用ガンマテーブルを取得する（ステップＳ３８０）。具体的には、画像処理部１３は、例えば、ブロックＭ６について、（２）式〜（４）式によって算出される新たな変換用ガンマテーブルＵＲ６＿Ｎを取得し、他のブロックについても同様にして新たな累積ヒストグラムを取得する。ただし、処理対象のブロックが入力画像の領域の端部における領域である場合には、実在するブロックのみに基づいて（２）式〜（４）式にそれぞれ対応する各式により新たな変換用ガンマテーブルを算出する。

なお、新たな変換用ガンマテーブルの生成手法については、入力画像１、２が複数の部分領域に分割される分割の態様に応じた生成手法が採用される。例えば、画像処理部１３は、動作モードに応じて、ステップＳ３２０においてブロックＭ１〜Ｍ１２（図１５）、ブロックＭ１３〜Ｍ２１（図１７）、ブロックＭ２２〜２９（図１８）、およびブロックＭ３０〜Ｍ３５（図１９）の分割をそれぞれ行う。画像処理部１３は、ブロックＭ１〜Ｍ１２の各ブロックについては、（１）式によって累積ヒストグラムを取得し、ブロックＭ１３〜Ｍ３５の各ブロックについては、例えば、（５）式によって算出されるブロックＭ１３の新たな累積ヒストグラムＣＨ１３＿ＮをブロックＭ１３の累積ヒストグラムとして取得し、他のブロックについても同様にして累積ヒストグラムを取得する。

ブロックＭ１〜Ｍ３５のそれぞれについて累積ヒストグラムが取得されると、画像処理部１３は、ブロックＭ１における点ＰＯ２について、（６）式によって算出される変換用ガンマテーブルＵＲ＿ＰＯ２を取得する。画像処理部１３は、ブロックＭ１の他の点についても同様にして変換用ガンマテーブルを算出することにより、ブロックＭ１についての変換用ガンマテーブルを取得する。そして、画像処理部１３は、ブロックＭ２〜Ｍ１２についても、ブロックＭ１と同様にして変換用ガンマテーブルを生成する。

各部分領域についての新たな変換用ガンマテーブルが生成されると、画像処理部１３は、各部分領域について、入力画像１、２のＲＧＢの各成分の値を各部分領域についての新たな変換用ガンマテーブルを用いて変換することにより、出力画像３、４を生成し（ステップＳ３９０）、色合わせ処理を終了する。

変換用ガンマテーブルが重み付け処理により生成された場合には、分割された部分領域の境界部分における色データの急激な変動を、該重み付け処理が行われない場合に比べてより抑制することが可能となる。もっとも、該重み付け処理が行われたとしても、また、行われなかったとしても本発明の有用性を損なうものではない。

＜（２−３）飽和度の補正処理について＞
画像処理部１３は、動作モードに応じて、更に、入力画像１、２のうち画素表現情報の値が飽和している画素の割合を表現した飽和度がより低い一方の画像の該飽和度を、他方の画像の該飽和度に近づける飽和度の補正処理を行う。なお、本願において「飽和」とは、画素表現情報の値が、所定のビット数で表現可能な値域（「表現可能範囲」とも称される）の上限値となっている場合と、該値域の下限値となっている場合との両方を指す。

目標画像ＴＧの方が対象画像ＯＧよりも、表現可能範囲の上限側に、画素表現情報の値がより飽和している場合には、図３５のステップＳ１４０の処理によって、対象画像ＯＧの該上限側の画素表現情報の値を大きくする変換用ガンマテーブルが生成される。該変換テーブルがそのまま対象画像ＯＧに適用される場合には、変換された対象画像ＯＧの画像は、表現可能範囲の上限側における値域の分布の離散度が大きくなり、画素表現情報の値が変化する境界部分が目立つ画像となる場合がある。該現象は、例えば、変換用ガンマテーブル生成時の補間処理などに起因して生ずる。より具体的には、変換後の画素表現情報の値が２５５になっている部分と、例えば、該値が２５０などになっている部分とが隣り合うことにより該境界部分が生ずる。

同様に、目標画像ＴＧの方が対象画像ＯＧよりも、表現可能範囲の下限側に、画素表現情報の値がより飽和している場合には、対象画像ＯＧの該下限側の画素表現情報の値を小さくする変換用ガンマテーブルが生成される。該変換テーブルがそのまま対象画像ＯＧに適用される場合には、変換された対象画像ＯＧの画像は、表現可能範囲の下限側における値域の分布の離散度が大きくなり、画素表現情報の値が変化する境界部分が目立つ画像となる場合がある。より具体的には、変換後の画素表現情報の値が０になっている部分と、例えば、該値が５などになっている部分とが隣り合うことにより該境界部分が生ずる。

そこで画像処理装置２００Ａでは、対象画像ＯＧと、対象画像ＯＧよりも飽和している目標画像ＴＧとについて、目標画像ＴＧの画像情報に基づいて対象画像ＯＧをより飽和させる飽和度の補正処理を行うことによって、該境界部分（「色段差」とも称される）が目立つ現象を改善できる可能性を高める。

＜（２−３−１）変換用ガンマテーブルを用いた飽和度の補正処理＞
該飽和度の補正処理は、対象画像ＯＧと目標画像ＴＧとについて生成される変換用ガンマテーブルに基づいて行われる。

図３９は、画像処理装置２００Ａが、飽和度の補正処理に係る変換用ガンマテーブルを取得する動作フローＳ４００Ａの１例を示す図である。該動作において、画像処理部１３は、先ず、入力画像１、２についての飽和度を取得する（ステップＳ１４２）。

図２１〜図２４は、変換用ガンマテーブルに基づいて取得される飽和度の１例を説明するための図である。上述したように、これらの変換用ガンマテーブルは、目標画像ＴＧと、目標画像ＴＧよりも飽和している対象画像ＯＧとに基づいて生成されている。図２１（２２、２３）における変換用ガンマテーブルＵＲ（ＵＧ、ＵＢ）は、図３５のステップＳ１４０などにおいて生成された入力画像１（対象画像ＯＧ）のＲ（Ｇ、Ｂ）成分についての変換用ガンマテーブルである。

同様に、図２４における変換用ガンマテーブルＶＲ（ＶＧ、ＶＢ）は、入力画像２（目標画像ＴＧ）のＲ（Ｇ、Ｂ）成分についての変換用ガンマテーブルである。各変換用ガンマテーブルＶＲ、ＶＧ、ＶＢは、相互に等しい変換特性を有し、傾きは１である。

変換用ガンマテーブルＵＲ（図２１）上の点ｅ０〜ｅ６には、変換前のＲの値（入力値）１、Ａ１〜Ａ５、および２５４がそれぞれ対応するとともに、変換後のＲの値（出力値）ＢＲ０〜ＢＲ６がそれぞれ対応している。また、変換用ガンマテーブルＵＧ（図２２）上の点ｆ０〜ｆ６には、変換前のＧの値（入力値）１、Ａ１〜Ａ５、および２５４がそれぞれ対応するとともに、変換後のＧの値（出力値）ＢＧ０〜ＢＧ６がそれぞれ対応している。また、変換用ガンマテーブルＵＢ（図２３）上の点ｇ０〜ｇ６には、変換前のＢの値（入力値）１、Ａ１〜Ａ５、および２５４がそれぞれ対応するとともに、変換後のＢの値（出力値）ＢＢ０〜ＢＢ６がそれぞれ対応している。

また、図２４の変換用ガンマテーブルＶＲ（ＶＧ、ＶＢ）上の点ｄ０〜ｄ６には、変換前のＲ（Ｇ、Ｂ）の値（入力値）１、Ａ１〜Ａ５、および２５４がそれぞれ対応するとともに、変換後のＲ（Ｇ、Ｂ）の値（出力値）１、Ａ１〜Ａ５、および２５４がそれぞれ対応している。

画像処理部１３は、図３９のステップ１４２において、各変換用ガンマテーブルＵＲ（ＵＧ、ＵＢ、ＶＲ、ＶＧ、ＶＢ）における入力値の値域の端部にそれぞれ対応した各変換用ガンマテーブルの出力値に基づいて飽和度を取得する。

なお、変換用ガンマテーブルの「値域の端部」は、一般には、値域の下限値（１００分率表示では０％）から所定の微小幅だけ大きな値に対応する箇所（または範囲）と、値域の上限値（同１００％）から所定の微小幅だけ小さな値に対応する箇所（または範囲）とを指す。例えば、図２１〜図２４に示される例では、画像処理部１３は、該微小幅としてＲ（Ｇ、Ｂ）値を表現する最小桁ビット（すなわち１）を採用することで、値域の端部として値１（下限側）と２５４（上限側）とを用いている。

具体的には、画像処理部１３は、図２１〜図２４の各変換用ガンマテーブルＵＲ、ＵＧ、ＵＢ、ＶＲ、ＶＧ、およびＶＢにおいて、入力値２５４に対応した出力値ＢＲ６、ＢＧ６、ＢＢ６、および２５４のうち最小の値、すなわち出力値ＢＲ６を、該上限側の飽和度として取得する。また、画像処理部１３は、入力値１に対応した出力値ＢＲ０、ＢＧ０、ＢＢ０、および１のうち最大の値、すなわち出力値ＢＧ０を、該下限側の飽和度として取得する。

飽和度が取得されると、画像処理部１３は、取得した飽和度に基づいて各変換用ガンマテーブルＵＲ（ＵＧ、ＵＢ、ＶＲ、ＶＧ、ＶＢ）をそれぞれ補正する補正テーブルＲＴ１（図２５）を取得する（ステップＳ１４４）。

図２５は、変換用ガンマテーブルを補正するための補正テーブルＲＴ１の１例を示す図である。補正テーブルＲＴ１において、点Ｑ４は、該下限側の飽和度として取得された出力値ＢＧ０（値ｂ）と、補正後の出力値１とに対応する点である。また、点Ｑ５は、該上限側の飽和度として取得された出力値ＢＲ６（値ａ）と、補正後の出力値２５４とに対応する点である。

画像処理部１３は、点Ｑ４と点Ｑ５とに基づいて、補正テーブルＲＴ１を設定する。具体的には、例えば、（７）式で表現される、点Ｑ４と点Ｑ５とを結ぶ直線に基づいて補正テーブルＲＴ１を設定する。なお、補正後の出力値の上限は２５５である。

図２６、図２７、および図２８は、対象画像ＯＧのＲ値、Ｇ値、およびＢ値のそれぞれの変換用ガンマテーブルＵＲ、ＵＧ、およびＵＢが、補正テーブルＲＴ１によってそれぞれ補正された補正後の変換用ガンマテーブルＵＲＦ、ＵＧＦ、およびＵＢＦの１例を示す図である。また、図２９は、目標画像ＴＧ自体についてのＲ値、Ｇ値、およびＢ値のそれぞれの変換用ガンマテーブルＶＲ、ＶＧ、およびＶＢが、補正テーブルＲＴ１によってそれぞれ補正された補正後の変換用ガンマテーブルＶＲＦ、ＶＧＦ、およびＶＢＦの１例を示す図である。

画像処理部１３は、補正テーブルＲＴ１が求められると、補正テーブルＲＴ１を用いて各変換用ガンマテーブルＵＲ（ＵＧ、ＵＢ、ＶＲ、ＶＧ、ＶＢ）をそれぞれ補正する（図３９のステップＳ１４６）。該補正により画像処理部１３は、補正後の変換用ガンマテーブルＵＲＦ（図２６）、ＵＧＦ（図２７）、ＵＢＦ（図２８）、ＶＲＦ、ＶＧＦ、およびＶＢＦ（それぞれ図２９）を取得し、補正後の変換用ガンマテーブルの取得処理を終了する。

補正前の各変換用ガンマテーブルが、共通の補正テーブルＲＴ１によってそれぞれ補正されることによって、補正前の各変換用ガンマテーブルにおける色段差の生成を抑制することができる。

変換用ガンマテーブルＵＲＦにおける点ｈ０〜点ｈ５は、点ｅ０〜ｅ６（図２１）にそれぞれ対応している。同様に、変換用ガンマテーブルＵＧＦにおける点ｊ０〜ｊ６は、点ｆ０〜ｆ６（図２２）にそれぞれ対応している。また、変換用ガンマテーブルＵＢＦにおける点ｋ０〜ｋ６は、点ｇ０〜ｇ６にそれぞれ対応している。また、変換用ガンマテーブルＶＲＦ（ＶＧＦ、ＶＢＦ）における点ｎ０〜ｎ５は、点ｄ０〜ｄ５（図２４）にそれぞれ対応している。

図２６〜図２９に示されるように、補正後の変換用ガンマテーブルＵＲＦ、ＵＧＦ、ＵＢＦ、ＶＲＦ、ＶＧＦ、およびＶＢＦは、それぞれ、補正前の変換用ガンマテーブルＵＲ、ＵＧ、ＵＢ、ＶＲ、ＶＧ、およびＶＢに比べて補正対象の画像をより飽和させる変換特性（入出力関係）を有している。

取得された各変換用ガンマテーブルをそれぞれ用いて入力画像１、２が変換されることによって入力画像１、２の間での色合わせが行われるとともに、変換後の出力画像３、４における飽和の上限側および下限側における色段差が抑制され得る。また、該色合わせにおいては、例えば、第１カメラ６１と第２カメラ６２との撮影時の露出制御の差異により、入力画像１、２のうち一方のみの画像に白とびなどが存在したとしても、入力画像１、２の間での色合わせが行われ得る。

ところで、該色段差については、飽和の上限側における色段差の方が、飽和の下限側における色段差よりも認識されやすい。従って、例えば、飽和の上限側の飽和度のみに基づいて、補正テーブルＲＴ１が生成されたとしても本発明の有用性を損なうものではない。また、画像処理装置２００Ａへの要求仕様に応じて、飽和の下限側の飽和度のみに基づいて、補正テーブルＲＴ１が生成されたとしても本発明の有用性を損なうものではない。

＜（２−３−２）ヒストグラムを用いた飽和度の補正処理＞
画像処理部１３は、動作モードに応じて、ヒストグラムを用いることにより同様の補正テーブルＲＴ２（図３１）を生成する。より具体的には、画像処理部１３は、入力画像１、２のうち飽和度が大きい方の画像の画素表現情報についてのヒストグラムにおいて、画素表現情報の値域の端部に対応した該ヒストグラムの度数に基づいて飽和度を取得し、飽和度の補正処理を行う。なお、画像処理部１３は図３９のステップ１４２において、該飽和度を取得する。

なお、ヒストグラムの「値域の端部」は、一般には、値域の下限値（１００分率表示では０％）から所定の微小幅だけ大きな値に対応する箇所（または範囲）と、値域の上限値（同１００％）から所定の微小幅だけ小さな値に対応する箇所（または範囲）とを指す。画像処理部１３は、例えば、後述する図３０においては、該微小幅として値０を採用することで、値域の端部として値０（下限側）と２５５（上限側）とを用いている。

図３０は、非累積ヒストグラムに基づいて取得される飽和度の１例を説明するための図であり、図３０には、Ｒ値についての非累積ヒストグラムＨＲが示されている。点Ｑ７に対応したＲ値は表現可能範囲の上限値である２５５であり、正規化された度数はＨｉｓｔＲ［２５５］である。点Ｑ６に対応したＲ値は表現可能範囲の下限値である０であり、正規化された度数はＨｉｓｔＲ［０］である。

画像処理部１３は、入力画像１、２のそれぞれについてのＲＧＢ各成分の非累積ヒストグラムに基づいて、補正テーブルＲＴ２の生成に使用する飽和度を取得する。画像処理部１３は、値域の端部（下限側）における各度数のうちの最大値ｄを、値域の端部（下限側）についての飽和度として取得する。また、画像処理部１３は、値域の端部（上限側）における各度数のうちの最大値ｃを、値域の端部（上限側）についての飽和度として取得する。なお、画像処理部１３は、値域の端部として値０および１（下限側）と、値２５４および２５５（上限側）とを用いることにより、それぞれの値に対応した累積ヒストグラムの累積度数に基づいて、該最大値ｃ、ｄを取得できる。従って、画像処理部１３は、累積ヒストグラムを用いて飽和度（上限側と下限側）を取得することもできる。

飽和度が取得されると、画像処理部１３は、図３６のステップＳ１４４において、取得した飽和度に基づいて各変換用ガンマテーブルＵＲ（ＵＧ、ＵＢ、ＶＲ、ＶＧ、ＶＢ）をそれぞれ補正する補正テーブルＲＴ２（図３１）を取得する。

図３１は、変換用ガンマテーブルを補正するための補正テーブルＲＴ２の１例を示す図である。補正テーブルＲＴ２において、点Ｑ８は、値域の端部（下限側）の飽和度として取得された出力値ｄに基づいて算出される出力値ｄ×２５５＋１と、補正後の出力値１とに対応する点である。また、点Ｑ９は、値域の端部（上限側）の飽和度として取得された出力値ｃに基づいて算出される出力値（１−ｃ）×２５５−１と、補正後の出力値２５４とに対応する点である。

画像処理部１３は、点Ｑ８と点Ｑ９とに基づいて、補正テーブルＲＴ２を設定する。具体的には、例えば、（８）式で表現される、点Ｑ８と点Ｑ９とを結ぶ直線に基づいて補正テーブルＲＴ２を取得する。なお、補正後の出力値の上限は２５５である。

画像処理部１３は、補正テーブルＲＴ２が取得されると、補正テーブルＲＴ１（図２５）と同様に、補正テーブルＲＴ２を用いて入力画像１、２についてＲＧＢ各色成分についての変換用ガンマテーブルをそれぞれ補正する。そして、画像処理部１３は、補正後の各変換用ガンマテーブルを用いて入力画像１、２のＲＧＢ各色成分を変換することにより、色合わせ処理と、飽和度の補正処理とが行われた出力画像３、４を生成する。

上述したように、ヒストグラムに基づいて取得された飽和度が用いられることによっても、補正テーブルＲＴ２が生成され、各変換用ガンマテーブルが補正され得る。

＜（２−４）時系列画像における色合わせ処理について＞
画像処理装置２００Ａの制御に基づいてステレオカメラ３００が時系列画像を取得した場合には、画像処理装置２００Ａは、色合わせ処理の対象となる入力画像１、２とは異なる時刻に撮影された他の入力画像に基づいて、該色合わせ処理を行うことができる。

図３２は、時系列画像の概念を説明するための図であり、画像ｆＡ〜ｆＦは、所定のフレームレートで連続的に撮影された時系列画像である。なお、画像ｆＢは、現在の時刻における画像である。

図３３は、時系列画像に基づいて取得される変換用ガンマテーブルの１例として、Ｒ値についての変換用ガンマテーブルＵＲＦを示す図である。点ｓ５、ｔ５、およびｕ５は、Ｒの入力値Ａ５と、画像ｆＢ、ｆＣ、ｆＤについての各変換用ガンマテーブルにおいて入力値Ａ５にそれぞれ対応した変換後のＲの出力値Ｂ５、Ｃ５、Ｄ５とによってそれぞれ特定される点である。また、点ｑ５は、入力値Ａ５と、（９）式により算出される出力値Ｂ５〜Ｄ５の平均値ＡＶＥ５とを対応付けた点である。画像処理部１３は、（９）式によって取得される時系列画像のそれぞれにおける変換用ガンマテーブルの各出力値の平均値を現在の入力画像について新たな変換用ガンマテーブルＵＲＦにおける変換後の各出力値として取得することにより、変換用ガンマテーブルＵＲＦを生成する。

これによって、時系列に連続したステレオ画像の間での色の変化をなだらかにすることができ、違和感のない時系列ステレオ画像とすることができる。なお、上述した処理を、ステレオカメラでの時系列画像ではなく、１台のカメラで撮影された時系列画像を用いたステレオ処理での時系列の色合わせ処理に応用することで、同様の効果を得ることもできる。

上述したように、画像処理装置２００Ａによれば、被写体が撮影された入力画像１および２に対して、入力画像１についてのヒストグラムの度数分布を入力画像２についてのヒストグラムの度数分布に対して相対的に近づけることによって入力画像１と入力画像２との色合わせ処理が行われる。該色合わせ処理は、専用の校正用チャートを要しないため被写体の撮影毎に行われ得る。このため、被写体の照明条件に関わらず、被写体がそれぞれ撮影された各画像の間での色合わせ処理が容易に行われ得る。

＜変形例について＞
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。

例えば、上述した画像処理システム１００Ａは、画像処理システム１００Ａにおける画像処理装置２００Ａが汎用のコンピュータでプログラムを実行することなどによって実現されている構成であるが、該構成に代えて、画像処理システム１００Ａが、例えば、デジタルカメラ、デジタルビデオカメラ、携帯情報端末などの装置にステレオカメラ３００と画像処理装置２００Ａとを備えたシステムとして実現されても良い。

また、飽和度補正処理においては、色合わせ処理と、飽和度補正処理とを一括して行う色合わせ処理ための変換用ガンマテーブルが生成されて入力画像１、２に適用されているが、飽和度の補正処理を含まない色合わせ処理と、飽和度の補正処理とが順次に行われたとしても本発明の有用性を損なうものではない。該順次の処理は、例えば、先ず、入力画像１、２に対して飽和度の補正処理を含まない色合わせ処理を適用した各中間画像を生成し、次に、該各中間画像の色成分に、補正テーブルＲＴ１（図２５）、補正テーブルＲＴ２（図３１）などの補正テーブルを適用して飽和度が補正された出力画像３、４を生成する処理などによって実現される。

１００Ａ 画像処理システム
２００Ａ 画像処理装置
３００ ステレオカメラ
１，２ 入力画像
ＣＨ１，ＣＨ２，ＣＨＴ 累積ヒストグラム
Ｈ１，Ｈ２，ＨＴ 非累積ヒストグラム
ＵＲ，ＵＧ，ＵＢ，ＶＲ，ＶＧ，ＶＢ 変換用ガンマテーブル
ＵＲＦ，ＵＧＦ，ＵＢＦ，ＶＲＦ，ＶＧＦ，ＶＢＦ 変換用ガンマテーブル
ＲＴ１，ＲＴ２ 補正テーブル
ＯＧ 対象画像
ＴＧ 目標画像

Claims (11)

1. 被写体が撮影された第１画像と第２画像とを取得する取得部と、
   前記第１画像の画素表現情報についての第１ヒストグラムの度数分布を前記第２画像の画素表現情報についての第２ヒストグラムの度数分布に対して相対的に近づける変換によって前記第１画像と前記第２画像との色合わせ処理を行う処理部と、
   を備え、
   前記処理部が、
   前記第１画像と前記第２画像とのうち前記画素表現情報の値が飽和している画素の割合を表現した飽和度がより低い一方の画像の前記飽和度を他方の画像の前記飽和度に近づける飽和度補正処理を更に行う画像処理装置。
2. 請求項１に記載された画像処理装置であって、
   前記変換の前の前記他方の画像の前記画素表現情報の各値を前記変換の後の該画素表現情報の各値にそれぞれ対応させる入出力関係によって変換用ガンマテーブルを定義したとき、
   前記処理部が、
   前記変換用ガンマテーブルにおける入力値の値域の端部に対応した該変換用ガンマテーブルの出力値に基づいて、前記飽和度補正処理を行う画像処理装置。
3. 請求項１に記載された画像処理装置であって、
   前記処理部が、
   前記他方の画像の前記画素表現情報についてのヒストグラムにおける該画素表現情報の値域の端部に対応した該ヒストグラムの度数に基づいて、前記飽和度補正処理を行う画像処理装置。
4. 被写体が撮影された第１画像と第２画像とを取得する取得部と、
   前記第１画像の画素表現情報についての第１ヒストグラムの度数分布を前記第２画像の画素表現情報についての第２ヒストグラムの度数分布に対して相対的に近づける変換によって前記第１画像と前記第２画像との色合わせ処理を行う処理部と、
   を備え、
   前記処理部が、
   前記第１画像の第１部分と前記第２画像の第２部分とに基づいて前記色合わせ処理を行い、
   前記第１部分が前記第１画像のうち前記第２画像に対する第１オクルージョン領域以外の部分であるとともに、前記第２部分が前記第２画像のうち前記第１画像に対する第２オクルージョン領域以外の部分である画像処理装置。
5. 請求項４に記載された画像処理装置であって、
   前記処理部が、
   前記第１画像と前記第２画像との間での対応点探索処理を行うことによって前記第１オクルージョン領域と前記第２オクルージョン領域とをそれぞれ特定する画像処理装置。
6. 被写体が撮影された第１画像と第２画像とを取得する取得部と、
   前記第１画像の画素表現情報についての第１ヒストグラムの度数分布を前記第２画像の画素表現情報についての第２ヒストグラムの度数分布に対して相対的に近づける変換によって前記第１画像と前記第２画像との色合わせ処理を行う処理部と、
   を備え、
   前記処理部が、
   前記第１画像と前記第２画像とのうち撮影に係る撮像系の解像度が高い方の画像を目標画像とするとともに、前記第１ヒストグラムの度数分布および前記第２ヒストグラムの度数分布を前記目標画像の前記画素表現情報についてのヒストグラムの度数分布に近づける変換によって前記色合わせ処理を行う画像処理装置。
7. 被写体が撮影された第１画像と第２画像とを取得する取得部と、
   前記第１画像の画素表現情報についての第１ヒストグラムの度数分布を前記第２画像の画素表現情報についての第２ヒストグラムの度数分布に対して相対的に近づける変換によって前記第１画像と前記第２画像との色合わせ処理を行う処理部と、
   を備え、
   前記処理部が、
   前記第１画像と前記第２画像とのうち色かぶりの少ない方の画像を目標画像とするとともに、前記第１ヒストグラムの度数分布および前記第２ヒストグラムの度数分布を前記目標画像の前記画素表現情報についてのヒストグラムの度数分布に近づける変換によって前記色合わせ処理を行う画像処理装置。
8. 請求項１から請求項７の何れか１つの請求項に記載された画像処理装置であって、
   前記処理部が、
   前記第１画像と前記第２画像とについてのＲＧＢ成分、明度、および彩度のうち何れか１つの情報を前記画素表現情報として前記色合わせ処理を行うとともに、
   該色合わせ処理が行われた前記第１画像と前記第２画像とについてのＲＧＢ成分、明度、および彩度のうち前記何れか１つの情報以外の情報を前記画素表現情報として前記色合わせ処理をさらに行う画像処理装置。
9. 請求項１から請求項８の何れか１つの請求項に記載された画像処理装置であって、
   前記処理部が、
   前記第１画像の画像領域が複数のブロックに分割された各ブロックのうち注目ブロックと、前記第２画像の画像領域が前記複数のブロックに分割された各ブロックのうち配置関係が該注目ブロックに対応した対応ブロックとについて、
   前記注目ブロックの前記画素表現情報についてのヒストグラムの度数分布を前記対応ブロックの前記画素表現情報についてのヒストグラムの度数分布に対して相対的に近づけるブロックごとの変換によって、前記第１画像のうち前記注目ブロックと、前記第２画像のうち前記対応ブロックとの色合わせ処理を行う画像処理装置。
10. 請求項９に記載された画像処理装置であって、
    前記処理部が、
    前記第１画像と前記第２画像とのそれぞれについて、
    (ａ)前記複数のブロックのそれぞれにおける前記ブロックごとの変換の変換特性に、該複数のブロックの相互間の距離に応じた重み付けを行って該複数のブロック間で相互に適用することによって、該複数のブロックのそれぞれにおける前記ブロックごとの変換の新たな変換特性を取得し、
    (ｂ)前記複数のブロックのそれぞれについて前記ブロックごとの変換の新たな変換特性に基づいて前記画素表現情報の値を変換する画像処理装置。
11. 被写体が撮影された第１画像と第２画像とを取得する取得部と、
    前記第１画像の画素表現情報についての第１ヒストグラムの度数分布を前記第２画像の画素表現情報についての第２ヒストグラムの度数分布に対して相対的に近づける変換によって前記第１画像と前記第２画像との色合わせ処理を行う処理部と、
    を備え、
    前記取得部は、前記第１画像と前記第２画像とは異なる時刻に第３画像と第４画像とを取得し、
    前記処理部は、前記第３画像と前記第４画像との前記色合わせ処理を行って変換特性を取得するとともに、前記第３画像と前記第４画像との前記色合わせ処理によって得られた変換特性に基づいて、前記第１画像と前記第２画像との前記色合わせ処理の変換特性を補正する画像処理装置。

Images