WO2013105381A1 - 画像処理方法、画像処理装置および画像処理プログラム - Google Patents

Abstract

　画像処理方法は、少なくとも第１画像および第２画像に含まれる画素の濃度値についての累積ヒストグラムをそれぞれ生成する生成ステップと、累積ヒストグラムのヒストグラム度数および濃度値を含んで定義される空間において、第１画像から生成された第１ヒストグラム上の濃度値と第２画像から生成された第２ヒストグラム上の濃度値との間の距離を算出する算出ステップと、算出した濃度値間の距離に基づいて、第１画像に含まれる濃度値と第２画像に含まれる濃度値との対応関係を決定するとともに、決定した対応関係から第１画像と第２画像との間で濃度値を補正するための変換関数を決定する決定ステップとを含む。

Description

画像処理方法、画像処理装置および画像処理プログラム

　本発明は、少なくとも２つの画像の間で濃度値を補正するための変換関数を生成する画像処理方法、画像処理装置および画像処理プログラムに関する。

　従来から、同一の被写体を複数の視点からそれぞれ撮像して得られる画像を用いて、立体視表示を行なうような技術が開発されている。このような場合、画像撮像時の条件の相違などによって、被写体の同一の部分に対応する濃度値が画像間で異なるような場合がある。そのため、一方の画像に含まれる画素の濃度値を、他方の画像に含まれる画素の濃度値を基準にして補正するような処理が行われる。このような補正処理には、濃度値変換テーブルなどの各種の変換関数が用いられる。

　このような補正処理に関する先行技術としては、以下のようなものが知られている。
　例えば、特開２０１０－１６８０３号公報（特許文献１）に開示される色調整装置は、２台のカメラＡおよびＢのうち一方のカメラＡによるＲＧＢ色空間で表される撮影画像を基準画像Ｓａとし、他方のカメラＢによるＲＧＢ色空間で表される撮影画像を調整対象画像Ｓｂとする。調整対象画像Ｓｂは、色調整装置内の色調整部によって、色空間変換を施され、この色空間変換後のそれぞれの成分ごとに、基準画像Ｓａの同成分Ｈａ（ｋ）を基準として、累積ヒストグラムマッチング処理を施される。そして、この累積ヒストグラムマッチング処理後に、元のＲＧＢ空間に戻され、これによって、基準画像Ｓａと同じ色合いの調整後画像Ｓｂ’が生成される。

　また、稲村真太郎，田口亮、「異なったカメラ間の色調整法について」（非特許文献１）に開示される手法では、２台のカメラを並べて同一の被写体を撮像し、得られた２枚の画像の累積ヒストグラムが一致するように一台のカメラ画像のヒストグラムをもう一台のカメラのヒストグラムに合わせるように変換を施す。そして、色空間変換を施した後に成分ごとにヒストグラム変換を施し、その後、逆変換でＲＧＢ色空間に戻す。

特開２０１０－１６８０３号公報

稲村真太郎，田口亮、「異なったカメラ間の色調整法について」、社団法人　電子情報通信学会、信学技報、１０７巻、３７４号（ＳＩＳ２００７５８-６７）、ｐｐ．１３－１８、２００７年１２月４日

　しかしながら、同一の被写体を異なる視点から撮像して得られる画像間では、被写体を撮像する角度が異なるため、被写体の画像が全く同一にはならない。例えば、立体視画像を生成できるステレオカメラでは、右眼用画像および左眼用画像のそれぞれに写っている被写体の画像が異なるため、それぞれの画像から生成されるヒストグラムの形状は同一とはならない。そのため、上述したような先行技術に開示されるヒストグラムのみを用いる方法では、画像間の色対応関係を適切に決定できない場合がある。この結果、濃度値変換テーブルなどの変換関数において、対応関係が急激に変化する部分が生じることがあり、この場合には、補正後の画像に含まれる濃度値（階調）に飛びが生じて、偽のテクスチャなどが発生し得る。

　本発明は、かかる問題を解決するためになされたものであり、その目的は、複数の画像間で被写体の画像が異なっている場合であっても、濃度値を補正するための変換関数をより適切に生成できる画像処理方法、画像処理装置および画像処理プログラムを提供することである。

　本発明の一つの局面に従う画像処理方法は、少なくとも第１画像および第２画像に含まれる画素の濃度値についての累積ヒストグラムをそれぞれ生成する生成ステップと、累積ヒストグラムのヒストグラム度数および濃度値を含んで定義される空間において、第１画像から生成された第１ヒストグラム上の濃度値と第２画像から生成された第２ヒストグラム上の濃度値との間の距離を算出する算出ステップと、算出した濃度値間の距離に基づいて、第１画像に含まれる濃度値と第２画像に含まれる濃度値との対応関係を決定するとともに、決定した対応関係から第１画像と第２画像との間で濃度値を補正するための変換関数を決定する決定ステップとを含む。

　本発明によれば、複数の画像間で被写体の画像が異なっている場合であっても、濃度値を補正するための変換関数をより適切に生成できる。

本発明の実施の形態に従う変換関数生成処理の概要を説明するための図である。 本発明の実施の形態に従う変換関数生成処理をパーソナルコンピューターにより実現した場合の構成を示すブロック図である。 本発明の実施の形態に従う変換関数生成処理をデジタルカメラ類似の構成により実現した場合の構成を示すブロック図である。 濃度値補正をするための変換関数を生成する処理の対象となる画像例を示す図である。 図４に示すそれぞれの画像から生成される累積ヒストグラムの一例を示す図である。 濃度値の対応付けが適切に行なわれない場合を説明するための図である。 図６に示すような事態が生じた場合に生成される濃度値変換テーブルの一例を示す図である。 図７に示す濃度値変換テーブルを用いて濃度値補正が行なわれた結果の一例を示す図である。 本発明の実施の形態に従う変換関数生成処理の全体手順を示すフローチャートである。 本発明の実施の形態に従う変換関数生成処理の機能構成を示すブロック図である。 本発明の実施の形態１において生成される単純ヒストグラムの一例を示す図である。 図１１に示す単純ヒストグラムから生成される累積ヒストグラムの一例を示す図である。 本発明の実施の形態に従う対応関係を探索する処理を説明する図である。 本発明の実施の形態に従う対応関係を探索する処理を説明する図である。 本発明の実施の形態に従う変換関数生成処理によって生成される濃度値変換テーブル２２の一例を示す図である。 本発明の実施の形態２に従う重み設定を説明するための図である。 本発明の実施の形態２に従う累積ヒストグラム度数に基づいて重みを設定する処理を説明するための図である。 本発明の実施の形態２に従う濃度値に基づいて重みを設定する処理を説明するための図である。 本発明の実施の形態２に従うヒストグラム度数および濃度値に基づいて重みを設定する処理を説明するための図である。 本発明の実施の形態３に従う変換関数生成処理が対処するヒストグラムの交差を説明するための図である。 本発明の実施の形態４に従う対応関係の探索処理を説明するための図である。 本発明の実施の形態４に従う対応関係の探索処理を説明するための図である。 本発明の実施の形態５において補正される濃度値変換テーブルの失敗例を示す図である。 図２３に示す濃度値変換テーブルの補正例を示す図である。 本発明の実施の形態６における濃度値変換テーブルの補正処理を説明するための図である。 本発明の実施の形態７に従う変換関数生成処理の全体手順を示すフローチャートである。 本発明の実施の形態７においてパターンマッチングを用いて共通領域を探索する処理を説明するための図である。 本発明の実施の形態７においてパターンマッチングを用いて共通領域を探索する処理手順を示すフローチャートである。 本発明の実施の形態７においてパターンマッチングを用いて設定される共通領域の一例を示す図である。 本発明の実施の形態７に従うオクルージョン領域を除外する処理を説明するための図である。

　本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。

　＜Ａ．概要＞
　本発明の実施の形態は、少なくとも第１画像と第２画像との間で濃度値を補正するための変換関数を決定する画像処理方法に向けられている。これらの画像は、同一の被写体を撮像した画像を意味し、３つ以上の画像であってもよい。このような複数の画像は、典型的には、複数の撮像装置（カメラ）を用いて同一の被写体を異なる視点から撮像することで得られる。より具体的には、所定距離だけ離して配置された複数のカメラ（典型的には、ステレオカメラ）によって同一の被写体を撮像することでそれぞれの画像が得られる。

　本実施の形態における「画像」は、各画素が単一のチャネルの濃度値で規定される画像（すなわち、モノクロ画像）、および、各画素が複数のチャネルの濃度値で規定される画像（すなわち、カラー画像）のいずれをも含み得る。このようなチャネルとしては、モノクロ画像の場合には、濃淡値あるいは階調値に相当する濃度値が用いられる。また、カラー画像の場合には、ＲＧＢ色空間やＣＭＹ色空間などの各階調値が、それぞれのチャネルの濃度値として用いられる。さらに、ＹＵＶ色空間、ＸＹＺ色空間、ｘｙＹ色空間、Ｌ＊ｕ＊ｖ＊色空間、Ｌ＊ａ＊ｂ＊色空間といった各種の色空間を用いて表現された画像にも適用可能である。

　また、本実施の形態に従う画像処理方法は、典型的には、ステレオ撮像された画像間の濃度値補正をするための変換関数を生成する処理に向けられるが、これに限られることなく、パノラマ画像の間での濃度値補正（色合せ）などにも適用できる。

　図１は、本発明の実施の形態に従う変換関数生成処理の概要を説明するための図である。図１を参照して、例えば、被写体ＯＢＪをステレオカメラ（カメラ２および４）などで撮像することで、一対の画像（画像１および画像２）が取得される。画像１および画像２に対して、次のような処理が実行されることで、画像間で濃度値を補正するための変換関数が決定される。

　まず、画像１および画像２に含まれる画素の濃度値についての累積ヒストグラムがそれぞれ生成される。そして、累積ヒストグラムのヒストグラム度数および濃度値を含んで定義される空間において、画像１から生成された累積ヒストグラム１上の濃度値と画像２から生成された累積ヒストグラム２上の濃度値との間の距離が順次算出される。さらに、算出した濃度値間の距離に基づいて、画像１に含まれる濃度値と画像２に含まれる濃度値との対応関係を決定するとともに、決定した対応関係から画像１と画像２との間で濃度値を補正するための変換関数が決定される。なお、本実施の形態においては、変換関数の典型例として、濃度値変換テーブルを用いるものとするが、テーブル形式である必要はなく、関数形式やマッピング形式であってもよい。

　本実施の形態においては、画像１の累積ヒストグラム１と画像２の累積ヒストグラム２との対応関係を決定する際に、ヒストグラムの度数が同一のもの同士を対応付けることで濃度値変換テーブルを生成するのではなく、累積ヒストグラムのヒストグラム度数および濃度値を含んで定義される空間における距離に基づいて、対応する濃度値の関係を探索し（典型的には、ＤＰ（Ｄｙｎａｍｉｃ　Ｐｒｏｇｒａｍｍｉｎｇ：動的計画法）マッチング方法などを用いて）、この探索結果によって得られる濃度値の対応関係から濃度値変換テーブルを決定する。

　これにより、画像間で被写体の画像が異なる場合であっても、階調の急激な変化のない濃度値変換テーブルを生成できる。

　以下、本実施の形態に従う変換関数生成処理のより詳細な内容について説明する。
　＜Ｂ．システム構成＞
　まず、本発明の実施の形態に従う変換関数生成処理を実現する画像処理装置の実装例について説明する。

　［ｂ１：パーソナルコンピューターによる実現例］
　図２は、本発明の実施の形態に従う変換関数生成処理をパーソナルコンピューターにより実現した場合の構成を示すブロック図である。

　図２を参照して、パーソナルコンピューターにより実現される画像処理装置１００は、主として、汎用的なアーキテクチャーを有するコンピューター上に実装される。図２を参照して、画像処理装置１００は、主たるコンポーネントとして、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１０４と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１０６と、ネットワークインターフェイス（Ｉ／Ｆ）１０８と、補助記憶装置１１０と、表示部１２０と、入力部１２２と、メモリーカードインターフェイス（Ｉ／Ｆ）１２４とを含む。各コンポーネントは、バス１３０を介して、互いに通信可能に接続されている。

　ＣＰＵ１０２は、ＲＯＭ１０６や補助記憶装置１１０などに格納された、オペレーティングシステム（ＯＳ：Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）や変換関数生成処理プログラムなどの各種プログラムを実行することで、画像処理装置１００の全体を制御する。ＲＡＭ１０４は、ＣＰＵ１０２でプログラムを実行するためのワーキングメモリとして機能し、プログラムの実行に必要な各種データを一次的に格納する。ＲＯＭ１０６は、画像処理装置１００において起動時に実行される初期プログラム（ブートプログラム）などを格納する。

　ネットワークインターフェイス１０８は、各種の通信媒体を介して、他の装置（サーバー装置など）とデータを遣り取りする。より具体的には、ネットワークインターフェイス１０８は、イーサネット（登録商標）などの有線回線（ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）やＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）など）、および／または、無線ＬＡＮなどの無線回線を介してデータ通信を行なう。

　補助記憶装置１１０は、典型的には、ハードディスクなどの大容量磁気記憶媒体などからなり、本実施の形態に従う各種処理を実現するための画像処理プログラム１１２および処理対象の処理対象画像１１４などを格納する。さらに、補助記憶装置１１０には、オペレーティングシステムなどのプログラムが格納されてもよい。

　処理対象画像１１４は、処理対象の少なくとも２つの画像を含む。但し、画像処理装置１００本体が被写体を撮像する機能を有していなくともよい。この場合、後述するようなデジタルカメラに類似した機構を用いて、少なくとも２つの画像を取得し、それらの画像を任意の方法で画像処理装置１００へ入力するようにしてもよい。より具体的には、上述のネットワークインターフェイス１０８やメモリーカードインターフェイス１２４を介して、画像が画像処理装置１００へ入力される。

　表示部１２０は、オペレーティングシステムが提供するＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）画面や画像処理プログラム１１２の実行によって生成される画像などを表示する。なお、画像処理装置１００が立体視画像を取り扱う場合には、表示部１２０としては、３次元表示方式に対応した任意の表示デバイスによって構成されことが好ましい。このような３次元表示方式としては、パララックスバリア方式などを採用することができる。このパララックスバリア方式では、液晶表示面にパララックスバリアを設けることで、ユーザーの右眼で右眼用画像を視認させ、ユーザーの左眼で左眼用画像を視認させることができる。あるいは、シャッタメガネ方式を採用してもよい。このシャッタメガネ方式では、左眼用画像および右眼用画像を交互に高速で切り替えて表示するとともに、この画像の切り替えに同期して開閉するシャッターが搭載された専用メガネをユーザーが装着することで、立体視表示を楽しむことができる。

　入力部１２２は、典型的には、キーボード、マウス、タッチパネルなどからなり、ユーザーから受付けた指示の内容をＣＰＵ１０２などへ出力する。

　メモリーカードインターフェイス１２４は、ＳＤ（Ｓｅｃｕｒｅ　Ｄｉｇｉｔａｌ）カードやＣＦ（Ｃｏｍｐａｃｔ　Ｆｌａｓｈ（登録商標））カードなどの各種メモリーカード（不揮発性記憶媒体）１２６との間で、データの読み書きを行なう。典型的には、メモリーカードインターフェイス１２４には、何らかの装置で取得した処理対象画像を格納したメモリーカード１２６が装着され、そのメモリーカード１２６から読み出された処理対象画像が補助記憶装置１１０へ格納（コピー）される。

　補助記憶装置１１０に格納される画像処理プログラム１１２は、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ－Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの記憶媒体に格納されて流通し、あるいは、ネットワークを介してサーバー装置などから配信される。画像処理プログラム１１２は、画像処理装置１００（パーソナルコンピューター）で実行されるオペレーティングシステムの一部として提供されるプログラムモジュールのうち必要なモジュールを、所定のタイミングおよび順序で呼出して処理を実現するようにしてもよい。この場合、画像処理プログラム１１２自体には、オペレーティングシステムによって提供されるモジュールは含まれず、オペレーティングシステムと協働して画像処理が実現される。また、画像処理プログラム１１２は、単体のプログラムではなく、何らかのプログラムの一部に組み込まれて提供されてもよい。このような場合にも、画像処理プログラム１１２自体には、当該何らかのプログラムにおいて共通に利用されるようなモジュールは含まれず、当該何らかのプログラムと協働して画像処理が実現される。このような一部のモジュールを含まない画像処理プログラム１１２であっても、本実施の形態に従う画像処理装置１００の趣旨を逸脱するものではない。

　さらに、画像処理プログラム１１２によって提供される機能の一部または全部を専用のハードウェアによって実現してもよい。

　［ｂ２：デジタルカメラ類似の構成による実現例］
　図３は、本発明の実施の形態に従う変換関数生成処理をデジタルカメラ類似の構成により実現した場合の構成を示すブロック図である。

　図３を参照して、画像処理装置２００は、実際に被写体を撮像することで、少なくとも２つの処理対象画像を取得し、この取得した処理対象画像に対して、変換関数生成処理を実行する。画像処理装置２００は、主たるコンポーネントとして、画像処理エンジン２０２と、入力部２０４と、表示部２０６と、一対のレンズ２１２，２２２と、一対のＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサー２１４，２２４とを含む。

　画像処理エンジン２０２は、本実施の形態に従う変換関数生成処理を含む各種のデジタル処理を実行する。画像処理エンジン２０２は、典型的には、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）などからなる。

　入力部２０４は、典型的には、各種キーボタン、タッチパネルなどからなり、ユーザーから受付けた指示の内容を画像処理エンジン２０２へ出力する。

　表示部２０６は、被写体の撮像などに関するユーザーインターフェイス画面を表示する。なお、画像処理装置２００が立体視画像を取り扱う場合には、表示部２０６としては、上述の表示部１２０（図２）と同様に、３次元表示方式に対応した任意の表示デバイスによって構成されることが好ましい。

　一対のレンズ２１２，２２２は、画像処理装置２００の本体の異なる位置に設けられており、被写体を異なる視点でそれぞれ撮像することできる。すなわち、一対のレンズ２１２，２２２には、被写体からの互いに異なる反射光がそれぞれ入射する。一対のＣＣＤ２１４，２２４は、一対のレンズ２１２，２２２にそれぞれ対応付けられており、レンズ２１２，２２２によって集光された被写体からの光（像）を受光するとともに、その像を示す電気信号を画像処理エンジン２０２へ出力する。

　［ｂ３：その他の構成による実現例］
　上述したパーソナルコンピューターにより実現する例、および、デジタルカメラ類似の構成による実現する例に加えて、携帯電話上に実装してもよい。さらに、少なくとも１つのサーバー装置が本実施の形態に従う処理を実現する、いわゆるクラウドサービスのような形態であってもよい。この場合、ユーザーは、自身の端末（パーソナルコンピューターやスマートフォンなど）を用いて、少なくとも２つの処理対象画像をサーバー装置（クラウド側）へ送信し、当該送信された処理対象画像に対して、サーバー装置側が本実施の形態に従う画像処理を行なうような構成が想定される。さらに、サーバー装置側がすべての機能（処理）を行なう必要はなく、ユーザー側の端末とサーバー装置とが協働して、本実施の形態に従う画像処理を実現するようにしてもよい。

　＜Ｃ．関連技術＞
　まず、本実施の形態に従う変換関数生成処理を説明する前に、関連技術について説明する。

　図４は、濃度値補正をするための変換関数を生成する処理の対象となる画像例を示す図である。図５は、図４に示すそれぞれの画像から生成される累積ヒストグラムの一例を示す図である。図６は、濃度値の対応付けが適切に行なわれない場合を説明するための図である。図７は、図６に示すような事態が生じた場合に生成される濃度値変換テーブルの一例を示す図である。図８は、図７に示す濃度値変換テーブルを用いて濃度値補正が行なわれた結果の一例を示す図である。

　上述の非特許文献１に開示される技術では、画像間の濃度値補正（色補正）において、それぞれの画像から生成される累積ヒストグラムの間で、ヒストグラムの度数のみに基づいて濃度値間の対応関係が決定される。

　例えば、図４に示すような２つの画像に対して濃度値補正をするような場合を考える。図４に示す２つの画像（画像１および画像２）の間では、全体的な濃度（明るさ）が異なっている。このような濃度値の差を補正する場合を考える。図４に示す画像１および画像２に含まれる画素の濃度値（この例では、１つのチャネルの階調値）に着目すると、図５に示すようなヒストグラムがそれぞれ生成される。なお、図５には、累積ヒストグラムを示すが、単純ヒストグラムであってもよい。

　このようなヒストグラムの間において、ヒストグラム度数のみに基づいて、濃度値が対応付けられる。より具体的には、画像１のある濃度値についてみれば、当該濃度値の累積ヒストグラム度数と最も近いヒストグラム度数をもつ画像２の濃度値が対応する濃度値であると判断する。すなわち、図６に示すように、同一のヒストグラム度数を有する座標同士が対応付けられる。

　このような関連技術は、画像１および画像２において写っている被写体の画像がほぼ同一、すなわち、両者のヒストグラムの形状がほぼ同一であることを前提としている。すなわち、カメラの相違によって、濃度が全体的にシフトしているような状況が前提とされている。しかしながら、現実には、例えば、ステレオカメラではカメラ間に視差が存在するため、生成される２つの画像で被写体の画像が同一ではなく、その結果、ヒストグラムの形状も異なったものとなる。このような場合には、正しい対応関係を求めることができない場合がある。

　例えば、図４に示すような画像では、中程度の濃度値の割合が相対的に少ない。そのため、図５に示す累積ヒストグラムにおいては、濃度値が増加してもヒストグラム度数の増加が少ない平坦部分が存在している。上述の関連技術では、このような平坦部分を有するヒストグラムを示す画像については、濃度値の対応関係（変換先の色）を適切に決定できない。すなわち、図６に示すように、画像１と画像２との間で同一の累積ヒストグラムの度数を有する濃度値が大きく異なるので、一方の画像の濃度値が他方の画像の濃度値へ変換されると、その濃度値は大きく変化することになる。このように、図６に示すような累積ヒストグラムを有する画像については、変換先の色を適切に決定できない。

　その結果、図７に示すように、生成される変換関数（濃度値変換テーブル）には、対応関係が急激に変化する部分が生じる（飛びが生じる）。すなわち、濃度値の対応付けに失敗した箇所である。

　図７に示すような濃度値変換テーブルを用いて色補正を行なった場合には、画像に含まれる画素に階調の飛びが生じ、図８に示すような偽のテクスチャなどが発生し得る。

　このような課題を考慮して、本実施の形態に従う変換関数生成処理においては、ヒストグラム度数だけではなく、画素の濃度値をも利用して濃度値間の距離（近接度）を定義する。そして、それぞれの画像における濃度値間の近接度に基づいて、対応する濃度値をＤＰマッチングなどの手法で探索することにより、濃度値の対応関係を決定する。

　＜Ｄ．全体処理＞
　まず、本実施の形態に従う画像処理方法の全体手順について説明する。

　図９は、本発明の実施の形態に従う変換関数生成処理の全体手順を示すフローチャートである。図９に示す各ステップは、典型的には、ＣＰＵ１０２（図２）が画像処理プログラム１１２を実行するなどして実現される。

　図９を参照して、まず、ＣＰＵ１０２は、少なくとも２つの画像を取得する。図９に示す例では、２つの画像の間で色補正を行なう場合の処理例を説明する。すなわち、ＣＰＵ１０２は、画像１および画像２を取得する（ステップＳ２）。典型的には、被写体を一対のステレオカメラなどで撮像することで取得された一対のステレオ画像が入力される。

　続いて、ＣＰＵ１０２は、それぞれの画像に含まれる画素の濃度値についての累積ヒストグラムをそれぞれ生成する。すなわち、ＣＰＵ１０２は、入力された画像１に含まれる画素の濃度値についての単純なヒストグラムを生成する（ステップＳ４）とともに、入力された画像２に含まれる画素の濃度値についての単純なヒストグラムを生成する（ステップＳ６）。なお、ステップＳ４およびＳ６の処理については、パラレル処理で行なってもよいし、シリアル処理で行なってもよい。シリアル処理で行なう場合、その実行順序は問わない。続いて、ＣＰＵ１０２は、ステップＳ４において生成した、濃度値についての単純なヒストグラムから累積ヒストグラムを生成する（ステップＳ８）とともに、ステップＳ６において生成した、濃度値についての単純なヒストグラムから累積ヒストグラムを生成する（ステップＳ１０）。

　続いて、ＣＰＵ１０２は、累積ヒストグラムのヒストグラム度数および濃度値を含んで定義される空間において、画像１から生成されたヒストグラム上の濃度値と画像２から生成されたヒストグラム上の濃度値との間の距離を算出する（ステップＳ１２）。後述するように、典型的には、濃度値と累積ヒストグラム度数とで定義される座標系において、それぞれのヒストグラム上にある濃度値の可能な限りの組み合わせについて、濃度値間の距離が算出される。

　続いて、ＣＰＵ１０２は、ステップＳ１２において算出された濃度値間の距離に基づいて、画像１に含まれる濃度値と画像２に含まれる濃度値との対応関係を決定する（ステップＳ１４）。そして、ＣＰＵ１０２は、決定した対応関係から画像１と画像２との間で濃度値を補正するための変換関数（濃度値変換テーブル２２）を決定する（ステップＳ１６）。

　以上の処理によって、画像１と画像２との間の色補正に必要な変換関数（濃度値変換テーブル２２）が決定される。必要に応じて、ＣＰＵ１０２は、画像１および／または画像２の色補正についても実行する。すなわち、ＣＰＵ１０２は、ステップＳ１６において決定した変換関数（濃度値変換テーブル２２）に基づいて、画像１および画像２の少なくとも一方の色補正（濃度値変換）を行なう（ステップＳ１８）。ステップＳ１８によって、色補正された２つの画像が生成される。そして、処理は終了する。

　なお、ステップＳ１６において決定された変換関数（濃度値変換テーブル２２）は、原理的には、同一の撮像条件において撮像された画像の組に対して適用可能であるので、ステップＳ１８の処理を、画像１と画像２との組の数だけ繰り返してもよい。

　＜Ｅ．機能構成＞
　次に、本実施の形態に従う画像処理装置および／または画像処理プログラムの機能構成について説明する。

　図１０は、本発明の実施の形態に従う変換関数生成処理の機能構成を示すブロック図である。図１０を参照して、本実施の形態に従う画像処理装置は、その主たる機能構成として、データ格納部１２を含む画像管理部１０と、ヒストグラム生成部１４と、決定処理部１６と、距離算出部１８と、データ格納部２０と、濃度値変換部２４とを含む。

　画像管理部１０は、カメラなどから入力される画像を受付けて、当該画像をデータ格納部１２へ格納する。このデータ格納部１２に格納される画像は、要求に応じて、ヒストグラム生成部１４および／または濃度値変換部２４へ出力される。また、画像管理部１０は、濃度値変換部２４において濃度値変換（色補正）された後の画像を受付けて、当該画像をデータ格納部１２へ格納する。さらに、画像管理部１０は、要求に応じて、データ格納部１４に格納されている画像を表示部などへ出力する。なお、データ格納部１４は、典型的には、画像処理装置１００のＲＡＭ１０４の提供する記憶領域を利用して実現される。

　ヒストグラム生成部１４は、画像管理部１０のデータ格納部１２に格納される複数の画像を読み出し、読み出した画像に含まれる画素の濃度値についてのヒストグラムを生成する。なお、ヒストグラム生成部１４は、単純ヒストグラムおよび／または累積ヒストグラムを生成する。

　距離算出部１８は、ヒストグラム生成部１４により生成されるヒストグラムを用いて、累積ヒストグラムのヒストグラム度数および濃度値を含んで定義される空間において、濃度値との間の距離を算出する。距離算出部１８は、算出したそれぞれの濃度値の組み合わせについての距離を決定処理部１６へ出力する。

　決定処理部１６は、距離算出部１８によって算出される濃度値間の距離に基づいて、画像間の濃度値についての対応関係を決定するとともに、決定した対応関係から画像間で濃度値を補正するための変換関数（濃度値変換テーブル２２）を決定する。

　データ格納部２０は、決定処理部１６により決定される濃度値変換テーブル２２を格納し、濃度値変換部２４などからの要求に応じて、濃度値変換テーブル２２を出力する。

　濃度値変換部２４は、濃度値変換テーブル２２に基づいて、入力された画像に対して濃度値変換（色補正）する。この濃度値変換後の画像は、画像管理部１０のデータ格納部１２に格納される。

　以下、本発明の実施の形態に従う変換関数生成処理の詳細について、様々な変形例を交えつつ説明する。

　＜Ｆ．実施の形態１＞
　まず、実施の形態１として、濃度値についての累積ヒストグラムと、ＤＰ（Ｄｙｎａｍｉｃ　Ｐｒｏｇｒａｍｍｉｎｇ：動的計画法）マッチング方法とを用いて、変換関数（濃度値変換テーブル２２）を決定する方法について説明する。

　図１１は、本発明の実施の形態１において生成される単純ヒストグラムの一例を示す図である。図１２は、図１１に示す単純ヒストグラムから生成される累積ヒストグラムの一例を示す図である。

　一例として、各画素がＲＧＢ色空間における３つのチャネル（Ｒ，Ｇ，Ｂ）の濃度値で定義された色を有する画像１および画像２を処理対象とする。なお、１つのチャネルの濃度値のみを有するモノクロ画像であっても同様の処理を行なうことができる。

　本実施の形態においては、画像１および画像２に含まれる画素の各チャネルの濃度値についての単純ヒストグラムがそれぞれ生成される。すなわち、画像１について、Ｒ，Ｇ，Ｂのチャネルについての計３つの単純ヒストグラムが生成され、画像２について、Ｒ，Ｇ，Ｂのチャネルについての計３つの単純ヒストグラムが生成される。すなわち、チャネル毎に、図１１に示すような単純ヒストグラムが生成される。

　そして、それぞれの単純ヒストグラムから累積ヒストグラムが生成される。このとき、処理を容易化するために、それぞれの累積ヒストグラム度数を最大度数で正規化し、正規化したヒストグラムの最大度数がＨｍａｘになるようにする。すなわち、チャネル毎に、図１２に示すような累積ヒストグラムが生成される。

　また、画像１および画像２に含まれる画素は、いずれも濃度値の最大がＣｍａｘとなる、（Ｃｍａｘ＋１）階調で表現されているとする。

　図１２に示すような累積ヒストグラムは、（正規化された）累積ヒストグラム度数および各チャネルの濃度値を含んで定義される空間とみなすことができる。この空間における、画像１の濃度値ｍ（画像１から生成された累積ヒストグラム上の任意の座標）と画像２の濃度値ｎ（画像２から生成された累積ヒストグラム上の任意の座標）との間の距離ｄｉｓｔ（ｍ，ｎ）を（１）式のように定義する。

　但し、（１）式において、ｃ＿ｈｉｓｔ_１（ｍ）は、画像１の濃度値ｍの正規化累積ヒストグラム度数を示し、ｃ＿ｈｉｓｔ_２（ｎ）は、画像２の濃度値ｎの正規化累積ヒストグラム度数を示す。

　この距離ｄｉｓｔ（ｍ，ｎ）は、空間における濃度値間の近接度に相当する。すなわち、距離ｄｉｓｔ（ｍ，ｎ）の値が小さいほど、画像１の濃度値ｍと画像２の濃度値ｎとは類似していることを意味する。

　本実施の形態においては、画像１の濃度値と画像２の濃度値との組み合わせのすべてについて、当該濃度値の距離の総和が最小となる場合に、画像１の濃度値と画像２の濃度値との間の対応関係が最適化されたと評価する。すなわち、決定処理部１６（図１０）は、第１画像に含まれるすべての濃度値と第２画像に含まれる対応する濃度値との間の距離の総和が最小となるように、濃度値についての対応関係を決定する。言い換えれば、（２）式が成立するような、画像１の濃度値ｍと画像２の濃度値ｎとの対応関係を決定する。

　このような濃度値間の距離を最小化する対応関係を探索する方法としては、公知の動的計画法を用いることができる。

　図１３および図１４は、本発明の実施の形態に従う対応関係を探索する処理を説明する図である。図１３に示すように、一方の累積ヒストグラム上の濃度から他方の累積ヒストグラム上の濃度までの距離を順次算出していき、距離の総和が最小化する濃度の組み合わせを決定する。

　本実施の形態においては、累積ヒストグラムは、濃度値の小さいものからヒストグラム度数を累積して生成される。そのため、濃度値の対応関係は、その濃度値の大小関係についての順序が前後することはない。すなわち、画像１の濃度値ｍが画像２の濃度値ｎと対応しているとき、画像１の次の濃度値（ｍ＋１）は、画像２の濃度値（ｎ－１）以前の濃度値と対応することはない。

　そのため、本実施の形態においては、決定処理部１６（図１０）は、画像１に含まれる濃度値の大小関係と、画像１に含まれる濃度値に対応する画像２に含まれる濃度値の大小関係とを利用して、濃度値についての対応関係を決定する。より具体的には、図１４に示すように、画像１の累積ヒストグラム上の濃度値ｍが画像２の累積ヒストグラム上の濃度ｎに対応すると判断されると、画像１の累積ヒストグラム上の濃度値ｍに続く濃度値（ｍ＋１）の対応関係については、画像２の累積ヒストグラム上の濃度値ｎまたは濃度値ｎより大きい値を有する濃度値を探索対象とすればよい。これは、上述したような累積ヒストグラムの生成に係る規則に基づくものである。

　このように、決定処理部１６（図１０）は、画像１に含まれる濃度値ｍが画像２に含まれる濃度値ｎに対応している場合に、画像１に含まれる濃度値ｍより大きな濃度値（ｍ＋１）についての対応関係を、画像２に含まれる濃度値ｎ以上の濃度値（≧ｎ）を探索対象として決定する。このような規則を利用することで、探索処理に要する時間および計算コストを低減できる。

　上述したような探索処理によって、濃度値の間の対応関係が決定されると、この対応関係を示す濃度値変換テーブル２２が生成および出力される。

　図１５は、本発明の実施の形態に従う変換関数生成処理によって生成される濃度値変換テーブル２２の一例を示す図である。図１５に示すように、画像１の濃度値（階調値）ごとに、対応する画像２の濃度値（階調値）が格納される。なお、図１５には、画像１を濃度値変換の対象とした場合の濃度値変換テーブル２２を示すが、画像２を濃度値変換の対象とした濃度値変換テーブル２２を採用してもよい。

　濃度値変換部２４（図１０）は、濃度値変換テーブル２２を用いて、画像（この例では、画像１）の濃度値を変換することで、画像１の濃度値を画像２の濃度値に近くすることができる。これによって、画像１と画像２と間の色合いの違いなどを改善できる。

　なお、上述した本実施の形態については、画像に含まれる画素の濃度値が、他の色空間、例えば、ＣＭＹ色空間、ＹＵＶ色空間、ＸＹＺ色空間、ｘｙＹ色空間、Ｌ＊ｕ＊ｖ＊色空間、Ｌ＊ａ＊ｂ＊色空間といった各種の色空間を用いて表現された場合にも適用可能である。さらに、ステレオ撮像された画像間の濃度値補正だけではなく、パノラマ画像の間での濃度値補正（色合せ）などにも適用できる。

　以上のように、本実施の形態においては、濃度値についてのヒストグラムとして、濃度値の累積ヒストグラムを採用することで、変換関数（濃度値変換テーブル）を生成する。また、画像に含まれる画素の各々が複数のチャネルの濃度値で定義されている場合には、チャネルごとに濃度値間の距離が算出される。

　本実施の形態によれば、複数の画像の間で色合いなどが違っている場合であっても、比較的簡単な処理で、かつ、偽のテクスチャなどの発生を抑制して、色補正を行なうことができる。また、画像に含まれる濃度値の大小関係についての順序を利用することで、計算時間および計算コストをより少なくすることができる。

　＜Ｇ．実施の形態２＞
　次に、実施の形態２として、空間において画像の濃度値間の距離を算出する際に、重みを用いる構成について説明する。なお、実施の形態２は、距離算出部１８（図１０）における距離の算出方法が実施の形態１と異なっているのみであり、その他の処理および構成については、実施の形態１と同様であるので、共通部分についての詳細な説明は繰り返さない。

　上述したように、濃度値間の距離は、累積ヒストグラムのヒストグラム度数および濃度値を含んで定義される空間において算出されるが、それぞれの軸方向（ヒストグラム度数および濃度値）の大きさは、濃度値間の距離の算出に際して、必ずしも同等に扱う必要はない。そこで、以下のような方法によって、ヒストグラム度数の軸方向の成分および濃度値の軸方向の成分について、適切な重みを付与することが好ましい。

　以下では、一例として、３つの重み付けの方法について説明する。
　（ｆ１：それぞれの軸方向に付与される重み）
　まず、上述の（１）式において定義される距離ｄｉｓｔ（ｍ，ｎ）において、それぞれの軸成分に重みｗｈおよびｗｃをそれぞれ設定することを考える。この場合、上述の（１）式は、（３）式のように変形できる。

　図１６は、本発明の実施の形態２に従う重み設定を説明するための図である。図１６を参照して、（３）式に含まれる重みｗｈおよびｗｃは、累積ヒストグラム度数および濃度値についてのそれぞれの軸方向に設定される重みである。この重みが大きいほど、算出される距離はより大きくなる。言い換えれば、ヒストグラムを拡大または縮小することになる。

　この重みｗｈおよびｗｃは、典型的には、予め設定された固定値が採用される。但し、後述するように、動的に変化させてもよい。また、重みｗｈおよびｗｃのいずれか一方のみを用いるようにしてよい。

　このように、本実施の形態においては、図９に示す濃度値との間の距離を算出する処理（ステップＳ１２）は、濃度値間の距離の算出にあたり、空間におけるヒストグラム度数に対応する軸方向の距離および濃度値に対応する軸方向の距離の少なくとも一方に重みを設定する処理を含む。

　このように、空間における各軸方向における重みを適切に設定することで、濃度値間の距離（近接度）をより適切に設定することができる。

　（ｆ２：ヒストグラム度数に基づく重み）
　次に、注目している濃度値のヒストグラム度数に基づいて、重みを変化させる処理について説明する。上述の図１３に示すように、ヒストグラム度数の大きさに応じて、濃度値間の対応関係を探索すべき方向は変化することになる。そこで、探索対象の濃度値におけるヒストグラム度数に応じて、重み係数を変化させることで、適切な探索方向を動的に設定することができる。

　例えば、重みｗｈを累積ヒストグラム度数の大きさに応じて変化させる場合には、以下の（４）式のような関数を採用してもよい。

　図１７は、本発明の実施の形態２に従う累積ヒストグラム度数に基づいて重みを設定する処理を説明するための図である。図１７に示すように、ヒストグラム度数が大きい範囲は濃度が飽和する領域に近付いており、累積ヒストグラムの形状が平坦になっている可能性が高いので、濃度値の軸方向に探索を行なうことが好ましい。これに対して、ヒストグラム度数があまり大きくない範囲では、濃度が飽和するまでに余裕があるので、ヒストグラム度数の軸方向に探索を行なうことが好ましい。

　上述の（４）式のような重みを用いることで、ヒストグラム度数が大きい範囲では、ヒストグラム度数の軸方向での距離が相対的に大きく算出されるので、反射的な効果として、濃度値の軸方向に探索を行なうことになる。これに対して、ヒストグラム度数が大きくない範囲では、濃度値の軸方向での距離が相対的に大きく算出されるので、反射的な効果として、ヒストグラム度数の軸方向に探索を行なうことになる。

　このように、ヒストグラム度数に基づいて重みを決定することで、適切な探索方向を動的に決定することができ、濃度値の対応関係をより適切に決定できる。

　なお、重みｗｈと重みｗｃとの比率で、探索方向は変化するので、重みｗｈおよびｗｃの両方を利用しても（変化させても）よいし、いずれか一方のみを利用しても（変化させても）よい。

　以上のように、本実施の形態においては、図９に示す濃度値との間の距離を算出する処理（ステップＳ１２）は、距離の算出にあたり、空間におけるヒストグラム度数に対応する軸方向の距離に応じた重みを設定する処理を含む。

　本実施の形態によれば、濃度値に応じた探索方向が動的に設定されるので、濃度値の対応関係をより適切に探索できる。

　（ｆ３：濃度値に基づく重み）
　次に、注目している濃度値に基づいて、重みを変化させる処理について説明する。空間における濃度値間の距離が相対的に小さくとも、濃度値の変換処理において変換前後の濃度値の差が大きいと、画像の品質上の問題が生じ得る。そのため、ヒストグラム度数の軸方向を重点的に探索を行なうことが好ましい。そこで、注目している濃度値に応じて、重み係数を変化させることで、適切な探索方向を動的に設定することができる。

　例えば、重みｗｈを濃度値の差に応じて変化させる場合には、以下の（５）式のような関数を採用してもよい。

　図１８は、本発明の実施の形態２に従う濃度値に基づいて重みを設定する処理を説明するための図である。（５）式に示すように、注目している濃度値と探索対象の濃度値との差が大きくなるほど重みｗｈは小さくなるので、反射的な効果として、重みｗｃが相対的に大きく評価されることになる。すなわち、注目している濃度値との間の差が小さいほど、算出される距離は相対的に小さくなる。言い換えれば、濃度値の軸方向に探索する場合には、算出される距離が相対的に大きくなるので、反射的な効果として、ヒストグラム度数の軸方向に沿って優先的に探索を行なうことになる。

　より具体的には、図１８に示すように、濃度値の差が相対的に小さい場合の重みｗｈ１は、濃度値の差が相対的に大きい場合の重みｗｈ２より小さくなり、濃度差を重視した探索を行なうことができる。

　このように、濃度値に基づいて重みを決定することで、より濃度値の差が小さくなるような対応関係を決定できる。

　以上のように、本実施の形態においては、図９に示す濃度値との間の距離を算出する処理（ステップＳ１２）は、距離の算出にあたり、空間における濃度値に対応する軸方向の距離に応じた重みを設定する処理を含む。

　本実施の形態によれば、濃度差がより小さくなるように探索が行なわれるので、濃度値間の差が大きな対応関係の決定を防止でき、それにより濃度値の対応関係をより適切に探索できる。

　（ｆ４：ヒストグラム度数と濃度値とに基づく重み）
　次に、ヒストグラム度数および濃度値に基づいて、重みを変化させる処理について説明する。より具体的には、注目している濃度値についての、ヒストグラム度数およびその濃度値の大きさに基づいて、当該注目している濃度値にける累積ヒストグラムの傾きを算出し、当該算出した傾きに基づいて重みを決定する。このような累積ヒストグラムの傾きを用いることで、累積ヒストグラムの傾きが急峻な範囲では、濃度値の軸方向に探索を行ない、累積ヒストグラムの傾きが緩やかな範囲では、ヒストグラム度数の軸方向に探索を行なうことになる。このような方法で重み係数を変化させることで、適切な探索方向を動的に設定することができる。

　例えば、重みｗｈを累積ヒストグラム度数の大きさに応じて変化させる場合には、以下の（６）式のような関数を採用してもよい。

　図１９は、本発明の実施の形態２に従うヒストグラム度数および濃度値に基づいて重みを設定する処理を説明するための図である。図１９に示すように、注目している濃度値における累積ヒストグラムの傾き（接線）に応じて、ヒストグラム度数の軸方向または濃度値の軸方向のいずれを主として探索するのかを動的に変更する。すなわち、傾きが緩い範囲では、ヒストグラム度数の軸方向へ主として探索し、傾きが急峻な範囲では、濃度値の軸方向へ主として探索する。

　以上のように、本実施の形態においては、図９に示す濃度値との間の距離を算出する処理（ステップＳ１２）は、ヒストグラム度数および濃度値に応じた重みを設定する処理を含む。

　本実施の形態によれば、累積ヒストグラムの傾きが平坦な場合には、ヒストグラム度数の軸方向に探索を行ない、傾きが急な場合には、濃度値の軸方向に探索を行なうことで、累積ヒストグラムの形状に応じた探索を行なうことができる。

　＜Ｈ．実施の形態３＞
　次に、実施の形態３として、濃度値の間の対応関係を探索する場合に、空間においてヒストグラム同士が交差している場合には、対応関係を誤って決定する可能性がある。そこで、このようなヒストグラムの交差の発生による、対応関係を誤って決定することを防止できる構成について説明する。なお、実施の形態３は、決定処理部１６および距離算出部１８（図１０）における距離の算出方法が実施の形態１と異なっているのみであり、その他の処理および構成については、実施の形態１と同様であるので、共通部分についての詳細な説明は繰り返さない。

　図２０は、本発明の実施の形態３に従う変換関数生成処理が対処するヒストグラムの交差を説明するための図である。図２０を参照して、画像１のヒストグラムが破線の形態であり、画像２のヒストグラムと交差している場合には、交差している近傍の濃度点が誤って対応付けされてしまうことがある。そこで、本実施の形態においては、このような場合に、一方のヒストグラムを空間上で平行移動させて他のヒストグラムとの交差状態を解消した上で、対応点の探索処理を行なう。このようなヒストグラムの平行移動によって、ヒストグラム同士の交差によって生じる、誤った対応付けを回避できる。

　より具体的には、ヒストグラム度数の軸方向における移動量をｄ_ｈ１とし、濃度値の軸方向における移動量をｄ_ｃ１とした場合に、画像１の濃度値ｍ（画像１から生成された累積ヒストグラムをシフトすることで得られた累積ヒストグラム上の任意の座標）と画像２の濃度値ｎ（画像２から生成された累積ヒストグラム上の任意の座標）との間の距離ｄｉｓｔ（ｍ，ｎ）は、（７）式のように算出できる。

　この（７）式に従って濃度値の間の距離を算出することで、上記と同様の手順で、濃度値についての対応関係を探索および決定できる。

　以上のように、本実施の形態においては、図９に示す、画像１に含まれる濃度値と画像２に含まれる濃度値との対応関係を決定する処理（ステップＳ１４）は、画像１のヒストグラムおよび画像２のヒストグラムの少なくとも一方を、空間において平行移動した上で、距離を算出する処理を含む。

　このようなヒストグラム同士の交差を解消するために必要な平行移動に必要な移動量については、以下のような方法で予め調整することができる。

　（ｈ１：ヒストグラム度数に基づく移動量の決定）
　シンプルな方法として、２つの累積ヒストグラムについての、同一の濃度値に対応するヒストグラム度数の差に基づいて、ヒストグラムの交差の有無を判断することができる。すなわち、濃度値ｎにおける累積ヒストグラム度数の差を順次算出するとともに、すべての濃度値のうち、最も小さくなる累積ヒストグラム度数の差の最小値Ｈｄｉｓｔ_ｍｉｎを算出する。すなわち、以下の（８）式に沿って、最小値Ｈｄｉｓｔ_ｍｉｎを算出できる。

　このように算出される最小値Ｈｄｉｓｔ_ｍｉｎが０未満である場合には、ヒストグラムの交差が発生していると判定することができる。この場合には、ヒストグラムの交差が発生しないように移動量ｄ_ｈ１を設定する。すなわち、少なくとも最小値Ｈｄｉｓｔ_ｍｉｎだけ一方のヒストグラムをシフトさせることで、ヒストグラムの交差を解消できるので、例えば、以下の（９）式のように、移動量ｄ_ｈ１が設定される。

　以上のような方法を採用することで、ヒストグラムの交差の発生を抑制し、濃度値の対応関係の決定をより適切に行なうことができる。

　（ｈ２：複数のチャネルにわたるヒストグラム度数に基づく移動量の決定）
　上述の方法では、各チャネルにおいてヒストグラムの交差が発生しないように移動量を決定するものであるが、画像に含まれる各画素が複数のチャネルの濃度値で定義されている場合には、チャネル間におけるヒストグラムの移動量などを平均化することが好ましい。以下、このような方法によって、各チャネルにおけるヒストグラムの移動量を決定する方法について説明する。

　まず、（１０）式に従って、画像１と画像２とのヒストグラム間の最大距離Ｈｄｉｓｔ_{ｃｈ，ｍａｘ}をチャネル毎に算出する。続いて、（１１）式に従って、チャネル毎に算出された最大距離Ｈｄｉｓｔ_{ｃｈ，ｍａｘ}を平均化する。すなわち、複数チャネルの間における、最大距離Ｈｄｉｓｔ_{ｃｈ，ｍａｘ}の平均値を算出する。

　最終的に、（１２）式に従って、全チャネルのヒストグラム間の最大距離がＨｄｉｓｔ_{ａｖｅ，ｍａｘ}になるように、各チャネルにおける移動量ｄ_ｈ１が決定される。

　以上のような方法を採用することで、いずれのチャネルにおいても、ヒストグラム間の最大距離がほぼ同じになるので、似たような濃度値の対応付け処理が行われ、互いに類似した形状を有する濃度値変換テーブルを生成できる。そのため、濃度値変換後のチャネル（ＲＧＢ）間の濃度バランスを維持できる。

　＜Ｉ．実施の形態４＞
　次に、実施の形態４として、濃度値の間の対応関係を探索する場合に、画像に含まれるすべての濃度値のうち、一部の有効な濃度値のみを対象とすることで、対応関係の探索処理に要する時間および計算コストを低減できる。そこで、本実施の形態においては、対象とする濃度値の範囲を限定した上で、距離を算出する構成について説明する。なお、実施の形態４は、決定処理部１６（図１０）における対応関係の探索処理、および、距離算出部１８（図１０）における距離の算出方法が実施の形態１と異なっているのみであり、その他の処理および構成については、実施の形態１と同様であるので、共通部分についての詳細な説明は繰り返さない。

　図２１および図２２は、本発明の実施の形態４に従う対応関係の探索処理を説明するための図である。

　濃度値の対応関係を探索（決定）する場合には、画像に含まれるすべての濃度値ｃ＿ｈｉｓｔ（ｎ）について、距離をそれぞれ算出して対応関係を探索する必要はない。例えば、図２１に示す累積ヒストグラムにおいては、対応する正規化ヒストグラム度数ｃ＿ｈｉｓｔ（ｎ）が０＜ｃ＿ｈｉｓｔ（ｎ）＜Ｈｍａｘである濃度値ｎの範囲（ｍ_ｓｔ≦ｎ≦ｍ_ｅｄ）についての距離を算出し、その算出された距離に基づいて対応関係の探索処理が実行される。

　より具体的には、濃度値の開始値ｍ_ｓｔについては、濃度値ｎ＝０から昇順にチェックしていき、０＜ｃ＿ｈｉｓｔ（ｎ）となる最小のｎが濃度値の開始値ｍ_ｓｔとして決定される。また、濃度値の終端値ｍ_ｅｄについては、濃度値ｎ＝Ｃｍａｘから降順にチェックしていき、ｃ＿ｈｉｓｔ（ｎ）＜Ｈｍａｘとなる最大のｎが濃度値の終端値ｍ_ｅｄとして決定される。この開始値ｍ_ｓｔおよび終端値ｍ_ｅｄを用いて、画像１および画像２のそれぞれについて、濃度値の対応関係を探索する範囲が決定される。

　一般的に、累積ヒストグラムの両端に存在する濃度値は、ノイズ成分などであることが多いので、上述のような探索範囲を限定することで、不要な濃度値の組み合わせを除外できる。これにより、対応関係の探索処理に要する時間および計算コストを低減して、濃度値の対応付け処理を高速化できる。

　但し、上述の方法によれば、累積ヒストグラムの両端に存在する濃度値についての対応関係が決定されないので、探索範囲外の濃度値については、探索範囲内の対応関係を補間（典型的には、線形補間）するなどして、変換関数（濃度値変換テーブル）を生成する。

　なお、画像１および画像２の探索範囲が異なる場合には、画像１および画像２の間で、開始点および終了点が互いに一致するようにヒストグラムを拡張することが好ましい。より具体的には、画像１および画像２からそれぞれ生成された累積ヒストグラムについて、その形状を維持したまま、濃度値の軸方向に沿って拡大／縮小を行なうことが好ましい。このような拡張処理を行なうことで、画像１および画像２のそれぞれの累積ヒストグラムが互いに近似した形状を有するようになり、濃度値についての対応関係の探索処理をより高精度に行なうことができる。

　例えば、図２２（Ａ）に示す累積ヒストグラムにおいては、画像１の累積ヒストグラムについての探索範囲がｍ１_ｓｔ≦ｎ≦ｍ１_ｅｄであり、画像２の累積ヒストグラムについての探索範囲がｍ２_ｓｔ≦ｎ≦ｍ２_ｅｄであるとする。このような状態において、図２２（Ｂ）に示すように、画像１の累積ヒストグラムについては、開始値ｍ１_ｓｔが濃度値０に対応し、終端値ｍ１_ｅｄが最大濃度値Ｃｍａｘに対応するように、濃度値の軸方向に沿って拡大／縮小される。同様に、画像２の累積ヒストグラムについては、開始値ｍ２_ｓｔが濃度値０になるように、終端値ｍ２_ｅｄが最大濃度値Ｃｍａｘとなるように、濃度値の軸方向に沿って拡大／縮小される。

　このように、それぞれ濃度値の軸方向に沿って拡大／縮小された累積ヒストグラムは、図２２（Ｂ）に示すようになる。図２２（Ｂ）に示すように、画像１および画像２の拡大後の累積ヒストグラムは、いずれも濃度値が０からＣｍａｘの範囲に分布することになる。図２２（Ｂ）に示すような、拡大／縮小されたヒストグラムに対して、濃度値についての対応関係の探索処理が実行される。

　以上のように、本実施の形態においては、図９に示す、画像１に含まれる濃度値と画像２に含まれる濃度値との対応関係を決定する処理（ステップＳ１４）は、図２１に示すように、対象とする濃度値の範囲を限定した上で、濃度値についての対応関係を決定する処理を含む。さらに、対応関係を決定する処理（ステップＳ１４）は、図２２に示すように、画像１のヒストグラムおよび画像２のヒストグラムのうち、限定した濃度値の範囲のヒストグラムを拡張した上で、距離を算出する処理を含めてもよい。

　本実施の形態によれば、濃度値の対応付けを行なう探索範囲を制限することで、処理を高速化できる。

　なお、本実施の形態に係る探索範囲の制限方法は、単純な（通常の）ヒストグラムに対しても同様に適用できる。より具体的には、ヒストグラム度数が０でない範囲のみ（すなわち、画像内で使用されている色に対応する画素値のみ）を、濃度値の対応付けを行なう対象とすることで、処理を高速化できる。

　＜Ｊ．参考例＞
　次に、濃度値についての単純ヒストグラムと、最小二乗法とを用いて、変換関数（濃度値変換テーブル２２）を決定する参考例について説明する。

　一例として、各画素がＲＧＢ色空間における３つのチャネル（Ｒ，Ｇ，Ｂ）の濃度値で定義された色を有する画像１および画像２を処理対象とする。なお、１つのチャネルの濃度値のみを有するモノクロ画像であっても同様の処理を行なうことができる。

　本参考例においては、画像１および画像２に含まれる画素の各チャネルの濃度値についての単純ヒストグラムがそれぞれ生成される。すなわち、画像１について、Ｒ，Ｇ，Ｂのチャネルについての計３つの単純ヒストグラムが生成され、画像２について、Ｒ，Ｇ，Ｂのチャネルについての計３つの単純ヒストグラムが生成される。このとき、処理を容易化するために、それぞれの単純ヒストグラム度数から最大度数が抽出され、この抽出された最大度数を用いて、対応する単純ヒストグラムが正規化される。

　また、画像１および画像２に含まれる画素は、いずれも濃度値の最大がＣｍａｘとなる、（Ｃｍａｘ＋１）階調で表現されているとする。

　この正規化された単純ヒストグラムは、（正規化された）単純ヒストグラム度数および各チャネル（Ｒ，Ｇ，Ｂ）の濃度値を含んで定義される空間とみなすことができる。この空間における、画像１の濃度値ｍ（画像１から生成された単純ヒストグラム上の任意の座標）と画像２の濃度値ｎ（画像２から生成された単純ヒストグラム上の任意の座標）との間の近接度ｄｉｓｔ（ｍ，ｎ）を（１３）式のように定義する。

　傾きθ_１およびθ_２は、正規化ヒストグラム度数および濃度値を用いて、（１４）式に従って算出される。

　但し、（１４）式において、ｈｉｓｔ_１（ｍ）は、画像１の濃度値ｍの正規化ヒストグラム度数を示し、ｈｉｓｔ_２（ｎ）は、画像２の濃度値ｎの正規化ヒストグラム度数を示す。

　（１３）式において、近接度ｄｉｓｔ（ｍ，ｎ）は、単純ヒストグラムの空間における傾き（変化量）の類似度に相当し、ある濃度値におけるヒストグラムの傾きを用いて定義される。すなわち、近接度ｄｉｓｔ（ｍ，ｎ）の値が大きいほど、画像１の濃度値ｍと画像２の濃度値ｎとは類似していることを意味する。

　また、画像１の濃度値と画像２の濃度値との間は、行列Ａおよびベクトルｂを用いて、（１５）式のように表わすことができる。

　本参考例においては、画像１の濃度値と画像２の濃度値との組み合わせのすべてについての、濃度値変換後の画像１の濃度値と画像２の濃度値との間の近接度の総和が最大となる場合に、画像１の濃度値と画像２の濃度値との間の対応関係が最適化されたと評価する。すなわち、（１６）式に従って算出されるＳ（Ｃｍａｘ，Ｃｍａｘ）を最大にする場合が濃度値についての対応関係が最適であると判断できる。なお、濃度値についての対応関係を決定（探索）する場合には、濃度値の大小関係についての順序が入れ替わらないことを（１５）式の制約条件とする。

　（１５）式を解くことにより、Ｓ（Ｃｍａｘ，Ｃｍａｘ）を最大化する行列Ａおよびベクトルｂを算出する。これらの値が算出されると、濃度値変換テーブルを示す行列Ｔは、（１７）式に従って算出される。

　その他の点については、上述の実施の形態１～４と同様であるので、詳細な説明は繰り返さない。

　以上のように、本参考例においては、濃度値の単純ヒストグラムを採用することで、変換関数（濃度値変換テーブル）を生成する。この参考例においては、単純ヒストグラム上での傾きを用いて画像１の濃度値と画像２の濃度値との間の近接度を判断しているため、単純ヒストグラムの形状によっては誤差を生じやすいという問題がある。この点、実施の形態１～４のように累積ヒストグラム上での距離を用いて近接度を判断する方が精度面において優れている。

　＜Ｋ．実施の形態５＞
　上述の実施の形態１～４に示す方法によって、変換関数（濃度値変換テーブル）を生成することができる。しかしながら、入力画像に含まれる濃度値のヒストグラム形状によっては、常に正しい濃度値についての対応関係が得られるとは限らない。そこで、実施の形態５として、生成された変換関数（濃度値変換テーブル）を事後的に補正する処理について説明する。

　図２３は、本発明の実施の形態５において補正される濃度値変換テーブルの失敗例を示す図である。図２４は、図２３に示す濃度値変換テーブルの補正例を示す図である。

　例えば、図２３に示すように、生成が失敗した濃度値変換テーブルでは、濃度値の対応関係が急激に変化する部分が生じる。このような場合、この濃度値変換テーブルを用いて画像の濃度値を変換すると、濃度値の階調に急激な変化が生じ、偽のテクスチャが発生し得る。

　本実施の形態においては、このような偽のテクスチャの発生を防止するために、（例えば、画像の濃度値変換処理の実行前に）生成された濃度値変換テーブルをチェックし、必要があれば補正が行なわれる。より具体的には、変換関数（濃度値変換テーブル２２）において所定の制限範囲を超える変化が存在している場合に、当該濃度値変換テーブル２２の内容が変更される。

　説明の便宜上、生成直後の変換関数（濃度値変換テーブル２２）において、画像１の濃度値ｎに対応する画像２の濃度値をｃｏｎｖ（ｎ）とする（図２３参照）。

　まず、濃度値変換テーブルの補正手順として、濃度値０≦ｎ≦Ｃｍａｘについて、濃度値変換テーブルに定義されている値が順次チェックされる。より具体的には、画像１のある濃度値ｕにおいて、対応する濃度値の変化量Δｃｏｎｖ（ｕ）（＝ｃｏｎｖ（ｕ）－ｃｏｎｖ（ｎ－１））が補正基準値ｃｏｒｒ_ｔｈを超えたか否かが判断される。

　変化量Δｃｏｎｖ（ｕ）が補正基準値ｃｏｒｒ_ｔｈを超えた場合には、濃度値の変化量Δｃｏｎｖ（ｕ）が補正値ｃｏｒｒ_ｒｅｐｌになるように、濃度値ｕより大きい濃度値についての変換テーブルの値（変換先の濃度値）が更新される。より具体的には、（１８）式に従って、変換テーブルの値は、対応するｃｏｎｖ（ｎ）を補正して得られるｃｏｎｖ’（ｎ）に置き換えられる。

　すなわち、変換テーブルの濃度値ｕ以降の値（変換先の濃度値）をΔｃｏｎｖ（ｕ）だけ順次つめることになる。濃度値（ｕ＋１）以降についても、同様に、補正して得られるｃｏｎｖ’（ｎ）についての処理が実行される。

　上述の補正基準値ｃｏｒｒ_ｔｈについては、次のような値に基づいて設定できる。
　（１）濃度値変換テーブルの傾きの平均値
　（１９）式に示すように、補正基準値ｃｏｒｒ_ｔｈとして、濃度値変換テーブルの傾きの平均値を採用してもよい。すなわち、（１９）式は、濃度値変換テーブルの両端についての傾きを算出し、この傾きを用いて補正基準値ｃｏｒｒ_ｔｈを決定する。

　このような補正基準値ｃｏｒｒ_ｔｈを採用することで、濃度値変換テーブルの形状に依存せず、濃度値変換テーブルの補正の失敗を防止できる。

　（２）現在の濃度値近傍における濃度値変換テーブルの傾き
　（２０）式に示すように、補正基準値ｃｏｒｒ_ｔｈとして、現在の濃度値近傍における濃度値変換テーブルの傾きを採用してもよい。すなわち、（２０）式は、注目している濃度値ｍの近傍における濃度値変換テーブルの傾きを算出し、この傾きを用いて補正基準値ｃｏｒｒ_ｔｈを決定する。

　このような補正基準値ｃｏｒｒ_ｔｈを採用することで、濃度値変換テーブルの局所的な傾きの変動に対応できる。

　（３）中心の濃度値からの濃度値変換テーブルの傾き
　（２１）式に示すように、補正基準値ｃｏｒｒ_ｔｈとして、中心の濃度値からの濃度値変換テーブルの傾きを採用してもよい。すなわち、（２１）式は、濃度値変換テーブルの中心と端との間の傾きを算出し、この傾きを用いて補正基準値ｃｏｒｒ_ｔｈを決定する。

　このような補正基準値ｃｏｒｒ_ｔｈを採用することで、濃度値が大きい場合と小さい場合との間で傾きが大きく異なるような場合にも対応できる。

　次に、補正値ｃｏｒｒ_ｒｅｐｌについては、次のような値に基づいて設定できる。
　（１）濃度値変換テーブルの傾きの平均値
　（２２）式または（２３）式に示すように、補正値ｃｏｒｒ_ｒｅｐｌとして、濃度値変換テーブルの傾きの平均値を採用してもよい。すなわち、（２２）式および（２３）式は、濃度値変換テーブルの両端についての傾きを算出し、この傾きを用いて補正値ｃｏｒｒ_ｒｅｐｌを決定する。

　このような補正値ｃｏｒｒ_ｒｅｐｌを採用することで、濃度値変換テーブルの形状に依存せず、濃度値変換テーブルの補正の失敗を防止できる。

　（２）現在の濃度値近傍における濃度値変換テーブルの傾き
　（２４）式に示すように、補正値ｃｏｒｒ_ｒｅｐｌとして、現在の濃度値近傍における濃度値変換テーブルの傾きを採用してもよい。すなわち、（２４）式は、注目している濃度値ｍの近傍における濃度値変換テーブルの傾きを算出し、この傾きを用いて補正値ｃｏｒｒ_ｒｅｐｌを決定する。

　このような補正値ｃｏｒｒ_ｒｅｐｌを採用することで、濃度値変換テーブルの局所的な傾きの変動に対応できる。

　（３）中心の濃度値からの濃度値変換テーブルの傾き
　（２５）式に示すように、補正値ｃｏｒｒ_ｒｅｐｌとして、中心の濃度値からの濃度値変換テーブルの傾きを採用してもよい。すなわち、（２５）式は、濃度値変換テーブルの中心と端との間の傾きを算出し、この傾きを用いて補正値ｃｏｒｒ_ｒｅｐｌを決定する。

　このような補正値ｃｏｒｒ_ｒｅｐｌを採用することで、濃度値が大きい場合と小さい場合との間で傾きが大きく異なるような場合にも対応できる。

　なお、上述の説明においては、濃度値の変化量Δｃｏｎｖ（ｕ）が所定値を超えた場合に、濃度値変換テーブルを補正する場合について説明したが、濃度値の変化量Δｃｏｎｖ（ｕ）が所定値を超えなくとも、何らかの条件が満たされた場合には、上述と同様な方法を用いて、濃度値変換テーブルを補正してもよい。

　以上のように、本実施の形態においては、画像１に含まれる濃度値と画像２に含まれる濃度値との対応関係を決定する処理（ステップＳ１４）は、変換関数（濃度値変換テーブル２２）において所定の制限範囲を超える変化が存在している場合に、当該変換関数を変更する処理を含む。

　その他の処理および構成については、実施の形態１～５と同様であるので、共通部分についての詳細な説明は繰り返さない。

　本実施の形態によれば、何らかの理由で変換関数（濃度値変換テーブル）の生成に失敗した場合であっても、濃度値補正（色補正）に適した変換関数へ補正することができる。

　＜Ｌ．実施の形態６＞
　入力された画像１と画像２との間でダイナミックレンジが異なる場合には、その補正が必要になる。そこで、実施の形態６として、色飽和などが生じた場合に、変換関数（濃度値変換テーブル）を事後的に補正する処理について説明する。

　図２５は、本発明の実施の形態６における濃度値変換テーブルの補正処理を説明するための図である。

　例えば、画像１の方が画像２よりもダイナミックレンジの狭い（濃度値の階調数が少ない）画像であるとする。このとき、画像１を画像２の濃度値に合わせる濃度値変換を行った場合、濃度値の階調数が少ないことから、色のグラデーションのある領域に偽のテクスチャが発生する可能性がある。特に、画像１が色飽和して白とびしている領域の周辺の階調が目立つように、色補正されてしまう場合がある。

　このような課題を防止するために、本実施の形態においては、色飽和箇所を検知するロジックを用いて、画像１および画像２からそれぞれ生成される累積ヒストグラムにおいて、色飽和（いわゆる「白とび」）が発生しているか否かを判断する。そして、色飽和が発生していることを検知すると、その色飽和した濃度値を上限値として濃度値変換が行なわれる。

　色飽和が発生していると判断する基準としては、例えば、画像１の飽和基準値ｓａｔｔｈ１＝ｃ＿ｈｉｓｔ_１（Ｃｍａｘ）×０．９５と設定する。

　画像１についての累積ヒストグラムにおいて、正規化ヒストグラム度数ｃ＿ｈｉｓｔ_１（Ｃｍａｘ－１）＜ｓａｔｔｈ１である場合には、画像１が色飽和していると判断される。色飽和していると判断された場合には、次に、画像２についての累積ヒストグラムにおいて、ｃ＿ｈｉｓｔ_１（Ｃｍａｘ－１）＞ｃ＿ｈｉｓｔ_２（ｍ）となる最大のｍｓａｔが、濃度値０≦ｍ≦Ｃｍａｘの範囲で探索される。画像１における濃度値（Ｃｍａｘ－１）が画像２における濃度値ｍに相当する。画像２の濃度値ｍが濃度値Ｃｍａｘとなるよう、濃度値変換テーブルの値が線形変換される。一方、ｃｏｎｖ’（ｎ）＞Ｃｍａｘとなる場合は、濃度値変換テーブルの値がＣｍａｘでクリッピングされる。すなわち、（２６）式に従って、濃度値ｃｏｎｖ（ｎ）が補正される。

　以上の処理を、それぞれのチャネルに対して行なうことにより、白とびの程度を、画像１と画像２との間で合わせることができる。

　逆に、画像２のみが白とびしている場合には、画像１に対して補正が行なわれる。画像１と画像２ともに白とびしている場合には、ダイナミックレンジのより狭い方に合わせるような補正が行なわれる。

　なお、黒つぶれしている場合も、上述と同様の方法で、その発生を検知し、補正値変換テーブルを補正できる。

　以上のように、本実施の形態においては、画像１に含まれる濃度値と画像２に含まれる濃度値との対応関係を決定する処理（ステップＳ１４）は、画像１のヒストグラムおよび画像２のヒストグラムの少なくとも一方において色飽和の発生が検知された場合に、変換関数（濃度値変換テーブル２２）を変更する処理を含む。

　その他の処理および構成については、実施の形態１～６と同様であるので、共通部分についての詳細な説明は繰り返さない。

　本実施の形態によれば、何らかの理由で変換関数（濃度値変換テーブル）において色飽和が発生した場合であっても、濃度値補正（色補正）に適した変換関数へ補正することができる。

　＜Ｍ．実施の形態７＞
　上述の実施の形態１～６に示す方法では、主として、入力された画像の全体を用いて変換関数（濃度値変換テーブル）を生成する場合を想定しているが、異なる視点から撮像して得られる画像間では、被写体の画像が全く同一ではない。そのため、画像間に生じる視差量によっては、入力された画像にそれぞれ設定される部分領域を用いて、変換関数（濃度値変換テーブル）を生成することが好ましい場合もある。そこで、実施の形態７として、複数の画像にそれぞれ設定される部分領域から生成される累積ヒストグラムを用いて、変換関数（濃度値変換テーブル）を生成する処理について説明する。すなわち、画像１と画像２との間で共通領域を特定した上で、画像間の濃度値補正（色補正）する。

　すなわち、本実施の形態において、濃度値についての単純なヒストグラムから累積ヒストグラムを生成する処理（ステップＳ８およびＳ１０）は、画像１および画像２のそれぞれに設定される部分領域から累積ヒストグラムを生成する処理を含む。

　より具体的には、本実施の形態に従う画像処理方法の全体手順については、図２６に示すようになる。図２６は、本発明の実施の形態７に従う変換関数生成処理の全体手順を示すフローチャートである。図２６に示すフローチャートは、図９に示すフローチャートに比較して、ステップＳ３が新たに追加されるとともに、ステップＳ４＃およびＳ６＃において生成されるヒストグラムの対象領域が図９のステップＳ４およびＳ６とは異なっている点が相違している。図２６に示すステップのうち、図９に示すステップと同様の処理を行なうものについては、同一の参照符号を付している。なお、図２６に示す各ステップは、典型的には、ＣＰＵ１０２（図２）が画像処理プログラム１１２を実行するなどして実現される。

　図２６を参照して、少なくとも２つの画像が取得された後（ステップＳ２の実行後）、ＣＰＵ１０２は、画像１および画像２の間で共通する部分領域を探索する（ステップＳ３）。この部分領域の探索処理については、後述する。なお、画像１および画像２は、典型的には、ステレオカメラを用いて撮像され、これらの画像は同一対象物を含むことになる。そして、画像１の部分領域と画像２の部分領域とは、両者の一致度に基づいて設定される。

　続いて、ＣＰＵ１０２は、それぞれの画像に設定された共通領域に含まれる画素の濃度値についての累積ヒストグラムをそれぞれ生成する。すなわち、ＣＰＵ１０２は、入力された画像１に設定された部分領域に含まれる画素の濃度値についての単純なヒストグラムを生成する（ステップＳ４＃）とともに、入力された画像２に設定された部分領域に含まれる画素の濃度値についての単純なヒストグラムを生成する（ステップＳ６＃）。なお、ステップＳ４＃およびＳ６＃の処理については、パラレル処理で行なってもよいし、シリアル処理で行なってもよい。シリアル処理で行なう場合、その実行順序は問わない。続いて、ＣＰＵ１０２は、ステップＳ４＃において生成した、濃度値についての単純なヒストグラムから累積ヒストグラムを生成する（ステップＳ８）とともに、ステップＳ６＃において生成した、濃度値についての単純なヒストグラムから累積ヒストグラムを生成する（ステップＳ１０）。以下、図９のステップＳ１２以下と同様の処理が実行される。

　以下、ステップＳ３における共通する部分領域の探索および設定の方法について説明する。典型的な方法として、パターンマッチングを用いる方法、およびステレオキャリブレーションを用いる方法について例示する。

　（１）パターンマッチング
　パターンマッチングを用いて共通領域を探索および設定する処理としては、画像１および画像２にそれぞれ部分領域を順次設定していき、それぞれ設定された部分領域の間で一致度（類似度）を評価する。そして、一致度が最大になる部分領域が共通領域として設定される。すなわち、パターンマッチングにより、画素が最も適合する位置を探索する。上述したように、共通領域とは、同一の被写体の共通する部分が写っている範囲に相当し、原理的には、画像１に設定された共通領域に対応する部分領域と、画像２に設定された共通領域に対応する部分領域との間は、ほぼ一致することになる。

　このような一致度Ｒ_ＮＣＣは、例えば、（２７）式のような相関値を用いて算出できる。

　なお、（２７）式において、部分領域の画素サイズは、Ｎ画素×Ｍ画素であるとする。パターンマッチングでは、（２７）式に従って算出される一致度Ｒ_ＮＣＣが最大となる位置が探索される。

　図２７は、本発明の実施の形態７においてパターンマッチングを用いて共通領域を探索する処理を説明するための図である。図２８は、本発明の実施の形態７においてパターンマッチングを用いて共通領域を探索する処理手順を示すフローチャートである。図２９は、本発明の実施の形態７においてパターンマッチングを用いて設定される共通領域の一例を示す図である。

　図２７に示すように、本実施の形態においては、画像１および画像２に対して、部分領域が順次設定されることになる。計算の便宜上、部分領域が設定される位置を中心位置（Ｘ０，Ｙ０）を用いて定義する。そして、部分領域のサイズを固定したまま、中心位置（Ｘ０，Ｙ０）の位置を順次変更して、変更するたびに一致度Ｒ_ＮＣＣを算出する。

　図２８を参照して、具体的な処理手順について説明する。図２８には、画像１に対して部分領域を設定しておき、画像２に対して設定される部分領域を順次移動させる処理例を示す。なお、図２８に示す各ステップは、典型的には、ＣＰＵ１０２（図２）が画像処理プログラム１１２を実行するなどして実現される。

　まず、ＣＰＵ１０２は、画像１に対して、所定の位置に部分領域を設定する（ステップＳ３００）。続いて、ＣＰＵ１０２は、画像２に対して、基準の初期位置に部分領域を設定する（ステップＳ３０２）。そして、ＣＰＵ１０２は、画像１および画像２に対して現在設定されているそれぞれの部分領域の間における一致度を算出する（ステップＳ３０４）。この一致度は、上述の（２７）式に従って算出されてもよい。この算出した一致度は、対応する中心位置とともに記憶領域に一次的に格納される。

　続いて、ＣＰＵ１０２は、画像２に設定されている部分領域を定義する中心位置のＸ座標値が上限値に到達しているか否かを判断する（ステップＳ３０６）。中心位置のＸ座標値が上限値に到達していない場合（ステップＳ３０６においてＮＯの場合）には、ＣＰＵ１０２は、中心位置のＸ座標を１だけインクリメントして（ステップＳ３０８）、ステップＳ３０４以下の処理を繰り返す。

　中心位置のＸ座標値が上限値に到達している場合（ステップＳ３０６においてＹＥＳの場合）には、ＣＰＵ１０２は、画像２に設定されている部分領域を定義する中心位置のＹ座標値が上限値に到達しているか否かを判断する（ステップＳ３１０）。

　中心位置のＹ座標値が上限値に到達していない場合（ステップＳ３１０においてＮＯの場合）には、ＣＰＵ１０２は、中心位置のＸ座標を初期値にリセットするとともに、中心位置のＹ座標を１だけインクリメントして（ステップＳ３１２）、ステップＳ３０４以下の処理を繰り返す。

　中心位置のＹ座標値が上限値に到達している場合（ステップＳ３１０においてＹＥＳの場合）には、ＣＰＵ１０２は、これまで格納されている一致度のうち、最もその値が大きい一致度に対応する中心位置を抽出し、抽出した中心位置で定義される部分領域を共通領域として決定する（ステップＳ３１４）。そして、処理は終了する。

　以上の様な処理を行なうことで、一致度が最大となる部分領域を探索することで、図２９に示すような共通領域をそれぞれの画像に対して設定できる。

　本実施の形態によれば、同一の被写体を写した共通領域の画像を用いて濃度値変換テーブルを生成することで、より適切な色補正（濃度値変換）を行なうことができる。なお、共通領域（部分領域）から生成された濃度値変換テーブルを用いて、入力された画像の全体について色補正（濃度値変換）を行なってもよい。

　（２）ステレオキャリブレーション
　上述のパターンマッチングに代えて、光学的な補正を行なう、ステレオキャリブレーションを採用してもよい。具体的には、例えば、ステレオカメラを用いて画像１および画像２を取得する場合には、画像１および画像２における歪みの補正や平行化などの処理を行なった上で、ピンホールカメラモデルなどを用いたカメラキャリブレーションを行ない、共通領域を設定してもよい。

　（３）オクルージョン領域の除外
　ステレオカメラを用いて異なる視点から被写体を撮像した場合には、画像間に視差が存在するため、オクルージョンにより、画像間に対応する画像部分が存在しない領域が存在し得る。この場合には、パターンマッチングなどの対応点探索を用いて、オクルージョン領域を特定し、当該特定したオクルージョン領域を除外した上で、濃度値変換テーブルなどの作成を行なうことが好ましい。

　図３０は、本発明の実施の形態７に従うオクルージョン領域を除外する処理を説明するための図である。図３０を参照して、例えば、入力された画像１および画像２において、前側の被写体（人）によって、後側の被写体（立木）の一部が見えなくなっている。このような場合には、まず、画像１と画像２との間で対応点探索を行なって、対応関係を決定した上で、画像１に対しては、画像２では見えない領域（図３０において黒で示すオクルージョン領域）を除去し、同様に、画像２に対しては、画像１では見えない領域（図３０において黒で示すオクルージョン領域）を除去する。図３０の下段には、オクルージョン領域が除外された一対の画像（「除去ずみ」）が示される。すなわち、画像１の部分領域と画像２の部分領域は、オクルージョン領域を除外するように設定される。

　そして、このようなオクルージョン領域が除外された一対の画像の間で、上述したような、各種の処理が実行される。

　このように、オクルージョン領域を除去することで、対応点探索（パターンマッチング）の精度を高めることができ、より適切な、濃度値変換テーブルを生成することができる。

　その他の処理および構成については、実施の形態１～７と同様であるので、共通部分についての詳細な説明は繰り返さない。

　＜Ｎ．利点＞
　本実施の形態によれば、複数の画像間で被写体の画像が異なっている場合であっても、濃度値を補正するための変換関数をより適切に生成できる。

　＜Ｏ．別形態＞
　本発明の実施の形態としては、以下のような態様を含む。

　本発明の別の局面に従う画像処理方法は、２つ以上の画像から濃度値の累積ヒストグラムを生成するヒストグラム生成ステップと、ヒストグラム度数と濃度値で定義された空間における濃度値間の距離を算出する距離算出ステップと、算出した濃度値間の距離から画像間における濃度値の対応関係を決定し濃度値変換テーブルを生成する対応関係決定ステップとを有する。

　好ましくは、対応関係決定ステップでは、画像間の濃度値間の大小関係を保存して対応関係を決定する。

　好ましくは、対応関係決定ステップでは、画像間の濃度値間の距離の総和を最小とする、濃度値間の対応関係を決定する。

　好ましくは、距離算出ステップでは、空間の軸方向に重みを設定して距離を算出する。
　さらに好ましくは、距離算出ステップでは、ヒストグラム度数に基づいて重みを設定する。

　さらに好ましくは、距離算出ステップでは、濃度値に基づいて重みを設定する。
　好ましくは、対応関係決定ステップでは、距離算出を行なう濃度値の範囲を限定して対応を決定する。

　さらに好ましくは、対応関係決定ステップでは、限定した濃度値の範囲のヒストグラムを変形して対応を決定する。

　好ましくは、対応関係決定ステップでは、ヒストグラムを平行移動した後に対応関係を決定する。

　好ましくは、さらに、濃度値変換テーブルについて、閾値以上あるいは閾値以下の変化を検出して補正するテーブル補正ステップを含む。

　好ましくは、さらに、ヒストグラム度数から色飽和の有無を検知し、濃度値変換テーブルを補正するダイナミックレンジ調整ステップを含む。

　好ましくは、一連の処理を各チャネルの濃度値毎を行なう。
　好ましくは、ヒストグラム生成ステップでは、画像の部分領域からヒストグラムを生成する。

　さらに好ましくは、画像は、少なくとも１つの他の画像と同一対象物を含む画像であり、部分領域とは、画像間の共通領域である。

　さらに好ましくは、画像は、少なくとも１つの他の画像と同一対象物を含む画像であり、部分領域とは、画像間のオクルージョン領域を除外した領域である。

　さらに好ましくは、共通領域を特定する処理は、パターンマッチング、または、ステレオキャリブレーションである。

　さらに好ましくは、オクルージョン領域を特定する処理は、対応点探索（パターンマッチング）である。

　今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

　２，４　カメラ、１０　画像管理部、１２　データ格納部、１４　ヒストグラム生成部、１６　決定処理部、１８　距離算出部、２２　濃度値変換テーブル、２４　濃度値変換部、１００，２００　画像処理装置、１０２　ＣＰＵ、１０４　ＲＡＭ、１０６　ＲＯＭ、１０８　ネットワークインターフェイス、１１０　補助記憶装置、１１２　画像処理プログラム、１１４　処理対象画像、１２０，２０６　表示部、１２２，２０４　入力部、１２４　メモリーカードインターフェイス、１２６　メモリーカード、１３０　バス、２０２　画像処理エンジン、２１２，２２２　レンズ、２１４，２２４　イメージセンサー。

Claims (16)

1. 　少なくとも第１画像および第２画像に含まれる画素の濃度値についての累積ヒストグラムをそれぞれ生成する生成ステップと、
   　累積ヒストグラムのヒストグラム度数および濃度値を含んで定義される空間において、前記第１画像から生成された第１ヒストグラム上の濃度値と前記第２画像から生成された第２ヒストグラム上の濃度値との間の距離を算出する算出ステップと、
   　算出した濃度値間の距離に基づいて、前記第１画像に含まれる濃度値と前記第２画像に含まれる濃度値との対応関係を決定するとともに、決定した対応関係から前記第１画像と前記第２画像との間で濃度値を補正するための変換関数を決定する決定ステップとを備える、画像処理方法。
2. 　前記決定ステップは、前記第１画像に含まれる第１濃度値が前記第２画像に含まれる第２濃度値に対応している場合に、前記第１画像に含まれる前記第１濃度値より大きな第３濃度値についての対応関係を、前記第２画像に含まれる前記第２濃度値以上の濃度値を探索対象として決定するステップを含む、請求項１に記載の画像処理方法。
3. 　前記決定ステップは、前記第１画像に含まれるすべての濃度値と前記第２画像に含まれる対応する濃度値との間の距離の総和が最小となるように、濃度値についての対応関係を決定するステップを含む、請求項１または２に記載の画像処理方法。
4. 　前記算出ステップは、前記距離の算出にあたり、前記空間におけるヒストグラム度数に対応する軸方向の距離に応じた重みを設定するステップを含む、請求項１～３のいずれか１項に記載の画像処理方法。
5. 　前記算出ステップは、前記距離の算出にあたり、前記空間における濃度値に対応する軸方向の距離に応じた重みを設定するステップを含む、請求項１～４のいずれか１項に記載の画像処理方法。
6. 　前記算出ステップは、前記第１ヒストグラムおよび前記第２ヒストグラムの少なくとも一方を前記空間において平行移動した上で、前記距離を算出するステップを含む、請求項１～５のいずれか１項に記載の画像処理方法。
7. 　前記算出ステップは、対象とする濃度値の範囲を限定した上で、前記距離を算出するステップを含む、請求項１～６のいずれか１項に記載の画像処理方法。
8. 　前記算出ステップは、前記第１ヒストグラムおよび前記第２ヒストグラムのうち、限定した濃度値の範囲のヒストグラムを拡張した上で、前記距離を算出するステップを含む、請求項７に記載の画像処理方法。
9. 　前記決定ステップは、前記変換関数において所定の制限範囲を超える変化が存在している場合に、当該変換関数を変更するステップを含む、請求項１～８のいずれか１項に記載の画像処理方法。
10. 　前記決定ステップは、前記第１ヒストグラムおよび前記第２ヒストグラムの少なくとも一方において色飽和の発生が検知された場合に、当該変換関数を変更するステップを含む、請求項１～９のいずれか１項に記載の画像処理方法。
11. 　前記第１画像および前記第２画像に含まれる画素の各々は、複数のチャネルの濃度値で定義されており、
    　前記算出ステップは、チャネルごとに濃度値間の距離を算出するステップを含む、請求項１～１０のいずれか１項に記載の画像処理方法。
12. 　前記生成ステップは、前記第１画像および前記第２画像のそれぞれに設定される部分領域から累積ヒストグラムを生成するステップを含む、請求項１～１１のいずれか１項に記載の画像処理方法。
13. 　前記第１画像の部分領域と前記第２画像の部分領域は、両者の一致度に基づいて設定される、請求項１２に記載の画像処理方法。
14. 　前記第１画像の部分領域と前記第２画像の部分領域は、オクルージョン領域を除外するように設定される、請求項１２に記載の画像処理方法。
15. 　画像処理装置であって、
    　少なくとも第１画像および第２画像に含まれる画素の濃度値についての累積ヒストグラムをそれぞれ生成する生成手段と、
    　累積ヒストグラムのヒストグラム度数および濃度値を含んで定義される空間において、前記第１画像から生成された第１ヒストグラム上の濃度値と前記第２画像から生成された第２ヒストグラム上の濃度値との間の距離を算出する算出手段と、
    　算出した濃度値間の距離に基づいて、前記第１画像に含まれる濃度値と前記第２画像に含まれる濃度値との対応関係を決定するとともに、決定した対応関係から前記第１画像と前記第２画像との間で濃度値を補正するための変換関数を決定する決定手段とを備える、画像処理装置。
16. 　画像処理プログラムであって、コンピューターに、
    　少なくとも第１画像および第２画像に含まれる画素の濃度値についての累積ヒストグラムをそれぞれ生成する生成ステップと、
    　累積ヒストグラムのヒストグラム度数および濃度値を含んで定義される空間において、前記第１画像から生成された第１ヒストグラム上の濃度値と前記第２画像から生成された第２ヒストグラム上の濃度値との間の距離を算出する算出ステップと、
    　算出した濃度値間の距離に基づいて、前記第１画像に含まれる濃度値と前記第２画像に含まれる濃度値との対応関係を決定するとともに、決定した対応関係から前記第１画像と前記第２画像との間で濃度値を補正するための変換関数を決定する決定ステップとを実行させる、画像処理プログラム。

Images