JP6501257B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

監視カメラで撮影された画像から抽出した色情報に基づいて、移動する人をその人が着用する衣服等の色を判別することで同定する技術がある。色判別により人を同定する場合、環境光の違いによって色ずれが生じることがあり、色判別に影響を及ぼすことがある。そのため、例えば、特許文献１に記載されているように、入力された画像に対して分光画像処理を施すことで、当該画像が撮影されたときの照明用光源（環境光）の影響を除去する技術もある。

特開２００９−２３１９２１号公報

しかしながら、光源の影響を完全に除去する技術は存在しておらず、環境光の違いにより適切に色判別できない場合がある。

本発明は、時間的または空間的に環境光の変化がある撮影環境であっても、撮影対象の色を適切に判別する画像処理装置、画像処理方法、及びプログラムを提供することを目的の一つとする。

本発明の一態様は、入力される画像内にある少なくとも一の固定物を決定し、決定した前記固定物の色を判定するとともに、判定した色を前記固定物の基準色として記憶部に記憶する固定物決定部と、入力される画像内における対象の有無を判定する判定部と、前記判定部により、入力される画像内に前記対象があると判定された場合、当該画像内にある前記固定物の色と前記記憶部に記憶されている前記基準色とに基づいて、入力される画像に対して色補正処理を行う画像処理部と、を備え、前記画像処理部は、入力される画像内に複数の前記固定物がある場合、複数の前記固定物のうち前記対象に距離が最も近い固定物の色と当該固定物の前記基準色とに基づいて、入力される画像に対する色補正処理を行う画像処理装置である。

本発明によれば、時間的または空間的に環境光の変化がある撮影環境であっても、撮影対象の色を適切に判別できる。

第１の実施形態に係る撮像装置のハードウェア構成の一例を示すブロック図。 第１の実施形態に係る撮像装置の機能構成の一例を示すブロック図。 第１の実施形態に係る画像処理装置の機能構成の一例を示すブロック図。 撮像部のレンズの特性による直線距離の違いを説明する図。 第１の実施形態に係る色補正処理の一例を示すフローチャート。 撮影画像を分割して固定物を決定した場合の具体的なイメージを示す図。 撮影画像の他の分割例を示す図。 第２の実施形態に係る色補正処理の一例を示すフローチャート。 第３の実施形態に係る色補正処理の一例を示すフローチャート。 第４の実施形態に係る画像処理装置の機能構成の一例を示すブロック図。 第４の実施形態に係る色補正処理の一例を示すフローチャート。 第５の実施形態に係る画像処理装置の機能構成の一例を示すブロック図。 調整用画像と基準物情報とを取得する処理の一例を示すフローチャート。 調整用画像の一例を示す図。 第５の実施形態に係る色補正処理の一例を示すフローチャート。

以下、図面を参照して、本発明の実施の形態について説明する。
[第１の実施形態]
まず、本発明の第１の実施形態について説明する。
（撮像装置１０のハードウェア構成）
図１は、本実施形態に係る撮像装置１０のハードウェア構成の一例を示すブロック図である。撮像装置１０は、ＣＰＵ１１と、通信部１２と、メモリ１３と、撮像部１４とを備える。ＣＰＵ１１と、通信部１２と、メモリ１３と、撮像部１４とは、バスＢ（母線）を介して相互に接続される。

ＣＰＵ１１は、中央演算処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含んで構成され、メモリ１３が記憶するプログラムや各種データを読み出して実行し、撮像装置１０の各部を制御する。

通信部１２は、例えば、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ、または公衆無線（３Ｇ、ＷｉＭＡＸ、ＬＴＥ、４Ｇ等）等によって構成される通信ネットワークを介して接続されるサーバ装置２０と通信を行う。

メモリ１３は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ；ランダムアクセスメモリ）、マスクＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ロム）、ＦｅＲＡＭ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：強誘電体メモリ）、フラッシュメモリ、メモリカード、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ；ソリッドステートドライブ）などのメモリであり、ＣＰＵ１１が実行するプログラムおよびＣＰＵ１１が当該プログラムを実行する際に必要となるデータを記憶する。当該プログラムには、アプリケーションやミドルウェア、デバイスドライバ、ＯＳ（オペレーションシステム）等も含まれる。

撮像部１４は、撮影対象を撮影するカメラであり、ＣＭＯＳ等の撮像素子、撮影対象からの入射光を撮像素子に受光させるためのレンズ、撮像素子が受光した撮像データを所定のデジタル画像（撮影画像）に変換する撮像処理部等を備えている。

（撮像装置１０の機能構成）
図２は、本実施形態に係る撮像装置１０の機能構成の一例を示すブロック図である。
この図において、制御部１１０は、図１のＣＰＵ１１がメモリ１３に記憶されているプログラムや各種データに基づいて実行する構成に相当する。また、通信部１２０は図１の通信部１２の機能構成に相当し、記憶部１３０は図１のメモリ１３に相当し、撮像部１４０は、図１の撮像部１４に相当する。

ところで、撮影された画像から抽出した色情報に基づいて、移動する人（即ち、撮影対象）をその人が着用する衣服等の色を判別することで同定する技術がある。この技術のように色判別を行う場合、環境光（照明光）の違いを完全に除去する技術が現時点では存在しないため、色の見え方の差異による色判別の精度低下が避けられない。例えば、所謂オートホワイトバランス（ＡＷＢ）では、撮影シーンによって補正不足または過補正になるなど適切に環境光の影響を除外できない場合がある。一方、ホワイトバランスをマニュアルで補正する方法もあるが、手間が掛かるため現実的では無い。また、環境光の影響を除外しない状態で色判別する方法としては、ある程度近い色を同じ色としてグルーピングして色判別を行う方法があるが、実質的に分別できる色数が減ってしまい色判別の精度が低下する。

そこで、本実施形態に係る撮像装置１０は、撮影対象に距離が近い固定物の色を基準にして、撮影対象が撮影された撮影画像の色補正を行う。撮影対象とは、例えば、人、動物、車等の移動体であり、撮影画像から同定または識別する対象となるものである。例えば、撮像装置１０は、大規模店舗内に監視カメラとして設置されたり、道路に定点観測カメラとして設置されたりして、撮影対象を同定または識別するための画像を撮影する。

例えば、撮像装置１０は、時間的または空間的に環境光の変化があった場合でも、撮影画像内の固定物の色を基準として撮影画像に色補正処理を行う。時間的な環境光の変化とは、例えば屋外で、昼は晴天時の太陽光や曇天時の太陽光等、夕方は夕焼けの太陽光、夜は街灯、といったように時間によって環境光が変化することを指している。また、空間的な環境光の変化とは、例えば部屋の中で、窓側（日向）は太陽光、部屋の奥（日陰）は照明光、といったように場所（空間）によって環境光が変化することを指している。

一例として、撮像装置１０が道路に定点観測カメラとして設置され、道路や交差点を通過する人や車を同定または識別するための画像を撮影する場合、固定物は、道路上の白線（区画線、道路表示、横断歩道、ゼブラゾーン等）である。例えば、撮像装置１０は、時間的または空間的に環境光の変化があった場合でも、道路上の白線の色を基準として撮影画像に色補正処理を行う。これにより、撮像装置１０は、時間的または空間的に環境光の変化があった場合でも、例えば、道路や交差点を通過する人や車等の撮影対象の検索及び追跡が可能となり、適切に撮影対象を同定または識別できるようになる。

なお、固定物の色（即ち、基準色とする色）は、「白」に限られるものではなく、色による抽出が可能な色範囲であって色補正（ホワイトバランス調整）が可能であれば、他の色であってもよい。なお、「撮影対象に当たっている光と同じ（類似した）色合いの光が固定物にも当たっていること」、「言葉通りに、固定されている物（動かない物、元々の色に変化が無い物）であること」等が固定物の決定基準に含まれてもよい。また、「自ら発光していないこと」も固定物の決定基準に含まれてもよい。例えば、固定物の光が撮影対象に当たって撮影画像に反映されている場合には、固定物としても決定してもよい場合があるが、そうでない場合には基準色として不適切であるため、固定物として決定することも不適切である。

（色補正処理を実行する画像処理装置１００の機能構成）
次に、本実施形態に係る撮像装置１０が実行する色補正処理に関する機能構成について、具体的に説明する。
図３は、本実施形態に係る撮像装置１０において色補正処理を行う画像処理装置１００の機能構成の一例を示すブロック図である。なお、この図において、図２の各部に対応する構成には同一の符号を付している。

図示する撮像装置１０が備える画像処理装置１００は、撮像装置１０が実行する色補正処理を含む画像処理を実行する構成であり、画像取得部１１１と、固定物決定部１１２と、撮影対象判定部１１３と、固定物判定部１１４と、画像処理部１１５と、画像送信部１１６と、固定物記憶部１３１とを備えている。ここで、画像処理装置１００が備える各部のうち、画像取得部１１１と、固定物決定部１１２と、撮影対象判定部１１３と、固定物判定部１１４と、画像処理部１１５と、画像送信部１１６とは、制御部１１０が備える構成であり、固定物記憶部１３１は記憶部１３０が備える構成である。

画像取得部１１１は、撮像部１４０が撮影した撮影画像（映像）を取得する。例えば、画像取得部１１１は、撮像部１４０が撮影した撮影画像を１フレーム毎、または複数フレームをまとめて取得する。また、画像取得部１１１は、取得した撮影画像を、固定物決定部１１２、撮影対象判定部１１３、及び画像処理部１１５に出力する。

固定物決定部１１２は、画像取得部１１１から出力される撮影画像を取得し、取得した撮影画像から固定物を抽出して決定する。なお、固定物決定部１１２は、取得した撮影画像に複数の固定物が含まれている場合、複数の固定物を抽出して決定してもよい。即ち、固定物決定部１１２は、画像取得部１１１から入力される撮影画像内にある少なくとも一の固定物を決定する。例えば、固定物決定部１１２は、「画像認識による固定物の抽出」、または「色情報による固定物の抽出」の一方または両方を用いて、撮影画像から固定物の抽出、評価、及び決定を行う。

例えば、「画像認識による固定物の抽出」では、固定物決定部１１２は、屋外であれば、道路や道路周辺に存在しそうな物（白線、道路標識、ガードレール等）を認識して、固定物として抽出する。また、固定物決定部１１２は、屋内であれば、壁、床等を認識して、固定物として抽出する。なお、「道路であるか否か」、「予め想定している物か否か」等、事前に設定された特定の物を画像認識（特定物体認識）するだけではなく、撮影画像の複数のフレームに亘って動きがない物等を認識、分類（一般物体認識）し、固定物として抽出してもよい。

また、「色情報による固定物の抽出」では、固定物決定部１１２は、撮影画像の色情報をＹＵＶ等に変換し、周辺に比べて輝度が高い部分に注目することで、所定の色情報（色範囲）に合致する部分を固定物として抽出してもよい。この場合、固定物決定部１１２は、注目した部分が固定物であるか否かを判定するために、複数のフレームに亘って動きがないことを監視することや、画像認識等と連携して、最終的に固定物を決定する。ここで、所定の色情報（色範囲）とは、固定物の基準色となる色であり、例えば「白」（所定の「白」の色範囲）である。但し、固定物の基準色としては、「白」に限られるものではなく、色による抽出が可能な色範囲であって色補正（ホワイトバランス調整）が可能であれば、他の色であってもよい。

また、固定物決定部１１２は、決定した固定物に関する固定物情報を固定物記憶部１３１に記憶する。固定物情報には、例えば、撮影画像内における固定物の位置情報、範囲情報、及び色情報（基準色情報）等が含まれる。固定物の位置情報には、例えば代表位置を示す位置情報（例えば、撮影画像上のＸＹ座標）が含まれる。固定物の範囲情報は、固定物の範囲を示す範囲情報（撮影画像上のＸＹ座標をベースに、例えば、左上座標＆右下座標で表される矩形領域や、複数の頂点座標による多角形領域等）が含まれる。また、固定物の色情報（基準色情報）には、決定した固定物の色情報（代表位置における色情報（ＹＵＶ、ＲＧＢ、ＨＳＶ）等）が基準色の色情報として含まれる。

なお、固定物情報には、固定物の種類（道路の白線、道路標識、ガードレール等）、固定物のオブジェクト情報（形状、向き等）、または固定物情報の確度やスコア（評点）が含まれてもよい。スコア（評点）は、例えば、０〜１００％等、固定物の基準としての相応しさを評価した点である。なお、スコア（評点）は、「総合評点」のように１つの値（スカラ−）でもよいし、「色評点と状態評点と・・・」のように複数の値（ベクトル）でもよい。

また、固定物情報には、固定物情報を記憶した日時情報が含まれてもよい。例えば、１回に取得した撮影画像だけでは、固定物情報を決定できない場合がある。その場合、固定物決定部１１２は、固定物を決定する処理の進捗（未確定、抽出済み、評価中、決定済み、削除（除外）等）を日時情報とともに固定物記憶部１３１に記憶し、以後の処理の補助として利用してもよい。

なお、上記では「固定物の色情報」を、「代表位置の色情報」とする例を説明したが、「代表位置周辺の色情報の代表値(平均、メディアン、モード)」としてもよい。代表位置の色情報とした場合には、処理が簡単になるというメリットがある。一方、代表位置周辺の色情報の代表値とした場合には、処理が複雑にはなるが、代表位置の色（色情報）がたまたま何らかの理由で変色した場合でも、固定物の色情報を代表位置を含む周辺の色情報の代表値とするため、より適切に固定物の色情報を表すことができるメリットがある。

撮影対象判定部１１３は、画像取得部１１１から出力される撮影画像を取得し、取得した撮影画像に撮影対象があるか否かを判定する。即ち、撮影対象判定部１１３は、画像取得部１１１から入力される撮影画像内における撮影対象の有無を判定する。
ここで、撮影対象とは、基本的には、場所に固定された物ではなく、撮影範囲で移動する物が対象となる。前述したように、人（通行人、買い物客、従業員、作業員等）、動物（ペット（犬、猫等）、家畜、野良犬、野良猫、野生動物等）、車（自家用車、商用車（貨物、乗用）、二輪車等）等が撮影対象となるが、例えば人が所持している物（鞄、荷物、パソコン等）も撮影対象としてもよい。

撮影対象判定部１１３は、取得した撮影画像から撮影対象を抽出する抽出処理を行う。例えば、撮影対象判定部１１３は、少なくとも２つの撮影画像（フレーム）から色情報を抽出し、抽出した色情報に基づいて少なくとも２つの撮影画像（フレーム）内にある移動体を撮影対象として抽出する。そして、撮影対象判定部１１３は、取得した撮影画像から撮影対象を抽出した場合には、取得した撮影画像に撮影対象があると判定し、抽出した撮影対象に関する撮影対象情報を固定物判定部１１４に出力する。一方、撮影対象判定部１１３は、取得した撮影画像から撮影対象を抽出できなかった場合には、取得した撮影画像に撮影対象がないと判定し、撮影対象が無いことを示す情報を、固定物判定部１１４に出力する。

撮影対象情報には、例えば、撮影対象の位置情報、範囲情報、及び色情報等が含まれる。撮影対象の位置情報には、例えば撮影対象の代表位置を示す位置情報（例えば、撮影画像上のＸＹ座標）が含まれる。撮影対象の範囲情報には、撮影対象の範囲（撮影画像上のＸＹ座標をベースに、例えば、左上座標＆右下座標で表される矩形領域や、複数の頂点座標による多角形領域等）を示す範囲情報が含まれる。また、撮影対象の色情報には、例えば、撮影対象の代表位置における色情報（ＹＵＶ、ＲＧＢ、ＨＳＶ）等）が含まれる。なお、撮影対象情報には、必要に応じて、撮影対象の種類（人、動物、車、物等）を示す情報、撮影対象のオブジェクト情報（形状、向き等）等が含まれてもよい。

なお、上記では、「撮影対象の色情報」を、「代表位置の色情報」とする例を説明したが、「代表位置周辺の色情報の代表値(平均、メディアン、モード)」としてもよい。代表位置の色情報とした場合には、処理が簡単になるというメリットがある。一方、代表位置周辺の色情報の代表値とした場合には、処理が複雑にはなるが、代表位置の色（色情報）がたまたま何らかの理由で変色した場合でも、撮影対象の色情報を代表位置を含む周辺の色情報の代表値とするため、より適切に撮影対象の色情報を表すことができるメリットがある。

固定物判定部１１４は、固定物記憶部１３１に記憶されている固定物情報を参照して、撮影対象判定部１１３が抽出した撮影対象と距離が近い（最寄りの）固定物を判定する。例えば、固定物判定部１１４は、撮影対象判定部１１３により撮影対象があると判定された場合、撮影対象判定部１１３から出力された撮影対象の位置情報を取得し、撮影対象の代表位置（例えば、撮影画像上のＸＹ座標）と、固定物の代表位置（例えば、撮影画像上のＸＹ座標）との直線距離に基づいて、撮影対象に距離が近い固定物（例えば、最も近い固定物）を抽出する。

ここで、撮像部１４０から固定物または撮影対象までの距離によって、撮影画像上の距離と実際の距離との関係が変化するため、固定物判定部１１４は、撮像部１４０から固定物または撮影対象までの距離に応じて補正して、２点間の距離を判定する。例えば、撮像部１４０から固定物または撮影対象までの距離が近い場合には、撮影画像上での距離と実際の距離との差が小さく、撮像部１４０から固定物または撮影対象までの距離が遠い場合には、撮影画像上での距離と実際の距離との差が大きい。

また、撮像部１４０のレンズの特性等の関係により、撮影画像上の２点間の直線距離が、その直線の方向（水平方向や垂直方向等）によって、実際の２点間の直線距離と乖離する場合がある。その場合、固定物判定部１１４は、レンズの特性に基づいて撮影画像上のＸＹ座標の距離間隔を補正して、２点間の距離を判定する。

図４は、撮像部１４０のレンズの特性による直線距離の違いを説明する図である。
図示する例では、撮像部１４０は、水平方向に曲率が大きく垂直方向の曲率が０のかまぼこ型的なレンズを有している。水平方向とは、この撮像部１４０により撮影された撮影画像Ｇ１０の符号Ｈの矢印で示す方向である。また、垂直方向とは、この撮像部１４０により撮影された撮影画像Ｇ１０の符号Ｖの矢印で示す方向である。

ここで、撮影対象Ｐ１と固定物Ｋ１との撮影画像上の距離が距離ａであるとし、撮影対象Ｐ１と固定物Ｋ２との撮影画像上の距離が距離ｂであるとし、「撮影画像上の距離ａ＜撮影画像上の距離ｂ」の関係であるとする。この場合、水平方向と垂直方向との曲率が等しいレンズで撮影された撮影画像であれば、「撮影対象Ｐ１と固定物Ｋ１との実際の距離＜撮影対象Ｐ１と固定物Ｋ２との実際の距離」となり、固定物Ｋ１が撮影対象Ｐ１に距離が最も近い固定物と判定される。しかし、図示する例では、撮影画像Ｇ１０は、かまぼこ型的なレンズで撮影された撮影画像であるため、垂直方向に比べて水平方向の方が実際の像よりも縮小される。例えば、垂直方向にはそのままの縮尺で撮影され、水平方向には実際の象より縮小されて撮影される。レンズの特性に基づいて映像上のＸＹ座標を補正し、「撮影対象Ｐ１と固定物Ｋ１との実際の距離＞撮影対象Ｐ１と固定物Ｋ２との実際の距離」となれば、結果として固定物Ｋ２が最も近い固定物と判定される。

なお、撮像部１４０のレンズが魚眼レンズであった場合には、一般的に、撮影画像の中心付近は歪みが小さく（縮小があまり無い）、撮影画像の縁付近は歪みが大きい（縮小が大きい）といった傾向になる。そのため、固定物判定部１１４は、円座標系で考えて、撮影画像の中心から各点への動径（ｒ）と偏角(θ)を基にＸＹ座標を補正して、２点間の距離を判定する。

固定物判定部１１４は、撮影画像内で撮影対象に近い（最寄りの）の固定物を一以上抽出できた場合、撮影対象に近い（最寄りの）固定物があると判定する。一方、固定物判定部１１４は、撮影画像内で近い（最寄りの）固定物が一つもなければ、撮影対象に近い（最寄りの）固定物がないと判定する。なお、固定物判定部１１４は、撮影対象から所定の距離以上離れている固定物を、最寄りの固定物の候補から外してもよい。その場合、固定物判定部１１４は、撮影対象から所定の距離未満の固定物の中から撮影対象に近い（最寄りの）固定物を抽出し、撮影対象から所定の距離未満の中に固定部がない場合には、所定の距離以上離れている固定物があったとしても、撮影対象に近い（最寄りの）固定物がないと判定する。

そして、固定物判定部１１４は、撮影対象に近い（最寄りの）固定物があると判定した場合、撮影画像に対する色補正処理で用いる色補正パラメータを生成して、画像処理部１１５に設定する。ここで、固定物判定部１１４は、固定物記憶部１３１に記憶されている、撮影対象に近い（最寄りの）固定物の基準色に、その固定物の代表位置における現在の色（撮影画像において、固定物の代表位置における色）を近づける色補正を画像処理部１１５で行うための色補正パラメータを生成する。

色補正処理としては、一般的に撮影画像内の各画素のＲ、Ｇ、Ｂ成分毎に補正係数を掛けてバランスを補正するものがある。また、理想的な黒体を想定して色温度により補正係数を算出する方法等もある。一般化すると、色を示すＮ次元空間（ＹＵＶやＲＧＢなど、Ｎ＝３が一般的）のある点からある点への写像となるので、Ｎ次元のマトリックス演算が中心となる。例えば、基準点と実測点から適用する写像の方式に従ってマトリックスの係数（係数が値でなく関数の場合もあり）が決定され、決定されたマトリックスを基に、色補正を行う各点（各色）の写像が実施される。

色補正処理及び色補正パラメータの生成については、公知の各種技術を適用することができ、ここでは具体的な説明を省略する。公知の例としては、例えば、特開平８−３２８２６、特開２００５−４５４４６、及び特開２００７−８１５８０等に開示されている。

なお、撮影対象と固定物の位置関係によっては、撮影対象と固定物とが重なって固定物の代表位置での現在の色が取得できないケースが考えられる。その場合、固定物判定部１１４は、固定物記憶部１３１に記憶されている固定物情報に含まれている固定物の範囲を利用し、撮影対象と固定物が重なっていない位置で固定物の現在の色を取得してもよい。

一方、固定物判定部１１４は、撮影対象に近い（最寄りの）固定物がないと判定した場合には、色補正パラメータを生成しないで、色補正パラメータに「補正なし」を示す情報を設定する。「補正なし」を示す情報とは、例えば、色補正がされない色補正パラメータ（補正係数＝１）である。なお、固定物判定部１１４は、撮影対象に近い（最寄りの）固定物がないと判定した場合、色補正処理をしないことを示す情報を設定してもよい。

画像処理部１１５は、固定物判定部１１４により生成された色補正パラメータを用いて色補正処理を行う。例えば、画像処理部１１５は、撮影画像の各フレームの全体の領域に対して同様に、上記色補正パラメータを用いて色補正処理を行う。また、画像処理部１１５は、色補正後の撮影画像を所定のデータ形式及び圧縮方式に変換した画像データを生成する。なお、固定物判定部１１４により色補正パラメータに「補正なし」が設定された場合には、撮影画像に対して色補正を行わないで、所定のデータ形式及び圧縮方式に変換した画像データを生成する。

画像送信部１１６は、画像処理部１１５が生成した画像データ（例えば、色補正後の画像データ）を、通信部１２０を介してサーバ装置２０に送信する。なお、画像処理部１１５が生成した画像データは、サーバ装置２０に送信されずに、撮像装置１０内の記憶部１３０に記録（録画）されてもよい。

このように、撮像装置１０の画像処理装置１００は、撮影対象に距離が近い固定物の色を基準にして、撮影対象が撮影された撮影画像の色補正を行うので、時間的または空間的に環境光の変化がある撮影環境であっても、色補正された撮影画像から撮影対象の色を適切に判別することができる。また、この色補正後の撮影画像を用いることで、例えば、サーバ装置２０は、時間的または空間的に環境光の変化がある撮影環境であっても、撮影画像から撮影対象の色に基づいて、撮影対象を適切に同定または識別することが可能となる。

（色補正処理の動作）
次に、図５を参照して、本実施形態に係る画像処理装置１００が実行する色補正処理の動作を説明する。図５は、本実施形態に係る色補正処理の一例を示すフローチャートである。

（ステップＳ１０１）画像取得部１１１は、撮像部１４０が撮影した撮影画像（映像）を取得し、取得した撮影画像を、固定物決定部１１２、撮影対象判定部１１３、及び画像処理部１１５に出力する。例えば、画像取得部１１１は、撮像部１４０が撮影した撮影画像を１フレーム毎、または複数フレームをまとめて取得する。

（ステップＳ１０２）固定物決定部１１２は、固定物記憶部１３１を参照して、画像取得部１１１から出力された撮影画像に対する固定物情報が既に記憶されているか否かに基づいて、固定部が決定済みであるか否かを判定する。固定部が決定済みであると判定された場合（ＹＥＳ）、固定物決定部１１２は、ステップＳ１１１に処理を進める。一方、固定部が決定済みでないと判定された場合（ＮＯ）、固定物決定部１１２は、ステップＳ１０６に処理を進める。

（ステップＳ１０６）固定物決定部１１２は、画像取得部１１１から出力される撮影画像を取得し、取得した撮影画像から固定物の抽出、評価、及び決定を行う。例えば、固定物決定部１１２は、屋外であれば、道路や道路周辺に存在しそうな物（白線、道路標識、ガードレール等）を認識して、固定物として抽出する。

（ステップＳ１０７）固定物決定部１１２は、決定した固定物に関する固定物情報を固定物記憶部１３１に記憶する。固定物情報には、撮影画像内における固定物の位置情報、及び固定物の色情報（基準色情報）等が含まれる。そして、ステップＳ１１１の処理に進む。

（ステップＳ１１１）撮影対象判定部１１３は、画像取得部１１１から出力される撮影画像を取得し、取得した撮影画像から撮影対象を抽出する抽出処理を行う。そして、撮影対象判定部１１３は、ステップＳ１１２に処理を進め、取得した撮影画像に撮影対象があるか否かを判定する。

（ステップＳ１１２）撮影対象判定部１１３は、取得した撮影画像から撮影対象を抽出した場合には、取得した撮影画像に撮影対象があると判定し（ＹＥＳ）、抽出した撮影対象の代表位置を示す位置情報（例えば、撮影画像上のＸＹ座標）を、固定物判定部１１４に出力する。そして、ステップＳ１１３の処理に進む。一方、撮影対象判定部１１３は、取得した撮影画像から撮影対象を抽出できなかった場合には、取得した撮影画像に撮影対象がないと判定し（ＮＯ）、ステップＳ１１６に処理を進める。

（ステップＳ１１３）固定物判定部１１４は、撮影対象判定部１１３が抽出した撮影対象と距離が近い（最寄りの）固定物を判定する。例えば、固定物判定部１１４は、撮影対象判定部１１３から出力された撮影対象の位置情報を取得し、撮影対象の代表位置（例えば、撮影画像上のＸＹ座標）と、固定物の代表位置（例えば、撮影画像上のＸＹ座標）との直線距離に基づいて、撮影対象に距離が近い固定物（例えば、最も近い固定物）を抽出する。

（ステップＳ１１４）固定物判定部１１４は、撮影画像内で撮影対象に近い（最寄りの）の固定物を一以上抽出できた場合、撮影対象に近い（最寄りの）固定物があると判定し（ＹＥＳ）、ステップＳ１１５に処理を進める。一方、固定物判定部１１４は、撮影画像内で近い（最寄りの）固定物が一つもなければ、撮影対象に近い（最寄りの）固定物がないと判定し（ＮＯ）、ステップＳ１１６に処理を進める。

（ステップＳ１１５）ステップＳ１１４において撮影対象に近い（最寄りの）固定物があると判定された場合、固定物判定部１１４は、その固定物の基準色情報と現在の色情報とに基づいて色補正パラメータを生成して、画像処理部１１５に設定する。そして、ステップＳ１２１の処理に進む。

（ステップＳ１１６）、ステップＳ１１２において撮影画像に撮影対象がないと判定された場合、またはステップＳ１１４おいて撮影対象に近い（最寄りの）固定物がないと判定された場合、固定物判定部１１４は、色補正パラメータに「補正なし」を示す情報を設定する。そして、ステップＳ１２１の処理に進む。

（ステップＳ１２１）画像処理部１１５は、固定物判定部１１４により設定された色補正パラメータを用いて色補正処理を行う。例えば、画像処理部１１５は、撮影画像の各フレームの全体の領域に対して同様に、上記色補正パラメータに基づいて色補正処理を行う。また、画像処理部１１５は、色補正後の撮影画像を所定のデータ形式及び圧縮方式に変換した画像データを生成する。

（ステップＳ１２２）画像送信部１１６は、画像処理部１１５が生成した画像データ（例えば、色補正後の画像データ）を、通信部１２０を介してサーバ装置２０に送信する。

（固定物決定処理の具体例）
次に、上述したステップＳ１０６で固定物決定部１１２が固定物を決定する処理の具体例を説明する。
例えば、固定物決定部１１２は、画像取得部１１１から取得した撮影画像を水平及び垂直にそれぞれＭ×Ｎ分割し（Ｍ、Ｎは正の整数）、分割した各領域の中で、固定物を抽出、評価、及び決定する。

図６は、撮影画像を３×３分割して固定物を決定した場合の具体的なイメージを示す図である。この図では、実線で囲まれた９つの領域（ＧＳ１〜ＧＳ９）の各領域において、破線で囲まれた固定物（ここでは、道路の白線）が固定物として決定された例を示している。なお、撮影画像を何分割にするかは、撮像装置１０が設置される環境等に応じて、任意に設定または変更できるようにしてもよい。

また、固定物決定部１１２は、撮影画像を水平及び垂直の線分で領域分割するのではなく、任意の線分で領域分割してもよい。図７は、撮影画像の他の分割例を示す図である。
この図では、撮像装置１０は、画像認識によって、撮像装置１０の設置場所が交差点であると認識し、縦横（場合によっては斜め）に伸びる道路の向き（図７において破線の矢印で示す向き）を認識し、その道路の向きに合わせる形で、自由な方向の線分（図７において実線で示す線分）で領域を区切って分割している例を示している。この例の場合には、単純に水平及び垂直の直線による領域分割と違い、撮影画像の各領域を機能的に区分（道路、歩道など）されるため、より適切に固定物を決定して撮影対象に合わせた色補正ができる場合がある。なお、撮影画像を領域分割する線分は、直線に限らず曲線としてもよい。

以上説明してきたように、本実施形態に係る撮像装置１０において、画像処理装置１００は、固定物決定部１１２と、撮影対象判定部１１３（判定部の一例）と、画像処理部１１５を備えている。固定物決定部１１２は、入力される撮影画像内にある少なくとも一の固定物を決定する。撮影対象判定部１１３は、入力される画像内における撮影対象（対象の一例）の有無を判定する。そして、画像処理部１１５は、撮影対象判定部１１３により、入力される撮影画像内に撮影対象があると判定された場合、固定物の色に基づいて、入力される撮影画像に対して色補正処理を行う。

このように、本実施形態に係る画像処理装置１００は、撮影画像内の固定物の色に基づいて撮影画像の色補正を行うので、時間的または空間的に環境光の変化がある撮影環境であっても、撮影対象の色を適切に判別できる。即ち、時間的または空間的な環境光の変化の影響を除外（または抑制）して精度よく色判別できる。

例えば、撮影対象判定部１１３は、入力される少なくとも２つの撮影画像（フレーム）から色情報を抽出し、抽出した色情報に基づいて少なくとも２つの画像内にある移動体を撮影対象として抽出する。
これにより、画像処理装置１００は、撮影画像内で移動する撮影対象を、精度の高い色判別により抽出することができる。よって、本実施形態によれば、時間的または空間的に環境光の変化がある撮影環境であっても、撮影対象の検索及び追跡が可能となり、安定した撮影対象の同定または識別が可能となる。

また、固定物決定部１１２は、決定した固定物の色を判定するとともに、判定した色を固定物の基準色として固定物記憶部１３１に記憶する。そして、画像処理部１１５は、撮影対象判定部１１３により、入力される撮影画像内に撮影対象があると判定された場合、当該撮影画像内にある固定物の色（即ち、現在の固定物の色）と固定物記憶部１３１に記憶されているその固定物の基準色とに基づいて、入力される撮影画像に対して色補正処理を行う。これにより、画像処理装置１００は、撮影画像内の固定物の基準色と現在の色とに応じて色補正することにより、時間的または空間的な環境光の変化の影響を除外（または抑制）できる。

また、画像処理部１１５は、入力される撮影画像内に複数の固定物がある場合、複数の固定物のうち撮影対象に距離が最も近い固定物の色と当該固定物の基準色とに基づいて、入力される撮影画像に対する色補正処理を行う。これにより、画像処理装置１００は、撮影対象に対する環境光に最も近い固定物の色を利用することで、撮影画像に対して精度よく色補正でき、撮影対象の色を適切に判別できる。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。
本実施形態に係る撮像装置１０及びの撮像装置１０が備える画像処理装置１００の基本的な構成は、第１の実施形態と同様であるため、本実施形態において特徴的な処理について説明する。本実施形態では、画像処理装置１００は、撮影画像内の固定物を随時再評価し、不適切な固定物を除外して、より適切な固定物を利用して色補正処理を行う。

図８は、本実施形態に係る色補正処理の一例を示すフローチャートである。この図を参照して、本実施形態に係る画像処理装置１００が実行する色補正処理の動作を説明する。この図に示す処理は、ステップＳ２０３、Ｓ２０４、及びＳ２０５の処理が追加された点が、図５に示す処理と異なる。この図８において、図５の各処理に対応する処理には同一の符号を付しており、その説明を省略する。

（ステップＳ２０３）ステップＳ１０２において固定部が決定済みであると判定された場合（ＹＥＳ）、固定物決定部１１２は、固定物記憶部１３１から固定物情報を読み出し、画像取得部１１１が取得した撮影画像を解析することにより、読み出した固定物情報により示される固定物の再評価を行う。再評価とは、例えば、以前に決定された固定物が、その後もちゃんと固定されている状態であるか否か等、固定物として適切であるか否かを判定することをいう。

なお、固定物決定部１１２は、撮影画像をゼロベースで解析して、新しく、より良い固定物の抽出、評価、及び決定を行ってもよい。（以下、これを再抽出ともいう）。固定物の抽出、評価、及び決定を行う処理は、図５のステップＳ１０６の処理と同様である。

例えば、固定物決定部１１２は、再評価または再抽出により、各固定物のスコア（評点）の更新または算出等を行う。そして、固定物決定部１１２は、そのスコア（評点）に基づいて、固定物の追加、入れ替え、削除等の取捨選択を行い、固定物情報を更新する。

（ステップＳ２０４）次に、固定物決定部１１２は、固定物情報に更新があるか否かを判定する。固定物情報に更新があると判定された場合（ＹＥＳ）、固定物決定部１１２は、ステップＳ２０５に処理を進める。一方、固定物情報に更新がないと判定された場合（ＮＯ）、固定物決定部１１２は、ステップＳ１１１に処理を進める。ここで、固定物情報に更新がある場合としては、固定物の追加、入れ替え、削除等が生じた場合と、固定物の追加、入れ替え、削除等は生じていないが、情報（評点等）が更新された場合との大きく分けて２パターンがある。

（ステップＳ２０５）固定物決定部１１２は、固定物記憶部１３１に記憶されている固定物情報を更新する。例えば、固定物決定部１１２は、固定物を追加した場合には、当該固定物の固定物情報を新たに固定物記憶部１３１に記憶させる。また、固定物決定部１１２は、固定物を削除した場合には、固定物記憶部１３１に記憶されている、当該固定物の固定物情報を削除するか、または当該固定物の固定物情報に含まれる「固定物を決定する処理の進捗」を「削除(除外)」に設定する。固定物情報を削除しない場合には、撮像装置１０の管理者（ユーザ）は、固定物の変遷を随時確認することができる。また、固定物決定部１１２は、必要に応じて、固定物情報を更新した日時を固定物記憶部１３１に記憶させてもよい。

以上説明したように、本実施形態に係る撮像装置１０において、画像処理装置１００の固定物決定部１１２は、一旦固定物を決定した後、新たに入力される撮影画像において、その固定物を再評価、または固定物の再抽出及び決定を行う。そして、固定物決定部１１２は、その再評価した固定物または再抽出及び決定した固定物に基づいて、固定物記憶部１３１に記憶されている固定物情報（即ち、基準色）を適切な固定物の固定物情報（即ち、基準色）に更新する。これにより、画像処理装置１００は、一旦固定物として決定されたが、その後に固定されなくなった物（移動した物、消滅した物、激しく劣化した物、撤去された物等）等のように、固定物としては不適切になった固定物を除外できる。また、画像処理装置１００は、撮像部１４０が撮影する領域内に、固定物としてさらに適切な固定物（新しく塗り替えられた道路のキレイな白線）等がある場合には、その適切な固定物に切り替えることができる。

このように、画像処理装置１００は、不適切な固定物を除外し、他にさらに適切な固定物がある場合にはその固定物に切り替える。これにより、画像処理装置１００は、より適切な固定物を利用できるようになり、より適切に撮影画像に対して色補正できるようになる。従って、本実施形態によれば、撮影対象の色判別の精度を高めることができ、安定した撮影対象の同定または識別が可能となる。

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。
本実施形態に係る撮像装置１０及びの撮像装置１０が備える画像処理装置１００の基本的な構成は、第１の実施形態と同様であるため、本実施形態において特徴的な処理について説明する。本実施形態では、画像処理装置１００は、撮影画像の１フレーム内で部分的に色補正を行う。例えば、撮影画像の１フレーム内に複数の撮影対象があり、各撮影対象に当たっている光の色合いが異なる場合がある。このような場合でも、本実施形態では、撮影画像の１フレーム内で各撮影対象の部分毎に、それぞれ個別に色補正を行うことができる。

図９は、本実施形態に係る色補正処理の一例を示すフローチャートである。この図を参照して、本実施形態に係る画像処理装置１００が実行する色補正処理の動作を説明する。この図に示す処理は、ステップＳ３１３〜Ｓ３１５、及びＳ３２１の処理が、図５に示すステップＳ１１３〜Ｓ１１５、及びＳ１２１の処理と若干異なる。この図９において、図５の各処理に対応する処理には同一の符号を付しており、その説明を省略し、異なる処理について説明する。

（ステップＳ３１３）固定物判定部１１４は、撮影対象判定部１１３により抽出された複数の撮影対象のそれぞれと距離が近い（最寄りの）固定物をそれぞれ判定する。
（ステップＳ３１４）固定物判定部１１４は、撮影対象に近い（最寄りの）固定物があると判定した場合（ＹＥＳ）、ステップＳ３１５に処理を進める。一方、固定物判定部１１４は、撮影対象に近い（最寄りの）固定物がないと判定した場合（ＮＯ）、ステップＳ１１６に処理を進める。

（ステップＳ３１５）固定物判定部１１４は、複数の撮影対象それぞれの固定物の基準色情報と現在の色情報とに基づいて、複数の撮影対象それぞれに対する色補正パラメータを生成して、画像処理部１１５に設定する。そして、ステップＳ３２１の処理に進む。例えば、色補正パラメータは、撮影対象の数に応じて複数セットとなる。また。各色補正パラメータには各撮影対象の撮影対象情報に含まれる撮影対象の範囲を示す範囲情報が含まれる。

（ステップＳ３２１）画像処理部１１５は、撮影画像内の複数の撮影対象のそれぞれに対応する部分に対して、固定物判定部１１４により設定されたそれぞれの色補正パラメータに基づいて色補正処理を行う。例えば、画像処理部１１５は、撮影画像内の各撮影対象に対して色補正処理を行う範囲を、各色補正パラメータに含まれる撮影対象の範囲に基づいて決定する。なお、画像処理部１１５は、撮影対象の範囲が十分に含まれていれば、その範囲よりも広い矩形領域や円形領域に対して色補正処理を行ってもよい。また、画像処理部１１５は、撮影画像のラスタースキャンに沿った形で矩形領域を設定した場合は、範囲内外の判定が簡素化されるため、より高速に色補正処理を行うことができる。

以上説明したように、本実施形態に係る撮像装置１０において、画像処理装置１００の画像処理部１１５は、撮影画像の全体の領域のうち、撮影対象に対応する少なくとも一部の領域に対して色補正処理を行う。これにより、本実施形態に係る画像処理装置１００は、撮影画像の１フレーム内に複数の撮影対象があり、各撮影対象に当たっている環境光の色合いが異なる場合であっても、各撮影対象に対して適切に色補正を行うことができる。従って、本実施形態によれば、撮影画像の１フレーム内に複数の撮影があり、各撮影対象に当たっている環境光の色合いが異なる場合であっても、各撮影対象の色判別の精度を高めることができ、安定して各撮影対象の同定または識別が可能となる。

なお、本実施形態では、撮影対象が複数の場合例を説明したが、撮影対象が１つの場合でも同様に本実施形態の色補正処理を適用することができる。例えば、撮影画像から抽出される撮影対象が１つの場合と複数の場合とが時系列に変化する場合でも、第１の実施形態の色補正処理と本実施形態の色補正処理とを切り替えて行わず、いずれの場合も本実施形態の色補正処理を用いることで処理を簡略化できる。

［第４の実施形態］
次に、本発明の第４の実施形態について説明する。
本実施形態では、撮影画像に対しては色補正処理を行わないで、撮影対象の色補正後の色情報をメタデータ（付随情報）に格納して、撮影画像の画像データとともに出力する例を説明する。本実施形態に係る撮像装置１０Ａのハードウェア構成は、図１に示す撮像装置１０のハードウェア構成と同様である。撮像装置１０Ａは、画像処理装置１００Ａの構成が図３に示す撮像装置１０の画像処理装置１００の構成と異なるため、図１０を参照して説明する。

図１０は、本実施形態に係る撮像装置１０Ａにおいて色補正処理を行う画像処理装置１００Ａの機能構成の一例を示すブロック図である。なお、この図において、図３の各部に対応する構成には同一の符号を付しており、その説明を省略する。

図示する撮像装置１０Ａが備える画像処理装置１００Ａは、画像取得部１１１と、固定物決定部１１２と、撮影対象判定部１１３と、固定物判定部１１４Ａと、画像処理部１１５Ａと、画像＆メタデータ送信部１１６Ａと、メタデータ生成部１１７Ａと、固定物記憶部１３１とを備えている。ここで、画像処理装置１００Ａが備える各部のうち、画像取得部１１１と、固定物決定部１１２と、撮影対象判定部１１３と、固定物判定部１１４Ａと、画像処理部１１５Ａと、画像＆メタデータ送信部１１６Ａと、メタデータ生成部１１７Ａとは、制御部１１０Ａが備える構成であり、固定物記憶部１３１は記憶部１３０が備える構成である。なお、制御部１１０Ａは、本実施形態において、ＣＰＵ１１がメモリ１３に記憶されているプログラムや各種データに基づいて実行する構成に相当する。

固定物判定部１１４Ａは、固定物記憶部１３１に記憶されている固定物情報を参照して、撮影対象判定部１１３が抽出した撮影対象と距離が近い（最寄りの）固定物を判定する。そして、固定物判定部１１４Ａは、撮影対象に近い（最寄りの）固定物があると判定した場合、その撮影対象の撮影対象情報と、その固定物の固定物情報とを関連付けてメタデータ生成部１１７Ａに出力する。一方、固定物判定部１１４Ａは、撮影対象に近い（最寄りの）固定物がないと判定した場合（撮影対象がない場合も含まれる）、撮影対象情報及び固定物情報「なし」を示す情報をメタデータ生成部１１７Ａに出力する。

また、撮影対象判定部１１３が複数の撮影対象を抽出した場合、固定物判定部１１４Ａは、撮影対象判定部１１３が抽出した複数の撮影対象のそれぞれに対して、それぞれ距離が近い（最寄りの）固定物を判定する。そして、固定物判定部１１４Ａは、複数の撮影対象のそれぞれの撮影対象情報と、それぞれに距離が近い（最寄りの）固定物のそれぞれの固定物情報とを関連付けてメタデータ生成部１１７Ａに出力する。つまり、複数の撮影対象の場合には、撮影対象情報と固定物情報とが撮影対象の数に応じた複数のセットとなる。

メタデータ生成部１１７Ａは、固定物判定部１１４Ａから出力された撮影対象情報と固定物情報とを取得すると、取得した撮影対象情報と固定物情報とに基づいて撮影対象に関する付随情報を格納するメタデータを生成する。一方、メタデータ生成部１１７Ａは、固定物判定部１１４Ａから、撮影対象情報及び固定物情報「なし」を示す情報を取得した場合、空のメタデータを生成するか、またはメタデータを生成しない。

メタデータには、基本的に全ての撮影対象に関する情報が格納されてもよい。例えば、メタデータに格納される情報には、撮影対象の代表位置、撮影対象の範囲を示す範囲情報、撮影対象の色情報（例えば、代表位置における色情報（ＹＵＶ、ＲＧＢ、ＨＳＶ）等）、撮影対象の色補正後の色情報（例えば、代表位置における色情報（ＹＵＶ、ＲＧＢ、ＨＳＶ）等）を所定の方法で色補正した色情報等）等が含まれる。なお、メタデータに格納される情報には、必要に応じて、撮影対象の種類（人、動物、車、物等）を示す情報、撮影対象のオブジェクト情報（形状、向き等）等が含まれてもよい。

また、撮影対象の色の色補正の方法は、第１の実施形態で説明した方法と基本的に同様の方法を用いることができる。例えば、メタデータ生成部１１７Ａは、第１の実施形態において図５に示す固定物判定部１１４が色補正パラメータを生成したのと同様に色補正パラメータを生成し、その色補正パラメータに基づいて、撮影対象に対して色補正処理（図５に示す画像処理部１１５が色補正処理をしたのと同様の処理）を行ってもよい。なお、固定物判定部１１４Ａが色補正パラメータを生成してメタデータ生成部１１７Ａに出力し、メタデータ生成部１１７Ａが固定物判定部１１４Ａから取得した色補正パラメータに基づいて色補正処理を行ってもよい。

なお、メタデータ生成部１１７Ａは、所定の判断基準に基づいて、当該判断基準を満たす撮影対象に関する情報のみをメタデータに格納してもよい。また、メタデータ生成部１１７Ａは、撮影対象の種類毎にメタデータを分けて、別々のメタデータを生成してもよい。

なお、「撮影対象の色情報」を、「代表位置の色情報」としてもよいが、「代表位置周辺の色情報の代表値(平均、メディアン、モード)」としてもよい。代表位置の色情報とした場合には、処理が簡単になるというメリットがある。一方、代表位置周辺の色情報の代表値とした場合には、処理が複雑にはなるが、代表位置の色（色情報）がたまたま何らかの理由で変色した場合でも、撮影対象の色情報を代表位置を含む周辺の色情報の代表値とするため、より適切に撮影対象の色情報を表すことができるメリットがある。

画像処理部１１５Ａは、所定のデータ形式及び圧縮方式に変換した画像データを生成する。例えば、画像処理部１１５Ａは、図３に示す画像処理部１１５と異なり、色補正処理を施していない画像データを生成する。

画像＆メタデータ送信部１１６Ａは、メタデータ生成部１１７Ａが生成したメタデータと、画像処理部１１５が生成した画像データ（例えば、画像処理後の画像データ）とを関連付けて、通信部１２０を介してサーバ装置２０に送信する。なお、メタデータと画像データとは、サーバ装置２０に送信されずに、撮像装置１０Ａ内の記憶部１３０に関連付けられて記録（録画）されてもよい。

図１１は、本実施形態に係る色補正処理の一例を示すフローチャートである。この図を参照して、本実施形態に係る画像処理装置１００Ａが実行する色補正処理の動作を説明する。この図に示す処理では、ステップＳ４１３〜Ｓ４１６、及びＳ４２１〜Ｓ４２３の処理が、図５に示すステップＳ１１３〜Ｓ１１６、及びＳ１２１〜Ｓ１２３の処理と異なる。この図１１において、図５の各処理に対応する処理には同一の符号を付しており、その説明を省略し、異なる処理について説明する。

（ステップＳ４１３）固定物判定部１１４Ａは、撮影対象判定部１１３が抽出した複数の撮影対象のそれぞれに対して、それぞれ距離が近い（最寄りの）固定物を判定する。
（ステップＳ４１４）固定物判定部１１４Ａは、撮影対象に近い（最寄りの）固定物があると判定した場合（ＹＥＳ）、ステップＳ４１５に処理を進める。一方、固定物判定部１１４Ａは、撮影対象に近い（最寄りの）固定物がないと判定した場合（ＮＯ）、ステップＳ４１６に処理を進める。

（ステップＳ４１５）ステップＳ４１３において撮影対象に近い（最寄りの）固定物があると判定された場合、固定物判定部１１４Ａは、その撮影対象の撮影対象情報と、その固定物の固定物情報とを関連付けてメタデータ生成部１１７Ａに出力する。

（ステップＳ４１６）固定物判定部１１４Ａは、撮影対象に近い（最寄りの）固定物がないと判定した場合（撮影対象がない場合も含まれる）、撮影対象情報及び固定物情報「なし」を示す情報をメタデータ生成部１１７Ａに出力する。

（ステップＳ４２１）画像処理部１１５Ａは、所定のデータ形式及び圧縮方式に変換した画像データを生成する。例えば、画像処理部１１５Ａは、図３に示す画像処理部１１５と異なり、色補正処理を施していない画像データを生成する。

（ステップＳ４２２）メタデータ生成部１１７Ａは、固定物判定部１１４Ａから出力された撮影対象情報と固定物情報とを取得すると、取得した撮影対象情報と固定物情報とに基づいて撮影対象に関する付随情報を格納するメタデータを生成する。一方、メタデータ生成部１１７Ａは、固定物判定部１１４Ａから、撮影対象情報及び固定物情報「なし」を示す情報を取得した場合、空のメタデータを生成するか、またはメタデータを生成しない。

（ステップＳ４２３）画像＆メタデータ送信部１１６Ａは、メタデータ生成部１１７Ａが生成したメタデータと、画像処理部１１５が生成した画像データ（例えば、色補正が施されていない画像データ）とを関連付けて、通信部１２０を介してサーバ装置２０に送信する。

以上説明したように、本実施形態に係る撮像装置１０Ａにおいて、画像処理装置１００Ａは、メタデータ生成部１１７Ａと、画像＆メタデータ送信部１１６Ａとを備えている。メタデータ生成部１１７Ａは、固定物決定部１１２が決定した固定物の色に基づく色補正後の撮影対象の色情報を含むメタデータ（付随情報）を生成する。そして、画像＆メタデータ送信部１１６Ａは、色補正していない撮影画像の画像データと、メタデータ生成部１１７Ａが生成したメタデータとを関連付けて出力する。例えば、画像＆メタデータ送信部１１６Ａは、撮影画像の画像データとメタデータとを関連付けて通信部１２０を介してサーバ装置２０に送信する。なお、画像データとメタデータとは、サーバ装置２０に送信されずに、撮像装置１０Ａ内の記憶部１３０に関連付けられて記録（録画）されてもよい。

これにより、本実施形態に係る画像処理装置１００Ａは、撮影画像の１フレーム内に複数の撮影対象があり、各撮影対象に当たっている環境光の色合いが異なる場合であっても、各撮影対象に対して、適切に色による（精度の高い色判別に基づく）検索及び追跡ができる。また、本実施形態によれば、オリジナルの撮影画像はそのまま残しておきたいことと、撮影対象を高精度で色判別したいことを両立できる。

［第５の実施形態］
次に、本発明の第５の実施形態について説明する。
本実施形態では、撮像装置を設置したとき等に色調整を実施する例を説明する。本実施形態に係る撮像装置１０Ｂのハードウェア構成は、図１に示す撮像装置１０のハードウェア構成と同様である。撮像装置１０Ｂは、画像処理装置１００Ｂの構成が図３に示す撮像装置１０の画像処理装置１００の構成と異なるため、図１２を参照して説明する。

図１２は、本実施形態に係る撮像装置１０Ｂにおいて色補正処理を行う画像処理装置１００Ｂの機能構成の一例を示すブロック図である。なお、この図において、図３の各部に対応する構成には同一の符号を付しており、その説明を省略する。

図示する撮像装置１０Ｂが備える画像処理装置１００Ｂは、画像取得部１１１と、固定物決定部１１２Ｂと、撮影対象判定部１１３と、固定物判定部１１４と、画像処理部１１５と、画像送信部１１６と、調整情報取得部１１８Ｂと、固定物記憶部１３１とを備えている。ここで、画像処理装置１００Ｂが備える各部のうち、画像取得部１１１と、固定物決定部１１２Ｂと、撮影対象判定部１１３と、固定物判定部１１４と、画像処理部１１５と、画像送信部１１６と、調整情報取得部１１８Ｂとは、制御部１１０Ｂが備える構成であり、固定物記憶部１３１は記憶部１３０が備える構成である。なお、制御部１１０Ｂは、本実施形態において、ＣＰＵ１１がメモリ１３に記憶されているプログラムや各種データに基づいて実行する構成に相当する。

調整情報取得部１１８Ｂは、サーバ装置２０から調整用画像と基準物情報とを受信し、固定物決定部１１２Ｂに出力する。
図１３は、調整情報取得部１１８Ｂがサーバ装置２０から調整用画像と基準物情報とを取得する処理の一例を示すフローチャートである。

（ステップＳ５５１）例えば、撮像装置１０Ｂを設置したときに、所定のトリガ（例えば、初期設定の一つの処理）に応じて、調整情報取得部１１８Ｂは、サーバ装置２０から調整用画像と基準物情報とを通信部１２０を介して取得する。
（ステップＳ５５２）調整情報取得部１１８Ｂは、サーバ装置２０から取得した調整用画像と基準物情報とを、固定物決定部１１２Ｂに出力する。
このようにして、画像処理装置１００Ｂは、調整用画像と基準物情報とをサーバ装置２０から取得し、後述の色補正処理に利用する。

ここで、調整用画像とは、撮像装置１０Ｂで撮影した撮影画像で、基準物が撮影されている画像である。基準物とは、所定の色（白色等）及び所定の形状をした物であり、例えば、ホワイトボード、白色の紙等である。
図１４は、調整用画像の一例を示す図である。図示する例は、屋内での撮影環境であり、基準物として、携帯型のホワイトボードＷＢ１０が撮影されている。

基準物情報には、調整用画像に撮影されている基準物の位置情報及び範囲情報のいずれか一方または両方が含まれる。具体的には、基準物情報には、調整用画像における基準物の範囲内のＸＹ座標（位置／代表位置）や、調整用画像における基準物の範囲を示すＸＹ座標群等が含まれる。ＸＹ座標群の具体例としては、左上座標と右下座標とで表される矩形領域や、複数の頂点座標による多角形領域等がある（図１４の破線の領域参照）。また、基準物情報には、この基準物の色情報（例えば、白色等の色情報）が含まれてもよい。
また、基準物情報は１つとは限らず、１回で１つの基準物情報をサーバ装置２０から受信することは当然として、１回で複数の基準物情報を受信してもよいし、複数回で複数の基準物情報を受信してもよい。

基準物情報は、サーバ装置２０等において、ユーザ（カメラ管理者等）が、マウス等のポインティングデバイス等を用いて、調整用画像の中の基準物の位置を指し示す等して生成される（図１４の符号ＰＴ１参照）。撮像装置１０Ｂにおける調整用画像と基準物情報との受信は、例えば、サーバ装置２０からの送信要求等に従って随時発生する。

図１２に戻り、固定物決定部１１２Ｂは、固定物を決定し、決定した固定物の固定物情報を固定物記憶部１３１に記憶させる。例えば、固定物決定部１１２Ｂは、調整情報取得部１１８Ｂから取得した基準物情報に基づいて、距離が最も近い（最寄りの）基準物を判定する。そして、固定物決定部１１２Ｂは、その基準物の情報（基準物情報）と対応した調整用画像に基づいて、固定物の色の色補正を行い、色補正した固定物の色を基準色とした固定物情報を固定物記憶部１３１に記憶させる。なお、調整情報取得部１１８Ｂから基準物情報を取得していない場合には固定物決定部１１２Ｂにおいて色補正を行わない。

ここで、距離が最も近い基準物を判定する方法は、第１の実施形態で説明した図５のステップＳ１１３で固定物判定部１１４が撮影対象と距離が近い（最寄りの）固定物を判定する方法と同様である。また、固定物の色の色補正を行う方法は、第１の実施形態で説明した図５のステップＳ１１５の処理をベースとして若干処理を変更したものである。

例えば、固定物決定部１１２Ｂは、基準物情報に含まれている調整用画像での基準物の代表位置における色を、基準物の所定の色（所定の白色など）に近づける補正のために必要な色補正パラメータ１（調整用画像を本来の色合いに近づけるための色補正パラメータ）を生成する。また、固定物決定部１１２Ｂは、現在の撮影画像での当該固定物の色（現在の撮影画像での固定物の代表位置における色）を、調整用画像での当該固定物の色（調整用画像での固定物の代表位置における色）に近づける補正のために必要な色補正パラメータ２（現在の撮影画像を調整用画像の色合いに近づけるための色補正パラメータ）を生成する。そして、固定物決定部１１２Ｂは、色補正パラメータ１と色補正パラメータ２とを掛けあわせた色補正パラメータ３（現在の撮影画像を本来の色合いに近づける）を用いて色補正を行う。

なお、調整用画像における基準物と固定物の位置関係によっては、基準物と固定物とが重なって固定物の代表位置での固定物の色が取得できないケースが考えられる。その場合、固定物決定部１１２Ｂは、固定物記憶部１３１に記憶されている固定物情報に含まれている固定物の範囲を利用し、基準物と固定物が重なっていない位置で固定物の現在の色を取得してもよい。

なお、「基準物の色」や「固定物の色」を、それぞれの「代表位置の色」としてもよいが、「代表位置周辺の色の代表値(平均、メディアン、モード)」としてもよい。代表位置の色とした場合には、処理が簡単になるというメリットがある。一方、代表位置周辺の色の代表値とした場合には、処理が複雑にはなるが、代表位置の色（色情報）がたまたま何らかの理由で変色した場合でも、代表位置の周辺の色（色情報）も利用するため、より適切に基準物や固定物の色情報を表すことができるメリットがある。

図１５は、本実施形態に係る色補正処理の一例を示すフローチャートである。この図を参照して、本実施形態に係る画像処理装置１００Ｂが実行する色補正処理の動作を説明する。この図に示す処理では、ステップＳ５０７の処理が、図５に示すステップＳ１０７の処理と異なる。この図１５において、図５の各処理に対応する処理には同一の符号を付しており、その説明を省略し、異なる処理について説明する。

（ステップＳ５０７）固定物決定部１１２Ｂは、固定物の固定物情報を固定物記憶部１３１に記憶させる。例えば、固定物決定部１１２Ｂは、調整情報取得部１１８Ｂから取得した基準物情報に基づいて、距離が最も近い（最寄りの）基準物を判定する。そして、固定物決定部１１２Ｂは、その基準物の情報（基準物情報）と対応した調整用画像に基づいて、固定物の色の色補正を行い、色補正した固定物の色を基準色とした固定物情報を固定物記憶部１３１に記憶させる。なお、調整情報取得部１１８Ｂから基準物情報を取得していない場合には固定物決定部１１２Ｂにおいて色補正を行わないで、固定物情報を固定物記憶部１３１に記憶させる。そして、ステップＳ１１１の処理に進む。

以上説明したように、本実施形態に係る撮像装置１０Ｂにおいて、画像処理装置１００Ｂは、調整情報取得部１１８Ｂと、固定物決定部１１２Ｂとを備えている。調整情報取得部１１８Ｂは、調整用の基準物が撮影された調整用画像と、基準物に関する基準物情報とを取得する。固定物決定部１１２Ｂは、調整用画像に含まれる基準物の基準物情報に基づいて色補正した固定物の色を基準色として固定物記憶部１３１に記憶する。
これにより、画像処理装置１００Ｂは、調整用画像を用いた色調整によりしっかりとした色の基準を確保できるため、撮影対象の色判別の精度を高めることができる。

なお、本実施形態では、撮像装置１０が、サーバ装置２０から調整用画像と基準物情報とを取得する例を示したが、撮像装置１０が、画像の表示手段、及び基準物との位置や範囲を示せる入力手段等のＵＩ（ユーザインターフェース）を備えている場合には、調整用画像と基準物情報とを撮像装置１０内で処理及び生成してもよい。

以上、この発明の第１から第５の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、上述の第１から第５の実施形態において説明した各機能及び構成は、任意に組み合わせることができる。

上記実施形態では、撮像部１４０と画像処理装置１００（１００Ａ、１００Ｂ）とが撮像装置１０（１０Ａ、１０Ｂ）の内部に一体で構成されている態様を例に説明したが、撮像部１４０と画像処理装置１００（１００Ａ、１００Ｂ）とは、それぞれ別体の装置（機器）として構成されてもよい。

なお、上述した実施形態における画像処理装置１００（１００Ａ、１００Ｂ）の一部または全部の機能をコンピュータで実現するようにしてもよい。その場合、上述の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって上述の機能を実現してもよい。なお、ここでいう「コンピュータシステム」とは、端末装置に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

また、上述した実施形態における画像処理装置１００（１００Ａ、１００Ｂ）の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。画像処理装置１００（１００Ａ、１００Ｂ）の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

１０，１０Ａ，１０Ｂ 撮像装置、１１ ＣＰＵ、１２ 通信部、１３ メモリ、１４ 撮像部、２０ サーバ装置、１００，１００Ａ，１００Ｂ 画像処理装置、１１０，１１０Ａ，１１０Ｂ 制御部、１２０ 通信部、１３０ 記憶部、１４０ 撮像部、１１１ 画像取得部、１１２，１１２Ｂ 固定物決定部、１１３ 撮影対象判定部、１１４，１１４Ａ 固定物判定部、１１５，１１５Ａ 画像処理部、１１６ 画像送信部、１１６Ａ 画像＆メタデータ送信部、１１７Ａ メタデータ生成部、１１８Ｂ 調整情報取得部、１３０ 記憶部、１３１ 固定物記憶部

Claims (5)

1. 入力される画像内にある少なくとも一の固定物を決定し、決定した前記固定物の色を判定するとともに、判定した色を前記固定物の基準色として記憶部に記憶する固定物決定部と、
   入力される画像内における対象の有無を判定する判定部と、
   前記判定部により、入力される画像内に前記対象があると判定された場合、当該画像内にある前記固定物の色と前記記憶部に記憶されている前記基準色とに基づいて、入力される画像に対して色補正処理を行う画像処理部と、
   を備え、
   前記画像処理部は、
   入力される画像内に複数の前記固定物がある場合、複数の前記固定物のうち前記対象に距離が最も近い固定物の色と当該固定物の前記基準色とに基づいて、入力される画像に対する色補正処理を行う、
   画像処理装置。
2. 前記固定物決定部は、
   一旦固定物を決定した後、新たに入力される撮影画像において、その固定物を再評価、または固定物の再抽出及び決定を行い、当該再評価した固定物または当該再抽出及び決定した固定物に基づいて、前記記憶部に記憶されている前記基準色を更新する、
   請求項１に記載の画像処理装置。
3. 調整用の基準物が撮影された調整用画像と、当該基準物に関する基準物情報とを取得する調整情報取得部、を備え、
   前記固定物決定部は、
   前記調整用画像に含まれる基準物の基準物情報に基づいて色補正した固定物の色を前記基準色として前記記憶部に記憶する、
   請求項１または請求項２に記載の画像処理装置。
4. 固定物決定部が、入力される画像内にある少なくとも一の固定物を決定し、決定した前記固定物の色を判定するとともに、判定した色を前記固定物の基準色として記憶部に記憶する固定物決定過程と、
   判定部が、入力される画像内における対象の有無を判定する判定過程と、
   画像処理部が、前記判定部により、入力される画像内に前記対象があると判定された場合、当該画像内にある前記固定物の色と前記記憶部に記憶されている前記基準色とに基づいて、入力される画像に対して色補正処理を行う画像処理過程と、
   を含み、
   前記画像処理過程において、
   前記画像処理部が、入力される画像内に複数の前記固定物がある場合、複数の前記固定物のうち前記対象に距離が最も近い固定物の色と当該固定物の前記基準色とに基づいて、入力される画像に対する色補正処理を行う、
   画像処理方法。
5. コンピュータに、
   入力される画像内にある少なくとも一の固定物を決定し、決定した前記固定物の色を判定するとともに、判定した色を前記固定物の基準色として記憶部に記憶する固定物決定手順と、
   入力される画像内における対象の有無を判定する判定手順と、
   入力される画像内に前記対象があると判定された場合、当該画像内にある前記固定物の色と前記記憶部に記憶されている前記基準色とに基づいて、入力される画像に対して色補正処理を行う画像処理手順と、
   を実行させ、
   前記画像処理手順において、
   入力される画像内に複数の前記固定物がある場合、複数の前記固定物のうち前記対象に距離が最も近い固定物の色と当該固定物の前記基準色とに基づいて、入力される画像に対する色補正処理を行う、
   プログラム。