JP4678649B2

JP4678649B2 - 画像処理装置

Info

Publication number: JP4678649B2
Application number: JP2005317795A
Authority: JP
Inventors: 孝子甲斐; 淳禎安藤; 賢二兒玉; 照雄下村; 国和高橋
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2005-10-31
Filing date: 2005-10-31
Publication date: 2011-04-27
Anticipated expiration: 2025-10-31
Also published as: JP2007129277A

Description

本発明は屋外に設置された撮像装置で撮影された時の環境条件を求め、撮影環境に応じた画像補正をそれぞれの撮影画像に行う画像処理装置に関する。

本発明の画像処理装置の背景技術が、特許第３３５９７２９号明細書及び特許第３５５０８７４号明細書に記載されており、順次説明する。

まず、特許第３３５９７２９号明細書に記載される背景技術は、撮像装置から入力した画像に対し、画像処理と画像認識処理を利用して車両認識を行い、その結果に基づいて車両台数、車両速度、車両の時間占有率、車両の空間占有率及びこれらの値を用いて演算される諸量の内の少なくとも一つの車両計測処理を行う交通流自動計測方法において、撮像装置から入力した画像の放射強度によるヒストグラムを統計処理し、その統計処理後の放射強度によるヒストグラムをニューラルネットワークに入力し、交通流の自動計測に必要なパラメータをニューラルネットワークから出力させて、この出力値を用いて車両計測処理を行う交通流自動計測方法である。

この背景技術となる交通流自動計測方法によれば、晴天、曇天、雨天での道路の画像から得られる放射強度によるヒストグラムを統計処理し、ニューラルネットワークの入力として与えることで、画像認識処理のアルゴリズム選択やパラメータ選択の自動化を実現でき、交通流計測を自動化できる。

次に、特許第３５５０８７４号明細書に記載される背景技術は、撮像装置で撮影した画像を入力する画像入力手段と、前記画像内の特定の指定領域の輝度平均値を求める輝度検出手段と、前記撮像装置の露出情報を補助情報として用いて、前記指定領域の輝度平均値から昼夜の判定を行う昼夜判定手段と、前記昼夜判定手段での判定結果に基づいて昼間時と夜間時とで異なる画像処理技術を用いて前記画像から対象物を認識する認識手段とを備える監視装置である。

この背景技術となる監視装置によれば、画像の全体領域ではなく特定の指定領域の輝度平均値から昼夜の判定を行い、この判定結果に基づいて昼夜で異なる画像処理技術を用いて対象物を認識する。従って、指定領域を適切に設定すれば指定領域以外は昼夜の判定の対象とならないため、対象物に対する周囲の環境の影響を低減させることができ、それによって昼夜の判定精度が向上するので、対象物の認識精度および監視精度の向上を図ることができる。さらに、昼夜の切り替え付近（早朝・薄暮）では撮像装置の絞りは解放となり、シャッタ速度は最低となるので、この情報を用いることによって昼間で輝度分散値が大きくなったときの誤判定を低減することができる。
特許第３３５９７２９号明細書特許第３５５０８７４号明細書

前記特許第３３５９７２９号明細書に記載される交通流自動計測方法では、晴天、曇天、雨天を判断して画像認識処理のアルゴリズムを選択したり、パラメータを選択したりすることができるものの、撮影環境を晴天、曇天、雨天という大まかな分類に分けて処理するため、より高い精度を求める場合には十分でないという課題を有する。例えば、晴天であっても、撮像装置が配設された撮影環境が逆光条件下にある場合、撮影環境が薄暮条件下にある場合、撮影領域が影になっている場合等では撮影画像が受ける影響も大きく、このような撮影画像に対してはより適切な画像処理が必要となる。

また、特許第３５５０８７４号明細書に記載される監視装置では、撮像装置の絞り及びシャッタ速度に基づき昼間で輝度分散値が大きくなった場合でも正しく判定することができるものの、これらの判定は撮影画像、撮影時の撮像装置の絞り及びシャッタ速度に依存しており、これらの条件が同じで実際の環境条件が異なる場合には誤った画像処理を行うことになるという課題を有する。つまり、これらの条件では確実に環境条件を把握することが難しい。

本発明は前記課題を解決するためになされたものであり、より確実に撮影環境を把握し、それに合致した画像処理を施す画像処理装置を提供することを目的とする。

（１）本発明に係る画像処理装置は、所定撮影領域を撮影する撮像装置で撮影された対象撮影画像の撮影日時並びに撮影場所の緯度及び経度に基づき太陽の高度及び方位を取得する太陽高度方位取得手段と、少なくとも撮像装置の撮影領域に影を落とす可能性のある撮像装置の配置場所周辺の建造物の３次元情報を各撮像装置毎に記録する周辺建造物３次元情報記憶手段と、対象撮像装置の周辺建造物の３次元情報並びに取得した太陽の高度及び方位に基づき形成される影を求め、求めた影に基づき撮影領域に影が形成されるかの影判定を実施する影判定手段と、影判定の結果影の影響があると判定された場合に撮影画像中影の影響を受けた領域に対して影を補正する画像処理を施す影補正画像処理手段と、取得した太陽の方位及び撮像装置の方位から撮像装置の逆光判定を実施する逆光判定手段と、逆光判定の結果逆光であると判定された場合に撮影画像に対して逆光を補正する画像処理を施す逆光補正画像処理手段とを備えるものである。

（２）本発明に係る画像処理装置は必要に応じて、撮影日時の撮影場所の照度が所定閾値以下である場合には判定及び／又は補正の画像処理を実施しないものである。

（３）本発明に係る画像処理装置は必要に応じて、対象撮影画像が所定撮影領域を通過する車両を撮影する撮像装置で撮影された画像であり、補正する画像処理を施された対象撮影画像から車両色を認識する車両色認識手段を新たに備えるものである。
これら前記の発明の概要は、本発明に必須となる特徴を列挙したものではなく、これら複数の特徴のサブコンビネーションも発明となり得る。

ここで、本発明は多くの異なる形態で実施可能である。したがって、下記の実施形態の記載内容のみで解釈すべきではない。また、実施形態の全体を通して同じ要素には同じ符号を付けている。
実施形態では、主に装置について説明するが、所謂当業者であれば明らかな通り、本発明はコンピュータで使用可能なプログラム、システム、方法としても実施できる。また、本発明は、ハードウェア、ソフトウェア、または、ソフトウェア及びハードウェアの実施形態で実施可能である。プログラムは、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、光記憶装置または磁気記憶装置等の任意のコンピュータ可読媒体に記録できる。さらに、プログラムはネットワークを介した他のコンピュータに記録することができる。

（本発明の第１の実施形態）
本発明の第１の実施形態に係る画像処理装置について、図に基づき説明する。
［１．システム構成］
図１は本実施形態に係る撮影環境の説明図である。本実施形態では撮像装置１０を商業施設内に敷設された道路脇に配置し、商業施設管理室内に画像処理装置２００を配置している。商業施設内の複数出入口にそれぞれ配置された撮像装置１０で撮影された撮影画像は、撮像装置１０と画像処理装置２００を結ぶ通信路を介して画像処理装置２００に送信され、画像処理装置２００は受信した撮影画像に情報処理を施して撮影画像に写り込んでいる車両色を認識して出力する。管理者が操作する管理コンピュータ３０で出力された車両色を集計する。このようにして管理コンピュータ３０で集計された車両色はマーケッティング等で使用される。なお、撮像装置１０は商業施設内の複数出入口に配置され、商業施設内に入場してくる車両を対象として撮影を行っている。

図２は本実施形態に係るシステム構成図及び画像処理装置のハードウェア構成図である。画像処理装置２００のハードウェアの構成は、一般のコンピュータの構成であり、ＣＰＵ(Central Processing Unit)２１０、ＤＲＡＭ(Dynamic Random Access Memory)２２０等のメインメモリ、外部記憶装置であるＨＤ(hard disk)２３０、表示装置であるディスプレイ２４０、入力装置であるキーボード２５０及びマウス２６０、ネットワークに接続するための拡張カードであるＬＡＮカード２７０、ＣＤ−ＲＯＭドライブ２８０等からなる。つまり、ＣＤ−ＲＯＭ等の記憶媒体に格納された画像処理プログラム、または、ネットワークを介して他のコンピュータから送信される画像処理プログラムを、コンピュータのＨＤ２３０に複製しメインメモリ２２０に適切に読み出し可能な状態にするインストールが実行され、一般のコンピュータが画像処理装置を構成している。なお、一般のコンピュータではなく画像処理に特化したハードウェアを用いて画像処理装置を構成することもできる。具体的には、車両判別装置上のロジックをＡＳＩＣ（Application Specific IC）で実装し、メモリ等の複数のＬＳＩと共にシステムＬＳＩで画像処理装置を構成することもできる。
管理コンピュータ３０もハードウェアの構成は、画像処理装置２００と同様に、一般のコンピュータの構成である。ここで、画像処理装置２００と管理コンピュータ３０とを同一のコンピュータ上に構築することもできる。

図３は本実施形態に係る画像処理コンピュータのブロック構成図である。画像処理コンピュータ２００は、撮像装置１０からの撮影画像、撮影日時、照度、撮影場所識別情報を取り込む入力手段２１１と、撮像装置の経度・緯度及び撮影日時から撮影場所の撮影日時の太陽の高度及び方位角を求める太陽高度方位算出手段２１２と、照度から撮影日時に撮影場所が曇りか否かを判定する曇り判定手段２１３と、求めた太陽の高度及び方位角から撮影日時に撮影場所で撮影領域が影に含まれるか否かを判定する影判定手段２１４と、太陽の方位角から撮影日時に撮像装置１０が逆光条件にあるか否かを判定する逆光判定手段２１５と、撮影日時に撮影場所が薄暮であるか否かを判定する薄暮判定手段２１６と、曇り判定手段２１３、影判定手段２１４、逆光判定手段２１５、薄暮判定手段２１６の判定結果に基づき対象撮影画像に画像処理を施す画像処理手段２１７と、必要に応じて画像処理が施された撮影画像から車両色を認識する車両色認識手段２１８と、認識した車両色、処理後の撮影画像、処理前の撮影画像、撮影日時及び撮影場所識別情報を管理コンピュータ３０に出力する出力手段２１９とを備える構成である。

［２．太陽高度方位算出］
太陽の高度、方位は次の式（１）ないし（９）より求めることができる。ここで、λを撮像装置の配置場所の経度とし、φを配置場所の緯度とし、Ｔを時刻変数とし、Ｊ２０００．０（２０００年１月１日力学時正午）からの経過日数をＫとし、黄道傾角をεとし、恒星時をΘとし、０時からの経過時間をｄ（日の少数）とし、太陽の赤経をαとし、赤緯をδとし、太陽の時角をｔとし、太陽の方位角をＡとし、太陽の高度をｈとする。

なお、黄経λ、黄緯βから赤経α、赤緯δを求める式を以下に示す。太陽の黄緯がβ＝０であることから、（１１）ないし（１３）の式を用いて赤経α、赤緯δを求めることができる（６）および（７）の式を導出できる。

また、太陽の視黄経λ_S及び距離ｒは次式（１４）ないし（１６）で求めることができる。

太陽高度方位算出については、次の書籍に詳しい。（長沢工、「日の出・日の入りの計算」、地人書館）
ただし、ここで示した式による太陽の方位角及び高度を求める以外の方法でも太陽の方位角及び高度を求めることもでき、一例である。他例としては、理科年表を利用した太陽の方位角及び高度の求め方も存在する。

［３．曇り判定］
曇り判定手段２１３は照度計１１からの照度が（時刻によって異なる）閾値以下で日中の場合、「曇り」と判断する。影判定手段２１４、逆光判定手段２１５及び薄暮判定手段２１６で判定するまでもなく、光に関する環境影響（逆光、薄暮、建造物影）は生じないため、特別な画像補正を画像処理手段２１７で行うことなく色認識処理を色認識手段２１８で行う。
一方、照度が閾値より大きい場合には光に関する環境影響が大きいため、環境影響に応じた画像補正が必要である。

一般的に影が生じる条件は強い光源が一つあるような場合で、光の偏りが存在している状態である。そこで、照度計を複数個設置し各照度を取得することが好ましい。そして、照度の差がすべて一定範囲内である場合は照度の差が無い、つまり光の偏りがなく影が生じない状態となる。他に、撮影日時の照度だけでなく撮影時刻前又は撮影時刻後の照度を測定し、測定結果から照度の変化がなければ光の偏りがない状態であると判断することもできる。

「照度の単位（［ｌｘ（ルクス）］）」は「光があたっている表面の単位面積当たりの光束の量」である。したがって、その照度計の配置場所にどれだけの光が届いているのかを示す。１［ｌｘ］は１［ｍ²］の面積に１［ｌｍ（ルーメン）］の光束が入射しているときの照度を示す。ここで、「ｌｍ」は光の量を示す単位である。この他、光の強さを示す「ｃｄ（カンデラ）」、光源が広がりを持っているとき、光減免の明るさを示す「ｎｔ（ニト）ｃｄ／ｍ²」がある。カンデラは光源からある方向にどれだけの光の量が出ているかを示す。１［ニト］は１［ｍ²］あたり１［ｃｄ］の輝度である。

［４．影判定］
周囲の建造物の影が撮影領域に写り込むと被写体（車両）に影がかかり、本来の色より暗く撮影されてしまう。そこで建造物の影の影響を除去するために、建造物の影を計算する。
図４及び図５は本実施形態に係る影判定の説明図である。まず、ｘｙｚ軸をもつ三次元座標において、原点を撮影領域の中心にとる。カメラ設置場所周辺の建造物の各頂点を（x,y,z）の値に変換したテーブルを持つ（図４（ｂ）及び図５（ａ）参照）。ここで、建造物の構造が複雑な場合はそれを包含する立方体の頂点とすることもできる。

図４（ａ）中の式に、前説［２．太陽高度方位算出］で求めた撮影日時の太陽の高度と、建造物の上面の各頂点の高さとを入力し、影の長さを求める。太陽の方位の反対方向が影の落ちる方向となり、建造物の下面の各頂点を起点に（太陽の方位＋１８０［°］）方向に、それぞれの頂点に対応する建造物の上面の各頂点に係る影の長さ分離れた地点が影の頂点となる。そして、影の頂点で囲まれた領域が影の領域となる（図５（ｂ）ないし（ｄ）参照）。

影判定手段２１４はこのようにして求めた影の領域とカメラ撮影領域とから、影の領域にカメラ撮影領域が含まれるか否かを判定する。カメラ撮影領域が影の領域に含まれる場合には、さらに、カメラ撮影領域中で影の領域に含まれる領域を特定する。
日影計算については、次の書籍に詳しい。（日照計画研究会、「日影図作成の演習と実務」、彰国社）

［５．薄暮判定］
薄暮判定手段２１６は、前説［２．太陽高度方位算出］で求めた撮影日時の太陽高度が−５０［分］ないし−６［度］の場合に、薄暮であると判定する。

［６．逆光判定］
図６は本実施形態に係る逆行判定の説明図である。逆光判定手段２１５は、撮影（カメラ）方向と被写体（車両）を基準として０［°］としたとき、前説［２．太陽高度方位算出］で求めた撮影日時の太陽の方位角から相対的な角度を求めることができる。この相対的な角度が所定の角度範囲にある場合に逆光条件になる。図６に示すように、逆光、順光、横方向からの照射に分類することもできる。逆光判定手段２１５が逆光であるか否かを判定する。
太陽とカメラの位置関係が判明しているため、単純に逆光か否かを判定して逆光条件の場合に画像処理を施すだけでなく、どの程度の逆光であるのかを特定し、それに応じた画像処理を施すことで、より高い精度の実際の車両色を取り戻すことができる。

［７．画像処理］
［７．１影判定時の画像処理］
算出した建造物影の部分が中心座標周辺（カメラの撮影領域）と重なる場合、重なる領域の濃度補正を行う。ここで、濃度補正を行う際、前記照度に応じて補正の強度を変更する。照度が大きい場合は影が濃く出やすく、補正の強度を増す必要がある。

［７．２逆光判定時の画像処理］
暗部を見えやすくするために、暗部の輝度を明るくする補正を行う。補正は画像全体を一様に輝度を明るくする処理を用いてもよいし、暗部のみ明るくする処理（例えば、ヒストグラム処理）を用いてもよい。
画像処理手段２１７は、逆光の強度に応じて車体部分の輝度を上げるフィルタをかける。逆光の強度が強い場合には補正の強度も強くし、逆光の強さが弱い場合には補正の強度を標準とする。
明るくする補正は、様々な周知技術が存在し当業者は種々の周知技術を採ることができ、ここでは詳細な説明は省略する。なお、ヒストグラム処理については、次の書籍に詳しい。（高木幹雄、「画像解析ハンドブック」、東京大学出版会）

［７．３薄暮判定時の画像処理］
薄暮における画像処理としては、ノイズ除去処理及び明るさ補正の処理を行う。
薄暮時においては撮影対象の照度が不足し、照度不足に起因して画像にノイズが混入する場合があるため、そのノイズを除去するためにノイズ除去処理がなされる。ノイズ除去には、メジアンフィルタ、ぼかし等の画像処理フィルタを用いることができる。

また、薄暮時の照度不足を補うために、明るさ補正の処理を行う。画像の全体バランスを保ちながら見やすくする処理として、例えば、ヒストグラム平均化の処理、単純に明度を明るくする処理を用いることができる。
ここで、逆光且つ薄暮の場合には、光量が少ないため逆光となり難く、薄暮の影響が大きいため、逆光のための画像処理を施すことなく、薄暮のための画像処理を施すのみで対応することもできる。

ノイズ除去処理及び明るさ補正は、様々な周知技術が存在し当業者は種々の周知技術を採ることができ、ここでは詳細な説明は省略する。なお、ぼかしフィルタについては、次の書籍に詳しい。（高木幹雄、「画像解析ハンドブック」、東京大学出版会）また、メジアンフィルタについては、次の刊行物に詳しい。（TS Huang、GY Yang、and GY Tang. 「IEEE TRANSACTIONS ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING, VOL. ASP-27, NO. 1」、FEBRUARY 1979）

図７は本実施形態に係る都市係数及び薄暮定義の説明図である。図７（ａ）に示すように矩形領域毎に都市係数が定まっており、この都市係数に基づき薄暮補正の画像処理を行うことでより精度の高い撮影画像とすることができる。本実施形態では、画像処理手段２１７は、薄暮判定手段２１５により薄暮と判定され、撮影時刻が朝方で都市係数が大きい場合には赤み補正を行い、撮影時刻が朝方で都市係数が小さい場合には青み補正を行い、撮影時刻が夕方で都市係数が大きい場合には赤み補正を強く行い、撮影時刻が夕方で都市係数が小さい場合には初期値の赤み補正を行う。図７（ｂ）は薄暮の種類を示している。

［７．４オートゲインコントロール］
図８が本実施形態に係るオートゲインコントロールＯＦＦ時の補正処理の説明図である。撮像装置１０側でオートゲインコントロール（AGC:Auto Gain Control）の設定がＯＦＦになっている場合には、高輝度、低輝度に偏った画像になる。したがって、以下のようにストレッチングすることで補正が可能となる。
通常、撮像装置１０では、オートゲインコントロール機能及びホワイトバランス機能が回路として実装されている。

オートゲインコントロール機能は、ＣＣＤカメラで撮影されるアナログ信号の包絡線の高さが一定の範囲内に収まるように補正を行う機能である。高輝度の画像の場合は画像全体の輝度を下げ、低輝度の画像の場合には画像全体の輝度を上げる。ＣＣＤカメラの実装上は出力信号の電力の大きさを制御する。

ホワイトバランス（AWB:white balance）は光源の色温度による見え方の違いを自動で補正する機能である。どのような光の下でも適切な白色を再現する。つまり、撮影時の画面の中央部分の色を混ぜ合わせると白になるようにＲＧＢの値を調整する。
このオートゲインコントロール機能及びホワイトバランス機能を経てアナログ信号（コンポジット信号：輝度と色信号を合わせて一つの信号にしたもの）がＡ／Ｄコンバータに出力され、最終的にＪＰＥＧとして撮像装置１０から出力される。

［８．動作］
図９は本実施形態に係る画像処理装置の全体フローチャートである。図１０は本実施形態に係る画像処理装置の詳細フローチャートである。図１１は本実施形態に係る画像処理装置のオートゲインのフローチャートである。
各撮像装置の緯度及び経度は撮影場所識別情報となるカメラの地点番号と共に緯度・経度テーブルで記録されている（図１（ｂ）参照）。
プロセッサ２１０（入力部２１１）が、撮影画像、対応する撮影日時、対応する照度、対応する撮影場所識別情報を１組取り込む。

プロセッサ２１０は撮影画像がグレイスケール画像であるか否かを判定する（ステップ１００）。撮像装置１０は昼間はカラーで撮影画像を撮影し、夜間は赤外光を用いてグレイスケール画像で撮影している。グレイスケール画像の場合には、後記の色認識で正確な色を認識することが困難であり、候補色を特定する処理を行っている。
以降の処理を高速化させるために、プロセッサ２１０は撮影画像の画像サイズを縮小化する（ステップ２００）。このように撮像画像の画像サイズを縮小化することにより後続処理を高速化している。

プロセッサ２１０は撮影環境を把握し、画像処理を施す（ステップ３００）。ここでのプロセッサ２１０の処理は、本発明の本質的部分を含むため詳細を後記する。
プロセッサ２１０はＲＧＢの撮影画像を、ＨＳＩ変換する（ステップ４００）。色認識した場合の出力として、ＲＧＢ値よりも色相値が表示される方が使用者が色を把握し易いために変換を行っている。
プロセッサ２１０は車体撮影位置を指定する（ステップ５００）。プロセッサ２１０は色認識を行う（ステップ６００）。

以降、前記ステップ３００の画像処理を詳細に図１０に基づき説明する。
撮影日時と撮影地点を示す撮影場所識別情報は撮影画像ファイルのファイル名の一部となっており、プロセッサ２１０はファイル名から撮影日時及び撮影場所識別情報を取得する（ステップ３０１）。
プロセッサ２１０（太陽高度方位算出手段２１２）は、撮影場所識別情報に基づき緯度・経度テーブルから対象とする撮像装置１０の経度及び緯度を取得し、この経度及び緯度と、識別撮影日時とから、前説［２．太陽高度方位算出］で説明した計算方法で太陽の高度及び方位角を求める（ステップ３１１）。
プロセッサ２１０（曇り判定手段２１３）は、前説［３．曇り判定］の判定を行う（ステップ３２１）。曇りでない、すなわち、影がないと判定された場合には、終了してステップ４００に進む。

前記ステップ３２１で影があると判定された場合には、プロセッサ２１０（影判定手段２１４）は、前説［４．影判定］で説明したように、建造物の影を計算し、影の領域にカメラ撮影領域が含まれるか否かを判定する（ステップ３３１）。影の領域に含まれると判定した場合には、プロセッサ２１０（画像処理手段２１７）が前説［７．１影判定時の画像処理］で説明した画像処理を実行する（ステップ３３２）。

前記ステップ３３１で影の領域に含まれないと判定された後に、または、ステップ３３２の後に、プロセッサ２１０（薄暮判定手段２１６）は薄暮の閾値の範囲内であるか否かを判定する（ステップ３４１）。このステップ３４１の前に地形情報から薄暮となる高度の閾値を調整するステップを挿入することもできる。

薄暮の閾値の範囲内であると判定された場合には、該当領域の都市係数を用いて薄暮補正の画像処理に用いる補正係数を調整する（ステップ３５１）。プロセッサ２１０は撮影時刻が早朝の時間帯か否かを判定し（ステップ３５２）、早朝であると判定された場合には前説［７．３薄暮判定時の画像処理］の明け方の補正処理をプロセッサ２１０（画像処理手段２１７）が実行する（ステップ３５３）。早朝でなく夕暮れであると判定された場合には前説［７．３薄暮判定時の画像処理］の夕暮れの補正処理をプロセッサ２１０（画像処理手段２１７）が実行する（ステップ３５４）。

前記ステップ３４１で薄暮の閾値の範囲内でないと判定された場合には、プロセッサ２１０（逆光判定手段２１５）がカメラの方位と太陽の方位とからその差を求め（ステップ３６１）、逆光の方位、高度であるか否かを判定する（ステップ３６２）。逆光の方位、高度でないと判定された場合には終了して、ステップ４００に進む。逆行の方位、高度であると判定された場合には、プロセッサ２１０（画像処理手段２１７）が前説［７．２逆光判定時の画像処理］での画像処理を実行する（ステップ３６３）。ここで、ステップ３６２では、太陽の高度までを逆光判定の判断の要素としているが太陽の方位のみを用いて逆行判定を実施するように構成することもできる。
ステップ３５３、ステップ３５４、ステップ３６２及びステップ３６３の終了後、ステップ４００に進む。

プロセッサ２１０（出力手段２１９）が認識した車両色、画像処理後の撮影画像、撮影日時、撮影場所識別情報を管理コンピュータ３０に出力する。管理コンピュータ３０ではこれらの車両色がそれぞれの色で集計され、車両色と車両数からなるデータが更新される。ここで、画像処理前の撮影画像、画像処理後の撮影画像、撮影日時、撮影場所識別情報、照度、車両色を属性として有するデータベースを構成することもできる。特に、画像処理前の撮影画像と画像処理後の撮影画像を対比して管理コンピュータ３０のディスプレイに表示することもできる。

［１０．本実施形態の効果］
このように本実施形態に係る画像処理装置によれば、太陽の高度及び方位角を求め、従来に比べより正確に環境条件（逆光、影がかかっている、薄暮）を把握し、それぞれの環境条件に合致した画像処理がなされた後に、車両色を認識するので、より正確に車両色を認識することができる。

（その他の実施形態）
［オートゲイン及びホワイトバランス］
前記第１の実施形態においては、オートゲイン及びホワイトバランスを撮像装置１０で行わなかった場合に、それぞれ、オートゲインコントロールの補正処理、ホワイトバランスの補正処理を実行することもできる。

例えば、次のように第１の実施形態に処理を組み込むことができる。次のステップ７０１ないしステップ７０４の処理を、例えば、図１０のステップ３０１の前に挿入することができる。プロセッサ２１０が撮像装置１０からオートゲインコントロールを実施しているか否かを示すフラグを受信し設定がＯＮか否かを判定し（図１１参照。ステップ７０１）、設定がオフであればオートゲインコントロールの補正処理を実行し（ステップ７０２）、設定がオンであれば何もしない。

同様に、プロセッサ２１０が撮像装置１０からホワイトバランスを実施しているか否かを示すフラグを受信し設定がＯＮか否かを判定し（ステップ７０３）、設定がオフであればホワイトバランスの補正処理を実行し（ステップ７０４）、設定がオンであれば何もしない。

［影補正画像処理］
撮影領域中影と重複する部分について撮影画像を影補正の画像処理を施しているが、より詳細には車両が立体的であるため影の境目が車両にかかっている場合には影もその影響を受け、影の境目は直線状でなく若干の曲折を有して略直線状となるため、影補正の画像処理において曲折を考慮することでより精度高い画像を得ることができる。具体的には、車両の場合であれば車両のエッジを検出し前記若干の曲折を算出する方法、また、特定されている影領域とＲＧＢの値、色相、明度、彩度の少なくとも一つとからより正確に影領域を特定し直してその後に影補正の画像処理を施す方法をとることができる。
また、車両色認識に関しては影領域を避けた部分の車両色を認識することでより正確に車両色を認識することができる。この場合には影補正の画像処理を施さなくてもよい。

［曇り判定］
前記第１の実施形態においては、閾値以下か否かで「曇り」であるか否かを判定し、曇り判定で「曇り」と判定されると以降の影判定、薄暮判定、逆光判定を実施せず、補正の画像処理も施すことなく車両色を認識する構成となっていたが、照度が第１の閾値以上か否かを判定し第１の閾値以上であれば影判定を行い、照度が第２の閾値以上か否かを判定し第２の閾値以上であれば薄暮判定を行い、照度が第３の閾値以上か否かを判定し第３の閾値以上であれば逆行判定を行う構成にすることもできる。すなわち、詳細には撮影画像に影響を与える影、薄暮、逆光はそれぞれ照度の閾値が異なり、それぞれに照度の閾値を設けることでより正確な処理を実施することができる。

以上の前記各実施形態により本発明を説明したが、本発明の技術的範囲は実施形態に記載の範囲には限定されず、これら各実施形態に多様な変更又は改良を加えることが可能である。そして、かような変更又は改良を加えた実施の形態も本発明の技術的範囲に含まれる。このことは、特許請求の範囲及び課題を解決する手段からも明らかなことである。

［付記］上記実施形態に関し、更に以下の付記を開示する。
（付記１）所定撮影領域を撮影する撮像装置で撮影された対象撮影画像の撮影日時並びに撮影場所の緯度及び経度に基づき太陽の高度を取得する太陽高度取得手段と、取得した太陽の高度から撮影日時に撮影場所での薄暮判定を実施する薄暮判定手段と、
薄暮判定の結果薄暮であると判定された場合に撮影画像に対して薄暮を補正する画像処理を施す薄暮補正画像処理手段とを備える画像処理装置。

したがって、画像からおおよそ薄暮と想定される場合に薄暮補正の画像処理を行うのではなく、薄暮に直接影響を与える太陽の位置を把握した後に薄暮と判定した場合にのみ薄暮補正の画像処理を行うので、薄暮を見誤ることなく正確に薄暮の場合に薄暮補正の画像処理を実行することができる。

特に、照度計で撮影時刻の照度を測定し、その照度結果から薄暮が生じる場合だけ薄暮判定を行う構成にすることもできる。
また、従前の撮影画像から薄暮を推定する方法と、本発明の太陽の位置から薄暮を判定する方法とを組み合せることで、照度計を用いることなくより正確に処理することができる。
さらに、天気情報を用いて薄暮が生じる可能性がある日時のみをまずもって抽出し、その抽出後に薄暮判定を実施する構成にすることもできる。逆に、薄暮判定後に天気情報を用いて薄暮が生じない場合に薄暮補正の画像処理を取り消す構成にすることもできる。

「薄暮」とは「薄明りの残る夕暮れ」のことであるが、本発明では日の出前や日没後のかすかな明るさのある状態で用いている。つまり、夕暮れに限らず用いている。他に、「日の出前または日没後見られる天空のほのかな明るさ」を示す「薄明」という文言を使用することが好ましい場合もある。どちらにしろ、地平線下にある太陽の光が上層大気または浮遊微細物の影響で散乱されて生じて撮影画像に影響を与えるために補正の画像処理を施してより正確な撮影画像に修正している。
本発明では撮影を統一的に使用し、撮像装置のみを「撮像」の文言を用いているが、「撮影」の代わりに「撮像」の文言を使用することもできる。

（付記２）所定撮影領域を撮影する撮像装置で撮影された対象撮影画像の撮影日時並びに撮影場所の緯度及び経度に基づき太陽の方位を取得する太陽方位取得手段と、取得した太陽の方位及び撮像装置の方位から撮像装置の逆光判定を実施する逆光判定手段と、逆光判定の結果逆光であると判定された場合に撮影画像に対して逆光を補正する画像処理を施す逆光補正画像処理手段とを備える画像処理装置。

したがって、逆光に直接影響を与える太陽の位置を把握し、カメラの方位角から逆光であるか否かを正確に把握し、逆光であると判定した場合に逆光補正の画像処理を施しており、逆光を見誤ることなく正確に逆光の場合に逆光補正の画像処理を実行することができる。

（付記３）所定撮影領域を撮影する撮像装置で撮影された対象撮影画像の撮影日時並びに撮影場所の緯度及び経度に基づき太陽の高度及び方位を取得する太陽高度方位取得手段と、少なくとも撮像装置の撮影領域に影を落とす可能性のある撮像装置の配置場所周辺の建造物の３次元情報を各撮像装置毎に記録する周辺建造物３次元情報記憶手段と、対象撮像装置の周辺建造物の３次元情報並びに取得した太陽の高度及び方位に基づき形成される影を求め、求めた影に基づき撮影領域に影が形成されるかの影判定を実施する影判定手段と、影判定の結果影の影響があると判定された場合に撮影画像中影の影響を受けた領域に対して影を補正する画像処理を施す影補正画像処理手段とを備える画像処理装置。

したがって、影に直接影響を与える太陽の位置を把握し、撮影領域周辺の建造物の立体構造を把握し、形成される影を求め、求めた影と撮影領域から撮影画像が影の影響を受けている領域を特定し、かかる領域に対して影補正の画像処理を行うことができ、撮影画像から影補正の対象領域を特定し影補正の画像処理を行う方法、または、撮影画像全体に影補正の画像処理を行う方法と比べ、より適切に影補正の画像処理を実行することができる。

（付記４）撮影日時の撮影場所の照度が所定閾値以下である場合には判定及び／又は補正の画像処理を実施しない前記付記１ないし３のいずれかに記載の画像処理装置。
したがって、撮影日時の撮影場所の照度が所定値以下であれば、薄暮、逆光、影も生じないので、このような場合に前記各判定、各補正の画像処理を実施しないことにより不必要な処理の実行を防止することができる。

（付記５）対象撮影画像が所定撮影領域を通過する車両を撮影する撮像装置で撮影された画像であり、補正する画像処理を施された対象撮影画像から車両色を認識する車両色認識手段を新たに備える前記付記１ないし４のいずれかに記載の画像処理装置。
したがって、本発明を適用し、正確な車両色を示す撮影画像を用いて適切な車両色を求めることができる。

（付記６）コンピュータを、所定撮影領域を撮影する撮像装置で撮影された対象撮影画像の撮影日時並びに撮影場所の緯度及び経度に基づき太陽の高度及び方位を取得する太陽高度方位取得手段と、少なくとも撮像装置の撮影領域に影を落とす可能性のある撮像装置の配置場所周辺の建造物の３次元情報を各撮像装置毎に記録する周辺建造物３次元情報記憶手段と、対象撮像装置の周辺建造物の３次元情報並びに取得した太陽の高度及び方位に基づき形成される影を求め、求めた影に基づき撮影領域に影が形成されるかの影判定を実施する影判定手段と、影判定の結果影の影響があると判定された場合に撮影画像中影の影響を受けた領域に対して影を補正する画像処理を施す影補正画像処理手段として機能させるための画像処理プログラム。
前記画像処理装置は、画像処理プログラムとして捉えることもできる。

（付記７）所定撮影領域を撮影する撮像装置と、撮像装置で撮影された対象撮影画像に画像処理を施す画像処理装置とを備え、前記画像処理装置が、対象撮影画像の撮影日時並びに撮影場所の緯度及び経度に基づき太陽の高度及び方位を取得する太陽高度方位取得手段と、少なくとも撮像装置の撮影領域に影を落とす可能性のある撮像装置の配置場所周辺の建造物の３次元情報を各撮像装置毎に記録する周辺建造物３次元情報記憶手段と、対象撮像装置の周辺建造物の３次元情報並びに取得した太陽の高度及び方位に基づき形成される影を求め、求めた影に基づき撮影領域に影が形成されるかの影判定を実施する影判定手段と、影判定の結果影の影響があると判定された場合に撮影画像中影の影響を受けた領域に対して影を補正する画像処理を施す影補正画像処理手段と、補正する画像処理を施された対象撮影画像から車両色を認識する車両色認識手段とからなる車両色認識システム。
前記画像処理装置は、その他の構成要素と共に構成されるシステムとして捉えることもできる。

本発明の第１の実施形態に係る撮影環境の説明図である。本発明の第１の実施形態に係るシステム構成図及び画像処理装置のハードウェア構成図である。本発明の第１の実施形態に係る画像処理コンピュータのブロック構成図である。本発明の第１の実施形態に係る実施形態に係る影判定の説明図である。本発明の第１の実施形態に係る実施形態に係る影判定の説明図である。本発明の第１の実施形態に係る逆行判定の説明図である。本発明の第１の実施形態に係る都市係数及び薄暮定義の説明図である。本発明の第１の実施形態に係るオートゲインコントロールＯＦＦ時の補正処理の説明図である。本発明の第１の実施形態に係る画像処理装置の全体フローチャートである。本発明の第１の実施形態に係る画像処理装置の詳細フローチャートである。本発明の第１の実施形態に係る画像処理装置のオートゲインのフローチャートである。

符号の説明

１０撮像装置
１１照度計
３０管理コンピュータ
２００画像処理装置
２１０ＣＰＵ（プロセッサ）
２１１入力手段
２１２太陽高度方位算出手段
２１３曇り判定手段
２１４影判定手段
２１５逆光判定手段
２１６薄暮判定手段
２１７画像処理手段
２１８色認識手段
２１９出力手段
２２０ＤＲＡＭ
２３０ＨＤ
２４０ディスプレイ
２５０キーボード
２６０マウス
２７０ＬＡＮカード
２８０ＣＤ−ＲＯＭドライ

Claims

所定撮影領域を撮影する撮像装置で撮影された対象撮影画像の撮影日時並びに撮影場所の緯度及び経度に基づき太陽の高度及び方位を取得する太陽高度方位取得手段と、
少なくとも撮像装置の撮影領域に影を落とす可能性のある撮像装置の配置場所周辺の建造物の３次元情報を各撮像装置毎に記録する周辺建造物３次元情報記憶手段と、
対象撮像装置の周辺建造物の３次元情報並びに取得した太陽の高度及び方位に基づき形成される影を求め、求めた影に基づき撮影領域に影が形成されるかの影判定を実施する影判定手段と、
影判定の結果影の影響があると判定された場合に撮影画像中影の影響を受けた領域に対して影を補正する画像処理を施す影補正画像処理手段と、
取得した太陽の方位及び撮像装置の方位から撮像装置の逆光判定を実施する逆光判定手段と、
逆光判定の結果逆光であると判定された場合に撮影画像に対して逆光を補正する画像処理を施す逆光補正画像処理手段とを備える画像処理装置。
撮影日時の撮影場所の照度が所定閾値以下である場合には判定及び／又は補正の画像処理を実施しない
前記請求項１に記載の画像処理装置。
対象撮影画像が所定撮影領域を通過する車両を撮影する撮像装置で撮影された画像であり、
補正する画像処理を施された対象撮影画像から車両色を認識する車両色認識手段を新たに備える
前記請求項１又は２に記載の画像処理装置。