JP5921596B2 - 画像処理装置および画像処理方法 - Google Patents

Description

この発明は、車載カメラの撮影画像を画像処理して鮮明化する画像処理装置および画像処理方法に関する。

例えば、特許文献１には、被写体距離が不明な場合でも被写体像を適切に復元する画像処理装置が開示されている。この画像処理装置では、物点からの光の広がりを物点までの距離に対して略一定にし、かつ光学伝達関数がデフォーカス量に依存する光学系を通じて撮像された画像を取得する。そして、取得した画像に対して、特定のデフォーカス量に応じた光学系の光学伝達関数に基づいて、特定のデフォーカス量に応じた光の広がりを補正する補正処理を施す。このように異なるデフォーカス量にそれぞれ応じた異なる補正処理をそれぞれの画像に施すことによって生成された複数の補正画像を重ね合わせることで、被写体が復元された合成画像を生成している。

また、特許文献２には、撮像光学系に起因する画像のぼけを少ない計算で小さくできる画像処理装置が開示されている。この画像処理装置では、撮像レンズと被写体との距離である被写体距離に応じて撮像画像を複数の領域に分割し、分割された領域の中でピントの合っている領域から、主要被写体のある主要被写体領域を抽出する。この主要被写体領域およびこの領域とピントが同じ被写体領域の被写体距離に対応する補正係数が予め登録されているデータベースから取得する。そして、取得した補正係数を用いて回復フィルタを生成し、この回復フィルタを用いて主要被写体とこれとピントが同じ被写体とに発生しているぼけを小さくする画像回復処理を行う。

特開２０１０−８７８６２号公報 特開２０１１−４４８２５号公報

特許文献１に体表される従来の技術は、異なるデフォーカス量にそれぞれ応じた異なる補正処理をそれぞれ画像に施すことにより、複数の補正画像を得ている。デフォーカス量は物点位置および光学系の位置によって規定される。すなわち、特許文献１においては、物点位置および光学系の位置の異なる組み合わせに応じた補正処理を画像に施している。
従って、特許文献１の画像処理装置を適用するシステムによっては、物点位置と光学系の位置で規定される膨大な数の光学伝達路を考慮せねばならず、画像処理に対して大きな処理リソースが必要になる。
例えば、車載カメラは、一般的にレンズ駆動系を持たない固定焦点カメラであるので、特許文献１の発明を適用して車載カメラで撮影された車外映像の被写体を復元する場合、考慮すべき光学伝達路が膨大な数になる。これによりシステム規模が大きくなって実用に適さない。

また、特許文献２に代表される従来の技術は、内部に距離センサが設置され、光学系を駆動してピント合わせが可能なデジタルカメラを対象としており、撮像画像の中にピントの合っている領域が存在することを前提としている。
しかしながら、車載カメラは、上述のように一般的にレンズ駆動系を持たない固定焦点カメラであり、全体的にピントの合った撮像画像が得られない場合がある。
従って、上述したような車載カメラを利用する車載システムに特許文献２の発明を適用しても所望の回復効果が得られない可能性がある。また、距離センサおよび光学系の駆動部を有するデジタルカメラは、車載カメラに比べてサイズが格段に大きいため、サイズ上の制約から車載システムには適さない。
なお、車載カメラは昼夜問わずに撮影が行われるため、光学的に明るい、すなわちＦ値を小さくしたものが主流になってきている。このようにレンズのＦ値が小さくなることでレンズを通る光量としては増えるものの、被写体に対してピントの合う領域がさらに狭くなっている。

この発明は、上記のような課題を解決するためになされたもので、Ｆ値が小さくレンズ駆動系を持たない固定焦点のカメラによって焦点が合わずに撮影された画像を鮮明化して認識することができる画像処理装置および画像処理方法を得ることを目的とする。

この発明に係る画像処理装置は、Ｆ値が予め定めた値以下でレンズ駆動系を持たない固定焦点の車載カメラによって撮影された画像を補正し、補正後の画像の被写体から特徴物を画像認識する画像処理装置であって、車載カメラにより撮影された画像から被写体が含まれる被写体領域を抽出する抽出部と、車載カメラの撮影視野内を検出エリアとする距離センサにより検出された距離情報に基づいて、車載カメラから被写体までの距離を算出する距離演算部と、車載カメラから被写体までの距離を用いて、被写体領域の逆フィルタ補正に使用する逆フィルタパラメータを算出するパラメータ演算部と、逆フィルタパラメータを用いて被写体領域を逆フィルタ補正する補正部と、逆フィルタ補正された被写体領域から特徴物を画像認識する認識処理部とを備える。

この発明によれば、Ｆ値が小さくレンズ駆動系を持たない固定焦点のカメラによって焦点が合わずに撮影された画像を鮮明化して認識することができるという効果がある。

この発明の実施の形態１に係る画像処理装置を用いた車載システムの構成を示すブロック図である。 被写体とレンズ間の距離と画像ぼけとの関係を示す図である。 実施の形態１に係る画像処理装置の動作を示すフローチャートである。 実施の形態１における被写体領域のぼけ補正の概要を示す図である。 撮影画像を上下に短冊状に区分した場合を示す図である。 この発明の実施の形態２に係る画像処理装置を用いた車載システムの構成を示すブロック図である。 実施の形態２に係る画像処理装置の動作を示すフローチャートである。

実施の形態１．
図１はこの発明の実施の形態１に係る画像処理装置を用いた車載システムの構成を示すブロック図である。図１に示す車載システムは、車両に搭載され、車載カメラを使用した車両周辺の監視を目的としたシステムであり、撮影画像から障害物を認識して運転支援を行う。その構成として、実施の形態１に係る画像処理装置１、カメラ２および距離測定用センサ３を備える。

まず、カメラ２には、例えば、車両周辺の監視用に車両に搭載されている車載カメラを用いる。このような車載カメラは、車両の走行時に生じる振動や雰囲気温度の変化による影響を受けやすく、精密機械にとって厳しい環境で使用される。このため、一般的に故障の原因となりやすいレンズ駆動系が省略される場合が多い。この場合、レンズを被写体に対して動かすことが困難であり、車載カメラは実質的に固定焦点となる。

一方、車載カメラは昼夜を問わず使用されるため、使用条件によっては、車載カメラの受光量に大きな差が発生する。そのため、車載カメラには、ダイナミックレンジが大きな撮像センサが要求される。さらに車載カメラを夜間で使用する場合、光量の少ない環境での撮影となることから、ノイズの発生量を極力低減する必要がある。このため、光学系のレンズユニットにはなるべく明るいレンズ（Ｆ値が小さいレンズ）が使用されつつある。

例えば、車載カメラにＦ値が２．０以下のレンズを使用した場合、レンズを通る光量は増えるが、被写体に対してピントの合う領域が狭くなる。また、近年では半導体プロセスの歩留まりが向上しており車載カメラの受光感度の性能向上が要求されているため、撮像センサが大型化する傾向にある。
本発明では、上述したような車載カメラをカメラ２として利用する。すなわち、カメラ２は、Ｆ値が小さく（例えば、２．０以下）、レンズ駆動系を持たない固定焦点の車載カメラである。

距離測定用センサ３は、カメラ２の撮影視野内を検出エリアとする距離センサであり、例えば、車両周辺の監視用に設置された距離センサを流用することができる。
また距離測定用センサ３は、カメラ２の撮影視野内を検出エリアとするため、カメラ２と並設されてもよい。距離測定用センサ３としては、例えば、超音波センサ、レーザスキャンセンサ、ミリ波センサ、赤外線センサ、飛行時間型（ＴＯＦ）カメラなどを使用することができる。なお、この場合、上記センサごとに測定可能な有効測定距離が異なる。
さらに、２台のカメラをステレオ構成としたものを距離測定用センサ３としてもよい。この構成では、多少ピントがずれた状態でも撮影画像において被写体のおおよその輪郭を得ることができ、視差画像として認識できれば被写体までの距離を算出することが可能である。

画像処理装置１は、カメラ２によって焦点が合わずに撮影された画像を鮮明化して画像に写る特徴物を画像認識する装置である。その機能構成として、被写体領域抽出部１０、認識領域距離演算部１１、逆フィルタパラメータ演算部１２、逆フィルタ処理部１３、認識領域処理部１４、被写体判定部１５およびシステム制御演算部１６を備える。

被写体領域抽出部１０は、カメラ２により撮影された画像から被写体が含まれる領域（以下、被写体領域と記載する）を抽出する抽出部である。
例えば、カメラ２によって撮影された画像を２値化し、エッジ検出によって物体としての被写体の有無を確認する。そして、被写体を含むと判断された領域は被写体領域として抽出される。

認識領域距離演算部１１は、距離測定用センサ３により検出された距離情報に基づいて、被写体領域抽出部１０が抽出した被写体領域に含まれる被写体からカメラ２までの距離を算出する距離演算部である。
例えば、実空間の座標系と撮影画像の座標系を適宜換算して、被写体領域の被写体から距離測定用センサ３までの距離を算出し、この距離およびカメラ２の設置位置に基づいて実空間におけるカメラ２から被写体までの距離を算出する。

また逆フィルタパラメータ演算部１２は、カメラ２から被写体までの距離に基づいて、被写体領域の逆フィルタ補正に使用する逆フィルタパラメータを算出するパラメータ演算部である。逆フィルタ処理部１３は、逆フィルタパラメータ演算部１２により算出された逆フィルタパラメータを用いて、被写体領域を逆フィルタ補正する補正部である。
逆フィルタパラメータ演算部１２および逆フィルタ処理部１３は、例えば、下記のようにして逆フィルタ補正を行う。

まず、ぼけのない理想的な撮像光学系を持つカメラで撮影した撮影画像をｆ（ｘ，ｙ）とする。撮影画像ｆ（ｘ，ｙ）は、実世界の歪みのない真の対象であり、ｘ，ｙは画像の２次元座標位置を示す。実世界の歪んだ対象をｇ（ｘ，ｙ）とし、歪みの特性を表す関数をｈ（ｘ，ｙ）とする。画像ぼけの要因はレンズ焦点特性が支配的であるとみなし、これらの関数は被写体までの距離の関数となる。

例えば、図２に示すように被写体とレンズとの距離Ｌ１に対するレンズ投影面におけるぼけの広がりｄ１と、被写体とレンズとの距離Ｌ２に対するレンズ投影面におけるぼけの広がりｄ２とが異なるように、被写体とレンズとの距離によって光学伝達関数が異なり、歪みの特性関数も距離Ｌによって異なる。従って、被写体とレンズとの距離Ｌ１，Ｌ２，Ｌ３，・・・，Ｌｎに対して歪み特性関数もそれぞれｇ_Ｌ１（ｘ，ｙ），ｇ_Ｌ２（ｘ，ｙ），ｇ_Ｌ３（ｘ，ｙ），・・・，ｇ_Ｌｎ（ｘ，ｙ）となる。

距離Ｌｎにおける歪み特性関数は、下記式（１）で表される。なお、＊は畳み込み演算を意味している。
ｇ_Ｌｎ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊ｈ（ｘ，ｙ） ・・・（１）
上記式（１）をフーリエ変換（空間周波数変換）すると下記式（２）となる。
Ｇ_Ｌｎ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）・Ｈ（ｕ，ｖ） ・・・（２）
ここで、ｕ，ｖは２次元周波数面における座標、すなわち周波数を示している。また、Ｇは、ぼけのある撮像光学系で撮影した撮影画像ｇのフーリエ変換である。

撮影されたぼけのある画像から、ぼけのない画像を得るためには、上記式（２）の両辺をＨで除算すればよい。すなわち、Ｈ_ｉｎｖ（ｕ，ｖ）＝１／Ｈ（ｕ，ｖ）とした場合に、ぼけのない撮影画像ｆのフーリエ変換Ｆ（ｕ，ｖ）は下記式（３）で表すことができる。
Ｆ（ｕ，ｖ）＝Ｇ_Ｌｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ）
＝Ｈ_ｉｎｖ（ｕ，ｖ）・Ｇ_Ｌｎ（ｕ，ｖ） ・・・（３）

従って、最終的にレンズからの距離Ｌｎにある領域の劣化した画像は、Ｆ（ｕ，ｖ）を逆フーリエ変換することで、元の実世界における画像ｆ（ｘ，ｙ）を得ることができる。
逆フィルタパラメータ演算部１２は、認識領域距離演算部１１が算出したカメラ２から被写体までの距離Ｌｎに基づいて、被写体領域の逆フィルタ補正に使用する逆フィルタパラメータとしてＧ_Ｌｎ（ｕ，ｖ）を算出する。なお、逆フィルタパラメータの演算には、距離Ｌｎごとの逆フィルタパラメータが登録されたデータベースを用いてもよい。
逆フィルタ処理部１３は、上記式（３）に従ってＦ（ｕ，ｖ）を算出し、Ｆ（ｕ，ｖ）を逆フーリエ変換することによりぼけのない撮影画像ｆ（ｘ，ｙ）を得て認識領域処理部１４に出力する。

認識領域処理部１４は、逆フィルタ補正された被写体領域の被写体から、特徴物を画像認識する認識処理部である。特徴物とは、自車両の運転に必要な情報を含む物体であり、案内標識や規制標識、他車両、歩行者などが挙げられる。
特徴物の認識方法は、例えば、各種の特徴物の外形パターンを予め登録しておき、認識領域処理部１４が、逆フィルタ補正後の画像を２値化してエッジパターンを検出し、このエッジパターンと上記外形パターンとのマッチング方法や認識対象の輝度勾配分布による識別法によって特徴物を認識する。

このようにして逆フィルタ補正により鮮明化された画像データにおける被写体オブジェクトが何であるかが認識される。
例えば、特徴物が道路標識である場合、認識領域処理部１４は、規制標識だけでなく、その補助標識の内容も画像認識する。案内標識であれば、案内標識に記載されている内容を認識する。なお、案内標識あるいは補助標識にはその内容が文字で記載されていることが多い。従って、逆フィルタ補正で画像を鮮明化することで、上述した文字の認識も可能となる。

被写体判定部１５は、認識領域処理部１４により認識された特徴物が自車の運転行動に対してどのような影響を及ぼすかを判定する。例えば、特徴物が他車両であった場合は、自車との距離を求めて衝突の可能性があるか否かを判定する。また、特徴物が案内標識であれば、地図情報を用いて認識領域処理部１４に認識された案内標識の内容を確認する。さらに、特徴物が規制標識であれば、認識領域処理部１４に認識された規制標識とその補助標識の各内容から自車がとるべき運転行動を判定する。これらの判定結果は、被写体判定部１５によって自車の運転に必要な情報形式に変換されてから、ＣＡＮなどのＥＣＵ間のインタフェースを経由して後段へ出力される。これにより車両制御情報として使用されるか、あるいは運転者への警告や情報提供に用いられる。

ここで、実施の形態１に係る画像処理装置１は、Ｆ値が予め定めた値以下でレンズ駆動系を持たない固定焦点のカメラ２によって撮影された画像を補正して画像に写る特徴物を画像認識するものである。従って、被写体判定部１５は、画像処理装置１とは別の装置に設けてもよい。例えば、画像処理装置１と連動して運転支援を行う運転支援装置に設ける場合が考えられる。

システム制御演算部１６は、画像処理装置１の内部構成の動作を制御する。すなわち、被写体領域抽出部１０、認識領域距離演算部１１、逆フィルタパラメータ演算部１２、逆フィルタ処理部１３、認識領域処理部１４および被写体判定部１５の各動作は、システム制御演算部１６により制御される。

なお、被写体領域抽出部１０、認識領域距離演算部１１、逆フィルタパラメータ演算部１２、逆フィルタ処理部１３、認識領域処理部１４、被写体判定部１５およびシステム制御演算部１６は、例えば、実施の形態１に特有な処理が記述されたプログラムを画像処理装置１が備えるマイクロコンピュータが実行することで、ソフトウエアとハードウエアが協働した手段として実現することができる。

次に動作について説明する。
図３は実施の形態１に係る画像処理装置の動作を示すフローチャートであり、カメラ２により撮影された画像を鮮明化して特徴物を認識する一連の処理と特徴物の認識結果から自車の運転に必要な情報を判定する処理とを示している。
まず、カメラ２で自車前方の映像を撮影する（ステップＳＴ１００）。ここでは、その時点で最適な露光状態で撮影されたものとする。

次に、被写体領域抽出部１０は、カメラ２により撮影された映像の中から被写体領域を抽出する（ステップＳＴ１０１）。ここでは、被写体が特徴物であるかどうかを問わず、カメラ２による撮影画像の中から、物体としての被写体を含む領域が大まかに選別されて抽出される。このとき、被写体領域抽出部１０が、カメラ２により撮影された画像を複数の領域に分割し、分割した複数の領域の中から被写体領域を抽出してもよい。
例えば、図４に示すように、カメラ２により撮影された撮影画像１０Ａを複数の領域に分割する。図４の例では２８分割している。

被写体領域抽出部１０は、撮影画像１０Ａを分割した複数の領域を順次探索して、物体としての被写体を含む被写体領域を抽出する。例えば、撮影画像１０Ａの左上から、領域Ａ１→領域Ｂ１→領域Ｃ１→・・・→領域Ｇ４といった順番で探索していく。
図４では、物体としての被写体を含む被写体領域として領域Ｄ３が抽出される。

また、図４に示すように、撮影画像１０Ａのうち、重点的に探索したい部分を他の部分よりも密に分割してもよい。重点的に探索した部分は、例えば、特徴物が撮影されやすい部分である。図４の場合、撮影画像１０Ａの中央下部分で速度制限標識などの道路標識が撮影されやすく重点的に探索したいため、中央下部分おける分割領域が他の部分よりも密になるように分割領域のサイズを変えている。分割領域が密の部分では、被写体の探索に必要な画像処理をすべき画像範囲が狭いため、処理に要する演算量が抑えられ迅速な処理が可能である。

また、探索順序は分割領域が密の部分を優先して行う。例えば、撮影画像１０Ａの中央下部分における領域Ｃ３→領域Ｄ３→領域Ｅ３→領域Ｃ４→領域Ｄ４→領域Ｅ４といった順番で探索を行い、その後、上記と同様に撮影画像１０Ａの左上から探索する。
このように特徴物が撮影されやすい部分を重点的に探索することで、特徴物である被写体を抽出しやすくなる。

上述したような画像における特徴物が撮影されやすい部分は、例えば、過去の画像認識結果から決定し、撮影場所の位置情報に紐付けて被写体領域抽出部１０に登録しておく。自車が撮影場所に対応する道路を再度走行した場合、被写体領域抽出部１０は、対応する部分が密になるように撮影画像を分割して被写体領域の抽出を行う。
また、道路種別や道路状況などによって分割領域を密にする部分を変更してもよい。
例えば、高速道路では、制限標識や案内標識を特徴物として認識するため、路側を写す画像部分の分割領域を密とし、一般道路では、前方車両や対向車両を特徴物として認識するため、自車前方を写す画像部分の分割領域を密にすることなどが考えられる。

次に、被写体領域抽出部１０は、抽出した被写体領域に対し、自車の状況に応じて認識優先度を判断して割り当てる（ステップＳＴ１０２）。
例えば、被写体領域抽出部１０は、被写体領域の被写体の大きさから自車の進行方向における自車と被写体との相対的な距離を推測して予め定めた閾値と比較する。この比較の結果から被写体が自車に接近しており、被写体の認識を急ぐべきと判断された場合、高い優先度を当該被写体領域に割り当てる。
また、上述した重点的に探索したい部分（分割領域を密にした部分）から抽出した被写体領域に対して高い認識優先度を割り当ててもよい。

一方、認識領域距離演算部１１は、距離測定用センサ３によって検出された距離情報に基づいて、被写体領域に含まれる被写体方向の距離を測定する（ステップＳＴ１０３）。すなわち、距離測定用センサ３は、カメラ２の画角と同等の範囲内で距離の測定が可能であり、認識領域距離演算部１１は、距離測定用センサ３に測定された距離情報に基づいて被写体からカメラ２までの距離を算出する。

なお、認識領域距離演算部１１は、距離測定用センサ３によって検出された距離情報を用いれば、カメラ２により撮影された画像の座標点（１画素）ごとに、カメラ２との距離を演算することができる。このため、１枚の画像（例えば１フレーム分の画像）中にカメラ２からの距離が異なる複数の被写体が存在する場合であっても各被写体との距離を算出することが可能である。

次に、逆フィルタパラメータ演算部１２は、認識領域距離演算部１１により算出された被写体からカメラ２までの距離情報に基づいて、この被写体を含む被写体領域に対応した逆フィルタパラメータ（逆フィルタ係数）を演算処理する（ステップＳＴ１０４）。
例えば、被写体領域の被写体からカメラ２の位置までの距離情報を用い、光学伝達関数に基づいて逆フィルタパラメータを算出する。なお、演算量を削減するために、有効認識距離区間を定めて区間外の距離情報を処理対象から除外し、区間内の距離情報については予め算出しておいた逆フィルタパラメータを用いてもよい。

また、撮影画像１０Ａ（１枚の画像）から複数の被写体領域が抽出された場合、逆フィルタパラメータ演算部１２は、認識領域距離演算部１１により算出された各被写体領域における被写体までの距離情報をそれぞれ用いて、各被写体領域に対応した逆フィルタパラメータをそれぞれ算出する。なお、被写体領域に認識優先度が割り当てられている場合、逆フィルタパラメータ演算部１２は、認識優先度が高い順に逆フィルタパラメータを演算して逆フィルタ処理部１３に出力する。

続いて、逆フィルタ処理部１３は、逆フィルタパラメータ演算部１２により算出された逆フィルタパラメータを用いて逆フィルタを構成し、この逆フィルタにより被写体領域を画像補正する（ステップＳＴ１０５）。これにより焦点が合わずぼけた被写体領域の修復が行われ、被写体の認識が可能な被写体領域の鮮明画像を得ることができる。

例えば、図４において、速度制限標識がカメラ２の焦点位置Ａで撮影された場合、速度制限標識の鮮明画像ａ１が得られる。しかしながら、カメラ２はＦ値が予め定めた値以下でレンズ駆動系を持たない固定焦点の車載カメラであり、都合よく焦点位置Ａで撮影できる場合は少ない。このため焦点位置Ａからずれた位置Ｂで速度制限標識が撮影されると、図４に示すように速度制限標識がぼけた劣化画像ａ２が得られる。

そこで、実施の形態１では、距離測定用センサ３に検出された被写体（速度制限標識）からカメラ２までの距離情報に基づいて逆フィルタパラメータを算出し、この逆フィルタパラメータを用いて被写体領域を逆フィルタ補正する。これにより劣化画像ａ２から鮮明画像ａ３を得ることができる。

また、撮影画像１０Ａから複数の被写体領域が抽出された場合、逆フィルタ処理部１３は、逆フィルタパラメータ演算部１２に算出された複数の被写体領域のそれぞれに対応した複数の逆フィルタパラメータを用いて被写体領域ごとに逆フィルタ補正を行う。
すなわち、１枚の画像（例えば１フレーム分の画像）中にカメラ２からの距離が異なる複数の被写体が存在する場合であっても、被写体領域ごとに逆フィルタ補正が行われる。
さらに、補正対象の被写体領域に認識優先度が割り当てられている場合は、逆フィルタ処理部１３は、認識優先度が高い被写体領域から順番に逆フィルタ補正して認識領域処理部１４に出力する。

認識領域処理部１４は、逆フィルタ補正された被写体領域（補正画像）の被写体から、特徴物を画像認識する（ステップＳＴ１０６）。
例えば、図４に示す場合は、特徴物として速度制限標識が特定され、その内容として、“制限速度が６０ｋｍ／ｈである”ことが認識される。
また、認識領域処理部１４は、認識優先度が割り当てられた補正後の被写体領域を入力すると、認識優先度が高い被写体領域から順番に特徴物が画像認識される。

次に、被写体判定部１５は、認識領域処理部１４により認識された上記内容に関して、自車の走行に対する重要度を判定する（ステップＳＴ１０７）。
画像認識された特徴物の内容およびその重要度の判定結果は、被写体判定部１５から、外部のヒューマンマシンインタフェース（ＨＭＩ）および車両制御部へ出力される（ステップＳＴ１０８）。

なお、図４の場合、距離測定用センサ３が対象点と自車との距離を測定するセンサであったが、図５に示すように、左右の線と自車との距離を測定する距離センサを利用してもよい。この場合、撮影画像１０Ｂは上下に短冊状（Ａ〜Ｊ）に区分される。

以上のように、この実施の形態１によれば、カメラ２により撮影された画像から被写体が含まれる被写体領域を抽出する被写体領域抽出部１０と、カメラ２の撮影視野を検出エリアとする距離測定用センサ３により検出された距離情報に基づいて、カメラ２から被写体までの距離を算出する認識領域距離演算部１１と、カメラ２から被写体までの距離に基づいて、被写体領域の逆フィルタ補正に使用する逆フィルタパラメータを算出する逆フィルタパラメータ演算部１２と、逆フィルタパラメータを用いて被写体領域を逆フィルタ補正する逆フィルタ処理部１３と、逆フィルタ補正された被写体領域から特徴物を画像認識する認識領域処理部１４とを備える。このように構成することで、Ｆ値が小さくレンズ駆動系を持たない固定焦点のカメラ２によって焦点が合わずに撮影された画像を鮮明化して認識することができる。

また、この実施の形態１によれば、逆フィルタパラメータ演算部１２は、複数の被写体がそれぞれ含まれる被写体領域ごとに逆フィルタパラメータを算出する。そして、逆フィルタ処理部１３は、逆フィルタパラメータ演算部１２によりそれぞれ算出された逆フィルタパラメータを用いて被写体領域ごとに逆フィルタ補正を行う。このようにすることで、１枚の画像中にそれぞれ距離が異なり、かつ焦点が合わずに撮影された被写体が存在する場合であっても、それぞれを逆フィルタ補正することができ、全ての被写体を鮮明化することが可能である。

さらに、この実施の形態１によれば、被写体領域抽出部１０は、カメラ２により撮影された画像を複数の領域に分割して複数の領域の中から被写体領域を抽出し、逆フィルタ処理部１３は、自車の状況に応じて割り当てられた優先度が高い被写体領域から順番に逆フィルタ補正を行い、認識領域処理部１４は、逆フィルタ処理部１３によって逆フィルタ補正された順に被写体領域から特徴物を画像認識する。
このように優先度が高い被写体領域から順番に逆フィルタ補正が行われるので、特徴物となる被写体を迅速に認識することができる。

さらに、この実施の形態１によれば、被写体領域抽出部１０は、カメラ２により撮影された画像のうち、被写体領域を重点的に探索する箇所が他の箇所よりも密になるように分割する。このようにすることで、重点的に探索すべき箇所において被写体を探索する画像範囲が狭くなるため、探索のための画像処理に要する演算量が抑えられ迅速な処理が可能である。

さらに、この実施の形態１によれば、被写体領域は、被写体と自車との距離が近い順に高い優先度を割り当てられる。このようにすることで、自車との衝突の可能性がある物体の認識を優先して行うことができる。

実施の形態２．
図６はこの発明の実施の形態２に係る画像処理装置を用いた車載システムの構成を示すブロック図である。図６に示す車載システムは、実施の形態１と同様に車両に搭載され、車載カメラを使用した車両周辺の監視を目的としたシステムであるが、画像処理装置１Ａが映像流れ検出パラメータ演算部１７をさらに備える点で異なる。
映像流れ検出パラメータ演算部１７は、自車の移動状態とカメラ２の撮影条件とに基づいて、カメラ２により撮影された画像における自車の移動による変化分（映像の流れ）を補正パラメータとして算出する補正パラメータ演算部である。
なお、図６において、図１と同一またはそれに相当する構成要素には同一符号を付して説明を省略する。

自車が走行している場合、自車の移動速度に加え、カメラ２の撮影時の周辺照度、カメラ２のシャッター時間、露光時間および感度などの撮影条件によって、撮影された映像が自車の進行方向に対して放射状に流れる場合がある。特に、照度が低い（暗い）場合は、カメラ２のシャッター速度が長いあるいは自車の移動が速いと、映像の流れが顕著に現れる。また、放射状に流れる画像の変化分は、一般的に被写体が自車位置に近いほど大きくなり、遠いと小さくなる。これはちょうど遠くの景色はあまり動かない現象として日常生活の中で経験していることである。

映像流れ検出パラメータ演算部１７は、自車の移動による映像の変化分（映像の流れ）を補正パラメータとして逆フィルタ補正における光学伝達関数に反映させる。これにより自車の移動による変化分（映像の流れ）が除かれた画像を得ることができる。
なお、映像流れ検出パラメータ演算部１７は、自車の移動速度やヨーレート情報などを車両情報として自車の車両制御部から取得する。

被写体領域抽出部１０、認識領域距離演算部１１、逆フィルタパラメータ演算部１２、逆フィルタ処理部１３、認識領域処理部１４、被写体判定部１５、システム制御演算部１６および映像流れ検出パラメータ演算部１７は、例えば、実施の形態２に特有な処理が記述されたプログラムを画像処理装置１が備えるマイクロコンピュータが実行することで、ソフトウエアとハードウエアが協働した手段として実現することができる。

次に動作について説明する。
図７は、実施の形態２に係る画像処理装置の動作を示すフローチャートであり、カメラ２により撮影された画像を鮮明化して特徴物を認識する一連の処理と特徴物の認識結果から自車の運転に必要な情報を判定する処理とを示している。
図３の処理からステップＳＴ１０３ａが追加されている。このステップＳＴ１０３ａにおいて、映像流れ検出パラメータ演算部１７は、取得した車両情報から自車の移動状態を特定し、自車の移動状態（移動速度など）とカメラ２の撮影条件とに基づいて、カメラ２により撮影された映像の流れ（自車の移動による変化分）を推測し、流れによる変化分を補正パラメータとして算出する。
ステップＳＴ１０５において、逆フィルタ処理部１３は、逆フィルタ処理に必要な光学伝達関数に上記補正パラメータを反映させて逆フィルタ補正を行う。これにより、被写体領域における自車の移動による変化分の補正と鮮明化の双方を行うことができる。

以上のように、この実施の形態２によれば、自車の移動状態とカメラ２の撮影条件とに基づいて、カメラ２により撮影された画像における自車の移動による変化分を、補正パラメータとして算出する映像流れ検出パラメータ演算部１７を備え、逆フィルタ処理部１３は、補正パラメータおよび逆フィルタパラメータを用いて被写体領域における自車の移動による変化分を補正して逆フィルタ補正を行う。このように構成することで、補正対象の劣化画像に対して鮮明化の補正に加え、自車の移動による映像の変化分（映像の流れ）の補正の双方を行うことができる。

なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１，１Ａ 画像処理装置、２ カメラ、３ 距離測定用センサ、１０ 被写体領域抽出部、１１ 認識領域距離演算部、１２ 逆フィルタパラメータ演算部、１３ 逆フィルタ処理部、１４ 認識領域処理部、１５ 被写体判定部、１６ システム制御演算部、１７ 映像流れ検出パラメータ演算部。

Claims (7)

1. Ｆ値が予め定めた値以下でレンズ駆動系を持たない固定焦点の車載カメラによって撮影された画像を補正し、補正後の画像の被写体から特徴物を画像認識する画像処理装置であって、
   前記車載カメラにより撮影された画像から被写体が含まれる被写体領域を抽出する抽出部と、
   前記車載カメラの撮影視野内を検出エリアとする距離センサにより検出された距離情報に基づいて、前記車載カメラから前記被写体までの距離を算出する距離演算部と、
   前記車載カメラから前記被写体までの距離を用いて、前記被写体領域の逆フィルタ補正に使用する逆フィルタパラメータを算出するパラメータ演算部と、
   前記逆フィルタパラメータを用いて前記被写体領域を逆フィルタ補正する補正部と、
   逆フィルタ補正された被写体領域から前記特徴物を画像認識する認識処理部とを備える画像処理装置。
2. 前記パラメータ演算部は、複数の被写体がそれぞれ含まれる被写体領域ごとに逆フィルタパラメータを算出し、
   前記補正部は、前記パラメータ演算部によりそれぞれ算出された逆フィルタパラメータを用いて、前記被写体領域ごとに逆フィルタ補正を行うことを特徴とする請求項１記載の画像処理装置。
3. 前記抽出部は、前記車載カメラにより撮影された画像を複数の領域に分割して前記複数の領域の中から被写体領域を抽出し、
   前記補正部は、自車の状況に応じて割り当てられた優先度が高い被写体領域から順番に逆フィルタ補正を行い、
   前記認識処理部は、前記補正部によって逆フィルタ補正された順に前記被写体領域から前記特徴物を画像認識することを特徴とする請求項２記載の画像処理装置。
4. 前記抽出部は、前記車載カメラにより撮影された画像のうち、前記被写体領域を重点的に探索する箇所が他の箇所よりも密になるように分割することを特徴とする請求項３記載の画像処理装置。
5. 前記被写体領域は、被写体と自車との距離が近い順に高い優先度を割り当てられることを特徴とする請求項３記載の画像処理装置。
6. 自車の移動状態と前記車載カメラの撮影条件とに基づいて、前記車載カメラにより撮影された画像における前記自車の移動による変化分を、補正パラメータとして算出する補正パラメータ演算部を備え、
   前記補正部は、前記補正パラメータおよび前記逆フィルタパラメータを用いて前記被写体領域における前記自車の移動による変化分を補正して逆フィルタ補正を行うことを特徴とする請求項１記載の画像処理装置。
7. Ｆ値が予め定めた値以下でレンズ駆動系を持たない固定焦点の車載カメラによって撮影された画像を補正し、補正後の画像の被写体から特徴物を画像認識する画像処理方法であって、
   抽出部が、前記車載カメラにより撮影された画像から被写体が含まれる被写体領域を抽出するステップと、
   距離演算部が、前記車載カメラの撮影視野内を検出エリアとする距離センサにより検出された距離情報に基づいて、前記車載カメラから前記被写体までの距離を算出するステップと、
   パラメータ演算部が、前記車載カメラから前記被写体までの距離を用いて、前記被写体領域の逆フィルタ補正に使用する逆フィルタパラメータを算出するステップと、
   補正部が、前記逆フィルタパラメータを用いて前記被写体領域を逆フィルタ補正するステップと、
   認識処理部が、逆フィルタ補正された被写体領域から前記特徴物を画像認識するステップとを備える画像処理方法。

Images