JP6615984B2

JP6615984B2 - 物体認識装置

Info

Publication number: JP6615984B2
Application number: JP2018507086A
Authority: JP
Inventors: 春樹的野; 健永崎; 雄飛椎名
Original assignee: Hitachi Automotive Systems Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2016-03-23
Filing date: 2017-01-30
Publication date: 2019-12-04
Anticipated expiration: 2037-01-30
Also published as: WO2017163606A1; US11176397B2; JPWO2017163606A1; US20210192250A1; EP3435328A1; EP3435328A4

Description

本発明は、物体認識装置に関する。

本技術分野の背景技術として、特許文献１がある。この公報には、課題として「画像から所定の対象画像を検出する際の誤検出の発生を低減しつつ高速な検出処理を実現する画像検出装置を提供する。」と記載され、解決手段として、「画像検出装置（１０）は、入力画像の各画素とその近傍領域の画素間の色の類似度または入力画像の各画素の周囲の画素のエッジ強度に基づいて入力画像から検出対象領域を抽出する候補領域抽出手段（１３）と、抽出した検出対象領域に含まれる各画素についてエッジ方向およびエッジ強度を求めるエッジ抽出手段（１４）と、対象画像の存在する可能性の高い領域を導出するために、エッジ方向とエッジ強度情報に基づいて投票する投票手段（１５）と、投票結果を参照し、閾値以上の投票値を探索し、その探索した結果に基づいて入力画像に含まれる対象画像を検出する投票結果評価手段（１６）とを備える。」と記載されている（要約参照）。

また、従来より、広角レンズを有するカメラが知られている。例えば、特許文献２には、広角レンズ（いわゆる、魚眼レンズ）を有する撮像装置が開示されている。

特願２００８−３０７４６３号公報特開２００４−３５４５７２号公報

従来より、広角レンズを用いた撮像装置で遠方領域と近傍領域の両方を撮像しようとする試みが行われている。しかし、従来の広角レンズを用いて遠方領域と近傍領域の両方を撮像した場合、像高当たりの入射角の変化率に起因して、画像の中に画質が劣化した部分が生じる場合がある。この画質が劣化した部分が、その後に実施される画像処理に悪い影響を与えるおそれがある。

そこで、本発明は、撮像装置で撮像した画像に関して、その画像に含まれる画質が劣化した部分の影響を小さくする画像処理技術を提供する。

上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、「ボケ領域に認識対象が入るかどうかを判定し、認識のパラメータを変更する機構を設ける」ことを特徴とする。

本発明によれば、撮像装置で撮像した画像に関して、その画像に含まれる画質が劣化した部分の影響を小さくすることができる。本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の、課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明が適用される撮像装置の実施例１を説明する機能ブロック図。角度分解能が高い場合における距離測定精度について説明する図。角度分解能が低い場合における距離測定精度について説明する図。車載用のステレオカメラで撮像する範囲を模式的に示した図。実施例１の撮像レンズにおける入射角θに対する像高当りの入射角の変化率Ｄ及び像高ｙとの関係の一例を示すグラフ。実施例１の撮像レンズのレンズ構成を説明する図。実施例１の撮像レンズを用いて撮像される画像の一部を示す図。実施例１の撮像レンズを用いて撮像される画像を模式的に表した図。実施例１の撮像レンズを用いて撮像される画像の解像度の変化を示す図。実施例１の道路標識を検知する機能を説明するフローチャート。時刻ｔ（０）のタイミングで撮像された画像のイメージ図。時刻ｔ（５０）のタイミングで撮像された画像のイメージ図。時刻ｔ（１００）のタイミングで撮像された画像のイメージ図。本発明が適用される撮像装置の実施例２を説明する機能ブロック図。実施例２の道路標識を検知する機能を説明するフローチャート。所定の時間間隔をおいて撮像された複数の画像を重畳したイメージ図。ＣＭＯＳセンサのＶ同期信号の出力タイミングを示す図。

以下、添付図面を参照して本発明の実施例について説明する。なお、添付図面は本発明の原理に則った具体的な実施例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。

［実施例１］
図１は、本発明の物体認識装置が適用される撮像装置の構成を説明する機能ブロック図である。
撮像装置１は、自車両に搭載されて使用されるものであり、それぞれ車両前方を撮像する左右一対の第１及び第２の撮像部と、演算部（１０２〜１１２）とを備える。また、撮像装置１の外部ＩＦ（外部インターフェース）１１２には、図示しない制御部が設けられている。

撮像装置１では、第１及び第２の撮像部で車両前方を同時に撮像し、演算部（１０２〜１１２）で、複数の画像を用いて視差を求め、視差に基づいて車両から前方の対象物までの距離を算出する。そして、演算部（１０２〜１１２）で、対象物までの距離を用いて対象物が認識される。制御部は、対象物の認識結果を用いてブレーキ制御等の車両制御を行う。

左右の第１及び第２の撮像部は、基線長（base line length）だけ左右に離れて設定されているので、車両前方を同時に撮像した左右の画像は、同じ対象物の位置が互いに左右にずれて撮像されている。すなわち、左右一対の画像は、同じ対象物を撮像したものであっても画面上の位置は左右にずれることになる。

第１の撮像部は、光学素子１００ａと、撮像素子１０１ａとを備える。光学素子１００ａは、光を屈折させて、撮像素子１０１ａに像を結ぶ構造を有する撮像レンズを有する。
撮像素子１０１ａは、光学素子１００ａにより屈折した光の像を受光し、その光の強さに応じた画像を生成する。撮像素子１０１ａは、光学素子１００ａを通過した光が通る箇所に設置され、所定の時間中の光を処理するように電子的なシャッタの機能を有する。なお、第１の撮像部が物理的なシャッタ機能を備えてもよい。撮像素子１０１ａとしては、ＣＣＤ（Charge Coupled Device）イメージセンサや、ＣＭＯＳ（Complementary Metal Oxide）イメージセンサなどがある。

次に、本実施例で用いられる撮像レンズについて説明する。上述のように、演算部（１０２〜１１２）が対象物までの距離を測定する。ここでは、図２Ａ及び図２Ｂを用いて角度分解能と距離の測定との関係について説明する。図２Ａは、角度分解能が高い場合における距離測定精度について説明する図であり、図２Ｂは、角度分解能が低い場合における距離測定精度について説明する図である。１つの画素が表現する入射角は幅を持っており、直線で示す入射角内であれば、撮像装置１は、対象物が同じ方向に存在すると認識することができる。
例えば図２Ａのように光学素子１００ａの角度分解能が高ければ撮像素子１０１ａの１画素２１が捕らえる入射角が狭いため、複数の対象物２０Ａ、２０Ｂそれぞれを識別可能となり、距離の測定精度が上がる。しかしながら、図２Ｂのように光学素子１００ａの角度分解能が低いと撮像素子１０１ａの１画素が捉えられる入射角が広いため、複数の対象物２０Ａ、２０Ｂを識別することができず、対象物２０Ａ、２０Ｂの距離を正確に測定することができない。このため、正確に対象物との距離を測定する必要がある入射角に関しては角度分解能を高くする必要がある。

図３は、本実施例の車載用のステレオカメラで撮像する範囲を模式的に示した図である。まず、自動運転のアプリケーションにおける、前方の車両に自動的に追従する機能について述べる。この機能では、車両３０１の前方については、遠距離（例えば、１００ｍ程度）にある対象物（前方を走る車両）を認識すること必要がある。例えば、車両３０１が高速道路を走行する場合、比較的車間距離がとられていることも想定される。したがって、高速道路で走行中には距離測定の誤差によって車間距離に大きく影響を与えるので、正面付近の遠方でも精度の高い距離測定が必要である。このため、入射角の小さい領域において角度分解能が高い必要がある。

次に、自動運転のアプリケーションにおける、衝突防止機能について述べる。交差点などにおける衝突防止機能では、横方向から飛び出してくる人や車両を検知する必要があるため、できるだけ広い入射角を撮像することが必要である。また、衝突する可能性のある人又は車両は比較的近距離にある。以上の通り、正面に対しては遠距離を、周辺方向については広い入射角での撮影が要求される。

本実施例では、撮影画角を広角化しながら、撮影範囲の全体にわたり必要な角度分解能を確保するために、図４で説明する特性を有する撮像レンズを使用する。図４は、本実施例に係る撮像レンズにおける入射角θに対する像高当りの入射角の変化率Ｄ及び像高ｙとの関係の一例を示すグラフである。ここで、像高ｙとは、光学系の評価面上で像位置を光軸からの距離で表した値である。符号４０１が入射角の変化率を示すグラフ、符号４０２が像高を示すグラフ、符号４０３が入射角の変化率における変曲点であり、これに対応する入射角が切り替え入射角θｓである。

本例に係る撮像レンズは、像高当たりの入射角の変化率の切り替え入射角θｓが、１０°〜３０°の範囲に存在することを特徴とする。車両に搭載する用途の機器に用いる場合、像高当たりの入射角の変化率の切り替え入射角θｓは１０°から３０°の範囲に存在している事が望ましい。運転手の運転サポートや、自動運転で必要となる用途別の入射角ごとに要求される検知距離は、１０°から３０°の領域で短めになっている。つまり、角度分解能の要求精度は比較的低い。そのため、１０°から３０°の入射角では角度分解能の精度が小さくても許容される傾向である。その領域に、角度分解能がばらつきやすい角度分解能の遷移領域を設けることで、角度分解能のばらつきを原因とする距離の算出誤差があっても、車載用距離測定システムとしての処理が破綻しにくい堅牢性がある中央で比較的長い距離を測定しつつ、広い画角を撮影できる距離測定システムを提供できる。

以上から、本実施例で使用する撮像レンズは、入射角に対する像高当たりの入射角の変化率Ｄの変曲点４０３を所定の変曲点入射角（θｓ）に有する特性を有し、像高当たりの入射角の変化率が単調に変化する従来の撮像レンズとは異なる。なお、撮像素子として、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの撮像素子を採用した場合には、単位入射角当たりどれだけの画素が含まれるかが撮像レンズの指標となる。図４において、像高当たりの入射角の変化率Ｄがなだらかな部分は、角度分解能のばらつきが小さく、角度分解能も高い傾向にある。一方、像高当たりの入射角の変化率Ｄの変曲点４０３を含む部分（グラフが立ち上がる部分）は、上記の通り、角度分解能がばらつきやすい角度分解能の遷移領域であり、角度分解能が低くなる場合もある。したがって、本実施例で使用する撮像レンズは、撮像素子１０１ａの観点で言えば、中央部分と周辺部分との間に、当該中央部分及び周辺部分に比べて角度分解能の変化率が高い部分が存在する特性を有する撮像レンズと言うこともできる。

本実施例に係る撮像レンズは、変曲点入射角（θｓ）よりも入射角が小さい小入射角部位の倍率が変曲点入射角（θｓ）よりも入射角が大きい大入射角部位の倍率よりも大きく設定される。したがって、当該撮像レンズを車両に搭載する用途の機器（距離測定システム等）に用いる場合、運転手の運転サポートや、自動運転で必要となる用途別の入射角ごとに要求される検知距離は中央で長く、周辺方向で短くなっている。上記の特性を有する撮像レンズであれば、入射角が小さい中央領域で測定距離が長く、入射角が大きな周辺部分では測定距離は短いが、広い範囲を撮影できる。

上記のような光学特性を具備する撮像レンズのレンズ構成について図５を用いて説明する。図５は、実施例１の撮像レンズのレンズ構成を説明する図である。このレンズは、２枚の非球面レンズ５２０、５３０及び球面レンズ群５４０で構成されている。レンズ入射第１面５１０に入射した光線は、光線入射側の２枚の非球面レンズ５２０、５３０により所望の像高と入射角の関係が得られるように光線が導かれ、後群の球面レンズ群５４０により撮像素子１０１ａの上に像を結像する。

なお、図５の構成は、一例であり、これに限定されない。例えば、図５の構成に対して、赤外線を吸収するためのＩＲフィルタをレンズ射出面に追加してもよい。また、図５の例では、符号５２０、符号５３０で示す２枚の非球面レンズを用いているが、別の例として、符号５２０、符号５３０で示すレンズを両面非球面にしてもよい。また、本実施例の撮像レンズは、入射面の２枚の非球面レンズで大部分が特性付けられる。したがって、それ以降の後群のレンズ構成については、従来の撮像レンズの構成を用いてもよい。

一方、上記のような光学特性を具備する撮像レンズを用いたカメラに関して、像高当たりの入射角の変化率の変曲点の部分では、その部分で画質が劣化する。図６は、上記のような光学特性を具備する撮像レンズを用いたカメラで撮像した画像の一部を切り出したものである。図６に示す画像６００の内側画像領域６０１は、撮像レンズの中央領域で撮像され、外側画像領域６０２は、撮像レンズの周辺領域で撮像され、変曲点対応画像領域（ボケ領域）６０３は、撮像レンズの中央領域と周辺領域の間の領域で撮像されたものである。領域６０３は、領域６０１及び６０２と比較して解像度が低く、ボケていることがわかる。

なお、図６の画像６００は、上述したカメラで取得された実際の画像ではなく、ボケ領域を分かりやすく示すためにコントラストなどが調整された画像である。ここで、ボケ領域とは、画像内の解像度（resolution）が低い領域である。解像度とは、どれだけ細かいものを分解できるかを表すものである。解像度を表す指標として、レスポンス関数（modulation transfer function：MTF，変調伝達関数，振幅伝達関数）などがある。他に、点広がり関数（point spread function：PSF）、線広がり関数（line spread function：LSF）がある。本例では、解像度を表す指標としてＭＴＦを用いる。ＭＴＦは、空間分解能を表す定量的尺度の解像特性指標を指し、各空間周波数に対するレスポンスを表す関数である。

図３を用いて、上述のボケ領域と本実施例に係る撮像レンズとの関係を説明する。図３に示すように、車両３０１の正面方向に関しては、遠距離（例えば、１００ｍ程度）にある対象物（前方を走る車両）を認識する必要がある。したがって、撮像レンズの中央領域（光軸に対して入射角が小さい領域）は、解像度が高くなるように設定される。また、撮像レンズの周辺領域（光軸に対して入射角が大きい領域）に関しては、車両３０１から近距離（例えば、２０ｍ程度）にある対象物を認識する必要があるため、解像度が高くなるように設定される。

一方、図３の３０２で示すような部分は、車両運転中に認識する必要がない領域であるため、自動運転のアプリケーションに関しては画像の情報として取得する必要性が小さい。したがって、この部分に、像高当りの入射角の変化率Ｄの変曲点４０３が設定される。
上述したように、一例として、変曲点４０３は、入射角が１０°〜３０°の範囲に存在する。この構成によれば、撮像レンズの中央領域と周辺領域との間に、像高当りの入射角の変化率Ｄの急激な変化部分（変曲点４０３を含む部分）が存在することになる。この変曲点４０３に対応する領域が、図６の画像におけるボケ領域６０３に相当することになる。

図７は、上記のような光学特性を具備する撮像レンズを用いて撮像される画像を模式的に表した図である。本実施例の撮像レンズは、遠方と近傍の両方が撮影できる撮像レンズであり、解像度が異なる複数の画像領域を含む画像が取得できる。画像は、複数の画像領域のうちの一部の画像領域が他部の画像領域よりも解像度が低い。画像は、第１の領域（内側画像領域）２０１と、第２の領域（外側画像領域）２０２と、第３の領域（変曲点対応画像領域）２０３とを含む。

第１の領域２０１は、撮像レンズの光軸に対する入射角が小さい領域（以下、「小入射角領域」という）であり、撮像レンズの中央領域に対応する。第１の領域２０１は、遠距離（第１の距離範囲８０１）を対象とする領域である。

第２の領域２０２は、撮像レンズの光軸に対する入射角が大きい領域（以下、「大入射角領域」という）であり、撮像レンズの周辺領域に対応する。第２の領域２０２は、近距離（第１の距離範囲よりも近い第２の距離範囲）を対象とする領域である。

第３の領域２０３は、第１の領域２０１と第２の領域２０２の間にある。第３の領域２０３は、環状又はドーナツ状の領域であり、像高当りの入射角の変化率Ｄの急激な変化部分（変曲点４０３を含む）に対応する。第３の領域２０３（他部の画像領域）は、第１の領域２０１及び第２の領域２０２（一部の画像領域）に比べて解像度が低い領域となる。

図８は、実施例１の撮像レンズを用いて撮像される画像の解像度の変化を示す図である。図８の画像に関して、Ａ−Ａ線に沿って解像度（ＭＴＦ）の変化を図示すると、画像の中央から外側に移行するにしたがって緩やかに解像度が低下し、ドーナツ状の第３の領域８０３で落ち込むように解像度が急激に低くなり、その後、第２の領域８０２で解像度が高くなって元に戻る。したがって、本実施例に係る撮像レンズをそれによって撮像される画像から特定するならば、光軸に対する入射角が小さい小入射角領域と光軸に対する入射角が大きい大入射角領域との間に小入射角領域及び大入射角領域よりも解像度が低下する中間入射角領域が存在する特性を有するレンズと言うこともできる。また、別の言い方をすれば、本例の撮像レンズを、画像において第１の領域８０１と第２の領域８０２の間の第３の領域８０３が解像度の変曲点を有するように設計されたレンズと言うこともできる。

以下では、上記のような光学特性を備える撮像レンズを用いて撮像される画像に生じる新規な課題を解決する実施例を説明する。詳細には、本実施例は、解像度が低い第３の領域２０３の領域においても認識精度を維持する技術を提供する。

第２の撮像部は、第１の撮像部と同様に、光学素子１００ｂと、撮像素子１０１ｂとを備える。第２の撮像部は、第１の撮像部と同様の構成を備えるため、説明を省略する。なお、光学素子１００ｂの撮像レンズの設計は、光学素子１００ａと同様である。

撮像装置１は、第１の撮像部と第２の撮像部でそれぞれ撮像した画像を用いて距離画像を生成し、距離画像から立体物を検知する立体物検知処理部と、第１の撮像部と第２の撮像部のいずれか一方で撮像した画像を用いて道路標識の種別を認識する認識処理部を有する。

図１に示す同期制御部１０９は、第１の撮像部と第２の撮像部で撮影される画像を同期する信号（Ｖ同期信号）を生成する。例えば信号の立ち上がりで同期をとるように第１の撮像部と第２の撮像部に設定し、同期制御部１０９から５０ｍｓ周期の信号を出力すれば第１の撮像部と第２の撮像部で同じタイミングの画像を撮影することができる。

＜立体物検知処理部＞
立体物検知処理部は、距離画像生成部１１０と立体物検知部１１１を有する。距離画像生成部１１０は、左右の撮像素子１０１ａ、１０１ｂの出力結果から各画素の距離を出力したデータを生成する。距離の算出方法は公知の技術を利用すればよい。

立体物検知部１１１は、距離画像生成部１１０から出力される3次元点群から、道路上に立つ立体物を抽出する処理を行う。立体物検知の一例は、まず路面を検出し、その路面上にあり、画面の縦方向に同一の距離の物体を立体物として検出する方法がある。具体的には、画像の縦方向に横座標毎に距離のヒストグラムをとる。道路に対して立体物は道路に対して垂直に立っているとする。すると画面上の縦方向にヒストグラムを取ると、同じ距離ピークを持つ。このピークを検出して、立体物と検知することができる。

＜認識処理部＞
認識処理部は、輝度画像生成部１０２、ロジック選定部１０３、輪郭抽出部１０４、標識種別認識部１０５、確信度算出部１０６と、記憶部１０７を有する。
まず、輝度画像生成部１０２について説明する。輝度画像生成部１０２は、左右どちらかの撮像素子から画像を取得し（画像取得部）、明るさの画像を生成する。撮像素子は、ベイヤパタンと呼ばれる各画素にカラーフィルタを付けた画素から構成されるカラーセンサが一般的である。このようなセンサの場合は、デモザイキングと呼ばれるベイヤパタンからＲＧＢ画像や輝度画像に変換する処理が行われる。

次に、ロジック選定部１０３について説明する。ロジック選定部１０３は、画像内における物体候補の座標位置が事前に求めたボケ領域に含まれているかどうかによって画像処理の選択を行う。ロジック選定部１０３は、記憶部１０７から画像内におけるボケ領域の座標位置の情報を取得する。

左右片方の画像（第１及び第２の撮像部のいずれか一方で撮像された画像）を使用して認識を行うアプリケーションの一つに道路標識を検知する機能がある。道路標識を検知する処理では、画面内から、エッジ部分を抽出して、円を検索する。次に、円の部分の中にある文字を解析して、標識の種別を認識する。

物体候補である標識候補の座標位置が画像内のボケ領域に含まれる場合は、次に述べる輪郭抽出部１０４の輪郭抽出閾値を小さくすることで、安定してエッジを検出できる。ここで、閾値を常に小さくしてしまうとノイズを多く含んで安定して円が検出できないが、あらかじめボケている領域であるとわかれば、閾値を小さくしても、ノイズを多く拾うことはない。輪郭抽出部１０４は、画像を構成する画素の濃淡エッジを検出し、そのエッジに基づいて道路標識の輪郭を抽出する。

次に、標識種別認識部１０５について述べる。標識種別認識部１０５では、輪郭の中にある文字列や記号を識別して何の標識か確定する。識別方法は、あらかじめ複数の画像から辞書を作成する方式など公知の手法を用いればよい。

次に、確信度算出部１０６について説明する。確信度算出部１０６では、標識種別認識部１０５において、一致度が高かったものを確信度が高いとしてスコアリングする。また、過去フレームの検知結果を保持しておき、その結果が複数回同じ種別結果を残していれば、高いスコアとする。このように過去のフレーム情報を累積して種別を判断することで、光の当たり方などによって生じるノイズに対して、誤って種別を判定してしまっても何回もの種別結果を総合的に判定することで、より確実に標識種別を認識することができる。

図９は、実施例１の道路標識を検知する機能を説明するフローチャートである。まず、露光制御し（Ｓ９０１）、画像を取得（Ｓ９０２）する（画像取得部）。そして、画像内を円検知して標識候補を決定し（Ｓ９０３）、文字認識（Ｓ９０４）を行う。そして、追跡処理を行い（Ｓ９０５）、認識スコアの累積値に基づいて確信度を算出する（Ｓ９０６）。

ここで、図１０，１１，１２に時系列で道路標識が画面に投影されるイメージ図を説明する。図１０は、時刻ｔ（０）のタイミングで撮像された画面のイメージ図である。そして、図１１は、時刻ｔ（５０）のタイミングで撮像された画面のイメージ図である。つまり、撮像素子が時刻ｔ（０）から1フレーム進んだタイミングが時刻ｔ（５０）である。
このときは、図１１に示すように、検出したい道路標識１０１１が、事前に求めたボケ領域１００３にかかっている。ボケ領域１００３は、撮像レンズの中央領域に対応する第１の領域（内側画像領域）１００１と、撮像レンズの周辺領域に対応する第２の領域（外側画像領域）１００２との間にある環状又はドーナツ状の第３の領域（変曲点対応画像領域）であり、第１の領域１００１及び第２の領域１００２と比較して解像度が低い領域である。

道路標識１０１１は、道路１０１０の側方に配置された静止物体であるので、自車の速度分、次のフレーム（時刻ｔ（５０）で撮像された画像）ではカメラに近づく。この性質を利用して、時刻ｔ（０）における道路標識１０１１の位置と、自車速から、次の時刻ｔ（５０）で、道路標識１０１１がボケ領域１００３に入るかどうか推測することができる。

図１１に示すように、時刻ｔ（５０）における道路標識１０１１の推測される座標位置がボケ領域１００３に含まれる場合、標識種別認識部１０５では、第１の領域１００１及び第２の領域１００２で用いるものよりも閾値の小さいボケ領域専用のテンプレートまたは辞書を使用して道路標識１０１１の標識種別認識をすることで、より精度よく標識の種別を識別することができるようになる。時刻ｔ（５０）においても時刻ｔ（０）の時と同様に標識種別を認識できれば、先に説明した複数回おなじ標識結果であれば確信度高く検出できる（Ｓ９０５、Ｓ９０６）という機構に対してよい結果を与える。

標識種別認識部１０５は、一部の画像領域である第１の領域１００１及び第２の領域１００２と、他部の画像領域であるボケ領域（第３の領域）１００３とで異なるパターンのテンプレートに基づいて、パターンマッチングによる物体の認識処理を行うことができる。また、標識種別認識部１０５は、一部の画像領域である第１の領域１００１及び第２の領域１００２と、他部の画像領域であるボケ領域（第３の領域）１００３とで、輝度値に関する異なる閾値に基づいて、物体の認識処理を行う構成としてもよい。例えば、ボケ領域１００３では、第１の領域１００１及び第２の領域１００２よりも輝度値の閾値を小さくして標識種別の認識処理を行うことで、より精度よく標識の種別を識別することができるようになる。

図１２は、時刻ｔ（１００）のタイミングで撮像された画像のイメージ図である。図１２では、時刻ｔ（１００）のタイミングで、道路標識１０１１の一部が画面１０００の外に出てしまっている様子を表している。一般に画面１０００上に大きく映し出された画像の方が、詳細に映っているため認識処理しやすい。したがって、時刻ｔ（５０）で撮像された画像から道路標識１０１１が検出できないと、時刻ｔ（１００）で撮像された画像でも道路標識１０１１は画面１０００の外になってしまい、時刻ｔ（０）の小さな画像でしか認識処理ができなくなってしまうため、時刻ｔ（５０）で撮像された画像から道路標識１０１１を検出することがとても重要である。

本実施例の撮像装置１によれば、撮像レンズで撮像される画像は、複数である第１から第３の画像領域のうち、一部である第３の画像領域が、他部である第１及び第２の画像領域よりも解像度が低くなっている。そして、第１及び第２の領域と第３の領域とで異なる判定基準に基づいて道路標識の認識処理を行っている。具体的には、道路標識の画面上の座標位置が第３の領域であるボケ領域に含まれていると推測される場合、第１及び第２の領域で用いていたものよりも小さな輪郭抽出閾値や、ボケ領域専用の閾値の小さなテンプレート及び辞書を使用して道路標識の標識種別認識を行う。したがって、撮像装置で撮像した画像に関して、その画像に含まれる画質が劣化した部分である第３の画像領域の影響を小さくすることができ、より精度よく道路標識の種別を識別することができる。したがって、遠方と近傍の両方が撮影できる撮像レンズにおいても安定した認識性能を得ることができる。

［実施例２］
次に、実施例２について図１３から図１６を用いて以下に説明する。なお、実施例１と同様の構成要素には同一の符号を付することでその詳細な説明を省略する。
本実施例では、道路標識１０１１が図１１の時刻ｔ（５０）のタイミングで撮像されてボケ領域１００３に含まれるのを回避して精度向上する例を示す。図１３に構成を示す。
図１３は、本発明が適用される撮像装置の実施例２を説明する機能ブロック図である。図１記載の構成に加えて、次回位置予測部１３０２と処理周期変更判定部１３０３と撮像タイミング制御部１３０１を備える。

次回位置予測部１３０２は、標識種別認識部１０５から出力された標識の位置と自車速の情報から次のフレームで画面のどの座標位置に道路標識１０１１が投影されるかを予測する予測結果を出力する。道路標識１０１１は、地面に固定されており、移動はしないので、事前にカメラ（第１及び第２の撮像部）のパラメータ（焦点距離とレンズのひずみ情報、取り付け位置）が既知であれば、車の車速、操舵角から画面上のどの座標位置に投影されるかを計算できる。

処理周期変更判定部１３０３は、次回位置予測部１３０２の予測結果がボケ領域にかかるかどうかを判断し、次の撮影タイミングを微調整する調整値を出力する。図１４は、所定の時間間隔をおいて撮像された複数の画像を重畳したイメージ図である。図１４に時刻ｔ（０）、ｔ（５０）、ｔ（１００）の画像を重畳したイメージ図を示す。時刻ｔ（０）のフレームで、処理周期変更判定部１３０３の結果がボケ領域と重なると判定された場合、処理周期変更判定部１３０３は、時刻ｔ（３５）またはｔ（７０）で撮影されるように処理の周期を変更するように調整する。

すなわち、既定の定周期で撮影すると画像内における道路標識の座標位置がボケ領域（一部の画像領域）１００３に含まれると推測される場合に、座標位置が第１又は第２の領域（他部の画像領域）１００１、１００２に含まれるように撮影タイミングを変更している。これにより、ボケ領域にかかることなく認識処理できるため、良好な結果を得ることができる。一般に、画面上に大きく映っていた方が認識精度は高くなるため、時刻ｔ（７０）で道路標識１０１１を撮影することができれば、より精度の高い標識検知機能を実現できる。

図１４は、実施例２の道路標識を検知する機能を説明するフローチャート、図１５は、所定の時間間隔をおいて撮像された複数の画像を重畳したイメージ図である。まず、露光制御し（Ｓ１４０１）、画像を取得（Ｓ１４０２）する。そして、輪郭抽出部１０４は、事前指定座標毎に輪郭抽出閾値を決定する（Ｓ１４０３）。例えば、対象物候補である標識候補の座標位置が画像１０００内のボケ領域１００３に含まれる場合は、輪郭抽出閾値を小さいものに決定する。そして、輪郭抽出部１０４は、画面１０００内を円検知して標識候補を決定する（Ｓ１４０４）。

次いで、標識種別認識部１０５は、事前指定座標毎に辞書を切り換えて（Ｓ１４０５）、文字認識を行い（Ｓ１４０６）、追跡処理を行う（Ｓ１４０７）。そして、対象物候補である標識候補の座標位置が画像１０００内のボケ領域１００３に含まれる場合は、ボケ領域１００３よりも手前、あるいはボケ領域１００３の直後で道路標識１０１１が撮像されるように撮影タイミングを変更する（Ｓ１４０８）。そして、認識スコアの累積値に基づいて確信度を算出する（Ｓ１４０９）。

次に、このように処理周期を変更した場合のＣＭＯＳセンサの出力信号の波形について説明する。図１６は、ＣＭＯＳセンサのＶ同期信号の出力タイミングを示す図である。
図１６に示す信号は、撮像素子に用いられるＣＭＯＳセンサのＶ同期信号と呼ばれる信号で、有効画像を出力しているときにＨｉｇｈになる信号である。従来は、一定周期でこの信号が生成されているのに対して、本実施例では、撮影タイミングをずらして、図１５のボケ領域１００３の手前の時刻ｔ（３５）のタイミングで撮影される場合は、既定の定周期よりも少し早いタイミングでＶ同期信号が出力されていることがわかる。また、ボケ領域１００３よりも後側の時刻ｔ（７０）のタイミングで撮影される場合は、既定の定周期よりも少し遅いタイミングでＶ同期信号が出力されている。しかし、次のフレームからは定周期に戻る様子がわかる。

このように、同期信号を少しずらして撮影することで、ボケ領域を回避して良好な認識結果を得ることができる。

以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

１撮像装置（物体認識装置）１０１ａ、１０１ｂ撮像素子１０２輝度画像生成部１０３ロジック選定部１０４輪郭抽出部１０５標識種別認識部（認識処理部）１０６確信度算出部１０７記憶部１０９同期制御部１１０距離画像生成部１１１立体物検知部１０００画面１００１第１の領域（内側画像領域）１００２第２の領域（外側画像領域）１００３第３の領域（ボケ領域＝変曲点対応画像領域）１０１１道路標識１３０１撮像タイミング制御部１３０２磁界位置予測部１３０３撮像周期変更判定部

Claims

入射角に対する像高当たりの入射角の変化率の変曲点を有する光学特性を具備する撮像レンズを使用し、前記変曲点の部分で解像度が異なる複数の画像領域を含む画像を取得する画像取得部と、
前記画像内の物体に対して認識処理を行う認識処理部と、を備え、
前記画像は、前記複数の画像領域のうちの一部の画像領域が他部の画像領域よりも解像度が低く、
前記認識処理部は、前記一部の画像領域及び前記他部の画像領域とで、輝度値に関する異なる閾値とした判定基準に基づいて、前記物体の認識処理を行うことを特徴とする物体認識装置。
前記他部の画像領域は、前記画像の内側に位置する内側画像領域及び外側に位置する外側画像領域であり、
前記一部の画像領域は、前記内側画像領域と前記外側画像領域との間に位置する中間画像領域であることを特徴とする請求項１に記載の物体認識装置。
前記中間画像領域は、前記内側画像領域及び前記外側画像領域よりも解像度が低く、
前記中間画像領域における判定基準の閾値は、前記内側画像領域及び前記外側画像領域における判定基準の閾値よりも小さいことを特徴とする請求項２に記載の物体認識装置。
画像内における前記物体の輪郭を抽出する輪郭抽出部を有し、
該輪郭抽出部は、前記画像内における前記物体の座標位置が前記中間画像領域に含まれていると推測される場合に、前記内側画像領域及び前記外側画像領域で用いる輪郭抽出閾値よりも小さい輪郭抽出閾値を用いることを特徴とする請求項３に記載の物体認識装置。