JP7277666B2

JP7277666B2 - 処理装置

Info

Publication number: JP7277666B2
Application number: JP2022504990A
Authority: JP
Inventors: ユイビンツーン; 健永崎; 雄飛椎名
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2020-03-03
Filing date: 2020-12-25
Publication date: 2023-05-19
Anticipated expiration: 2040-12-25
Also published as: WO2021176820A1; DE112020005250T8; DE112020005250T5; JPWO2021176820A1

Description

本発明は、処理装置に係り、例えば、ステレオカメラシステムなどのセンシングシステムのため処理装置に関する。

近年、車載カメラ装置の普及により、安全運転や自動運転に向けた各種認識機能への要求が高まってきている。なかでも、ステレオカメラ装置は、画像に依る視覚的な情報と、画像内の対象物への距離情報を同時に計測するため、自動車周辺の様々な対象物（人、車、立体物、路面、路面標識、看板標識など）を詳細に把握でき、運転支援時の安全性の向上にも寄与するとされている。

車載カメラ装置における物体認識の対象の一つとして標識がある。一般に、標識認識は、地図情報と連携して、自動運転車の加速・減速に使われる。また、先進運転支援システムの評価指標であるEuroNCAP（2016年～2020年アップデート）においても、SAS（Speed Assistance Systems（速度支援システム））に関する評価項目が設けられており、その重要度が増している。

従来から、車両に搭載され、車両の前方の状況を認識する車載カメラ装置に関する様々な技術・装置が提案されてきた。このような車載カメラ装置において、例えば、標識認識の性能向上に関しては、認識の高精度化を図るという点に着目した技術として、特許文献１が挙げられる。

特開２０１９－１２５０２２号公報

しかしながら、例えば、特許文献１などに記載の従来技術では、明るい領域とその領域よりも暗い領域とを含む対象物、あるいは、一部が発光し、その他の領域は発光しない対象物を検知することについては十分配慮が行われていない。より具体的には、例えば、電光標識は路面に対して上部にあり、中心付近（例えば、制限速度表示部分など）が発光しているものもあるが、円周部分が発光しておらず、ヘッドライトが当たりにくい場所（夜間及びトンネル内）では円周エッジを使用した従来の円検知手法では検知することが困難である。

本発明は、上記事情に鑑みてなされたもので、その目的とするところは、例えば電光標識などの画像内の対象物の認識性能を向上させることのできる処理装置を提供することにある。

上記課題を解決するため、本発明の処理装置は、画像内の対象物の認識処理を行う処理装置であって、前記画像から所定の明るさより明るい画素の数を集計した複数のヒストグラムを取得し、前記複数のヒストグラムから前記画像内の対象物の円の中心に相当する位置を推定する中心推定処理を行うことを特徴とする。

本発明によれば、明るい領域とその領域よりも暗い領域とを含む対象物、あるいは、一部が発光し、その他の領域は発光しない対象物を検知することが可能になる。より具体的には、例えば、自発光物体を検知することで、電光標識の検知性能を向上させることができる。よって、例えば電光標識などの画像内の対象物の認識性能を向上させることができる。

上記した以外の課題、構成及び効果は以下の実施形態の説明により明らかにされる。

本実施形態の車載ステレオカメラ装置の概略構成を示すブロック図。本実施形態の基礎となるステレオカメラ処理の処理内容を説明するフロー図。本実施形態の基礎となるステレオカメラ処理の各種処理のタイミングチャート。標識認識処理の処理内容を説明するフロー図。標識検知処理（円検知処理）における中心推定処理と半径推定処理を説明する図。標識検知処理（円検知処理）における半径推定処理で使用するヒストグラム。標識検知処理の処理内容を説明するフロー図。第１シャッタで撮像された画像を説明する図。第２シャッタで撮像された画像を説明する図。自発光物体検知処理の処理内容を説明するフロー図。自発光物体検知処理における中心推定処理を説明する図。自発光物体検知処理における領域推定処理を説明する図。推定された領域の中心周辺に明るい領域がある場合を説明する図。閾値の決定手法を説明する図。

以下、本発明の実施形態を図面を用いて説明する。なお、各図において同じ機能を有する部分には同じ符号を付して繰り返し説明は省略する場合がある。

（車載ステレオカメラ装置の概略構成）
図１は、本実施形態の車載ステレオカメラ装置の概略構成を示すブロック図である。本実施形態の車載ステレオカメラ装置１００は、車両に搭載され、車両前方の撮影対象領域の画像情報に基づいて車外環境を認識する装置である。車載ステレオカメラ装置１００は、撮影した画像（情報）から、例えば、道路の白線、歩行者、車両、その他の立体物、信号、標識、点灯ランプなどの認識を行い、当該ステレオカメラ装置１００を搭載した車両（自車両）のブレーキ、ステアリング調整などの調整を行う。

車載ステレオカメラ装置１００は、画像情報を取得する左右に横並びに配置された２つのカメラ１０１、１０２（左カメラ１０１、右カメラ１０２）と、カメラ１０１、１０２で取得した画像情報に基づいて画像内の対象物（物体）の認識処理などを行う処理装置１１０とを有する。処理装置１１０は、CPU（Central Processing Unit）等のプロセッサ、ROM（Read Only Memory）、RAM（Random Access Memory）、HDD（Hard Disk Drive）等のメモリ等を備えるコンピュータとして構成されている。処理装置１１０の各機能は、ROMに記憶されたプログラムをプロセッサが実行することによって実現される。RAMは、プロセッサが実行するプログラムによる演算の中間データ等を含むデータを格納する。

詳しくは、処理装置１１０は、カメラ１０１、１０２の撮像を制御して、撮像した画像を取り込むための画像入力インタフェース１０３を持つ。この画像入力インタフェース１０３を通して取り込まれた画像は、内部バス１０９を通してデータが送られ、画像処理部１０４や、演算処理部１０５で処理され、処理途中の結果や最終結果となる画像データなどがメモリとしての記憶部１０６に記憶される。

画像処理部１０４は、カメラ１０１の撮像素子から得られる第１の画像（左画像）と、カメラ１０２の撮像素子から得られる第２の画像（右画像）とを比較して、それぞれの画像に対して、撮像素子に起因するデバイス固有の偏差の補正や、ノイズ補間などの画像補正を行い、これを記憶部１０６に記憶する。更に第１および第２の画像の間で、相互に対応する箇所を計算して、視差情報を計算し、先程と同様に、これを記憶部１０６に記憶する。

演算処理部１０５は、記憶部１０６に蓄えられた画像および視差情報（画像上の各点に対する距離情報）を使い、車両周辺の環境を知覚するために必要な、各種物体の認識を行う。各種物体とは、人、車、その他の障害物、信号機、標識、車のテールランプやヘッドライド、などである。これら認識結果や中間的な計算結果の一部が、先程と同様に記憶部１０６に記録される。演算処理部１０５は、撮像した画像に対して各種物体認識を行った後に、これら認識結果を用いて車両の制御方針を計算する。

計算の結果として得られた車両の制御方針や、物体認識結果の一部は、ＣＡＮインタフェース１０７を通して、車載ネットワークＣＡＮ１１１に伝えられ、これにより車両（自車両）の制動が行われる。また、これらの動作について、各処理部が異常動作を起こしていないか、データ転送時にエラーが発生していないかどうかなどを、制御処理部１０８が監視しており、異常動作を防ぐ仕掛けとなっている。

上記の画像処理部１０４は、内部バス１０９を介して制御処理部１０８、記憶部１０６、演算処理部１０５、およびカメラ１０１、１０２の撮像素子との間の入出力部である画像入力インタフェース１０３と外部の車載ネットワークＣＡＮ１１１との入出力部であるＣＡＮインタフェース１０７に接続されている。制御処理部１０８、画像処理部１０４、記憶部１０６、演算処理部１０５、および入出力部１０３、１０７は、単一または複数のコンピュータユニットにより構成されている。記憶部１０６は、例えば画像処理部１０４によって得られた画像情報や、演算処理部１０５によって走査された結果作られた画像情報等を記憶するメモリ等により構成されている。外部の車載ネットワークＣＡＮ１１１との入出力部であるＣＡＮインタフェース１０７は、車載ステレオカメラ装置１００から出力された情報を、車載ネットワークＣＡＮ１１１を介して自車両の制御システムに出力する。

（車載ステレオカメラ装置の処理内容）
図２に、本実施形態の基礎となる車載ステレオカメラ装置１００内の処理フロー（換言すれば、ステレオカメラ処理の処理内容）を示す。

まず、左右のカメラ１０１、１０２により画像が撮像され（Ｓ２０１、Ｓ２０２）、各々で撮像した画像データ１２１、１２２のそれぞれについて、撮像素子が持つ固有の特性を吸収するための補正などの画像処理を行う（Ｓ２０３）。その処理結果は画像バッファ１６１に蓄えられる。画像バッファ１６１は、図１の記憶部１０６に設けられる。更に、補正された２つの画像を使って、画像同士の照合を行い、これにより左右のカメラ１０１、１０２で得た画像の視差情報を得る。左右画像の視差により、対象物体上のある着目点が、左右のカメラ１０１、１０２の画像上の何処と何処に対応するかが明らかとなり、三角測量の原理によって、対象物までの距離が得られることになる。これを行うのが視差処理である（Ｓ２０４）。画像処理（Ｓ２０３）および視差処理（Ｓ２０４）は、図１の画像処理部１０４で行われ、最終的に得られた画像、および視差情報は、記憶部１０６に蓄えられる。

更に上記の記憶された画像、および視差情報を用いて、各種物体認識処理を行う（Ｓ２０５）。認識対象の物体としては、人、車、その他の立体物、標識、信号機、テールランプなどがあるが、認識の際は必要に応じて認識辞書１６２を利用する。認識辞書１６２は、例えば認識対象の物体の特徴を機械学習データとして保存・記録したものである。更に、物体認識の結果と、自車両の状態（速度、舵角など）とを勘案して、車両制御処理によって、例えば、乗員に警告を発し、自車両のブレーキングや舵角調整などの制動を行う、あるいは、それによって対象物の回避制御を行う方針を決め（Ｓ２０６）、その結果をＣＡＮインタフェース１０７を通して外部に出力する（Ｓ２０７）。各種物体認識処理（Ｓ２０５）および車両制御処理（Ｓ２０６）は、図１の演算処理部１０５で行われ、外部の車載ネットワークＣＡＮ１１１への出力（Ｓ２０７）は、ＣＡＮインタフェース１０７にて行われる。これらの各処理・各手段は、例えば単一または複数のコンピュータユニットにより構成され、相互にデータを交換可能に構成されている。

図３に、本実施形態の車載ステレオカメラ装置１００内の各種処理のタイミングを示す。

図３のタイミングチャートでは、大きく２系統の流れを３０１、３０２として示している。３０１の流れが、図１の画像処理部１０４における処理タイミングであり、３０２の流れが、図１の演算処理部１０５における処理タイミングを示している。

まず、３０１の流れにおいて、右画像入力処理（Ｓ３０３）が行われる。これは、図２における右カメラ１０２による画像撮像を行い（Ｓ２０２）、その後で画像処理（Ｓ２０３）を経て、画像バッファ１６１に右画像を蓄えるまでの処理に相当する。次に、左画像入力処理（Ｓ３０４）が行われる。これは、図２における左カメラ１０１による画像撮像を行い（Ｓ２０１）、画像処理（Ｓ２０３）を経て、画像バッファ１６１に左画像を蓄えるまでの処理に該当する。次に、視差処理（Ｓ２０４）を行う。これは、図２において、画像バッファ１６１から左右の２つの画像を読み出し、両画像間の照合を取ることで視差を計算し、計算して得られた視差情報を記憶部１０６に蓄えるまでの処理に相当する。この時点で、画像と視差情報が記憶部１０６に揃ったことになる。

次に、３０２の流れにおいて、記憶部１０６に蓄えられた画像と視差情報を用いて、各種物体認識処理（Ｓ２０５）を行い、車両制御処理（Ｓ２０６）を行い、その結果をＣＡＮインタフェース１０７にて車載ネットワークＣＡＮ１１１に出力する運びとなる。

各種物体認識処理（Ｓ２０５）においては、記憶部１０６に蓄えられた画像と視差情報などから、人、車、その他の立体物、標識、信号機、テールランプなどの認識を行うが、以下では、本実施形態の特徴部分である、道路などに設置された標識の認識を行う標識認識処理（Ｓ２０５ａ）について説明する。

（標識認識処理）
図４に、標識認識処理（Ｓ２０５ａ）の処理フローを示す。

本実施形態の標識認識処理（Ｓ２０５ａ）は、基本的に円検知によって円形物体である標識の認識を行う処理である。そのための前提として、カメラ１０１、１０２は、第１シャッタと第２シャッタが用意されている。第１シャッタの露光時間は、暗い物を認識するために、第２シャッタの露光時間よりも長くしている。換言すれば、第１シャッタのシャッタ速度は、第２シャッタのシャッタ速度よりも遅くしている。また、第２シャッタ（相対的に短い露光時間）による撮像は、第１シャッタ（相対的に長い露光時間）による撮像よりも後のフレームで行われる。

上記条件を前提とし、本実施形態の標識認識処理（Ｓ２０５ａ）は、図４に示すように、基本的に、画像処理（Ｓ２０３）を経て、画像バッファ１６１に蓄えられた画像（左画像、または、右画像）を用いて、円形物体を抽出する標識検知処理（Ｓ４０１）、円形物体の種別を特定する標識識別処理（Ｓ４０２）、円形物体のフレーム間での対応付けを行う標識追跡処理（Ｓ４０３）、円形物体の複数フレーム（例えば、１０フレームなど）での総合的な判定を下す標識判定処理（Ｓ４０４）を含んでいる。

標識検知処理（Ｓ４０１）は、円検知処理を用いて実行され、円検知処理は、中心推定処理と半径推定処理に分けられる。中心推定処理では、図５に示すように、各エッジから法線方向に線分４０５を引き、その線分４０５の交点が一定数以上重なる点を中心と推定する。図５では、４０６が中心（候補）と推定される。半径推定処理では、図６に記載されたヒストグラムに基づいて円の半径を推定する。図６のヒストグラムは、横軸が中心４０６からの半径、縦軸が所定幅内のエッジ数を表す。図６のヒストグラムの求め方を説明する。図５の中心４０６から半径が徐々に大きくなる円を想定する。この円とエッジ（例えば、第１エッジ４０７や第２エッジ４０８）が重なった場合に、その重なったエッジ数をカウントして、図６のヒストグラムの縦軸とする。４０７のように円が存在する場合は、図６のヒストグラムのエッジ数４１０が多くなり、４０９のように円が存在しない場合は、図６のヒストグラムのエッジ数４１１は少なくなる。図６のヒストグラムで所定の閾値４１２を超えたものを半径候補とする。このような処理により、画像バッファ１６１に蓄えられた画像（左画像、または、右画像）から、円の特徴（中心、半径）を含む円形物体を抽出する。

標識識別処理（Ｓ４０２）では、前記円形物体を含む画像に対して識別器を用いた識別処理が行われる。識別処理の結果、円が標識か否か、標識の種類、内容（例えば、制限速度）など、円形物体の種別が認識される。

標識追跡処理（Ｓ４０３）では、円形物体の追跡処理が行われ、標識判定処理（Ｓ４０４）では、追跡処理の結果を踏まえて、円形物体の判定処理が行われる。これにより、画像中の円形物体である標識の認識処理が実行され、車両制御処理（Ｓ２０６）に利用される。

（標識検知処理）
次に、前述の標識検知処理（Ｓ４０１）について、より詳細に説明する。

図７に、標識検知処理（Ｓ４０１）の処理フローを示す。前述したように、カメラ１０１、１０２は、第１シャッタと第２シャッタを有しており、本実施形態の標識検知処理（Ｓ４０１）は、第１シャッタ（相対的に長い露光時間）により得られた画像に対する処理（Ｓ７１０）と、第２シャッタ（相対的に短い露光時間）により得られた画像に対する処理（Ｓ７２０）を含んでいる。

図８は、車載ステレオカメラ装置１００の一方のカメラ（例えば右カメラ１０２）で第１シャッタを使用して撮像された画像を説明する図である。第１シャッタの露光時間は、第２シャッタの露光時間よりも長くしているので、図８では、速度標識８０１の赤い色の円周部８０５を撮像することが可能となる。なお、円周部８０５は、中心付近の発光部分（電光部分）である自発光部８０４よりも暗い領域である。第１シャッタは円周部８０５を検出できるが、第１の露光時間を相対的に長く設定しているため、円周部８０５よりも明るい自発光部８０４は白とびして検出できない場合もある。

図９は、車載ステレオカメラ装置１００の一方のカメラ（例えば右カメラ１０２）で第２シャッタを使用して撮像された画像を説明する図である。第２シャッタの第２の露光時間は、速度標識８０１の中心付近の発光部分（電光部分）である自発光部８０４を白とびしないように、第１シャッタの第１の露光時間よりも短い露光時間となるように設定される。その結果、図９に示すように、円周部８０５は検出できない場合もあるが、発光部分である自発光部８０４は検出することが可能となる。よって、前述した第１シャッタの画像で自発光部８０４が検出できない場合でも、第２シャッタの画像には自発光部８０４が存在するので、自発光部８０４を検出することが可能となる。なお、図９中の自発光部８０４周りの８０３の領域は、後述する予測エリアを表している。

なお、以下では、第１シャッタによる撮像フレームを第１フレーム、第２シャッタによる撮像フレームを第２フレームとする。

図７に示すように、標識検知処理（Ｓ４０１）のステップＳ７１０において、ステップＳ７１１では、プロセッサによって、例えば図８の第１シャッタにより得られた画像全体（全面）に対して円を探索する処理が行われる。なお、このステップＳ７１１よりも前の画像処理（Ｓ２０３）では、例えば図８の画像に対して微分処理が行われ、エッジが強調される。ステップＳ７１１では、このエッジが強調された画像全体に対して、上述した円検知処理を行うことで、円を探索する処理が行われる。

ステップＳ７１２では、検知された円の情報（つまり、円の位置を特定するための情報）、例えば、探索した円の中心（候補）の座標、半径（候補）、及び検知した円の数をメモリとしての記憶部１０６に記憶する。

ステップＳ７１２で記憶した円の情報を用いて、前述の標識識別処理（Ｓ４０２）にて、例えば図８の画像に対して識別器を用いた識別処理が行われる。

標識検知処理（Ｓ４０１）のステップＳ７２０において、ステップＳ７２１では、前回のフレーム、つまり第１シャッタによる処理（Ｓ７１０）の結果得られた円の情報から、例えば図９の第２シャッタにより得られた画像の中にある予測エリア（後で説明）の中心（候補）を計算する。より具体的には、ステップＳ７１２で記憶された円の中心座標に経過時間、自車の移動情報（例えば、車速、ヨーレート）を考慮することで、第１フレームで検出された円形領域の中心が第２フレームではどの座標にあるかを計算する。

ステップＳ７２２では、ステップＳ７２１で計算した中心の座標を含む予測エリア８０３（図９参照）を定義する。予測エリア８０３は、少なくともステップＳ７１２で記憶された半径d₁に経過時間、自車の移動情報（例えば、車速、ヨーレート）を考慮して決定される半径d₂によって表現される円を含むように定義される。

ステップＳ７２３では、プロセッサは、ステップＳ７２２で定義された予測エリア８０３の内部に対して、上述した円検知処理を行う。このように、限定された領域（換言すれば、ステップＳ７１１での円検知処理のための処理領域よりも小さい処理領域）に対して円の特徴を検知する円検知処理を行うことで、全面に対して円検知処理を行う場合（Ｓ７１１）よりもプロセッサの処理負荷を軽くすることが可能となる。

ステップＳ７２４では、プロセッサは、予測エリア８０３内で円が検知されなかったか否かの確認を行う。予測エリア８０３内に円が検知されなければ（Ｓ７２４：Ｙｅｓ）、処理はステップＳ７２５に遷移する。ステップＳ７２５は、後の図１０などで詳細に説明される。予測エリア８０３内に円が検知されれば（Ｓ７２４：Ｎｏ）、処理はステップＳ７２６に遷移する。ステップＳ７２６では、プロセッサは、検知した円の情報をメモリとしての記憶部１０６に保存・記憶して、処理はステップＳ７２１に戻る。なお、円が検知された場合、処理はステップＳ７２５に遷移しない。その理由は、ステップＳ７２５は、円が検知されないことを前提とした処理だからである。ステップＳ７２５は、第１シャッタによる第１の露光時間よりも短い第２シャッタによる第２の露光時間（言い換えれば、シャッター速度）により取得された画像に対してのみ行われる。

そして、ステップＳ７１２で記憶された、別の円の情報を読み出して、前述したステップＳ７２１からステップＳ７２６を繰り返す。この一連の処理は、第１シャッタによる露光時間（言い換えれば、シャッター速度）で検出された円の数だけ、行われる。

その後、ステップＳ７２６で記憶した円の情報を用いて、前述した標識識別処理（Ｓ４０２）にて、識別器を用いた識別処理が行われる。

（自発光物体検知処理）
図１０に、前述したステップＳ７２５の自発光物体検知処理の処理フローを示す。この自発光物体検知処理は、前述したように、ステップＳ７２２で計算した予測エリア８０３（図９参照）内に円が検知されない場合（換言すれば、予測エリア８０３の画像に円の特徴が含まれないと判断した場合）に、実施される処理である。

図１１は、以下のステップＳ１００１を説明する図である。

ステップＳ１００１では、プロセッサによって、予測エリア８０３内に所定の閾値（後で図１４にて説明）よりも高い輝度を有する画素（換言すれば、所定の明るさより明るい画素）の数をカウントし、ヒストグラムを作成（取得）する。ヒストグラムは、ここでは、交差（直交）したx軸、y軸それぞれに対してヒストグラム１００８、１００９が作成（取得）される。そして、プロセッサは、ヒストグラム１００８の重心位置、およびヒストグラム１００９の重心位置を得る。その結果、複数のヒストグラム１００８、１００９の重心位置から、予測エリア８０３の重心１０１０の座標が特定される。この重心１０１０は、予測エリア８０３の対象物の円の中心（に相当する位置）と推定される。

図１２は、以下のステップＳ１００２を説明する図である。

ステップＳ１００２では、ステップＳ１００１で推定した円の中心の座標とステップＳ７２２で使用した半径d₂を使用して、矩形の領域１０１３を決定する。矩形の領域１０１３は、第１の点１０１１および第２の点１０１２、それぞれからx軸、y軸に平行な線を引くことで決定する。第１の点１０１１は、ステップＳ１００１で推定した円の中心の座標（X_C、Y_C）から半径d₂を引くことによって決定される。第２の点１０１２は、ステップＳ１００１で推定した円の中心の座標（X_C、Y_C）から半径d₂を足すことによって決定される。

ステップＳ１００３では、領域１０１３の明るさ（有効／無効）を判断し、ステップＳ１００４では、領域１０１３の中心周辺に（換言すれば、中心を含む所定の大きさの領域に）、ある所定の明るさ（所定の閾値：後で図１４にて説明）より明るい領域があるか否かを判断する。図１３に示すように、明るい領域１０１４があれば、言い換えれば、無効でなければ（Ｓ１００４：Ｙｅｓ）、発光部分（電光部分）である自発光物体があると判断し、処理はステップＳ１００５に遷移する。

ステップＳ１００５では、領域１０１３に関する情報（つまり、領域１０１３の中心付近の明るい領域１０１４に関する情報）をメモリとしての記憶部１０６に保存・記憶する。領域１０１３に関する情報（領域情報）とは、例えば、ステップＳ１００１で計算した中心の座標、及び半径d₂である。

明るい領域が無い場合は、言い換えれば、無効であれば（Ｓ１００４：Ｎｏ）、発光部分（電光部分）である自発光物体がないと判断し、記憶部１０６への情報の保存・記憶は行われず、処理は終了する。

図１４は、予測エリア８０３内に対する前景（文字部分、発光部分）と背景（黒地部分、非発光部分）を分けるための閾値の決定手法を説明する図である。

前景部分と背景部分を分けるためには幾つかの手法がある。その１つの例が、前景部分のピクセル数と、背景／前景部分の境界部分のピクセル数の比率を見る手法である。

例えば図１４の画像１４０１は、高い輝度のピクセルのみを前景とする場合である。前景部分のピクセル数が少なく（画像１４０１では３つ）、かつ、この数に比して、前景部分と隣接する黒字部分のピクセル数が多いため、孤立した領域が多いということが分かる。そのため、前景の文字部分を抽出するためには適さないということが、この比率を見ることで推定できる。

また、図１４の画像１４０３は、前景部分の占めるピクセル数が、黒字境界部分のピクセル数に比して、極めて多い場合の事例である。このような場合、文字部分の数字（特にゼロの数字）がつぶれていて、認識には適さない可能性があることが、この比率を見ることで推定できる。

図１４の画像１４０２は、後に続く認識処理などに適した閾値の事例である。前景部分に一定のピクセル数があり、かつ、背景部分のピクセル数との比率も、文字パターンから想定される一定の割合のバランスを持っている事例である。このような手段によって、画像の質（コントラスト、平均階調）に応じた閾値を定めることができる。

なお、前述したステップＳ７２５の自発光物体検知処理は、円の特徴が検知された場合に行っても良いことは勿論である。

以上で説明したように、本実施形態は、カメラ１０１、１０２で取得した画像から所定の明るさより明るい画素の数を集計した複数のヒストグラム１００８、１００９を取得し、前記複数のヒストグラム１００８、１００９から前記画像内の対象物の円の中心に相当する位置を推定する中心推定処理（Ｓ１００１）を行う。

また、前記画像が円の特徴を含むか否かの判断（Ｓ７２４）に基づいて、前記中心推定処理（Ｓ１００１）を行うか否かを判断し、前記画像に前記円の特徴が含まれないと判断した場合に（Ｓ７２４：Ｙｅｓ）、前記中心推定処理（Ｓ１００１）を行う。

また、前記画像は、前記対象物の識別処理を行うために前記対象物内の発光部分を検出可能な露光時間又はシャッタ速度で撮像された画像である。前記露光時間より長い他の露光時間又は前記シャッタ速度より遅い他のシャッタ速度で撮像した他の画像の中から前記円の位置を特定するための情報を取得する円検知処理（Ｓ７１１）を行い、前記中心推定処理（Ｓ１００１）のための前記画像の処理領域（限定エリア）は、前記円検知処理（Ｓ７１１）のための前記他の画像の処理領域（全面）よりも小さい。前記画像は、前記他の画像より後のフレームで撮像された画像である。

また、前記円の中心に相当する位置周辺に所定の明るさより明るい領域が存在するか否かを判断し（Ｓ１００４）、前記明るい領域が存在する場合（Ｓ１００４：Ｙｅｓ）、前記明るい領域に関する情報を記憶部に保存する（Ｓ１００５）。

言い換えれば、例えば、本実施形態は、第１の明るさを有する領域を検知するのに適した第１の画像（第１シャッタ（相対的に長い露光時間）により得られた画像）を取得し、第１の明るさよりも明るい第２の明るさを有する領域を検知するのに適した第２の画像（第２シャッタ（相対的に短い露光時間）により得られた画像）を取得することを、１つの側面とする。また、第１の画像に対して第１の処理（Ｓ７１０）を行い、第２の画像に対して第２の処理（Ｓ７２０）を行い、特に、第２の処理は第１の処理の結果を使用し、明るい領域を検知する。そして、第２シャッタの撮像の限定エリア（予測エリア８０３）に円周エッジを使用する円検知処理ができないとき、例えばLED式の電光標識を検知する。

このような構成により、本実施形態によれば、明るい領域とその領域よりも暗い領域とを含む対象物、あるいは、一部が発光し、その他の領域は発光しない対象物を検知することが可能になる。より具体的には、例えば、自発光物体を検知することで、電光標識の検知性能を向上させることができる。よって、例えば電光標識などの画像内の対象物の認識性能を向上させることができる。

なお、前述した実施形態では、２つのカメラから構成される車載ステレオカメラ装置１００を用いて説明したが、カメラは１台でもよいし、３台以上使用してもよい。

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。本発明は、例えば、複数の光学的特性を有するオブジェクト、例えば、一部が発光するオブジェクトの検出に広く適用可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１００車載ステレオカメラ装置１０１、１０２カメラ１０３画像入力インタフェース１０４画像処理部１０５演算処理部１０６記憶部１０７ＣＡＮインタフェース１０８制御処理部１０９内部バス１１０処理装置１１１車載ネットワークＣＡＮ

Claims

画像内の対象物の認識処理を行う処理装置であって、
前記画像に円の特徴が含まれないと判断した場合に、前記画像から所定の明るさより明るい画素の数を集計した複数のヒストグラムを取得し、前記複数のヒストグラムから前記画像内の対象物の円の中心に相当する位置を推定する中心推定処理を行うことを特徴とする、処理装置。
画像内の対象物の認識処理を行う処理装置であって、
前記画像から所定の明るさより明るい画素の数を集計した複数のヒストグラムを取得し、前記複数のヒストグラムから前記画像内の対象物の円の中心に相当する位置を推定する中心推定処理を行い、
前記画像は、前記対象物の識別処理を行うために前記対象物内の発光部分を検出可能な露光時間又はシャッタ速度で撮像された画像であり、
前記露光時間より長い他の露光時間又は前記シャッタ速度より遅い他のシャッタ速度で撮像した他の画像の中から前記円の位置を特定するための情報を取得する円検知処理を行い、
前記中心推定処理のための前記画像の処理領域は、前記円検知処理のための前記他の画像の処理領域よりも小さいことを特徴とする、処理装置。
請求項２に記載の処理装置において、
前記画像が円の特徴を含むか否かの判断に基づいて、前記中心推定処理を行うか否かを判断することを特徴とする、処理装置。
請求項１に記載の処理装置において、
前記画像は、前記対象物の識別処理を行うために前記対象物内の発光部分を検出可能な露光時間又はシャッタ速度で撮像された画像であることを特徴とする、処理装置。
請求項４に記載の処理装置において、
前記露光時間より長い他の露光時間又は前記シャッタ速度より遅い他のシャッタ速度で撮像した他の画像の中から前記円の位置を特定するための情報を取得する円検知処理を行い、
前記中心推定処理のための前記画像の処理領域は、前記円検知処理のための前記他の画像の処理領域よりも小さいことを特徴とする、処理装置。
請求項２又は５に記載の処理装置において、
前記画像は、前記他の画像より後のフレームで撮像された画像であることを特徴とする、処理装置。
請求項１又は２に記載の処理装置において、
前記円の中心に相当する位置周辺に所定の明るさより明るい領域が存在するか否かを判断し、
前記明るい領域が存在する場合、前記明るい領域に関する情報を記憶部に保存することを特徴とする、処理装置。