JPWO2019082628A1 - 画像処理装置、撮像装置、運転支援装置、移動体、および画像処理方法 - Google Patents

Abstract

入力部と、第１〜第４のコントローラと、を備える。入力部は、画像を取得する。第１のコントローラは、取得した画像の画像処理を行う。第２のコントローラは、画像を撮像した光学系に起因する画像の光学歪みの補正処理を行う。第３のコントローラは、画像処理および光学歪みを補正した画像上において認識処理を行う。第４のコントローラは、画像処理および補正処理を行った画像に認識処理の結果を重畳して出力する。第１のコントローラは第１の画像処理と第２の画像処理の少なくとも２通りの画像処理を行うことが可能である。第２のコントローラは第１の補正処理と第２の補正処理の少なくとも２通りの補正処理を行うことが可能である。第３のコントローラは前記第１の画像処理と前記第１の補正処理を行った画像が入力され、当該画像上で認識された被写体の位置を示す情報を出力し、前記第４のコントローラは前記第２の画像処理と前記第２の補正処理を行った画像と前記認識した被写体の位置を示す情報が入力され、前記認識した被写体の位置を画像上で相当する位置に重畳する。これにより、画像認識における高い検出率と優れた視認性を有する表示とを兼ね備えた画像処理装置、撮像装置、運転支援装置、移動体を提供することができる。

Description

関連出願の相互参照

本出願は、２０１７年１０月２６日に出願された日本国特許出願２０１７−２０７１７７号の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。

本開示は、画像処理装置、撮像装置、運転支援装置、移動体、および画像処理方法に関する。

従来、移動体の周辺の撮像画像から障害物を検出して表示させる装置が知られている。

例えば、特許文献１の記載には、車両の進行方向を撮像した画像に基づいて歩行者の像を検出し、歩行者像の位置に矩形枠を付して表示装置に出力する歩行者検出表示装置が開示されている。

特開２０１０−１３６２０７号公報

本開示の画像処理装置は、入力部と、第１〜第４のコントローラと、を備える。前記入力部は、画像を取得する。前記第１のコントローラは、前記取得した画像の画像処理を行う。前記第２のコントローラは、前記画像を撮像した光学系に起因する画像の光学歪みの補正処理を行う。前記第３のコントローラは、前記画像処理および前記光学歪みを補正した画像上において認識処理を行う。前記第４のコントローラは、前記画像処理および前記補正処理を行った画像に前記認識処理の結果を重畳して出力する。前記第１のコントローラは第１の画像処理と第２の画像処理の少なくとも２通りの画像処理を行うことが可能である。前記第２のコントローラは第１の補正処理と第２の補正処理の少なくとも２通りの補正処理を行うことが可能である。前記第３のコントローラは前記第１の画像処理と前記第１の補正処理を行った画像が入力され、当該画像上で認識された被写体の位置を示す情報を出力する。前記第４のコントローラは前記第２の画像処理と前記第２の補正処理を行った画像と前記認識した被写体の位置を示す情報とが入力され、前記認識した被写体の位置を前記画像上で相当する位置に重畳する。

本開示の撮像装置は、撮像光学系と、撮像素子と、第１〜第４のコントローラと、を備える。前記撮像素子は、前記撮像光学系を介した被写体像を光電変換して画像信号を出力する。前記第１のコントローラは、前記画像信号の画像処理を行う。前記第２のコントローラは、前記撮像光学系に起因する画像の光学歪みの補正処理を行う。前記第３のコントローラは、前記画像処理および前記光学歪みを補正した画像上において認識処理を行う。前記第４のコントローラは、歪曲画像処理および前記補正処理を行った画像に前記認識処理の結果を重畳して出力する。前記第１のコントローラは第１の画像処理と第２の画像処理の少なくとも２通りの画像処理を行うことが可能である。前記第２のコントローラは第１の補正処理と第２の補正処理の少なくとも２通りの補正処理を行うことが可能である。前記第３のコントローラは前記第１の画像処理と前記第１の補正処理を行った画像が入力され、当該画像上で認識された被写体の位置を示す情報を出力する。前記第４のコントローラは前記第２の画像処理と前記第２の補正処理を行った画像と前記認識した被写体の位置を示す情報とが入力され、前記認識した被写体の位置を前記画像上で相当する位置に重畳する。

本開示の運転支援装置は、撮像光学系と、撮像素子と、第１〜第４のコントローラと、ディスプレイと、を備える。前記撮像素子は、前記撮像光学系を介した被写体像を光電変換して画像信号を出力する。前記第１のコントローラは、前記画像信号の画像処理を行う。前記第２のコントローラは、前記撮像光学系に起因する画像の光学歪みの補正処理を行う。前記第３のコントローラは、前記画像処理および前記光学歪みを補正した画像上において認識処理を行う。前記第４のコントローラは、歪曲画像処理および前記補正処理を行った画像に前記認識処理の結果を重畳して出力する。前記ディスプレイは、前記第４のコントローラから出力された画像を表示する。前記第１のコントローラは第１の画像処理と第２の画像処理の少なくとも２通りの画像処理を行うことが可能である。前記第２のコントローラは第１の補正処理と第２の補正処理の少なくとも２通りの補正処理を行うことが可能である。前記第３のコントローラは前記第１の画像処理と前記第１の補正処理を行った画像が入力され、画像上の認識した被写体の位置を示す情報を出力する。前記第４のコントローラは前記第２の画像処理と前記第２の補正処理を行った画像と前記認識した被写体の位置を示す情報とが入力され、前記認識した被写体の位置を前記画像上で相当する位置に重畳して出力する。前記ディスプレイは前記第４のコントローラの出力を受けて表示する。

本開示の移動体は前記運転支援装置を搭載する。

本開示の画像処理方法は、画像を取得するステップを含む。前記画像処理方法は、前記取得した画像に第１および第２の画像処理の少なくとも２通りの画像処理を行うステップを備える。前記画像処理方法は、前記画像を撮像した光学系に起因する画像の光学歪みの第１および第２の補正処理の少なくとも２通りの補正処理を行うステップを備える。前記画像処理方法は、前記第１の画像処理と前記第１の補正処理を行った画像において認識処理を行うステップを備える。前記画像処理方法は、前記認識した被写体の位置を、前記第２の画像処理と前記第２の補正処理を行った画像上の相当する位置に重畳するステップを備える。

図１は、走行支援装置の概略構成を示すブロック図である。 図２は、移動体に搭載された走行支援装置の概略構成を示す図である。 図３は、各処理のタイミングを説明する図である。 図４は、パラレルの処理フローの一例を示すフローチャートである。 図５は、シーケンシャルの処理フローの一例を示すフローチャートである。

運転支援装置における表示用の画像では、必ずしも障害物などの検出率が高くならない場合がある。例えば、魚眼カメラのような広角レンズを使う場合は歪曲収差が大きく、画像認識処理の検出率が低下してしまうおそれがある。また、広角の範囲を含む視認用の画像をディスプレイに表示する場合には、確保した視野において、歪みを補正することは困難である。さらに、表示用としてはコントラストの高いメリハリの利いた画像の方が視認性は高まるが、画像認識用としては過度な映像補正はかえって検出率を下げてしまう場合がある。

以下では、画像認識における高い検出率と優れた視認性を有する表示とを兼ね備えた画像処理装置等を開示する。

以下、本開示の実施の形態について、図面を参照して説明する。

図１に示すように、複数の実施形態の１つに係る運転支援装置１は、撮像装置１００と、ディスプレイ８０とを含む。

撮像装置１００およびディスプレイ８０は、図２に示すように移動体３００に搭載される。撮像装置１００およびディスプレイ８０は、通信ケーブルおよびＣＡＮ（Control Area Network）等の移動体３００のネットワーク９０により相互に接続されてよい。

本開示における「移動体」は、車両、船舶および航空機を含む。本開示における車両は、自動車および産業車両を含むが、これに限られず、鉄道車両および生活車両、ならびに滑走路を走行する固定翼機を含んでよい。自動車は、乗用車、トラック、バス、二輪車およびトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。産業車両は、農業および建設向けの産業車両を含む。産業車両は、フォークリフト、およびゴルフカートを含むがこれに限られない。農業向けの産業車両は、トラクター、耕耘機、移植機、バインダー、コンバインおよび芝刈り機を含むが、これに限られない。建設向けの産業車両は、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカーおよびロードローラを含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両を含んでよい。本開示における船舶は、マリンジェット、ボート、およびタンカーを含む。本開示における航空機は、固定翼機および回転翼機を含む。

撮像装置１００は、例えば、移動体３００の前方の走行路を撮像するように設置される。複数の実施形態の１つにおいて、撮像装置１００は、移動体３００の室内に配置され、移動体３００のウィンドシールドを介して移動体３００の外部を撮像できる。他の実施形態において、撮像装置１００は、移動体３００のフロントバンパー、フェンダーグリル、サイドフェンダー、ライトモジュール、およびボンネットのいずれかに固定されていてよい。撮像装置１００は、移動体３００の後方または側方を撮像するように、ガーニッシュやサイドミラーに設置されてもよい。

図１に示すように、撮像装置１００は、光学系１０（撮像光学系）、撮像素子２０および画像処理装置２００を備える。また、画像処理装置２００は、第１のコントローラ３０、第２のコントローラ４０、第３のコントローラ５０、第４のコントローラ６０およびメモリ７０等を備える。

光学系１０は、光学系１０に入射した光が撮像素子２０で結像するように集光するレンズである。光学系１０は、例えば、魚眼レンズ、又は超広角レンズで構成されてよい。光学系１０は、単レンズで構成されてもよいし、複数枚のレンズで構成されてもよい。

撮像素子２０は、光学系１０によって結像された画像を撮像する撮像素子である。撮像素子２０は、ＣＣＤ（Charge-Coupled Device）イメージセンサ、およびＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含む。撮像素子２０は、光学系１０により結像された画像を光電変換した電気信号を出力することができる。

第１のコントローラ３０は、撮像素子２０により出力した電気信号を取得する入力部を有する。第１のコントローラ３０は、電気信号を処理する１つ又は複数のプロセッサである。第１のコントローラ３０は、例えば特定の機能を実行するように形成した専用のマイクロプロセッサ、又は特定のプログラムを読出すことにより特定の機能を実行するプロセッサである。

第１のコントローラ３０は、撮像素子２０により出力した、電気信号を処理する１つ又は複数のゲートアレイ等の信号処理回路であってもよい。第１のコントローラ３０は、例えば上述のプロセッサと同等の特定の機能を実行するように構成された信号処理回路であってよい。

第１のコントローラ３０は、撮像素子２０により出力した電気信号から画像を表す画像信号を生成する。また、第１のコントローラ３０は、画像について、コントラスト調整、エッジ強調、明度調整、ガンマ補正等の任意の処理を行ってもよい。

第１のコントローラ３０は、第１処理部３１および第２処理部３２のような複数の処理部を有して、異なる画像処理をパラレルに実行してよい。第１のコントローラ３０は、単一の処理部を有して、異なる画像処理をシーケンシャルに実行してもよい。

第２のコントローラ４０は、第１のコントローラ３０により処理が施された画像に対して、例えば画像の歪の補正処理を行う。第２のコントローラ４０は、１つ又は複数のプロセッサである。第２のコントローラ４０は、例えば特定の機能を実行するように形成した専用のマイクロプロセッサ、又は特定のプログラムを読出すことにより特定の機能を実行するプロセッサである。

第２のコントローラ４０は、第１のコントローラ３０により処理が施された画像に対して、例えば画像の歪の補正処理を行う。第２のコントローラ４０は、１つ又は複数のゲートアレイ等の信号処理回路であってもよい。第２のコントローラ４０は、例えば上述のプロセッサと同等の特定の機能を実行するように構成された信号処理回路であってよい。

第２のコントローラ４０は、例えば画像を撮像した光学系１０の歪曲収差等の特性に起因する歪の補正処理を行う等の任意の補正処理を行ってもよい。特に光学系１０が魚眼レンズ等の超広角の光学系である場合、光軸を中心にして画像の周辺に位置する像ほど大きく歪んで被写体の形状が変形する傾向がある。第２のコントローラ４０は、このような光学系を使用して撮像された画像の歪みを完全に補正、もしくは緩和する補正を行ってもよい。

第２のコントローラ４０は、第１補正部４１および第２補正部４２のような複数の処理部を有して、異なる補正処理をパラレルに実行してよい。第２のコントローラ４０は、単一の処理部を有して、異なる補正処理をシーケンシャルに実行してもよい。

第３のコントローラ５０は、第２のコントローラ４０により処理が施された画像に対して、例えば歩行者、移動体、標識、信号、路面表示、障害物といった被写体の認識を行う。第３のコントローラ５０は、プロセッサである。第３のコントローラ５０は、例えば特定の機能を実行するように形成した専用のマイクロプロセッサ、又は特定のプログラムを読出すことにより特定の機能を実行するプロセッサである。

第３のコントローラ５０は、第２のコントローラ４０により処理が施された画像に対して、例えば歩行者、移動体、標識、信号、路面表示、障害物といった被写体の認識を行う。第３のコントローラ５０は、ゲートアレイ等の信号処理回路であってもよい。第３のコントローラ５０は、例えば上述のプロセッサと同等の特定の機能を実行するように構成された信号処理回路であってよい。

第３のコントローラ５０は、認識した被写体の画像上の位置を示す情報を認識結果として出力してもよい。第３のコントローラ５０は、認識した被写体の種類を示す情報を認識結果として出力してもよい。

第４のコントローラ６０は、第２のコントローラ４０により処理が施された画像に対して、第３のコントローラ５０が認識した被写体の位置を示す描画を重畳する。第４のコントローラ６０は、プロセッサである。第４のコントローラ６０は、例えば特定の機能を実行するように形成した専用のマイクロプロセッサ、又は特定のプログラムを読出すことにより特定の機能を実行するプロセッサである。

第４のコントローラ６０は、第２のコントローラ４０により処理が施された画像に対して、第３のコントローラ５０が認識した被写体の位置を示す描画を重畳する。第４のコントローラ６０ゲートアレイ等の信号処理回路であってもよい。第４のコントローラ６０は、例えば上述のプロセッサと同等の特定の機能を実行するように構成された信号処理回路であってよい。

メモリ７０は、第２のコントローラ４０により処理が施された画像データを一時的に記憶する記憶装置である。メモリ７０は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）やＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等の高速の揮発性メモリを用いることができる。メモリ７０は、第３のコントローラ５０が認識処理を実行する間、画像を蓄積してよいし、第１のコントローラ３０および第２のコントローラ４０が異なる処理をシーケンシャルに実行する場合に、異なる処理が終了するまで、画像を蓄積してもよい。

ディスプレイ８０は、第４のコントローラ６０から出力された、第３のコントローラ５０が認識した被写体の位置を示す描画を重畳した画像を表示する。ディスプレイ８０は、例えば、液晶ディスプレイ（ＬＣＤ:Liquid Crystal Display）、有機ＥＬ（Electro-Luminescence）ディスプレイ、無機ＥＬディスプレイ、プラズマディスプレイ（ＰＤＰ：Plasma Display Panel）を採用しうる。ディスプレイ８０は、例えば、電界放出ディスプレイ（ＦＥＤ：Field Emission Display）、電気泳動ディスプレイ、ツイストボールディスプレイ等の種々のフラットパネルディスプレイを採用しうる。ディスプレイ８０は、移動体３００のダッシュボード、インストルメントパネル等に配置されうる。また、ディスプレイ８０は、ＨＵＤ（Head Up Display）を採用しうる。ディスプレイ８０がＨＵＤを採用した場合、画像は、フロントウィンドシールド又は運転席前に配置したコンバイナに投影されうる。ディスプレイ８０は、ナビゲーションシステムなどの他のシステムの表示装置と共用されてよい。

ネットワーク９０は、第４のコントローラ６０から出力された画像信号等の電気信号をディスプレイ８０に伝送可能に、第４のコントローラ６０とディスプレイ８０とを接続する。ネットワーク９０は、通信ケーブルのような有線により第４のコントローラ６０とディスプレイ８０とを接続してもよい。ネットワーク９０は、例えばBluetooth（登録商標）、およびIEEE802.11を含む各規格に準拠する無線により第４のコントローラ６０とディスプレイ８０とを接続してもよい。

次に、運転支援装置１の具体的な動作例について説明する。

運転支援装置１は移動体３００の起動時または移動体３００のドライバーの操作に応答して、動作を開始する。運転支援装置１が動作を開始すると、まず撮像素子２０は、光学系１０を介して結像する移動体３００の周辺の被写体の撮像を開始する。撮像素子２０により被写体像を光電変換した電気信号は、第１のコントローラ３０に対して出力される。

第１のコントローラ３０は、撮像素子２０により出力された画像信号に対し、第１の画像処理として、第３のコントローラ５０での認識処理に適した画質調整を行う。例えば、第１のコントローラ３０は、認識処理時におけるデータの欠損を極力防ぐために、リニアに近いコントラスト調整を行ってもよい。

第１のコントローラ３０は、撮像素子２０により出力された画像信号に対し、第１の画像処理とは異なる第２の画像処理として、別途、ディスプレイ８０による視認に適した画質調整を行う。例えば、第１のコントローラ３０は、コントラストを高くしたりエッジ強調を行ったりすることで、メリハリがあって視認し易い画像に調整してもよい。

第１のコントローラ３０は、第１処理部３１および第２処理部３２がそれぞれ第１の画像処理および第２の画像処理を行うことによる、並行してのパラレル処理を行ってよい。パラレル処理を行うことで、処理時間は短縮され、リアルタイム性に優れたシステムとなる。また、第１のコントローラ３０は、単一の処理部で、第１の画像処理、第２の画像処理を、順次、シーケンシャルに処理を行ってもよい。シーケンシャルに処理を行うことで、処理部の数は抑えることができ、コスト的に優れたシステムとなる。

第２のコントローラ４０は、第１のコントローラ３０により処理が施された画像に対し、第１の補正処理として、第３のコントローラ５０での認識処理に適した画像補正処理を行う。例えば、第２のコントローラ４０は、画像を複数領域に分割して、分割した複数の画像それぞれの領域に適した歪み補正を実施することで像の歪みを補正してもよい。像の歪みを補正することで、被写体の形状が正確に捉えられうるため、認識の精度が高められうる。

第２のコントローラ４０は、第１のコントローラ３０により処理が施された画像に対し、第１の補正処理とは異なる第２の補正処理として、別途、ディスプレイ８０による視認に適した画像補正処理を行う。例えば、ディスプレイ８０が１８０°程度の超広角な視野に応じた表示を行う場合、第２のコントローラ４０は、横方向の歪みは残し、高さ方向の歪みを補正することで、垂直な立体物が立っているように視認できるような補正を行ってもよい。

第２のコントローラ４０は、第１補正部４１および第２補正部４２がそれぞれ第１の補正処理および第２の補正処理を行うことによる、並行したパラレル処理を行ってよい。パラレル処理を行うことで、処理時間は短縮され、リアルタイム性が改良されうる。また、第２のコントローラ４０は、単一の処理部を有し、該単一の処理部が、第１の補正処理、第２の補正処理を、順次、シーケンシャルに行ってもよい。シーケンシャルに処理を行うことで、処理部の数は抑えられ、コスト効率が改良されうる。

第１のコントローラ３０による第１と第２の画像処理および第２のコントローラ４０による第１と第２の補正処理が双方ともシーケンシャルに行われてもよい。この場合、第１のコントローラ３０による第１の画像処理に続いて第２のコントローラ４０が第１の補正処理を行い、その後、第１のコントローラ３０による第２の画像処理に続いて第２のコントローラ４０が第２の補正処理を行ってもよい。あるいは、第１のコントローラ３０による第２の画像処理に続いて第２のコントローラ４０が第２の補正処理を行い、その後、第１のコントローラ３０による第１の画像処理に続いて第２のコントローラ４０が第１の補正処理を行ってもよい。また、第１のコントローラ３０による処理と第２のコントローラ４０よる処理との間に画像をメモリ７０にバッファしてもよい。具体的には、第１のコントローラ３０が第１と第２の画像処理をシーケンシャルに処理して、第１と第２の画像処理が行われた画像をメモリ７０にバッファする。その後、第２のコントローラ４０が第１と第２の補正処理をシーケンシャルに処理してもよい。

第１のコントローラ３０による第１と第２の画像処理または第２のコントローラ４０による第１と第２の補正処理の何れかをシーケンシャルに処理してもよい。この場合、第１のコントローラ３０による処理と第２のコントローラ４０による処理との間にメモリに画像をバッファして、第１のコントローラ３０から第２のコントローラ４０へ画像データを受け渡すタイミングを制御するようにしてもよい。

第３のコントローラ５０は、第１のコントローラ３０により第１の画像処理が、第２のコントローラ４０により第１の補正処理が施された画像に対して、例えば、機械学習などの画像認識処理による被写体認識を行ってよい。第１の画像処理および第１の補正処理の内容は認識処理の手法に応じて異なってよい。例えば、機械学習による画像認識の場合は、リニアに近いコントラストの第１の画像処理と完全な歪み補正の第１の補正処理が適している。しかし、異なる画像認識の手法では、必ずしもこれらの処理が適切とはならない場合もある。そのため、第１のコントローラ３０および第２のコントローラ４０は、それぞれの画像認識の手法に応じた第１の画像処理および第１の補正処理を行なってよい。

第３のコントローラ５０は、画像認識の結果から検出対象となる被写体の画像上の位置を示す情報を出力する。検出対象となる被写体は、例えば歩行者、移動体、標識、信号、路面表示、障害物といった移動体３００の走行路上およびその近傍に存在する被写体であってよい。被写体の画像上の位置を示す情報は、例えば、検出対象が歩行者の場合、足元の位置や像の重心等、任意の一点の座標でもよいし、歩行者の像を囲んだ矩形の頂点の座標でもよい。

第４のコントローラ６０は、第１のコントローラ３０により第２の画像処理が施され、第２のコントローラ４０により第２の補正処理が施された画像に対して、第３のコントローラ５０によって検出された被写体の位置を示す描画を重畳する。表示に用いる画像に第２の補正処理が施されているのに対して、第３のコントローラ５０で認識処理に用いた画像に第１の補正処理が施されている。そのため、双方の画像間では同じ被写体が異なる座標位置となるおそれがある。第４のコントローラ６０は第１の補正処理と第２の補正処理の相違を考慮して、第３のコントローラ５０から出力された、被写体の位置を示す情報を、第１のコントローラ３０から出力された第２の画像処理が施された画像上の相当する位置に変換する。そして、第４のコントローラ６０は、変換された被写体の位置を示す描画を重畳する。

ここで、処理のタイミングについて図３を用いて説明する。図３において横軸は時間の経過を示し、縦軸は各機能・処理を列記している。図３に示す例では、画像処理および補正処理においてそれぞれ認識用の処理と表示用の処理をパラレルに行なう場合を示している。

撮像素子２０が撮像した画像（flame1）を出力すると、第１のコントローラ３０において、認識処理に適した第１の画像処理と視認に適した第２の画像処理とがパラレルで実行される。続けて第２のコントローラ４０において、それぞれ第１の補正処理および第２の補正処理に引き継がれ、同様にパラレルで処理が実行される。第１の補正処理が完了した画像は第３のコントローラ５０へ、第２の補正処理が完了した画像は第４のコントローラ６０へ出力される。

第３のコントローラ５０における認識処理が非常に高速で短時間に完了すれば、第４のコントローラ６０にて重畳処理が実行されてよい。しかしながら、認識処理に時間を要する場合は、メモリ７０を用いて処理タイミングの同期が図られてもよい。具体的には、第２の補正処理が完了した画像はメモリ７０にバッファされ、第３のコントローラ５０における認識処理が完了したタイミングで読みだされることで、第４のコントローラ６０おける処理のタイミングが揃えられうる。flame1に対する処理に続けて、flame2に対する処理も同様に同期をとって連続して行われうる。

画像処理および補正処理それぞれにおいて認識用の処理と表示用の処理をシーケンシャルに行なう場合、先に認識用の第１の画像処理および第１の補正処理を第１のコントローラ３０および第２のコントローラ４０にて行った画像は第３のコントローラ５０に出力される。そして、第３のコントローラ５０において認識処理が実行されている間に、視認用の第２の画像処理および第２の補正処理が実行されて処理タイミングの同期が図られてもよい。第１のコントローラ３０または第２のコントローラ４０の何れか片方のみがパラレル処理を行うことによって、処理タイミングの同期が図られてもよい。何れの構成でも処理タイミングの同期が図られない場合は、メモリ７０に画像をバッファすることで、同期がとられうる。

次に、一実施の形態に係る運転支援装置１の撮像装置１００および画像処理装置２００の行う処理の一例について、図４および図５のフローチャートを参照して説明する。

図４は、画像処理および補正処理においてそれぞれ認識用の処理と表示用の処理をパラレルに行なう場合の一例を示す。

撮像装置１００は動作を開始すると、撮像素子２０が撮像を開始し、第１のコントローラ３０は撮像画像を取得する（ステップＳ１１０）。

取得された画像には、第１処理部３１および第２処理部３２において、それぞれ認識処理に適した第１の画像処理（ステップＳ１２１）および視認に適した第２の画像処理（ステップＳ１３１）がパラレルで実行される。

第１のコントローラ３０で画像処理が施された画像には、第２のコントローラ４０の第１補正部４１および第２補正部４２において、それぞれ認識処理に適した第１の補正処理（ステップＳ１２２）および視認に適した第２の補正処理（ステップＳ１３２）がパラレルで実行される。

第１の画像処理および第１の補正処理が施された画像には、第３のコントローラ５０に入力されて認識処理が実行される（ステップＳ１４０）。同時に、第２の画像処理および第２の補正処理が施された画像は、メモリ７０に入力および蓄積されることによって、バッファされる（ステップＳ１５０）。

第３のコントローラ５０における認識処理が終了したら、第４のコントローラ６０は、メモリ７０にバッファされていた第２の画像処理および第２の補正処理が施された視認用の画像と、第３のコントローラ５０から出力された認識した被写体の位置を示す情報とを取得する。第４のコントローラ６０は、認識した被写体の位置を示す描画を画像上で相当する位置に重畳する（ステップＳ１６０）。

第４のコントローラ６０による重畳処理が施された画像は出力され（ステップＳ１７０）、ディスプレイ８０にて表示される。

次に、図５で、画像処理および補正処理においてそれぞれ認識用の処理と表示用の処理をシーケンシャルに行なう場合の一例を説明する。

撮像装置１００は動作を開始すると、撮像素子２０が撮像を開始し、第１のコントローラ３０は撮像画像を取得する（ステップＳ２１０）。

取得された画像には、認識処理に適した第１の画像処理（ステップＳ２２１）が施され、続けて、第１の画像処理が施された画像は、第２のコントローラ４０に入力され、認識処理に適した第１の補正処理が当該画像に施される（ステップＳ２２２）。

第２のコントローラ４０で第１の補正処理が施された画像は、第３のコントローラ５０に入力され、認識処理が開始される（ステップＳ２３０）。

第３のコントローラ５０で認識処理を開始したところで、第１のコントローラ３０は視認に適した第２の画像処理（ステップＳ２４１）を行い、第２の画像処理が施された画像を第２のコントローラ４０に入力する。続けて、第２のコントローラ４０は、第２の画像処理が施された画像に、視認に適した第２の補正処理を行う（ステップＳ２４２）。第２の画像処理および第２の補正処理が施された画像は、メモリ７０に入力および蓄積されることによって、バッファされる（ステップＳ２５０）。

第３のコントローラ５０における認識処理が終了するまで、メモリ７０は画像を蓄積した状態で待機する（ステップＳ２６０：ｎｏ）。認識処理が終了したら（ステップＳ２６０：ｙｅｓ）、第４のコントローラ６０は、メモリ７０にバッファされていた、第２の画像処理および第２の補正処理が施された視認用の画像と、第３のコントローラ５０から出力された認識した被写体の位置を示す情報とを取得する。第４のコントローラ６０は、認識した被写体の位置を示す描画を画像上で相当する位置に重畳する（ステップＳ２７０）。

第４のコントローラ６０による重畳処理が施された画像は出力され（ステップＳ２８０）、ディスプレイ８０にて表示される。

運転支援装置１は、図４および図５に示した処理を、非一時的なコンピュータ可読媒体に記録されたプログラムを読み込んで実行するように構成されてよい。非一時的なコンピュータ可読媒体は、磁気記憶媒体、光学記憶媒体、光磁気記憶媒体および半導体記憶媒体を含むがこれらに限られない。磁気記憶媒体は、磁気ディスク、ハードディスクおよび磁気テープを含む。光学記憶媒体は、ＣＤ、ＤＶＤおよびＢＤ等の光ディスクを含む。半導体記憶媒体は、ＲＯＭ（Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）およびフラッシュメモリ等を含む。

本開示の一実施形態によれば、画像処理装置２００は、画像認識における高い検出率と優れた視認性を有する表示とを兼ね備えることができる。具体的には、画像処理装置２００は、画像認識処理用の画像と視認用の画像とで別途に、それぞれに適した画像処理および補正処理を施し、認識結果の被写体の位置を示す情報を視認用の画像上の相当する位置に変換して描画を重畳することで、画像認識における高い検出率と優れた視認性を有する画像の生成とを兼ね備えることが可能となる。また、本実施形態による画像処理装置２００を用いる撮像装置１００は、魚眼レンズのような超広角の光学系を用いても、画像認識における高い検出率と優れた視認性をする画像を出力可能である。更に、本実施形態による撮像装置１００を用いる運転支援装置１は、車両に搭載されると、ドライバーに対して視認性の良好な画像と、歩行者、移動体、障害物等の高精度な検出結果を提供可能となる。

上述の実施形態は代表的な例として説明した。本開示の趣旨および範囲内で、多くの変更および置換ができることは、当業者に明らかである。したがって、本開示は、上述の実施形態および実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形、変更が可能である。例えば、実施形態および実施例に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

例えば、上記実施形態において、運転支援装置１は、画像処理装置２００を撮像装置１００に含むが、画像処理装置２００は必ずしも撮像装置１００に含まれなくてもよい。画像処理装置２００は、撮像装置１００の外にあって撮像素子２０からの出力される画像を取得して、各処理を施して被写体の位置を示す描画を重畳した画像をディスプレイ８０に出力してもよい。

１ 運転支援装置
１０ 光学系
２０ 撮像素子
３０ 第１のコントローラ
３１ 第１処理部
３２ 第２処理部
４０ 第２のコントローラ
４１ 第１補正部
４２ 第２補正部
５０ 第３のコントローラ
６０ 第４のコントローラ
７０ メモリ
８０ ディスプレイ
９０ ネットワーク
１００ ネットワーク
２００ 画像処理装置
３００ 移動体

Claims (8)

1. 画像を取得する入力部と、
   前記取得した画像の画像処理を行う第１のコントローラと、
   前記画像を撮像した光学系に起因する画像の光学歪みの補正処理を行う第２のコントローラと、
   前記画像処理および前記光学歪みを補正した画像上において認識処理を行う第３のコントローラと、
   前記画像処理および前記補正処理を行った画像に前記認識処理の結果を重畳して出力する第４のコントローラと、を備え、
   前記第１のコントローラは第１の画像処理と第２の画像処理の少なくとも２通りの画像処理を行うことが可能であり、
   前記第２のコントローラは第１の補正処理と第２の補正処理の少なくとも２通りの補正処理を行うことが可能であり、
   前記第３のコントローラは前記第１の画像処理と前記第１の補正処理を行った画像が入力され、当該画像上で認識された被写体の位置を示す情報を出力し、
   前記第４のコントローラは前記第２の画像処理と前記第２の補正処理を行った画像と前記認識した被写体の位置を示す情報が入力され、前記認識した被写体の位置を示す描画を前記画像上で相当する位置に重畳する画像処理装置。
2. 前記第１の画像処理と前記第２の画像処理および前記第１の補正処理と前記第２の補正処理の少なくともいずれか一組はパラレルに処理される請求項１に記載の画像処理装置。
3. 前記第１の画像処理と前記第２の画像処理および前記第１の補正処理と前記第２の補正処理の少なくともいずれか一組はシーケンシャルに処理される請求項１に記載の画像処理装置。
4. 連続して取得する前記画像に前記画像処理および前記補正処理を行った画像を記憶するメモリを更に備え、
   当該メモリは、前記第３のコントローラの認識処理が終了するまで前記画像を記憶する請求項１乃至３に記載の画像処理装置。
5. 撮像光学系と、
   前記撮像光学系を介した被写体像を光電変換して画像信号を出力する撮像素子と、
   前記画像信号の画像処理を行う第１のコントローラと、
   前記撮像光学系に起因する画像の光学歪みの補正処理を行う第２のコントローラと、
   前記画像処理および前記光学歪みを補正した画像上において認識処理を行う第３のコントローラと、
   歪曲画像処理および前記補正処理を行った画像に前記認識処理の結果を重畳して出力する第４のコントローラと、を備え、
   前記第１のコントローラは第１の画像処理と第２の画像処理の少なくとも２通りの画像処理を行うことが可能であり、
   前記第２のコントローラは第１の補正処理と第２の補正処理の少なくとも２通りの補正処理を行うことが可能であり、
   前記第３のコントローラは前記第１の画像処理と前記第１の補正処理を行った画像を入力され、当該画像上で認識された被写体の位置を示す情報を出力し、
   前記第４のコントローラは前記第２の画像処理と前記第２の補正処理を行った画像と前記認識した被写体の位置を示す情報が入力され、前記認識した被写体の位置を示す描画を前記画像上で相当する位置に重畳する撮像装置。
6. 撮像光学系と、
   前記撮像光学系を介した被写体像を光電変換して画像信号を出力する撮像素子と、
   前記画像信号の画像処理を行う第１のコントローラと、
   前記撮像光学系に起因する画像の光学歪みの補正処理を行う第２のコントローラと、
   前記画像処理および前記光学歪みを補正した画像上において認識処理を行う第３のコントローラと、
   歪曲画像処理および前記補正処理を行った画像に前記認識処理の結果を重畳して出力する第４のコントローラと、
   前記第４のコントローラから出力された画像を表示するディスプレイと、を備え、
   前記第１のコントローラは第１の画像処理と第２の画像処理の少なくとも２通りの画像処理を行うことが可能であり、
   前記第２のコントローラは第１の補正処理と第２の補正処理の少なくとも２通りの補正処理を行うことが可能であり、
   前記第３のコントローラは前記第１の画像処理と前記第１の補正処理を行った画像が入力され、当該画像上で認識された被写体の位置を示す情報を出力し、
   前記第４のコントローラは前記第２の画像処理と前記第２の補正処理を行った画像と前記認識した被写体の位置を示す情報が入力され、前記認識した被写体の位置を示す描画を前記画像上で相当する位置に重畳して出力し、
   前記ディスプレイは前記第４のコントローラの出力を受けて表示する運転支援装置。
7. 請求項６に記載の運転支援装置を搭載する移動体。
8. 画像を取得するステップと、
   前記取得した画像に第１および第２の画像処理の少なくとも２通りの画像処理を行うステップと、
   前記画像を撮像した光学系に起因する画像の光学歪みの第１および第２の補正処理の少なくとも２通りの補正処理を行うステップと、
   前記第１の画像処理と前記第１の補正処理を行った画像において認識処理を行うステップと、
   前記認識した被写体の位置を示す描画を、前記第２の画像処理と前記第２の補正処理を行った画像上の相当する位置に重畳するステップと、
   を備える画像処理方法。

Images