JP6753915B2 - 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム - Google Patents

Description

本発明は、画像処理装置、画像処理プログラムおよび画像処理システムに関する。

車両を運転中に、他の車両や建造物といった遠方の障害物の陰にいる歩行者や自転車などを分かり易く表示して安全運転を支援するために、自車両の周囲の俯瞰画像を作成して表示する技術が知られている。例えば、自車両に搭載された車載カメラと、他車両に搭載された車載カメラや路上の撮像装置とを用いて撮像された画像を用いて、自車両周辺の俯瞰画像を作成する。このようにすることで、遠方の障害物を高精度に表示することができる。

特開２０１４−１２９０９３号公報

Tomoki Watanabe, Satoshi Ito and Kentaro Yokoi: "Co-occurrence Histograms of Oriented Gradients for Human Detection", IPSJ Transactions on Computer Vision and Applications, Vol. 2, pp.39-47. (2010). 共起特徴とk近傍法による追加学習型オブジェクト認識システム", 画像の認識・理解シンポジウム(MIRU). (2011).

従来の技術では、各画像を俯瞰画像の形状に合わせて変形させて俯瞰画像を生成していた。そのため、運転者が、従来の技術で作成された広域の俯瞰画像を見て、変形されて複雑な形状になった障害物（歩行者、自転車など）の存在や、その位置を、瞬時に認識することが困難であるという問題があった。

本発明が解決する課題は、複数カメラを用いてより容易に対象を認識可能とする画像処理装置、画像処理プログラムおよび画像処理システムを提供することにある。

第１の実施形態の画像処理装置は、自車両が走行中の道路を複数の異なる方向から撮像した第１の画像から検出対象を検出する。第１の画像のうち、検出対象が検出された第２の画像と、自車両に搭載された撮像装置のうち第２の画像と撮像範囲を共有する第３の画像とにおいて、第２の画像上で検出対象の周囲一定領域内に含まれる背景物体の画像と、第３の画像中の物体の画像とを対応付ける。対応付けを行った背景物体の画像を含む最小矩形の一定の割合の領域とを含む検出矩形と、検出対象の全体とを第２の画像から切り出す。切り出した検出矩形の画像と、第２の画像を撮像した位置を示す位置情報と、第１の画像のうち自車両周辺の画像とを配置した出力画像を生成する。

図１は、各実施形態に係る画像処理装置を含む画像処理システムを説明するための図である。 図２は、第１の実施形態に係る画像処理装置を用いた画像処理システムの一例の構成を概略的に示すブロック図である。 図３は、第１の実施形態に適用可能な運転支援装置の一例の構成を示すブロック図である。 図４は、第１の実施形態に係る画像処理部の機能を説明するための機能ブロック図である。 図５は、第１の実施形態に係る画像処理部の処理を示す一例のフローチャートである。 図６は、撮像範囲を共有する例を示す図である。 図７は、第１の実施形態に適用可能な検出対象の検出処理を説明するための図である。 図８は、第１の実施形態に適用可能な検出対象の検出処理の例を示すフローチャートである。 図９は、第１の実施形態に係る、背景物体の撮像画像間での対応付けを説明するための図である。 図１０は、第１の実施形態に係る撮像画像間での画像の対応付けの処理を示す一例のフローチャートである。 図１１は、第１の実施形態に係る、検出対象の周囲の一定領域の設定方法を説明するための図である。 図１２は、第１の実施形態に係る分割処理について説明するための図である。 図１３は、第１の実施形態に係る、検出対象と背景物体とを検出矩形画像として切り出す処理を示す一例のフローチャートである。 図１４は、第１の実施形態に係る、検出矩形画像を切り出す処理を説明するための図である。 図１５は、第１の実施形態に係る、検出矩形画像を切り出す処理を説明するための図である。 図１６は、第１の実施形態に係る、検出矩形画像を切り出す処理を説明するための図である。 図１７は、第１の実施形態に係る、検出矩形画像を切り出す処理を説明するための図である。 図１８は、第１の実施形態に係る、検出矩形画像を切り出す処理を説明するための図である。 図１９は、第１の実施形態に係る表示画像の例を示す図である。 図２０は、第２の実施形態に係る画像処理部の機能を説明するための機能ブロック図である。 図２１は、第２の実施形態に係る背景物体検出処理を示す一例のフローチャートである。 図２２は、第３の実施形態に係る画像処理部の機能を説明するための機能ブロック図である。 図２３は、第３の実施形態に係る背景物体検出処理を示す一例のフローチャートである。 図２４は、第４の実施形態に係る画像処理システムの一例の構成を概略的に示すブロック図である。

以下、実施形態に係る画像処理装置、画像処理プログラムおよび画像処理システムについて説明する。

（各実施形態に共通の構成）
各実施形態に係る画像処理装置を含む運転支援装置は、例えば運転者が運転する車両（自車両とする）に設けられ、他車両の車載カメラや路上の撮像装置により撮像された画像を用いて、当該車両の周辺の様子を示す自車両周辺画像を作成する。

また、運転支援装置において、画像処理装置は、他車両や路上の撮像装置で撮像された画像に対して、歩行者といった検出対象の検出処理を行う。画像処理装置は、撮像画像から検出対象が検出された場合には、検出対象付近に存在する、検出対象以外の物体である背景物体と、自車両の車載カメラにより撮像された画像に含まれる背景物体とを対応付け、検出された検出対象の全体と、対応付けられた背景物体の一定領域以上とを含む矩形を検出対象が検出された撮像画像から切り出して、検出矩形画像を得る。そして、画像処理装置は、切り出した検出矩形画像と、自車両周辺画像とを配置した表示画像を生成する。

検出対象と運転者が目視で確認可能な背景物体とを含んで切り出した画像を、自車両周辺画像と共に表示して運転者に提示することで、運転者は、表示された画像が運転者とは異なる視線方向のカメラが撮像した画像であっても、検出対象や周辺の物体との位置関係を容易に認識可能となる。

図１を用いて、各実施形態に係る画像処理装置を含む画像処理システムについて概略的に説明する。図１において、中央部分には、道路１０を上方から俯瞰した例が示されている。図１の例では、道路１０（左側通行であるものとする）上に、センターライン１４の左側の車線に車両２０が存在し、センターライン１４の右側の車線に、車両２１および２２と、歩行者２３とが存在している様子が示されている。車両２０は、センターライン１４の左側の車線を走行し、車両２１は、センターライン１４の右側の車線を走行している。車両２２は、右側の車線の右端に駐車しているものとする。また、歩行者２３は、道路１０を右車線側から左車線側に向けて横断しようとしているものとする。また、図１上で道路１０の左端側に信号機１１が設置されている。

また、車両２０は、各実施形態に係る画像処理装置を含む運転支援装置３０が搭載され、車両２１は、撮像機能、通信機能および位置情報取得機能を備える撮像装置３１が搭載されている。また、信号機１１に対して、撮像機能、通信機能および位置情報取得機能を備える撮像装置３２が固定的に設置されている。以下では、運転支援装置３０が搭載される車両２０を自車両（自車両２０と記述）とし、それ以外の車両２１および２２を他車両（それぞれ他車両２１および２２と記述）とする。

自車両２０において、運転支援装置３０は、撮像機能を備え、図１において、運転支援装置３０が備える撮像機能による撮像範囲を撮像範囲４０として示している。また、図１において、車両２１に搭載される撮像装置３１と、信号機１１に設置される撮像装置３２による撮像範囲を、それぞれ撮像範囲４１および４２として示している。

図１の左下に、自車両２０に搭載される運転支援装置３０の撮像機能を用いて撮像した撮像画像４０’の例を示す。同様に、図１の右上に、他車両２１に搭載される撮像装置３１により撮像した撮像画像４１’の例を、図１の左上に、信号機１１に設置された撮像装置３２により撮像した撮像画像４２’の例をそれぞれ示す。

撮像画像４０’は、撮像範囲４０に対応して、道路１０および信号機１１の画像がそれぞれ含まれると共に、他車両２１および２２の画像が含まれる。撮像画像４０’は、自車両２０から進行方向側に見える光景に対応している。同様に、撮像画像４１’は、撮像範囲４１に対応して、道路１０の画像が含まれると共に、自車両２０および他車両２２の画像が含まれ、さらに、歩行者２３の画像が含まれる。また、撮像画像４２’は、撮像範囲４２に対応して、道路１０の画像が含まれると共に、自車両２０と他車両２１および２２の画像が含まれ、さらに、歩行者２３の画像が含まれる。

ここで、撮像画像４１’および４２’には歩行者２３の画像が含まれるが、歩行者２３は自車両２０から見て他車両２２の陰になっているので、撮像画像４０’には歩行者２３の画像が含まれない。そのため、自車両２０の運転者は、自車両２０に搭載される運転支援装置３０の撮像機能により撮像された撮像画像４０’を見ても、歩行者２３の存在を認識できない。したがって、自車両２０の運転者は、歩行者２３が駐車中の他車両２２の陰から不意に飛び出してきても対応できないおそれがある。

そこで、各実施形態では、撮像装置３１および３２が、自車両２０による撮像範囲４０とは異なる方向の撮像範囲４１および４２により撮像した撮像画像４１’および４２’を、無線通信５１および５２により送信する。自車両２０に搭載される運転支援装置３０は、これら無線通信５１および５２により送信された撮像画像４１’および４２’を受信する（無線通信５１’および５２’）。

運転支援装置３０は、自身が持つ撮像機能により撮像した撮像画像４０’と、無線通信５１’および５２’により受信した撮像画像４１’および４２’とに基づき、歩行者２３の画像と自車両２０からも見える他車両２２の画像とを含む検出矩形画像と、自車両２０と歩行者２３との位置関係が分かるような自車両周辺画像とを生成し、生成した各画像を１画面中に同時に表示させて自車両２０の運転者に提示する。これにより、自車両２０の運転者は、他車両２２の陰に歩行者２３が存在することを容易に知ることができ、例えば歩行者２３が他車両２２の陰から不意に飛び出した場合であっても対応可能となる。

（第１の実施形態）
次に、第１の実施形態に係る画像処理装置について説明する。図２は、第１の実施形態に係る画像処理装置を用いた画像処理システムの一例の構成を概略的に示す。図２において、運転支援装置３０は、図１で説明したように、自車両２０に搭載されるもので、第１の実施形態に係る画像処理装置としての画像処理部３００と、撮像部３０１と、通信部３０２と、位置情報取得部３０３とを含む。

撮像部３０１は、自車両２０の例えば進行方向側を撮像範囲４０として撮像し、撮像画像４０’を出力する。通信部３０２は、アンテナ３０４を介して無線通信による送受信を行う。位置情報取得部３０３は、現在の位置を示す位置情報を取得する。

画像処理部３００は、撮像部３０１から出力された撮像画像と、通信部３０２により受信された撮像画像と、位置情報取得部３０３で取得された位置情報とが入力される。画像処理部３００は、入力された各撮像画像に基づき、自車両２０の周辺の画像である自車両周辺画像と、検出対象（例えば人物）と背景物体とを検出して検出矩形画像とを生成し、生成した画像を位置情報と共に表示部３０５に表示させて運転者に提示する。

撮像装置３１は、例えば他車両２１といった移動体に搭載され、例えば他車両２１の進行方向側を撮像して撮像画像を出力する撮像部と、現在位置を取得する位置情報取得部と、撮像画像および位置情報を無線通信５１により送信する通信部とを含む。撮像装置３２は、例えば信号機１１といった固定物に設置され、それぞれ撮像装置３１に含まれる各部と同様の、撮像部、位置情報取得部および通信部を含み、撮像部から出力された撮像画像と、位置情報取得部で取得された位置情報とを、通信部により無線通信５２により送信する。なお、撮像装置３２において、撮像部の撮像方向は、予め設定される。

第１の実施形態では、運転支援装置３０が備える通信部３０２は、撮像装置３１および３２が含む通信部と、無線通信５１および５２により直接的に通信を行う。例えば、通信部３０２は、撮像装置３１および３２が含む通信部の探索を行い、各通信部が発見されると、各通信部との間で通信を確立する。このとき、通信部３０２は、発見された全ての通信部との間で通信を行うようにしてもよいし、各通信部に対して位置情報を要求し、この要求に応じて各通信部から送信された位置情報に基づき、通信を行う通信部をフィルタリングしてもよい。

第１の実施形態に適用できる通信方式としては、Ｐ２Ｐ(Peer to Peer)が可能であれば、特に限定しないが、無線ＬＡＮ(Local Area Network)の一つであるＷｉ−Ｆｉ（登録商標）や、Ｂｌｕｅｔｏｏｔｈ（登録商標）を用いることができる。なお、自車両２０と他車両２１との間の通信のように、移動体間での通信を移動体間通信と呼び、信号機１１と自車両２０との間の通信のように、移動体と道路１０に近接して設けられた固定物との間の通信を、対固定物通信と呼ぶ。

なお、図２の例では、画像処理システムが各１台の撮像装置３１および撮像装置３２を含むように示されているが、これは説明のための例に過ぎず、この例に限定されない。すなわち、画像処理システムは、それぞれ２台以上の撮像装置３１および３２を含むことができる。また、図２の例では、自車両２０のみが運転支援装置３０を搭載するように示されているが、これはこの例に限定されず、複数の車両が運転支援装置３０を搭載していてもよい。この場合、各運転支援装置３０は、撮像装置３１および３２と同様に、撮像部３０１から出力された撮像画像と、位置情報取得部３０３で取得された位置情報とを通信部３０２から送信するようにできる。

図３は、第１の実施形態に適用可能な運転支援装置３０の一例の構成を示す。図３において、運転支援装置３０は、ＣＰＵ(Central Processing Unit)３０００と、ＲＯＭ(Read Only Memory)３００１と、ＲＡＭ(Random Access Memory)３００２と、カメラＩ／Ｆ３００３と、位置情報取得部３００４と、ストレージ３００５と、操作部３００６と、表示制御部３００７と、通信部３００８とを含み、これら各部がバス３０１０により互いに通信可能に接続されている。

ストレージ３００５は、不揮発にデータを記憶する記憶媒体であって、フラッシュメモリやハードディスクドライブを用いることができる。ＣＰＵ３０００は、ストレージ３００５やＲＯＭ３００１に予め記憶されるプログラムに従い、ＲＡＭ３００２をワークメモリとして用いて、この運転支援装置３０の動作を制御する。

カメラＩ／Ｆ３００３は、カメラ３０３０を運転支援装置３０に接続するためのインタフェースであって、複数のカメラ３０３０、３０３０、…を接続することができる。図２の撮像部３０１は、例えば各カメラ３０３０、３０３０、…と、カメラＩ／Ｆ３００３とを含んだ構成に対応する。ＣＰＵ３０００は、カメラＩ／Ｆ３００３を介して各カメラ３０３０、３０３０、…の撮像動作を制御することができる。

位置情報取得部３００４は、図２の位置情報取得部３０３に対応し、例えばＧＮＳＳ（全地球測位システム）を用いて現在位置を示す情報を取得する。これに限らず、位置情報取得部３００４は、ＩＭＵ（慣性計測装置）を用いて現在位置を取得してもよいし、ＧＮＳＳとＩＭＵとを組み合わせて現在位置を取得してもよい。また、位置情報取得部３００４は、自車両２０の速度とステアリングの角度とに基づき現在位置を計算してもよい。

操作部３００６は、操作子やタッチパネルにより、ユーザ操作を受け付ける。表示制御部３００７は、ＣＰＵ３０００がプログラムに従い生成した表示データを、表示装置３０２０を駆動可能な表示制御信号に変換して出力する。表示装置３０２０は、例えばＬＣＤ(Liquid Crystal Display)を表示として用い、表示制御部３００７から供給される表示制御信号に応じた画面を表示する。

通信部３００８は、ＣＰＵ３０００の制御に従い、アンテナ３００９を介して無線通信を行う。通信部３００８に適用可能な通信方式としては、Ｗｉ−Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）などがある。

図４は、第１の実施形態に係る画像処理部の機能を説明するための機能ブロック図である。図４において、画像処理部３００ａは、図２で説明した画像処理部３００に対応するもので、取得部３１０と、周辺画像生成部３１１と、検出部３２０と、対応付け部３２１と、切り出し部３２３と、検出情報生成部３２４と、表示情報生成部３２５とを含む。また、対応付け部３２１は、分割部３２２を含む。

これら取得部３１０、周辺画像生成部３１１、検出部３２０、対応付け部３２１、分割部３２２、切り出し部３２３、検出情報生成部３２４および表示情報生成部３２５は、ＣＰＵ３０００上でプログラムが動作することで実現される。これに限らず、取得部３１０、周辺画像生成部３１１、検出部３２０、対応付け部３２１、分割部３２２、切り出し部３２３、検出情報生成部３２４および表示情報生成部３２５の一部または全部を、互いに協働して動作する個別のＩＣ(Integrated Circuit)などのハードウェアにより構成してもよい。

取得部３１０は、自車両２０が走行中の道路１０を複数の異なる方向から撮像した撮像画像と、撮像された位置を示す位置情報とを取得する。より具体的には、取得部３１０は、撮像装置３１および３２から送信された各撮像画像と各位置情報とを、通信部３０２を介して取得する。また、取得部３１０は、運転支援装置３０に接続される各カメラ３０３０、３０３０、…で撮像された撮像画像と、位置情報取得部３０３から位置情報とをさらに取得してもよい。

周辺画像生成部３１１は、取得部３１０が取得した各撮像画像（第１の画像）および各位置情報に基づき、自車両２０の周辺の画像を、自車両２０に対する自車両周辺画像として生成する。周辺画像生成部３１１は、生成した自車両周辺画像を、表示情報生成部３２５に渡す。

検出部３２０は、取得部３１０が取得した、走行中の道路を複数の異なる方向から撮像した撮像画像から、歩行者などの検出対象の画像を検出する。

対応付け部３２１は、取得部３１０が取得した各撮像画像のうち検出部３２０によって検出対象が検出された画像である対象検出撮像画像（第２の画像）と、自車両２０に搭載された各カメラ３０３０、３０３０、…のうち当該対象検出撮像画像と撮像範囲を共有するカメラ３０３０が撮像した撮像画像である範囲共有撮像画像（第３の画像）との間で、対応付けを行う。具体的には、対応付け部３２１は、対象検出撮像画像上で検出対象の周囲一定領域内にある、検出対象とは異なる物体である背景物体と、範囲共有撮像画像中の物体とを対応付ける。

対応付け部３２１は、分割部３２２を含み、分割３２２は、対象検出撮像画像および範囲共有撮像画像それぞれにおいて、色情報やエッジ情報に基づきこれら対象検出撮像画像および範囲共有撮像画像を領域に分割する。対応付け部３２１は、分割部３２２により分割されて生成された各領域を対象検出撮像画像および範囲共有撮像画像間で比較して、対応付けを行う。

切り出し部３２３は、検出部３２０で検出された検出対象の全体と、対応付け部３２１が対応付けた背景物体とを含む最小矩形の一定の割合の領域を含む矩形の画像である検出矩形画像を、対象検出撮像画像から切り出す。

検出情報生成部３２４は、切り出し部３２３において検出対象を含む検出矩形画像が切り出された場合に、対象検出撮像画像が撮像された位置を示す位置情報と、切り出された検出矩形画像とを含む検出情報を生成する。検出情報生成部３２４は、位置情報を取得部３１０から取得することができる。検出情報生成部３２４は、生成した検出情報を、表示情報生成部３２５に渡す。

表示情報生成部３２５は、例えば、周辺画像生成部３１１から渡された自車両周辺画像と、検出情報生成部３２４から渡された検出情報に含まれる検出矩形画像および位置情報とを提示するための表示情報を生成する。具体的には、表示情報生成部３２５は、自車両周辺画像と、検出矩形画像と、位置情報とを１つの画面上に配置した表示情報を生成する。

図５は、第１の実施形態に係る画像処理部３００ａの処理を示す一例のフローチャートである。ステップＳ１０で、画像処理部３００ａは、取得部３１０により、自車両２０が走行中の道路１０を複数の異なる方向から撮像した撮像画像と、撮像された位置を示す位置情報とを取得する。

次のステップＳ１１の処理と、ステップＳ１２〜ステップＳ１５の処理とは、並列的に実行することができる。これに限らず、ステップＳ１１の処理を、ステップＳ１２〜ステップＳ１５処理中の任意の位置で実行してもよい。ステップＳ１１で、画像処理部３００ａは、周辺画像生成部３１１により、ステップＳ１０で取得部３１０が取得した各撮像画像および位置情報に基づき、自車両２０の周辺の画像を、自車両２０に対する自車両周辺画像として生成する。

一方、ステップＳ１２で、画像処理部３００ａは、検出部３２０により、ステップＳ１０で取得部３１０が取得した各撮像画像から、歩行者などの検出対象の画像を検出する。次のステップＳ１３で、画像処理部３００ａは、ステップＳ１２の検出結果に基づき、各撮像画像に検出対象の画像が存在するか否かを判定する。

若し、ステップＳ１３で存在しないと判定された場合、処理がステップＳ１７に移行される。

一方、ステップＳ１３で、画像処理部３００ａは、検出対象が存在する、すなわち、ステップＳ１０で取得された各撮像画像に、検出対象の画像が含まれる対象検出撮像画像があると判定した場合、処理をステップＳ１４に移行する。

ステップＳ１４で、画像処理部３００ａは、対応付け部３２１により、ステップＳ１２で、対象検出撮像画像と、ステップＳ１０で取得した、自車両２０に搭載された各カメラ３０３０、３０３０、…のうち当該対象検出撮像画像と撮像範囲を共有するカメラ３０３０が撮像した撮像画像である範囲共有撮像画像との間で、背景物体の対応付けを行う。

次のステップＳ１５で、画像処理部３００ａは、切り出し部３２３により、ステップＳ１２で検出された検出対象の全体と、ステップＳ１４で対応付けられた背景物体とを含む最小矩形の一定の割合の領域を含む検出矩形画像を、対象検出撮像画像から切り出す。そして、次のステップＳ１６で、画像処理部３００ａは、検出情報生成部３２４により、ステップＳ１５で検出矩形画像が切り出された場合に、検出対象が検出された対象検出撮像画像が撮像された位置を示す位置情報と、切り出された検出矩形画像とを含む検出情報を生成する。

次のステップＳ１７で、画像処理部３００ａは、表示情報生成部３２５により、ステップＳ１１で周辺画像生成部３１１により生成された自車両周辺画像と、ステップＳ１６で生成された検出情報とをユーザに提示するための表示情報を生成する。生成された表示情報は、表示制御部３００７の制御に従い、表示装置３０２０により表示される。なお、上述のステップＳ１３で各撮像画像に検出対象の画像が存在しないと判定されて処理がこのステップＳ１７に移行した場合は、ステップＳ１１で生成された自車両周辺画像のみを含む表示情報を生成することが考えられる。

次に、上述の図５のフローチャートにおける各処理を、より詳細に説明する。以下では、検出対象を人物であるものとして説明する。なお、検出対象は、人物に限られない。例えば、自動車、自転車、自動二輪車などを検出対象としてもよいし、犬、猫といった動物を検出対象としてもよい。

図５のステップＳ１０の、撮像画像および位置情報の取得処理について説明する。ステップＳ１０で、取得部３１０は、他車両２１に搭載された撮像装置３１や、道路１０の近傍に設置された撮像装置３２などにより、自車両２０が走行中の道路１０を複数の異なる方向から撮像した撮像画像と、撮像した位置を示す位置情報とを取得する。また、取得部３１０は、自車両２０に搭載された各カメラ３０３０、３０３０、…により撮像された各撮像画像と、位置情報取得部３０３により取得された位置情報とをさらに取得する。

取得部３１０が取得する撮像画像は、一般的には、可視光を撮像するカメラを用いて撮像された撮像画像を想定している。取得部３１０は、これに限らず、暗所を撮像可能な赤外線カメラを用いて撮像された撮像画像を取得してもよい。また、各撮像装置３１および３２の撮像方向は、特に限定されず、各撮像装置３１および３２が互いに異なる方向を撮像してもよい。一方、各撮像装置３１および３２は、自車両２０に搭載されるカメラ３０３０、３０３０、…のうち１つ以上のカメラ３０３０と、撮像範囲を共有している必要がある。例えば、図６（ａ）〜図６（ｃ）に例示されるように、同一の検出対象Ａに対し、カメラ３０３０が正面から、撮像装置３１が側面から、撮像装置３２が背後から撮像してもよい。

図５のステップＳ１１の、自車両周辺画像の生成処理について説明する。周辺画像生成部３１１は、ステップＳ１０により取得部３１０が取得した各撮像画像を用いて自車両周辺画像を生成する。自車両周辺画像は、例えば、自車両２０の周辺を俯瞰した俯瞰画像を用いることができる。少なくとも一部の撮像範囲を共有する、互いに異なる方向から撮像した複数の撮像画像を用いた俯瞰画像の生成は、各撮像画像をホモグラフィ変換した後に合成することで行える。

各カメラ（カメラ３０３０、３０３０、…、撮像装置３１および３２）の位置情報は、ステップＳ１０で取得部３１０により取得され、既知である。道路１０の路面を平面と仮定すると，道路平面に対する各カメラの相対的な位置ｔ（並進ベクトル）と姿勢Ｒ（回転行列）とが計算できる。道路平面上の点をＭ、対応する画像上の点をｍ、カメラの内部パラメータ行列をＡ、ホモグラフィ行列をＨとすると，下記の式（１）が成り立つ。なお、式（１）において、Ｈ＝Ａ［ｒ₁ ｒ₂ ｔ］である。
ｓｍ＝ＨＭ …（１）

ここで、ｓは、スケール定数であり、ｒ₁およびｒ₂は、それぞれ回転行列Ｒの第１列ベクトルと第２列ベクトルとを意味する。並進ベクトルｔおよび回転行列Ｒは計算可能であり、カメラ内部パラメータ行列Ａは、事前にカメラをキャリブレーションすることで既知となる。そのため、ホモグラフィ行列Ｈは、容易に計算できる。したがって、道路平面の法線方向を視線方向とする変換は、下記の式（２）により計算でき、これにより、各カメラによる撮像画像に基づく各俯瞰画像を作成できる。ここで、ｍ’は変換後の画像上の点である。
ｍ’＝Ｈ^−１ｍ …（２）

こうして作成された各カメラの各俯瞰画像を合成し、１枚の俯瞰画像を作成する。例えば、位置情報に基づき複数の俯瞰画像を重ね合わせることで合成してもよいし、各俯瞰画像中の色やテクスチャ、エッジなどの情報を用いて位置合わせを行い合成してもよい。

図５のステップＳ１２の、検出対象の検出処理について説明する。検出部３２０は、ステップＳ１０で取得部３１０が取得した、他車両２１に搭載された撮像装置３１や、道路１０の近傍に設置された撮像装置３２により撮像された各撮像画像から、検出対象である人物らしさを計測し、計測結果に対して閾値判定を行って、計測結果が人物および非人物の何れであるかを判定する。

より具体的には、検出部３２０は、図７に例示されるように、対象とする撮像画像である対象画像７０に対して所定の大きさの検出窓領域７１を設定する。そして、検出部３２０は、この検出窓領域７１を対象画像７０内で例えば水平方向に所定単位毎に移動させ、さらに、垂直方向に所定単位毎に移動させながら、検出窓領域７１内の画像に対して特徴量を算出し、算出した特徴量に基づき、対象画像７０に検出対象に対応する画像７２が含まれているか否かを判定する。

図８は、第１の実施形態に適用可能な、検出部３２０による検出対象の検出処理の例を示すフローチャートである。図８において、検出部３２０は、ステップＳ２０で、検出窓領域７１内の画像から特徴量を算出する。例えば、検出部３２０は、特徴量として、検出窓領域７１内の輝度の勾配と強度とをヒストグラム化したＨＯＧ(Histgrams of Oriented Gradients)特徴量を算出することが考えられる。

次のステップＳ２１で、検出部３２０は、ステップＳ２０で算出された特徴量に基づき、識別器を用いて人物らしさを示す評価値を算出する。識別器としては、例えば対象画像についてＨＯＧ特徴量により適切に学習されたＳＶＭ(Support Vector Machine)を適用することができる。評価値としては、例えば、ステップＳ２０で算出された特徴量の、マージン最大化超平面に対する距離を用いることができる。

また、非特許文献１に記載されるように、ステップＳ２０で算出する特徴量を、ＨＯＧ特徴量を識別性能の面で改良したＣｏＨＯＧ(Co-occurrence HOG)特徴量としてもよい。すなわち、ステップＳ２０において、検出窓領域７１内の画像から輝度の勾配の方向を計算し、算出された勾配の方向からＣｏＨＯＧ特徴量を算出する。そして、対象画像についてＣｏＨＯＧ特徴量により適切に学習されたＳＶＭを用いて、算出されたＣｏＨＯＧ特徴量のマージン最大化超平面に対する距離を計算し、評価値とする。

次のステップＳ２２で、検出部３２０は、ステップＳ２１で算出された評価値を、閾値と比較する。次のステップＳ２３で、検出部３２０は、ステップＳ２２の比較結果に基づき、検出窓領域７１内の画像が検出対象を含むか否か、すなわち、検出窓領域７１内の画像が人物か、人物ではないか（非人物）を判定する。例えば、検出部３２０は、評価値が閾値を超える値である場合に、検出窓領域７１内の画像が人物であると判定するものとする。検出部３２０は、判定の結果、検出窓領域７１内の画像が非人物であると判定した場合、処理をステップＳ２５に移行させる。

検出部３２０は、ステップＳ２３の判定の結果、検出窓領域７１内の画像が検出対象すなわち人物であると判定した場合、処理をステップＳ２４に移行させ、当該検出対象の対象画像７０での位置をＲＡＭ３００２などに記憶する。これに限らず、検出部３２０は、人物の画像を含むと判定された検出窓領域７１の実現する対象画像７０内での位置を記憶しておくようにしてもよい。検出部３２０は、検出対象の位置を記憶すると、処理をステップＳ２５に移行させる。

検出部３２０は、ステップＳ２５で、対象とする撮像画像７０内の全領域について処理が終了したか否かを判定する。処理が終了したと判定した場合、当該撮像画像７０に対する図８のフローチャートによる一連の処理が終了される。一方、検出部３２０は、ステップＳ２５で、処理が終了していないと判定した場合、処理をステップＳ２６に移行させ、検出窓領域７１を対象画像７０上で移動させる。そして、処理をステップＳ２０に戻し、次の撮像画像に対する処理を開始する。

図５のステップＳ１４の、背景物体の探索処理について説明する。対応付け部３２１は、検出部３２０によって検出対象が検出された撮像画像である対象検出撮像画像と、自車両２０に搭載されたカメラ３０３０、３０３０、…のうち対象検出撮像画像と撮像範囲の少なくとも一部を共有するカメラ３０３０が撮像した範囲共有撮像画像において、対象検出撮像画像上で検出対象の周囲一定領域内にある、検出対象とは異なる物体である背景物体の画像と、範囲共有撮像画像中の物体の画像との対応付けを行う。

図９を用いて、より具体的な例を挙げて説明する。なお、図９において、上述した図１と共通する部分には同一の符号を付して、詳細な説明を省略する。一例として、図９（ａ）に示されるように、対向車である他車両２１と自車両２０との間に、他車両２２が駐車しており、自車両２０から見て、駐車中の他車両２２の後ろに歩行者２３が存在する状況を考える。さらに、図９（ａ）の例では、自車両２０と同車線を走行する他車両２４が存在し、道路１０の自車両２０から見て左側の近傍に、標識１２が設置されている。

この状況において、図９（ｂ）に示されるように、他車両２１に搭載された撮像装置３１が撮像した撮像画像４１’に、歩行者２３の画像が含まれ、さらに、歩行者２３の背後に、駐車中の他車両２２の画像が含まれるものとする。また、図９（ｃ）に示されるように、自車両２０に搭載された各カメラ３０３０、３０３０、…のうち、撮像装置３１と撮像範囲を共有するカメラ３０３０により撮像した撮像画像４０’には、駐車中の他車両２２の画像が含まれるが、自車両２０から見て他車両２２の背後に存在する歩行者２３の画像は含まれない。

この場合において、第１の実施形態に係る対応付け部３２１は、撮像画像４１’に含まれる、検出部３２０が撮像画像４１’から検出した検出対象（歩行者２３の画像）の周辺に写る駐車中の他車両２２の画像と、自車両２０に搭載される、対向車である他車両２１に搭載される撮像装置３１と撮像範囲を共有するカメラ３０３０により撮像した撮像画像４０’に含まれる、他車両２２の画像とを対応付ける。

図１０は、第１の実施形態に係る、対応付け部３２１による撮像画像間での画像の対応付けの処理を示す一例のフローチャートである。ステップＳ３０で、対応付け部３２１は、検出対象の画像が含まれる撮像画像４１’（対象検出撮像画像４１’と呼ぶ）の、検出対象の周囲の一定領域の画像と、自車両２０に搭載された、当該撮像画像４１’と撮像範囲を共有するカメラ３０３０で撮像された撮像画像４０’（範囲共有撮像画像４０’とする）の全体とを取得する。

図１１を用いて、第１の実施形態に係る、検出対象の周囲の一定領域の設定方法について、概略的に説明する。なお、図１１において、上述した図９と共通する部分には同一の符号を付して、詳細な説明を省略する。対象検出撮像画像４１’において、検出対象である歩行者２３の画像を含む最小の矩形画像である検出対象矩形画像１０１を設定する。この検出対象矩形画像１０１の周囲の一定の大きさの領域１００を、対象検出撮像画像４１’における背景物体の探索範囲として取得する。なお、図１１の例では、領域１００は、下端側の一部が対象検出撮像画像４１’の下端からはみ出ている。

例えば、検出対象矩形画像１０１の大きさを幅ｗ₀、高さｈ₀とし、領域１００の大きさを幅ｗ_d＝ｐ×ｗ₀、高さｈ_d＝ｑ×ｈ₀とする。なお、値ｐおよびｑは、それぞれ１より大きな値である。図１１の例では、値ｐ≒５、値ｑ≒３としている。一例として、値ｐおよびｑを、それぞれ２乃至１０程度の範囲の値とし、幅ｗ_dおよび高さｈ_dのうち一方を基準として、領域１００の形状が正方形、または、幅および高さが所定の比率の矩形となるように設定することが考えられる。

ステップＳ３１で、対応付け部３２１は、ステップＳ３０で取得した範囲共有撮像画像４０’と領域１００とを、それぞれ所定に分割する。より詳細には、対応付け部３２１は、分割部３２２を含み、分割部３２２は、範囲共有撮像画像４０’および領域１００を、色情報やエッジ情報に基づき分割する。図１２を用いて、第１の実施形態に係る分割部３２２による分割処理について説明する。なお、図１２において、上述した図９および図１１と共通する部分には同一の符号を付して、詳細な説明を省略する。

図１２（ａ）は、範囲共有撮像画像４０’に対する分割処理の例を示す。分割部３２２は、範囲共有撮像画像４０’における各画素の色情報を取得すると共に、範囲共有撮像画像４０’に対してエッジ検出を行いエッジ情報を取得する。エッジ検出は、既存のエッジ検出の手法を適用することができる。図１２（ａ）の例では、分割部３２２は、範囲共有撮像画像４０’に対して、色情報およびエッジ情報に基づき、道路１０の路面に対応する領域５０ａと、他車両２１、２２および２４にそれぞれ対応する領域５０ｂ、５０ｃおよび５０ｄとを検出している。分割部３２２は、検出した各領域５０ａ〜５０ｄを、範囲共有撮像画像４０’からの分割領域として取得する。

図１２（ｂ）は、対象検出撮像画像４１’における背景の探索範囲である領域１００に対する分割処理の例を示す。分割部３２２は、上述と同様にして、領域１００に対して各画素の色情報を取得すると共に、エッジ検出を行いエッジ情報を取得する。分割部３２２は、取得した領域１００における色情報およびエッジ情報に基づき、道路１０の路面に対応する領域５１ａと、他車両２２に対応する領域５１ｂと検出し、検出したこれら領域５１ａおよび５１ｂを、背景探索範囲の領域１００からの分割領域として取得する。

なお、道路１０の路面に対応する領域５０ａおよび５１ａの検出は、他の背景物体の検出とは異なる方法を用いることができる。例えば、分割部３２２は、色（テクスチャ）情報に基づき路面を検出することができる。また、分割部３２２は、カメラの設置角度などが既知であれば、対象検出撮像画像４１’内での位置、すなわち、対象検出撮像画像４１’の下側の所定範囲を路面であるとして検出できる。対応付け部３２１は、道路１０の路面であるとして検出された領域５０ａおよび５１ａに対して、道路であることを示す属性情報を付加する。

また、例えば図１２（ａ）における領域５０ｃのように、対応する物体の前後関係によっては、本来の物体の形状とは大きく異る形状で分割領域が取得されてしまう可能性がある。例えば、分割部３２２は、エッジ情報に基づき元の形状を推測し、推測された形状を分割領域として取得することが考えられる。

次のステップＳ３２で、対応付け部３２１は、範囲共有撮像画像４０’と、対象検出撮像画像４１’における領域１００との間で、分割された領域毎に特徴量を求め、各特徴量に基づき類似度を算出する。図１２（ａ）および図１２（ｂ）の例では、対応付け部３２１は、図１２（ａ）に示す範囲共有撮像画像４０’において取得した各領域５０ａ〜５０ｄと、図１２（ｂ）に示す対象検出撮像画像４１’内の領域１００において取得した各領域５１ａおよび５１ｂとの間で、それぞれ類似度を算出する。

各領域の特徴量としては、各領域の画素毎の色情報や、エッジ情報を用いることができる。また、各領域のテクスチャを特徴量として用いることもできる。特徴量間の類似度は、特徴量間のＬ１ノルムやバタチャリア(Bhattacharyya)距離を用いて求めることができる。

さらに、対応付け部３２１は、比較する２つの特徴量を１つに纏めて識別器で識別した出力結果に基づき、対応付けを行ってもよい。識別器は、例えばＳＶＭ(Support Vector Machine)を用いることができる。対応付け部３２１は、例えば、１つの領域の第１の特徴量に対して、第１の特徴量と、複数の領域による各第２の特徴量の類似度をそれぞれ算出し、算出した類似度が最大の組み合わせとなる第２の特徴量が第１の特徴量に対応付けられると判定することができる。これに限らず、対応付け部３２１は、類似度が閾値以上となる特徴量の組み合わせが対応付くと判定してもよい。

なお、道路１０に対応して分割された領域５０ａおよび５１ａは、類似度の算出から除外するのが好ましい。この場合、対応付け部３２１は、対象検出撮像画像４１’内の領域１００において取得した領域５１ｂと、範囲共有撮像画像４０’において取得した領域５０ａ〜５０ｄそれぞれとの類似度を算出することになる。

次のステップＳ３３で、対応付け部３２１は、ステップＳ３２で算出された各類似度のうち、最大の類似度を求め、最大の類似度が算出された範囲共有撮像画像４０’内の分割領域と、領域１００内の分割領域とのペアを検出する。図１２（ａ）および図１２（ｂ）の例では、範囲共有撮像画像４０’において分割された領域５０ｄと、対象検出撮像画像４１’内の領域において分割された領域５１ｂとのペアが、最大の類似度が算出された領域のペアであるものとする。

次のステップＳ３４で、対応付け部３２１は、ステップＳ３３で検出された領域ペアに基づき、検出対象に対する背景物体を決定する。図１２（ｂ）の例では、領域５１ｂに対応する物体（この例では他車両２２）が背景物体とされ、領域５１ｂが背景物体領域とされる。

なお、上述では、ステップＳ３３で、各類似度のうち最大の類似度に対応する領域のペアを検出しているが、これはこの例に限定されず、対応付け部３２１は、領域のペアを複数検出してもよい。例えば、対応付け部３２１は、ステップＳ３２で算出された各類似度のうち最大の類似度に対して所定に範囲を設定し、当該最大の類似度と、設定した範囲内に含まれる類似度とを求め、これら複数の類似度にそれぞれ対応する、複数の領域のペアを検出することが考えられる。

次に、図５のステップＳ１５の、第１の実施形態に係る、検出対象と背景物体とを、検出矩形画像として切り出す切り出し処理について、図１３のフローチャートと、図１４〜図１８とを用いて説明する。なお、図１４〜図１８において、上述した図９および図１１と共通する部分には同一の符号を付して、詳細な説明を省略する。切り出し部３２３は、検出部３２０で検出された検出対象矩形画像１０１の全体と、対応付け部３２１により取得された背景物体領域の画像とを含む最小矩形の一定の割合の領域を含む矩形を検出矩形画像として切り出す。

図１３のフローチャートにおいて、ステップＳ６０で、切り出し部３２３は、検出対象が検出された対象検出撮像画像４１’を取得する。また、切り出し部３２３は、図５のステップＳ１４で対応付け部３２１により取得された背景物体領域の画像と、検出対象矩形画像１０１とを取得する。切り出し部３２３は、ステップＳ１４にて複数の背景物体領域の画像が取得された場合には、この複数の背景物体領域の画像を全て取得する。

次のステップＳ６１で、切り出し部３２３は、対象検出撮像画像４１’において、検出対象矩形画像１０１の周辺の所定範囲内に、背景物体領域が存在するか否かを判定する。切り出し部３２３は、図５のステップＳ１４で背景物体を探索する際に設定した探索範囲の領域１００を、背景物体領域の存在の有無を判定する所定範囲とすることができる。これに限らず、領域１００よりも狭い範囲を当該所定範囲としてもよい。切り出し部３２３は、当該所定範囲内に背景物体領域が存在しないと判定した場合、処理をステップＳ６２に移行させる。

ステップＳ６２で、切り出し部３２３は、検出対象矩形画像１０１を中心に、一定範囲の領域を切り出す。図１４は、検出対象矩形画像１０１の周辺の所定範囲（この例では領域１００）に背景物体領域が存在しない例を示す。この場合、切り出し部３２３は、検出対象矩形画像１０１を中心として一定範囲の領域１２０ａを、検出矩形画像として対象検出撮像画像４１’から切り出す。領域１２０ａの切り出しが行われると、図１３のフローチャートによる一連の処理が終了される。

切り出し部３２３は、切り出した領域１２０ａの画像をＲＡＭ３００２などに記憶させてもよいし、領域１２０ａの座標と、切り出しを行った対象検出撮像画像４１’を識別する情報とをＲＡＭ３００２などに記憶させてもよい。領域１２０ａのサイズは、検出対象矩形画像１０１と同じ大きさでもよいし、検出対象矩形画像１０１よりも多少大きなサイズ、例えば検出対象矩形画像１０１に対して幅および高さが１．２倍程度などであってもよい。適切なサイズは、実験的に決定する事ができる。

切り出し部３２３は、ステップＳ６１で、検出対象矩形画像１０１の周辺の所定範囲内に背景物体領域が存在すると判定した場合、処理をステップＳ６３に移行させる。ステップＳ６３で、切り出し部３２３は、検出対象矩形画像１０１の周辺の所定範囲内に存在する背景物体領域が１個であるか否かを判定する。切り出し部３２３は、当該所定領域内に複数の背景物体領域が存在すると判定した場合、処理をステップＳ６４に移行させる。

ステップＳ６４で、切り出し部３２３は、当該所定領域内に存在する複数の背景物体領域のうち、対象検出撮像画像４１’上で検出対象矩形画像１０１との距離が最も近い背景物体領域を含む矩形の一定の割合の領域を含む矩形と、検出対象矩形画像１０１とを含むように切り出す。

図１５は、検出対象矩形画像１０１の周辺の所定範囲（領域１００）に複数の背景物体領域１０２ａおよび１０２ｂが存在する例を示す。この例では、草花１３の画像を含む領域と、標識１２の画像を含む領域とが、それぞれ背景物体領域１０２ａおよび１０２ｂとして取得されている。図１５において、検出対象矩形画像１０１の重心と、背景物体領域１０２ａおよび１０２ｂそれぞれの重心との間の距離を求めると、背景物体領域１０２ａの方が、背景物体領域１０２ｂよりも検出対象矩形画像１０１に近いことが分かる。そのため、切り出し部３２３は、背景物体領域１０２ａを切り出し対象の背景物体領域として特定して、処理をステップＳ６５に移行させる。

なお、検出対象矩形画像１０１と、背景物体領域１０２ａおよび１０２ｂとの距離は、重心を用いて求める例に限定されない。切り出し部３２３は、例えば検出対象矩形画像１０１と、背景物体領域１０２ａおよび１０２ｂそれぞれの中心位置や、頂点、エッジなどに基づき距離を求めてもよい。

上述したステップＳ６３で、切り出し部３２３は、検出対象矩形画像１０１の周辺の所定範囲内に存在する背景物体領域が１個であると判定した場合、当該背景物体領域を切り出し対象の背景物体領域として特定して、処理をステップＳ６５に移行させる。

ステップＳ６５で、切り出し部３２３は、ステップＳ６３またはステップＳ６４で切り出し対象として特定された背景物体領域と検出対象矩形画像１０１とを比較し、背景物体領域が検出対象矩形画像１０１よりも大きいか否かを判定する。

切り出し部３２３は、背景物体領域と検出対象矩形画像１０１との比較の結果、背景物体領域を含む最小矩形の高さおよび幅が、それぞれ検出対象矩形画像１０１の高さおよび幅に対して、所定の割合よりも小さい場合に、背景物体領域が検出対象矩形画像１０１よりも小さいと判定する。切り出し部３２３は、背景物体領域が検出対象矩形画像１０１よりも小さいと判定した場合、処理をステップＳ６６に移行させる。

ステップＳ６６で、切り出し部３２３は、背景物体領域と検出対象矩形画像１０１とを含む矩形を切り出す。図１６は、背景物体領域が検出対象矩形画像１０１よりも小さい場合の例を示す。図１６の例では、背景物体領域１０２ａの幅および高さが、検出対象矩形画像１０１の幅および高さよりも小さい。そのため、切り出し部３２３は、背景物体領域１０２ａと検出対象矩形画像１０１とを含む矩形の領域１２０ｃを、検出矩形画像として対象検出撮像画像４１’から切り出す。領域１２０ｃの切り出しが行われると、図１３のフローチャートによる一連の処理が終了される。

ステップＳ６５で、切り出し部３２３は、背景物体領域が検出対象矩形画像１０１よりも大きいと判定した場合、処理をステップＳ６７に移行させる。例えば、切り出し部３２３は、背景物体領域１０２ａおよび検出対象矩形画像１０１の幅および高さのうち少なくとも一方が、背景物体領域１０２ａの方が大きい場合に、背景物体領域が検出対象矩形画像１０１よりも大きいと判定する。

ステップＳ６７で、切り出し部３２３は、対象検出撮像画像４１’において道路１０の路面を推定し、背景物体領域に示される背景物体が路面上の物体か否かを判定する。例えば、切り出し部３２３は、図１０のフローチャートのステップＳ３１で、対象検出撮像画像４１’において分割された路面の領域５１ａに基づき、背景物体が路面上の物体であるか否かを判定することができる。これに限らず、このステップＳ６７の時点で上述と同様にして路面の領域を検出してもよい。切り出し部３２３は、例えば背景物体領域の底辺が路面の領域内に含まれる場合に、背景物体が路面上の物体であると判定できる。

切り出し部３２３は、ステップＳ６７で、背景物体領域に示される背景物体が路面上の物体ではないと判定した場合、処理をステップＳ６８に移行させる。ステップＳ６８で、切り出し部３２３は、背景物体領域を含む最小矩形の、対象検出撮像画像４１’上における垂直方向において、検出対象矩形画像１０１の画像上の位置と近い側の矩形の１辺から一定の割合の領域と、検出対象矩形画像１０１の全体とを含む矩形を切り出す。

図１７は、背景物体領域に示される背景物体が路面上の物体ではない場合の例を示す。図１７において、背景物体領域１０２ｃを含む最小矩形は、この例では背景物体領域１０２ｃと同一となっており、幅が検出対象矩形画像１０１の幅よりも大きい。そのため、背景物体領域１０２ｃが検出対象矩形画像１０１よりも大きいと判定できる。また、背景物体領域１０２ｃの底辺は、画像上で路面の領域に含まれないので、背景物体が路面上の物体ではないと判定できる。

さらに、図１７において、検出対象矩形画像１０１の画像上の位置と垂直方向に向けて近い背景物体領域１０２ｃの１辺は、当該背景物体領域１０２ｃの底辺となる。したがって、切り出し部３２３は、検出対象矩形画像１０１の全体と、背景物体領域１０２ｃの一定の割合の領域とを含む矩形の領域１２０ｄを、検出矩形画像として対象検出撮像画像４１’から切り出す。

図１７の例では、領域１２０ｄは、背景物体領域１０２ｃの幅全体を含み、高さは、８割程度を含んでいる。これはこの例に限定されず、領域１２０ｄは、背景物体領域１０２ｃの全体を含んでもよいし、背景物体領域１０２ｃの幅および高さの所定割合までを含んでいてもよい。領域１２０ｄの切り出しが行われると、図１３のフローチャートによる一連の処理が終了される。

切り出し部３２３は、ステップＳ６７で、背景物体領域に示される背景物体が路面上の物体であると判定した場合、処理をステップＳ６９に移行させる。ステップＳ６９で、切り出し部３２３は、背景物体領域を含む最小矩形の、対象検出撮像画像４１’上における水平方向において、検出対象矩形画像１０１の画像上の位置と近い側の矩形の１辺から一定の割合の領域と、検出対象矩形画像１０１の全体とを含む矩形を切り出す。

図１８は、背景物体領域に示される背景物体が路面上の物体である場合の例を示す。図１８において、背景物体領域１０２ｅを含む最小矩形は、この例では背景物体領域１０２ｅと同一となっており、幅および高さが検出対象矩形画像１０１の幅および高さよりそれぞれ大きい。そのため、背景物体領域１０２ｅが検出対象矩形画像１０１よりも大きいと判定できる。また、背景物体領域１０２ｅの底辺は、画像上で路面の領域に含まれるので、背景物体が路面上の物体であると判定できる。

さらに、検出対象矩形画像１０１の画像上の位置と水平方向に向けて近い背景物体領域１０２ｂの１辺は、当該背景物体領域１０２ｅの右辺となる。したがって、切り出し部３２３は、検出対象矩形画像１０１の全体と、背景物体領域１０２ｅの一定の割合の領域とを含む矩形の領域１２０ｆを、検出矩形画像として対象検出撮像画像４１’から切り出す。

図１８の例では、領域１２０ｆは、背景物体領域１０２ｅの高さ全体を含み、幅は、８割程度を含んでいる。これはこの例に限定されず、領域１２０ｆは、背景物体領域１０２ｅの全体を含んでもよいし、背景物体領域１０２ｅの幅および高さの所定割合までを含んでいてもよい。領域１２０ｆの切り出しが行われると、図１３のフローチャートによる一連の処理が終了される。

次に、図５のステップＳ１６の検出情報の生成処理について説明する。ステップＳ１６で、検出情報生成部３２４は、取得部３１０から、検出対象矩形画像１０１が撮像された位置を示す位置情報を取得する。そして、検出情報生成部３２４は、取得した位置情報と、ステップＳ１５で対象検出撮像画像４１’から切り出された検出矩形画像とを含む検出情報を生成する。

次に、図５のステップＳ１７の、表示情報の生成処理について説明する。ステップＳ１７で、表示情報生成部３２５は、ステップＳ１１で周辺画像生成部３１１が生成した自車両周辺画像と、ステップＳ１６で検出情報生成部３２４が生成した検出情報とに基づき、ユーザに提示するための表示画面を示す表示情報を生成する。

図１９（ａ）および図１９（ｂ）は、第１の実施形態に係る、表示情報に基づき表示装置３０２０に表示される表示画像の例を示す。なお、図１９（ａ）および図１９（ｂ）において、上述した図９および図１１、図１４〜図１８と共通する部分には同一の符号を付して、詳細な説明を省略する。

表示情報生成部３２５は、検出情報に含まれる検出矩形画像と自車両周辺画像とを含む表示画面を示す表示情報を生成する。このとき、表示情報生成部３２５は、検出矩形画像を、自車両周辺画像上または自車両周辺画像の周辺の、検出情報に含まれる位置情報に応じた位置に、位置情報と共に配置する。

このとき、表示情報生成部３２５は、検出矩形画像に含まれる検出対象の画像が含まれる対象検出撮像画像を撮像した位置に応じて、検出矩形画像を自車両周辺画像の左右の何れに配置するかを決める。例えば、検出対象が検出された対象検出撮像画像４１’を撮像した位置が、自車両２０が走行する自車線の領域に含まれる場合、当該検出対象の画像を含む検出矩形画像を、図１９（ａ）に例示されるように、自車両周辺画像の自車線側（左側）に配置する。

図１９（ａ）において、表示装置３０２０に表示される表示画面３０６０に対し、右側に自車両周辺画像３０６２が配置され、自車両周辺画像３０６２の左側に、検出矩形画像３０６１が配置されている。ここで、表示画面３０６０に表示される自車両周辺画像３０６２に対し、センターライン１４が示され、自車両２０および他車両２４が左側車線を走行している様子が示されている。また、自車両周辺画像３０６２に対し、自車両２０から見て他車両２４の陰に歩行者２３が存在し、歩行者２３の近傍に標識１２が設置されている様子が示されている。さらに、自車両周辺画像３０６２に対し、自車両２０のカメラ３０３０の位置と、カメラ３０３０による撮像範囲４０とが示されると共に、自車両２０を特定するための情報（例えばラベル「自車両」）が示されている。

ここで、歩行者２３の姿は、自車両２０からは、自車両２０の前方を走行する他車両２４に隠されてしまい、見ることができない。自車両周辺画像３０６２は、上述したように、周辺画像生成部３１１により、互いに異なる方向から撮像した複数の撮像画像を合成した俯瞰画像として生成されている。そのため、自車両２０の運転者は、図１９（ａ）に示す自車両周辺画像３０６２では、画像の歪みにより歩行者２３および標識１２の存在を認識することが困難である場合がある。

一方、表示画面３０６０に表示される検出矩形画像３０６１は、１つの対象検出撮像画像４１’から切り出すことで作成されている。そのため、自車両２０の運転者は、検出矩形画像３０６１から、検出対象の歩行者２３と、検出対象に対して背景物体である標識１２とを容易に認識することができる。さらに、検出矩形画像３０６１には、自車両２０から認識可能な背景物体（この例では標識１２）の画像が含まれるため、自車両２０の運転者は、歩行者２３との位置関係を容易に把握することが可能である。

表示画面３０６０に対して、検出矩形画像３０６１と自車両周辺画像３０６２との関連を示す表示３０６３を表示させると、歩行者２３の位置をより容易に把握でき、好ましい。

図１９（ｂ）は、検出対象が検出された対象検出撮像画像４１’を撮像した位置が、自車両２０に対して対向車線の領域に含まれる場合の表示画面３０６０の例を示す。図１９（ｂ）の例では、当該検出対象の画像を含む検出矩形画像３０６１’を、自車両周辺画像３０６２’の対向車線側（右側）に配置する。

図１９（ａ）および図１９（ｂ）のように、検出矩形画像３０６１および３０６１’を、自車両周辺画像３０６２および３０６２’に対して、検出対象の画像が撮像された車線側に配置することで、自車両２０の運転者は、検出対象（歩行者２３）の位置を、より直感的に認識することが可能となる。

ここで、図１９（ｂ）において、表示画面３０６０に表示される自車両周辺画像３０６２’に対し、センターライン１４が示され、自車両２０および他車両２４が左側車線を走行し、右側車線に他車両２１および２２が存在する様子が示されている。また、自車両周辺画像３０６２’は、他車両２２の近傍に状態を示すラベル「駐車中」が配置され、他車両２２が現在駐車中であることが示されている。

さらに、自車両周辺画像３０６２’に対し、自車両２０から見て他車両２２の陰に歩行者２３が存在する様子が示されている。さらに、自車両周辺画像３０６２’に対し、自車両２０のカメラ３０３０の位置およびカメラ３０３０による撮像範囲４０と、他車両２１の撮像装置３１の位置および撮像装置３１による撮像範囲４１とが示されている。

一方、図１９（ｂ）において、検出矩形画像３０６１’は、自車両２０に対して対向車線を走行する他車両２１から撮像した対象検出撮像画像４１’から切り出されているため、自車両２０から見た場合に対して、左右が逆になっている。そのため、表示情報生成部３２５は、検出情報生成部３２４から取得した検出情報に含まれる検出矩形画像の左右を反転した画像を生成し、この左右反転画像を、検出矩形画像３０６１’として、表示画面３０６０に配置する。

図１９（ｂ）の例においても、検出矩形画像３０６１’には、自車両２０から認識可能な背景物体（この例では他車両２２）の画像が含まれるため、自車両２０の運転者は、歩行者２３との位置関係を容易に把握することが可能である。

（第２の実施形態）
次に、第２の実施形態について説明する。図２０は、第２の実施形態に係る画像処理部の機能を説明するための機能ブロック図である。なお、第２の実施形態では、図１および図２を用いて説明した画像処理システムの構成と、運転支援装置３０のハードウェア構成とをそのまま適用できるので、これらのここでの説明を省略する。また、図２０において、上述した図４と共通する部分には同一の符号を付して、詳細な説明を省略する。

図２０に示されるように、第２の実施形態に係る画像処理部３００ｂにおいて、対応付け部３２１ａは、図４で説明した第１の実施形態に係る対応付け部３２１が含む分割部３２２に代えて、物体検出部３３０を含む。物体検出部３３０は、検出部３２０で検出対象が検出された対象検出撮像画像４１’の当該検出対象の画像の周囲一定領域内から、背景物体の画像を検出する。

図２１は、第２の実施形態に係る画像処理部３００ｂにおける、背景物体検出処理を示す一例のフローチャートである。この図２１のフローチャートによる処理は、上述した図５のフローチャートにおけるステップＳ１４の処理、および、図１０のフローチャートによる処理に対応するものである。

ステップＳ４０で、対応付け部３２１ａは、検出対象の画像が含まれる撮像画像４１’（対象検出撮像画像４１’と呼ぶ）の、検出対象の周囲の一定の範囲の領域１００（図１１参照）の画像と、自車両２０に搭載された、当該撮像画像４１’と撮像範囲を共有するカメラ３０３０で撮像された撮像画像４０’（範囲共有撮像画像４０’と呼ぶ）の全体とを取得する。

ステップＳ４１で、対応付け部３２１ａは、物体検出部３３０において、ステップＳ４０で取得した対象検出撮像画像４１’における領域１００に対して背景物体の検出を行う。また、次のステップＳ４２で、対応付け部３２１ａは、物体検出部３３０において、ステップＳ４０で取得した範囲共有撮像画像４０’から背景物体の検出を行う。

ステップＳ４１およびステップＳ４２の背景物体の検出処理は、例えば、上述した非特許文献１に開示されている技術を適用することができる。すなわち、物体検出部３３０は、複数種類の背景物体のそれぞれに特化した複数種類の検出器を作成し、これら複数種類の検出器を用いて領域１００および範囲共有撮像画像４０’からそれぞれ背景物体の領域および当該領域の画像内での位置を検出する。

例えば、車両、道路標識、動物、看板など、さらに詳細な、軽自動車、トラック、バス、案内標識、指示標識、補助標識、規制標識、警戒標識、犬、猫、店舗看板など複数種類の背景物体にそれぞれ特化した複数種類の検出器を予め作成する。物体検出部３３０は、これら複数種類の検出器を用いて、各種類の背景物体をそれぞれ検出する。

これに限らず、物体検出部３３０は、例えば特許文献２に開示される技術を用い、予め定めた複数種類の背景物体を１つの識別器を用いて学習し、領域１００内および範囲共有撮像画像４０’内の特徴量が、学習した複数種類の背景物体のうちどの背景物体の特徴量に近いかを識別してもよい。

次のステップＳ４３で、対応付け部３２１ａは、ステップＳ４１で領域１００から検出された各背景物体の領域と、ステップＳ４２で範囲共有撮像画像４０’から検出された各背景物体の領域との類似度を、それぞれの画像の特徴量に基づき算出する。そして、対応付け部３２１ａは、領域１００から検出された各背景物体の領域と、範囲共有撮像画像４０’から検出された各背景物体の領域との間で、類似度が最大となる領域のペアを検出する。そして、次のステップＳ４４で、対応付け部３２１ａは、ステップＳ４３で検出された領域ペアに基づき、検出対象に対する背景物体を決定する。

第２の実施形態では、検出物体に対する背景物体を、検出器を用いて検出することで、背景物体の画像の位置や領域をより正確に求めることができ、検出矩形画像の切り出しをより高精度に実行できる。

（第３の実施形態）
次に、第３の実施形態について説明する。図２２は、第３の実施形態に係る画像処理部の機能を説明するための機能ブロック図である。なお、第３の実施形態では、図１および図２を用いて説明した画像処理システムの構成と、運転支援装置３０のハードウェア構成とをそのまま適用できるので、ここでの説明を省略する。また、図２２において、上述した図４および図２０と共通する部分には同一の符号を付して、詳細な説明を省略する。

図２２に示されるように、第３の実施形態に係る画像処理部３００ｃにおいて、対応付け部３２１ｂは、図４で説明した第１の実施形態に係る対応付け部３２１が含む分割部３２２と、図２０で説明した第２の実施形態に係る対応付け部３２１ａが含む物体検出部３３０とを共に含む。

図２３は、第３の実施形態に係る画像処理部３００ｃにおける、背景物体検出処理を示す一例のフローチャートである。この図２３のフローチャートによる処理は、上述した図５のフローチャートにおけるステップＳ１４の処理、および、図１０のフローチャートによる処理に対応するものである。

ステップＳ５０で、対応付け部３２１ｂは、検出対象の画像が含まれる対象検出撮像画像４１’の、検出対象の周囲の一定領域１００（図１１参照）の画像と、自車両２０に搭載された、当該撮像画像４１’と撮像範囲を共有するカメラ３０３０で撮像された範囲共有撮像画像４０’の全体とを取得する。

次のステップＳ５１で、対応付け部３２１ｂは、分割部３２２および物体検出３３０とを用いて、範囲共有撮像画像４０’と、対象検出撮像画像４１’における領域１００とから背景物体の画像を検出する。このとき、対応付け部３２１ｂは、分割部３２２による、画像の色情報およびエッジ情報に基づく分割処理と、物体検出部３３０による、画像の特徴量に基づく物体検出処理とをそれぞれ行い、分割処理により検出された背景物体の領域と、物体検出処理により検出された背景物体の領域とをそれぞれ取得する。

次のステップＳ５２で、対応付け部３２１ｂは、ステップＳ５１で各処理により得られた、領域１００から検出された各背景物体領域と、範囲共有撮像画像４０’から検出された各背景物体領域との類似度を算出する。このとき、対応付け部３２１ｂは、分割部３２２により得られた色情報およびエッジ情報それぞれと、物体検出部３３０により得られた属性情報とのうち少なくとも１つを特徴量として用いて、類似度を算出する。

属性情報は、例えば、物体検出部３３０が用いる複数種類の検出器がそれぞれ検出する各種類の背景物体を示す情報（例えば、上述した車両、道路標識、動物、看板など、さらに詳細な、軽自動車、トラック、バス、案内標識、指示標識、補助標識、規制標識、警戒標識、犬、猫、店舗看板を示す情報）を用いることができる。

次のステップＳ５３で、対応付け部３２１ｂは、領域１００から検出された各背景物体の領域と、範囲共有撮像画像４０’から検出された各背景物体の領域との間で、類似度が最大となる領域のペアを検出する。そして、次のステップＳ５４で、対応付け部３２１ｂは、ステップＳ５３で検出された領域ペアに基づき、検出対象に対する背景物体を決定する。

対応付け部３２１ｂは、特徴量間の類似度を、特徴量間のＬ１ノルムやバタチャリア(Bhattacharyya)距離を用いて求めることができる。対応付け部３２１ｂは、比較する２つの特徴量を１つに纏めてＳＶＭなどの識別器で識別した出力結果に基づき、対応付けを行ってもよい。対応付け部３２１ｂは、領域１００から検出された各背景物体領域と、範囲共有撮像画像４０’から検出された各背景物体領域との組み合わせのそれぞれの類似度を比較し、類似度が最大となる領域のペア、または、類似度が閾値以上となる領域のペアを求め、検出対象に対する背景物体を決定する。

第３の実施形態では、検出物体に対する背景物体を、色情報、エッジ情報および特徴量を用いて検出することで、背景物体の画像の位置や領域をより正確に求めることができ、検出矩形画像の切り出しをより高精度に実行できる。

（第４の実施形態）
次に、第４の実施形態について説明する。上述した第１〜第３の実施形態に係る画像処理システムは、自車両２０に搭載された運転支援装置３０は、他車両２１に搭載された撮像装置３１と、固定物（信号機１１）に設置された撮像装置３２とから、無線通信を介して直接的に撮像画像および位置情報を受け取っていた。これに対して、第４の実施形態は、運転支援装置３０は、撮像装置３１および３２から、サーバ装置を介して撮像画像および位置情報を受け取る。

図２４は、第４の実施形態に係る画像処理システムの一例の構成を概略的に示す。なお、図２４において、上述した図２と共通する部分には同一の符号を付して、詳細な説明を省略する。図２４において、画像処理システムは、図２の構成に対してサーバ装置６０と、データベース（ＤＢ）６１と、アクセスポイント（ＡＰ）６２とが追加されている。運転支援装置３０の通信部３０２、ならびに、撮像装置３１および３２の通信部は、ＡＰ６２の探索を行い、ＡＰ６２が発見されると、それぞれＡＰ６２との間で通信を確立する。

例えば撮像装置３１は、撮像部により撮像した撮像画像と、位置情報取得部で取得した、撮像位置を示す位置情報とを、撮像を行った時間を示す時間情報と共にＡＰ６２に送信する。ＡＰ６２は、撮像装置３１から送信された撮像画像、位置情報および時間情報を受信し、受信したこれら各情報をサーバ装置６０に渡す。サーバ装置６０は、撮像画像に、位置情報および時間情報を関連付けてＤＢ６１に格納する。

撮像装置３２の動作は、撮像装置３１と略同様なので、ここでの説明を省略する。なお、固定物に設置される撮像装置３２は、サーバ装置６０と有線により接続することも可能である。

運転支援装置３０は、通信部３０２によりＡＰ６２と通信を行い、サーバ装置６０に対して、撮像装置３１および３２に撮像された撮像画像と、撮像画像を撮像した位置および時間をそれぞれ示す位置情報および時間情報とを要求する。このとき、運転支援装置３０は、位置情報取得部３０３で取得した現在の位置示す位置情報と、現在の時間を示す時間情報とを、サーバ装置６０への要求に対して付加する。また、運転支援装置３０は、例えばサーバ装置６０に要求を送信するタイミングに応じて、撮像部３０１により撮像を行い撮像画像を取得し、位置情報取得部３０３により現在の位置を示す位置情報を取得する。

ＡＰ６２は、運転支援装置３０から送信された要求と、要求に付加された位置情報および時間情報とを受信し、受信したこれら要求および各情報をサーバ装置６０に渡す。サーバ装置６０は、受け取った要求に従い、位置情報および時間情報に基づきＤＢ６１に格納された撮像画像の検索を実行する。例えば、サーバ装置６０は、ＤＢ６１に格納される撮像画像から、運転支援装置３０からの要求と共に受け取った位置情報および時間情報に対してそれぞれ所定範囲内にある位置情報および時間情報を検索する。

サーバ装置６０は、このようにＤＢ６１から検索された位置情報および時間情報に関連付けられた撮像画像と、当該撮像画像に関連付けられた位置情報とを、検索結果として取得する。サーバ装置６０は、取得した撮像画像および位置情報を、ＡＰ６２から運転支援装置３０に無線通信５３により送信する。運転支援装置３０は、ＡＰ６２から送信された撮像画像および位置情報を受信する。運転支援装置３０は、受信した撮像画像および位置情報と、サーバ装置６０に要求を送信するタイミングに応じて運転支援装置３０の撮像部３０１および位置情報取得部３０３でそれぞれ取得された撮像画像および位置情報とを用いて、第１〜第３の実施形態で説明したような処理を行い、検出矩形画像３０６１と、自車両周辺画像３０６２とを取得する。

なお、各実施形態は、上述したそのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１０ 道路
２０ 自車両
２１，２２，２４ 他車両
２３ 歩行者
３０ 運転支援装置
３１，３２ 撮像装置
４０，４１，４２ 撮像範囲
４０’ 撮像画像（範囲共有撮像画像）
４１’ 撮像画像（対象検出撮像画像）
５１，５１’，５２，５２’，５３ 無線通信
５０ａ，５０ｂ，５０ｃ，５１ａ，５１ｂ，１００，１２０ａ，１２０b．１２０ｃ，１２０ｄ．１２０ｅ 領域
６０ サーバ装置
６１ データベース（ＤＢ）
６２ アクセスポイント（ＡＰ）
１０１ 検出対象矩形画像
１０２ａ，１０２ｂ，１０２ｃ 背景物体領域
３００，３００ａ，３００ｂ，３００ｃ 画像処理部
３０１ 撮像部
３０２ 通信部
３０３ 位置情報取得部
３０５ 表示部
３１０ 取得部
３１１ 周辺画像生成部
３２０ 検出部
３２１，３２１ａ，３２１ｂ 対応付け部
３２２ 分割部
３２３ 切り出し部
３２４ 検出情報生成部
３２５ 表示情報生成部
３３０ 物体検出部
３０２０ 表示装置
３０３０ カメラ
３０６０ 表示画面
３０６１ 検出矩形画像
３０６２ 自車両周辺画像

Claims (20)

1. 車両に備えられる画像処理装置であって、
   前記車両に搭載された撮像装置を含む複数の撮像装置が撮像した画像であって、前記車両が走行中の道路を複数の異なる方向から撮像した第１の画像を取得する取得部と、
   前記第１の画像から検出対象を検出する検出部と、
   前記第１の画像のうち、前記検出対象が検出された第２の画像と、前記車両に搭載された撮像装置のうち該第２の画像と撮像範囲を共有する撮像装置が撮像した第３の画像とにおいて、該第２の画像上で該検出対象とは異なる物体の画像と、該第３の画像中の物体の画像とを対応付ける対応付け部と、
   前記検出対象の全体と、背景の探索範囲内の前記対応付け部が対応付けた前記物体とを含む検出矩形を前記第２の画像から切り出す切り出し部と、
   前記切り出し部で前記検出矩形が切り出された場合に、該検出矩形の画像と、前記取得部が取得した前記第１の画像および前記第１の画像が撮像された位置を示す位置情報に基づいて生成された前記車両周辺の画像とを配置した出力画像を生成する生成部と
   を有する画像処理装置。
2. 前記車両周辺の画像は、前記車両の周辺を俯瞰した俯瞰画像である
   請求項１に記載の画像処理装置。
3. 前記取得部は、前記第１の画像が撮像された位置を示す位置情報を取得し、
   前記俯瞰画像は、前記位置情報に基づき複数の俯瞰画像を用いて合成した俯瞰画像である
   請求項２記載の画像処理装置。
4. 前記生成部は、前記検出矩形の画像に含まれる検出対象を撮像した位置に応じて、前記検出矩形の画像を配置する
   請求項１記載の画像処理装置。
5. 前記取得部は、前記第１の画像が撮像された位置を示す位置情報を取得し、
   前記生成部は、前記第２の画像を撮像した位置を示す位置情報を前記取得部より取得し、該位置情報と、前記検出矩形の画像と、前記車両周辺の画像とを配置した出力画像を生成する
   請求項１に記載の画像処理装置。
6. 前記第１の画像は、前記車両付近に設置された撮像装置により撮像された画像を含む
   請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記生成部は、前記検出矩形の画像と、前記車両周辺の画像との関連を示す表示を生成する
   請求項１乃至６の何れか１項に記載の画像処理装置。
8. 無線通信を行う通信部をさらに有し、
   前記取得部は、
   前記通信部による前記無線通信を介して前記第１の画像を取得する
   請求項１乃至請求項７の何れか１項に記載の画像処理装置。
9. 前記取得部は、
   前記車両に搭載された撮像装置による撮像で得られた前記第１の画像を取得し、
   前記車両の周辺環境に設置された撮像装置による撮像で得られた前記第１の画像を前記通信部による対固定物通信の前記無線通信により取得し、
   前記車両と異なる車両に搭載された撮像装置による撮像で得られた前記第１の画像を前記通信部による車両間通信の前記無線通信により取得する
   請求項８に記載の画像処理装置。
10. 前記通信部は、
    サーバ装置との間で前記無線通信を行い、
    前記取得部は、
    前記車両に搭載された撮像装置による撮像で得られた前記第１の画像を取得し、
    前記通信部による前記無線通信で、前記サーバ装置から前記第１の画像を取得する
    請求項８に記載の画像処理装置。
11. 車両に備えられる画像処理装置で実行される画像処理方法であって、
    前記車両に搭載された撮像装置を含む複数の撮像装置が撮像した画像であって、前記車両が走行中の道路を複数の異なる方向から撮像した第１の画像を取得する取得ステップと、
    前記第１の画像から検出対象を検出する検出ステップと、
    前記第１の画像のうち、前記検出対象が検出された第２の画像と、前記車両に搭載された撮像装置のうち該第２の画像と撮像範囲を共有する撮像装置が撮像した第３の画像とにおいて、該第２の画像上で該検出対象とは異なる物体の画像と、該第３の画像中の物体の画像とを対応付ける対応付けステップと、
    前記検出対象の全体と、背景の探索範囲内の前記対応付けステップが対応付けた前記物体とを含む検出矩形を前記第２の画像から切り出す切り出しステップと、
    前記切り出しステップにより前記検出矩形が切り出された場合に、該検出矩形の画像と、前記取得ステップにより取得した前記第１の画像および前記第１の画像が撮像された位置を示す位置情報に基づいて生成された前記車両周辺の画像とを配置した出力画像を生成する生成ステップと
    を含む画像処理方法。
12. 前記車両周辺の画像は、前記車両の周辺を俯瞰した俯瞰画像である
    請求項１１に記載の画像処理方法。
13. 前記取得ステップは、前記第１の画像が撮像された位置を示す位置情報を取得し、
    前記俯瞰画像は、前記位置情報に基づき複数の俯瞰画像を用いて合成した俯瞰画像である
    請求項１２記載の画像処理方法。
14. 前記生成ステップは、前記検出矩形の画像に含まれる検出対象を撮像した位置に応じて、前記検出矩形の画像を配置する
    請求項１１記載の画像処理方法。
15. 前記取得ステップは、前記第１の画像が撮像された位置を示す位置情報を取得し、
    前記生成ステップは、前記第２の画像を撮像した位置を示す位置情報を前記取得ステップより取得し、該位置情報と、前記検出矩形の画像と、前記車両周辺の画像とを配置した出力画像を生成する
    請求項１１に記載の画像処理方法。
16. 前記第１の画像は、前記車両付近に設置された撮像装置により撮像された画像を含む
    請求項１１乃至１５の何れか１項に記載の画像処理方法。
17. 前記生成ステップは、前記検出矩形の画像と、前記車両周辺の画像との関連を示す表示を生成する
    請求項１１乃至１６の何れか１項に記載の画像処理方法。
18. 車両に備えられる画像処理装置が備えるコンピュータに、
    前記車両に搭載された撮像装置を含む複数の撮像装置が撮像した画像であって、前記車両が走行中の道路を複数の異なる方向から撮像した第１の画像を取得する取得ステップと、
    前記第１の画像から検出対象を検出する検出ステップと、
    前記第１の画像のうち、前記検出対象が検出された第２の画像と、前記車両に搭載された撮像装置のうち該第２の画像と撮像範囲を共有する撮像装置が撮像した第３の画像とにおいて、該第２の画像上で該検出対象とは異なる物体の画像と、該第３の画像中の物体の画像とを対応付ける対応付けステップと、
    前記検出対象の全体と、背景の探索範囲内の前記対応付けステップが対応付けた前記物体とを含む検出矩形を前記第２の画像から切り出す切り出しステップと、
    前記切り出しステップにより前記検出矩形が切り出された場合に、該検出矩形の画像と、前記取得ステップにより取得した前記第１の画像および前記第１の画像が撮像された位置を示す位置情報に基づいて生成された前記車両周辺の画像とを配置した出力画像を生成する生成ステップと
    を実行させるための画像処理プログラム。
19. 請求項８に記載の画像処理装置と、第１の通信装置と、第２の通信装置とを含む画像処理システムであって、
    前記第１の通信装置は、
    車両周辺に設置された撮像装置で撮像された前記第１の画像を送信し、
    前記第２の通信装置は、
    前記車両とは異なる車両に搭載された撮像装置で撮像された前記第１の画像を送信し、
    前記取得部は、
    前記車両に搭載された撮像装置による撮像で得られた前記第１の画像を取得し、
    前記第１の通信装置および前記第２の通信装置のうち少なくとも一方から送信された前記第１の画像を、前記通信部により前記無線通信を介して取得する
    画像処理システム。
20. 請求項８に記載の画像処理装置と、第１の通信装置と、第２の通信装置と、サーバ装置とを含む画像処理システムであって、
    前記第１の通信装置は、
    車両周辺に設置された撮像装置で撮像された前記第１の画像を送信し、
    前記第２の通信装置は、
    前記車両とは異なる車両に搭載された撮像装置で撮像された前記第１の画像を送信し、
    前記サーバ装置は、
    前記第１の通信装置および前記第２の通信装置からそれぞれ送信された前記第１の画像を取得し、
    前記取得部は、
    前記車両に搭載された撮像装置による撮像で得られた前記第１の画像を取得し、
    前記第１の通信装置および前記第２の通信装置のうち少なくとも一方から送信された前記第１の画像を、前記サーバ装置から、前記通信部により前記無線通信を介して取得する
    画像処理システム。

Images