JPWO2018146997A1 - 立体物検出装置 - Google Patents

立体物検出装置 Download PDF

Info

Publication number
JPWO2018146997A1
JPWO2018146997A1 JP2018566805A JP2018566805A JPWO2018146997A1 JP WO2018146997 A1 JPWO2018146997 A1 JP WO2018146997A1 JP 2018566805 A JP2018566805 A JP 2018566805A JP 2018566805 A JP2018566805 A JP 2018566805A JP WO2018146997 A1 JPWO2018146997 A1 JP WO2018146997A1
Authority
JP
Japan
Prior art keywords
image
camera
bird
imaging
overlapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018566805A
Other languages
English (en)
Inventor
一気 尾形
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2018146997A1 publication Critical patent/JPWO2018146997A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

立体物検出装置は、検出器と変換器と認識器とを備える。検出器は、第１のカメラで第１の監視領域を撮像して得られた第１の画像からオブジェクトを第１のオブジェクトとして検出し、第１のカメラと撮像領域が重複する重複撮像領域を有する第２のカメラで第２の監視領域を撮像して得られた第２の画像からオブジェクトを第２のオブジェクトとして検出する。変換器は、第１の画像と第２の画像とに視点変換を施して第１の鳥瞰画像と第２の鳥瞰画像とを作成する。認識器は、第１の鳥瞰画像と第２の鳥瞰画像とにおける重複撮像領域に出現する第１のオブジェクトと第２のオブジェクトとに基づいて、重複撮像領域から立体物を認識する。

Description

本発明は、立体物検出装置、立体物検出方法、およびプログラムに関する。
車両の周囲、特に運転者の死角となる場所は見落としが発生しやすく、立体の障害物と接触事故を起こすことがある。その対策として、車両の周囲に取り付けたカメラの映像で周囲環境を把握させる技術がある。
例えば、特許文献１には、車両周辺に取り付けた１台のカメラによって異なる時刻に撮像して得られた２つの画像に基づいて立体物を検出して表示する技術（第１の関連技術と記す）が記載されている。具体的には、第１の関連技術では、撮像された現フレーム画像の鳥瞰画像と１フレーム時間当たりの車両の移動量だけシフトした前フレーム画像の鳥瞰画像との間の相関処理を行って、立体物を検出して表示している。
また、特許文献２には、車両周辺に取り付けた２台のカメラによって車両が所定距離移動する毎に撮影を行い、同じタイミングで取得した２つフレームの撮影画像の鳥瞰画像から立体物を検出して表示する技術（第２の関連技術）が記載されている。具体的には、同じタイミングで取得した２つフレームの撮影画像から生成した２つの鳥瞰画像に基づき、画像領域抽出処理と、立体物候補領域抽出処理と、立体物領域抽出処理とを、この順に行う。画像領域抽出処理では、それぞれの鳥瞰画像について輪郭を強調する微分フィルタを適用することでエッジ強調により輪郭を抽出し、２値化処理と所定の閾値を超えるものを抽出する処理によりノイズが除去された明瞭な画像を抽出する。立体物候補領域抽出処理では、画像領域抽出処理後の２つの鳥瞰画像を重ね合わせ、論理積を取る処理が行われる。この処理により、重複する画像領域が立体物候補領域として抽出される。立体物領域抽出処理では、立体物の垂直な輪郭線が鳥瞰画像では光学中心から放射状に変換される特性に基づいて、立体物候補画像領域が光学中心から放射状に形成される領域に存在するか否かの判別を行う。
特開２０１１−１５５６５１号公報 特開２０１０−２３９１９０号公報
１台のカメラによって異なる時間に撮像された２つの画像に基づいて立体物を検出する第１の関連技術では、車両が移動していない停止時に周囲環境を把握するのが困難である。
一方、２台のカメラによって同じタイミングで撮像された画像から立体物を検出する第２の関連技術では、車両が停止している状態であっても周囲に存在する立体物を検出することができる。しかしながら、立体物候補領域抽出処理では、人、車両、ポール等のオブジェクト以外の領域が立体物候補領域として検出される。そのため、検出される立体候補領域の数が増大し、その分だけ後段の立体物領域抽出処理の処理量が増大し、結果として立体物を検出するのに必要な計算量が増大する。
本発明の目的は、上述した課題、即ち、カメラの画像から立体物を検出するのに必要な計算量が増大する、という課題を解決する立体物検出装置を提供することにある。
本発明の一形態に係る立体物検出装置は、
第１のカメラで第１の監視領域を撮像して得られた第１の画像からオブジェクトを第１のオブジェクトとして検出し、前記第１のカメラと撮像領域が重複する重複撮像領域を有する第２のカメラで第２の監視領域を撮像して得られた第２の画像から前記オブジェクトを第２のオブジェクトとして検出する検出器と、
前記第１の画像と前記第２の画像とに視点変換を施して第１の鳥瞰画像と第２の鳥瞰画像とを作成する変換器と、
前記第１の鳥瞰画像と前記第２の鳥瞰画像とにおける前記重複撮像領域に出現する前記第１のオブジェクトと前記第２のオブジェクトとに基づいて、前記重複撮像領域から立体物を認識する認識器と、
を含む。
本発明の他の形態に係る立体物検出方法は、
第１のカメラで第１の監視領域を撮像して得られた第１の画像からオブジェクトを第１のオブジェクトとして検出し、前記第１のカメラと撮像領域が重複する重複撮像領域を有する第２のカメラで第２の監視領域を撮像して得られた第２の画像から前記オブジェクトを第２のオブジェクトとして検出し、
前記第１の画像と前記第２の画像とに視点変換を施して第１の鳥瞰画像と第２の鳥瞰画像とを作成し、
前記第１の鳥瞰画像と前記第２の鳥瞰画像とにおける前記重複撮像領域に出現する前記第１のオブジェクトと前記第２のオブジェクトとに基づいて、前記重複撮像領域から立体物を認識する。
本発明の他の形態に係るプログラムは、
コンピュータを、
第１のカメラで第１の監視領域を撮像して得られた第１の画像からオブジェクトを第１のオブジェクトとして検出し、前記第１のカメラと撮像領域が重複する重複撮像領域を有する第２のカメラで第２の監視領域を撮像して得られた第２の画像から前記オブジェクトを第２のオブジェクトとして検出する検出器と、
前記第１の画像と前記第２の画像とに視点変換を施して第１の鳥瞰画像と第２の鳥瞰画像とを作成する変換器と、
前記第１の鳥瞰画像と前記第２の鳥瞰画像とにおける前記重複撮像領域に出現する前記第１のオブジェクトと前記第２のオブジェクトとに基づいて、前記重複撮像領域から立体物を認識する認識器と、
して機能させる。
本発明は上述した構成を有することにより、カメラの画像から立体物を検出するのに必要な計算量を削減することができる。
本発明の第１の実施形態に係る立体物検出装置の構成例を示す図である。 本発明の第１の実施形態に係る立体物検出装置におけるカメラの設置例を示す図である。 本発明の第１の実施形態に係る立体物検出装置の動作の一例を示すフローチャートである。 本発明の第１の実施形態に係る立体物検出装置の２台のカメラで撮像して得られた画像から認識されたオブジェクトの例を示す図である。 本発明の第１の実施形態に係る立体物検出装置の２台のカメラで撮像して得られた画像を視点変換して作成された鳥瞰画像の例を示す図である。 本発明の第１の実施形態に係る立体物検出装置の２台カメラで撮像して得られた画像を視点変換して作成された鳥瞰画像を位置合わせした状態を示す図である。 本発明の第２の実施形態に係る立体物検出装置の動作の一例を示すフローチャートである。 本発明の第２の実施形態に係る立体物検出装置の２台のカメラで撮像して得られた画像から認識されたオブジェクトの例を示す図である。 本発明の第３の実施形態に係る立体物検出装置の動作の一例を示すフローチャートである。 本発明の第４の実施形態に係る立体物検出装置の構成例を示す図である。 本発明の他の実施形態に係る立体物検出装置におけるカメラの設置例を示す図である。 本発明の他の実施形態に係る立体物検出装置におけるカメラの設置例を示す図である。 本発明の第５の実施形態に係る立体物検出装置の動作の一例を示すフローチャートである。 鳥瞰画像上のオブジェクトの座標から実世界上の座標を求める方法の説明図である。 本発明の立体物検出装置のハードウェアの一例を示す図である。
次に本発明の実施の形態について図面を参照して詳細に説明する。
[第１の実施形態]
図１を参照すると、本発明の第１の実施形態に係る立体物検出装置１００は、互いに異なる視点で設置され、互いに視野に重複を持つ複数のカメラ１０１、１０２と、カメラ１０１、１０２で撮像されて得られた画像信号を、信号線を通じて受信して処理する制御ユニット１０３と、制御ユニット１０３に信号線を通じて接続されたディスプレイ１０４とで構成される。
カメラ１０１、１０２は、画角が互いに異なっており、例えば図２に示すように、車両の周囲に取り付けられる。カメラ１０１、１０２は、一定の周期かつ互いに同じタイミングで撮像を行う。カメラ１０１、１０２において１回の撮像で得られる画像信号は、フレーム画像とも呼ばれる。カメラ１０１、１０２で撮像されて得られた画像信号は、制御ユニット１０３に入力される。制御ユニット１０３は、入力された画像信号を処理することにより、物体認識を行い、また物体認識したオブジェクトが立体物であるか否かを認識する。制御ユニット１０３は、例えばマイクロプロセッサ等のプロセッサとメモリとを有するコンピュータで構成することができる。ディスプレイ１０４は、制御ユニット１０３の処理結果を提示する液晶ディスプレイ装置等のデバイスである。
図３は本実施形態に係る立体物検出装置１００の動作の一例を示すフローチャートである。図３に示す動作は、制御ユニット１０３を構成するプロセッサに、メモリに記憶されたプログラムを実行させることにより実現することができる。以下、図３を参照して、本実施形態の動作を説明する。
先ず、カメラ１０１、１０２で、ほぼ同時に車両周辺の映像を撮影する（ステップＳ１）。カメラ１０１、１０２で撮影されて得られた画像信号は、信号線を通じて制御ユニット１０３へ伝達される。
次に、制御ユニット１０３は、カメラ１０１で撮影されて得られた画像に対してパターンマッチング等の任意の手法によって物体認識を行い、オブジェクトを認識する（ステップＳ２）。また制御ユニット１０３は、カメラ１０２で撮影されて得られた画像に対してパターンマッチング等による任意の物体認識を行い、オブジェクトを認識する（ステップＳ２）。制御ユニット１０３が実施する上記物体認識は、例えば人やポール等の予め定められた特定のオブジェクトを認識する特定物体認識であってよい。なお、制御ユニット１０３は、物体認識を実行する前にカメラ１０１、１０２の取り付け条件やレンズ収差を補正する任意の補正処理を実行してもよい。
例えば、図１に示されるように、カメラ１０１、１０２の重複する撮像領域にオブジェクト１０５が存在しているとする。その場合、カメラ１０１で撮像されて得られた画像１１１には、例えば図４の符号１１３に示すようなオブジェクト１０５の像が写り、カメラ１０２で撮像されて得られた画像１１２には、例えば図４の符号１１４に示すようなオブジェクト１０５の像が写る。制御ユニット１０３は、パターンマッチング等による任意の物体認識手法により画像１１１から像１１３をオブジェクトとして認識し、また画像１１２から像１１４をオブジェクトとして認識する。そして、制御ユニット１０３は、オブジェクトとして認識した像の最外接矩形１１５、１１６を画像１１１、１１２に生成する。
次に、制御ユニット１０３は、画像１１１、１１２に視点変換を施し、例えば図５の画像１２１、１２２に示すような鳥瞰画像に変換する（ステップＳ３）。視点変換は、カメラ位置から見える風景をあたかも上空の或る点から見たように変換（透視投影変換）する操作である。制御ユニット１０３は、視点変換の計算量を削減するためにルックアップテーブルを使用してよい。視点変換のためのルックアップテーブルは、各カメラの撮像する画素に対して視点変換後の画素値を予め計算して配列（テーブル）に格納しておき、その都度の計算を行うことなく、配列を参照することで効率的に座標変換を行うためのテーブルである。鳥瞰画像１２１、１２２では、図５の像１２３、１２４に示すように、立体物はカメラの位置から放射状に伸長するように歪んで見える特徴がある。なお、図５において、１２７はカメラ１０１の位置、１２８はカメラ１０２の位置、１２５は像１２３の最外接矩形、１２６は像１２４の最外接矩形である。
次に、制御ユニット１０３は、カメラ１０１、１０２の設置位置と高さ、角度等から求めたパラメータを用いて、２つの鳥瞰画像１２１、１２２の位置合わせを行う（ステップＳ４）。制御ユニット１０３は、位置合わせの計算量を削減するために、位置合わせのためのルックアップテーブルを使用してもよい。図６は、位置合わせを行った鳥瞰画像１２１、１２２の例を示す。
次に、制御ユニット１０３は、位置合わせした鳥瞰画像１２１、１２２における重複領域内で、複数のオブジェクト（即ち、像１２３、１２４或いは最外接矩形１２５、１２６）が重複しているか否か、それぞれのオブジェクトがカメラの位置から放射状に伸びる方向に伸長しているか否かを判定する（ステップＳ５）。そして、制御ユニット１０３は、複数のオブジェクトが重複しており、且つ、それぞれのオブジェクトがカメラの位置から放射状に伸びる方向に伸長していたならば、そのオブジェクトを１つの立体物であると認識する（ステップＳ５）。図６に示す例では、像１２３或いは最外接矩形１２５で特定されるオブジェクトと像１２４或いは最外接矩形１２６で特定されるオブジェクトが互いに重複している。また、像１２３或いは最外接矩形１２５で特定されるオブジェクトは、カメラ１０１の位置１２７から放射状に伸びる方向に伸長している。また、像１２４或いは最外接矩形１２６で特定されるオブジェクトは、カメラ１０２の位置１２８から放射状に伸びる方向に伸長している。よって、制御ユニット１０３は、像１２３或いは最外接矩形１２５で特定されるオブジェクトと像１２４或いは最外接矩形１２６で特定されるオブジェクトは、１つの同じ立体物であると認識する。
次に、制御ユニット１０３は、鳥瞰画像１２１のカメラ位置１２７を通り、像１２３或いは最外接矩形１２５で特定されるオブジェクトの伸長方向と一致する直線１３１と、鳥瞰画像１２２のカメラ位置１２８を通り、像１２４或いは最外接矩形１２６で特定されるオブジェクトの伸長方向と一致する直線１３２との交点１３３を、立体物の接地点、つまり立体物の位置として推定する（ステップＳ６）。直線１３１、直線１３２は、仮想線である。また制御ユニット１０３は、上記立体物の接地点の画像上の座標と、カメラ１０１、１０２の設置高と角度、画角から立体物であるオブジェクトの位置やオブジェクトまでの距離を計算する（同ステップＳ６）。上記ステップＳ６は、第１の接地点検出部とも呼ばれる。
次に、制御ユニット１０３は、物体認識の結果、立体物認識の結果、および、推定した位置をディスプレイ１０４に表示する（ステップＳ７）。また、制御ユニット１０３は、鳥瞰画像を使って上空から見下ろした図をディスプレイ１０４に表示する（同ステップＳ７）。これによって、運転者に自車両と立体物との位置関係を客観的に把握させることができる。
このように本実施形態は、複数のカメラで撮影して得られた画像から物体認識によりオブジェクトを抽出した画像を生成し、それを鳥瞰画像に変換してから複数枚を重ねあわせることで、上記オブジェクトが立体物であるか否かを認識し、立体物の接地点を推定する。このように物体認識によって認識したオブジェクトに限定して立体物か否かを認識することにより、立体物を検出するのに必要な計算コストを抑えることができる。
また、画像上のオブジェクトが立体物であることを認識できるため、例えばポールを認識対象とする場合に、路面に描かれた線を誤って認識してしまったとしても立体物認識の情報を用いて誤認識であると判断できる。逆に、平面に描かれた白線や路面標示を認識対象とする場合には、立体物であると認識したオブジェクトを誤検知として棄却することができる。
[第２の実施形態]
本実施形態は、基本的な構成は第１の実施形態と同じであるが、その動作が第１の実施形態と相違する。
図７は本実施形態に係る立体物検出装置２００の動作の一例を示すフローチャートである。図７に示す動作は、制御ユニット１０３を構成するプロセッサに、メモリに記憶されたプログラムを実行させることにより実現することができる。以下、図７を参照して、本実施形態の動作を説明する。
制御ユニット１０３は、第１の実施形態における図３のステップＳ１〜Ｓ６と同様な処理を実施する（ステップＳ１１〜Ｓ１６）。また、制御ユニット１０３は、ステップＳ１３〜Ｓ１６の処理と並行して、以下のような処理を実行する。
先ず制御ユニット１０３は、カメラ１０１で撮像されて得られた画像１１１の領域のうち、カメラ１０２の撮像領域と重複しない非重複撮像領域（第１の非重複撮像領域と記す）に、ステップＳ１２において検出されたオブジェクトが含まれている場合、含まれているオブジェクトの最外接矩形の下端を当該オブジェクトの接地点として検出する（ステップＳ１８）。例えば、図８に示す画像１１１には、第１の非重複撮像領域にオブジェクトの像２０１とその最外接矩形２０３とが描かれている。制御ユニット１０３は、最外接矩形２０３の下端を当該オブジェクトの接地点として検出する。
同様に制御ユニット１０３は、カメラ１０２で撮像されて得られた画像１１２の領域のうち、カメラ１０１の撮像領域と重複しない非重複撮像領域（第２の非重複撮像領域と記す）に、ステップＳ１２において検出されたオブジェクトが含まれている場合、含まれているオブジェクトの最外接矩形の下端を当該オブジェクトの接地点として検出する（ステップＳ１８）。例えば、図８に示す画像１１２には、第２の非重複撮像領域にオブジェクトの像２０２とその最外接矩形２０４とが描かれている。制御ユニット１０３は、最外接矩形２０４の下端を当該オブジェクトの接地点として検出する。
次に制御ユニット１０３は、上記オブジェクトの接地点の画像上の座標と、カメラ１０１、１０２の設置高と角度、画角から上記オブジェクトの位置やオブジェクトまでの距離を計算する（ステップＳ１９）。上記ステップＳ１８、Ｓ１９は、第２の接地点検出部とも呼ばれる。
そして、制御ユニット１０３は、物体認識の結果、立体物認識の結果、および、推定した位置をディスプレイ１０４に出力する。また、制御ユニット１０３は、鳥瞰画像を使って上空から見下ろした図をディスプレイ１０４に表示する。これによって、運転者に自車両と立体物との位置関係を客観的に把握させることができる。
このように本実施形態は、複数のカメラで撮影した画像の重複領域に存在するオブジェクトの位置や距離は第１の実施形態と同様の方法で検出し、非重複領域についてはカメラ単独の画像から検出する。これによって、複数のカメラで撮影される全ての領域内に存在するオブジェクトの位置や距離を推定することができる。なお、重複領域に存在するオブジェクトの位置や距離を第１の実施形態と同様の方法で検出し、非重複領域におけるようなカメラ単独の画像から検出しない理由は、パターンマッチング等による物体認識では画像上で歩行者やポールなどの認識対象と路面との境界を正確に捉えられない場合があるためである。
[第３の実施形態]
本実施形態は、基本的な構成は第１の実施形態と同じであるが、その動作が第１の実施形態と相違する。
図９は本実施形態に係る立体物検出装置３００の動作の一例を示すフローチャートである。図９に示す動作は、制御ユニット１０３を構成するプロセッサに、メモリに記憶されたプログラムを実行させることにより実現することができる。以下、図９を参照して、本実施形態の動作を説明する。
先ず、第１の実施形態における図３のステップＳ１〜Ｓ７と同様な処理が行われる（ステップＳ２１〜Ｓ２７）。
次に、制御ユニット１０３は、次の撮像のタイミング（ｔ１とする。ｔ１は第２の時刻とも呼ぶ）で同時にカメラ１０１、１０２により車両周辺の撮像を行う（ステップＳ２８）。次に、制御ユニット１０３は、タイミングｔ１で撮像して得られたカメラ１０１の画像の領域のうちカメラ１０２と重複する領域の画像（Ｇ１１とする）と直前の撮像タイミング（ｔ０とする。ｔ０は第１の時刻とも呼ぶ）で撮像して得られたカメラ１０１の画像のうちカメラ１０２と重複する領域の画像（Ｇ１０とする）との差分画像を生成する（ステップＳ２９）。次に、制御ユニット１０３は、差分画像に基づいて、タイミングｔ０からタイミングｔ１までの間に、カメラ１０１とカメラ１０２との撮像領域の重複領域内に画像の変化があったか否かを検出する（ステップＳ３０）。次に、制御ユニット１０３は、画像の変化があれば（ステップＳ３１でＹＥＳ）、ステップＳ２２の物体認識の処理に戻って上述した処理と同様の処理を繰り返す。他方、画像の変化がなければ（ステップＳ３１でＮＯ）、ステップＳ２２〜Ｓ２７をスキップして、ステップＳ２８に戻って次の撮像タイミングの到来を待つ。上記ステップＳ２９は、差分画像検出部とも呼ばれる。上記ステップＳ３０、Ｓ３１は、制御部とも呼ばれる。
このように本実施形態によれば、複数のカメラの重複する撮像領域に変化がなければ、物体認識、視点変換、立体物認識等の処理を無駄に実施しない効果がある。
また車両が所定距離移動する毎に撮影を行う特許文献２に記載の方法では、停止した車両に接近してくる歩行者等の位置をリアルタイムに検出することが困難である。これに対して本実施形態では、車両が停止している場合であっても歩行者等が接近してくると画面に変化が発生し、速やかに物体認識等の処理が行われる。そのため、画面変化の無い期間に無駄な処理が行われるのを防止することによって省電力化を図りつつ、移動するオブジェクトが存在する場合にはその位置をリアルタイムに検出することができる。
[第４の実施形態]
図１０を参照すると、本発明の第４の実施形態に係る立体物検出装置４００は、オブジェクト検出部４０１と視点変換部４０２と立体物認識部４０３とを含んでいる。
オブジェクト検出部４０１は、第１のカメラ４１０で第１の監視領域を撮像して得られた第１の画像からオブジェクトを第１のオブジェクトとして検出するように構成されている。またオブジェクト検出部４０１は、第１のカメラ４１０と撮像領域が重複する重複撮像領域を有する第２のカメラ４１１で第２の監視領域を撮像して得られた第２の画像からオブジェクトを第２のオブジェクトとして検出するように構成されている。オブジェクト検出器４０１は、検出器（ｄｅｔｅｃｔｏｒ）とも呼ぶ。
視点変換部４０２は、上記第１の画像と上記第２の画像とに視点変換を施して第１の鳥瞰画像と第２の鳥瞰画像とを作成するように構成されている。視点変換部４０２は、変換器（ｃｏｎｖｅｒｔｅｒ）とも呼ぶ。
立体物認識部４０３は、上記第１の鳥瞰画像と上記第２の鳥瞰画像とにおける重複撮像領域に出現する第１のオブジェクトと第２のオブジェクトとに基づいて、重複撮像領域から立体物を検出するように構成されている。立体物認識部４０３は、認識器（ｒｅｃｏｇｎｉｚｅｒ）も呼ぶ。
このように構成された立体物検出装置４００は、以下のように動作する。即ち、先ずオブジェクト検出部４０１が、第１のカメラ４１０で第１の監視領域を撮像して得られた第１の画像からオブジェクトを第１のオブジェクトとして検出し、第２のカメラ４１１で第２の監視領域を撮像して得られた第２の画像からオブジェクトを第２のオブジェクトとして検出する。次に視点変換部４０２が、第１の画像と第２の画像とに視点変換を施して第１の鳥瞰画像と第２の鳥瞰画像とを作成する。次に立体物検出部が、第１の鳥瞰画像と第２の鳥瞰画像とにおける重複撮像領域に出現する第１のオブジェクトと第２のオブジェクトとに基づいて、重複撮像領域から立体物を検出する。
本実施形態によれば、物体認識によって認識したオブジェクトに限定して立体物か否かを認識することにより、立体物を検出するのに必要な計算コストを抑えることができる。
[第５の実施形態]
図１５を参照すると、本発明の第５の実施形態に係る立体物検出装置５００は、コンピュータ７０１とプログラム７０４とによって構成される。コンピュータ７０１は、マイクロプロセッサ等で構成されたプロセッサ７０２と、ＲＡＭおよびＲＯＭ等で構成されたメモリ７０３とを備える。プログラム７０４は、コンピュータ７０１の立ち上げ時等にコンピュータ７０１のメモリ７０３に読み取られ、コンピュータ７０１の動作を制御することにより、コンピュータ７０１を、上述した第１乃至第４の実施形態に係る立体物検出装置の検出器、変換器、認識器等として機能させる。
[その他の実施形態]
車両の全周囲を撮像するように複数のカメラを設置しても良い。例えば、図１１に示す例では、前方カメラ５０１と後方カメラ５０２と左側カメラ５０３と右側カメラ５０４との４つのカメラを車両の車体に取り付けている。前方カメラ５０１は、車体前方に取り付けられ、車両の前方を撮像した画像を取得する。後方カメラ５０２は、車体後方に取り付けられ、車両の後方を撮像した画像を取得する。左側カメラ５０３は、車体左側に取り付けられ、車両の左側を撮像した画像を取得する。右側カメラ５０４は、車体右側に取り付けられ、車両の右側を撮像した画像を取得する。この場合、隣接するカメラ間で視野の重複する領域５０５で立体物を認識できる。
また、１つのカメラに対して視野の重複する複数のカメラを設定しても良い。例えば、図１２に示す例では、後方カメラ５１１の視野の左側の領域と重複する視野を有する右側後方カメラ５１２と、後方カメラ５１１の視野の右側の領域と重複する視野を有する左側後方カメラ５１３とを車両の車体に取り付けている。
また、上述した第２の実施形態では、カメラ１０１、１０２の視点変換前の撮像領域における非重複撮像領域から検出したオブジェクトを囲む最外接矩形の下端を、当該オブジェクトの接地点として検出した。しかし、本発明の第５の実施形態に係る立体物検出装置５００として、図１３のフローチャートに示すように、カメラ１０１、１０２の視点変換後の鳥瞰画像における非重複撮像領域から検出したオブジェクトを囲む最外接矩形の下端を、当該オブジェクトの接地点として検出してもよい。即ち、図１３は、ステップＳ１８、Ｓ１９が、ステップＳ１８Ａ、Ｓ１９Ａに置き換えられている点で図７と相違し、それ以外は図７と同じである。
図１３のステップＳ１８Ａでは、制御ユニット１０３は、カメラ１０１で撮像されて得られた画像１１１の鳥瞰画像１２１のうち、カメラ１０２の鳥瞰画像１２２と重複しない非重複撮像領域に、ステップＳ１２において検出されたオブジェクトが含まれている場合、含まれているオブジェクトの最外接矩形の下端を当該オブジェクトの接地点として検出する。同様に制御ユニット１０３は、カメラ１０２で撮像されて得られた画像１１２の鳥瞰画像１２２のうち、カメラ１０１の鳥瞰画像１２１と重複しない非重複撮像領域に、ステップＳ１２において検出されたオブジェクトが含まれている場合、含まれているオブジェクトの最外接矩形の下端を当該オブジェクトの接地点として検出する。
また図１３のステップＳ１９Ａでは、制御ユニット１０３は、上記オブジェクトの接地点の画像上の座標と、カメラ１０１、１０２の設置高と角度、画角から上記オブジェクトの位置やオブジェクトまでの距離を計算する（以下、この方法を第１の距離計算方法と記す）。或いは、図１３のステップＳ１９Ａでは、制御ユニット１０３は、予めカメラ１０１、１０２の設置高と角度、画角から鳥瞰画像の１画素が実世界上の何ｍｍ四方に該当するかを求めておき、その対応関係から、オブジェクトまでの距離を求めてもよい（以下、この方法を第２の距離計算方法と記す）。
図１４は、上記第２の距離計算方法の説明図である。先ず、図１４（ａ）に示すように、鳥瞰画像上の１画素が実世界上の０．５ｃｍ四方に該当する場合、係数を０．５（ｃｍ／ｐｉｘ）として算出し、記憶しておく。次に、鳥瞰画像上のオブジェクトの最外接矩形の下端の座標が例えば（２００，１００）として算出されたとする。すると、制御ユニット１０３は、実世界上におけるオブジェクトの接地点の位置を、次式によって計算する。
Ｘ：２００（ｐｉｘ）×０．５（ｃｍ／ｐｉｘ）＝１００（ｃｍ）
Ｙ：１００（ｐｉｘ）×０．５（ｃｍ／ｐｉｘ）＝５０（ｃｍ）
上記第２の距離計算方法は、第１の実施形態における図３のステップＳ６における距離計算にも利用できる。
上記実施の形態では、車両の周辺を撮像するカメラに本発明を適用した。しかし、本発明は車両に取り付けられるカメラにのみ限定されない。視点が異なり、視野が重複する複数のカメラを用いる場合であれば、例えば店舗や街路に設置された監視カメラにも本発明を適用することができる。
以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。
なお、本発明は、日本国にて２０１７年２月７日に特許出願された特願２０１７−０２０２９２の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
本発明は、立体物を検出する分野に利用でき、特に複数のカメラを使用してそれらの重複撮像領域に存在する立体物を検出する分野に利用できる。
１００…立体物検出装置
１０１…カメラ
１０２…カメラ
１０３…制御ユニット
１０４…ディスプレイ
１０５…オブジェクト
１１１…画像
１１２…画像
１１３…オブジェクトの像
１１４…オブジェクトの像
１１５…最外接矩形
１１６…最外接矩形
１２１…鳥瞰画像
１２２…鳥瞰画像
１２３…オブジェクトの像
１２４…オブジェクトの像
１２５…最外接矩形
１２６…最外接矩形
１２７…カメラの位置
１２８…カメラの位置
１３１…カメラ位置を通りオブジェクトの伸長方向と一致する直線
１３２…カメラ位置を通りオブジェクトの伸長方向と一致する直線
１３３…交点
２００…立体物検出装置
３００…立体物検出装置
４００…立体物検出装置
４０１…オブジェクト検出部
４０２…視点変換部
４０３…立体物認識部
４１０…第１のカメラ
４１１…第２のカメラ
５００…立体物検出装置
５０１…前方カメラ
５０２…後方カメラ
５０３…左側カメラ
５０４…右側カメラ
５０５…隣接するカメラ間で視野の重複する領域
５１１…後方カメラ
５１２…右側後方カメラ
５１３…左側後方カメラ
７０１…コンピュータ
７０２…プロセッサ
７０３…メモリ
７０４…プログラム

Claims (13)

  1. 第１のカメラで第１の監視領域を撮像して得られた第１の画像からオブジェクトを第１のオブジェクトとして検出し、前記第１のカメラと撮像領域が重複する重複撮像領域を有する第２のカメラで第２の監視領域を撮像して得られた第２の画像から前記オブジェクトを第２のオブジェクトとして検出する検出器と、
    前記第１の画像と前記第２の画像とに視点変換を施して第１の鳥瞰画像と第２の鳥瞰画像とを作成する変換器と、
    前記第１の鳥瞰画像と前記第２の鳥瞰画像とにおける前記重複撮像領域に出現する前記第１のオブジェクトと前記第２のオブジェクトとに基づいて、前記重複撮像領域から立体物を認識する認識器と、
    を含む立体物検出装置。
  2. 前記認識器は、前記第１の鳥瞰画像における前記第１のカメラの位置から前記重複撮像領域に出現する前記第１のオブジェクトの伸長方向に伸びる第１の仮想線と、前記第２の鳥瞰画像における前記第２のカメラの位置から前記重複撮像領域に出現する前記第１のオブジェクトの伸長方向に伸びる第２の仮想線との交点を前記立体物の接地点として検出する、
    請求項１に記載の立体物検出装置。
  3. 前記認識器は、前記第１の画像のうち前記第２の画像と撮像領域が重複しない非重複撮像領域から検出された前記第１のオブジェクトを囲む最外接矩形の下端を、前記非重複撮像領域から検出された前記第１のオブジェクトの接地点として検出する、
    請求項１または２に記載の立体物検出装置。
  4. 前記認識器は、前記第１の鳥瞰画像のうち前記第２の鳥瞰画像と撮像領域が重複しない非重複撮像領域から検出された前記第１のオブジェクトを囲む最外接矩形の下端を、前記非重複撮像領域から検出された前記第１のオブジェクトの接地点として検出する、
    請求項１または２に記載の立体物検出装置。
  5. 第１の時刻において撮像して得られた前記第１の画像および前記第２の画像に基づいて前記オブジェクトの検出、前記視点変換、および前記立体物の検出が行われた後、第２の時刻において撮像して得られた前記第１の画像の領域のうち前記第２の画像と重複する重複領域の画像と、前記第１の時刻において撮像して得られた前記第１の画像のうち前記第２の画像と重複する重複領域の画像との差分である差分画像を検出する差分検出器と、
    前記差分画像に基づいて、前記第２の時刻において撮像して得られた前記第１の画像および前記第２の画像に基づいて前記オブジェクトの検出、前記視点変換、および前記立体物の検出を実施するか否かを制御する制御器と、を更に有する、
    請求項１乃至４の何れかに記載の立体物検出装置。
  6. 前記第１のカメラと前記第２のカメラは、同じタイミングで、一定の周期で撮像を行う、
    請求項１乃至５の何れかに記載の立体物検出装置。
  7. 第１のカメラで第１の監視領域を撮像して得られた第１の画像からオブジェクトを第１のオブジェクトとして検出し、前記第１のカメラと撮像領域が重複する重複撮像領域を有する第２のカメラで第２の監視領域を撮像して得られた第２の画像から前記オブジェクトを第２のオブジェクトとして検出し、
    前記第１の画像と前記第２の画像とに視点変換を施して第１の鳥瞰画像と第２の鳥瞰画像とを作成し、
    前記第１の鳥瞰画像と前記第２の鳥瞰画像とにおける前記重複撮像領域に出現する前記第１のオブジェクトと前記第２のオブジェクトとに基づいて、前記重複撮像領域から立体物を認識する、
    立体物検出方法。
  8. 前記認識では、前記第１の鳥瞰画像における前記第１のカメラの位置から前記重複撮像領域に出現する前記第１のオブジェクトの伸長方向に伸びる第１の仮想線と、前記第２の鳥瞰画像における前記第２のカメラの位置から前記重複撮像領域に出現する前記第１のオブジェクトの伸長方向に伸びる第２の仮想線との交点を前記立体物の接地点として検出する、
    請求項７に記載の立体物検出方法。
  9. 前記認識では、前記第１の画像のうち前記第２の画像と撮像領域が重複しない非重複撮像領域から検出された前記第１のオブジェクトを囲む最外接矩形の下端を、前記非重複撮像領域から検出された前記第１のオブジェクトの接地点として検出する、
    請求項７または８に記載の立体物検出方法。
  10. 前記認識では、前記第１の鳥瞰画像のうち前記第２の鳥瞰画像と撮像領域が重複しない非重複撮像領域から検出された前記第１のオブジェクトを囲む最外接矩形の下端を、前記非重複撮像領域から検出された前記第１のオブジェクトの接地点として検出する、
    請求項７または８に記載の立体物検出方法。
  11. さらに、
    第１の時刻において撮像して得られた前記第１の画像および前記第２の画像に基づいて前記オブジェクトの検出、前記視点変換、および前記立体物の検出が行われた後、第２の時刻において撮像して得られた前記第１の画像の領域のうち前記第２の画像と重複する重複領域の画像と、前記第１の時刻において撮像して得られた前記第１の画像のうち前記第２の画像と重複する重複領域の画像との差分である差分画像を検出し、
    前記差分画像に基づいて、前記第２の時刻において撮像して得られた前記第１の画像および前記第２の画像に基づいて前記オブジェクトの検出、前記視点変換、および前記立体物の検出を実施するか否かを制御する、
    請求項７乃至１０の何れかに記載の立体物検出方法。
  12. 前記第１のカメラと前記第２のカメラは、同じタイミングで、一定の周期で撮像を行う、
    請求項７乃至１１の何れかに記載の立体物検出方法。
  13. コンピュータを、
    第１のカメラで第１の監視領域を撮像して得られた第１の画像からオブジェクトを第１のオブジェクトとして検出し、前記第１のカメラと撮像領域が重複する重複撮像領域を有する第２のカメラで第２の監視領域を撮像して得られた第２の画像から前記オブジェクトを第２のオブジェクトとして検出する検出器と、
    前記第１の画像と前記第２の画像とに視点変換を施して第１の鳥瞰画像と第２の鳥瞰画像とを作成する変換器と、
    前記第１の鳥瞰画像と前記第２の鳥瞰画像とにおける前記重複撮像領域に出現する前記第１のオブジェクトと前記第２のオブジェクトとに基づいて、前記重複撮像領域から立体物を認識する認識器と、
    して機能させるためのプログラム。
JP2018566805A 2017-02-07 2018-01-12 立体物検出装置 Pending JPWO2018146997A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017020292 2017-02-07
JP2017020292 2017-02-07
PCT/JP2018/000666 WO2018146997A1 (ja) 2017-02-07 2018-01-12 立体物検出装置

Publications (1)

Publication Number Publication Date
JPWO2018146997A1 true JPWO2018146997A1 (ja) 2019-11-14

Family

ID=63108197

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018566805A Pending JPWO2018146997A1 (ja) 2017-02-07 2018-01-12 立体物検出装置

Country Status (2)

Country Link
JP (1) JPWO2018146997A1 (ja)
WO (1) WO2018146997A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7138157B2 (ja) * 2020-12-25 2022-09-15 エヌ・ティ・ティ・コムウェア株式会社 物体検出装置、物体検出方法、およびプログラム
JP7450654B2 (ja) 2022-02-10 2024-03-15 本田技研工業株式会社 移動体制御装置、移動体制御方法、学習装置、学習方法、およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005347905A (ja) * 2004-06-01 2005-12-15 Oki Electric Ind Co Ltd 防犯支援システム
JP2010109452A (ja) * 2008-10-28 2010-05-13 Panasonic Corp 車両周囲監視装置及び車両周囲監視方法
JP2013205956A (ja) * 2012-03-27 2013-10-07 Sumitomo Heavy Ind Ltd 画像生成方法、画像生成装置、及び操作支援システム
JP2015192198A (ja) * 2014-03-27 2015-11-02 クラリオン株式会社 映像表示装置および映像表示システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006339960A (ja) * 2005-06-01 2006-12-14 Nissan Motor Co Ltd 物体検出装置、および物体検出方法
JP2007172501A (ja) * 2005-12-26 2007-07-05 Alpine Electronics Inc 車両運転支援装置
JP2010147523A (ja) * 2008-12-16 2010-07-01 Panasonic Corp 車両周囲の俯瞰画像生成装置
JP2012147149A (ja) * 2011-01-11 2012-08-02 Aisin Seiki Co Ltd 画像生成装置
JP6287704B2 (ja) * 2014-09-04 2018-03-07 株式会社デンソー 運転支援装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005347905A (ja) * 2004-06-01 2005-12-15 Oki Electric Ind Co Ltd 防犯支援システム
JP2010109452A (ja) * 2008-10-28 2010-05-13 Panasonic Corp 車両周囲監視装置及び車両周囲監視方法
JP2013205956A (ja) * 2012-03-27 2013-10-07 Sumitomo Heavy Ind Ltd 画像生成方法、画像生成装置、及び操作支援システム
JP2015192198A (ja) * 2014-03-27 2015-11-02 クラリオン株式会社 映像表示装置および映像表示システム

Also Published As

Publication number Publication date
WO2018146997A1 (ja) 2018-08-16

Similar Documents

Publication Publication Date Title
JP6118096B2 (ja) Ａｖ画像基盤の駐車位置設定装置及びその方法
US8005266B2 (en) Vehicle surroundings monitoring apparatus
JP3764086B2 (ja) 車両用情報提供装置
JP4930046B2 (ja) 路面判別方法および路面判別装置
JP5687702B2 (ja) 車両周辺監視装置
US20110025845A1 (en) Apparatus and method for measuring location and distance of object by using camera
CN107950023B (zh) 车辆用显示装置以及车辆用显示方法
JP5240149B2 (ja) 車両周辺監視装置
EP3203725A1 (en) Vehicle-mounted image recognition device
US20120212615A1 (en) Far-infrared pedestrian detection device
US20160180158A1 (en) Vehicle vision system with pedestrian detection
KR20090109437A (ko) 차량주행중 영상정합 방법 및 그 시스템
JP2013137767A (ja) 障害物検出方法及び運転者支援システム
JP2001216520A (ja) 車両用周辺監視装置
JP5539250B2 (ja) 接近物体検知装置及び接近物体検知方法
JP6617150B2 (ja) 物体検出方法及び物体検出装置
WO2018146997A1 (ja) 立体物検出装置
JP2000293693A (ja) 障害物検出方法および装置
JP2005157731A (ja) 車線認識装置および車線認識方法
Yang Estimation of vehicle's lateral position via the Lucas-Kanade optical flow method
EP3163533A1 (en) Adaptive view projection for a vehicle camera system
JP2008286648A (ja) 距離計測装置、距離計測システム、距離計測方法
JP5785515B2 (ja) 歩行者検出装置及び方法、並びに車両用衝突判定装置
US9030560B2 (en) Apparatus for monitoring surroundings of a vehicle
JP6949090B2 (ja) 障害物検知装置及び障害物検知方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190722

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200916

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201030

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210120