WO2019069469A1 - 物体検知装置、物体検知方法、及びコンピュータ読み取り可能な記録媒体 - Google Patents

物体検知装置、物体検知方法、及びコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2019069469A1
WO2019069469A1 PCT/JP2017/036548 JP2017036548W WO2019069469A1 WO 2019069469 A1 WO2019069469 A1 WO 2019069469A1 JP 2017036548 W JP2017036548 W JP 2017036548W WO 2019069469 A1 WO2019069469 A1 WO 2019069469A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
distance
image
fisheye
horizontal
Prior art date
Application number
PCT/JP2017/036548
Other languages
English (en)
French (fr)
Inventor
高橋　勝彦
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US16/753,650 priority Critical patent/US11417080B2/en
Priority to JP2019546515A priority patent/JP6874850B2/ja
Priority to PCT/JP2017/036548 priority patent/WO2019069469A1/ja
Publication of WO2019069469A1 publication Critical patent/WO2019069469A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Abstract

物体検知装置１００は、時系列の魚眼画像を取得する、魚眼画像取得部１０と、フレーム毎に、実空間における鉛直方向がフレームの垂直方向に沿って表現され、且つフレームの水平方向において方位が等角で表現されている、水平パノラマ画像に変換する、水平パノラマ画像生成部２０と、水平パノラマ画像から垂直方向のエッジのペアを抽出する、エッジペア抽出部３０と、エッジのペアのエッジ間距離の変化割合を抽出する、変化割合抽出部４０と、エッジのペアを構成する物体の下端の領域を抽出する、下端領域抽出部５０と、物体の下端の領域の水平パノラマ画像上での位置から、物体から魚眼カメラまでの距離を算出し、距離の変化割合を抽出する、距離変化割合抽出部６０と、エッジ間距離の変化割合及び距離の変化割合に基づいて物体が存在しているかどうかを判定する、物体検知部７０とを備える。

Description

物体検知装置、物体検知方法、及びコンピュータ読み取り可能な記録媒体
　本発明は、魚眼カメラによって得られた画像から物体を検知するための、物体検知装置、及び物体検知方法に関し、更には、これらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
　近年、車両の駐車時において運転者を支援するため、車両に搭載されているカメラ（以下「車載カメラ」と表記する。）からの映像に基づいて、車両周辺に存在する物体を検知する装置がいくつか開示されている（例えば、特許文献１～３参照）。
　具体的には、特許文献１は、車載カメラからの撮像画像に基づいて、道路付属物、例えば道路標識を検出する装置を開示している。特許文献１に開示された装置は、撮影画像中の縦方向に並ぶエッジ画素の頻度をカウントして柱状の柱領域を検出し、更に、画像中の特定の色を有する領域と、特定の形状を有する領域とを検出し、検出した各領域に基づいて、対象となる道路標識を検出する。
　特許文献２は、車両の前方又は後方を撮影するように配置された車載カメラからの撮影画像に基づいて、障害物を検出する装置を開示している。特許文献２に開示された装置は、撮影画像からエッジ画像を抽出し、抽出したエッジ画像と以前抽出されたエッジ画像とを平均化処理し、平均化処理されたエッジ画像に基づいて、前方又は後方にある障害物を検出する。
　また、特許文献３も、車載カメラからの撮影画像に基づいて、車両の周辺の物体を検出する装置を開示している。但し、特許文献３に開示された装置では、車載カメラからの撮影画像に対して、別のカメラ視点から撮影した画像となるように、画像変換が行われる。通常、車種により車載カメラの取り付け位置が異なり、物体の見え方が異なるため、本来であれば、車種毎に、物体検出のための識別機を作成する必要があり、コストが上昇するが、特許文献３に開示された装置によれば、このコストの上昇を抑制することができる。
　このように、特許文献１～３に開示された装置を車両に搭載すれば、駐車時において、車両の周辺の物体が検出されるため、運転者は安心して駐車を行えると共に、周辺の安全も確保される。
特開２０１６－１６２４３６号公報 特開２００５－４４１９６号公報 特開２０１１－２１００８７号公報
　しかしながら、上述した特許文献１～３に開示された装置には、駐車支援を目的として車両への搭載が進んでいる魚眼カメラと組み合わせた場合に、駐車時に障害となり易いポール等の棒状の物体を検出しにくいという問題がある。以下に具体的に説明する。
　まず、車両の前方に搭載されたカメラによる物体検知では、上述の特許文献１及び２に開示されているように、撮影画像中の直線的なエッジを手がかりに物体を検出するのが一般的である。そして、この場合の車載カメラにおいては、レンズの視野角が比較的狭いためレンズ歪みが少なく、取り付け角度は水平に近い角度となるので、直線的な垂直エッジ及び水平エッジの抽出は容易である。
　これに対して、魚眼カメラにおいては、視野角が１８０度を越え、魚眼カメラの映像は、大きな樽型歪みを含んでおり、実空間において本来直線的な線分が映像上では曲がって観測される。そのため、装置において、撮影画像から縦エッジ又は横エッジを抽出することは困難である。
　また、縦エッジ及び横エッジを抽出しやすくするために、レンズの歪みを補正する処理を前処理として採用することも考えられるが、駐車支援を目的として搭載される車載カメラは、多くの場合、光軸方向が斜め下向きとなるように設置されている。このため、従来からの歪補正方式を採用しても、図１１及び図１２に示すように、射影歪みの大きな画像しか得られないため、依然として垂直エッジ及び水平エッジの抽出は困難である。図１１は、実空間における棒状の物体の一例を示す図である。図１１において、２０１は棒状の物体を示している。図１２は、魚眼レンズで撮影された棒状の物体に対して従来からの歪み補正を行った状態を示す図である。図１２において、３０１は棒状の物体２０１の外形を示す一対の線分を示している。
　一方に、斜め下向きに向けられているカメラの光軸方向を仮想的に水平方向に向けて、歪みを補正することも可能である。このような補正を行った場合は、図１３に示すように、棒状の物体２０１は垂直方向において真っ直ぐな形状へと画像変換される。図１３は、カメラの光軸方向を仮想的に水平方向とすることで得られた撮影画像の一例を示す図である。しかしながら、図１３に示す補正では、画像変換後の画像の水平方向のサイズが無限であったとしても、視野角１８０度を超える視野を１枚の画像で表現することはできないため、このような補正は、車両に搭載する物体検出装置には不向きである。
　また、特許文献３に開示された技術では、物体の形状と実空間上での存在位置とを仮定することにより、別のカメラ視点から見たときの見え方に似せた画像を生成している。このため、特許文献３に開示された技術を採用して画像変換を行うためには、物体の存在位置をさまざまに仮定する必要があり、試行錯誤が必要となるという問題がある。
　本発明の目的の一例は、上記問題を解消し、魚眼カメラを用いた場合であっても、撮影画像からの棒状の物体の検知を容易に行えるようにし得る、物体検知装置、物体検知方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
　上記目的を達成するため、本発明の一側面における物体検知装置は、
　魚眼カメラから出力された時系列の魚眼画像を取得する、魚眼画像取得部と、
　前記時系列の魚眼画像を、それを構成するフレーム毎に、実空間における鉛直方向がフレームの垂直方向に沿って表現され、且つ、フレームの水平方向において方位が等角で表現されている、水平パノラマ画像に変換する、水平パノラマ画像生成部と、
　前記フレーム毎に、前記水平パノラマ画像から、垂直方向のエッジのペアを抽出する、エッジペア抽出部と、
　前記フレーム間における、抽出された前記エッジのペアのエッジ間距離の変化割合を抽出する、変化割合抽出部と、
　前記フレーム毎に、前記エッジのペアを構成していると予測される物体の下端に相当する領域を抽出する、下端領域抽出部と、
　前記フレーム毎に、前記物体の下端に相当する領域の前記水平パノラマ画像上での位置から前記物体から前記魚眼カメラまでの距離を算出し、前記フレーム間における、前記物体から前記魚眼カメラまでの距離の変化割合を抽出する、距離変化割合抽出部と、
　抽出された、前記エッジ間距離の変化割合、及び前記物体から前記魚眼カメラまでの距離の変化割合に基づいて、前記物体が存在しているかどうかを判定する、物体検知部と、
を備えたことを特徴とする。
　また、上記目的を達成するため、本発明の一側面における物体検知方法は、
（ａ）魚眼カメラから出力された時系列の魚眼画像を取得する、ステップと、
（ｂ）前記時系列の魚眼画像を、それを構成するフレーム毎に、実空間における鉛直方向がフレームの垂直方向に沿って表現され、且つ、フレームの水平方向において方位が等角で表現されている、水平パノラマ画像に変換する、ステップと、
（ｃ）前記フレーム毎に、前記水平パノラマ画像から、垂直方向のエッジのペアを抽出する、ステップと、
（ｄ）前記フレーム間における、抽出された前記エッジのペアのエッジ間距離の変化割合を抽出する、ステップと、
（ｅ）前記フレーム毎に、前記エッジのペアを構成していると予測される物体の下端に相当する領域を抽出する、ステップと、
（ｆ）前記フレーム毎に、前記物体の下端に相当する領域の前記水平パノラマ画像上での位置から前記物体から前記魚眼カメラまでの距離を算出し、前記フレーム間における、前記物体から前記魚眼カメラまでの距離の変化割合を抽出する、ステップと、
（ｇ）抽出された、前記エッジ間距離の変化割合、及び前記物体から前記魚眼カメラまでの距離の変化割合に基づいて、前記物体が存在しているかどうかを判定する、ステップと、
を有することを特徴とする。
　更に、上記目的を達成するため、本発明の一側面におけるコンピュータ読み取り可能な記録媒体は、
コンピュータに、
（ａ）魚眼カメラから出力された時系列の魚眼画像を取得する、ステップと、
（ｂ）前記時系列の魚眼画像を、それを構成するフレーム毎に、実空間における鉛直方向がフレームの垂直方向に沿って表現され、且つ、フレームの水平方向において方位が等角で表現されている、水平パノラマ画像に変換する、ステップと、
（ｃ）前記フレーム毎に、前記水平パノラマ画像から、垂直方向のエッジのペアを抽出する、ステップと、
（ｄ）前記フレーム間における、抽出された前記エッジのペアのエッジ間距離の変化割合を抽出する、ステップと、
（ｅ）前記フレーム毎に、前記エッジのペアを構成していると予測される物体の下端に相当する領域を抽出する、ステップと、
（ｆ）前記フレーム毎に、前記物体の下端に相当する領域の前記水平パノラマ画像上での位置から前記物体から前記魚眼カメラまでの距離を算出し、前記フレーム間における、前記物体から前記魚眼カメラまでの距離の変化割合を抽出する、ステップと、
（ｇ）抽出された、前記エッジ間距離の変化割合、及び前記物体から前記魚眼カメラまでの距離の変化割合に基づいて、前記物体が存在しているかどうかを判定する、ステップと、
を実行させる命令を含む、プログラムを記録していることを特徴とする。
　以上のように、本発明によれば、魚眼カメラを用いた場合であっても、撮影画像からの棒状の物体の検知を容易に行うことができる。
図１は、本発明の実施の形態における物体検知装置の概略構成を示すブロック図である。 図２は、本発明の実施の形態における物体検知装置の構成をより具体的に示すブロック図である。 図３は、本発明の実施の形態において対象となる魚眼画像の一例を模式的に示した図である。 図４は、本発明の実施の形態において定義される平行化視点座標系の一例を示す図である。 図５は、平行化視点が異なる２つの透視投影補正画像と、これら透視投影補正画像から得られる水平パノラマ画像とを示している。 図６は、本発明の実施の形態において処理対象となる魚眼画像の一例とそれから生成された水平パノラマ画像の一例とを示す図である。 図７は、魚眼カメラで撮影された実空間を上方から俯瞰した場合に得られるイメージを示す図である。 図８は、図７に示された実空間の水平パノラマ画像を示す図である。 図９は、本発明の実施の形態における物体検知装置の動作を示すフロー図である。 図１０は、本発明の実施の形態における物体検知装置を実現するコンピュータの一例を示すブロック図である。 図１１は、実空間における棒状の物体の一例を示す図である。 図１２は、魚眼レンズで撮影された棒状の物体に対して従来からの歪み補正を行った状態を示す図である。 図１３は、カメラの光軸方向を仮想的に水平方向とすることで得られた、魚眼レンズの撮影画像の一例を示す図である。
（実施の形態）
　以下、本発明の実施の形態における、物体検知装置、物体検知方法、及びコンピュータ読み取り可能な記録媒体について、図１～図１０を参照しながら説明する。
［装置構成］
　最初に、本実施の形態における物体検知装置の概略構成について説明する。図１は、本発明の実施の形態における物体検知装置の概略構成を示すブロック図である。
　図１に示す、本実施の形態における物体検知装置１００は、魚眼カメラから出力された時系列の魚眼画像から、物体を検知するための装置である。図１に示すように、物体検知装置１００は、魚眼画像取得部１０と、水平パノラマ画像生成部２０と、エッジペア抽出部３０と、変化割合抽出部４０と、下端領域抽出部５０と、距離変化割合抽出部６０と、物体検知部７０とを備えている。
　魚眼画像取得部１０は、魚眼カメラから出力された時系列の魚眼画像を取得する。水平パノラマ画像生成部２０は、時系列の魚眼画像を、それを構成するフレーム毎に、実空間における鉛直方向がフレームの垂直方向に沿って表現され、且つ、フレームの水平方向において方位が等角で表現されている、水平パノラマ画像に変換する。
　エッジペア抽出部３０は、フレーム毎に、水平パノラマ画像から、垂直方向のエッジのペアを抽出する。変化割合抽出部４０は、フレーム間における、抽出されたエッジのペア（以下「エッジペア」と表記する。）のエッジ間距離の変化割合を抽出する。
　下端領域抽出部５０は、フレーム毎に、エッジペアを構成していると予測される物体の下端に相当する領域を抽出する。距離変化割合抽出部６０は、フレーム毎に、物体の下端に相当する領域の水平パノラマ画像上での位置から物体から魚眼カメラまでの距離を算出する。また、距離変化割合抽出部６０は、フレーム間における、物体から魚眼カメラまでの距離の変化割合を抽出する。
　物体検知部７０は、変化割合抽出部４０によって抽出されたエッジ間距離の変化割合、及び距離変化割合抽出部６０によって抽出された物体から魚眼カメラまでの距離の変化割合に基づいて、物体が存在しているかどうかを判定する。
　このように、本実施の形態では、魚眼カメラから出力された魚眼画像から、実空間における鉛直方向がフレームの垂直方向に沿って表現された水平パノラマ画像が生成される。このため、垂直方向のエッジのペアを容易に抽出できる。また、水平パノラマ画像では、フレームの水平方向において方位が等角で表現されるので、視野角１８０度を視野も一枚の画像で表現される。このため、本実施の形態によれば、魚眼カメラを用いた場合であっても、撮影画像からの棒状の物体の検知を容易に行うことができる。
　続いて、図２を用いて、本実施の形態における物体検知装置１００をより具体的に説明する。図２は、本発明の実施の形態における物体検知装置の構成をより具体的に示すブロック図である。
　図２に示すように、本実施の形態においては、物体検知装置１００は、魚眼カメラ８０に接続されている。魚眼カメラ８０は、光学系として魚眼レンズ系を備えた撮像装置である。魚眼カメラ８０は、設定されたフレームレートで、撮影画像（魚眼画像）を出力する。また、魚眼カメラ８０は、車両において、車両の周辺に存在する棒状の物体の検知を可能とするため、光軸方向が、水平面から鉛直方向下向きに傾斜した方向（斜め下方の方向）になるように、配置されている。なお、魚眼カメラ８０は、車両のどの位置に配置されていても良い。
　水平パノラマ画像生成部２０は、本実施の形態では、俯角を持った魚眼カメラ８０による画像から、光軸が水平方向を向いたカメラを水平面上で１８０度前後回転させた場合に得られる画像（水平パノラマ画像）を生成する。このため、水平パノラマ画像生成部２０は、視点補償ベクトル生成部２１と、画像生成部２２とを備えている。
　視点補償ベクトル生成部２１は、検知対象となる物体の接地面に平行な面を基準とした、魚眼カメラ８０の光軸回りのロール角及び光軸のピッチ角に基づいて、フレームを、物体を接地面に平行な方向から撮影して得られる画像に変換する、視点補償ベクトルを生成する。なお、魚眼カメラ８０のロール角及びピッチ角は、設定値であっても良いし、車両に取り付けられたセンサから取得された値であっても良い。
　具体的には、視点補償ベクトル生成部２１は、視点補償ベクトルとして、魚眼カメラ８０の光軸ベクトルと物体の接地面に平行なベクトルとの相対ベクトルを生成する。また、この相対ベクトルは、２つの座標系間の回転を表現するベクトルである。回転の表現手法としては、一般に、Ｑｕａｔｅｒｎｉｏｎ、オイラー角表現などが挙げられ、本実施の形態では、いずれの表現手法が採用されていてもよい。
　画像生成部２２は、まず、視点補償ベクトルを用いて変換されたフレームに対して、その水平方向に沿って、接地面に平行な視点を複数設定する。また、画像生成部２２は、設定された視点毎に、変換後のフレームに対して、各視点からの視線を軸に含む座標系に基づいて、透視投影近似による歪み補正を行なう。更に、画像生成部２２は、補正後のフレームそれぞれから抽出された垂直方向の画像要素を用いて、１つの新たなフレームを生成し、これを水平パノラマ画像とする。
　具体的には、画像生成部２２は、まず、魚眼画像のフレームに対し、視点補償ベクトルＶを用いて、平行化視点の集合を設定する。次いで、画像生成部２２は、水平方向の視野範囲を任意に分割し、各平行化視点の集合（平行化視点列）のそれぞれの平行化視点座標系において、透視投影近似による歪補正を実行する。そして、画像生成部２２は、各視点の中心を通る垂直方向の画像要素を、平行化視点列の順序で水平方向に並べ、これらを連結することで、一枚の合成画像を生成する。
　ここで、画像生成部２２の処理について、図３～図５を用いてより詳細に説明する。図３は、本発明の実施の形態において対象となる魚眼画像の一例を模式的に示した図である。図４は、本発明の実施の形態において定義される平行化視点座標系の一例を示す図である。図５は、平行化視点が異なる２つの透視投影補正画像と、これら透視投影補正画像から得られる水平パノラマ画像とを示している。
　図３の例では、魚眼画像ＩＦには、地面を接地面として、下向きの視点で撮影された人物（Person A、Person B、PersonC）が写っている。画像生成部２２は、図４に示すように、視点補償ベクトルＶを用いて平行化視点φｎの集合を設定し、更に、平行化視点φｎ毎に、平行化視点座標系を設定して、透視投影近似による歪補正を実行する。これにより、平行化視点φｎ毎に、透視投影補正画像ＩＰ （φｎ）が設定される。
　なお、ｎは、平行化視点の個数を示す自然数であり、図４中のｉ及びｊは、ｎ以下の自然数を示している。また、図４において、Ｏ（φｎ）は、視点補償ベクトルの限定を示し、ｚ（φｎ）は、各平行化視点を通る視線を示している。また、ｕ（φｎ）及びｖ（φｎ）は、平行化視点座標系における各軸を示している。
　また、画像生成部２２は、図５に示すように、透視投影補正画像ＩＰ （φｎ）の中心部分を垂直方向においてスライスして、スライス画像ＩＳ （φｎ）を切り出する。このスライス画像ＩＳ （φｎ）が、各視点の中心を通る垂直方向の画像要素となる。その後、画像生成部２２は、各スライス画像ＩＳ （φｎ）を合成して１つのフレームとする。これにより、最終的な水平パノラマ画像が生成される。
　このようにして得られた水平パノラマ画像は、下記の（１）～（３）に示す特徴的な性質を有している。以下に、図６～図８を用いて、水平パノラマ画像の特徴的な性質（１）～（３）について説明する。図６は、本発明の実施の形態において処理対象となる魚眼画像の一例とそれから生成された水平パノラマ画像の一例とを示す図である。図７は、魚眼カメラで撮影された実空間を上方から俯瞰した場合に得られるイメージを示す図である。図８は、図７に示された実空間の水平パノラマ画像を示す図である。
（１）図６に示すように、魚眼画像では、棒状の物体２０１の外縁は、一対の曲がった線分３０１として観測される。これに対して、水平パノラマ画像は、スライス画像ＩＳ （φｎ）を合成して生成されているため、水平パノラマ画像では、棒状の物体２０１の外縁は、一対の直線状の線分４０１として観測される。水平パノラマ画像では、実空間上で鉛直方向を向いた線分は、垂直方向を向いた線分に変換される。
（２）水平パノラマ画像では、１枚の画像によって、１８０度を越える魚眼画像の広い視野が網羅されており、且つ、水平方向のスケール歪みが排除されている。更に、水平パノラマ画像におけるｘ座標は、カメラを水平面上で仮想的に回転させた場合のカメラ方位と１対１で対応する。
　具体的には、図７に示すように、実空間において、魚眼カメラ８０の光学中心６０１を中心とした仮想の円６０２を想定し、この仮想の円周上の９時の位置６０３から３時の位置６０４までに、３０度刻みで点Ａ～Ｇが存在しているとする。この図７に示す実空間の魚眼画像から、水平パノラマ画像を生成すると、図８に示す通りとなる。つまり、図８に示すように、点Ａ～Ｇのｘ座標は、図７に示した点Ａ～Ｇの方位と１対１で対応し、各方位はｘ軸上に均等に割り当てられる。
（３）実空間（路面座標系上）における魚眼カメラ８０から物体までの距離は、水平パノラマ画像におけるy座標と１対１で対応する。
　具体的には、図７に示すように、光学中心６０１を中心とした仮想の円６０５と仮想の円６０６とを想定する。このとき、円６０２、円６０５，円６０６それぞれの半径をｒ１、ｒ２、ｒ３とすると、ｒ１＞ｒ２＞ｒ３の関係にある。この場合において、円６０２の円周上の点は、図８に示すように、水平パノラマ画像において、水平線７０１上にある。同様に、円６０５の円周上の点は、水平線７０２上にあり、円６０６の円周上の点は、水平線７０３上にある。つまり、魚眼カメラから物体までの距離は、水平パノラマ画像におけるy座標と１対１で対応する
　なお、実空間での光学中心６０１からの距離と、水平パノラマ画像上でのy座標との関係は、魚眼カメラの内部パラメータ、外部パラメータ、水平パノラマ画像のサイズ、水平パノラマ画像の解像度等によって、一意に決定される。
　そして、エッジペア抽出部３０、変化割合抽出部４０、下端領域抽出部５０、距離変化割合抽出部６０、及び物体検知部７０それぞれによる処理は、上記の（１）～（３）の特徴的性質を活用することによって行われる。
　エッジペア抽出部３０は、本実施の形態においては、水平パノラマ画像にエッジ抽出処理を適用し、画像上の垂直方向を向いたエッジを抽出する。更に、エッジペア抽出部３０は、抽出したエッジの近傍に位置する別の垂直方向を向いたエッジも抽出し、両者をエッジペアとし、エッジペアの存在する矩形の領域を出力する。
　なお、エッジペアの抽出方法としては、オーソドックスに局所的なエッジ抽出フィルタを適用してエッジ画素を求め、その後、直線抽出アルゴリズムを適用する方法が挙げられる。また、ニューラルネットワーク等を用いて直接エッジペアの画素位置を求める方法も挙げられる。また、エッジペア抽出部３０は、複数組のエッジペアを抽出することもできる。その場合は、各ペアについて、以降の処理が独立に実行されれば良い。
　変化割合抽出部４０は、本実施の形態では、エッジペア抽出部３０が抽出したエッジペアのエッジ間の距離をフレーム毎に画像上においてピクセル単位で特定し、そして、例えば、２フレーム分のエッジ間の距離の差分を求め、求めた差分から、エッジ間距離の変化割合を抽出する。なお、エッジ間距離の差分は、３フレーム以上を用いて求められていても良い。
　下端領域抽出部５０は、本実施の形態では、エッジペア抽出部３０によって出力された矩形の境域の画面下側の部分の周辺を探索し、棒状の物体の下端に該当する領域を抽出し、抽出した領域の位置を特定する。
　具体的には、通常、棒状の物体の下端は、水平パノラマ画像上では、下側に凸の円弧形状といった特有の形状を有している。このため、下端領域抽出部５０は、まず、矩形の領域の画面下側の部分の周辺領域において、エッジ特徴抽出を実行する。次いで、下端領域抽出部５０は、エッジ特徴抽出によって抽出されたエッジに対して、事前に棒状の物体の下端の形状を学習した識別器を用いて、スライディングウィンドウ処理を実行し、棒状の物体の下端に該当するエッジを特定し、特定したエッジの水平パノラマ画像上での座標を特定する。なお、識別器の出力する確信度又は類似度の値が、所定の閾値を上回らない場合は、下端領域抽出部５０は、棒状の物体は存在していないと判断する。
　距離変化割合抽出部６０は、本実施の形態では、まず、下端領域抽出部５０によって抽出された、棒状の物体の下端に該当する領域の水平パノラマ画像上での座標から、棒状の物体から魚眼カメラ８０での距離を算出する。
　具体的には、図７に示したように、魚眼カメラ８０から物体までの距離は、水平パノラマ画像におけるy座標と１対１で対応し、更に、この距離とｙ座標との関係は一位に決定されている。このため、距離変化割合抽出部６０は、この距離とｙ座標との関係を用いて、棒状の物体の下端に該当する領域の水平パノラマ画像上での座標を、魚眼カメラ８０から物体までの距離に変換する。
　また、魚眼カメラ８０から物体までの距離とｙ座標との関係は、例えば、距離とｙ座標との具体的な数値の組合せによって作成されたルックアップテーブルによって提供されていても良い。
　次に、距離変化割合抽出部６０は、変化割合抽出部４０による抽出対象となったフレームを対象として、フレーム間における、魚眼カメラ８０から棒状の物体までの距離の差分を求め、求めた差分から、魚眼カメラ８０から棒状の物体までの距離の変化割合を抽出する。なお、上述したように、抽出対象となったいずれかのフレームについて、下端領域抽出部５０が、棒状の物体が存在していないと判断した場合は、距離変化割合抽出部６０は、距離の変化割合は抽出不可能であると判断する。
　物体検知部７０は、上述したように、エッジペア間距離の変化割合と、物体からから魚眼カメラ８０までの距離の変化割合とに基づいて、物体が存在しているかどうかを判定する。以下に具体的に説明する。
　まず、エッジペアの間隔は、２つのエッジに対応する物体の側面の方位差、いいかえると角度に比例する。また、円弧の半径ｒと、中心角θと、円弧長ｌとの間にはｌ＝ｒ×θという比例関係がある。従って、円弧長ｌを棒状の物体の直径と近似し、円弧長ｌは普遍であると考える。そして、中心角θをエッジ間間隔ｗで置き換え、もし、変化割合抽出部４０が抽出したエッジペアが真に棒状の物体の両側面に対応し、下端領域抽出部５０が抽出した位置が真に棒状の物体の下端に対応するとする。このような場合、エッジペア間距離の変化割合と、物体から魚眼カメラ８０までの距離の変化割合とは、逆比例の関係となるはずである。
　そこで、物体検知部７０は、エッジペア間距離の変化割合と、物体から魚眼カメラ８０までの距離の変化割合との積が、所定の範囲内に収まる場合は、このエッジペアおよび下端が棒状の物体に対応するものと考えて、棒状の物体が存在すると判断する。逆に、エッジペア間距離の変化割合と、物体から魚眼カメラ８０までの距離の変化割合との積が、所定の範囲内に収まらない場合、エッジペア又は下端の位置が発見できていない場合は、物体検知部７０は、棒状の物体は存在しないものと判断する。
［装置動作］
　次に、本実施の形態における物体検知装置１００の動作について図９を用いて説明する。図９は、本発明の実施の形態における物体検知装置の動作を示すフロー図である。以下の説明においては、適宜図１を参酌する。また、本実施の形態では、物体検知装置１００を動作させることによって、物体検知方法が実施される。よって、本実施の形態における物体検知方法の説明は、以下の物体検知装置１００の動作説明に代える。
　図９に示すように、最初に、魚眼画像取得部１０が、魚眼カメラ８０から出力された時系列の魚眼画像を取得し、取得した時系列の魚眼画像を水平パノラマ画像生成部２０に入力する（ステップＳ１）。
　次に、水平パノラマ画像生成部２０は、ステップＳ１で取得された時系列の魚眼画像を、それを構成するフレーム毎に、水平パノラマ画像に変換する（ステップＳ２）。
　具体的には、ステップＳ２では、視点補償ベクトル生成部２１が、まず、視点補償ベクトルを生成する。次いで、画像生成部２２が、視点補償ベクトルを用いて変換されたフレームに対して、その水平方向に沿って、接地面に平行な視点を複数設定する。続いて、画像生成部２２は、設定された視点毎に、変換後のフレームに対して、各視点からの視線を軸に含む座標系に基づいて、透視投影近似による歪み補正を行なう。更に、画像生成部２２は、補正後のフレームそれぞれから抽出された垂直方向の画像要素を用いて、１つの新たなフレームを生成し、これを水平パノラマ画像とする。
　次に、エッジペア抽出部３０は、フレーム毎に、水平パノラマ画像から、垂直方向を向いたエッジのペアを抽出する（ステップＳ３）。
　次に、変化割合抽出部４０は、フレーム毎に、ステップＳ３で抽出されたエッジペアのエッジ間距離を特定し、そして、フレーム間における、エッジ間距離の変化割合を抽出する（ステップＳ４）。
　次に、下端領域抽出部５０は、フレーム毎に、エッジペアを構成していると予測される物体の下端に相当する領域を抽出し、抽出した領域の水平パノラマ画像上での位置を特定する。（ステップＳ５）。
　次に、距離変化割合抽出部６０は、フレーム毎に、ステップＳ５で特定した位置から物体から魚眼カメラ８０までの距離を算出し、更に、ステップＳ４と同じフレーム間において、物体から魚眼カメラ８０までの距離の変化割合を抽出する（ステップＳ６）。
　その後、物体検知部７０は、ステップＳ４によって抽出されたエッジ間距離の変化割合と、ステップＳ６によって抽出された物体から魚眼カメラ８０までの距離の変化割合とに基づいて、物体が真に存在するか否かを判定する（ステップＳ７）。
［実施の形態における効果］
　以上のように、本実施の形態によれば、魚眼カメラを用いた場合であっても、棒状の物体を容易に検知することができる。この理由としては、水平パノラマ画像では、実空間上における鉛直方向に伸びる物体は、垂直方向を向き、エッジを容易に抽出できることが挙げられる。また、水平パノラマ画像では、エッジペアにおけるエッジ間距離の変化割合と、物体から魚眼カメラまでの距離の変化割合とを容易に抽出でき、且つ、両者の間に略反比例の関係をあることに基づいて物体の有無を判定できることも挙げられる。
　更に、本実施の形態では、エッジペアのエッジ間距離の変化割合と、物体から魚眼カメラまでの距離の変化割合との関係性を検証することにより、抽出されたエッジペアが、実際の棒状の物体から抽出されているかどうかを高精度に判定することもできる。
［プログラム］
　本実施の形態におけるプログラムは、コンピュータに、図９に示すステップＳ１～Ｓ７を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における物体検知装置１００と物体検知方法とを実現することができる。この場合、コンピュータのプロセッサは、魚眼画像取得部１０、水平パノラマ画像生成部２０、エッジペア抽出部３０、変化割合抽出部４０、下端領域抽出部５０、距離変化割合抽出部６０、及び物体検知部７０として機能し、処理を行なう。また、コンピュータとしては、自動車に搭載されるコンピュータが挙げられるが、本実施の形態では、コンピュータはこれに限定されることはない。コンピュータは、汎用のコンピュータであっても良いし、家電、作業用機器等に搭載されるコンピュータであっても良い。
　また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、魚眼画像取得部１０、水平パノラマ画像生成部２０、エッジペア抽出部３０、変化割合抽出部４０、下端領域抽出部５０、距離変化割合抽出部６０、及び物体検知部７０のいずれかとして機能しても良い。
　ここで、本実施の形態におけるプログラムを実行することによって、物体検知装置１００を実現するコンピュータについて図１０を用いて説明する。図１０は、本発明の実施の形態における物体検知装置を実現するコンピュータの一例を示すブロック図である。
　図１０に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。
　ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
　また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
　データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
　また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact DiskRead Only Memory）などの光学記録媒体が挙げられる。
　なお、本実施の形態における物体検知装置１００は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、物体検知装置１００は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
　上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記１２）によって表現することができるが、以下の記載に限定されるものではない。
（付記１）
　魚眼カメラから出力された時系列の魚眼画像を取得する、魚眼画像取得部と、
　前記時系列の魚眼画像を、それを構成するフレーム毎に、実空間における鉛直方向がフレームの垂直方向に沿って表現され、且つ、フレームの水平方向において方位が等角で表現されている、水平パノラマ画像に変換する、水平パノラマ画像生成部と、
　前記フレーム毎に、前記水平パノラマ画像から、垂直方向のエッジのペアを抽出する、エッジペア抽出部と、
　前記フレーム間における、抽出された前記エッジのペアのエッジ間距離の変化割合を抽出する、変化割合抽出部と、
　前記フレーム毎に、前記エッジのペアを構成していると予測される物体の下端に相当する領域を抽出する、下端領域抽出部と、
　前記フレーム毎に、前記物体の下端に相当する領域の前記水平パノラマ画像上での位置から前記物体から前記魚眼カメラまでの距離を算出し、前記フレーム間における、前記物体から前記魚眼カメラまでの距離の変化割合を抽出する、距離変化割合抽出部と、
　抽出された、前記エッジ間距離の変化割合、及び前記物体から前記魚眼カメラまでの距離の変化割合に基づいて、前記物体が存在しているかどうかを判定する、物体検知部と、
を備えたことを特徴とする物体検知装置。
（付記２）
　前記水平パノラマ画像生成部が、
前記物体の接地面に平行な面を基準とした、前記魚眼カメラの光軸回りのロール角及び光軸のピッチ角に基づいて、前記フレームを、前記物体を前記接地面に平行な方向から撮影して得られる画像に変換する、視点補償ベクトルを生成し、
取得した前記視点補償ベクトルを用いて変換された前記フレームに対して、その水平方向に沿って、前記接地面に平行な視点を複数設定し、
設定された前記視点毎に、変換後の前記フレームに対して、当該視点からの視線を軸に含む座標系に基づいて、透視投影近似による歪み補正を行ない、
補正後の前記フレームそれぞれから抽出された垂直方向の画像要素を用いて、１つの新たなフレームを生成し、これを前記水平パノラマ画像とする、
付記１に記載の物体検知装置。
（付記３）
　前記物体検知部が、前記エッジ間距離の変化割合と、前記物体から前記魚眼カメラまでの距離の変化割合とが反比例の関係にあるときに、前記物体が存在するものと判定する、
付記１または２に記載の物体検知装置。
（付記４）
　前記魚眼カメラは、車両において、光軸方向が、水平面から鉛直方向下向きに傾斜した方向となるように、配置されている、
付記１～３のいずれかに記載の物体検知装置
（付記５）
（ａ）魚眼カメラから出力された時系列の魚眼画像を取得する、ステップと、
（ｂ）前記時系列の魚眼画像を、それを構成するフレーム毎に、実空間における鉛直方向がフレームの垂直方向に沿って表現され、且つ、フレームの水平方向において方位が等角で表現されている、水平パノラマ画像に変換する、ステップと、
（ｃ）前記フレーム毎に、前記水平パノラマ画像から、垂直方向のエッジのペアを抽出する、ステップと、
（ｄ）前記フレーム間における、抽出された前記エッジのペアのエッジ間距離の変化割合を抽出する、ステップと、
（ｅ）前記フレーム毎に、前記エッジのペアを構成していると予測される物体の下端に相当する領域を抽出する、ステップと、
（ｆ）前記フレーム毎に、前記物体の下端に相当する領域の前記水平パノラマ画像上での位置から前記物体から前記魚眼カメラまでの距離を算出し、前記フレーム間における、前記物体から前記魚眼カメラまでの距離の変化割合を抽出する、ステップと、
（ｇ）抽出された、前記エッジ間距離の変化割合、及び前記物体から前記魚眼カメラまでの距離の変化割合に基づいて、前記物体が存在しているかどうかを判定する、ステップと、
を有することを特徴とする物体検知方法。
（付記６）
　前記（ｂ）のステップにおいて、
前記物体の接地面に平行な面を基準とした、前記魚眼カメラの光軸回りのロール角及び光軸のピッチ角に基づいて、前記フレームを、前記物体を前記接地面に平行な方向から撮影して得られる画像に変換する、視点補償ベクトルを生成し、
取得した前記視点補償ベクトルを用いて変換された前記フレームに対して、その水平方向に沿って、前記接地面に平行な視点を複数設定し、
設定された前記視点毎に、変換後の前記フレームに対して、当該視点からの視線を軸に含む座標系に基づいて、透視投影近似による歪み補正を行ない、
補正後の前記フレームそれぞれから抽出された垂直方向の画像要素を用いて、１つの新たなフレームを生成し、これを前記水平パノラマ画像とする、
付記５に記載の物体検知方法。
（付記７）
　前記（ｇ）のステップにおいて、前記エッジ間距離の変化割合と、前記物体から前記魚眼カメラまでの距離の変化割合とが反比例の関係にあるときに、前記物体が存在するものと判定する、
付記５または６に記載の物体検知方法。
（付記８）
　前記魚眼カメラは、車両において、光軸方向が、水平面から鉛直方向下向きに傾斜した方向となるように、配置されている、
付記５～７のいずれかに記載の物体検知方法
（付記９）
コンピュータに、
（ａ）魚眼カメラから出力された時系列の魚眼画像を取得する、ステップと、
（ｂ）前記時系列の魚眼画像を、それを構成するフレーム毎に、実空間における鉛直方向がフレームの垂直方向に沿って表現され、且つ、フレームの水平方向において方位が等角で表現されている、水平パノラマ画像に変換する、ステップと、
（ｃ）前記フレーム毎に、前記水平パノラマ画像から、垂直方向のエッジのペアを抽出する、ステップと、
（ｄ）前記フレーム間における、抽出された前記エッジのペアのエッジ間距離の変化割合を抽出する、ステップと、
（ｅ）前記フレーム毎に、前記エッジのペアを構成していると予測される物体の下端に相当する領域を抽出する、ステップと、
（ｆ）前記フレーム毎に、前記物体の下端に相当する領域の前記水平パノラマ画像上での位置から前記物体から前記魚眼カメラまでの距離を算出し、前記フレーム間における、前記物体から前記魚眼カメラまでの距離の変化割合を抽出する、ステップと、
（ｇ）抽出された、前記エッジ間距離の変化割合、及び前記物体から前記魚眼カメラまでの距離の変化割合に基づいて、前記物体が存在しているかどうかを判定する、ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
（付記１０）
　前記（ｂ）のステップにおいて、
前記物体の接地面に平行な面を基準とした、前記魚眼カメラの光軸回りのロール角及び光軸のピッチ角に基づいて、前記フレームを、前記物体を前記接地面に平行な方向から撮影して得られる画像に変換する、視点補償ベクトルを生成し、
取得した前記視点補償ベクトルを用いて変換された前記フレームに対して、その水平方向に沿って、前記接地面に平行な視点を複数設定し、
設定された前記視点毎に、変換後の前記フレームに対して、当該視点からの視線を軸に含む座標系に基づいて、透視投影近似による歪み補正を行ない、
補正後の前記フレームそれぞれから抽出された垂直方向の画像要素を用いて、１つの新たなフレームを生成し、これを前記水平パノラマ画像とする、
付記９に記載のコンピュータ読み取り可能な記録媒体。
（付記１１）
　前記（ｇ）のステップにおいて、前記エッジ間距離の変化割合と、前記物体から前記魚眼カメラまでの距離の変化割合とが反比例の関係にあるときに、前記物体が存在するものと判定する、
付記９または１０に記載のコンピュータ読み取り可能な記録媒体。
（付記１２）
　前記魚眼カメラは、車両において、光軸方向が、水平面から鉛直方向下向きに傾斜した方向となるように、配置されている、
付記９～１１のいずれかに記載のコンピュータ読み取り可能な記録媒体。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　以上のように、本発明によれば、魚眼カメラを用いた場合であっても、撮影画像からの棒状の物体の検知を容易に行うことができる。本発明は、魚眼カメラが用いられる種々の分野に有用である。
　１０　魚眼画像取得部
　２０　水平パノラマ画像生成部
　２１　視点補償ベクトル生成部
　２２　画像生成部
　３０　エッジペア抽出部
　４０　変化割合抽出部
　５０　下端領域抽出部
　６０　距離変化割合抽出部
　７０　物体検知部
　１００　物体検知装置
　１１０　コンピュータ
　１１１　ＣＰＵ
　１１２　メインメモリ
　１１３　記憶装置
　１１４　入力インターフェイス
　１１５　表示コントローラ
　１１６　データリーダ／ライタ
　１１７　通信インターフェイス
　１１８　入力機器
　１１９　ディスプレイ装置
　１２０　記録媒体
　１２１　バス
　２０１　棒状の物体
　３０１　魚眼画像上における曲がった線分
　４０１　水平パノラマ画像上の直線状の線分
　６０１　光学中心（魚眼カメラの位置を鉛直方向に沿って地面に投射した位置）
　６０２、６０５、６０６　仮想の円
　６０３　光学中心からみた９時の方位
　６０４　光学中心からみた３時の方位
　６０５、６０６　光学中心からの等距離線の一例
　７０１、７０２、７０３　水平線

Claims (12)

  1. 　魚眼カメラから出力された時系列の魚眼画像を取得する、魚眼画像取得部と、
    　前記時系列の魚眼画像を、それを構成するフレーム毎に、実空間における鉛直方向がフレームの垂直方向に沿って表現され、且つ、フレームの水平方向において方位が等角で表現されている、水平パノラマ画像に変換する、水平パノラマ画像生成部と、
    　前記フレーム毎に、前記水平パノラマ画像から、垂直方向のエッジのペアを抽出する、エッジペア抽出部と、
    　前記フレーム間における、抽出された前記エッジのペアのエッジ間距離の変化割合を抽出する、変化割合抽出部と、
    　前記フレーム毎に、前記エッジのペアを構成していると予測される物体の下端に相当する領域を抽出する、下端領域抽出部と、
    　前記フレーム毎に、前記物体の下端に相当する領域の前記水平パノラマ画像上での位置から前記物体から前記魚眼カメラまでの距離を算出し、前記フレーム間における、前記物体から前記魚眼カメラまでの距離の変化割合を抽出する、距離変化割合抽出部と、
    　抽出された、前記エッジ間距離の変化割合、及び前記物体から前記魚眼カメラまでの距離の変化割合に基づいて、前記物体が存在しているかどうかを判定する、物体検知部と、
    を備えたことを特徴とする物体検知装置。
  2. 　前記水平パノラマ画像生成部が、
    前記物体の接地面に平行な面を基準とした、前記魚眼カメラの光軸回りのロール角及び光軸のピッチ角に基づいて、前記フレームを、前記物体を前記接地面に平行な方向から撮影して得られる画像に変換する、視点補償ベクトルを生成し、
    取得した前記視点補償ベクトルを用いて変換された前記フレームに対して、その水平方向に沿って、前記接地面に平行な視点を複数設定し、
    設定された前記視点毎に、変換後の前記フレームに対して、当該視点からの視線を軸に含む座標系に基づいて、透視投影近似による歪み補正を行ない、
    補正後の前記フレームそれぞれから抽出された垂直方向の画像要素を用いて、１つの新たなフレームを生成し、これを前記水平パノラマ画像とする、
    請求項１に記載の物体検知装置。
  3. 　前記物体検知部が、前記エッジ間距離の変化割合と、前記物体から前記魚眼カメラまでの距離の変化割合とが反比例の関係にあるときに、前記物体が存在するものと判定する、
    請求項１または２に記載の物体検知装置。
  4. 　前記魚眼カメラは、車両において、光軸方向が、水平面から鉛直方向下向きに傾斜した方向となるように、配置されている、
    請求項１～３のいずれかに記載の物体検知装置。
  5. （ａ）魚眼カメラから出力された時系列の魚眼画像を取得する、ステップと、
    （ｂ）前記時系列の魚眼画像を、それを構成するフレーム毎に、実空間における鉛直方向がフレームの垂直方向に沿って表現され、且つ、フレームの水平方向において方位が等角で表現されている、水平パノラマ画像に変換する、ステップと、
    （ｃ）前記フレーム毎に、前記水平パノラマ画像から、垂直方向のエッジのペアを抽出する、ステップと、
    （ｄ）前記フレーム間における、抽出された前記エッジのペアのエッジ間距離の変化割合を抽出する、ステップと、
    （ｅ）前記フレーム毎に、前記エッジのペアを構成していると予測される物体の下端に相当する領域を抽出する、ステップと、
    （ｆ）前記フレーム毎に、前記物体の下端に相当する領域の前記水平パノラマ画像上での位置から前記物体から前記魚眼カメラまでの距離を算出し、前記フレーム間における、前記物体から前記魚眼カメラまでの距離の変化割合を抽出する、ステップと、
    （ｇ）抽出された、前記エッジ間距離の変化割合、及び前記物体から前記魚眼カメラまでの距離の変化割合に基づいて、前記物体が存在しているかどうかを判定する、ステップと、
    を有することを特徴とする物体検知方法。
  6. 　前記（ｂ）のステップにおいて、
    前記物体の接地面に平行な面を基準とした、前記魚眼カメラの光軸回りのロール角及び光軸のピッチ角に基づいて、前記フレームを、前記物体を前記接地面に平行な方向から撮影して得られる画像に変換する、視点補償ベクトルを生成し、
    取得した前記視点補償ベクトルを用いて変換された前記フレームに対して、その水平方向に沿って、前記接地面に平行な視点を複数設定し、
    設定された前記視点毎に、変換後の前記フレームに対して、当該視点からの視線を軸に含む座標系に基づいて、透視投影近似による歪み補正を行ない、
    補正後の前記フレームそれぞれから抽出された垂直方向の画像要素を用いて、１つの新たなフレームを生成し、これを前記水平パノラマ画像とする、
    請求項５に記載の物体検知方法。
  7. 　前記（ｇ）のステップにおいて、前記エッジ間距離の変化割合と、前記物体から前記魚眼カメラまでの距離の変化割合とが反比例の関係にあるときに、前記物体が存在するものと判定する、
    請求項５または６に記載の物体検知方法。
  8. 　前記魚眼カメラは、車両において、光軸方向が、水平面から鉛直方向下向きに傾斜した方向となるように、配置されている、
    請求項５～７のいずれかに記載の物体検知方法
  9. コンピュータに、
    （ａ）魚眼カメラから出力された時系列の魚眼画像を取得する、ステップと、
    （ｂ）前記時系列の魚眼画像を、それを構成するフレーム毎に、実空間における鉛直方向がフレームの垂直方向に沿って表現され、且つ、フレームの水平方向において方位が等角で表現されている、水平パノラマ画像に変換する、ステップと、
    （ｃ）前記フレーム毎に、前記水平パノラマ画像から、垂直方向のエッジのペアを抽出する、ステップと、
    （ｄ）前記フレーム間における、抽出された前記エッジのペアのエッジ間距離の変化割合を抽出する、ステップと、
    （ｅ）前記フレーム毎に、前記エッジのペアを構成していると予測される物体の下端に相当する領域を抽出する、ステップと、
    （ｆ）前記フレーム毎に、前記物体の下端に相当する領域の前記水平パノラマ画像上での位置から前記物体から前記魚眼カメラまでの距離を算出し、前記フレーム間における、前記物体から前記魚眼カメラまでの距離の変化割合を抽出する、ステップと、
    （ｇ）抽出された、前記エッジ間距離の変化割合、及び前記物体から前記魚眼カメラまでの距離の変化割合に基づいて、前記物体が存在しているかどうかを判定する、ステップと、
    を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
  10. 　前記（ｂ）のステップにおいて、
    前記物体の接地面に平行な面を基準とした、前記魚眼カメラの光軸回りのロール角及び光軸のピッチ角に基づいて、前記フレームを、前記物体を前記接地面に平行な方向から撮影して得られる画像に変換する、視点補償ベクトルを生成し、
    取得した前記視点補償ベクトルを用いて変換された前記フレームに対して、その水平方向に沿って、前記接地面に平行な視点を複数設定し、
    設定された前記視点毎に、変換後の前記フレームに対して、当該視点からの視線を軸に含む座標系に基づいて、透視投影近似による歪み補正を行ない、
    補正後の前記フレームそれぞれから抽出された垂直方向の画像要素を用いて、１つの新たなフレームを生成し、これを前記水平パノラマ画像とする、
    請求項９に記載のコンピュータ読み取り可能な記録媒体。
  11. 　前記（ｇ）のステップにおいて、前記エッジ間距離の変化割合と、前記物体から前記魚眼カメラまでの距離の変化割合とが反比例の関係にあるときに、前記物体が存在するものと判定する、
    請求項９または１０に記載のコンピュータ読み取り可能な記録媒体。
  12. 　前記魚眼カメラは、車両において、光軸方向が、水平面から鉛直方向下向きに傾斜した方向となるように、配置されている、
    請求項９～１１のいずれかに記載のコンピュータ読み取り可能な記録媒体。
PCT/JP2017/036548 2017-10-06 2017-10-06 物体検知装置、物体検知方法、及びコンピュータ読み取り可能な記録媒体 WO2019069469A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/753,650 US11417080B2 (en) 2017-10-06 2017-10-06 Object detection apparatus, object detection method, and computer-readable recording medium
JP2019546515A JP6874850B2 (ja) 2017-10-06 2017-10-06 物体検知装置、物体検知方法、及びプログラム
PCT/JP2017/036548 WO2019069469A1 (ja) 2017-10-06 2017-10-06 物体検知装置、物体検知方法、及びコンピュータ読み取り可能な記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/036548 WO2019069469A1 (ja) 2017-10-06 2017-10-06 物体検知装置、物体検知方法、及びコンピュータ読み取り可能な記録媒体

Publications (1)

Publication Number Publication Date
WO2019069469A1 true WO2019069469A1 (ja) 2019-04-11

Family

ID=65994463

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/036548 WO2019069469A1 (ja) 2017-10-06 2017-10-06 物体検知装置、物体検知方法、及びコンピュータ読み取り可能な記録媒体

Country Status (3)

Country Link
US (1) US11417080B2 (ja)
JP (1) JP6874850B2 (ja)
WO (1) WO2019069469A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11288820B2 (en) * 2018-06-09 2022-03-29 Lot Spot Inc. System and method for transforming video data into directional object count
US11282225B2 (en) * 2018-09-10 2022-03-22 Mapbox, Inc. Calibration for vision in navigation systems
JP7192582B2 (ja) * 2019-03-11 2022-12-20 オムロン株式会社 物体追跡装置および物体追跡方法
US11010641B2 (en) 2019-03-14 2021-05-18 Mapbox, Inc. Low power consumption deep neural network for simultaneous object detection and semantic segmentation in images on a mobile computing device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009093332A (ja) * 2007-10-05 2009-04-30 Nissan Motor Co Ltd 車両周辺画像処理装置及び車両周辺状況提示方法
JP2013127739A (ja) * 2011-12-19 2013-06-27 Dainippon Printing Co Ltd 画像処理装置、画像処理方法、画像処理装置用プログラム、画像表示装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4864295B2 (ja) * 2003-06-02 2012-02-01 富士フイルム株式会社 画像表示システム、画像表示装置およびプログラム
JP2005044196A (ja) 2003-07-23 2005-02-17 Sharp Corp 移動体周辺監視装置、自動車、移動体周辺監視方法、制御プログラムおよび可読記録媒体
WO2011121741A1 (ja) * 2010-03-30 2011-10-06 富士通株式会社 画像生成装置、画像生成プログラム、合成テーブル生成装置および合成テーブル生成プログラム
JP2011210087A (ja) 2010-03-30 2011-10-20 Panasonic Corp 車両周囲監視装置および車両周囲監視方法
CA2763649A1 (fr) * 2012-01-06 2013-07-06 9237-7167 Quebec Inc. Camera panoramique
JP6261266B2 (ja) * 2013-10-02 2018-01-17 東芝アルパイン・オートモティブテクノロジー株式会社 移動体検知装置
JP6434209B2 (ja) * 2013-12-20 2018-12-05 株式会社リコー 画像生成装置、画像生成方法、およびプログラム
US9906720B2 (en) * 2014-12-05 2018-02-27 Ricoh Company, Ltd. Service system, information processing apparatus, and service providing method
JP6526449B2 (ja) 2015-03-05 2019-06-05 株式会社東芝 道路附属物検出装置および道路附属物検出方法
MX368852B (es) * 2015-03-31 2019-10-18 Thermal Imaging Radar Llc Configuración de diferentes sensibilidades de modelos de fondo mediante regiones definidas por el usuario y filtros de fondo.
US20170195561A1 (en) * 2016-01-05 2017-07-06 360fly, Inc. Automated processing of panoramic video content using machine learning techniques
US10523865B2 (en) * 2016-01-06 2019-12-31 Texas Instruments Incorporated Three dimensional rendering for surround view using predetermined viewpoint lookup tables
JP6611353B2 (ja) * 2016-08-01 2019-11-27 クラリオン株式会社 画像処理装置、外界認識装置
WO2018235300A1 (ja) * 2017-06-23 2018-12-27 日本電気株式会社 物体検知装置、物体検知方法、及びコンピュータ読み取り可能な記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009093332A (ja) * 2007-10-05 2009-04-30 Nissan Motor Co Ltd 車両周辺画像処理装置及び車両周辺状況提示方法
JP2013127739A (ja) * 2011-12-19 2013-06-27 Dainippon Printing Co Ltd 画像処理装置、画像処理方法、画像処理装置用プログラム、画像表示装置

Also Published As

Publication number Publication date
US20200242391A1 (en) 2020-07-30
US11417080B2 (en) 2022-08-16
JP6874850B2 (ja) 2021-05-19
JPWO2019069469A1 (ja) 2020-10-22

Similar Documents

Publication Publication Date Title
WO2017217411A1 (ja) 画像処理装置、画像処理方法、及び記憶媒体
CN113486796B (zh) 无人车位置检测方法、装置、设备、存储介质及车辆
CN107577988B (zh) 实现侧方车辆定位的方法、装置及存储介质、程序产品
US10594941B2 (en) Method and device of image processing and camera
JP6891954B2 (ja) 物体検知装置、物体検知方法、及びプログラム
JP6874850B2 (ja) 物体検知装置、物体検知方法、及びプログラム
US8908991B2 (en) Image processing apparatus, image processing method and storage medium
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
KR101808092B1 (ko) 어라운드뷰 모니터링 영상 자동 보정 및 생성 장치 및 방법
WO2018102990A1 (en) System and method for rectifying a wide-angle image
JP6031819B2 (ja) 画像処理装置、画像処理方法
JP2010086267A (ja) 車両用画像処理装置
CN107209930B (zh) 环视图像稳定方法和装置
JP6795224B2 (ja) 移動体検知装置、移動体検知方法、及びプログラム
KR101705558B1 (ko) Avm 시스템의 공차 보정 장치 및 방법
CN108961182B (zh) 针对视频图像的竖直方向灭点检测方法及视频扭正方法
JP5155204B2 (ja) 白線検出装置
EP3193305B1 (en) Method and device for displaying a front-view of a vehicle's surrounding and respective vehicle
KR102132527B1 (ko) Avm 시스템 및 avm 시스템에서, 영상 사이의 매칭점 검출 방법
KR101431378B1 (ko) 전방위 영상의 생성 방법 및 장치
Bacchiani et al. Parking slots detection on the equivalence sphere with a progressive probabilistic Hough transform
JP2009077022A (ja) 運転支援システム及び車両
JP6492603B2 (ja) 画像処理装置、システム、画像処理方法、およびプログラム
CN111815512A (zh) 用于检测失真图像中的对象的方法、系统和设备
WO2023176695A1 (ja) 移動体検知装置、移動体検知方法、及びコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17928016

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019546515

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17928016

Country of ref document: EP

Kind code of ref document: A1