JP7138265B1 - 物体検知装置、物体検知方法およびプログラム - Google Patents

物体検知装置、物体検知方法およびプログラム Download PDF

Info

Publication number
JP7138265B1
JP7138265B1 JP2022539302A JP2022539302A JP7138265B1 JP 7138265 B1 JP7138265 B1 JP 7138265B1 JP 2022539302 A JP2022539302 A JP 2022539302A JP 2022539302 A JP2022539302 A JP 2022539302A JP 7138265 B1 JP7138265 B1 JP 7138265B1
Authority
JP
Japan
Prior art keywords
image
luminance
group
unit
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022539302A
Other languages
English (en)
Other versions
JPWO2022264894A1 (ja
Inventor
正樹 金丸
哲郎 奥山
良直 河合
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nuvoton Technology Corp Japan
Original Assignee
Nuvoton Technology Corp Japan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nuvoton Technology Corp Japan filed Critical Nuvoton Technology Corp Japan
Priority claimed from PCT/JP2022/023092 external-priority patent/WO2022264894A1/ja
Application granted granted Critical
Publication of JP7138265B1 publication Critical patent/JP7138265B1/ja
Publication of JPWO2022264894A1 publication Critical patent/JPWO2022264894A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

物体検知装置（１００）は、同じ撮像領域に対応する第１輝度画像と距離画像とを取得する第１輝度取得部（１１）および距離取得部（１３）と、距離画像において、同一物体とみなせる一定範囲内にある画素の集合であるグループを生成し、グループに含まれる画素の数が第１しきい値以上である場合、当該グループを、クラスタと決定する第１クラスタ化部（１０１）と、グループに含まれる画素の数が第１しきい値より少ない場合、第１輝度画像中の画素群であってグループに対応する画素群の輝度が第２しきい値以上である場合に当該グループをクラスタと決定する第２クラスタ化部（１０２）と、クラスタに基づいて距離画像中の物体を検知し、検知した物体を示す３Ｄ物体情報を生成する３Ｄ物体検知部（１７）と、を備える。

Description

本開示は、物体検知装置、物体検知方法およびプログラム装置に関する。
特許文献１は、構築されたモデルを利用して点群データを復旧するための方法および装置を開示している。特許文献２は、車両の環境情報を検出する方法およびシステムを開示している。
特開２０１９－１４９１４９号公報 特表２０１９－５３３１３３号公報
しかしながら、撮像した画像から得られる三次元点群データにおいて、撮像された物体の反射率が低い場合に、当該物体を検知することが困難であるという問題がある。例えば、撮像された画像にトラクターなどの農機が含まれている場合には、農機のボンネットやヘッドライトなどの物体は反射率が高いので比較的容易に検知できる。これに対して、農機のタイヤ、おもり、窓等の物体は反射率が低く、検知することが困難である。農機以外でも、低い反射率を有する物体は、検知することが困難である。
そこで、本開示は、低い反射率を有する物体を検知する能力を高めた物体検知装置、物体検知方法およびプログラムを提供する。
本開示の一態様に係る物体検知装置は、距離画像を取得する距離取得部と、前記距離画像と同じ撮像領域に対応する第１輝度画像を取得する第１輝度取得部と、前記距離画像において、同一物体とみなせる一定範囲内にある画素の集合であるグループを生成し、前記グループに含まれる画素の数が第１しきい値以上である場合、当該グループを、クラスタと決定する第１クラスタ化部と、前記グループに含まれる画素の数が第１しきい値より少ない場合、前記第１輝度画像中の画素群であって前記グループに対応する画素群の輝度が第２しきい値以上である場合に、当該グループをクラスタと決定する第２クラスタ化部と、前記クラスタに基づいて前記距離画像中の物体を検知し、検知した物体を示す３Ｄ物体情報を生成する３Ｄ物体検知部と、を備える。
また、本開示の一態様に係る物体検知方法は、同じ撮像領域に対応する第１輝度画像と距離画像とを取得し、前記距離画像において同一物体とみなせる一定範囲内にある画素の集合であるグループを生成し、前記グループに含まれる画素の数が第１しきい値以上である場合、当該グループを、物体を構成するクラスタと決定する第１クラスタ化処理を実施し、前記グループに含まれる画素の数が第１しきい値より少ない場合に、前記第１輝度画像中の画素群であって、前記グループに対応する画素群における輝度が第２しきい値以上である場合に、当該グループをクラスタと決定する第２クラスタ化処理を実施し、前記クラスタに基づいて前記距離画像中の物体を検知し、検知した物体を示す３Ｄ物体情報を生成する。
また、本開示の一態様に係るプログラムは、上記の物体検知方法をコンピュータに実行させる。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本開示の物体検知装置、物体検知方法およびプログラムは、低い反射率を有する物体を検知する能力を高めることができる。
図１は、実施の形態１に係る物体検知装置の構成例を示すブロック図である。 図２は、実施の形態１に係るイメージセンサの画素の配列例を示す図である。 図３は、実施の形態１に係る第１クラスタ化処理および第２クラスタ化処理の具体例を示すフローチャートである。 図４は、実施の形態１に係る第１クラスタ化処理および第２クラスタ化処理の変形例を示すフローチャートである。 図５は、実施の形態２に係る物体検知装置の構成例を示すブロック図である。 図６は、実施の形態２に係る情報処理システムの詳細な構成例を示すブロック図である。 図７は、実施の形態２に係る物体検知装置の動作例を示すフローチャートである。
以下、実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。
（実施の形態１）
［１．１ 構成］
まず、本実施の形態に係る物体検知装置１００の構成について説明する。図１は、実施の形態１に係る物体検知装置１００の構成例を示すブロック図である。同図の物体検知装置１００は、例えば移動体に搭載され、移動体の前方、側方、後方などに設定された監視領域を撮像し、撮像した二次元画像および三次元画像に含まれる物体を検知する装置である。そのため、物体検知装置１００は、イメージセンサ３、発光部４、信号処理部５、および、情報処理システム１を備える。以下では、二次元画像を２Ｄ画像と略し、三次元画像を３Ｄ画像と略すことがある。
イメージセンサ３は、行列状に配置された複数の画素を有する固体撮像素子であり、信号処理部５の制御に従って画素信号を生成する。イメージセンサ３の画素配列の一例を図２に示す。図２では、イメージセンサ３は、第１画素３１および第２画素３２を有している。図２では、可視光に感度を持つ第１画素３１に「白黒」の「白」の意味で「Ｗ」の文字を付している。第１画素３１には赤外光を抑制する光学的フィルタが配置されていてもよい。また、赤外光に感度を持つ第２画素３２に「赤外」の意味で「ＩＲ」の文字を付している。第２画素３２には、可視光を抑制する光学的フィルタが配置されていてもよい。
なお、イメージセンサ３の画素配列は、図２に限らない。例えば、第１画素３１と第２画素３２とが行方向に交互に配列されてもよい。第１画素３１と第２画素３２とが行方向および列方向に交互に配列されてもよい。図２では、第１画素３１の行と第２画素３２の行とが同数であるが、異なっていてもよい。また、イメージセンサ３は、赤色光に感度を持つＲ画素と、緑色光に感度を持つＧ画素と、青色光に感度を持つＢ画素と、赤外光に感度を持つＩＲ画素とを備えてもよい。この場合、Ｒ画素、Ｇ画素、Ｂ画素およびＩＲ画素を正方配列してもよい。
発光部４は、信号処理部５からのタイミング信号に従って赤外光であるパルス光を発する。発光部４は、イメージセンサ３の第２画素３２が感度を持つ波長域の光、つまり赤外光を出力する。発光部４には、例えば、発光ダイオード（ＬＥＤ：Light Emitting Diode）またはレーザダイオード等の、比較的応答速度が速く高速点滅可能な素子が用いられる。
信号処理部５は、イメージセンサ３を制御することにより輝度画像と距離画像とを生成する。具体的には、信号処理部５は、輝度画像としてＢＷ輝度画像Ｄ１およびＩＲ輝度画像Ｄ２を生成し、距離画像として距離画像Ｄ３を生成する。ここで、ＢＷは黒白の略である。ＩＲは、赤外線の略である。より具体的には、信号処理部５は、第１画素３１から得られる画素信号を用いてＢＷ輝度画像Ｄ１を生成する。また、信号処理部５は、第２画素３２から得られる画素信号を用いてＩＲ輝度画像を生成する、さらに、信号処理部５は、イメージセンサ３を用いてＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式による測距を制御することにより、第２画素３２からの画素信号から距離画像Ｄ３を生成する。距離画像Ｄ３は、イメージセンサ３から物体までの距離値を示す画素の集まりである。つまり、距離画像Ｄ３を構成する各画素は、イメージセンサ３から、発光部４のパルス光を反射した物体までの距離値を示す。
以下、信号処理部５が、距離画像Ｄ３を求めるための具体的な処理について、一例を挙げて簡単に説明する。本実施形態では、発光部４による投光（発光）からイメージセンサ３による反射波の受光までの時間を計測するために、信号処理部５は、発光部４から強度を変調した光（以下、「強度変調光」または「パルス光」ともいう）を監視領域に出力させる。その上で、信号処理部５は、イメージセンサ３による受光時点の強度変化の位相と、発光部４からの投光時点の強度変化の位相との位相差を用いて時間を計測する。強度変調光における強度変化の周波数が一定であれば、位相差は、比較的簡単な演算で、物体までの距離に換算される。
すなわち、強度が変化する強度変調光を発光部４から白線に投光し、イメージセンサ３の１つの第２画素３２が受光する光の強度が変化しているとする。同位相の時間差は物体までの距離を反映しているから、光速をｃ［ｍ／ｓ］として、時間差Δｔ［ｓ］を用いると、物体までの距離Ｌは以下の式１で表される。
Ｌ＝ｃ・Δｔ／２ （式１）
また、光の強度を変調する変調信号の周波数をｆ［Ｈｚ］とし、位相差をφ［ｒａｄ］とすれば、時間差Δｔは以下の式２で表される。
Δｔ＝φ／２πｆ （式２）
よって、位相差φを求めることにより、物体までの距離Ｌが求まることになる。
そして、位相差φを求めるには、イメージセンサ３の第２画素３２毎に、変調信号の複数の異なる位相について受光強度を求めればよい。実際には、イメージセンサ３の第２画素３２毎に、所定の位相幅（時間幅）を有する各位相区間の受光光量を検出し、この受光光量に相当する受光出力を位相差φの演算に用いる。一例として、位相区間を９０度間隔とすれば、変調信号の１周期について位相間隔が等しい４つの位相区間が周期的に得られる。この場合に、位相区間毎の受光光量をＣ０～Ｃ３とすれば、位相差φは、以下の式３で表される。
φ＝ｔａｎ－１｛（Ｃ０－Ｃ２）／（Ｃ１－Ｃ３）｝ （式３）
受光光量Ｃ０～Ｃ３を変調信号のいずれの位相に対応させるかによって、位相差φの符号は変化するが、位相差φは絶対値を用いればよい。
このように、発光部４から強度変調光を投光し、イメージセンサ３において特定の位相区間毎の受光光量を検出する必要があるから、信号処理部５が設けられる。信号処理部５は、上述したような強度変調光が投光されるように発光部４に変調信号を与えて発光部４を駆動する。イメージセンサ３からは４つの位相区間毎の受光光量Ｃ０～Ｃ３に対応した受光出力が得られ、イメージセンサ３の受光出力（電気信号）が信号処理部５に入力される。信号処理部５は、受光出力を用いて物体までの距離を求める演算を行う。このとき、信号処理部５は、変調信号に同期した基準信号に基づいて生成した読出信号をイメージセンサ３に与えて、受光出力を読み出す。
図１の情報処理システム１は、信号処理部５で生成された輝度画像および距離画像中の物体を検知する。そのため情報処理システム１は、ＢＷ輝度取得部１１、ＩＲ輝度取得部１２、距離取得部１３、座標変換部１５、第１クラスタ化部１０１、第２クラスタ化部１０２、分離部１６、三次元物体検知部１７、および、フュージョン部１８を備える。なお、ＢＷ輝度取得部１１は、上記の第１輝度取得部および後述の第２輝度取得部のうちの一方の具体例である。ＩＲ輝度取得部１２は、上記の第１輝度取得部および後述の第２輝度取得部のうちの他方の具体例である。情報処理システム１は、１以上のプロセッサおよび１以上のメモリを有するコンピュータシステムで構成されてもよい。このコンピュータシステムは、ＳｏＣ（System on a Chip）、サーバ、およびクラウドコンピューティングのいずれかであってもよい。プロセッサは、メモリに記録されているプログラムを実行することにより、情報処理システム１の機能を実現する。プログラムは、予めメモリに記録されていてもよいし、メモリカードのような非一時的記録媒体に記録されて提供されたり、電気通信回線を通して提供されたりしてもよい。言い換えれば、上記プログラムは、１以上のプロセッサを、情報処理システム１として機能させるためのプログラムである。
ＢＷ輝度取得部１１は、信号処理部５からＢＷ輝度画像Ｄ１を取得する。
ＩＲ輝度取得部１２は、信号処理部５からＩＲ輝度画像Ｄ２を取得する。
距離取得部１３は、信号処理部５から距離画像Ｄ３を取得する。
座標変換部１５は、距離画像Ｄ３を、Ｘ、Ｙ、Ｚの直交座標系に座標変換処理を行う。具体的には、座標変換部１５は、距離画像Ｄ３に基づいて、Ｘ、Ｙ、Ｚの座標値を持つ点からなる点群データを生成する。点群データは、ポイントクラウドとも呼ばれる。以下、座標変換部１５から出力される座標変換後の距離画像Ｄ３つまり点群データを点群データｄ３と呼ぶ。座標変換部１５は、距離画像Ｄ３と点群データｄ３を分離部１６に出力する。
分離部１６は、物体と、物体の周囲に位置する周辺領域と、を分離する。「周辺領域」は、例えば、物体の有無を検知する際に、検知対象から除外する路面、地面、床面等である。言い換えれば、分離部１６は、物体を含む路面等以外の領域と路面等の周辺領域とを分離する。分離部１６は、座標変換部１５で生成された点群データｄ３に基づいて、物体と、周辺領域と、を分離する。
本実施形態では、分離部１６は、座標変換部１５で生成された点群データｄ３に基づいて、まず、点群データｄ３および距離画像Ｄ３のうち周辺領域に相当する成分を抽出する。そして、分離部１６は、抽出した周辺領域を距離画像Ｄ３から除去することにより、距離画像Ｄ３のうちの物体に相当する成分を、第１クラスタ化部１０１に出力する。また、分離部１６は、抽出した周辺領域を点群データｄ３から除去することにより、点群データｄ３のうちの物体に相当する成分を、三次元物体検知部１７に出力する。ここで、周辺領域は、距離画像Ｄ３における物体以外の全ての領域であって、物体の近傍の領域だけでなく、物体の遠方の領域も含む。
第１クラスタ化部１０１は、分離部１６から入力される距離画像Ｄ３において、第１クラスタ化処理を行う。具体的には、第１クラスタ化部１０１は、分離部１６から入力される距離画像Ｄ３において、同一物体とみなせる一定範囲内にある画素の集合であるグループを生成し、グループに含まれる画素の数が第１しきい値以上である場合、当該グループを、クラスタと決定する。
第２クラスタ化部１０２は、分離部１６から入力される距離画像Ｄ３、および、ＩＲ輝度取得部から入力されるＩＲ輝度画像Ｄ２において、第２クラスタ化処理を行う。具体的には、第２クラスタ化部１０２は、第１クラスタ化部１０１で生成されたグループに含まれる画素の数が第１しきい値より少ない場合に、ＩＲ輝度画像Ｄ２の画素群であって、グループに対応する画素群の輝度が第２しきい値以上である場合に、当該グループをクラスタと決定する。これにより、低い反射率を有する物体の一部または全部が第１クラスタ化処理ではクラスタとして検出されない場合に、第２クラスタ化処理ではクラスタとして検出されることが可能になる。
なお、第２クラスタ化処理で用いられる画素群の輝度は、画素群に含まれる画素の平均的な輝度であってもよいし、画素群に含まれる画素の最大輝度であってもよい。言い換えれば、低い反射率を有する物体に対して、平均的な輝度を基準にしてクラスタを検出してもよいし、最大値を基準にしてクラスタを検出してもよい。
また、第２クラスタ化処理で用いられる画素群の輝度は、画素群の平均輝度および最大輝度の両者を含んでいてもよい。この場合、第２しきい値は、平均用しきい値と、最大用しきい値とを含む。第２クラスタ化部１０２は、平均的な輝度が平均用しきい値以上であり、かつ、最大輝度が最大用しきい値以上であるとき、当該グループをクラスタと決定してもよい。こうすれば、低い反射率を有する物体に対して、平均輝度および最大輝度の両者を基準にするのでクラスタ検知能力を高めることができる。
なお、第１しきい値、第２しきい値は、実験的、統計的、またはシミュレーションにより予め定めることができる。
三次元物体検知部１７は、第１クラスタ化部１０１および第２クラスタ化部１０２により決定されたクラスタに基づいて、分離部１６から入力される点群データｄ３から物体を検知し、検知した物体である物標を示す３Ｄ物体情報を生成する。本実施形態では、三次元物体検知部１７には、周辺領域が除去された状態の点群データｄ３が分離部１６より入力される。三次元物体検知部１７は、例えば、分離部１６より入力された点群データｄ３の内、第１クラスタ化部１０１および第２クラスタ化部１０２により決定された１つのクラスタまたは連続する２つ以上のクラスタに対応する点群を物体として検知し、３Ｄ物体情報として出力する。
フュージョン部１８は、二次元物体検知部２０の検知結果である２Ｄ物体情報と、三次元物体検知部１７の検知結果である３Ｄ物体情報とを融合または合成する。
二次元物体検知部２０は、第１合成部２１から出力される二次元の合成画像から物体を検知し、検知した物体を示す２Ｄ物体情報を生成する。ここで、合成画像は、ＢＷ輝度画像Ｄ１とＩＲ輝度画像Ｄ２とを重み計数により合成した画像、ＢＷ輝度画像Ｄ１、および、ＩＲ輝度画像Ｄ２のうちのいずれかである。二次元物体検知部２０による物体の検知は、例えば、ＡＩ技術（つまり人工知能技術）を用いてもよい。検知される物体について「種別」と「属性」を判別してもよい。物体の種別は、人か否か、移動体（人、自動車若しくは自転車等）か固定物か、街路樹、信号機、ガードレール等の区別を含む。また、物体の「属性」には、物体の大きさ、色または動き（変化）等も含む。さらに、物体が人であれば、その性別、身長、体型または年齢層等、物体が移動体であれば、その移動方向または移動速度等も、物体の「属性」に含んでもよい。
第１合成部２１は、ＢＷ輝度取得部１１およびＩＲ輝度取得部１２からのＢＷ輝度画像Ｄ１およびＩＲ輝度画像Ｄ２の合成を行う。ＢＷ輝度画像Ｄ１およびＩＲ輝度画像Ｄ２はいずれも二次元画像であるので、ＢＷ輝度画像Ｄ１およびＩＲ輝度画像Ｄ２を合成することで合成画像が生成される。本開示でいう「合成」は、重み付け合成を含んでおり、例えば、ＢＷ輝度画像Ｄ１およびＩＲ輝度画像Ｄ２の重み係数が「１：０」であれば、合成画像としては第１合成部２１からＢＷ輝度画像Ｄ１がそのまま出力される。一方、例えば、ＢＷ輝度画像Ｄ１およびＩＲ輝度画像Ｄ２の重み係数が「０：１」であれば、合成画像としては第１合成部２１からＩＲ輝度画像Ｄ２がそのまま出力される。言い換えれば、第１合成部２１は、ＢＷ輝度画像Ｄ１およびＩＲ輝度画像Ｄ２を択一的に出力する選択器としての機能を含んでいる。第１合成部２１から出力される合成画像は、二次元物体検知部２０に入力される。そのため、第１合成部２１の出力が二次元物体検知部２０の動作に適した合成画像となるように、第１合成部２１は適宜、制御されてもよい。例えば、第１合成部２１から出力される合成画像は、例えば、日中／夜間、または天候（雨、霧）等の白線の状況に応じて、適宜、重み係数を変えて合成されてもよい。
［１．２ 動作］
まず、本実施の形態に係る物体検知装置１００の動作について説明する。ここでは、物体検知装置１００の動作の第１クラスタ化処理および第２クラスタ化処理の具体例について説明する。図３は、実施の形態１に係る第１クラスタ化処理および第２クラスタ化処理の具体例を示すフローチャートである。
同図のステップＳ１０１～Ｓ１０３およびＳ１０７は、おおよそに第１クラスタ化部１０１による第１クラスタ化処理に対応する。ステップＳ１０４、Ｓ１０７およびＳ１０８は、おおよそ第２クラスタ化部１０２による第２クラスタ化処理に対応する。
まず、第１クラスタ化部１０１は、分離部１６から入力される距離画像Ｄ３において、同一物体とみなせる一定範囲内にある画素の集合であるグループを生成する（Ｓ１０１）。さらに、第１クラスタ化部１０１は、生成したグループ毎に処理を繰り返すループ１の処理（Ｓ１０３～Ｓ１０９）を実施する。
ループ１において第１クラスタ化部１０１は、グループに含まれる画素の数が第１しきい値以上であるか否かを判定し（Ｓ１０３）、第１しきい値以上であると判定したとき（Ｓ１０３でｙｅｓ）、当該グループをクラスタと決定する。ここで、「クラスタと決定する」というのは、当該部ループを構成する画素の集合が物体の一部または全部に対応するクラスタとして検出するという意味である。また、第１クラスタ化部１０１は、第１しきい値以上でないと判定したとき（Ｓ１０３でｎｏ）、当該グループをクラスタと決定されず、第２クラスタ化部１０２の処理対象となる。
第２クラスタ化部１０２は、第１クラスタ化部１０１によってクラスタと決定されなかったグループについて、次の処理を行う。すなわち、第２クラスタ化部１０２は、クラスタと決定されなかったグループについて、ＩＲ輝度画像Ｄ２中の画素群であって当該グループに対応する画素群を抽出し、抽出した画素群のＩＲ輝度が第２しきい値以上であるか否かを判定する（Ｓ１０４）。さらに、第２クラスタ化部１０２は、画素群の輝度が第２しきい値以上であると判定したとき（Ｓ１０４でｙｅｓ）、当該グループをクラスタと決定する（Ｓ１０７）。一方、第２クラスタ化部１０２は、画素群の輝度が第２しきい値以上でないと判定したとき（Ｓ１０４でｎｏｓ）、当該グループをクラスタでないと決定する（Ｓ１０８）。
このような第２クラスタ化部１０２の第２クラスタ化処理は、低い反射率を有する物体の一部または全部が第１クラスタ化処理ではクラスタとして検出されなかった場合に、第２クラスタ化処理ではクラスタとして検出することを可能にする。こうして、第２クラスタ化部１０２は、クラスタの検知能力を高めることができる。
［１．３ 変形例］
次に、本実施の形態におけるクラスタ化処理の変形例について説明する。ここでは、物体検知装置１００の動作の第１クラスタ化処理および第２クラスタ化処理の変形例について説明する。図４は、実施の形態１に係る第１クラスタ化処理および第２クラスタ化処理の変形例を示すフローチャートである。同図は、図３のフローチャートと比較してステップＳ１０５およびＳ１０６が追加されている点が異なる。以下、同じ点の説明の重複を避けて、異なる点を中心に説明する。
第２クラスタ化部１０２は、画素群の輝度が第２しきい値以上であると判定したとき（Ｓ１０４でｙｅｓ）、当該グループをクラスタと仮決定する（Ｓ１０５）。その後、フュージョン部１８において、３Ｄ物体情報中の物体であって当該グループ（つまり仮決定されあクラスタ）を元に生成された物体を２Ｄ画像中に投影した結果が、二次元物体検知部２０によって検知された２Ｄ物体情報に示される物体と重なるか否かを判定する（Ｓ１０６）。さらに、フュージョン部１８は、重なると判定したとき（Ｓ１０６でｙｅｓ）、クラスタと仮決定したグループをクラスタと決定する（Ｓ１０７）。すなわち、当該グループ（つまり仮決定されたクラスタ）を元に生成された物体が存在するものと判断する。一方、フュージョン部１８は、重ならないと判定したとき（Ｓ１０６でｎｏ）、クラスタと仮決定したグループをクラスタでないと決定する（Ｓ１０８）。すなわち、当該グループを元に生成された物体が存在しないものと判断し、３Ｄ物体情報から当該物体を削除する。
これによれば、第２クラスタ化部１０２は、低い反射率を有する物体に対して、さらにクラスタの検出能力を高め、かつ、クラスタ検出の正確さを高めることができる。
なお、第１クラスタ化部１０１、第２クラスタ化部１０２およびフュージョン部１８は、クラスタを決定するクラスタ化処理の対象を距離画像Ｄ３としているが、点群データｄ３を対象としてもよい。
以上説明してきたように、本開示の実施の形態１に係る物体検知装置１００は、距離画像を取得する距離取得部１３と、距離画像と同じ撮像領域に対応する第１輝度画像を取得する第１輝度取得部と、距離画像において、同一物体とみなせる一定範囲内にある画素の集合であるグループを生成し、グループに含まれる画素の数が第１しきい値以上である場合、当該グループを、クラスタと決定する第１クラスタ化部１０１と、グループに含まれる画素の数が第１しきい値より少ない場合、第１輝度画像中の画素群であってグループに対応する画素群の輝度が第２しきい値以上である場合に、当該グループをクラスタと決定する第２クラスタ化部１０２と、クラスタに基づいて距離画像中の物体を検知し、検知した物体を示す３Ｄ物体情報を生成する３Ｄ物体検知部１７と、を備える。
これによれば、距離画像において、低い反射率を有する物体を検知する能力を高めることができる。
ここで、第１輝度画像中の画素群の前記輝度は、画素群に含まれる画素の平均的な輝度であってもよい。
これによれば、低い反射率を有する物体に対して、平均的な輝度を基準に検知能力を高めることができる。
ここで、第１輝度画像中の画素群の前記輝度は、画素群に含まれる画素の最大輝度であってもよい。
これによれば、低い反射率を有する物体に対して、最大輝度を基準に検知能力を高めることができる。
ここで、第１輝度画像中の画素群の前記輝度は、画素群の平均輝度および最大輝度の両者を含み、第２しきい値は、平均用しきい値と、最大用しきい値とを含み、第２クラスタ化部１０２は、平均輝度が平均用しきい値以上であり、かつ、最大輝度が最大用しきい値以上であるとき、当該グループをクラスタと決定してもよい。
これによれば、低い反射率を有する物体に対して、平均輝度および最大輝度の両者を基準に検知能力を高めることができる。
ここで、物体検知装置１００は、撮像領域に対応する２Ｄ画像に含まれる物体を検知し、検知した物体を示す２Ｄ物体情報を生成する２Ｄ物体検知部と、３Ｄ物体情報と２Ｄ物体情報とを融合するフュージョン部１８と、を備えてもよい。
これによれば、融合により物体の検知能力を正確にすることができる。
ここで、フュージョン部１８は、さらに、３Ｄ物体情報に含まれる物体のうち前記第２クラスタ化部が決定したクラスタに対応する物体が、２Ｄ物体情報に示される物体と重なる場合には、当該物体を３Ｄ物体と決定し、前記第２クラスタ化部が決定したクラスタに対応する物体が２Ｄ物体情報に示される物体と重ならない場合には、前記第２クラスタ化部が決定した当該クラスタをクラスタではないと決定し、かつ、当該物体を３Ｄ物体でないと決定してもよい。
これによれば、低い反射率を有する物体に対して、さらにクラスタの検出能力を高め、かつ、クラスタ検出の正確さを高めることができる。
ここで、前記２Ｄ画像は、第１輝度画像であってもよい。
これによれば、前記２Ｄ画像を取得するために、赤外光に感度を有する画素を主とするイメージセンサを用いるが可能である。
ここで、物体検知装置１００は、第１輝度画像とは異なる波長の光に対する第２輝度画像を取得する第２輝度取得部を備え、前記２Ｄ画像は、第２輝度画像、または、第１輝度画像と第２輝度画像とを合成した第３輝度画像のうちのいずれかであってもよい。
これによれば、前記２Ｄ画像を取得するために、赤外光に感度を有する画素を主とするイメージセンサを用いることも、赤外光に感度を有する画素と可視光に感度を有する画素とを含むイメージセンサを用いることも可能である。
ここで、物体検知装置１００は、赤外光を発する発光部４と、赤外光による反射光を受光するイメージセンサ３と、発光部４とイメージセンサ３を用いて、第１輝度画像と、距離画像とを生成する信号処理部５を備え、第１輝度取得部、および、距離取得部は、信号処理部５から第１輝度画像、および、距離画像を取得してもよい。
これによれば、赤外光に感度を有するイメージセンサを用いることが可能である。
ここで、物体検知装置１００は、赤外光を発する発光部４と、赤外光に感度を持つ第１画素、および、可視光に感度を持つ第２画素を持つイメージセンサ３と、発光部４とイメージセンサ３を用いて、第１画素の画素値から第１輝度画像と、距離画像とを生成し、第２画素の画素値から第２輝度画像を生成する信号処理部５を備え、第１輝度取得部、第２輝度取得部および、距離取得部は、信号処理部５から第１輝度画像、第２輝度画像、および距離画像を取得してもよい。
これによれば、赤外光に感度を有する第１画素と、可視光に感度を有する第２画素と含むイメージセンサ３用いることが可能である。
また、実施の形態１の一態様に係る物体検知方法は、同じ撮像領域に対応する第１輝度画像と距離画像とを取得し、前記距離画像において同一物体とみなせる一定範囲内にある画素の集合であるグループを生成し、前記グループに含まれる画素の数が第１しきい値以上である場合、当該グループを、物体を構成するクラスタと決定する第１クラスタ化処理を実施し、前記グループに含まれる画素の数が第１しきい値より少ない場合に、前記第１輝度画像中の画素群であって、前記グループに対応する画素群における輝度が第２しきい値以上である場合に、当該グループをクラスタと決定する第２クラスタ化処理を実施し、前記クラスタに基づいて前記距離画像中の物体を検知し、検知した物体を示す３Ｄ物体情報を生成する。
これによれば、距離画像において低い反射率を有する物体の検知能力を高めることができる。
ここで、第１輝度画像中の画素群の前記輝度は、画素群に含まれる画素の平均的な輝度であってもよい。
これによれば、低い反射率を有する物体に対して、平均的な輝度を基準に検知能力を高めることができる。
ここで、第１輝度画像中の画素群の前記輝度は、画素群に含まれる画素の最大輝度であってもよい。
これによれば、低い反射率を有する物体に対して、最大輝度を基準に検知能力を高めることができる。
ここで、第１輝度画像中の画素群の前記輝度は、画素群の平均輝度および最大輝度の両者を含み、第２しきい値は、平均用しきい値と、最大用しきい値とを含み、平均輝度が平均用しきい値以上であり、かつ、最大輝度が最大用しきい値以上であるとき、当該グループをクラスタと決定してもよい。
これによれば、低い反射率を有する物体に対して、平均輝度および最大輝度の両者を基準に検知能力を高めることができる。
ここで、物体検知方法において、撮像領域に対応する２Ｄ画像に含まれる物体を検知し、検知した物体を示す２Ｄ物体情報を生成し、３Ｄ物体情報と２Ｄ物体情報とを融合してもよい。
これによれば、融合により物体の検知能力を正確にすることができる。
ここで、物体検知方法において、さらに、３Ｄ物体情報に含まれる物体のうち前記第２クラスタ化処理で決定されたクラスタに対応する物体が、２Ｄ物体情報に示される物体と重なる場合には、当該物体を３Ｄ物体と決定し、前記第２クラスタ化処理で決定されたクラスタに対応する物体が２Ｄ物体情報に示される物体と重ならない場合には、前記第２クラスタ化処理で決定された当該クラスタをクラスタではないと決定し、かつ、当該物体を３Ｄ物体でないと決定してもよい。
これによれば、低い反射率を有する物体に対して、さらにクラスタの検出能力を高め、かつ、クラスタ検出の正確さを高めることができる。
ここで、前記２Ｄ画像は、第１輝度画像であってもよい。
これによれば、前記２Ｄ画像を取得するために、赤外光に感度を有する画素を主とするイメージセンサを用いるが可能である。
ここで、物体検知方法において、第１輝度画像とは異なる波長の光に対する第２輝度画像を取得する第２輝度取得部を備え、前記２Ｄ画像は、第２輝度画像、または、第１輝度画像と第２輝度画像とを合成した第３輝度画像のうちのいずれかであってもよい。
これによれば、前記２Ｄ画像を取得するために、赤外光に感度を有する画素を主とするイメージセンサを用いることも、赤外光に感度を有する画素と可視光に感度を有する画素とを含むイメージセンサを用いることも可能である。
また、実施の形態１の一態様に係るコンピュータプログラムは、上記の物体検知方法をコンピュータに実行させるプログラムである。
これによれば、距離画像において低い反射率を有する物体の検知能力を高めることができる。
（実施の形態２）
本実施の形態では、物体検知装置１００を移動体に搭載する構成例について説明する。ここでいう移動体は、例えば、自動車、農機、二輪車などの車両や、船舶や、ドローンなど飛行体などを含む。
［２．１ 構成］
図５は、実施の形態２に係る物体検知装置１００の構成例を示すブロック図である。同図の物体検知装置１００は、センサシステム１０と制御システム２とを備える。
センサシステム１０は、イメージセンサ３、発光部４、信号処理部５および情報処理システム１ａを備える。このうちイメージセンサ３、発光部４および信号処理部５は実施の形態１と同じでよい。情報処理システム１ａは、実施の形態１の情報処理システム１と同じ機能を有し、さらに、車載用の機能が追加されている。
制御システム２は、一例として、情報処理システム１ａからの情報処理結果に従って、移動体の運転を支援するための情報を表示装置に表示させる等、適宜、移動体の運転者に対して情報の提示を行う情報提示部である。なお、制御システム２は、情報処理システム１からの情報処理結果に従って、移動体の操舵または制動等を制御することで、移動体の運転（操縦）を支援してもよい。
図６は、実施の形態２に係る情報処理システム１ａの詳細な構成例を示すブロック図である。同図の情報処理システム１ａは、図１に示した情報処理システム１と比較して、２００番台の構成要素、つまり、ノイズ処理部２１４、トラッキング部２１９、第２合成部２２２、白線検出部２２３、白線鳥瞰部２２４、フリースペース検知部２２５、駐車枠検出部２２６および出力部２２７が追加されていつ点が主に異なっている。以下、同じ点の説明の重複を避けて、異なる点を中心に説明する。
情報処理システム１ａには、オドメトリ情報Ｄ４と、コンフィデンス情報Ｄ５と、参照情報Ｄ６とが入力される。つまり、情報処理システム１ａに対しては、入力データとして、ＢＷ輝度画像Ｄ１、ＩＲ輝度画像Ｄ２、距離画像Ｄ３、オドメトリ情報Ｄ４、コンフィデンス情報Ｄ５および参照情報Ｄ６が入力される。
オドメトリ情報Ｄ４は、例えば、移動体の傾き角度、移動体の進行方向、移動体の移動速度、移動体に係る加速度、アクセルペダルの踏込量（アクセル開度）、ブレーキペダルの踏込量または舵角等、移動体に搭載されたセンサで検出可能な情報を含む。さらに、オドメトリ情報Ｄ４は、ＧＰＳ（Global Positioning System）等を用いて検出可能な移動体の現在位置に基づく情報であって、例えば、現在位置における道路の車線数、路面の白線と黄線の区別、車道幅、歩道の有無、勾配またはカーブの曲率等を含む。
コンフィデンス情報Ｄ５は、データの信頼性に関する情報である。一例として、コンフィデンス情報Ｄ５は、距離画像Ｄ３について、干渉またはマルチパス等の影響を受けた疑似距離画像に該当するか否かを判断するために用いられる。同様に、コンフィデンス情報Ｄ５は、ＢＷ輝度画像Ｄ１またはＩＲ輝度画像Ｄ２について、疑似輝度情報に該当するか否かを判断するために用いられる。
参照情報Ｄ６は、ＢＷ輝度画像Ｄ１とＩＲ輝度画像Ｄ２を合成する重み係数を変化させるための情報である。つまり、参照情報Ｄ６は、日中／夜間、または天候（雨、霧）等の白線の状況に関する情報であって、一例として、物体の周囲の照度および／または湿度に関する情報を含んでいる。
図６において、ノイズ処理部２１４は、距離画像Ｄ３と、ＢＷ輝度画像Ｄ１およびＩＲ輝度画像Ｄ２からなる群から選択される１以上の情報と、を用いて、距離画像Ｄ３の補正を行う。ＢＷ輝度画像Ｄ１およびＩＲ輝度画像Ｄ２からなる群から選択される１以上の情報は、ＢＷ輝度画像Ｄ１と、ＩＲ輝度画像Ｄ２と、ＢＷ輝度画像Ｄ１およびＩＲ輝度画像Ｄ２を合成した輝度情報（以下、「合成画像」ともいう）と、のいずれかである。ノイズ処理部２１４は、距離取得部１３に接続されている。本実施形態では、ノイズ処理部２１４は、第１合成部２１を介してＩＲ輝度取得部１２に接続されている。つまり、ノイズ処理部２１４には、ＢＷ輝度画像Ｄ１またはＩＲ輝度画像Ｄ２が直接的に入力されるのではなく、第１合成部２１を介して間接的に入力される。距離画像Ｄ３は、それ単体では比較的ＳＮ比が低く、ノイズの比率が大きいため、ノイズ処理部２１４で距離画像Ｄ３のノイズを低減する。
トラッキング部２１９は、監視領域内に存在する物体の追跡を行う。トラッキング部２１９は、フュージョン部１８で融合された３Ｄ物体情報について、例えば、イメージセンサ３の出力の複数フレーム間で比較することにより物体の追跡を行う。これにより、トラッキング部２１９では、物体が監視領域内を移動する場合であっても、移動前の物体と移動後の物体を同一の物体と認識可能である。トラッキング部２１９の追跡結果は、物標情報Ｄ１１として出力部２２７に出力される。また、トラッキング部２１９には、オドメトリ情報Ｄ４も入力されている。
第２合成部２２２は、ＢＷ輝度取得部１１およびＩＲ輝度取得部１２からのＢＷ輝度画像Ｄ１およびＩＲ輝度画像Ｄ２の合成を行う。第２合成部２２２についても、第１合成部２１と同様、ＢＷ輝度画像Ｄ１およびＩＲ輝度画像Ｄ２を択一的に出力する選択器としての機能を含んでいる。第２合成部２２２により合成されたＢＷ輝度画像Ｄ１およびＩＲ輝度画像Ｄ２は、白線検出部２２３に入力される。そのため、第２合成部２２２の出力が白線検出部２２３の動作に適した合成画像となるように、第２合成部２２２は適宜、制御される。さらに、第２合成部２２２は、参照情報Ｄ６が入力され、例えば、日中／夜間、または天候（雨、霧）等の白線の状況に応じて、適宜、重み係数を変えて合成する。
本実施形態では、第１合成部２１の出力は二次元物体検知部２０に入力され、第２合成部２２２の出力は白線検出部２２３に入力される。このように、第１合成部２１および第２合成部２２２の出力に対応する検知対象が異なるため、第１合成部２１と第２合成部２２２とでは、合成時の重み係数が異なっていてよい。
ここにおいて、第１合成部２１および第２合成部２２２は、いずれもＢＷ輝度画像Ｄ１とＩＲ輝度画像Ｄ２とを合成する「合成部」として機能する。この合成部（第１合成部２１および第２合成部２２２）は、第１画素３１と第２画素３２の位置に関する情報を補正するように、ＢＷ輝度画像Ｄ１およびＩＲ輝度画像Ｄ２を合成する機能を有している。合成部（第１合成部２１および第２合成部２２２）は、入力される参照情報Ｄ６によって、ＢＷ輝度画像Ｄ１とＩＲ輝度画像Ｄ２を合成する重み係数を変化させる。
白線検出部２２３は、路面に引かれた白線の候補となる領域を検出する。白線検出部２２３は、第２合成部２２２から入力されるＢＷ輝度画像Ｄ１およびＩＲ輝度画像Ｄ２の合成画像に基づいて、白線の候補領域を検出する。また、白線検出部２２３には、コンフィデンス情報Ｄ５も入力されている。白線の検知は、一例として、ＢＷ輝度画像Ｄ１およびＩＲ輝度画像Ｄ２の合成画像について、フィルタを用いたエッジ抽出等を行うことで、画素値（明るさ）が急に変化する部位を検知することで実現される。ここで、白線検出部２２３の検出対象となる白線は、白色の線に限らず、例えば、黄線（黄色の線）、絵または図柄等であってもよい。
白線鳥瞰部２２４は、白線検出部２２３の後段に設けられている。白線鳥瞰部２２４は、ＢＷ輝度画像Ｄ１およびＩＲ輝度画像Ｄ２の合成画像について、少なくとも白線検出部２２３で検出された白線の候補領域およびその周辺を真上から見た鳥瞰画像となるように、座標変換を行う。
フリースペース検知部２２５は、距離画像Ｄ３に基づいて白線内のフリースペース、つまり空いている空間を検知する。本実施形態では、フリースペース検知部２２５には、物体と、物体の周囲に位置する周辺領域と、に分離された距離画像Ｄ３が、分離部１６より入力される。フリースペース検知部２２５は、分離部１６より入力された距離画像Ｄ３を用いて、白線内のフリースペースを検知する。フリースペース検知部２２５の検知結果は、フリースペース情報Ｄ１３として出力部２２７に出力される。また、フリースペース検知部２２５には、オドメトリ情報Ｄ４も入力されている。
駐車枠検出部２２６は、白線内の空き駐車枠、つまり他車両が駐車されておらず空いている駐車枠を検知する。一般的に、商業施設、病院、公園、スタジアム、ホールまたは交通機関等の駐車場においては、複数の駐車枠が設けられており、駐車場の利用者は、空き駐車枠を探して、空き駐車枠に自車両（移動体）を駐車する。駐車枠検出部２２６によれば、このようなケースにおいて、自動的に空き駐車枠の探索が可能となる。本実施形態では、駐車枠検出部２２６には、フリースペース検知部２２５の検知結果および白線鳥瞰部２２４の出力（座標変換後の白線の候補領域）が入力される。駐車枠検出部２２６は、フリースペース検知部２２５の検知結果と白線鳥瞰部２２４の出力（座標変換後の白線の候補領域）とのペアリングを行い、空き駐車枠の判定を行う。例えば、駐車枠検出部２２６は、白線内において移動体を駐車可能なサイズの駐車枠のうち、位置的にフリースペースと重複する駐車枠を、空き駐車枠と判定する。駐車枠検出部２２６の検出結果は、空き駐車枠情報Ｄ１４として出力部２２７に出力される。
出力部２２７は、ＢＷ輝度画像Ｄ１とＩＲ輝度画像Ｄ２と距離画像Ｄ３とに基づいて行われた、イメージセンサ３の画角内の白線の状況に関する情報処理結果を出力する。すなわち、本実施形態に係る情報処理システム１ａは、イメージセンサ３から取得したＢＷ輝度画像Ｄ１、ＩＲ輝度画像Ｄ２および距離画像Ｄ３に基づいて、白線の状況に関する種々の情報処理を実行し、その結果を出力部２２７から出力する。本実施形態では一例として、出力部２２７は、トラッキング部２１９、分離部１６、フリースペース検知部２２５および駐車枠検出部２２６からそれぞれ取得する、物標情報Ｄ１１、路面情報Ｄ１２、フリースペース情報Ｄ１３および空き駐車枠情報Ｄ１４を出力する。出力部２２７は、これらの情報を制御システム２に出力する。
本実施形態では、情報処理結果は、移動体の周辺の白線における物体の有無に関する情報と、白線に存在する物体の白線内での位置に関する情報と、物体の属性に関する情報と、の少なくとも１つを含む。具体的には、物標情報Ｄ１１が、移動体の周辺の白線における物体の有無に関する情報と、白線に存在する物体の白線内での位置に関する情報と、物体の属性に関する情報と、を全て含む。本開示でいう「属性」は、例えば、物体の種別、つまり、人か否か、移動体（人、自動車若しくは自転車等）か固定物か、または街路樹、信号機、ガードレール等の区別を含む。また、物体の「属性」には、物体の大きさ、色または動き（変化）等も含む。さらに、物体が人であれば、その性別、身長、体型または年齢層等、物体が移動体であれば、その移動方向または移動速度等も、物体の「属性」に含む。
ここで、出力部２２７が出力する情報は、その出力先の要求に応じて適宜変化する。例えば、クラウド（クラウドコンピューティング）等に対して、複数台の移動体から、出力部２２７の出力が集約される場合には、出力部２２７は、メタ化されたメタ情報を出力してもよい。
なお、フュージョン部１８は、イメージセンサ３を含むセンサシステム１０に帰還信号Ｓｉ１を出力してもよい。ここで、イメージセンサ３は、帰還信号Ｓｉ１により、露光時間およびフレームレートからなる群から選択される１以上のパラメータが変化した電気信号を出力する。すなわち、フュージョン部１８が出力する帰還信号Ｓｉ１は、図５に示すように、信号処理部５へ帰還されている。帰還信号Ｓｉ１には、フュージョン部１８の出力である三次元物体検知部１７の検知結果が含まれている。イメージセンサ３は、この帰還信号Ｓｉ１に応じて露光時間および／またはフレームレートを変更する。
［２．２ 動作］
次に、本実施の形態における物体検知装置１００についてその動作を説明する。図７は、実施の形態２に係る物体検知装置の動作例を示すフローチャートである。
本実施形態に係る情報処理システム１ａは、少なくとも駐車スペース検知モードおよび物体検知モードを含む複数の動作モードを有している。これら複数の動作モードは、それぞれ個別に有効／無効の切替えが可能であって、例えば、駐車スペース検知モードが有効、それ以外の動作モードが全て無効であれば、情報処理システム１ａは、駐車スペース検知モードでのみ動作する。駐車スペース検知モードは、空き駐車枠を検知する動作モードであって、この動作モードでは、上述した空き駐車枠情報Ｄ１４が出力部２２７から出力される。物体検知モードは、監視領域内の物体を検知する動作モードであって、この動作モードでは、上述した物標情報Ｄ１１が出力部２２７から出力される。
すなわち、情報処理システム１ａは、図７に示すようにＢＷ輝度画像Ｄ１を取得するＢＷ輝度取得処理（Ｓ１）、ＩＲ輝度画像Ｄ２を取得するＩＲ輝度取得処理（Ｓ２）、および距離画像Ｄ３を取得する距離取得処理（Ｓ３）を実行する。情報処理システム１ａは、ＢＷ輝度取得部１１、ＩＲ輝度取得部１２および距離取得部１３において、随時、ＢＷ輝度取得処理、ＩＲ輝度取得処理および距離取得処理（Ｓ１～Ｓ３）を実行する。
次に、情報処理システム１ａは、ノイズ処理部２１４において、距離画像Ｄ３と、ＢＷ輝度画像Ｄ１およびＩＲ輝度画像Ｄ２からなる群から選択される１以上の情報とを用いて、距離画像Ｄ３の補正を行うことで、距離画像Ｄ３のノイズを低減するノイズ除去処理を実行する（Ｓ４）。
次に、情報処理システム１ａは、分離部１６において、座標変換後の距離画像Ｄ３について、物体と、物体の周囲に位置する周辺領域と、を分離する分離処理を実行する（Ｓ５）。
次に、情報処理システム１ａは、物体検知モードが有効か否かを判断する（Ｓ６）。物体検知モードが有効であれば（Ｓ６：Ｙｅｓ）、情報処理システム１ａは、物体を検知するための一連の処理（Ｓ６ａ、Ｓ７～Ｓ１１）を実行する。すなわち、情報処理システム１ａは、第１クラスタ化部１０１および第２クラスタ化部１０２にて第１クラスタ化処理および第２クラスタ化処理を実行し（Ｓ６ａ）、三次元物体検知部１７にて物体の検知を行う三次元物体検知処理を実行し（Ｓ７）、二次元物体検知部２０にて物体の検知を行う二次元物体検知処理を実行する（Ｓ８）。ここで、ステップＳ６ａは、図３または図４のフローチャートと同じでよい。
次に、情報処理システム１ａは、フュージョン部１８において、二次元物体検知部２０の検知結果（二次元検知結果）を用いて、三次元物体検知部１７の検知結果（三次元検知結果）を補正するフュージョン処理を実行する（Ｓ９）。
なお、ステップＳ６ａにおいて仮決定されたクラスタが存在する場合、図４に従い、ステップＳ９において該当する三次元物体検知結果と二次元物体検知結果の重なりの判定を行う。
次に、情報処理システム１ａは、フュージョン処理の結果から、物体の有無を判断する（Ｓ１０）。物体が存在すれば（Ｓ１０：Ｙｅｓ）、情報処理システム１ａは、出力部２２７において物標情報Ｄ１１を出力し（Ｓ１１）、駐車スペース検知モードが有効か否かを判断する（Ｓ１２）。物体が存在しなければ（Ｓ１０：Ｙｅｓ）、情報処理システム１ａは、物標情報Ｄ１１を出力せずに、処理Ｓ１２に移行する。
駐車スペース検知モードが有効であれば（Ｓ１２：Ｙｅｓ）、情報処理システム１ａは、空き駐車枠を検知するための一連の処理（Ｓ１３～Ｓ１６）を実行する。すなわち、情報処理システム１ａは、白線検出部２２３において白線の候補領域を検出し（Ｓ１３）、フリースペース検知部２２５においてフリースペースを検知する（Ｓ１４）。これらの結果から、情報処理システム１ａは、駐車枠検出部２２６において、監視領域内の空き駐車枠の有無を判断する（Ｓ１５）。
空き駐車枠があれば（Ｓ１５：Ｙｅｓ）、情報処理システム１ａは、出力部２２７において空き駐車枠情報Ｄ１４を出力し（Ｓ１６）、一連の処理を終了する。空き駐車枠がなければ（Ｓ１５：Ｙｅｓ）、情報処理システム１ａは、空き駐車枠情報Ｄ１４を出力せずに、一連の処理を終了する。
また、物体検知モードが無効であれば（Ｓ６：Ｎｏ）、情報処理システム１ａは、物体を検知するための一連の処理（Ｓ７～Ｓ１１）をスキップして、処理Ｓ１２に移行する。駐車スペース検知モードが無効であれば（Ｓ１２：Ｎｏ）、情報処理システム１ａは、空き駐車枠を検知するための一連の処理（Ｓ１３～Ｓ１６）をスキップして、処理を終了する。
情報処理システム１ａは、上述したような一連の処理Ｓ１～Ｓ１６を繰り返し実行する。図７のフローチャートは、情報処理システム１ａの全体動作の一例に過ぎず、処理を適宜省略または追加してもよいし、処理の順番が適宜変更されていてもよい。例えば、処理Ｓ１～Ｓ３の順番が変更され、ＩＲ輝度画像Ｄ２および距離画像Ｄ３を取得した後（Ｓ２，Ｓ３）、ＢＷ輝度画像Ｄ１を取得してもよい（Ｓ１）。
以上説明してきたように本開示の実施の形態２の一態様に係る物体検知装置１００は、３Ｄ物体情報に基づいて、物体検知装置を搭載する移動体の移動を支援する情報を提示する情報提示部としての制御システム２を備える。
これによれば、距離画像において低い反射率を有する物体の検知能力を高めることができる。また、移動体に搭載された物体検知装置１００に適している。
なお、イメージセンサ３は、１つの固体撮像装置で構成される代わりに、２つの固体撮像装置で構成されてもよいし、３つの固体撮像装置で構成されてもよい。ただし、ＢＷ輝度画像Ｄ１、ＩＲ輝度画像Ｄ２および距離画像Ｄ３の画素同士の対応付けが可能であることが必要である。
上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
以上、一つまたは複数の態様に係る物体検知装置１００、物体検知方法、プログラムについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
本開示は、輝度画像および距離画像中の物体を検知する物体検知装置１００に利用可能である。
１、１ａ 情報処理システム
２ 制御システム
３ イメージセンサ
４ 発光部
５ 信号処理部
１０ センサシステム
１１ ＢＷ輝度取得部
１２ ＩＲ輝度取得部
１３ 距離取得部
１５ 座標変換部
１６ 分離部
１７ 三次元物体検知部
１８ フュージョン部
２０ 二次元物体検知部
２１ 第１合成部
２１４ ノイズ処理部
２１９ トラッキング部
２２２ 第２合成部
２２３ 白線検出部
２２４ 白線鳥瞰部
２２５ フリースペース検知部
２２６ 駐車枠検出部
２２７ 出力部
３１ 第１画素
３２ 第２画素
１００ 物体検知装置
１０１ 第１クラスタ化部
１０２ 第２クラスタ化部
Ｄ１ ＢＷ輝度画像
Ｄ２ ＩＲ輝度画像
ｄ３ 点群データ
Ｄ３ 距離画像
Ｄ４ オドメトリ情報
Ｄ５ コンフィデンス情報
Ｄ６ 参照情報
Ｄ１１ 物標情報
Ｄ１２ 路面情報
Ｄ１３ フリースペース情報
Ｄ１４ 駐車枠情報
Ｓｉ１ 帰還信号

Claims (20)

  1. 距離画像を取得する距離取得部と、
    前記距離画像と同じ撮像領域に対応する第１輝度画像を取得する第１輝度取得部と、
    前記距離画像において、同一物体とみなせる一定範囲内にある画素の集合であるグループを生成し、前記グループに含まれる画素の数が第１しきい値以上である場合、当該グループを、クラスタと決定する第１クラスタ化部と、
    前記グループに含まれる画素の数が第１しきい値より少ない場合、前記第１輝度画像中の画素群であって前記グループに対応する画素群の輝度が第２しきい値以上である場合に、当該グループをクラスタと決定する第２クラスタ化部と、
    前記クラスタに基づいて前記距離画像中の物体を検知し、検知した物体を示す３Ｄ物体情報（３Ｄは三次元の略）を生成する３Ｄ物体検知部と、を備える
    物体検知装置。
  2. 前記第１輝度画像中の画素群の前記輝度は、前記画素群に含まれる画素の平均的な輝度である
    請求項１に記載の物体検知装置。
  3. 前記第１輝度画像中の画素群の前記輝度は、前記画素群に含まれる画素の最大輝度である
    請求項１に記載の物体検知装置。
  4. 前記第１輝度画像中の画素群の前記輝度は、前記画素群の平均輝度および最大輝度の両者を含み、
    前記第２しきい値は、平均用しきい値と、最大用しきい値とを含み、
    前記第２クラスタ化部は、前記平均輝度が前記平均用しきい値以上であり、かつ、前記最大輝度が前記最大用しきい値以上であるとき、当該グループをクラスタと決定する
    請求項１に記載の物体検知装置。
  5. 前記撮像領域に対応する２Ｄ画像（２Ｄは二次元の略）に含まれる物体を検知し、検知した物体を示す２Ｄ物体情報を生成する２Ｄ物体検知部と、
    前記３Ｄ物体情報と前記２Ｄ物体情報とを融合するフュージョン部と、を備える
    請求項１に記載の物体検知装置。
  6. 前記フュージョン部は、さらに、前記３Ｄ物体情報に含まれる物体のうち前記第２クラスタ化部が決定したクラスタに対応する物体が、前記２Ｄ物体情報に示される物体と重なる場合には、当該物体を３Ｄ物体と決定し、前記第２クラスタ化部が決定したクラスタに対応する物体が前記２Ｄ物体情報に示される物体と重ならない場合には、前記第２クラスタ化部が決定した当該クラスタをクラスタではないと決定し、かつ、当該物体を３Ｄ物体でないと決定する
    請求項５に記載の物体検知装置。
  7. 前記２Ｄ画像は、前記第１輝度画像である
    請求項５または６に記載の物体検知装置。
  8. 前記第１輝度画像とは異なる波長の光に対する第２輝度画像を取得する第２輝度取得部を備え、
    前記２Ｄ画像は、前記第２輝度画像、または、第１輝度画像と第２輝度画像とを合成した第３輝度画像のうちのいずれかである
    請求項５または６に記載の物体検知装置。
  9. 赤外光を発する発光部と、
    前記赤外光による反射光を受光するイメージセンサと、
    前記発光部と前記イメージセンサを用いて、前記第１輝度画像と、前記距離画像とを生成する信号処理部を備え、
    前記第１輝度取得部、および、距離取得部は、前記信号処理部から前記第１輝度画像、および、前記距離画像を取得する
    請求項１に記載の物体検知装置。
  10. 赤外光を発する発光部と、
    赤外光に感度を持つ第１画素、および、可視光に感度を持つ第２画素を持つイメージセンサと、
    前記発光部と前記イメージセンサを用いて、前記第１画素の画素値から前記第１輝度画像と、前記距離画像とを生成し、前記第２画素の画素値から前記第２輝度画像を生成する信号処理部を備え、
    前記第１輝度取得部、第２輝度取得部および、距離取得部は、前記信号処理部から前記第１輝度画像、前記第２輝度画像、および前記距離画像を取得する
    請求項８に記載の物体検知装置。
  11. 前記３Ｄ物体情報に基づいて、前記物体検知装置を搭載する移動体の移動を支援する情報を提示する情報提示部を備える
    請求項１に記載の物体検知装置。
  12. 同じ撮像領域に対応する第１輝度画像と距離画像とを取得し、
    前記距離画像において同一物体とみなせる一定範囲内にある画素の集合であるグループを生成し、
    前記グループに含まれる画素の数が第１しきい値以上である場合、当該グループを、物体を構成するクラスタと決定する第１クラスタ化処理を実施し、
    前記グループに含まれる画素の数が第１しきい値より少ない場合に、前記第１輝度画像中の画素群であって、前記グループに対応する画素群における輝度が第２しきい値以上である場合に、当該グループをクラスタと決定する第２クラスタ化処理を実施し、
    前記クラスタに基づいて前記距離画像中の物体を検知し、検知した物体を示す３Ｄ物体情報を生成する
    物体検知方法。
  13. 前記第１輝度画像中の画素群の前記輝度は、前記画素群に含まれる画素の平均的な輝度である
    請求項１２に記載の物体検知方法。
  14. 前記第１輝度画像中の画素群の前記輝度は、前記画素群に含まれる画素の最大輝度である
    請求項１２に記載の物体検知方法。
  15. 前記第１輝度画像中の画素群の前記輝度は、前記画素群の平均輝度および最大輝度の両者を含み、
    前記第２しきい値は、平均用しきい値と、最大用しきい値とを含み、
    前記平均輝度が前記平均用しきい値以上であり、かつ、前記最大輝度が前記最大用しきい値以上であるとき、当該グループをクラスタと決定する
    請求項１２に記載の物体検知方法。
  16. 前記撮像領域に対応する２Ｄ画像に含まれる物体を検知し、
    検知した物体を示す２Ｄ物体情報を生成し、
    前記３Ｄ物体情報と前記２Ｄ物体情報とを融合する
    請求項１２に記載の物体検知方法。
  17. 前記３Ｄ物体情報に含まれる物体のうち前記第２クラスタ化処理で決定されたクラスタに対応する物体が前記２Ｄ物体情報に示される物体と重なる場合には、当該物体を３Ｄ物体と決定し、
    前記第２クラスタ化処理で決定されたクラスタに対応する物体が前記２Ｄ物体情報に示される物体と重ならない場合には、前記第２クラスタ化処理で決定された当該クラスタをクラスタではないと決定し、かつ、当該物体を３Ｄ物体でないと決定する
    請求項１６に記載の物体検知方法。
  18. 前記２Ｄ画像は、前記第１輝度画像である
    請求項１６または１７に記載の物体検知方法。
  19. 前記第１輝度画像とは異なる波長の光に対する第２輝度画像を取得し、
    前記２Ｄ画像は、前記第２輝度画像、または、第１輝度画像と第２輝度画像とを合成した第３輝度画像のうちのいずれかである
    請求項１６または１７に記載の物体検知方法。
  20. 請求項１２に記載の物体検知方法をコンピュータに実行させるプログラム。
JP2022539302A 2021-06-17 2022-06-08 物体検知装置、物体検知方法およびプログラム Active JP7138265B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021100600 2021-06-17
JP2021100600 2021-06-17
PCT/JP2022/023092 WO2022264894A1 (ja) 2021-06-17 2022-06-08 物体検知装置、物体検知方法およびプログラム

Publications (2)

Publication Number Publication Date
JP7138265B1 true JP7138265B1 (ja) 2022-09-15
JPWO2022264894A1 JPWO2022264894A1 (ja) 2022-12-22

Family

ID=83282306

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022539302A Active JP7138265B1 (ja) 2021-06-17 2022-06-08 物体検知装置、物体検知方法およびプログラム

Country Status (4)

Country Link
US (1) US20240112478A1 (ja)
EP (1) EP4357814A1 (ja)
JP (1) JP7138265B1 (ja)
CN (1) CN117480409A (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6312987A (ja) * 1986-07-04 1988-01-20 Hitachi Ltd 移動物体の検知方法
JP2016088183A (ja) * 2014-10-31 2016-05-23 株式会社Ihi 支障物検知システムおよび鉄道車両
JP2016180724A (ja) * 2015-03-25 2016-10-13 スタンレー電気株式会社 距離計測装置
CN106296721A (zh) * 2015-05-14 2017-01-04 株式会社理光 基于立体视觉的对象聚集检测方法和装置
JP2017016584A (ja) * 2015-07-06 2017-01-19 株式会社リコー 物体検出装置、物体検出方法及びプログラム
WO2017145600A1 (ja) * 2016-02-23 2017-08-31 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
WO2020129522A1 (ja) * 2018-12-18 2020-06-25 日立オートモティブシステムズ株式会社 画像処理装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6312987A (ja) * 1986-07-04 1988-01-20 Hitachi Ltd 移動物体の検知方法
JP2016088183A (ja) * 2014-10-31 2016-05-23 株式会社Ihi 支障物検知システムおよび鉄道車両
JP2016180724A (ja) * 2015-03-25 2016-10-13 スタンレー電気株式会社 距離計測装置
CN106296721A (zh) * 2015-05-14 2017-01-04 株式会社理光 基于立体视觉的对象聚集检测方法和装置
JP2017016584A (ja) * 2015-07-06 2017-01-19 株式会社リコー 物体検出装置、物体検出方法及びプログラム
WO2017145600A1 (ja) * 2016-02-23 2017-08-31 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
WO2020129522A1 (ja) * 2018-12-18 2020-06-25 日立オートモティブシステムズ株式会社 画像処理装置

Also Published As

Publication number Publication date
EP4357814A1 (en) 2024-04-24
US20240112478A1 (en) 2024-04-04
CN117480409A (zh) 2024-01-30
JPWO2022264894A1 (ja) 2022-12-22

Similar Documents

Publication Publication Date Title
US10445928B2 (en) Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
JP4970516B2 (ja) 周囲確認支援装置
CN104512411B (zh) 车辆控制系统及图像传感器
JP5867273B2 (ja) 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム
JP5714940B2 (ja) 移動体位置測定装置
US20220120910A1 (en) Information processing system, sensor system, information processing method, and non-transitory computer readable storage medium
US20160252905A1 (en) Real-time active emergency vehicle detection
JP6358552B2 (ja) 画像認識装置および画像認識方法
CN106415312B (zh) 感应系统及驾驶支援系统
JP2014006885A (ja) 段差認識装置、段差認識方法及び段差認識用プログラム
CN115104138A (zh) 多模态、多技术载具信号检测
JPWO2019202628A1 (ja) 路面検出装置、路面検出装置を利用した画像表示装置、路面検出装置を利用した障害物検知装置、路面検出方法、路面検出方法を利用した画像表示方法、および路面検出方法を利用した障害物検知方法
JP6278790B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム
WO2022153896A1 (ja) 撮像装置、画像処理方法及び画像処理プログラム
US11120292B2 (en) Distance estimation device, distance estimation method, and distance estimation computer program
JP7138265B1 (ja) 物体検知装置、物体検知方法およびプログラム
WO2022264894A1 (ja) 物体検知装置、物体検知方法およびプログラム
US20190337455A1 (en) Mobile Body Surroundings Display Method and Mobile Body Surroundings Display Apparatus
CN116892949A (zh) 地上物检测装置、地上物检测方法以及地上物检测用计算机程序
JP2014016981A (ja) 移動面認識装置、移動面認識方法及び移動面認識用プログラム
JP4506299B2 (ja) 車両周辺監視装置
KR20130065281A (ko) 위치 정보 제공 장치 및 방법
US20230286548A1 (en) Electronic instrument, movable apparatus, distance calculation method, and storage medium
US20230062562A1 (en) Sensing system and distance measuring system
WO2020071132A1 (ja) カメラ装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220624

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220905

R150 Certificate of patent or registration of utility model

Ref document number: 7138265

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150