JP7233627B1 - 物体検知装置、物体検知方法、及び物体検知プログラム - Google Patents

物体検知装置、物体検知方法、及び物体検知プログラム Download PDF

Info

Publication number
JP7233627B1
JP7233627B1 JP2022576535A JP2022576535A JP7233627B1 JP 7233627 B1 JP7233627 B1 JP 7233627B1 JP 2022576535 A JP2022576535 A JP 2022576535A JP 2022576535 A JP2022576535 A JP 2022576535A JP 7233627 B1 JP7233627 B1 JP 7233627B1
Authority
JP
Japan
Prior art keywords
image sensor
noise
observation result
orientation
moving body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022576535A
Other languages
English (en)
Other versions
JPWO2023233515A1 (ja
JPWO2023233515A5 (ja
Inventor
道学 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP7233627B1 publication Critical patent/JP7233627B1/ja
Publication of JPWO2023233515A1 publication Critical patent/JPWO2023233515A1/ja
Publication of JPWO2023233515A5 publication Critical patent/JPWO2023233515A5/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

物体検知装置(100)は経路計画部(130)を備える。経路計画部(130)は、移動体(80)が搭載している画像センサの向きと、画像センサが観測する電磁波の入線方向とに基づいて画像センサの観測結果にノイズが乗る可能性があるか否かを判定し、画像センサの観測結果にノイズが乗る可能性があると判定した場合に、移動体(80)の姿勢として、画像センサの向きが入線方向から逸れるような姿勢を算出する。

Description

本開示は、物体検知装置、物体検知方法、及び物体検知プログラムに関する。
移動体が搭載しているカメラが取得したデータに基づいて当該移動体の位置を推定する技術がある。当該技術には、倉庫の窓及び天窓等の近傍においてカメラに光が入ることにより推定結果が不安定になるという課題がある。
特許文献1は、当該技術においてロバストな自己位置推定を実現するために、カメラ及びレーザセンサを切り替える技術を開示している。特許文献1が開示する技術において、カメラ使用可である領域、及びカメラ使用不可である領域があらかじめ設定されており、カメラ使用不可である領域ではレーザセンサを利用する。
特開2021-135580号公報
移動体の位置を推定する際に移動体が搭載しているカメラを使用する場合において、カメラへ光が入る方向によりカメラの観測結果にノイズが乗りやすいか否かが定まる。そのため、特許文献1が開示するカメラ使用不可である領域内に移動体が存在する場合であっても、移動体の姿勢によっては移動体が搭載しているカメラの観測結果にノイズが乗らない。
従って、特許文献1が開示する技術には、移動体の位置のみによって移動体が搭載しているカメラを使用することができるか否かを判断するために、移動体の姿勢によってはカメラを使用することができる場合であってもカメラを使用することができないと判断してしまうという課題がある。
本開示は、移動体の位置のみによって移動体が搭載しているカメラを使用することができるか否かを判断しないようにすることを目的とする。
本開示に係る物体検知装置は、
移動体が搭載している画像センサの向きと、前記画像センサが観測する電磁波の入線方向とに基づいて前記画像センサの観測結果にノイズが乗る可能性があるか否かを判定し、前記画像センサの観測結果にノイズが乗る可能性があると判定した場合に、前記移動体の姿勢として、前記画像センサの向きが前記入線方向から逸れるような姿勢を算出する経路計画部
を備える。
本開示によれば、移動体が搭載している画像センサの観測結果にノイズが乗る可能性がある場合に画像センサの向きが入線方向から逸れるような移動体の姿勢を算出する。ここで、画像センサの向きが入線方向から逸れた場合に画像センサを使用することができ、画像センサの具体例としてカメラが挙げられる。従って、本開示を活用することにより、移動体の位置のみによって移動体が搭載しているカメラを使用することができるか否かを判断しないようにすることができる。
実施の形態1に係る物体検知システム90の構成例を示す図。 実施の形態1に係る経路計画部130の処理を説明する図。 実施の形態1に係る移動体80の車体を左右に振る様子を示す図。 実施の形態1に係る物体検知装置100のハードウェア構成例を示す図。 実施の形態1に係る物体検知システム90の動作を示すフローチャート。 実施の形態1に係る物体検知システム90の動作を示すフローチャート。 実施の形態1に係る物体検知システム90の動作を示すフローチャート。 実施の形態1の変形例に係る物体検知装置100のハードウェア構成例を示す図。
実施の形態の説明及び図面において、同じ要素及び対応する要素には同じ符号を付している。同じ符号が付された要素の説明は、適宜に省略又は簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。また、「部」を、「回路」、「工程」、「手順」、「処理」又は「サーキットリー」に適宜読み替えてもよい。
実施の形態1.
以下、本実施の形態について、図面を参照しながら詳細に説明する。
***構成の説明***
図1は、本実施の形態に係る物体検知システム90の構成例を示している。物体検知システム90は、本図に示すように、誤検知情報DB(Database)30と、移動体80とを備える。物体検知システム90は、移動体80の周辺に存在する物体である周辺物体を検出するシステムである。
誤検知情報DB30は、誤検知情報を格納しているデータベースであり、典型的には管制に保持されている。管制は、具体例として移動体80を制御する拠点である。なお、移動体80又は物体検知装置100が誤検知情報DB30を保持していてもよい。
誤検知情報は、誤検知が発生する可能性がある条件、即ち物体検知装置100による物体検知の結果が誤りとなる可能性がある条件に関する情報である。誤検知情報は、画像センサの観測結果にノイズが乗る可能性がある条件を示す情報であって、移動体80の位置及び姿勢を示す情報であってもよい。誤検知情報は、電磁波の発生源を示す情報と、移動体80の周囲の構造物を示す情報とに基づいて生成された情報であってもよい。誤検知は、具体例として、センサ群20を構成する画像センサの面のうち電磁波を観測する面の向きが、当該画像センサが観測する電磁波の発生源と対向する向きであることによって発生する。また、具体例として、当該画像センサが直接光、間接光、又は反射光を受ける場合に誤検知は発生する。別の具体例として、誤検知は、移動体80に搭載されている画像センサが透明なドアを通過する光を捉えたために、マッチングミスが生じて当該画像センサに近い位置に周辺物体が存在するように見える現象である。別の具体例として、誤検知は、当該透明なドアの代わりにブラインド又はサンシェードを通過した光を画像センサが捉えることによって生じる現象である。画像センサは、具体例としてカメラである。電磁波は、具体例として可視光又は赤外光である。電磁波が可視光である場合において、電磁波の発生源は、具体例として太陽又は照明である。電磁波が赤外光である場合において、電磁波の発生源は、具体例として太陽又はヒータなどの熱源である。電磁波の発生源には、電磁波を直接的に発する物体と、当該物体から発せられた電磁波を反射する物体とが含まれる。
具体例として、誤検知情報は、位置と、姿勢と、時刻との組を示す情報である。本例において、誤検知情報が示す時刻において、誤検知情報が示す位置に移動体80が存在し、かつ、移動体80の姿勢が誤検知情報が示す姿勢である場合に、物体検知装置100による物体検知の結果が誤りである可能性がある。また、本例において、誤検知情報は、具体的には、センサ群20を構成するセンサが取得したセンシング情報にノイズが乗る可能性がある条件であって、移動体80の位置及び姿勢と、時刻とに関する条件を示す情報である。移動体80の姿勢は、具体例として、移動体80の向きと、移動体80の形状との組み合わせである。移動体80の形状は、移動体80が備えるアームの形状等によって定まる。
別の具体例として、誤検知情報は、電磁波の発生源を示す情報と、当該発生源から発せられた光の経路を算出する際に用いられる情報を含む。具体例として、誤検知情報は、移動体80が移動する時間帯における天気予報の情報と、移動体80が移動する建物の構造及び当該建物の周辺環境を示す地図の情報とに基づいて生成された情報である。天気予報及び地図は、具体例として、センサ群20を構成する各センサに対する光の入線方向を計算する際に用いられる。
誤検知情報DB30は、移動体80の移動経路を示す情報として、スタート地点、経由地点、及びゴール地点との各々を示す情報を物体検知装置100から受信した場合において、センシング情報にノイズが乗る可能性がある位置をセンシング情報にノイズが乗る可能性がある姿勢で移動体80が通過すると判断した場合に、当該位置及び当該姿勢を物体検知装置100に通知してもよい。この際、誤検知情報DB30は、移動体80が移動経路上の各地点を通過する時間帯を示す情報を物体検知装置100から受信してもよい。
なお、誤検知情報DB30は、誤検知情報の代わりに誤検知情報を生成するためのデータを保持しており、当該データを物体検知装置100に適宜送信してもよい。
移動体80は、センサ群20と、物体検知装置100とを備える。移動体80は、屋内又は屋外を移動する物体であり、具体例として工場内を移動する自律走行車である。なお、移動体80は物体検知装置100を備えなくてもよい。
センサ群20は、移動体80が備える少なくとも1つのセンサから成る。センサ群20は、具体例として、カメラと、レーザセンサと、ミリ波レーダと、ソナーと、GNSS(Global Navigation Satellite System)のセンサとの少なくともいずれかから成る。センサ群20には画像センサが含まれる。画像センサは、具体例として可視光又は赤外光を観測するセンサである。
物体検知装置100は、検知認識部110と、位置姿勢検出部120と、経路計画部130と、制御部140と、誤検知情報収集部150とを備える。
検知認識部110は、センサ群20を構成する各センサからセンシング情報を受信し、受信したセンシング情報に基づいて周辺物体を検知し、検知した周辺物体を認識する。具体例として、周辺物体を検知することは周辺物体の位置、形状、及び大きさ等を把握することであり、周辺物体を認識することは検知に加えて物体の属性も把握することであるものとする。周辺物体を認識する手法としては、具体例として、ボクセル化、機械学習、又はDeep Learningを利用する方法が挙げられる。
位置姿勢検出部120は、センサ群20を構成するセンサからセンシング情報を受信し、受信したセンシング情報に基づいて移動体80の位置及び姿勢を算出する。事前に精細な地図を物体検知装置100が保持している場合において、位置姿勢検出部120は、移動体80の位置及び姿勢として、当該地図における絶対座標と、当該地図における移動体80のロール角、ピッチ角、及びヨー角とを算出してもよい。また、位置姿勢検出部120は、移動体80の位置及び姿勢として、移動体80が存在する位置の緯度経度と、移動体80が向いている方位とを地図とは無関係に算出してもよい。
経路計画部130は、移動体80の移動経路を作成する。経路計画部130は、事前に作成してある複数の経路のいずれかを選択してもよく、与えられたスタート地点と経由地点とゴール地点とを結ぶ自由経路を作成してもよい。また、経路計画部130は、移動体80が搭載している画像センサの向きと、当該画像センサが観測する電磁波の入線方向とに基づいて当該画像センサの観測結果にノイズが乗る可能性があるか否かを判定し、当該画像センサの観測結果にノイズが乗る可能性があると判定した場合に、移動体80の姿勢として、当該画像センサの向きが当該入線方向から逸れるような姿勢を算出する。経路計画部130は、当該画像センサの観測結果にノイズが乗ると判定した場合に、当該画像センサの向きが当該入線方向から逸れるような移動体80の位置を算出してもよい。経路計画部130は、誤検知情報DB30を利用して当該画像センサの観測結果にノイズが乗る可能性があるか否かを判定する。経路計画部130は、設定された移動体80の移動経路上の対象地点において当該画像センサの観測結果にノイズが乗る可能性があるか否かを判定し、対象地点において当該画像センサの観測結果にノイズが乗る可能性があると判定した場合に、対象地点における移動体80の姿勢として、当該画像センサの向きが入線方向から逸れるような姿勢を算出してもよい。経路計画部130は、設定された移動体80の移動経路上の対象地点において当該画像センサの観測結果にノイズが乗る可能性があるか否かを判定し、対象地点において当該画像センサの観測結果にノイズが乗る可能性があると判定した場合に、移動体80の移動経路を対象地点を通らない移動経路に変更してもよい。
経路計画部130は、事前に作成してある複数の経路のいずれかを選択する場合、誤検知情報DB30を参照して、誤検知が発生する可能性がある位置及び姿勢の少なくともいずれかを移動体80が移動中に常に回避することができる経路を選択する。
一方、自由経路を作成する場合、経路計画部130は、誤検知が発生する可能性がある位置に仮想的に物体を置く等の処置を実行することにより、誤検知が発生する可能性がある条件を満たす位置及び姿勢の少なくともいずれかを移動体80が移動中に常に回避することができる経路を作成する。
また、経路計画部130は、移動体80の移動経路を作成する際に、移動経路上の各地点に関して、季節及び時刻から太陽等の光源の位置を推定し、推定した光源の位置と、地図を示す情報とに基づいて光の入線方向を計算し、計算した入線方向と画像センサの向きと比較することにより、画像センサの向きが画像センサの観測結果にノイズが乗る可能性がある向きであるか否かを判定してもよい。このとき、経路計画部130は、画像センサの向きが画像センサの観測結果にノイズが乗る可能性がある向きとなる地点がある場合に、画像センサの向きが画像センサの観測結果にノイズが乗る可能性がある向きになることがないように移動体80の位置及び姿勢を考慮して移動経路を修正してもよい。なお、光源としては光を発している物体のほかに他の物体が発した光を反射している物体も考えられる。なお、地点という用語を領域という用語に適宜置き換えてもよい。即ち、地点をある程度の面積を有する範囲に適宜読み替えても本実施の形態は成立する。
図2は、経路計画部130が移動経路を修正する処理を説明する図である。図2の左側は経路を選択する処理に対応し、図2の右側は自由経路を生成する処理に対応する。
図2の左側において、まず、経路計画部130は、移動経路の候補から第1の移動経路を選択し、移動体80が搭載している画像センサの向きと、太陽光の入線方向とを考慮して、選択した第1の移動経路上の対象地点において画像センサの観測結果にノイズが乗ると判定する。この際、経路計画部130は天気予報及び地図を参照する。次に、経路計画部130は、対象地点において当該画像センサの向きが入線方向から逸れるような移動経路である第2の移動経路を移動経路の候補から選択する。
図2の右側において、まず、経路計画部130は、与えられたスタート地点及びゴール地点に基づいて移動経路を生成し、図2の左側と同様に、生成した移動経路上の対象地点において画像センサの観測結果にノイズが乗ると判定する。次に、経路計画部130は、対象地点を回避する移動経路である別の移動経路を生成する。
制御部140は移動体80の移動を制御する。制御部140は、具体例として、経路計画部130が作成した経路に基づいて、移動体80の走行速度と、移動体80が曲がる際の角速度等を計算する。制御部140は、周辺物体の観測に用いるセンサを変更する等、センサ群20を構成する各センサを制御してもよい。
誤検知情報収集部150は、誤検知情報を収集又は生成し、収集又は生成した誤検知情報を誤検知情報DB30に格納する。誤検知情報収集部150は、具体例として、画像センサの観測結果にノイズが乗る可能性がある条件として移動体80の位置及び姿勢等に関する条件を抽出する。この際、誤検知情報収集部150は、具体例として、検知認識部110が周辺物体を検知した際に移動体80の車体を左右に振って検知した周辺物体が消失する位置及び姿勢があるか否かを検出することにより観測結果にノイズが乗っているか否かを判定してもよい。また、誤検知情報収集部150は、移動体80が搭載している画像センサの観測結果と、移動体80の進行方向に対して反対方向から来る他の移動体80が搭載している画像センサの観測結果とを比較することにより観測結果にノイズが乗っているか否かを判定してもよい。また、誤検知情報収集部150は、ノイズが乗っていると考えられる観測結果と、当該観測結果を観測した時刻と同じ時刻に当該観測結果を観測した位置を移動体80が通った際の観測結果とを比較することにより観測結果にノイズが乗っているか否かを判定してもよい。
誤検知情報収集部150は、ノイズが乗っている観測結果であるノイズ観測結果を画像センサが取得した場合に、誤検知情報として、ノイズ観測結果が取得された時点と、当該時点における移動体80の位置及び姿勢とを示す情報を生成し、生成した情報を誤検知情報DB30に格納する。
図3は、検知認識部110が周辺物体を検知した際に、移動体80の車体を左右に振る様子を示している。
図3において、まず、移動体80が正面方向を向いているときにおける画像センサの観測結果に基づいて検知認識部110が周辺物体を検知する。しかしながら、当該画像センサの観測結果は実際にはノイズである。
次に、制御部140は移動体80の車体を斜め左方向に向け、検知認識部110が周辺物体を検知するか否かを確認する。この際、検知認識部110は周辺物体を検知しない。なお、斜め右方向については斜め左方向と同様である。
従って、移動体80が正面方向を向いているときには検知認識部110が周辺物体を検知するものの、移動体80の車体を左右に振ると検知認識部110が当該周辺物体を検知しない。そのため、誤検知情報収集部150は、移動体80が正面方向を向いているときにおける画像センサの観測結果にノイズが乗っているものと判定する。そのため、誤検知情報収集部150は、移動体80が正面方向を向いているときにおける移動体80の位置及び姿勢と、ノイズを観測した時刻との各々を示す情報を誤検知情報として生成し、生成した誤検知情報を誤検知情報DB30に格納する。
図4は、本実施の形態に係る物体検知装置100のハードウェア構成例を示している。物体検知装置100はコンピュータから成る。物体検知装置100は複数のコンピュータから成ってもよい。
物体検知装置100は、本図に示すように、プロセッサ11と、メモリ12と、補助記憶装置13と、入出力IF(Interface)14と、通信装置15等のハードウェアを備えるコンピュータである。これらのハードウェアは、信号線19を介して適宜接続されている。
プロセッサ11は、演算処理を行うIC(Integrated Circuit)であり、かつ、コンピュータが備えるハードウェアを制御する。プロセッサ11は、具体例として、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、又はGPU(Graphics Processing Unit)である。
物体検知装置100は、プロセッサ11を代替する複数のプロセッサを備えてもよい。複数のプロセッサはプロセッサ11の役割を分担する。
メモリ12は、典型的には揮発性の記憶装置であり、具体例としてRAM(Random Access Memory)である。メモリ12は、主記憶装置又はメインメモリとも呼ばれる。メモリ12に記憶されたデータは、必要に応じて補助記憶装置13に保存される。
補助記憶装置13は、典型的には不揮発性の記憶装置であり、具体例として、ROM(Read Only Memory)、HDD(Hard Disk Drive)、又はフラッシュメモリである。補助記憶装置13に記憶されたデータは、必要に応じてメモリ12にロードされる。
メモリ12及び補助記憶装置13は一体的に構成されていてもよい。
入出力IF14は、入力装置及び出力装置が接続されるポートである。入出力IF14は、具体例として、USB(Universal Serial Bus)端子である。入力装置は、具体例として、キーボード及びマウスである。出力装置は、具体例として、ディスプレイである。
通信装置15は、レシーバ及びトランスミッタである。通信装置15は、具体例として、通信チップ又はNIC(Network Interface Card)である。
物体検知装置100の各部は、他の装置等と通信する際に、入出力IF14及び通信装置15を適宜用いてもよい。
補助記憶装置13は物体検知プログラムを記憶している。物体検知プログラムは、物体検知装置100が備える各部の機能をコンピュータに実現させるプログラムである。物体検知プログラムは、メモリ12にロードされて、プロセッサ11によって実行される。物体検知装置100が備える各部の機能は、ソフトウェアにより実現される。
物体検知プログラムを実行する際に用いられるデータと、物体検知プログラムを実行することによって得られるデータ等は、記憶装置に適宜記憶される。物体検知装置100の各部は記憶装置を適宜利用する。記憶装置は、具体例として、メモリ12と、補助記憶装置13と、プロセッサ11内のレジスタと、プロセッサ11内のキャッシュメモリとの少なくとも1つから成る。なお、データという用語と情報という用語とは同等の意味を有することもある。記憶装置は、コンピュータと独立したものであってもよい。
メモリ12及び補助記憶装置13の機能は、他の記憶装置によって実現されてもよい。
物体検知プログラムは、コンピュータが読み取り可能な不揮発性の記録媒体に記録されていてもよい。不揮発性の記録媒体は、具体例として、光ディスク又はフラッシュメモリである。物体検知プログラムは、プログラムプロダクトとして提供されてもよい。
***動作の説明***
物体検知装置100の動作手順は物体検知方法に相当する。また、物体検知装置100の動作を実現するプログラムは物体検知プログラムに相当する。
図5は、物体検知システム90の動作の一例を示すフローチャートである。図5を参照して物体検知システム90の動作を説明する。なお、物体検知システム90は、設定された移動経路を移動体80が移動している途中において図5に示す処理を実行してもよく、設定された移動経路を移動体80が移動するシミュレーションにおいて図5に示す処理を実行してもよい。また、図5において破線はデータの送受信を示している。
(ステップS101)
検知認識部110は、センサ群20を構成する各センサからセンシング情報を受信する。
(ステップS102)
検知認識部110は、ステップS101において受信したセンシング情報に基づいて周辺物体を検知する。
検知認識部110が周辺物体を検知した場合、検知認識部110は検知した周辺物体を認識し、その後、物体検知装置100はステップS103に進む。それ以外の場合、物体検知装置100はステップS101に進む。
(ステップS103)
位置姿勢検出部120は、移動体80の現在の位置及び姿勢を検出し、検出した位置及び姿勢を示す情報を誤検知情報DB30に送信する。
(ステップS104)
経路計画部130は、ステップS103において検出した位置及び姿勢に対応する誤検知情報を誤検知情報DB30から受信し、受信した誤検知情報に基づいてステップS102において検知した周辺物体がノイズである可能性の有無を判断する。
なお、経路計画部130は誤検知情報を誤検知情報DB30から受信しなくてもよい。経路計画部130が誤検知情報を誤検知情報DB30から受信しない場合に、経路計画部130は、ステップS102において検知した周辺物体がノイズではないと判断する。
ステップS102において検知した周辺物体がノイズである可能性がある場合、物体検知装置100はステップS105に進む。それ以外の場合、物体検知装置100はステップS108に進む。
(ステップS105)
まず、経路計画部130は、ステップS104において受信した誤検知情報に基づいて移動体80が搭載している画像センサの観測結果にノイズが乗らないような移動体80の姿勢を算出する。
次に、制御部140は、移動体80の姿勢を経路計画部130が算出した姿勢に変更する。
次に、検知認識部110は、センサ群20を構成する各センサからセンシング情報を受信する。
(ステップS106)
検知認識部110は、ステップS105において受信したセンシング情報に基づいて周辺物体を検知する。
検知認識部110が周辺物体を検知した場合、即ち、ステップS102において検知した周辺物体がノイズではないと考えられる場合、検知認識部110は検知した周辺物体を認識し、その後、物体検知装置100はステップS107に進む。それ以外の場合、物体検知装置100はステップS108及びステップS109に進む。
(ステップS107)
経路計画部130は、移動体80の移動経路を変更する。
(ステップS108)
移動体80は、設定された移動経路における移動を続ける。
(ステップS109)
誤検知情報収集部150は、ノイズを検知した際の条件を示す情報を誤検知情報として抽出し、抽出した誤検知情報を誤検知情報DB30に登録する。
図6は、物体検知システム90の動作の別の例を示すフローチャートである。図6を参照して物体検知システム90の動作を説明する。なお、物体検知システム90は、設定された移動経路を移動体80が移動している途中において図6に示す処理を実行してもよく、設定された移動経路を移動体80が移動するシミュレーションにおいて図6に示す処理を実行してもよい。
(ステップS121)
経路計画部130は、ステップS103において検出した位置及び姿勢に対応する誤検知情報を誤検知情報DB30から受信する。
なお、物体検知システム90は、画像センサの観測結果がノイズであるか否かを判定する精度を向上させることを目的として、ステップS103からステップS121の処理をN(Nは2以上の整数)回実行する。
(ステップS122)
まず、経路計画部130は、ステップS121において受信した誤検知情報に基づいて移動体80が搭載している画像センサの観測結果にノイズが乗る可能性があるか否かを判定する。
次に、経路計画部130は、当該画像センサの観測結果にノイズが乗る可能性があると判定した場合に、ステップS121において受信した誤検知情報に基づいて当該画像センサの観測結果にノイズが乗らないような移動体80の姿勢を算出する。なお、経路計画部130は、当該画像センサの観測結果にノイズが乗る可能性がないと判定した場合において、移動体80の姿勢として、現在の移動体80の姿勢とは異なる姿勢であって、当該画像センサの観測結果にノイズが乗る可能性がない姿勢を、ステップS121において受信した誤検知情報に基づいて算出してもよい。その後、制御部140は、移動体80の姿勢を経路計画部130が算出した姿勢に変更する。
次に、検知認識部110は、センサ群20を構成する各センサからセンシング情報を受信する。
(ステップS123)
検知認識部110は、ステップS122において受信したセンシング情報に基づいて周辺物体を検知する。
検知認識部110が周辺物体を検知した場合、検知認識部110は検知した周辺物体を認識する。
また、ステップS123をN回実行した結果に基づいて、検知認識部110が検知した周辺物体がノイズであるか否かを判定する。検知認識部110が検知した周辺物体がノイズであると判定した場合、物体検知装置100はステップS108及びステップS109に進む。それ以外の場合、物体検知装置100はステップS107に進む。
図7は、物体検知システム90の動作の別の例を示すフローチャートである。図7を参照して物体検知システム90の動作を説明する。本例によれば、検知認識部110が周辺物体を検知する前に誤検知情報を取得し、取得した誤検知情報に基づいて移動体80の姿勢を変更することにより、移動経路の変更回数を減らすことができる。なお、物体検知システム90は、設定された移動経路を移動体80が移動している途中において図7に示す処理を実行してもよく、設定された移動経路を移動体80が移動するシミュレーションにおいて図7に示す処理を実行してもよい。
(ステップS141)
まず、経路計画部130は、ステップS103において検出した位置及び姿勢に対応する誤検知情報を誤検知情報DB30から受信し、受信した誤検知情報に基づいて移動体80が搭載している画像センサの観測結果にノイズが乗る可能性があるか否かを判定する。
次に、経路計画部130は、当該画像センサの観測結果にノイズが乗る可能性があると判定した場合に、当該画像センサの観測結果にノイズが乗る可能性がない移動体80の姿勢を算出する。
次に、制御部140は、移動体80の姿勢を経路計画部130が算出した姿勢に変更する。
次に、検知認識部110は、センサ群20を構成する各センサからセンシング情報を受信する。
(ステップS142)
検知認識部110は、ステップS141において受信したセンシング情報に基づいて周辺物体を検知する。
検知認識部110が周辺物体を検知した場合、検知認識部110は検知した周辺物体を認識し、その後、物体検知装置100はステップS107に進む。それ以外の場合、物体検知装置100はステップS108に進む。
***実施の形態1の効果の説明***
移動体が搭載しているカメラが取得したデータに基づいて当該移動体の位置を推定する既存技術には、誤検知が発生した箇所において、誤検知により自律走行が止まってしまうという課題がある。
一方、本実施の形態によれば、誤検知情報DB30があることによって、光源の状態及び方向と、移動体80の位置とが分かるため、直接光、間接光、又は反射光によってカメラの観測結果にノイズが乗る可能性の有無を計算することができ、ノイズが乗る可能性がある位置及び姿勢の少なくともいずれかを回避することができる。
また、本実施の形態によれば、誤検知情報DB30があるために誤検知が発生する可能性がある位置及び姿勢が事前に分かっている。そのため、本実施の形態によれば、ノイズが乗る可能性がない移動経路を事前に生成又は選択することができ、また、ノイズが乗る可能性がある位置において誤検知が発生しない姿勢で移動する移動経路を事前に計算することができる。
***他の構成***
<変形例1>
経路計画部130は、画像センサの観測結果にノイズが乗ると判定した場合に、移動経路を変更する代わりに、当該画像センサを用いないことを示す情報を生成する。
本変形例によれば、画像センサの観測結果にノイズが乗ると判定された場合において移動体80の移動経路を変更せずに済む。
<変形例2>
図8は、本変形例に係る物体検知装置100のハードウェア構成例を示している。
物体検知装置100は、プロセッサ11、プロセッサ11とメモリ12、プロセッサ11と補助記憶装置13、あるいはプロセッサ11とメモリ12と補助記憶装置13とに代えて、処理回路18を備える。
処理回路18は、物体検知装置100が備える各部の少なくとも一部を実現するハードウェアである。
処理回路18は、専用のハードウェアであってもよく、また、メモリ12に格納されるプログラムを実行するプロセッサであってもよい。
処理回路18が専用のハードウェアである場合、処理回路18は、具体例として、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)又はこれらの組み合わせである。
物体検知装置100は、処理回路18を代替する複数の処理回路を備えてもよい。複数の処理回路は、処理回路18の役割を分担する。
物体検知装置100において、一部の機能が専用のハードウェアによって実現されて、残りの機能がソフトウェア又はファームウェアによって実現されてもよい。
処理回路18は、具体例として、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせにより実現される。
プロセッサ11とメモリ12と補助記憶装置13と処理回路18とを、総称して「プロセッシングサーキットリー」という。つまり、物体検知装置100の各機能構成要素の機能は、プロセッシングサーキットリーにより実現される。
***他の実施の形態***
実施の形態1について説明したが、本実施の形態のうち、複数の部分を組み合わせて実施しても構わない。あるいは、本実施の形態を部分的に実施しても構わない。その他、本実施の形態は、必要に応じて種々の変更がなされても構わず、全体としてあるいは部分的に、どのように組み合わせて実施されても構わない。
なお、前述した実施の形態は、本質的に好ましい例示であって、本開示と、その適用物と、用途の範囲とを制限することを意図するものではない。フローチャート等を用いて説明した手順は適宜変更されてもよい。
11 プロセッサ、12 メモリ、13 補助記憶装置、14 入出力IF、15 通信装置、18 処理回路、19 信号線、20 センサ群、30 誤検知情報DB、80 移動体、90 物体検知システム、100 物体検知装置、110 検知認識部、120 位置姿勢検出部、130 経路計画部、140 制御部、150 誤検知情報収集部。

Claims (10)

  1. 移動体が搭載している画像センサが前記移動体の周辺に存在する物体である周辺物体を検知した場合に、前記移動体の向きを変更することによって、検知した周辺物体が消失する前記移動体の位置及び姿勢があるか否かを検出することにより前記画像センサの観測結果にノイズが乗っているか否かを判定し、ノイズが乗っている観測結果であるノイズ観測結果を前記画像センサが取得した場合に、誤検知情報として、前記ノイズ観測結果が取得された時点と、前記時点における前記移動体の位置及び姿勢とを示す情報を生成する誤検知情報収集部と、
    前記誤検知情報に基づいて前記画像センサの観測結果にノイズが乗る可能性があるか否かを判定し、前記画像センサの観測結果にノイズが乗る可能性があると判定した場合に、前記移動体の姿勢として、前記画像センサの観測結果にノイズが乗らないような姿勢を前記誤検知情報に基づいて算出する経路計画部
    を備える物体検知装置。
  2. 前記誤検知情報収集部は、前記画像センサの観測結果と、前記移動体の進行方向に対して反対方向から来る他の移動体が搭載している画像センサの観測結果とを比較することにより、前記画像センサの観測結果にノイズが乗っているか否かを判定する請求項1に記載の物体検知装置。
  3. 前記経路計画部は、前記誤検知情報に基づいて、検知された周辺物体がノイズである可能性の有無を判断する請求項1又は2に記載の物体検知装置。
  4. 前記経路計画部は、前記画像センサの観測結果にノイズが乗ると判定した場合に、前記画像センサを用いないことを示す情報を生成する請求項1又は2に記載の物体検知装置。
  5. 前記経路計画部は、前記画像センサの観測結果にノイズが乗る可能性があると判定した場合に、前記画像センサの向きが前記画像センサが観測する電磁波の入線方向から逸れるような前記移動体の位置を算出する請求項1又は2に記載の物体検知装置。
  6. 前記誤検知情報は、電磁波の発生源を示す情報と、前記移動体の周囲の構造物を示す情報とに基づいて生成された情報である請求項1又は2に記載の物体検知装置。
  7. 前記経路計画部は、設定された前記移動体の移動経路上の対象地点において前記画像センサの観測結果にノイズが乗る可能性があるか否かを判定し、前記対象地点において前記画像センサの観測結果にノイズが乗る可能性があると判定した場合に、前記対象地点における前記移動体の姿勢として、前記画像センサの向きが前記画像センサが観測する電磁波の入線方向から逸れるような姿勢を算出する請求項1又は2に記載の物体検知装置。
  8. 前記経路計画部は、設定された前記移動体の移動経路上の対象地点において前記画像センサの観測結果にノイズが乗る可能性があるか否かを判定し、前記対象地点において前記画像センサの観測結果にノイズが乗る可能性があると判定した場合に、前記移動体の移動経路を前記対象地点を通らない移動経路に変更する請求項1又は2に記載の物体検知装置。
  9. コンピュータが、移動体が搭載している画像センサが前記移動体の周辺に存在する物体である周辺物体を検知した場合に、前記移動体の向きを変更することによって、検知した周辺物体が消失する前記移動体の位置及び姿勢があるか否かを検出することにより前記画像センサの観測結果にノイズが乗っているか否かを判定し、ノイズが乗っている観測結果であるノイズ観測結果を前記画像センサが取得した場合に、誤検知情報として、前記ノイズ観測結果が取得された時点と、前記時点における前記移動体の位置及び姿勢とを示す情報を生成し、
    前記コンピュータが、前記誤検知情報に基づいて前記画像センサの観測結果にノイズが乗る可能性があるか否かを判定し、前記画像センサの観測結果にノイズが乗る可能性があると判定した場合に、前記移動体の姿勢として、前記画像センサの観測結果にノイズが乗らないような姿勢を前記誤検知情報に基づいて算出する物体検知方法。
  10. 移動体が搭載している画像センサが前記移動体の周辺に存在する物体である周辺物体を検知した場合に、前記移動体の向きを変更することによって、検知した周辺物体が消失する前記移動体の位置及び姿勢があるか否かを検出することにより前記画像センサの観測結果にノイズが乗っているか否かを判定し、ノイズが乗っている観測結果であるノイズ観測結果を前記画像センサが取得した場合に、誤検知情報として、前記ノイズ観測結果が取得された時点と、前記時点における前記移動体の位置及び姿勢とを示す情報を生成する誤検知情報収集処理と、
    前記誤検知情報に基づいて前記画像センサの観測結果にノイズが乗る可能性があるか否かを判定し、前記画像センサの観測結果にノイズが乗る可能性があると判定した場合に、前記移動体の姿勢として、前記画像センサの観測結果にノイズが乗らないような姿勢を前記誤検知情報に基づいて算出する経路計画処理
    をコンピュータである物体検知装置に実行させる物体検知プログラム。
JP2022576535A 2022-05-31 2022-05-31 物体検知装置、物体検知方法、及び物体検知プログラム Active JP7233627B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/022107 WO2023233515A1 (ja) 2022-05-31 2022-05-31 物体検知装置、物体検知方法、及び物体検知プログラム

Publications (3)

Publication Number Publication Date
JP7233627B1 true JP7233627B1 (ja) 2023-03-06
JPWO2023233515A1 JPWO2023233515A1 (ja) 2023-12-07
JPWO2023233515A5 JPWO2023233515A5 (ja) 2024-05-14

Family

ID=85414439

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022576535A Active JP7233627B1 (ja) 2022-05-31 2022-05-31 物体検知装置、物体検知方法、及び物体検知プログラム

Country Status (2)

Country Link
JP (1) JP7233627B1 (ja)
WO (1) WO2023233515A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005180994A (ja) * 2003-12-17 2005-07-07 Nissan Motor Co Ltd 車両用前方障害物検出装置および方法
JP2010102427A (ja) * 2008-10-22 2010-05-06 Nec Corp 車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラム
JP2020076663A (ja) * 2018-11-08 2020-05-21 株式会社Ihiエアロスペース 無人移動体及び無人移動体の制御方法
WO2020105123A1 (ja) * 2018-11-20 2020-05-28 本田技研工業株式会社 自律作業機、自律作業機の制御方法及びプログラム
JP2021140309A (ja) * 2020-03-03 2021-09-16 株式会社デンソー 車載機、サーバ、自動運転可否判定システム及び自動運転可否判定プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005180994A (ja) * 2003-12-17 2005-07-07 Nissan Motor Co Ltd 車両用前方障害物検出装置および方法
JP2010102427A (ja) * 2008-10-22 2010-05-06 Nec Corp 車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラム
JP2020076663A (ja) * 2018-11-08 2020-05-21 株式会社Ihiエアロスペース 無人移動体及び無人移動体の制御方法
WO2020105123A1 (ja) * 2018-11-20 2020-05-28 本田技研工業株式会社 自律作業機、自律作業機の制御方法及びプログラム
JP2021140309A (ja) * 2020-03-03 2021-09-16 株式会社デンソー 車載機、サーバ、自動運転可否判定システム及び自動運転可否判定プログラム

Also Published As

Publication number Publication date
WO2023233515A1 (ja) 2023-12-07
JPWO2023233515A1 (ja) 2023-12-07

Similar Documents

Publication Publication Date Title
CN109059902B (zh) 相对位姿确定方法、装置、设备和介质
US7463340B2 (en) Ladar-based motion estimation for navigation
JP6477882B2 (ja) 自己位置推定装置及び自己位置推定方法
EP2133662B1 (en) Methods and system of navigation using terrain features
CN112930484B (zh) 定位系统、定位方法和存储介质
US20210295090A1 (en) Electronic device for camera and radar sensor fusion-based three-dimensional object detection and operating method thereof
JP2020021326A (ja) 情報処理方法、情報処理装置およびプログラム
KR101888171B1 (ko) 무인 수상정의 자세정보 기반 환경인식 장치 및 방법
CN108663041B (zh) 一种绘制导航地图的方法及装置
JP5316572B2 (ja) 物体認識装置
WO2019012770A1 (ja) 撮像装置及びモニタリング装置
JP7155284B2 (ja) 計測精度算出装置、自己位置推定装置、制御方法、プログラム及び記憶媒体
CN110889808A (zh) 一种定位的方法、装置、设备及存储介质
KR101882483B1 (ko) 무인 수상정의 장애물 탐지 장치 및 방법
Singh et al. Comparative analysis of range sensors for the robust autonomous navigation–a review
WO2022179207A1 (zh) 视窗遮挡检测方法及装置
US10109074B2 (en) Method and system for inertial measurement having image processing unit for determining at least one parameter associated with at least one feature in consecutive images
US10564282B2 (en) Method for improving a detection of at least one object in surroundings of a motor vehicle by way of an indirect measurement by sensors, controller, driver assistance system, and motor vehicle
US11954918B2 (en) Object detection device, object detection method, and storage medium
JPWO2020184013A1 (ja) 車両制御装置
JP6631796B2 (ja) 移動物体検出装置、プログラムおよび記録媒体
US20220332327A1 (en) Method and Apparatus for Fusing Sensor Information and Recording Medium Storing Program to Execute the Method
JP4595773B2 (ja) 車両制御装置
JP7518503B2 (ja) 表面探知レーダーと深層学習とを使用した改良型ナビゲーションおよび位置決め
JP7233627B1 (ja) 物体検知装置、物体検知方法、及び物体検知プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221212

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221212

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20221212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230221

R150 Certificate of patent or registration of utility model

Ref document number: 7233627

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150