JP6988704B2 - センサ制御装置、物体探索システム、物体探索方法及びプログラム - Google Patents
センサ制御装置、物体探索システム、物体探索方法及びプログラム Download PDFInfo
- Publication number
- JP6988704B2 JP6988704B2 JP2018108599A JP2018108599A JP6988704B2 JP 6988704 B2 JP6988704 B2 JP 6988704B2 JP 2018108599 A JP2018108599 A JP 2018108599A JP 2018108599 A JP2018108599 A JP 2018108599A JP 6988704 B2 JP6988704 B2 JP 6988704B2
- Authority
- JP
- Japan
- Prior art keywords
- sensor
- target object
- arrangement area
- image
- dimensional environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 60
- 238000000605 extraction Methods 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 20
- 239000000284 extract Substances 0.000 claims description 17
- 238000012545 processing Methods 0.000 description 37
- 230000008569 process Effects 0.000 description 32
- 238000010586 diagram Methods 0.000 description 15
- 230000000052 comparative effect Effects 0.000 description 14
- 230000008859 change Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 238000011960 computer-aided design Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
本発明は、上記のように構成されていることによって、効率よく対象物体を探索することが可能な最適位置を、より精度よく決定することが可能となる。
本発明は、上記のように構成されていることによって、効率よく対象物体を探索することが可能な最適位置を、さらに精度よく決定することが可能となる。
本発明は、上記のように構成されていることによって、画像における配置領域の大きさが最適位置を決定する上で許容範囲ある場合に、他の画像について処理を行わないで、処理を終了することができる。したがって、最適位置を早く決定することが可能となる。
本発明は、上記のように構成されていることによって、位置決定部における計算量を削減することができる。したがって、最適位置を決定するのに要する時間を減少させることが可能となる。
本発明は、上記のように構成されていることによって、対象物体の高さを考慮した配置領域とすることができる。したがって、効率的に対象物体を探索可能な最適位置をより精度よく決定することが可能となる。
以下、図面を参照して本発明の実施の形態について説明する。なお、実質的に同じ構成要素には、同じ符号が付される。
図9〜図11は、図7に示した例について、配置領域が平面(配置面)である場合の処理を説明するための図である。図9は、視点Aから見た距離画像ImAを示す。図10は、視点Bから見た距離画像ImBを示す。図11は、視点Cから見た距離画像ImCを示す。
次に、比較例について説明する。比較例は、三次元環境情報(三次元環境地図)が生成された時点において対象物体80を認識し易い視点を、最適視点位置として決定する点で、実施の形態1と異なる。
次に、実施の形態2について説明する。実施の形態2は、最適視点決定部120による最適視点位置の決定方法が、実施の形態1と異なる。実施の形態2のそれ以外の構成については、実施の形態1と実質的に同様であるので、説明を省略する。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、図5等に示したフローチャートの各ステップの順序は、適宜変更可能である。また、図5等に示したフローチャートの1つ以上のステップは、なくてもよい。また、上述した実施の形態では、最適視点位置情報は、最適視点位置の、三次元環境における三次元座標及び向き(角度)を示すとしたが、このような構成に限られない。最適視点位置情報は、最適視点位置の、三次元環境における三次元座標を示すとしてもよい。
Claims (9)
- 三次元環境において探索対象である対象物体を探索するセンサを制御するセンサ制御装置であって、
前記三次元環境に存在する物体の各位置を示す三次元環境情報を取得する三次元環境情報取得部と、
前記三次元環境情報を用いて、前記対象物体が配置された配置領域を検出する領域検出部と、
前記配置領域を含む画像を示す少なくとも1つの画像データにおける前記配置領域の大きさを算出する算出部と、
前記画像データに関する画像を撮影する前記センサがとり得る複数のセンサ位置の内、前記配置領域の大きさが、他のセンサ位置の画像データを用いた場合の前記配置領域の大きさよりも大きくなるようなセンサ位置を、最適位置として決定する位置決定部と、
前記最適位置が決定された後で前記対象物体の探索を行う場合に、前記最適位置に前記センサを移動させてから前記対象物体の探索を開始するように制御を行うセンサ位置制御部と
を有するセンサ制御装置。 - 前記算出部は、前記配置領域を含む画像を示す2つ以上の前記画像データにおける前記配置領域の大きさを算出し、
前記位置決定部は、前記2つ以上の画像データのうち、前記配置領域の大きさが最も大きくなるような前記画像データに関する画像を撮影可能な前記センサの位置を、前記最適位置として決定する
請求項1に記載のセンサ制御装置。 - 前記配置領域を含む画像を抽出する画像抽出部
をさらに有し、
前記算出部は、前記配置領域を含む画像を示す、前記画像抽出部によって抽出可能な全ての前記画像データにおける前記配置領域の大きさを算出し、
前記位置決定部は、前記全ての画像データのうち、前記配置領域の大きさが最も大きくなるような前記画像データに関する画像を撮影可能な前記センサの位置を、前記最適位置として決定する
請求項2に記載のセンサ制御装置。 - 前記位置決定部は、前記配置領域の大きさが予め定められた閾値以上となるような前記画像データに関する画像を撮影可能な前記センサの位置を、前記最適位置として決定する
請求項1に記載のセンサ制御装置。 - 前記配置領域は、前記対象物体が配置された平面に対応する
請求項1〜4のいずれか一項に記載のセンサ制御装置。 - 前記配置領域は、前記対象物体が配置された空間の領域に対応する
請求項1〜4のいずれか一項に記載のセンサ制御装置。 - 三次元環境において探索対象である対象物体を探索するセンサと、
前記センサを制御するセンサ制御装置と
を有し、
前記センサ制御装置は、
前記三次元環境に存在する物体の各位置を示す三次元環境情報を取得する三次元環境情報取得部と、
前記三次元環境情報を用いて、前記対象物体が配置された配置領域を検出する領域検出部と、
前記配置領域を含む画像を示す少なくとも1つの画像データにおける前記配置領域の大きさを算出する算出部と、
前記画像データに関する画像を撮影する前記センサがとり得る複数のセンサ位置の内、前記配置領域の大きさが、他のセンサ位置の画像データを用いた場合の前記配置領域の大きさよりも大きくなるようなセンサ位置を、最適位置として決定する位置決定部と、
前記最適位置が決定された後で前記対象物体の探索を行う場合に、前記最適位置に前記センサを移動させてから前記対象物体の探索を開始するように制御を行うセンサ位置制御部と
を有する
物体探索システム。 - 三次元環境において探索対象である対象物体を探索する物体探索方法であって、
前記三次元環境に存在する物体の各位置を示す三次元環境情報を取得するステップと、
前記三次元環境情報を用いて、前記対象物体が配置された配置領域を検出するステップと、
前記配置領域を含む画像を示す少なくとも1つの画像データにおける前記配置領域の大きさを算出するステップと、
前記画像データに関する画像を撮影するセンサがとり得る複数のセンサ位置の内、前記配置領域の大きさが、他のセンサ位置の画像データを用いた場合の前記配置領域の大きさよりも大きくなるようなセンサ位置を、最適位置として決定するステップと、
前記最適位置が決定された後で前記対象物体の探索を行う場合に、前記最適位置に前記センサを移動させてから前記対象物体の探索を開始するように前記センサを制御するステップと
を有する物体探索方法。 - 三次元環境において探索対象である対象物体を探索する物体探索方法を実行するプログラムであって、
前記三次元環境に存在する物体の各位置を示す三次元環境情報を取得するステップと、
前記三次元環境情報を用いて、前記対象物体が配置された配置領域を検出するステップと、
前記配置領域を含む画像を示す少なくとも1つの画像データにおける前記配置領域の大きさを算出するステップと、
前記画像データに関する画像を撮影するセンサがとり得る複数のセンサ位置の内、前記配置領域の大きさが、他のセンサ位置の画像データを用いた場合の前記配置領域の大きさよりも大きくなるようなセンサ位置を、最適位置として決定するステップと、
前記最適位置が決定された後で前記対象物体の探索を行う場合に、前記最適位置に前記センサを移動させてから前記対象物体の探索を開始するように前記センサを制御するステップと
をコンピュータに実行させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018108599A JP6988704B2 (ja) | 2018-06-06 | 2018-06-06 | センサ制御装置、物体探索システム、物体探索方法及びプログラム |
US16/395,300 US10778902B2 (en) | 2018-06-06 | 2019-04-26 | Sensor control device, object search system, object search method, and program |
CN201910486105.5A CN110568450B (zh) | 2018-06-06 | 2019-06-05 | 传感器控制装置、物体探索系统、物体探索方法及程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018108599A JP6988704B2 (ja) | 2018-06-06 | 2018-06-06 | センサ制御装置、物体探索システム、物体探索方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019213082A JP2019213082A (ja) | 2019-12-12 |
JP6988704B2 true JP6988704B2 (ja) | 2022-01-05 |
Family
ID=68763648
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018108599A Active JP6988704B2 (ja) | 2018-06-06 | 2018-06-06 | センサ制御装置、物体探索システム、物体探索方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10778902B2 (ja) |
JP (1) | JP6988704B2 (ja) |
CN (1) | CN110568450B (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110287764B (zh) * | 2019-05-06 | 2022-01-11 | 深圳大学 | 姿势预测方法、装置、计算机设备和存储介质 |
JP7393184B2 (ja) * | 2019-11-07 | 2023-12-06 | 東芝テック株式会社 | 点群データ処理装置 |
US11023730B1 (en) * | 2020-01-02 | 2021-06-01 | International Business Machines Corporation | Fine-grained visual recognition in mobile augmented reality |
US11341456B2 (en) * | 2020-08-25 | 2022-05-24 | Datalogic Usa, Inc. | Compact and low-power shelf monitoring system |
EP4212821A4 (en) * | 2020-09-08 | 2024-02-28 | Panasonic Intellectual Property Management Co., Ltd. | FILLING RATE MEASURING METHOD, INFORMATION PROCESSING APPARATUS AND PROGRAM |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001035052A1 (en) * | 1999-11-12 | 2001-05-17 | Armstrong Brian S | Robust landmarks for machine vision and methods for detecting same |
JP3913186B2 (ja) * | 2003-03-28 | 2007-05-09 | 株式会社東芝 | 移動撮影機器 |
EP1679657B1 (en) * | 2003-10-30 | 2017-12-27 | NEC Corporation | Estimation system, estimation method, and estimation program for estimating object state |
JP4958233B2 (ja) * | 2007-11-13 | 2012-06-20 | 学校法人東京電機大学 | 多眼視画像作成システム及び多眼視画像作成方法 |
JP5081014B2 (ja) * | 2008-02-28 | 2012-11-21 | 株式会社トプコン | ターゲット及びこれを用いた三次元形状測定装置 |
JP4497236B2 (ja) * | 2008-08-11 | 2010-07-07 | オムロン株式会社 | 検出用情報登録装置、電子機器、検出用情報登録装置の制御方法、電子機器の制御方法、検出用情報登録装置制御プログラム、電子機器の制御プログラム |
WO2010026695A1 (ja) * | 2008-09-03 | 2010-03-11 | 三菱電機株式会社 | 車両用撮影システム |
JP5465128B2 (ja) | 2010-08-11 | 2014-04-09 | 株式会社トプコン | 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法、および点群位置データ処理プログラム |
US8718837B2 (en) * | 2011-01-28 | 2014-05-06 | Intouch Technologies | Interfacing with a mobile telepresence robot |
JP2013101045A (ja) | 2011-11-08 | 2013-05-23 | Fanuc Ltd | 物品の3次元位置姿勢の認識装置及び認識方法 |
JP2014230153A (ja) * | 2013-05-23 | 2014-12-08 | キヤノン株式会社 | 追尾装置及び追尾装置の制御方法 |
JP6357622B2 (ja) | 2014-03-28 | 2018-07-18 | 石川県 | 作業支援装置、作業支援システム、作業支援方法およびプログラム |
JP2016099257A (ja) | 2014-11-21 | 2016-05-30 | キヤノン株式会社 | 情報処理装置及び情報処理方法 |
CN105701445A (zh) * | 2014-12-15 | 2016-06-22 | 爱信精机株式会社 | 判定装置及判定方法 |
JP6510247B2 (ja) * | 2015-01-27 | 2019-05-08 | 株式会社トプコン | 測量データ処理装置、測量データ処理方法およびプログラム |
WO2016199244A1 (ja) * | 2015-06-10 | 2016-12-15 | 株式会社日立製作所 | 物体認識装置及び物体認識システム |
CN106325306B (zh) * | 2015-06-30 | 2019-07-16 | 芋头科技(杭州)有限公司 | 一种机器人的摄像头总成装置及其拍摄与跟踪方法 |
JP6599143B2 (ja) | 2015-06-30 | 2019-10-30 | セコム株式会社 | 自律移動ロボット |
MX2020007114A (es) * | 2018-01-10 | 2020-12-09 | Simbe Robotics Inc | Método para detectar y responder a derrames y peligros. |
-
2018
- 2018-06-06 JP JP2018108599A patent/JP6988704B2/ja active Active
-
2019
- 2019-04-26 US US16/395,300 patent/US10778902B2/en active Active
- 2019-06-05 CN CN201910486105.5A patent/CN110568450B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
US20190379836A1 (en) | 2019-12-12 |
JP2019213082A (ja) | 2019-12-12 |
CN110568450B (zh) | 2023-04-07 |
US10778902B2 (en) | 2020-09-15 |
CN110568450A (zh) | 2019-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6988704B2 (ja) | センサ制御装置、物体探索システム、物体探索方法及びプログラム | |
JP6506731B2 (ja) | ビジョンシステムで3dポイントクラウドマッチングに使用するクラッタをスコアリングするためのシステム及び方法 | |
KR101776621B1 (ko) | 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
JP5803367B2 (ja) | 自己位置推定装置、自己位置推定方法およびプログラム | |
US11667036B2 (en) | Workpiece picking device and workpiece picking method | |
US9984291B2 (en) | Information processing apparatus, information processing method, and storage medium for measuring a position and an orientation of an object by using a model indicating a shape of the object | |
US10957067B2 (en) | Control apparatus, object detection system, object detection method and program | |
JP2011185872A (ja) | 情報処理装置、その処理方法及びプログラム | |
US9916512B2 (en) | Information processing apparatus, processing system, object moving system, and object moving method | |
CN109213202B (zh) | 基于光学伺服的货物摆放方法、装置、设备和存储介质 | |
KR20160003776A (ko) | 자세 추정 방법 및 로봇 | |
US20150178956A1 (en) | Apparatus, systems, and methods for processing a height map | |
US11822340B2 (en) | Method and system for obstacle avoidance in robot path planning using depth sensors | |
JP2016091053A (ja) | 情報処理装置および容器形状の推定方法、ワークピッキングシステム、プログラム | |
US20170323456A1 (en) | Information processing apparatus, information processing method, program, system, and article manufacturing method | |
CN111630342A (zh) | 视觉焊接系统的缝隙检测方法以及系统 | |
JP2015111128A (ja) | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム | |
US20190394363A1 (en) | Image Processing Method, Image Processing Apparatus, Electronic Device, and Computer Readable Storage Medium | |
JP5820297B2 (ja) | 物体認識システム、物体認識装置 | |
CN111742349B (zh) | 信息处理装置、信息处理方法以及信息处理存储介质 | |
WO2014192061A1 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP7284076B2 (ja) | 三次元形状計測装置および三次元形状計測方法 | |
US12097615B2 (en) | Information processing device and information processing method | |
RU2656987C1 (ru) | Способ и система определения местоположения складских паллет на основе изображений трехмерных датчиков | |
JP7468289B2 (ja) | 制御装置、ロボット、制御方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210922 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211102 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211115 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6988704 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |