JPWO2020090897A1 - 位置検出装置、位置検出システム、遠隔制御装置、遠隔制御システム、位置検出方法、及びプログラム - Google Patents

位置検出装置、位置検出システム、遠隔制御装置、遠隔制御システム、位置検出方法、及びプログラム Download PDF

Info

Publication number
JPWO2020090897A1
JPWO2020090897A1 JP2020553983A JP2020553983A JPWO2020090897A1 JP WO2020090897 A1 JPWO2020090897 A1 JP WO2020090897A1 JP 2020553983 A JP2020553983 A JP 2020553983A JP 2020553983 A JP2020553983 A JP 2020553983A JP WO2020090897 A1 JPWO2020090897 A1 JP WO2020090897A1
Authority
JP
Japan
Prior art keywords
information
optical image
map information
detection
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020553983A
Other languages
English (en)
Other versions
JP7111172B2 (ja
Inventor
安田 真也
真也 安田
裕志 吉田
裕志 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2020090897A1 publication Critical patent/JPWO2020090897A1/ja
Application granted granted Critical
Publication of JP7111172B2 publication Critical patent/JP7111172B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0219Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30112Baggage; Luggage; Suitcase
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

検出対象物の位置を正確に検出するのに貢献することができる位置検出装置等を提供する。位置検出装置は、少なくとも1つの検出対象物が配置される可能性がある床面を含む空間における位置を表すマップ情報を作成するマップ情報作成部と、前記マップ情報から、前記検出対象物が前記空間に配された際に前記床面からなす高さ範囲のうち所定の高さ範囲の領域を抽出することにより、マスク情報を作成するマスク情報作成部と、前記光学画像情報から、前記マスク情報に対応する領域を取り除くことにより、部分光学画像情報を特定する特定部と、前記マップ情報と前記部分光学画像情報との位置関係を画素レベルで特定し、特定された位置関係に基づいて、前記マップ情報における、前記検出対象物の位置を検出する検出部と、を備える。

Description

(関連出願についての記載)
本発明は、日本国特許出願:特願2018−206697号(2018年11月1日出願)の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、位置検出装置、位置検出システム、遠隔制御装置、遠隔制御システム、位置検出方法、及びプログラムに関する。
近年、物流業務の効率化、標準化、省人化に伴い、倉庫や工場では、遠隔制御可能な移動体(搬送ロボット、搬送車等)を用いて搬送対象物(例えば、台車、荷物等)を搬送するようになっている。移動体を遠隔制御して搬送作業を行うにあたり、検出対象物(移動体、搬送対象物等)の位置を正確に検出することは極めて重要である。検出対象物の位置を正確に検出する技術として、例えば、以下のような技術がある。
特許文献1には、バーコードやQR(Quick Response)コードを搬送対象物(対象物)に貼り付け、カメラ(撮影部)でバーコードやQRコード(登録商標)を撮影することによって、搬送対象物の測位(位置計測)を可能にする技術が開示されている。特許文献1に係る技術によれば、バーコードの画像から4点以上の注目点を抽出することにより、バーコードの三次元位置及び三軸角度を求めることができる。
特許文献2及び特許文献3には、発光体(発光部、発光手段)を移動体(可動物体)に備え、発光体を俯瞰する位置からカメラ(ステレオカメラ、撮像手段)で発光体を撮影することによって移動体の測位(位置検出)を行う技術が開示されている。特許文献2に係る技術によれば、1つの移動体に備えられた複数の発光部のそれぞれが異なる波長で発光することによって、移動体の位置及び姿勢を検出することができる。
特許文献4には、天井と側方に固定された複数の距離センサを用いて、移動体の経路上にある障害物を検出する技術が開示されている。特許文献4に係る技術では、天井に設置された距離センサにより天井からの深度値(高さ)が一定の範囲内の場所を床面と判断し、その範囲外の場所に障害物があると判断する。特許文献4と同様に、特許文献5〜7には、深度値(高さ、距離)から特定の高さ範囲にある部分を抽出して位置検出する技術が開示されている。
特許文献8では、移動体に備えられたカメラ(撮影装置)を用いて天井面を撮像し、天井に設置されたマーカ(教示位置)を認識することで、移動体の位置を、マーカからの変位として取得する技術が開示されている。特許文献5に係る技術では、カメラとして二眼のカメラを用いている。二眼のカメラを用いることで、2つの画像の視差から被写体までの距離を認識することができる。また、特許文献5に係る技術によれば、予め求めた天井距離に近い距離の画素部分を抽出した距離マスクと、輝度が大きすぎる画素を除いた画素からなる輝度マスクと、を用いることによって、設置されたマーカの認識精度を向上している。さらに、特許文献5に係る技術によれば、天井距離(深度値)のみでなく輝度情報を用いてマスク画像を作成することで、精度を高めることができ、通常、光学画像における輝度情報は時間的なゆらぎが小さいので、輝度情報を天井距離よりも安定して取得できる。
特開2010−160056号公報 特開2013−24735号公報 国際公開第2002/023122号 特開2011−253377号公報 特開2018−146347号公報 特開2018−96716号公報 特開2011−106829号公報 特許第4042517号公報
以下の分析は、本願発明者により与えられる。
しかしながら、検出位置に基づいて遠隔制御される移動体では、検出位置の誤差が大きい場合、移動体の制御アルゴリズムが優れていたとしても、移動体を遠隔制御して行う搬送作業が失敗してしまう可能性がある。
また、遠隔制御される移動体は、車輪で移動する場合には、エンコーダを用いて車輪の回転数を測定しておけば、移動体の移動開始地点からの相対的な位置を、理論的には取得することができるが、回転数だけで高精度な移動をすることはできない。これは、路面の凹凸や車輪の摩耗、車輪の動力源となるモータの個体差など、移動体の内部センサでは認識できない誤差が時間とともに蓄積していくためである。
さらに、遠隔制御される移動体を用いて台車を搬送する場合、台車の位置を検出する必要があるが、通常の台車には電源や動力はないため、エンコーダなどのセンサを追加する改造を行うか、台車の外部から台車の位置を検出する必要がある。また、台車は、台数も多く、改造することが想定されていないため、現実的には外部から台車の位置を検出する選択を取らざるを得ない。
特許文献1に係る技術では、バーコードやQRコードを位置検出したいすべての物品に貼り付ける必要がある。このことは、例えば、毎日異なる搬送対象物が大量に入荷される倉庫内で搬送対象物を検出する場合、搬送を煩雑にする。また、A4用紙に印刷したQRコードをカメラ映像からオープンソースライブラリZBarを用いて認識する本出願人による実験では、2.5m(メートル)程度離れてしまうとQRコードの認識ができない。このことから、一般的な天井高さからの俯瞰映像による位置検出において、検出漏れが生じる可能性がある。
特許文献2及び特許文献3に係る技術では、発光体を移動体に備える必要があるが、移動体の代わりに、電源などが備え付けられていない台車にカメラを設置する場合、台車の改造を行うか、台車の外部から当該台車の位置を検出する必要がある。
特許文献4〜7に係る技術では、深度値(高さ、距離)を用いた位置検出では、隣接している複数の移動体を正しく切り分けることができないため、深度値から位置検出したい移動体のみを正しく切り分けることが難しい。
特許文献8に係る技術では、測定対象側となる移動体にカメラが備え付けられていなければならないため、移動体の代わりに、電源などが備え付けられていない台車にカメラを設置する場合、特許文献2及び特許文献3に係る技術と同様に、台車の改造を行うか、台車の外部から当該台車の位置を検出する必要がある。また、特許文献5に係る技術では、移動体から天井に設置されたマーカを見上げる形態(状態)で情報を取得するため、移動体の上部に荷物を置くことができない。さらに、特許文献5に係る技術では、複数の移動体は各々自身の位置検出を独立して行うため、複数の移動体が存在する場合、それらの位置関係を単独の移動体が知ることができない。
本発明の主な課題は、検出対象物の位置を正確に検出するのに貢献することができる位置検出装置、位置検出システム、遠隔制御装置、遠隔制御システム、位置検出方法、及びプログラムを提供することである。
第1の視点に係る位置検出装置は、少なくとも1つの検出対象物が配置される可能性がある床面を含む空間が撮像装置によって撮像されることによって生成された、少なくとも該空間の撮像画像を表す光学画像情報を構成する各画素に対応する、前記空間における位置を表すマップ情報を作成するマップ情報作成部と、前記マップ情報を用いて、前記マップ情報から、前記検出対象物が前記空間に配された際に前記床面からなす高さ範囲のうち所定の高さ範囲の領域を抽出することにより、マスク情報を作成するマスク情報作成部と、前記光学画像情報及び前記マスク情報を用いて、前記光学画像情報から、前記マスク情報に対応する領域を取り除くことにより、部分光学画像情報を特定する特定部と、前記マップ情報及び前記部分光学画像情報を用いて、前記マップ情報と前記部分光学画像情報との位置関係を画素レベルで特定し、特定された位置関係に基づいて、前記マップ情報における、前記検出対象物の位置を検出する検出部と、を備える。
第2の視点に係る位置検出システムは、少なくとも1つの検出対象物が配置される可能性がある床面を含む空間を撮像する撮像装置と、前記第1の視点に係る位置検出装置と、を備え、前記撮像装置は、前記位置検出装置と通信可能に接続されている。
第3の視点に係る遠隔制御装置は、前記第1の視点に係る位置検出装置と、移動体及び撮像装置と通信可能にする通信部と、前記位置検出装置で検出された前記検出対象物となる前記移動体の位置に係る情報に基づいて、前記通信部を介して前記移動体の動作を制御する制御部と、を備える。
第4の視点に係る遠隔制御システムは、少なくとも1つの検出対象物となる移動体と、前記移動体が移動する範囲の少なくとも一部を含む空間を撮像する撮像装置と、前記第3の視点に係る遠隔制御装置と、前記撮像装置、前記遠隔制御装置、及び、前記移動体を通信可能に接続するネットワークと、を備える。
第5の視点に係る位置検出方法は、少なくとも1つの検出対象物が配置される可能性がある床面を含む空間が撮像装置によって撮像されることによって生成された、少なくとも該空間の撮像画像を表す光学画像情報を構成する各画素に対応する、前記空間における位置を表すマップ情報を作成することと、前記マップ情報を用いて、前記マップ情報から、前記検出対象物が前記空間に配された際に前記床面からなす高さ範囲のうち所定の高さ範囲の領域を抽出することにより、マスク情報を作成することと、前記光学画像情報及び前記マスク情報を用いて、前記光学画像情報から、前記マスク情報に対応する領域を取り除くことにより、部分光学画像情報を特定することと、前記マップ情報及び前記部分光学画像情報を用いて、前記マップ情報と前記部分光学画像情報との位置関係を画素レベルで特定し、特定された位置関係に基づいて、前記マップ情報における、前記検出対象物の位置を検出することと、を含む。
第6の視点に係るプログラムは、少なくとも1つの検出対象物が配置される可能性がある床面を含む空間が撮像装置によって撮像されることによって生成された、少なくとも該空間の撮像画像を表す光学画像情報を構成する各画素に対応する、前記空間における位置を表すマップ情報を作成する処理と、前記マップ情報を用いて、前記マップ情報から、前記検出対象物が前記空間に配された際に前記床面からなす高さ範囲のうち所定の高さ範囲の領域を抽出することにより、マスク情報を作成する処理と、前記光学画像情報及び前記マスク情報を用いて、前記光学画像情報から、前記マスク情報に対応する領域を取り除くことにより、部分光学画像情報を特定する処理と、前記マップ情報及び前記部分光学画像情報を用いて、前記マップ情報と前記部分光学画像情報との位置関係を画素レベルで特定し、特定された位置関係に基づいて、前記マップ情報における、前記検出対象物の位置を検出する処理と、をハードウェア資源に実行させる。
なお、上記のプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。そして、当該プログラムが格納された記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント(non-transient)なものとすることができる。また、本開示では、コンピュータプログラム製品として具現することも可能である。プログラムは、コンピュータ装置に入力装置又は外部から通信インタフェースを介して入力され、記憶装置に記憶されて、プロセッサを所定のステップないし処理に従って駆動させ、必要に応じ中間状態を含めその処理結果を段階毎に表示装置を介して表示することができ、あるいは通信インタフェースを介して、外部と交信することができる。そのためのコンピュータ装置は、一例として、典型的には互いにバスによって接続可能なプロセッサ、記憶装置、入力装置、通信インタフェース、及び必要に応じ表示装置を備える。
前記第1〜第6の視点によれば、検出対象物の位置を正確に検出するのに貢献することができる。
実施形態1に係る位置検出システムの構成を模式的に示したブロック図である。 実施形態1に係る位置検出システムにおける撮像装置と検出対象物との位置関係の一例を模式的に示したイメージ図である。 実施形態1に係る位置検出システムにおける撮像装置で撮像された光学画像情報の一例を模式的に示したイメージ図である。 実施形態1に係る位置検出システムにおける位置検出装置のマップ情報作成部で作成されたマップ情報の一例を模式的に示したイメージ図である。 実施形態1に係る位置検出システムにおける位置検出装置のマスク情報作成部で作成されたマスク情報の一例を模式的に示したイメージ図である。 実施形態1に係る位置検出システムにおける位置検出装置の特定部で行われる特定処理の一例を模式的に示したイメージ図である。 実施形態1に係る位置検出システムにおける位置検出装置の動作を模式的に示したフローチャート図である。 実施形態2に係る位置検出システムの構成を模式的に示したブロック図である。 実施形態3に係る位置検出システムの構成を模式的に示したブロック図である。 実施形態4に係る位置検出システムの構成を模式的に示したブロック図である。 実施形態6に係る遠隔制御システムの構成を模式的に示したブロック図である。 実施形態7に係る位置検出装置の構成を模式的に示したブロック図である。 実施形態7に係る位置検出装置の動作を模式的に示したフローチャートである。 ハードウェア資源の構成を模式的に示したブロック図である。
以下に説明する本開示では、モード1に係る位置検出装置及びその変形モードを適宜選択して組み合わせることができる。
前記モード1に係る位置検出装置として、少なくとも1つの検出対象物が配置される可能性がある床面を含む空間が撮像装置によって撮像されることによって生成された、少なくとも該空間の撮像画像を表す光学画像情報を構成する各画素に対応する、前記空間における位置を表すマップ情報を作成するマップ情報作成部を備えることが可能である。前記位置検出装置は、前記マップ情報を用いて、前記マップ情報から、前記検出対象物が前記空間に配された際に前記床面からなす高さ範囲のうち所定の高さ範囲の領域を抽出することにより、マスク情報を作成するマスク情報作成部を備えることが可能である。前記位置検出装置は、前記光学画像情報及び前記マスク情報を用いて、前記光学画像情報から、前記マスク情報に対応する領域を取り除くことにより、部分光学画像情報を特定する特定部を備えることが可能である。前記位置検出装置は、前記マップ情報及び前記部分光学画像情報を用いて、前記マップ情報と前記部分光学画像情報との位置関係を画素レベルで特定し、特定された位置関係に基づいて、前記マップ情報における、前記検出対象物の位置を検出する検出部を備えることが可能である。
前記モード1に係る位置検出装置の変形モードとして、前記検出部は、前記部分光学画像情報を用いて、前記部分光学画像情報に対して所定の画像処理を行い、前記所定の画像処理が行われた前記部分光学画像情報から前記検出対象物の輪郭を検出する検出対象物検出部と、前記マップ情報、及び、前記検出対象物の前記輪郭に係る情報を用いて、前記マップ情報における、前記検出対象物の前記輪郭の位置を検出する位置検出部と、を備えることができる。前記モード1に係る位置検出装置の変形モードとして、前記マップ情報作成部は、前記撮像装置で生成された前記光学画像情報を用いて、前記マップ情報を作成することができる。また、前記位置検出装置において、前記マップ情報作成部は、距離センサ自身から前記検出対象物を含む被写体までの距離を測定する前記距離センサで測定された距離に係る情報を用いて、前記マップ情報を作成することができる。また、前記位置検出装置において、前記マップ情報に対して、前記撮像装置による画角が鉛直下向きとなるように、前記マップ情報を補正するマップ補正部をさらに備え、前記マスク情報作成部は、前記マップ補正部で補正された前記マップ情報を用いて、前記マスク情報を作成することができる。また、前記位置検出装置において、前記光学画像情報における周辺減光に伴う輝度ないし色相を補正する光学画像補正部をさらに備え、前記特定部は、前記光学画像補正部で補正された前記光学画像情報を用いて、前記部分光学画像情報を特定することができる。また、前記位置検出装置において、前記検出対象物検出部における前記所定の画像処理では、前記部分光学画像情報に対して特定の輝度範囲にある画素のみを1とし、それ以外の画素を0とする2値化処理を行うことができる。また、前記位置検出装置において、前記検出対象物検出部における前記所定の画像処理では、前記部分光学画像情報を同じ回数分だけ収縮した後に膨張を行うオープニング処理を行ったうえで前記2値化処理を行うことができる。さらに、前記位置検出装置において、前記検出対象物検出部における前記所定の画像処理では、前記部分光学画像情報のモルフォロジー勾配を計算し、前記検出対象物の前記輪郭を抽出し、前記検出対象物の前記輪郭部分を黒く塗りつぶしたうえで前記2値化処理を行うことができる。
本開示では、モード2に係る位置検出システムとして、少なくとも1つの検出対象物が配置される可能性がある床面を含む空間を撮像する撮像装置と、前記モード1に係る位置検出装置と、を備えることができる。前記撮像装置は、前記位置検出装置と通信可能に接続することができる。
前記モード2に係る位置検出システムの変形モードとして、距離センサ自身から前記検出対象物を含む被写体までの距離を測定する前記距離センサをさらに備え、前記距離センサは、前記位置検出装置と通信可能に接続することができる。また、前記位置検出システムにおいて、前記撮像装置は、ステレオカメラとすることができる。
本開示では、モード3に係る遠隔制御装置として、前記モード1に係る位置検出装置と、移動体及び撮像装置と通信可能にする通信部と、前記位置検出装置で検出された前記検出対象物となる前記移動体の位置に係る情報に基づいて、前記通信部を介して前記移動体の動作を制御する制御部と、を備えることができる。
本開示では、モード4に係る遠隔制御システムとして、少なくとも1つの検出対象物となる移動体と、前記移動体が移動する範囲の少なくとも一部を含む空間を撮像する撮像装置と、前記モード3に係る遠隔制御装置と、前記撮像装置、前記遠隔制御装置、及び、前記移動体を通信可能に接続するネットワークと、を備えることができる。
本開示では、モード5に係る位置検出方法として、少なくとも1つの検出対象物が配置される可能性がある床面を含む空間が撮像装置によって撮像されることによって生成された、少なくとも該空間の撮像画像を表す光学画像情報を構成する各画素に対応する、前記空間における位置を表すマップ情報を作成することと、前記マップ情報を用いて、前記マップ情報から、前記検出対象物が前記空間に配された際に前記床面からなす高さ範囲のうち所定の高さ範囲の領域を抽出することにより、マスク情報を作成することと、前記光学画像情報及び前記マスク情報を用いて、前記光学画像情報から、前記マスク情報に対応する領域を取り除くことにより、部分光学画像情報を特定することと、前記マップ情報及び前記部分光学画像情報を用いて、前記マップ情報と前記部分光学画像情報との位置関係を画素レベルで特定し、特定された位置関係に基づいて、前記マップ情報における、前記検出対象物の位置を検出することと、を含むことができる。
前記モード5に係る位置検出方法の変形モードとして、前記検出対象物の位置を検出することでは、前記部分光学画像情報を用いて、前記部分光学画像情報に対して所定の画像処理を行い、前記所定の画像処理が行われた前記部分光学画像情報から前記検出対象物の輪郭を検出することと、前記マップ情報、及び、前記検出対象物の前記輪郭に係る情報を用いて、前記マップ情報における、前記検出対象物の前記輪郭の位置を検出することと、
をさらに含むことができる。
本開示では、モード6に係るプログラムとして、少なくとも1つの検出対象物が配置される可能性がある床面を含む空間が撮像装置によって撮像されることによって生成された、少なくとも該空間の撮像画像を表す光学画像情報を構成する各画素に対応する、前記空間における位置を表すマップ情報を作成する処理と、前記マップ情報を用いて、前記マップ情報から、前記検出対象物が前記空間に配された際に前記床面からなす高さ範囲のうち所定の高さ範囲の領域を抽出することにより、マスク情報を作成する処理と、前記光学画像情報及び前記マスク情報を用いて、前記光学画像情報から、前記マスク情報に対応する領域を取り除くことにより、部分光学画像情報を特定する処理と、前記マップ情報及び前記部分光学画像情報を用いて、前記マップ情報と前記部分光学画像情報との位置関係を画素レベルで特定し、特定された位置関係に基づいて、前記マップ情報における、前記検出対象物の位置を検出する処理と、をハードウェア資源に実行させることができる。
前記モード6に係るプログラムの変形モードとして、前記部分光学画像情報を用いて、前記部分光学画像情報に対して所定の画像処理を行い、前記所定の画像処理が行われた前記部分光学画像情報から前記検出対象物の輪郭を検出する処理と、前記マップ情報、及び、前記検出対象物の前記輪郭に係る情報を用いて、前記マップ情報における、前記検出対象物の前記輪郭の位置を検出する処理と、をハードウェア資源に実行させることができる。
以下、実施形態について図面を参照しつつ説明する。なお、本出願において図面参照符号を付している場合は、それらは、専ら理解を助けるためのものであり、図示の態様に限定することを意図するものではない。また、下記の実施形態は、あくまで例示であり、本発明を限定するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号(データ)の流れを模式的に示すものであり、双方向性を排除するものではない。さらに、本願開示に示す回路図、ブロック図、内部構成図、接続図などにおいて、明示は省略するが、入力ポート及び出力ポートが各接続線の入力端及び出力端のそれぞれに存在する。入出力インタフェースも同様である。プログラムはコンピュータ装置を介して実行され、コンピュータ装置は、例えば、プロセッサ、記憶装置、入力装置、通信インタフェース、及び必要に応じ表示装置を備え、コンピュータ装置は、通信インタフェ−スを介して装置内又は外部の機器(コンピュータを含む)と、有線、無線を問わず、交信可能に構成される。
[実施形態1]
実施形態1に係る位置検出システムについて図面を用いて説明する。図1は、実施形態1に係る位置検出システムの構成を模式的に示したブロック図である。図2は、実施形態1に係る位置検出システムにおける撮像装置と検出対象物との位置関係の一例を模式的に示したイメージ図である。図3は、実施形態1に係る位置検出システムにおける撮像装置で撮像された光学画像情報の一例を模式的に示したイメージ図である。図4は、実施形態1に係る位置検出システムにおける位置検出装置のマップ情報作成部で作成されたマップ情報の一例を模式的に示したイメージ図である。図5は、実施形態1に係る位置検出システムにおける位置検出装置のマスク情報作成部で作成されたマスク情報の一例を模式的に示したイメージ図である。図6は、実施形態1に係る位置検出システムにおける位置検出装置の特定部で行われる特定処理の一例を模式的に示したイメージ図である。
位置検出システム1は、検出対象物(図1では移動体6)の位置を検出するシステムである。位置検出システム1は、位置検出装置2と、撮像装置3と、を有する。なお、図1では移動体6を検出対象物としているが、これに限るものではなく、搬送対象物8を検出対象物としてもよい。なお、実施形態1では、移動体6を検出対象物として説明する。
位置検出装置2は、撮像装置3を用いて、移動体6(検出対象物)の位置を検出する装置である。位置検出装置2は、移動体6(検出対象物)の外部に存在する。位置検出装置2は、撮像装置3と通信可能に接続されている。位置検出装置2は、マップ情報作成部10と、マスク情報作成部11と、特定部12と、検出対象物検出部13と、位置検出部14と、を有する。位置検出装置2には、例えば、プロセッサ、メモリ、ネットワークインタフェース等を含むハードウェア資源(例えば、情報処理装置)を用いることができる。この場合、ハードウェア資源は、プログラムを記憶するメモリを利用しながら、プロセッサにおいて当該プログラムを実行することにより、仮想的な、マップ情報作成部10、マスク情報作成部11、特定部12、検出対象物検出部13、及び位置検出部14を構成するようにしてもよい。
ここで、撮像装置3は、移動体6(検出対象物)が移動する範囲の少なくとも一部(全部でも可)を含む空間を画角とする画像を撮像(撮影)する装置である。撮像装置3は、有線及び無線の少なくとも一方の通信技術を利用して位置検出装置2と通信可能に接続されている。撮像装置3は、当該空間を俯瞰する位置(図2では天井)に固定して設置(取付等を含む)され、撮像装置3による画角が所定の方向(図2では鉛直下向き)になるように配することができる。
なお、図2では、移動体6(検出対象物)が床面を2次元的に移動することを想定し、搬送対象物8が台車上に箱状の複数(図2では3個)の荷物を積載したものを想定し、移動体6が搬送対象物8を押す(引くでも可)ことで搬送対象物8を搬送することを想定している。
また、撮像装置3は、撮像された当該空間に係る光学画像情報(例えば、図3参照;時刻情報を含めても可)を生成し、生成された光学画像情報を位置検出装置2に向けて送信する。撮像装置3には、例えば、被写体からの光をレンズで集光し、集光された光を撮像素子で画素ごとに電気信号に変換し、変換された画素ごとの電気信号を用いて画像生成回路で光学画像情報を生成するカメラを用いることができる。また、撮像装置3には、例えば、視差を持つように離れた位置に設置された2つのカメラから構成されるステレオカメラを用いることができる。この場合、2つのカメラから得られた2つの光学画像情報を比較することで、人間の眼のように、被写体までの方位と距離を測定(推測、推定)することができる。このような測定の場合、被写体の見た目が均質であると、左右の光学画像情報で対応する点を見つけることが難しく、精度が低下してしまうことがあるので、補助的に赤外線のパターン光を投影し、被写体の見た目を均質でなくするような仕組みを併用してもよい。
なお、光学画像情報は、例えば、モノクロ画像(グレースケール画像)の場合、画像を構成する所定マトリックスサイズの各画素(ピクセル)に対して、輝度値(輝度情報)が関連付けられたデジタル情報とすることができる。
マップ情報作成部10は、撮像装置3からの光学画像情報(例えば、図3参照)を用いて、少なくとも1つの検出対象物が配置される可能性がある床面を含む空間(例えば、3次元空間)が撮像装置によって撮像されることによって生成された、少なくとも該空間の撮像画像を表す光学画像情報を構成する各画素に対応する、該空間における位置を表すマップ情報(例えば、図4参照)を作成する機能部(処理部)である。マップ情報作成部10は、作成したマップ情報をマスク情報作成部11及び位置検出部14に向けて出力する。また、マップ情報作成部10は、マップ情報と光学画像情報との対応関係を確保するため、作成したマップ情報に対応する光学画像情報を特定部12に向けて出力する。
ここで、マップ情報は、撮像装置3が撮像した画像(静止画、動画)を表す光学画像情報における各画素に対して、撮像装置3の被写体となり得る移動体6(検出対象物)及び搬送対象物8が3次元空間においてどの座標に位置するかを関連付けた情報(マップ情報)とすることができる。この場合、係る3次元座標系を高さ(深度)と広がりとを表す3次元座標系と観念することができる。そして、該3次元座標系の原点は、任意にとってよいが、例えば、撮像装置3(カメラ)の集光位置(レンズ位置)を原点とし、撮像装置3の光軸方向に撮像装置3から離れる向きをz軸の正の向きとし、撮像装置3で撮影された光学画像情報の横方向に対応する向きをx軸、縦方向に対応する向きをy軸とするような右手系(正系)で構成してもよい。
図4のマップ情報は、高さ方向(深度方向;図4の紙面に対する垂直方向)をz軸とし、XY面において、図2に示した所定の高さ範囲(所定の深度範囲;検出対象物(移動体6)の高さ範囲に相当)内にある位置を濃い色で表し、当該所定の高さ範囲よりも高い位置及び低い位置を薄い色で表している。図4のマップ情報において移動体6(検出対象物)の輪郭がぼやけているのは、測定の誤差により、輪郭の形状がアメーバ状に時々刻々変化しているからである。また、図4のマップ情報において、搬送対象物8の上面に所定の高さ範囲内にある上面が存在しないにもかかわらず、搬送対象物8の領域において枠状の輪郭が表れているのは、測定の誤差により、図2の最上段の荷物の上面と台車の上面との段差部分にてそれらの上面の間に傾斜面が存在するように表れ、当該傾斜面において所定の高さ範囲内にある部分が存在するように表れるからである。なお、図2に示した所定の高さ範囲は検出対象物を移動体6とした場合の高さ範囲であり、検出対象物を搬送対象物8とする場合は搬送対象物8の高さ範囲にあわせて所定の高さ範囲が設定される。
図4のマップ情報では、移動体6(検出対象物)に相当する部分と、搬送対象物8の周囲の一部と、が一体化しているため、マップ情報から移動体6(検出対象物)のみの位置を正確に検出することが難しいという問題がある。また、図4のマップ情報では、前述のとおり、測位誤差により輪郭の形状が時々刻々変化しているため、マップ情報からの形状認識による位置検出は実用上、精度が不十分であるという問題がある。そこで、これらの問題を解決するために、本実施形態に係る位置検出装置2は、以下のように、マップ情報において所定の高さ範囲にない領域(搬送対象物8、床面の領域を含む)を取り除くためのマスク(マスク情報)を、マスク情報作成部11で作成する。
マスク情報作成部11は、マップ情報作成部10からのマップ情報(例えば、図4参照)を用いて、マップ情報から、検出対象物(移動体6)が、撮像装置3が撮像した空間に配された際に床面からなす高さ範囲のうち所定の高さ範囲の領域を抽出することにより、マスク情報(例えば、図5の「マスク」参照)を作成する機能部(処理部)である。ここで、所定の高さ範囲とは、検出対象物(移動体6)の床面からの高さ範囲(図5の「所定の高さ範囲」参照)に相当する。そして、この所定の高さ範囲になっている領域以外の領域とは、当該所定の高さ範囲より高い領域及び低い領域(即ち、撮像装置3を基準として、当該所定の高さ範囲よりも手前の領域及び遠方の領域:図5に斜線で示す領域)である。特定部12による特定処理は、光学画像情報から、所定の高さ範囲になっている領域以外の領域を、マスク情報作成部11で作成したマスク情報によって覆い隠すことによって取り除く処理であるとも言える。マスク情報作成部11は、作成されたマスク情報を特定部12に向けて出力する。
即ち、図5のマスク情報作成の例では、「マスク(マスク情報)」は、図4に例示するマップ情報において、移動体6(検出対象物)に相当する領域と、搬送対象物8の周囲に相当する領域とからなる領域(図5に黒塗りで示される「所定の高さ範囲」に相当)以外の、所定の高さ範囲にある領域(図5に斜線で示す領域)に作成される。従って、図5に例示する「マスク(マスク情報)」は、搬送対象物8の上面と、当該所定の高さ範囲よりも遠方の床面を含むことになる。
特定部12は、マップ情報作成部10からの光学画像情報(例えば、図3参照)と、その光学画像情報に対応する、マスク情報作成部11が作成したマスク情報(例えば、図5参照)とを用いて、当該光学画像情報から、当該マスク情報に対応する領域を取り除く(マスキングする)ことにより(図6参照)、部分光学画像情報を特定する機能部(処理部)である。特定部12による特定処理(マスキング処理)は、光学画像情報をマップ情報で覆い、当該マップ情報で覆われた領域を表す光学画像情報を残すことで、後述の検出対象物検出部13において処理すべき対象を限定する処理であるとも言える。具体的には、例えば、光学画像情報の画素数がnであった場合、マスク情報を要素数がnで、各要素が0または1からなるベクトルとして保持しておき、特定部12は、光学画像情報の各画素に対して、j番目の画素の輝度情報とマスク情報のj番目の要素の積の演算を行うことで、マスキング処理を行ってもよい。特定部12は、特定した部分光学画像情報を検出対象物検出部13に向けて出力する。ここで、部分光学画像情報とは、ある全体画像(例えば1フレームの画像)に相当する光学画像情報のうち、当該ある全体画像の少なくとも一部分の画像領域に相当する光学画像情報を表すこととする。
検出対象物検出部13は、特定部12からの部分光学画像情報を用いて、部分光学画像情報に対して所定の画像処理(例えば、2値化処理)を行い、所定の画像処理が行われた前記部分光学画像情報から検出対象物(移動体6)の輪郭(例えば、形状)を検出する機能部(処理部)である。検出対象物検出部13は、検出された検出対象物(移動体6)の輪郭に係る情報(検出対象物情報)を位置検出部14に向けて出力する。
ここで、光学画像情報における輝度情報は、マップ情報とは異なり、時間的なゆらぎが非常に少ない。従って、光学画像情報をマスキング処理した部分光学画像情報は、図4のマップ情報のような搬送対象物8の領域における枠状の輪郭が表れず、検出対象物(移動体6)の輪郭のみを安定して検出することができる。
所定の画像処理では、例えば、特定の輝度範囲を決定しておき、当該特定の輝度範囲にある画素のみを1とし、それ以外の画素を0とする2値化処理を行うことができる。他にも、例えば、公知の手法を用いて自動的に閾値を決定して2値化処理を行ってもよい。
図3の例の場合、移動体6(検出対象物)を上から見た輪郭(形状)は長方形に見えることから、検出対象物検出部13は、所定の画像処理が行われた前記部分光学画像情報から長方形を検出する。なお、検出する検出対象物の輪郭は、上から見た検出対象物の輪郭(平面形状)であるが、長方形に限るものではなく、検出対象物の輪郭に合わせて任意の形状とすることができる。検出対象物が容易に改造しうる場合、検出対象物検出部13は、予め指定された、移動体6上に明度差をつけて示された図形を検出してもよい。
位置検出部14は、マップ情報作成部10からのマップ情報と、検出対象物検出部13からの検出対象物情報と、を用いて、マップ情報における検出対象物(移動体6)の輪郭の3次元空間における位置を検出する機能部(処理部)である。位置検出部14は、検出対象物情報を用いて、検出対象物(移動体6)の光学画像情報上の位置を検出する機能を有する。また、位置検出部14は、マップ情報と、検出対象物(移動体6)の光学画像情報上の位置と、を用いて、検出対象物(移動体6)の空間での位置を検出する機能を有する。位置検出部14は、検出された検出対象物(移動体6)の位置に係る情報(位置情報)を、必要に応じて、図示されていない機能部や外部に提供する。
ここで、移動体6(検出対象物)の位置は、代表点の座標を示し、例えば、長方形の重心とすることができる。また、光学画像情報は、マップ情報とは異なり、空間上での位置を表す情報は含まれていない。このため、ここで検出される移動体6(検出対象物)の位置は、あくまでも光学画像情報上の位置であり、その単位は画素(ピクセル)となる。さらに、実際の空間での位置を知るために、位置検出部14は、移動体6(検出対象物)の光学画像情報上での位置と、マップ情報と、に基づいて、移動体6(検出対象物)の空間での位置を検出する。これにより、移動体6(検出対象物)の空間での位置の検出が高精度に行える。
次に、実施形態1に係る位置検出システムにおける位置検出装置の動作について図面を用いて説明する。図7は、実施形態1に係る位置検出システムにおける位置検出装置の動作を模式的に示したフローチャート図である。なお、位置検出システムの構成部については、図1を参照されたい。
まず、位置検出装置2のマップ情報作成部10は、撮像装置3からの光学画像情報(例えば、図3参照)を用いて、マップ情報(例えば、図4参照)を作成する(ステップA1)。
次に、位置検出装置2のマスク情報作成部11は、マップ情報作成部10からのマップ情報(例えば、図4参照)を用いて、マスク情報(例えば、図5の「マスク」参照)を作成する(ステップA2)。
次に、位置検出装置2の特定部12は、マップ情報作成部10からの光学画像情報(例えば、図3参照)と、マスク情報作成部11からの、当該光学画像情報に対応するマスク情報(例えば、図5の「マスク」参照)とを用いて、当該光学画像情報から、当該マスク情報に対応する領域を取り除く(マスキングする)ことにより(図6参照)、部分光学画像情報を特定する(ステップA3)。
次に、位置検出装置2の検出対象物検出部13は、特定部12からの部分光学画像情報を用いて、部分光学画像情報に対して所定の画像処理(例えば、2値化処理)を行い、所定の画像処理が行われた前記部分光学画像情報から検出対象物(移動体6)の輪郭(例えば、形状)を検出する(ステップA4)。
次に、位置検出装置2の位置検出部14は、マップ情報作成部10からのマップ情報と、検出対象物検出部13で検出された検出対象物(移動体6)の輪郭に係る情報(検出対象物情報)と、を用いて、マップ情報における検出対象物(移動体6)の輪郭の位置を検出し(ステップA5)、その後、スタートに戻る。
実施形態1によれば、検出対象物(移動体6)を俯瞰することができる位置(例えば、天井)に設置された撮像装置3を用いることで、検出対象物(移動体6)の位置を正確(高精度)に検出するのに貢献することができる。その理由は、時間的なゆらぎが非常に少ない輝度情報を含む光学画像情報を、マップ情報を用いて作成したマスク情報でマスキングすることで、検出対象物(移動体6)の輪郭のみを安定して検出することができるようになり、検出対象物(移動体6)の位置を高精度に検出することができるからである。
[実施形態2]
実施形態2に係る位置検出システムについて図面を用いて説明する。図8は、実施形態2に係る位置検出システムの構成を模式的に示したブロック図である。
実施形態2は、実施形態1の変形例であり、マップ情報作成部10で用いる情報に、撮像装置3の光学画像情報ではなく距離センサ9の距離情報を用い、かつ、撮像装置3の光学画像情報を、マップ情報作成部10を介さずに特定部12に入力するようにしたものである。
距離センサ9は、距離センサ9自身から検出対象物(移動体6)を含む被写体までの距離を測定するセンサである。距離センサ9は、例えば、移動体6(検出対象物)が移動可能な範囲の少なくとも一部(全部でも可)を含む空間を俯瞰することができる位置(例えば、天井)に固定して設置(取付等を含む)され、センシングする方向が所定の方向(図2では鉛直下向き)になるように配することができる。距離センサ9には、例えば、変調光を移動体6(検出対象物)に投影し、変調光が移動体6(検出対象物)で反射して戻って来るまでの時間を計測することで、距離センサ9自身から移動体6(検出対象物)までの距離を測定するタイムオブフライト方式の距離センサを用いることができる。距離センサ9は、測定された距離に係る情報(距離情報)をマップ情報作成部10に向けて出力する。
マップ情報作成部10は、距離センサ9からの距離情報を用いて、少なくとも1つの検出対象物が配置される可能性がある床面を含む空間が撮像装置によって撮像されることによって生成された、少なくとも該空間の撮像画像を表す光学画像情報を構成する各画素に対応する、前記空間における位置を表すマップ情報を作成する。
特定部12は、撮像装置3からの光学画像情報と、マスク情報作成部11からの、当該光学画像情報に対応するマスク情報とを用いて、当該光学画像情報から、当該マスク情報に対応する領域を取り除く(マスキングする)ことにより、部分光学画像情報を特定する。
その他の構成及び動作については、実施形態1と同様である。
実施形態2によれば、検出対象物(移動体6)を俯瞰することができる位置(例えば、天井)に設置された撮像装置3及び距離センサ9を用いることで、検出対象物(移動体6)の位置を正確(高精度)に検出するのに貢献することができる。その理由は、時間的なゆらぎが非常に少ない輝度情報を含む光学画像情報を、距離センサ9からの距離情報に基づくマップ情報を用いて作成したマスク情報でマスキングすることで、検出対象物(移動体6)の輪郭のみを安定して検出することができるようになり、検出対象物(移動体6)の位置を高精度に検出することができるからである。
[実施形態3]
実施形態3に係る位置検出システムについて図面を用いて説明する。図9は、実施形態3に係る位置検出システムの構成を模式的に示したブロック図である。
実施形態3は、実施形態1の変形例である。実施形態3に係る位置検出システム1は、マップ情報作成部10で作成されたマップ情報に対して、撮像装置3による画角が鉛直下向きとなるように、マップ情報を補正するマップ補正部15が更に設けられている。
実施形態1では、図2のように、天井に撮像装置3を設置し、かつ、撮像装置3による画角が鉛直下向きになるように配されていることが好ましいが、撮像装置3による画角をできるだけ鉛直下向きに設置したとしても、設置精度が十分ではなく、微妙な傾きをもって設置されてしまう可能性がある。この場合、床面のz座標(高さ、深度に相当)が均一ではなくなってしまい、あるz座標範囲を指定して検出対象物の高さ範囲を限定したとしても、光学画像情報の一方の端、及び、他方の端のそれぞれに検出対象物がある場合、片方又は両方の検出対象物が検出範囲を逸脱してしまい、位置検出できなくなる可能性がある。このような場合にも、図9に示す構成のように、マップ補正部15を設け、マップ情報作成部10で作成されたマップ情報に対して、撮像装置3による画角が鉛直下向きとなるように、マップ情報を補正することで、位置検出が可能になる。
マップ補正部15で補正されたマップ情報(補正マップ情報)は、マスク情報作成部11及び位置検出部14のそれぞれに提供され、補正マップ情報を用いてマスク情報作成処理及び位置検出処理が行われる。
ここで、マップ情報の補正は、例えば、以下のようにして行うことができる。マップ情報から、予め床面上にある少なくとも3点を選び、それらの点の最小二乗平面を求める。点の個数を増やすことで高さ(深度)の測定誤差の影響を受けにくくなるが、例えば、撮像装置3にステレオカメラを用いた場合、ステレオカメラから被写体までの距離が近いほど精度が高くなることを利用して、なるべくステレオカメラに近い中央付近から重点的に点を選んで最小二乗平面を計算してもよい。最小二乗平面が以下の式1のように求まったと仮定する。
[式1]
Figure 2020090897
ここで、高さ(深度)に相当するzの単位は3次元空間上の長さを表す単位(例えば、メートル)である。これに対して、縦横に相当するx、yの単位は、光学画像情報における位置を表す画素(ピクセル)であることに注意する。また、a、b、cは、最小二乗法によって得られた定数である。光学画像情報が表す画像領域の中心座標を(x,y)=(0,0)として、光学画像情報が表す画像領域の中心に対応する床面の位置を基準にすると仮定する。この場合に、係る中心座標(基準)以外の点、例えば、(x,y)=(X,Y)における高さ(深度)を補正するには、もともとマップ情報で得られた(X,Y)における高さ(深度)がZであったと仮定すると、Zを以下の式2に置き換えたものを新しい高さ(補正高さ)として用いればよい。
[式2]
Figure 2020090897
その他の構成及び動作については、実施形態1と同様である。
なお、マップ情報のその他の補正方法として、時間的なゆらぎを吸収するために各画素について高さデータの指数平滑を行ってもよい。
実施形態3によれば、実施形態1と同様に、検出対象物(移動体6)を俯瞰することができる位置(例えば、天井)に設置された撮像装置3を用いることで、検出対象物(移動体6)の位置を正確(高精度)に検出するのに貢献することができるとともに、マップ情報のすべての画素についてこの補正処理を行うことで、撮像装置3が傾いて設置されていることによる誤差をある程度補正することができ、その結果、マップ情報を用いたマスク情報作成部11でのマスク情報の作成の精度を上げることができる。
[実施形態4]
実施形態4に係る位置検出システムについて図面を用いて説明する。図10は、実施形態4に係る位置検出システムの構成を模式的に示したブロック図である。
実施形態4は、実施形態3の変形例である。実施形態4に係る位置検出システム1は、マップ情報作成部10からの光学画像情報の補正を行う光学画像補正部16が更に設けられている。
撮像装置3で撮像した光学画像は、撮像装置3の光学系の設計によっては、被写体がたとえ均一の輝度であったとしても、光学画像の周辺部が暗く映る場合(周辺減光、周辺光量落ち)がある。そのため、例えば、特定部12において「一定値以上の輝度を持つ長方形」を検出しようとしても、その基準となる輝度は画像の中央部と周辺部とでは異なる場合がある。このため、図10に示すように、光学画像情報における周辺減光に伴う輝度ないし色相を補正する光学画像補正部16を設けるのが望ましい。このとき、実施形態3に示したマップ補正部15を併用してもよい。
光学画像補正部16で補正された光学画像情報(補正光学画像情報)は、特定部12に提供され、補正光学画像情報を用いて抽出処理が行われる。
光学画像情報が輝度情報のみを持つモノクロ画像である場合の光学画像補正部16の動作(光学画像の補正方法、輝度の補正方法)は以下の通りである。光学画像情報が表す画像領域の中心(中心点)の座標を(x,y)=(0,0)とし、その中心点以外の点(例えば、(x,y)=(X,Y))における輝度を補正するには、もともと光学画像情報で得られた(X,Y)における輝度がBであったと仮定すると、Bを式3に置き換えたものを新しい輝度(補正輝度;補正光学画像情報)として用いればよい。
[式3]
Figure 2020090897
ここで、Aはパラメータである。Aは、例えば、均一な色の被写体を撮影し、光学画像情報の各画素における輝度が適正になるように調整すれば求めることができる。
その他の構成及び動作については、実施形態3と同様である。また、光学画像補正部16については、実施形態1、2に適用してもよい。
実施形態4によれば、実施形態3と同様に、検出対象物(移動体6)を俯瞰することができる位置(例えば、天井)に設置された撮像装置3を用いることで、検出対象物(移動体6)の位置を正確(高精度)に検出するのに貢献することができるとともに、光学系の設計に伴って周辺部が暗く映る光学画像情報についても適正に処理することができる。
[実施形態5]
実施形態5に係る位置検出システムについて説明する。
実施形態5は、実施形態1の変形例であり、検出対象物検出部13における画像処理(2値化処理)及び検出処理を変形したものである。
図1の検出対象物検出部13では、部分光学画像情報に対して、特定の輝度範囲を決定して2値化処理し、検出対象物(移動体6)の輪郭(例えば、形状)をはっきりさせた状態にして、検出対象物(移動体6)の輪郭を検出している。この場合、2値化処理の際に、光源、反射光等の影響により、検出対象物(移動体6)の輪郭がはっきりと分離できず、検出対象物(移動体6)の輪郭とこれに隣接する図形とが接続された形でしか2値画像が得られない場合もある。
そこで、このような場合には、実施形態5では、検出対象物検出部13は、2値化処理を行う際、部分光学画像情報を同じ回数分だけ収縮した後に膨張を行うオープニング処理を行ったうえで2値化処理を行う。
また、実施形態5では、検出対象物検出部13は、2値化処理を行う際、部分光学画像情報のモルフォロジー勾配を計算し(部分光学画像情報に対して膨張した画像と収縮した画像との差分をとる処理を行い)、検出対象物(移動体6)の輪郭を抽出し、検出対象物(移動体6)の輪郭部分を黒く塗りつぶしたうえで2値化処理を行うようにしてもよい。
これらにより、ノイズを除去することができ、検出対象物(移動体6)に隣接する図形を分離することができる。ただし、検出対象物(移動体6)に隣接した図形が明確に分離されたとしても、目的の検出対象物(移動体6)のみが輝度のしきい値処理によって検出されるとは限らない。
そこで、実施形態5では、検出対象物検出部13は、検出された図形に対して、例えば、ある面積の範囲内の図形、又は、ある周の長さの範囲内の図形のみを抽出して、検出対象物を限定して検出できるようにする。
その他の構成及び動作については、実施形態1と同様である。また、実施形態5については、実施形態2〜4に適用してもよい。
実施形態5によれば、実施形態1と同様に、検出対象物(移動体6)を俯瞰することができる位置(例えば、天井)に設置された撮像装置3を用いることで、検出対象物(移動体6)の位置を正確(高精度)に検出するのに貢献することができるとともに、目的の検出対象物(移動体6)のみの検出を向上させることができる。
[実施形態6]
実施形態6に係る遠隔制御システムについて図面を用いて説明する。図11は、実施形態6に係る遠隔制御システムの構成を模式的に示したブロック図である。
遠隔制御システム4は、実施形態1〜5に係る位置検出システム(位置検出装置、撮像装置)を利用して、移動体6を遠隔制御するシステムである。遠隔制御システム4は、撮像装置3と、遠隔制御装置5と、移動体6と、ネットワーク(通信ネットワーク)7と、を有する。
撮像装置3は、移動体6(検出対象物)が移動可能な範囲の少なくとも一部(全部でも可)を含む空間を撮像(撮影)する装置である。撮像装置3は、例えば、当該空間を俯瞰することができる位置(例えば、天井)に固定して設置(取付等を含む)され、撮像装置3による画角が所定の方向(例えば、鉛直下向き)になるように配することができる。撮像装置3は、ネットワーク7を介して、遠隔制御装置5と通信可能に接続されている。撮像装置3は、撮像された当該空間に係る光学画像情報を生成し、生成された光学画像情報を、遠隔制御装置5に向けて送信する。その他の撮像装置3の構成及び動作は、実施形態1の撮像装置(図1の3)と同様である。
遠隔制御装置5は、移動体6(検出対象物)を遠隔制御する装置である。遠隔制御装置5は、ネットワーク7を介して、撮像装置3及び移動体6と通信可能に接続されている。遠隔制御装置5には、例えば、プロセッサ、メモリ、ネットワークインタフェース等を含むハードウェア資源(例えば、情報処理装置)を用いることができる。この場合、ハードウェア資源は、プログラムを記憶するメモリを利用しながら、プロセッサにおいて当該プログラムを実行することにより、仮想的な、位置検出装置2、通信部30及び制御部31を構成するようにしてもよい。
位置検出装置2は、撮像装置3を用いて、移動体6(検出対象物)の位置を検出する装置である。位置検出装置2は、ネットワーク7及び通信部30を介して、撮像装置3と通信可能に接続されている。位置検出装置2は、撮像装置3からの光学画像情報を用いて、実施形態1〜5に係る位置検出装置(図1、図8〜図10の2)と同様な動作により、移動体6(検出対象物)の位置を検出する。位置検出装置2は、検出した移動体6(検出対象物)の位置に係る情報(位置情報)を制御部31に向けて出力する。その他の位置検出装置2の構成及び動作は、実施形態1〜5に係る位置検出装置(図1、図8〜図10の2)と同様である。
通信部30は、ネットワーク7を介して移動体6及び撮像装置3と通信可能にする機能部である。なお、通信部30は、ネットワーク7を介さずに、例えば、赤外線、Bluetooth(登録商標)を用いて、移動体6及び撮像装置3と通信可能であってもよい。通信部30は、外部装置(図示せず;例えば、タブレット端末、携帯通信端末など)と通信可能な構成であってもよい。通信部30は、位置検出装置2及び制御部31と通信可能に接続されている。
制御部31は、移動体6(検出対象物)の動作を制御する機能部である。制御部31は、通信部30及びネットワーク7を介して、移動体6(検出対象物)と通信可能に接続されている。制御部31は、位置検出装置2からの位置情報を用いて、予め設定された目標地点まで移動するように、移動体6(検出対象物)の動作(移動速度、移動方向、駆動トルク等)を制御(調整)する。
移動体6は、搬送対象物8を押す(引くでも可)ことで搬送対象物8を搬送する物体(装置、ロボット)である。移動体6は、ネットワーク7を介して、遠隔制御装置5と通信可能に接続されている。移動体6は、通信部40と、制御部41と、駆動部42と、を有する。
通信部40は、ネットワーク7を介して遠隔制御装置5と通信可能にする機能部である。なお、通信部40は、ネットワーク7を介さずに、例えば、赤外線、Bluetooth(登録商標)を用いて、遠隔制御装置5と通信可能であってもよい。通信部40は、制御部41と通信可能に接続されている。
制御部41は、駆動部42の動作を制御する機能部である。制御部41は、通信部40及びネットワーク7を介して、遠隔制御装置5と通信可能に接続されている。制御部41は、遠隔制御装置5からの制御に係る情報(制御情報)に基づいて、駆動部42の動作(車輪の回転速度、駆動トルク等)を制御(調整)する。
駆動部42は、移動部品(車輪、装輪、装軌など;図示せず)を駆動する機能部である。駆動部42として、例えば、モータ、減速機、ドライバ、各種のセンサ(電流センサ、トルクセンサ、位置センサ等)、レギュレータ、移動部品等を含む駆動ユニットを用いることができる。駆動部42は、制御部41によって制御される。
ネットワーク7は、撮像装置3、遠隔制御装置5、及び、移動体6(検出対象物)間を通信可能に接続する情報通信網である。ネットワーク7には、例えば、無線LAN(Local Area Network)を用いることができる。
実施形態6によれば、実施形態1と同様に、検出対象物(移動体6)を俯瞰することができる位置(例えば、天井)に設置された撮像装置3を用いることで、検出対象物(移動体6)の位置を正確(高精度)に検出するのに貢献することができるとともに、検出した位置に基づいて移動体6を遠隔制御して行う搬送作業の正確性を向上させるのに貢献することができる。
[実施形態7]
実施形態7に係る位置検出装置について図面を用いて説明する。図12は、実施形態7に係る位置検出装置の構成を模式的に示したブロック図である。
位置検出装置2は、検出対象物(図示せず)の位置を検出する装置である。位置検出装置2は、マップ情報作成部10と、マスク情報作成部11と、特定部12と、検出部17と、を備える。
マップ情報作成部10は、少なくとも1つの検出対象物(図示せず)が配置される可能性がある床面を含む空間が撮像装置(図示せず)によって撮像されることによって生成された、少なくとも該空間の撮像画像を表す光学画像情報を構成する各画素に対応する、該空間における位置を表すマップ情報を作成する。
マスク情報作成部11は、前記マップ情報を用いて、当該マップ情報から、検出対象物(図示せず)が撮像装置(図示せず)によって撮像された空間に配された際に床面からなす高さ範囲のうち所定の高さ範囲の領域を抽出することにより、マスク情報を作成する。
特定部12は、前記光学画像情報及び前記マスク情報を用いて、当該光学画像情報から、当該マスク情報に対応する領域を取り除く(マスキングする)ことにより、部分光学画像情報を特定する。
検出部17は、前記マップ情報及び前記部分光学画像情報を用いて、当該マップ情報と当該部分光学画像情報との位置関係を画素レベルで特定し、特定された位置関係に基づいて、当該マップ情報における、検出対象物(図示せず)の位置を検出する。
次に、実施形態7に係る位置検出装置の動作について図面を用いて説明する。図13は、実施形態7に係る位置検出装置の動作を模式的に示したフローチャートである。なお、位置検出装置の構成部については、図12を参照されたい。
まず、位置検出装置2のマップ情報作成部10は、少なくとも1つの検出対象物(図示せず)が配置される可能性がある床面を含む空間が撮像装置(図示せず)によって撮像されることによって生成された、少なくとも該空間の撮像画像を表す光学画像情報を構成する各画素に対応する、前記空間における位置を表すマップ情報を作成する(ステップB1)。
次に、位置検出装置2のマスク情報作成部11は、前記マップ情報を用いて、当該マップ情報から、検出対象物(図示せず)が撮像装置(図示せず)で撮像された空間に配された際に床面からなす高さ範囲のうち所定の高さ範囲の領域を抽出することにより、マスク情報を作成する(ステップB2)。
次に、位置検出装置2の特定部12は、前記光学画像情報及び前記マスク情報を用いて、当該光学画像情報から、当該マスク情報に対応する領域を取り除く(マスキングする)ことにより、部分光学画像情報を特定する(ステップB3)。
次に、位置検出装置2の検出部17は、前記マップ情報及び前記部分光学画像情報を用いて、当該マップ情報と当該部分光学画像情報との位置関係を画素レベルで特定し、特定された位置関係に基づいて、当該マップ情報における、検出対象物(図示せず)の位置(撮像装置(図示せず)で撮像された空間における検出対象物の位置に相当)を検出する(ステップB4)。
実施形態7によれば、検出対象物(移動体6)の位置を正確(高精度)に検出するのに貢献することができる。その理由は、時間的なゆらぎが非常に少ない輝度情報を含む光学画像情報を、マップ情報を用いて作成したマスク情報でマスキングすることで、検出対象物(図示せず)の輪郭のみを安定して検出することができるようになり、検出対象物(図示せず)の位置を高精度に検出することができるからである。
なお、実施形態1〜5、7に係る位置検出装置、及び、実施形態6に係る遠隔制御装置は、いわゆるハードウェア資源(例えば、情報処理装置、コンピュータ)により構成することができ、図14に例示する構成を備えたものを用いることができる。例えば、ハードウェア資源100は、内部バス104により相互に接続される、プロセッサ101、メモリ102、ネットワークインタフェース103等を備える。
なお、図14に示す構成は、ハードウェア資源100のハードウェア構成を限定する趣旨ではない。ハードウェア資源100は、図示しないハードウェア(例えば、入出力インタフェース)を含んでもよい。あるいは、装置に含まれるプロセッサ101等のユニットの数も図14の例示に限定する趣旨ではなく、例えば、複数のプロセッサ101が装置に含まれていてもよい。プロセッサ101には、例えば、CPU(Central Processing Unit)、MPU(Micro Processor Unit)等を用いることができる。
メモリ102には、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)等を用いることができる。
ネットワークインタフェース103には、例えば、LAN(Local Area Network)カード、ネットワークアダプタ、ネットワークインタフェースカード等を用いることができる。
ハードウェア資源100の機能は、上述の処理モジュールにより実現される。当該処理モジュールは、例えば、メモリ102に格納されたプログラムをプロセッサ101が実行することで実現される。また、そのプログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。即ち、上記処理モジュールが行う機能は、何らかのハードウェアにおいてソフトウェアが実行されることによって実現できればよい。
上記実施形態の一部又は全部は以下の付記のようにも記載され得るが、以下には限られない。
[付記1]
本発明では、前記第1の視点に係る位置検出装置の形態が可能である。
[付記2]
前記部分光学画像情報を用いて、前記部分光学画像情報に対して所定の画像処理を行い、前記所定の画像処理が行われた前記部分光学画像情報から前記検出対象物の輪郭を検出する検出対象物検出部と、
前記マップ情報、及び、前記検出対象物の前記輪郭に係る情報を用いて、前記マップ情報における、前記検出対象物の前記輪郭の位置を検出する位置検出部と、
をさらに備える
付記1記載の位置検出装置。
[付記3]
前記マップ情報作成部は、距離センサ自身から前記検出対象物を含む被写体までの距離を測定する前記距離センサで測定された距離に係る情報を用いて、前記マップ情報を作成する、
付記1又は2記載の位置検出装置。
[付記4]
前記マップ情報に対して、前記撮像装置による画角が鉛直下向きとなるように、前記マップ情報を補正するマップ補正部をさらに備え、
前記マスク情報作成部は、前記マップ補正部で補正された前記マップ情報を用いて、前記マスク情報を作成する、
付記1又は2記載の位置検出装置。
[付記5]
前記光学画像情報における周辺減光に伴う輝度ないし色相を補正する光学画像補正部をさらに備え、
前記特定部は、前記光学画像補正部で補正された前記光学画像情報を用いて、前記部分光学画像情報を特定する、
付記1乃至4のいずれか一に記載の位置検出装置。
[付記6]
前記検出対象物検出部における前記所定の画像処理では、前記部分光学画像情報に対して特定の輝度範囲にある画素のみを1とし、それ以外の画素を0とする2値化処理を行う、
付記2記載の位置検出装置。
[付記7]
前記検出対象物検出部における前記所定の画像処理では、前記部分光学画像情報を同じ回数分だけ収縮した後に膨張を行うオープニング処理を行ったうえで前記2値化処理を行う、
付記6記載の位置検出装置。
[付記8]
前記検出対象物検出部における前記所定の画像処理では、前記部分光学画像情報のモルフォロジー勾配を計算し、前記検出対象物の前記輪郭を抽出し、前記検出対象物の前記輪郭部分を黒く塗りつぶしたうえで前記2値化処理を行う、
付記6記載の位置検出装置。
[付記9]
本発明では、前記第2の視点に係る位置検出システムの形態が可能である。
[付記10]
距離センサ自身から前記検出対象物を含む被写体までの距離を測定する前記距離センサをさらに備え、
前記距離センサは、前記位置検出装置と通信可能に接続されている、
付記9記載の位置検出システム。
[付記11]
前記撮像装置は、ステレオカメラである、
付記9又は10記載の位置検出システム。
[付記12]
本発明では、前記第3の視点に係る遠隔制御装置の形態が可能である。
[付記13]
本発明では、前記第4の視点に係る遠隔制御システムの形態が可能である。
[付記14]
本発明では、前記第5の視点に係る位置検出方法の形態が可能である。
[付記15]
前記検出対象物の位置を検出することでは、
前記部分光学画像情報を用いて、前記部分光学画像情報に対して所定の画像処理を行い、前記所定の画像処理が行われた前記部分光学画像情報から前記検出対象物の輪郭を検出することと、
前記マップ情報、及び、前記検出対象物の前記輪郭に係る情報を用いて、前記マップ情報における、前記検出対象物の前記輪郭の位置を検出することと、
をさらに含む、
付記14記載の位置検出方法。
[付記16]
本発明では、前記第6の視点に係るプログラムの形態が可能である。
[付記17]
前記検出対象物の位置を検出する処理では、
前記部分光学画像情報を用いて、前記部分光学画像情報に対して所定の画像処理を行い、前記所定の画像処理が行われた前記部分光学画像情報から前記検出対象物の輪郭を検出する処理と、
前記マップ情報、及び、前記検出対象物の前記輪郭に係る情報を用いて、前記マップ情報における、前記検出対象物の前記輪郭の位置を検出する処理と、
をハードウェア資源に実行させる、
付記16記載のプログラム。
なお、上記の特許文献の各開示は、本書に引用をもって繰り込み記載されているものとし、必要に応じて本発明の基礎ないし一部として用いることが出来るものとする。本発明の全開示(特許請求の範囲及び図面を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素(各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む)の多様な組み合わせないし選択(必要により不選択)が可能である。すなわち、本発明は、請求の範囲及び図面を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、本願に記載の数値及び数値範囲については、明記がなくともその任意の中間値、下位数値、及び、小範囲が記載されているものとみなされる。さらに、上記引用した文献の各開示事項は、必要に応じ、本発明の趣旨に則り、本発明の開示の一部として、その一部又は全部を、本書の記載事項と組み合わせて用いることも、本願の開示事項に含まれるものと、みなされる。
1 位置検出システム
2 位置検出装置
3 撮像装置
4 遠隔制御システム
5 遠隔制御装置
6 移動体(検出対象物)
7 ネットワーク
8 搬送対象物
9 距離センサ
10 マップ情報作成部
11 マスク情報作成部
12 特定部
13 検出対象物検出部
14 位置検出部
15 マップ補正部
16 光学画像補正部
17 検出部
30 通信部
31 制御部
40 通信部
41 制御部
42 駆動部
100 ハードウェア資源
101 プロセッサ
102 メモリ
103 ネットワークインタフェース
104 内部バス

Claims (11)

  1. 少なくとも1つの検出対象物が配置される可能性がある床面を含む空間が撮像装置によって撮像されることによって生成された、少なくとも該空間の撮像画像を表す光学画像情報を構成する各画素に対応する、前記空間における位置を表すマップ情報を作成するマップ情報作成部と、
    前記マップ情報を用いて、前記マップ情報から、前記検出対象物が前記空間に配された際に前記床面からなす高さ範囲のうち所定の高さ範囲の領域を抽出することにより、マスク情報を作成するマスク情報作成部と、
    前記光学画像情報及び前記マスク情報を用いて、前記光学画像情報から、前記マスク情報に対応する領域を取り除くことにより、部分光学画像情報を特定する特定部と、
    前記マップ情報及び前記部分光学画像情報を用いて、前記マップ情報と前記部分光学画像情報との位置関係を画素レベルで特定し、特定された位置関係に基づいて、前記マップ情報における、前記検出対象物の位置を検出する検出部と、
    を備える、
    位置検出装置。
  2. 前記検出部は、
    前記部分光学画像情報を用いて、前記部分光学画像情報に対して所定の画像処理を行い、前記所定の画像処理が行われた前記部分光学画像情報から前記検出対象物の輪郭を検出する検出対象物検出部と、
    前記マップ情報、及び、前記検出対象物の前記輪郭に係る情報を用いて、前記マップ情報における、前記検出対象物の前記輪郭の位置を検出する位置検出部と、
    を備える、
    請求項1記載の位置検出装置。
  3. 前記マップ情報作成部は、距離センサ自身から前記検出対象物を含む被写体までの距離を測定する前記距離センサで測定された距離に係る情報を用いて、前記マップ情報を作成する、
    請求項1又は2記載の位置検出装置。
  4. 前記マップ情報に対して、前記撮像装置による画角が鉛直下向きとなるように、前記マップ情報を補正するマップ補正部をさらに備え、
    前記マスク情報作成部は、前記マップ補正部で補正された前記マップ情報を用いて、前記マスク情報を作成する、
    請求項1又は2記載の位置検出装置。
  5. 前記光学画像情報における周辺減光に伴う輝度ないし色相を補正する光学画像補正部をさらに備え、
    前記特定部は、前記光学画像補正部で補正された前記光学画像情報を用いて、前記部分光学画像情報を特定する、
    請求項1乃至4のいずれか一に記載の位置検出装置。
  6. 前記検出対象物検出部における前記所定の画像処理では、前記部分光学画像情報に対して特定の輝度範囲にある画素のみを1とし、それ以外の画素を0とする2値化処理を行う、
    請求項2記載の位置検出装置。
  7. 前記検出対象物検出部における前記所定の画像処理では、前記部分光学画像情報のモルフォロジー勾配を計算し、前記検出対象物の前記輪郭を抽出し、前記検出対象物の前記輪郭部分を黒く塗りつぶしたうえで前記2値化処理を行う、
    請求項6記載の位置検出装置。
  8. 請求項1乃至7のいずれか一に記載の位置検出装置と、
    移動体及び撮像装置と通信可能にする通信部と、
    前記位置検出装置で検出された前記検出対象物となる前記移動体の位置に係る情報に基づいて、前記通信部を介して前記移動体の動作を制御する制御部と、
    を備える、
    遠隔制御装置。
  9. 少なくとも1つの検出対象物となる移動体と、
    前記移動体が移動する範囲の少なくとも一部を含む空間を撮像する撮像装置と、
    請求項8記載の遠隔制御装置と、
    前記撮像装置、前記遠隔制御装置、及び、前記移動体を通信可能に接続するネットワークと、
    を備える、
    遠隔制御システム。
  10. 少なくとも1つの検出対象物が配置される可能性がある床面を含む空間が撮像装置によって撮像されることによって生成された、少なくとも該空間の撮像画像を表す光学画像情報を構成する各画素に対応する、前記空間における位置を表すマップ情報を作成することと、
    前記マップ情報を用いて、前記マップ情報から、前記検出対象物が前記空間に配された際に前記床面からなす高さ範囲のうち所定の高さ範囲の領域を抽出することにより、マスク情報を作成することと、
    前記光学画像情報及び前記マスク情報を用いて、前記光学画像情報から、前記マスク情報に対応する領域を取り除くことにより、部分光学画像情報を特定することと、
    前記マップ情報及び前記部分光学画像情報を用いて、前記マップ情報と前記部分光学画像情報との位置関係を画素レベルで特定し、特定された位置関係に基づいて、前記マップ情報における、前記検出対象物の位置を検出することと、
    を含む、
    位置検出方法。
  11. 少なくとも1つの検出対象物が配置される可能性がある床面を含む空間が撮像装置によって撮像されることによって生成された、少なくとも該空間の撮像画像を表す光学画像情報を構成する各画素に対応する、前記空間における位置を表すマップ情報を作成する処理と、
    前記マップ情報を用いて、前記マップ情報から、前記検出対象物が前記空間に配された際に前記床面からなす高さ範囲のうち所定の高さ範囲の領域を抽出することにより、マスク情報を作成する処理と、
    前記光学画像情報及び前記マスク情報を用いて、前記光学画像情報から、前記マスク情報に対応する領域を取り除くことにより、部分光学画像情報を特定する処理と、
    前記マップ情報及び前記部分光学画像情報を用いて、前記マップ情報と前記部分光学画像情報との位置関係を画素レベルで特定し、特定された位置関係に基づいて、前記マップ情報における、前記検出対象物の位置を検出する処理と、
    をハードウェア資源に実行させる、
    プログラム。
JP2020553983A 2018-11-01 2019-10-30 位置検出装置、位置検出システム、遠隔制御装置、遠隔制御システム、位置検出方法、及びプログラム Active JP7111172B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018206697 2018-11-01
JP2018206697 2018-11-01
PCT/JP2019/042596 WO2020090897A1 (ja) 2018-11-01 2019-10-30 位置検出装置、位置検出システム、遠隔制御装置、遠隔制御システム、位置検出方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2020090897A1 true JPWO2020090897A1 (ja) 2021-10-07
JP7111172B2 JP7111172B2 (ja) 2022-08-02

Family

ID=70463835

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020553983A Active JP7111172B2 (ja) 2018-11-01 2019-10-30 位置検出装置、位置検出システム、遠隔制御装置、遠隔制御システム、位置検出方法、及びプログラム

Country Status (3)

Country Link
US (1) US11762394B2 (ja)
JP (1) JP7111172B2 (ja)
WO (1) WO2020090897A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL2022442B1 (nl) * 2019-01-24 2020-01-07 Lely Patent Nv Positiebepalingsinrichting
CN113515981A (zh) * 2020-05-22 2021-10-19 阿里巴巴集团控股有限公司 识别方法、装置、设备和存储介质
JP6994704B1 (ja) * 2020-12-22 2022-01-14 株式会社スワローインキュベート 虹彩検出方法、虹彩検出装置、及び虹彩検出プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10185518A (ja) * 1996-12-27 1998-07-14 Nkk Corp コイル位置検出装置
JP2004301607A (ja) * 2003-03-31 2004-10-28 Honda Motor Co Ltd 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム
JP2011134234A (ja) * 2009-12-25 2011-07-07 Honda Motor Co Ltd 移動可能領域抽出装置、移動可能領域抽出システム、移動可能領域抽出方法、およびプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002023122A1 (fr) 2000-09-11 2002-03-21 Kunikatsu Takase Systeme de detection de la position d'un corps mobile
JP4042517B2 (ja) * 2002-10-09 2008-02-06 株式会社日立製作所 移動体およびその位置検出装置
US7251346B2 (en) 2002-11-19 2007-07-31 Honda Motor Co., Ltd. Moving object detection device, moving object detection method, and moving object detection program
JP2010160056A (ja) 2009-01-08 2010-07-22 Fuji Xerox Co Ltd 位置計測装置およびプログラム
JP2011106829A (ja) 2009-11-12 2011-06-02 Ihi Corp 移動体検出方法及びレーザ距離測定装置
JP5518579B2 (ja) 2010-06-02 2014-06-11 本田技研工業株式会社 移動可能領域抽出装置および移動可能領域抽出方法
JP2013024735A (ja) 2011-07-21 2013-02-04 Chino Gijutsu Kk 移動体及び移動面検出システム
JP2015123534A (ja) 2013-12-26 2015-07-06 トヨタ自動車株式会社 載置判断方法、載置方法、載置判断装置及びロボット
JP6602743B2 (ja) 2016-12-08 2019-11-06 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
JP2018146347A (ja) 2017-03-03 2018-09-20 株式会社キーエンス 画像処理装置、画像処理方法、及びコンピュータプログラム
GB2576322B (en) * 2018-08-13 2022-11-09 Imperial College Innovations Ltd Mapping object instances using video data
JP7249494B2 (ja) * 2018-09-28 2023-03-31 パナソニックIpマネジメント株式会社 採寸装置及び採寸方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10185518A (ja) * 1996-12-27 1998-07-14 Nkk Corp コイル位置検出装置
JP2004301607A (ja) * 2003-03-31 2004-10-28 Honda Motor Co Ltd 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム
JP2011134234A (ja) * 2009-12-25 2011-07-07 Honda Motor Co Ltd 移動可能領域抽出装置、移動可能領域抽出システム、移動可能領域抽出方法、およびプログラム

Also Published As

Publication number Publication date
WO2020090897A1 (ja) 2020-05-07
US20210382496A1 (en) 2021-12-09
US11762394B2 (en) 2023-09-19
JP7111172B2 (ja) 2022-08-02

Similar Documents

Publication Publication Date Title
JP6415066B2 (ja) 情報処理装置、情報処理方法、位置姿勢推定装置、ロボットシステム
US10512941B2 (en) Projection instruction device, parcel sorting system, and projection instruction method
JP7111172B2 (ja) 位置検出装置、位置検出システム、遠隔制御装置、遠隔制御システム、位置検出方法、及びプログラム
CN110926330B (zh) 图像处理装置和图像处理方法
JP6782046B1 (ja) 画像データに基づく物体検出システム及び方法
Gschwandtner et al. Infrared camera calibration for dense depth map construction
US10860855B2 (en) Instruction projecting device, package sorting system and instruction projecting method
WO2017163709A1 (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
US10471474B2 (en) Projection indicator, cargo assortment system, and projection indicating method
EP3848898B1 (en) Target object recognition device, manipulator, and mobile robot
KR101233938B1 (ko) 객체 추적 로봇 및 그 방법
EP3434625B1 (en) Projection instruction device, parcel sorting system, and projection instruction method
CN112775961A (zh) 控制装置、控制装置的控制方法以及控制系统
JP2020114778A (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
WO2024190314A1 (ja) 制御システム、制御装置、制御方法及びプログラム
TWI856134B (zh) 移行車、移行車系統及移行車檢測方法
JP7191352B2 (ja) 物体検出を実施するための方法および計算システム
EP3434624B1 (en) Projection instruction device, parcel sorting system, and projection instruction method
WO2014191819A2 (en) Method and device for estimating an edge position of an object, such as cans, bottles and packaging, using image data in frames of said object, computer program and computer program product

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220621

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220704

R151 Written notification of patent or utility model registration

Ref document number: 7111172

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151