JP7314411B2 - 移動ロボットの障害物情報感知方法、装置 - Google Patents

移動ロボットの障害物情報感知方法、装置 Download PDF

Info

Publication number
JP7314411B2
JP7314411B2 JP2022517836A JP2022517836A JP7314411B2 JP 7314411 B2 JP7314411 B2 JP 7314411B2 JP 2022517836 A JP2022517836 A JP 2022517836A JP 2022517836 A JP2022517836 A JP 2022517836A JP 7314411 B2 JP7314411 B2 JP 7314411B2
Authority
JP
Japan
Prior art keywords
mobile robot
dimensional
data
point
obstacle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022517836A
Other languages
English (en)
Other versions
JP2022548743A (ja
Inventor
学雄 龍
建禹 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikrobot Co Ltd
Original Assignee
Hangzhou Hikrobot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikrobot Co Ltd filed Critical Hangzhou Hikrobot Co Ltd
Publication of JP2022548743A publication Critical patent/JP2022548743A/ja
Application granted granted Critical
Publication of JP7314411B2 publication Critical patent/JP7314411B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/1801—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Description

（関連出願の相互参照）
本願は、２０１９年９月２０日に中国国家知的財産権局に出願された、出願番号が２０１９１０８９２９４３．２であり、発明名称が「移動ロボットの障害物情報感知方法、装置」である中国特許出願に基づき優先権を主張する。ここで、その全ての内容は、援用により本願に組み込まれる。
本願は、ロボット測位ナビゲーション分野に関し、特に、移動ロボットの障害物情報感知方法、装置に関する。
移動ロボットが障害物を感知するために、一般に使用されるセンシング方式は、超音波、赤外線及びレーザを含む。超音波は、障害物の正確な位置と範囲を感知できない。赤外線は、一方向しか感知できない。二次元レーザは、周囲環境における詳細な障害物情報を感知できるが、それが取り付けられた平面における障害物しか感知できなく、取り付けられた平面より低い障害物または取り付けられた平面より高い宙に浮いている障害物を感知できない。
本願は、周囲空間における障害物情報を立体的に感知できる、移動ロボットの障害物情報感知方法、装置を提供する。
本願は、移動ロボットの障害物情報感知方法を提供する。当該方法は、
深度画像データを取得することと、
深度画像データを移動ロボット座標系におけるデータに変換することと、
前記移動ロボット座標系におけるデータを移動ロボットの移動平面における投影に変換して、二次元データを得ることと、
移動ロボットの走行経路の範囲内で二次元データを検出することと、
検出された二次元データに基づいて障害物情報を取得することとを含む。
前記深度画像データを移動ロボット座標系におけるデータに変換することは、
深度画像データにおけるいずれかのピクセルに対して、カメラの外部パラメーターと、ピクセルの深度値と、カメラの内部パラメーターと、ピクセルの座標値とによって、当該ピクセルの移動ロボット座標系における三次元点の座標を得ることと、
深度画像データにおける全てのピクセルを移動ロボット座標系における三次元点の座標に変換して、移動ロボット座標系における三次元点からなる三次元点群を得ることとを含み、
移動ロボットの走行経路の範囲内で二次元データを検出することは、
移動ロボットの走行経路の範囲内の障害物を検出するための検索ウィンドウを構築し、検索ウィンドウの範囲内で二次元データを検索することを含む。
好ましくは、前記カメラの外部パラメーターと、ピクセルの深度値と、カメラの内部パラメーターと、ピクセルの座標値とによって、当該ピクセルの移動ロボット座標系における三次元点の座標を得ることは、
深度カメラの外部パラメーターに基づいて、移動ロボット座標系から深度カメラ座標系への変換関係マトリクスを得ることと、
前記変換関係マトリクスと、ピクセルの深度値と、カメラの内部パラメーターマトリクスの逆マトリクスと、ピクセル座標値からなるマトリクスとの積を計算し、得られた結果をピクセルの移動ロボット座標系における三次元点の座標とすることとを含み、
ピクセル座標値からなるマトリクスは
Figure 0007314411000001
であり、ｕ、ｖはそれぞれ画像座標系におけるピクセルの座標である。
好ましくは、前記移動ロボット座標系におけるデータを移動ロボットの移動平面における投影に変換して、二次元データを得ることは、
移動ロボット座標系におけるいずれかの三次元点の座標に対して、三次元点の座標における移動ロボットの移動平面に垂直する座標値を切り捨て、当該三次元点の移動ロボットの移動平面における二次元投影を得、または、三次元点の座標における移動ロボットの移動平面に垂直する座標値を０に設定し、当該三次元点の移動ロボットの移動平面における二次元投影を得ることと、
移動ロボット座標系における全ての三次元点の座標を移動ロボットの移動平面における二次元投影に変換して、二次元投影からなる二次元点群を得ることとを含む。
好ましくは、前記移動ロボットの走行経路の範囲内の障害物を検出するための検索ウィンドウを構築し、検索ウィンドウの範囲内で二次元データを検索することは、
移動ロボットの前進方向に前記検索ウィンドウを構築し、前記検索ウィンドウと移動ロボットとの相対位置を固定させることを含み、
前記検出された二次元データに基づいて障害物情報を取得することは、
検索ウィンドウの範囲内に二次元点群があるかを検出し、二次元点群がある場合、障害物が検出されたと判断することを含む。
好ましくは、前記移動ロボット座標系におけるデータを移動ロボットの移動平面における投影に変換して、二次元データを得ることは、
変換された移動ロボット座標系におけるデータを選別し、運動中衝突する可能性がある障害物に対応するデータを保留することと、
保留された運動中衝突する可能性がある障害物に対応するデータを、移動ロボットの移動平面における投影に変換して、二次元データを得ることとを含む。
好ましくは、前記移動ロボットの載置面は地面であり、前記運動中衝突する可能性がある障害物に対応するデータを保留することは、前記移動ロボット座標系における三次元点の座標において、ｚ値が第１閾値より大きく、且つ第２閾値より小さい三次元点を保留することを含む。
好ましくは、当該方法は、検索ウィンドウ内の最も近い障害物の位置に基づいて、移動ロボットが障害物を回避する必要があるかを判断し、回避する必要がある場合、移動ロボットが走行することが可能な走行領域を取得することをトリガすることをさらに含む。
好ましくは、前記移動ロボットが走行することが可能な走行領域取得ことは、
移動ロボット本体の載置面への投影中心を起点として、等角度に少なくとも１本の射線を引き、射線において前記起点に最も近い二次元点を障害物の輪郭として、障害物の輪郭の二次元点を得ることと、
障害物の輪郭の任意な二次元点に対して、当該二次元点を円心とし、延在距離を半径として膨張円周を設定することと、前記起点を通って前記膨張円周に接する２本の接線を取得することと、２本の接線で挟まれる円弧を当該障害物の輪郭の二次元点の膨張境界とし、挟まれる円弧の中心角は１８０°以下であり、前記延在距離は少なくとも移動ロボット本体の載置面への投影中心と輪郭との最大距離であることと、
全ての障害物の輪郭の二次元点の膨張境界を取得し、全ての二次元点の膨張境界の包絡を膨張輪郭とし、膨張輪郭を境界に、移動ロボットに近い側の領域を走行領域とし、他の側を走行不可領域とすることとを含む。
好ましくは、前記障害物の輪郭の任意な二次元点に対して、当該二次元点を円心とし、延在距離を半径として膨張円周を設定することは、
現在の障害物の輪郭の二次元点の座標を極座標に変換することと、
変換された極座標と延在距離とに基づいて、膨張円周の極座標系における方程式を確定することとを含み、
前記起点を通って前記膨張円周に接する２本の接線を取得することは、
前記膨張円周の極座標系における方程式に基づいて、現在の障害物の輪郭の二次元点の膨張円周の接線角度の範囲を確定することを含み、
前記２本の接線で挟まれる円弧を当該障害物の輪郭の二次元点の膨張境界とすることは、
前記接線角度の範囲内において、設定された現在の極角値を前記膨張円周の極座標系における方程式に代入し、円弧上の点の動径ベクトル値を求めることと、動径ベクトル値における小さい値を抽出し、接線で挟まれる円弧上の点の極座標を得ることと、
接線で挟まれる円弧区間における円弧座標点の計算が終わるまで、次の極角値を設定し、前記設定された現在の極角値を前記膨張円周の極座標系における方程式に代入するステップに戻ることと、
円弧上の点に基づいて、現在の二次元点の膨張境界を生成することとを含む。
好ましくは、前記移動ロボット本体の載置面への投影中心を起点として、等角度に少なくとも１本の射線を引くことは、画像視野の境界から、移動ロボット本体の載置面への投影中心を起点として等角度に射線を引き、グリッドを生成し、
前記円弧上の点に基づいて、現在の二次元点の膨張境界を生成することは、
現在のグリッド内に膨張輪郭の二次元点がない場合、計算された円弧座標点のうち当該グリッドに位置する円弧座標点を当該グリッドの膨張輪郭の二次元点とすることと、
現在のグリッド内に膨張輪郭を有する二次元点がある場合、計算された円弧座標点のうち当該グリッドに位置する円弧座標点と、膨張輪郭を有する二次元点とは、どちらが移動ロボット本体の載置面への投影中心に近いかを判断し、前記投影中心に近い点を当該グリッドの膨張輪郭の二次元点とすることと、
全てのグリッドの膨張輪郭の二次元点を現在の二次元点の膨張境界とすることとを含む。
本願は、移動ロボットの障害物情報感知装置を提供する。当該装置は、
深度画像データを移動ロボット座標系におけるデータに変換することに用いられる、第１データ変換モジュールと、
前記移動ロボット座標系におけるデータを移動ロボットの移動平面における投影に変換して、二次元データを得ることに用いられる、第２データ変換モジュールと、
移動ロボットの走行経路の範囲内で二次元データを検出し、障害物情報を取得することに用いられる、感知モジュールとを含む。
本願は移動ロボットをさらに提供する。前記移動ロボット本体は、
深度画像データを取得ことに用いられる、移動ロボット本体に取り付けている深度カメラと、
深度画像データを移動ロボット座標系におけるデータに変換することと、前記移動ロボット座標系におけるデータを移動ロボットの移動平面における投影に変換して、二次元データを得ることと、移動ロボットの視野範囲内で二次元データを検出し、障害物情報を取得することとに用いられる、障害物感知モジュールと、
障害物情報に基づいて、移動コマンドを生成することに用いられる、移動制御モジュールと、
前記移動コマンドを実行することに用いられる、実行機構モジュールとを含む。
本願は、コンピュータ可読記憶媒体をさらに提供する。前記記憶媒体には、コンピュータプログラムが記録され、前記コンピュータプログラムはプロセッサによって実行されると、上記いずれかの前記深度カメラを利用する移動ロボットの障害物情報感知方法のステップを実現する。
本願は、コマンドを含むコンピュータプログラム製品をさらに提供する。前記コンピュータプログラム製品は、コンピュータで実行されると、前記コンピュータに上記いずれかの前記深度カメラを利用する移動ロボットの障害物情報感知方法のステップを実現する。
本願は、深度画像データを移動ロボットの移動平面における投影に変換して、二次元投影データに基づいて検索し、障害物情報を取得し、二次元レーザに類似したデータを得ることで、従来の障害物回避センサーで立体的な感知または障害物を回避できない欠陥を解消し、広範囲で、異なる高さレベルの障害物を感知できる。深度データに対する通常な処理方法と異なるのは、点群データを地平面に投影することで、実用において、二次元環境中に障害物の回避制御に対する成熟した技術を幅広く適用させる。三次元センサーの三次元感知情報を利用でき、二次元環境中に素早く経路を計画できる。
本出願の実施例及び従来技術の技術案をより明確に説明するために、以下の実施例及び従来技術に必要な図面を簡単に説明するが、無論、以下に説明される図面は単に本出願の実施例の一部であり、当業者であれば、創造的な働きをせずに、これらの図面に基づいて他の図面を得ることができる。
本願実施例により提供された画像データに基づいて障害物情報を感知することのあるフローチャートである。 移動ロボットが検索ウィンドウによって障害物回避範囲内における最も近い障害物を感知することのある模式図である。 障害物の輪郭を感知することのある模式図である。 膨張輪郭のある模式図である。 本願実施例に膨張輪郭を実現することのあるフローチャートである。 移動ロボットが位置するシナリオの模式図である。 図６に示すシナリオの深度画像データに基づいて感知された二次元点群と、感知された二次元点群に基づいて確定された輪郭を膨張した結果の模式図である。 本願実施例により提供された移動ロボット障害物回避システムのある模式図である。 本願実施例により提供された障害物感知モジュールのある模式図である。
以下、本願の実施例の目的、技術案及び利点をより明確にするために、図面を参照しながら例を挙げて本願の実施例をさらに詳しく説明する。無論、説明される実施例は単に本願の実施例の一部であり、全ての実施例ではない。本願の実施例に基づいて、当業者が創造的な労働を必要とせずに得られる全ての他の実施例は何れも本願の保護範囲に該当する。
深度カメラにより取得された深度画像データは、ピクセルの座標に基づいて、ピクセルのグレースケール値で空間点の間の距離値を表すデータであり、ｐ（ｕ，ｖ，ｄ）と表してよく、ここで、ｕ、ｖは画像座標系におけるピクセルの座標であり、具体的に、ｕ、ｖはそれぞれピクセルの深度画像における画素行座標と画素列座標である。ｄは当該ピクセルに対応する空間三次元点の深度値であり、ここで、深度値は上記距離値であり、即ち、当該ピクセルに対応する空間三次元点と深度カメラとの距離である。
移動ロボットが平面に移動する時に、地面と移動ロボットの最高点との間の障害物は、いずれも移動ロボットに衝突する可能性があるため、移動ロボットに対して経路を計画する時に、これらの障害物の高さを考慮する必要がない。つまり、これらの障害物の高さ方向の情報は、移動ロボットの移動にとって余計である。深度カメラで得られた三次元点の集合を二次元平面に投影し、二次元点の集合を得る場合、投影平面における障害物の点だけでなく、異なる高さレベルの障害物情報のいずれも投影平面に保存されるため、空間三次元環境の障害物情報も保存された。言い換えると、二次元点の形式で空間三次元情報を保存する。これにより、平面に移動する移動ロボットは、二次元平面において経路計画と制御を行うことができ、処理の複雑さを低減させ、応答能力を向上させる。
これにより、本願は、深度画像データに基づいて、深度画像における一定の高さ範囲内の三次元点を移動ロボット座標系における三次元点に変換して、移動ロボット座標系における三次元点を二次元平面に次元削減して処理し、二次元平面において、極座標における最も近い点を障害物の輪郭として、二次元レーザに類似したデータを得て、障害物を回避し、三次元センサーの三次元感知情報を利用でき、二次元環境中に素早く経路を計画できる。
本願実施例は移動ロボットの障害物情報感知方法を提供する。当該方法は、
深度画像データを取得することと、深度画像データを移動ロボット座標系におけるデータに変換することと、前記移動ロボット座標系におけるデータを移動ロボットの移動平面における投影に変換して、二次元データを得ることと、移動ロボットの走行経路の範囲内で二次元データを検出することと、検出された二次元データに基づいて障害物情報を取得することとを含む。
これで分かるように、本願実施例により提供された技術案では、深度画像データを移動ロボットの移動平面における投影に変換して、二次元投影データに基づいて検索し、障害物情報を取得し、二次元レーザに類似したデータを得ることができ、従来の障害物回避センサーで全般的に立体的な感知と障害物回避を行うことができない欠陥を解消し、広範囲で、異なる高さレベルの障害物を感知できる。一方、深度データに対する通常な処理方法は、深度データに基づいて障害物の三次元モデルを構築することである。本願実施例は、深度データに対する通常な処理方法と異なり、深度データを移動ロボットの移動平面に投影することで、二次元環境中に障害物回避制御の成熟した技術を本願に適用させ、投影して二次元データを得ることにより、本願により提供された技術案を幅広く適用させる。よって、本願により提供された技術案では、三次元センサーの三次元感知情報を利用できるし、二次元データに基づいて素早い経路計画を行うこともできる。
図１に示すように、図１は本願実施例により提供された画像データに基づいて障害物情報を感知することのフローチャートである。
ステップ１０１、現在の深度画像データを取得する。
当該ステップにおいて、移動ロボット本体に取り付けている深度カメラにより、現在の物理空間の深度画像データをリアルタイムで取得し、密な深度マップを取得する。ここで、深度カメラは、立体視に基づく深度カメラまたは飛行時間（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ，ＴｏＦ）に基づく深度カメラであってよい。
ステップ１０２、深度画像データにおける各ピクセルの座標（ｕ，ｖ，ｄ）を移動ロボット座標系における三次元点の座標に変換する。つまり、深度画像データを移動ロボット座標系におけるデータに変換する。
ここで、移動ロボット座標系の原点と移動ロボットの中心とは重なり合い、移動ロボット座標系がロボット本体の座標系であり、ロボットの前進方向をｘ軸とし、ｘ軸と同一平面において、ｘ軸に垂直であり、且つ左に向かう方向をｙ軸とし、ｘ、ｙ軸が位置する平面において、垂直に上に向かう方向をｚ軸とする。ここで、ｘ、ｙ軸が位置する平面は、移動ロボットの移動平面と見なしてよく、移動ロボット本体の載置面と平行する。例えば、一般的に、移動ロボット本体の載置面は地面であり、ｘ軸、ｙ軸が位置する平面は地面と平行する。
深度カメラと移動ロボット座標系との相対ポーズ、即ち深度カメラの外部パラメーターに基づいて、移動ロボット座標系から深度カメラ座標系への変換関係を得ることができる。ここで、外部パラメーターのは予め推定されてよく、変換関係Ａｂｃは以下の通りに表されてよい。
Figure 0007314411000002
 ここで、Ｒｂｃは、深度カメラ座標系と移動ロボット座標系との間の回転マトリクスであり、３×３のマトリクスである。Ｔｂｃは、深度カメラ座標系と移動ロボット座標系との間の変位マトリクスでり、３×１のマトリクスである。
深度画像データにおける各ピクセル（ｕ，ｖ，ｄ）に対して座標変換を行って、移動ロボット座標系における三次元点の座標Ｐｂ（ｘ，ｙ，ｚ）を得る。深度画像データにおける全てのピクセルをいずれも座標変換して、三次元点の集合を得る。当該集合は「三次元点群」とも呼ばれる。
座標変換の数学的な表現は以下通りである。
Figure 0007314411000003
 ここで、ｄは、スカラーであり、ピクセルの深度値である。Ｋは、カメラの内部パラメーターである。
Figure 0007314411000004
は、ピクセル座標値からなるマトリクスであり、ｕ、ｖは、それぞれ、ピクセルの深度画像における画素行座標と画素列座標である。
ステップ１０３、三次元点の集合における三次元点を選別する。
一般的に、ロボット座標系に変換された三次元点は、地面における三次元点であるか、障害物の三次元点であるか、ロボットの上方空間の三次元点であるか、を区別する必要がある。このため、高さの下限の設定により地面における三次元点を取り除くことができ、高さの上限の設定によりロボットの上方空間の三次元点を取り除くことができ、ロボットを必要な時に物体の下を通過できることに寄与する。選別した後、残った三次元点はいずれもシナリオにおける移動ロボットの移動に影響する可能性がある障害物に対応する三次元点であり、ロボットの行走経路に位置する三次元点と、ロボット行走経路に位置しない三次元点とを含む。
具体的に、三次元点の座標ｚ値が第１閾値より大きく、且つ第２閾値より小さい三次元点を保留してよい。第１閾値が第２閾値より小さいことは、数学的な表現は以下通りである。即ち、以下の式を満たす三次元点を保留する。
Figure 0007314411000005
ここで、ｈｌｏｗは、第１閾値であり、その具体的な数値が移動ロボット座標系における地面に対応するｚ値と原点の座標のｚ値との差分であってよい。ｈｈｉｇｈは、第２閾値であり、その具体的な数値が移動ロボット座標系における移動ロボットの最高点のｚ値と原点の座標のｚ値との差分であってよい。当該ステップにより、実際環境において地面の点群と移動ロボットの高さ以上の点群を取り除き、運動中衝突する可能性がある障害物に対応する点群を保留でき、障害に対する感知をより正確にさせる。
比較的にがらんとした環境に対して、ロボットの上方空間の三次元点の数はほとんどないため、三次元点の選別をしなくてもよい。
ステップ１０４、選別された三次元点に対して二次元投影を行う。
選別された点群は依然として三次元的なものであり、選別された点群はいずれも移動ロボットが運動中衝突する可能性がある障害物に対応する点群である。つまり、選別された点群に対して、それに対応する高さ方向の情報は何であれ、それはいずれも移動ロボットが運動中衝突する可能性がある障害物に対応する点群である。このため、平面に移動する移動ロボットにとって、選別された点群の高さ方向での情報は、余計な情報と見なしてよい。
従って、選別されたいずれかの三次元点の座標Ｐｂ（ｘ，ｙ，ｚ）に対して、座標におけるｚ軸座標値を切り捨てまたは０に設定し、ｘ、ｙの座標値のみを保留することで、二次元点の座標ＰＰ（ｘ，ｙ）を得て、選別された三次元点に対して二次元投影を行う。
全ての選別された三次元点の座標のｚ軸座標値をいずれも切り捨て、または、全ての選別された三次元点の座標のｚ軸を０に設定して、二次元点の集合を得て、二次元点で障害物を表すことにより、ロボットの走行領域を検索することに寄与する。
ステップ１０５、ロボットの走行経路の範囲内の障害物を検出するために、移動ロボットの前進方向に検索ウィンドウを構築する。
図２に示すように、図２は移動ロボットが検索ウィンドウによって障害物回避範囲内における最も近い障害物を感知することの模式図であり、ここで、検索ウィンドウは三次元的で立体的なものであり、破線枠は検索ウィンドウの移動平面における投影であり、即ち検索ウィンドウの平面図である。検索ウィンドウ（図２における破線に示す）と移動ロボットとの相対位置が固定されており、検索ウィンドウの移動ロボットの前進方向に垂直な断面のサイズは、移動ロボットの当該断面における投影のサイズ以下である。好ましくは、検索ウィンドウは矩形な枠体であり、矩形枠体の長さは障害物を回避するのに必要な距離によって設定される。ここで、矩形な枠体の長さは移動ロボットの前進方向での長さである。
好ましくは、検索ウィンドウは二次元的なウィンドウであってよく、当該ウィンドウが位置する平面は移動ロボットの載置面に平行であり、検索ウィンドウの形状は矩形であってよく、矩形の長さは障害物を回避するのに必要な距離によって設定され、矩形の幅は移動ロボット本体の前進方向での通行可能幅以上である。ここで、矩形の長さは移動ロボットの前進方向での長さである。
移動ロボットが移動する時に、二次元点群に基づいて、検索ウィンドウの範囲内で検索する。一定距離の範囲内に障害物があると検出した場合、障害物を回避する必要があり、当該一定距離の範囲は移動ロボットの障害物回避範囲である。障害物回避範囲内の最も近い障害物の位置を検出することにより、ロボットが減速、停車を実行する、または他の障害物回避措置をとる必要があるかを確定できる。ここで、他の障害物回避措置は、カーブ、Ｕターン等を含んでよい。
一実施形態において、第１距離閾値と第２距離閾値を予め設定してよい。ここで、第１距離閾値は第２距離閾値より小さい。障害物回避範囲内の最も近い障害物と移動ロボットとの距離が第１距離閾値以下であると検出した場合、移動ロボットは停車動作を実行して障害物を回避できる。障害物回避範囲内の最も近い障害物と移動ロボットとの距離が第２距離閾値より大きいと検出した場合、移動ロボットがしばらく障害物を回避しなくてもよい。障害物回避範囲内の最も近い障害物と移動ロボットとの距離が第１距離閾値より大きく、且つ第２距離閾値以下であると検出した場合、移動ロボットは減速動作を実行し、または他の障害物回避措置をとって障害物を回避できる。
例えば、図２に示すように、検索枠内の二次元点であるＡ点は、移動ロボットに最も近い障害物に対応する二次元点であり、続いて二次元点Ａの位置基づいて、ロボットが減速、停車を実行する、または他の障害物回避措置をとる必要があるかを確定できる。
ステップ１０６、検索ウィンドウ内の最も近い障害物の位置に基づいて、移動ロボットが障害物を回避する必要があるかを判断し、回避する必要がある場合は、ステップ１０７を実行し、回避する必要がない場合は、ステップ１０１に戻る。
ステップ１０７、障害物の輪郭を膨張させる。
移動ロボットが障害物を回避する必要があると確定した場合、障害物の輪郭を膨張させることで、移動ロボットが走行することが可能な走行領域をリアルタイムで生成できる。輪郭を膨張させることは、感知された障害物の境界が外に向かって一定距離を延在することである。延在した障害物の境界によって囲まれた領域は、走行不可領域を表す。移動ロボットの中心は当該領域に現れてしまうと、衝突することになる。障害物の境界が外に向かってを延在距離は、少なくとも、ロボット本体の載置面への投影中心と輪郭との最大距離である。
具体的に、移動ロボット本体の載置面への投影中心を起点として複数本の射線を引き、二次元点群における射線において移動ロボットに最も近い二次元点を障害物の境界として、障害物の輪郭の二次元点を得ることと、障害物の輪郭の二次元点に基づいて膨張させ、膨張輪郭の二次元点を得ることと、膨張輪郭の二次元点を移動ロボットが走行することが可能な走行領域と走行不可領域との境界線とする。ここで、上記検索ウィンドウと検索バーとは、上記検索ウィンドウである。
図３に示すように、図３は障害物の輪郭を感知することの模式図である。深度カメラの水平視界の範囲内において、視界の境界により形成された範囲内で、ロボット本体の載置面への投影中心を起点として等角度に射線を引き、グリッドを生成する。ここで、図３において、視界の境界により形成された範囲は画像の境界１から境界２までの範囲であり、図３には一部の射線のみを示し、全ての射線を示していない。これらの射線においてロボット本体の載置面への投影中心に最も近い二次元点を障害物の境界、即ち障害物の輪郭として、射線において二次元点がない場合、当該射線の方向に障害物がないことを示す。ここで、射線間の角度が小さくほど、得られる障害物の輪郭の二次元点も多くなり、確定される障害の輪郭もより正確になる。
図４に示すように、図４は膨張輪郭の模式図である。移動ロボットの前進方向に、障害物の輪郭の任意な二次元点に対して、当該二次元点を円心とし、膨張した延在距離を半径として膨張円周を生成し、ロボット本体の載置面への投影中心を通過し、且つ前記膨張円周に接する２つの接線で挟まれる円弧を当該二次元点の膨張境界とする。ここで、挟まれる円弧の中心角は１８０°以下である。
障害物の輪郭の全ての二次元点を個々に膨張円周を取り、接線で挟まれる円弧を取って、全ての二次元点の膨張境界を得る。一実施形態において、全ての二次元点の膨張境界の包絡を膨張輪郭とすることで、移動ロボットが走行することが可能な走行領域と走行不可領域とを得る。
図５に示すように、図５は本願実施例に膨張輪郭を実現することのフローチャートである。図４に示すように、ロボット本体の載置面への投影中心を極点とし、ロボットの前進方向を極軸として、極座標系を構築する。
ステップ５０１、現在の障害物の輪郭の二次元点の膨張円周の接線角度の範囲を確定する。
具体的に、上記ステップは以下のことを含む。
現在の障害物の輪郭の二次元点ＰＰ（ｘ，ｙ）を抽出し、極座標Ｐ（Ｒ，θｐ）に変換する。
二次元点の極座標と膨張円周の半径ｒとに基づいて、膨張円周の方程式は以下の通り確定される。
Figure 0007314411000006
 極点を通過する円周の方程式の接線を求めるために、
Figure 0007314411000007
 として、以上の式を解くと、以下の式を得る。
Figure 0007314411000008
ステップ５０２、円周における接線で挟まれる円弧上の点の座標を求める。具体的に、
極角θは、
Figure 0007314411000009
 を満たし、且つ、角度φを刻み角として極角θ値を設定し、設定された極角θ値を前記膨張円周の方程式に代入して、動径ベクトルρ値を求める。一元二次方程式を解くので、２つの解を得る。動径ベクトルρ値における小さい値を取り、接線で挟まれる円弧の中心角を１８０°以下にすることで、円弧上のい点の極座標（ρ，θ）を得るここでθは設定された極角θ値である。
続いて、刻み角φによって極角θ値を設定し、設定された極角θ値を前記膨張円周の方程式に代入して、動径ベクトルρ値を求める、即ち、設定の要求を満たすまで前記ステップ５０２を繰り返して実行する。一実施形態において、設定の要求とは、求めた円弧上の点の極座標の数量が、設定された円弧座標点の総数の閾値になり、接線で挟まれる円弧極座標点の集合を得て、当該集合に表される円弧を障害物の輪郭に含まれる現在の二次元点の膨張境界とする。
一実施形態として、図４に示すように、極角θをグリッドを区切る角度によって等分して、刻み角φを得てよく。または、刻み角を設定してもよい。刻み角が小さくほど、上記ステップ５０２を実行する回数も多いため、得られる円弧極座標点も多くなる。
ステップ５０３、障害物の輪郭の次の二次元点を抽出し、障害物の輪郭の全ての点が抽出されない場合、障害物の輪郭の点が全て抽出されるまで、ステップ５０１に戻る。つまり、障害物の輪郭に含まれる全ての二次元点に対応する円周における接線で挟まれる円弧上の点の座標を求めるまで、ステップ５０１に戻る。一実施形態において、計算量を減らすために、障害物の輪郭の二次元点を等間隔に抽出してよい。障害物の輪郭の全ての点が抽出された場合、ステップ５０４を実行する。
ステップ５０４、円弧座標点に基づいて膨張輪郭の二次元点を生成する。つまり、全ての円弧座標点から膨張輪郭の二次元点を選別する。
実施形態の一は、全ての円弧座標点の包絡を膨張輪郭とする。
実施形態の二は、全ての円弧座標点から膨張輪郭の二次元点を選別する。具体的に、深度カメラの水平視界の範囲内にグリッドが区切られた場合、即ち、視界の境界により形成された範囲内で、ロボット本体の載置面への投影中心を起点として等角度に複数本の射線を引いて、グリッドを生成する場合には、現在のグリッド内に膨張輪郭の二次元点がないと、ステップ５０２で算出した円弧座標点における当該グリッドに位置する円弧座標点を当該グリッドの膨張輪郭の二次元点とする。現在のグリッド内に膨張輪郭を有する二次元点があると、ステップ５０２で算出した円弧座標点における現在のグリッドに位置する円弧座標点と現在のグリッド内に膨張輪郭を有する二次元点とは、どちらがロボット本体の載置面への投影中心に近いかを判断し、投影中心により近い点を当該現在のグリッドの膨張輪郭の二次元点とする。全てのグリッドの膨張輪郭の二次元点を結ぶ線を膨張輪郭とする。つまり、全てのグリッドの膨張輪郭の二次元点の包絡を膨張輪郭とする。
図６に示すように、図６は移動ロボットが位置するシナリオの模式図を示す。図７に示すように、図７は、図６に示すシナリオの深度画像データに基づいて感知された二次元点群と、感知された二次元点群に基づいて確定された輪郭を膨張した結果の模式図を示す。
感知された障害物の輪郭を膨張した結果に基づく応用の一は、移動ロボットが経路計画と運動の制御、及び障害物の回避制御を行うことができる。図７に示す障害物の輪郭を膨張した結果を例として、障害物の輪郭を膨張していない領域は走行可領域であり、実際なシナリオと一致する。つまり、膨張輪郭を境界として、移動ロボットに近い側が走行領域であり、他の側が走行不可領域である。
本願実施例は、深度画像データを移動ロボット座標系における点群に変換して、設定された高さ閾値によって点群を選別し、実際環境における地面の点群と移動ロボットの高さ以上の点群を取り除くことで、運動中衝突する可能性がある障害物に対応する点群により障害物を感知する。深度カメラで得られた三次元点群は、移動ロボットが平面に運動する時の高さ方向の情報にとって余計であるため、この特性を用いて、選別された三次元点群を二次元平面に投影する。これにより、二次元点群は三次元環境における障害物情報も同様に保留し、ただし二次元点の形式で保留した。二次元平面での経路計画や制御は、たくさんの成熟した方法を利用できることに鑑みて、ロボットの障害物回避にとってより便利である。二次元のマップにおいて、障害物に対応する点群において円周によりサンプリングして障害物の膨張輪郭が直接得られることは、グリッド化の必要がなく、グリッド化を行う時間の増加と精度の損失を回避でき、障害物の回避制御に正確な膨張輪郭のデータを提供できる。
図８に示すように、図８は、本願実施例により提供された深度カメラを利用する移動ロボット障害物回避システムの模式図である。移動ロボット本体に取り付けている深度カメラは現在の深度画像データを取得し、障害物感知モジュールは深度データにより障害物情報を取得し、障害物が膨張輪郭を生成し、移動制御モジュールは障害物が膨張輪郭により経路計画と移動制御を行い、移動コマンドを生成し、実行機構は移動コマンドによって走行することで、移動ロボットを駆動して障害物を回避させる。
ここで、移動コマンドは、運動コマンドである。上記膨張輪郭は、膨張した障害物の輪郭である。
図９に示すように、図９は本願実施例により提供された障害物感知モジュールの模式図である。障害物感知モジュールは、
深度画像データを移動ロボット座標系におけるデータに変換することに用いられる、第１データ変換モジュールと、
前記移動ロボット座標系におけるデータを移動ロボットの移動平面における投影に変換して、二次元データを得ることに用いられる、第２データ変換モジュールと、
移動ロボットの走行経路の範囲内で二次元データを検出し、検出された二次元データに基づいて障害物情報を取得することに用いられる、感知モジュールとを含み、
移動ロボット座標系におけるデータは移動ロボット座標系における三次元点である。
前記障害物感知モジュールは、
第１データ変換モジュールで変換されたデータを選別し、移動ロボットの移動平面におけるデータを保留することに用いられる、選別モジュールをさらに含む。つまり、移動ロボットが運動中衝突する可能性がある障害物に対応するデータを保留する。
前記障害物感知モジュールは、
移動ロボット本体の載置面への投影中心を起点として、少なくとも１本の射線を引き、射線において前記起点に最も近い二次元点を障害物の輪郭として、障害物の輪郭の二次元点を得ることと、
障害物の輪郭に含まれる任意な二次元点に対して、当該二次元点を円心とし、延在距離を半径として膨張円周を設定することと、前記起点を通って前記膨張円周に接する２本の接線を取得することと、２本の接線で挟まれる円弧を当該障害物の輪郭の二次元点の膨張境界とし、挟まれる円弧の中心角は１８０°以下であり、前記延在距離は少なくともロボット本体の載置面への投影中心と輪郭との最大距離であることと、
全ての障害物の輪郭の二次元点の膨張境界を取得し、全ての二次元点の膨張境界の包絡を膨張輪郭の二次元点とし、移動ロボットが走行することが可能な走行領域と走行不可領域とを得ることとに用いられる、走行領域取得モジュールをさらに含む。
前記第１データ変換モジュールは、具体的に、
深度画像データにおけるいずれかのピクセルに対して、深度カメラの外部パラメーターと、ピクセルの深度値と、深度カメラの内部パラメーターと、ピクセルの座標値とによって、当該ピクセルの移動ロボット座標系における三次元点の座標を得ることと、
深度画像データにおける全てのピクセルを移動ロボット座標系における三次元点の座標に変換して、移動ロボット座標系における三次元点からなる三次元点群を得ることとに用いられる。
前記第２データ変換モジュールは、具体的に、
移動ロボット座標系におけるいずれかの三次元点の座標に対して、三次元点の座標における移動ロボットの移動平面に垂直する座標値を切り捨て、または、三次元点の座標における移動ロボットの移動平面に垂直する座標値を０に設定し、当該三次元点の移動ロボットの移動平面における二次元投影を得ることと、
移動ロボット座標系における全ての三次元点の座標を移動ロボットの移動平面における二次元投影に変換して、二次元投影からなる二次元点群を得ることとに用いられる。
前記感知モジュールは、具体的に、
移動ロボットの前進方向に検索ウィンドウを構築し、前記検索ウィンドウと移動ロボットとの相対位置を固定させることと、
検索ウィンドウの範囲内に二次元点群があるかを検出し、二次元点群がある場合、障害物が検出されたと判断することと、
検索ウィンドウの範囲内における移動ロボットに最も近い障害物の位置に基づいて、移動ロボットが障害物を回避する必要があるかを判断し、回避する必要がある場合、走行領域取得モジュールをトリガして、移動ロボットが走行することが可能な走行領域を取得することとに用いられる。
前記走行領域取得モジュールは、具体的に、
現在の障害物の輪郭の二次元点の座標を極座標に変換することと、
変換された二次元点の極座標と延在距離とに基づいて、膨張円周の極座標系における方程式を確定することと、
前記膨張円周の極座標系における方程式に基づいて、現在の障害物の輪郭の二次元点の膨張円周の接線角度の範囲を確定することと、
前記接線角度の範囲内において、設定された現在の極角値を前記膨張円周の極座標系における方程式に代入し、円弧上の点の動径ベクトル値を求めることと、動径ベクトル値における小さい値を抽出し、接線で挟まれる円弧上の点の極座標を得ることと、
接線で挟まれる円弧区間における座標点を求めたまで、次の極角値を設定し、前記設定された現在の極角値を前記膨張円周の極座標系における方程式に代入するステップに戻ることと、
全ての円弧上の点に基づいて生成された円弧を現在の二次元点の膨張境界とすることとに用いられる。
本願実施例はさらに、深度カメラを利用する移動ロボットを提供する。前記移動ロボットは、移動ロボットはメモリとプロセッサとを含み、メモリにはコンピュータプログラムが記録され、前記コンピュータプログラムは、プロセッサによって実行されると、上記いずれかの前記移動ロボットの障害物情報感知方法のステップを実行する。
メモリは、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ，ＲＡＭ）を含んでもよく、非揮発性メモリ（Ｎｏｎ－Ｖｏｌａｔｉｌｅ Ｍｅｍｏｒｙ，ＮＶＭ）を含んでもよく、例えば、少なくとも１つの磁気ディスクメモリである。選択的に、メモリはさらに、少なくとも１つの前述プロセッサから離れた記憶装置であってもよい。
上記したプロセッサは、セントラルプロセッサ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ，ＣＰＵ）、ネットワークプロセッサ（Ｎｅｔｗｏｒｋ Ｐｒｏｃｅｓｓｏｒ，ＮＰ）等を含む汎用なプロセッサであってもよく、デジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ，ＡＳＩＣ）、現場で書き換え可能な論理回路の多数配列（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ，ＦＰＧＡ）または他の書き換え可能な論理デバイス、ディスクリートゲート或いはトランジスタ倫理デバイス、ディスクリートハードウェアアセンブリであってもよい。
本願実施例はさらに、別の移動ロボットを提供する。前記移動ロボットは、
移動ロボット本体に取り付けけられ、深度画像データを取得することに用いられる深度カメラと、
深度画像データを取得することと、前記深度画像データを移動ロボット座標系におけるデータに変換することと、前記移動ロボット座標系におけるデータを移動ロボットの移動平面における投影に変換して、二次元データを得ることと、移動ロボットの走行経路の範囲内で前記二次元データを検出することと、検出された二次元データに基づいて障害物情報を取得することとに用いられる、障害物感知モジュールと、
前記障害物情報に基づいて、移動コマンドを生成することに用いられる、移動制御モジュールと、
前記移動コマンドを実行することに用いられる、実行機構モジュールとを含む。
本願実施例はさらに、コンピュータ可読記憶媒体を提供する。前記記憶媒体にはコンピュータプログラムが記録され、前記コンピュータプログラムはプロセッサによって実行されると、
深度画像データを取得することと、
深度画像データを移動ロボット座標系におけるデータに変換することと、
前記移動ロボット座標系におけるデータを移動ロボットの移動平面における投影に変換して、二次元データを得ることと、
移動ロボットの走行経路の範囲内で二次元データを検出し、検出された二次元データに基づいて障害物情報を取得することと、を実行する。
本願は、深度画像データを移動ロボットの移動平面における投影に変換して、二次元投影データに基づいて検索し、障害物情報を取得し、二次元レーザに類似したデータを得ることで、従来の障害物回避センサーで立体的な感知または障害物を回避できない欠陥を解消し、広範囲で、異なる高さレベルの障害物を感知できる。一方、深度データに対する通常な処理方法と異なり、深度データを移動ロボットの移動平面に投影することで、実用において、二次元環境中に障害物の回避制御に対する成熟した技術を本願に適用させ、投影して二次元データを得ることで、本願により提供された技術案を幅広く適用させる。よって、本願により提供された技術案において、三次元センサーの三次元感知情報を利用でき、二次元データに基づいて素早い経路計画を行うことができる。
本願実施例はさらに、コマンドを含むコンピュータプログラム製品であって、コンピュータプログラム製品がコンピュータで実行されると、コンピュータに上記いずれかの前記移動ロボットの障害物情報感知方法のステップを実現する、コンピュータプログラム製品を提供する。
本願は、深度画像データを移動ロボットの移動平面における投影に変換して、二次元投影データに基づいて検索し、障害物情報を取得し、二次元レーザに類似したデータを得ることができ、従来の障害物回避センサーで全般的で立体的な感知または障害物を回避できない欠陥を解消し、広範囲で、異なる高さレベルの障害物を感知できる。一方、深度データに対する通常な処理方法と異なり、深度データを移動ロボットの移動平面に投影することで、実用において、二次元環境中に障害物の回避制御に対する成熟した技術を本願に適用させ、投影して二次元データを得ることで、本願により提供された技術案を幅広く適用させる。よって、本願により提供された技術案において、三次元センサーの三次元感知情報を利用できるし、二次元データに基づいて素早い経路計画を行うこともできる。
システム、移動ロボット、記憶媒体及びコンピュータアプリケーションの実施例にとっては、基本的に、方法実施例と類似するので、説明が比較的に簡単であり、関連するところが方法実施例の部分に参照すればよい。
本文において、「第１」と「第２」等の関係用語は１つのエンティティまたは操作を他のエンティティまたは操作を区別するのみに用いられ、これらのエンティティまたは操作の間にこのような実際な関係または順序がいずれかあることを、要求または示唆するものではない。また、用語「含まれる」、「含む」または他のいずれかの変形は非排他的な「含む」を意味する。従って、一連の要素を含む流れ、方法、製品或いはデバイスは、それらの要素のみを含むものではなく、さらに明確に挙げていない他の要素も含み、または、さらにこのような流れ、方法、製品或いはデバイスに固有する要素も含む。これ以上の制限がない場合、「１つの．．．を含む」という記述によって限定した要素は、記載した要素を含む流れ、方法、製品、またはデバイスに、他の同一の要素があることを排除しない。
以上の記載は本願の好ましい実施例に過ぎず、本願を制限することを意図するものではない。本願の主旨及び原則内で行われる如何なる修正、均等の代替、改良等は何れも本願の保護範囲内に含まれるべきである。

Claims (14)

  1. 深度画像データを取得することと、
    深度画像データを移動ロボット座標系におけるデータに変換することと、
    前記移動ロボット座標系におけるデータを移動ロボットの移動平面における投影に変換して、二次元データを得ることと、
    移動ロボットの走行経路の範囲内で二次元データを検出することと、
    検出された二次元データに基づいて障害物情報を取得することとを含み、
    前記移動ロボット座標系におけるデータを移動ロボットの移動平面における投影に変換して、二次元データを得ることは、
    変換された移動ロボット座標系におけるデータを選別し、運動中衝突する可能性がある障害物に対応するデータを保留することと、
    保留された運動中衝突する可能性がある障害物に対応するデータを、移動ロボットの移動平面における投影に変換して、二次元データを得ることとを含む、
    移動ロボットの障害物情報感知方法。
  2. 前記深度画像データを移動ロボット座標系におけるデータに変換することは、
    深度画像データにおけるいずれかのピクセルに対して、カメラの外部パラメーターと、ピクセルの深度値と、カメラの内部パラメーターと、ピクセルの座標値とによって、当該ピクセルの移動ロボット座標系における三次元点の座標を得ることと、
    深度画像データにおける全てのピクセルを移動ロボット座標系における三次元点の座標に変換して、移動ロボット座標系における三次元点からなる三次元点群を得ることとを含み、
    前記移動ロボットの走行経路の範囲内で二次元データを検出することは、
    移動ロボットの走行経路の範囲内の障害物を検出するための検索ウィンドウを構築し、検索ウィンドウの範囲内で二次元データを検索することを含む、
    請求項１に記載の方法。
  3. 前記カメラの外部パラメーターと、ピクセルの深度値と、カメラの内部パラメーターと、ピクセルの座標値とによって、当該ピクセルの移動ロボット座標系における三次元点の座標を得ることは、
    深度カメラの外部パラメーターに基づいて、移動ロボット座標系から深度カメラ座標系への変換関係マトリクスを得ることと、
    前記変換関係マトリクスと、ピクセルの深度値と、カメラの内部パラメーターマトリクスの逆マトリクスと、ピクセル座標値からなるマトリクスとの積を計算し、得られた結果をピクセルの移動ロボット座標系における三次元点の座標とすることとを含み、
    ピクセル座標値からなるマトリクスは
    Figure 0007314411000010
    であり、ｕ、ｖはそれぞれ画像座標系におけるピクセルの座標である、
    請求項２に記載の方法。
  4. 前記移動ロボット座標系におけるデータを移動ロボットの移動平面における投影に変換して、二次元データを得ることは、
    移動ロボット座標系におけるいずれかの三次元点の座標に対して、三次元点の座標における移動ロボットの移動平面に垂直する座標値を切り捨て、当該三次元点の移動ロボットの移動平面における二次元投影を得、または、三次元点の座標における移動ロボットの移動平面に垂直する座標値を０に設定し、当該三次元点の移動ロボットの移動平面における二次元投影を得ることと、
    移動ロボット座標系における全ての三次元点の座標を移動ロボットの移動平面における二次元投影に変換して、二次元投影からなる二次元点群を得ることとを含む、
    請求項２に記載の方法。
  5. 前記移動ロボットの走行経路の範囲内の障害物を検出するための検索ウィンドウを構築し、検索ウィンドウの範囲内で二次元データを検索することは、
    移動ロボットの前進方向に前記検索ウィンドウを構築し、前記検索ウィンドウと移動ロボットとの相対位置を固定させることを含み、
    前記検出された二次元データに基づいて障害物情報を取得することは、
    検索ウィンドウの範囲内で二次元点群があるかを検出し、二次元点群がある場合、障害物が検出されたと判断することを含む、
    請求項２に記載の方法。
  6. 前記移動ロボットの載置面は地面であり、前記運動中衝突する可能性がある障害物に対応するデータを保留することは、前記移動ロボット座標系における三次元点の座標において、ｚ値が第１閾値より大きく、且つ第２閾値より小さい三次元点を保留することを含む、
    請求項１に記載の方法。
  7. 検索ウィンドウ内の最も近い障害物の位置に基づいて、移動ロボットが障害物を回避する必要があるかを判断し、回避する必要がある場合、移動ロボットが走行することが可能な走行領域を取得することをトリガすることをさらに含む、
    請求項２乃至５のいずれかに記載の方法。
  8. 前記移動ロボットが走行することが可能は走行領域を取得することは、
    移動ロボット本体の載置面への投影中心を起点として、等角度に少なくとも１本の射線を引き、射線において前記起点に最も近い二次元点を障害物の輪郭として、障害物の輪郭の二次元点を得ることと、
    障害物の輪郭の任意な二次元点に対して、当該二次元点を円心とし、延在距離を半径として膨張円周を設定することと、前記起点を通って前記膨張円周に接する２本の接線を取得することと、２本の接線で挟まれる円弧を当該障害物の輪郭の二次元点の膨張境界とし、挟まれる円弧の中心角は１８０°以下であり、前記延在距離は少なくとも移動ロボット本体の載置面への投影中心と輪郭との最大距離であることと、
    全ての障害物の輪郭の二次元点の膨張境界を取得し、全ての二次元点の膨張境界の包絡を膨張輪郭とし、膨張輪郭を境界に、移動ロボットに近い側の領域を走行領域とし、他の側を走行不可領域とすることとを含む、
    請求項７に記載の方法。
  9. 前記障害物の輪郭の任意な二次元点に対して、当該二次元点を円心とし、延在距離を半径として膨張円周を設定することは、
    現在の障害物の輪郭の二次元点の座標を極座標に変換することと、
    変換された極座標と延在距離に基づいて、膨張円周の極座標系における方程式を確定することとを含み、
    前記起点を通って前記膨張円周に接する２本の接線を取得することは、
    前記膨張円周の極座標系における方程式に基づいて、現在の障害物の輪郭の二次元点の膨張円周の接線角度の範囲を確定することを含み、
    前記２本の接線で挟まれる円弧を当該障害物の輪郭の二次元点の膨張境界とすることは、
    前記接線角度の範囲内において、
    設定された現在の極角値を前記膨張円周の極座標系における方程式に代入し、円弧上の点の動径ベクトル値を求めることと、動径ベクトル値における小さい値を抽出し、接線で挟まれる円弧上の点の極座標を得ることと、
    接線で挟まれる円弧区間における円弧座標点の計算が終わるまで、次の極角値を設定し、前記設定された現在の極角値を前記膨張円周の極座標系における方程式に代入するステップに戻ることと、
    円弧上の点に基づいて、現在の二次元点の膨張境界を生成することとを含む、
    請求項８に記載の方法。
  10. 前記移動ロボット本体の載置面への投影中心を起点として、等角度に少なくとも１本の射線を引くことは、画像視野の境界から、移動ロボット本体の載置面への投影中心を起点として等角度に射線を引き、グリッドを生成し、
    前記円弧上の点に基づいて、現在の二次元点の膨張境界を生成することは、
    現在のグリッド内に膨張輪郭の二次元点がない場合、計算された円弧座標点のうち当該グリッドに位置する円弧座標点を当該グリッドの膨張輪郭の二次元点とすることと、
    現在のグリッド内に膨張輪郭を有する二次元点がある場合、計算され円弧座標点のうち当該グリッドに位置する円弧座標点と、膨張輪郭を有する二次元点とは、どちらが移動ロボット本体の載置面への投影中心に近いかを判断し、前記投影中心に近い点を当該グリッドの膨張輪郭の二次元点とすることと、
    全てのグリッドの膨張輪郭の二次元点を現在の二次元点の膨張境界とすることとを含む、
    請求項９に記載の方法。
  11. 深度画像データを移動ロボット座標系におけるデータに変換することに用いられる、第１データ変換モジュールと、
    前記第１データ変換モジュールで変換されたデータを選別し、移動ロボットが運動中衝突する可能性がある障害物に対応するデータを保留することに用いられる、選別モジュールと、
    保留された運動中衝突する可能性がある障害物に対応するデータを移動ロボットの移動平面における投影に変換して、二次元データを得ることに用いられる、第２データ変換モジュールと、
    移動ロボットの走行経路の範囲内で二次元データを検出し、検出された二次元データに基づいて障害物情報を取得することに用いられる、感知モジュールとを含む、
    移動ロボットに障害物情報を感知する装置。
  12. 移動ロボット本体に取り付けられ、深度画像データを取得することに用いられる深度カメラと、
    深度画像データを取得することと、深度画像データを移動ロボット座標系におけるデータに変換することと、変換された移動ロボット座標系におけるデータを選別し、運動中衝突する可能性がある障害物に対応するデータを保留することと、保留された運動中衝突する可能性がある障害物に対応するデータを移動ロボットの移動平面における投影に変換して、二次元データを得ることと、移動ロボットの走行経路の範囲内で二次元データを検出することと、検出された二次元データに基づいて障害物情報を取得することとに用いられる、障害物感知モジュールと、
    障害物情報に基づいて、移動コマンドを生成することに用いられる、移動制御モジュールと、
    前記移動コマンドを実行することに用いられる、実行機構モジュールとを含む、
    移動ロボット。
  13. コンピュータプログラムが記録されており、前記コンピュータプログラムはプロセッサによって実行されると、請求項１乃至１０のいずれかに記載の移動ロボットの障害物情報感知方法のステップを実行するコンピュータ可読記憶媒体。
  14. コマンドを含むコンピュータプログラム製品であって、
    前記コンピュータプログラム製品がコンピュータで実行されると、前記コンピュータに請求項１乃至１０のいずれかに記載の移動ロボットの障害物情報感知方法のステップを実現するコンピュータプログラム製品。
JP2022517836A 2019-09-20 2020-09-17 移動ロボットの障害物情報感知方法、装置 Active JP7314411B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910892943.2 2019-09-20
CN201910892943.2A CN112631266A (zh) 2019-09-20 2019-09-20 一种移动机器人感知障碍信息的方法、装置
PCT/CN2020/115818 WO2021052403A1 (zh) 2019-09-20 2020-09-17 一种移动机器人感知障碍信息的方法、装置

Publications (2)

Publication Number Publication Date
JP2022548743A JP2022548743A (ja) 2022-11-21
JP7314411B2 true JP7314411B2 (ja) 2023-07-25

Family

ID=74883386

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022517836A Active JP7314411B2 (ja) 2019-09-20 2020-09-17 移動ロボットの障害物情報感知方法、装置

Country Status (5)

Country Link
EP (1) EP4033324B1 (ja)
JP (1) JP7314411B2 (ja)
KR (1) KR20220066325A (ja)
CN (1) CN112631266A (ja)
WO (1) WO2021052403A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113110457B (zh) * 2021-04-19 2022-11-15 杭州视熵科技有限公司 在室内复杂动态环境中智能机器人的自主覆盖巡检方法
CN113190003B (zh) * 2021-05-06 2024-05-31 珠海格力智能装备有限公司 Agv避障方法、装置、计算机可读存储介质和处理器
CN113568003B (zh) * 2021-07-26 2022-11-01 奥特酷智能科技(南京)有限公司 一种用于机场地勤车的防撞预警系统及方法
CN114265412B (zh) * 2021-12-29 2023-10-24 深圳创维数字技术有限公司 车辆控制方法、装置、设备及计算机可读存储介质
CN114509064A (zh) * 2022-02-11 2022-05-17 上海思岚科技有限公司 一种自主扩展传感器数据处理的方法、接口及设备
CN114255252B (zh) * 2022-02-28 2022-05-17 新石器慧通（北京）科技有限公司 障碍物轮廓获取方法、装置、设备及计算机可读存储介质
CN115406445B (zh) * 2022-08-18 2024-05-17 四川华丰科技股份有限公司 多传感器数据融合处理方法及机器人避障方法
CN116009559B (zh) * 2023-03-24 2023-06-13 齐鲁工业大学(山东省科学院) 一种输水管道内壁巡检机器人及检测方法
CN116185044B (zh) * 2023-04-26 2023-06-27 威康(深圳)智能有限公司 一种机器人集群系统的控制方法、装置、设备及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005092820A (ja) 2003-09-19 2005-04-07 Sony Corp 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置
JP2014197403A (ja) 2010-05-20 2014-10-16 アイロボット コーポレイション 自動推進式テレビ会議プラットホーム
CN106441275A (zh) 2016-09-23 2017-02-22 深圳大学 一种机器人规划路径的更新方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9534899B2 (en) * 2005-03-25 2017-01-03 Irobot Corporation Re-localization of a robot for slam
CN105629989B (zh) * 2015-12-28 2018-04-17 电子科技大学 基于最小外包圆和最大内接圆的障碍区域划分方法
CN106599108B (zh) * 2016-11-30 2019-12-31 浙江大学 一种三维环境中多模态环境地图构建方法
CN106969770B (zh) * 2017-05-31 2021-04-06 深圳中智卫安机器人技术有限公司 一种机器人及其导航方法、计算机可读存储介质
DE112018003986T5 (de) * 2017-08-04 2020-04-16 Sony Corporation Steuervorrichtung, steuerverfahren, programm und mobileinheit
CN108733045B (zh) * 2017-09-29 2022-01-04 北京猎户星空科技有限公司 机器人及其避障方法以及计算机可读存储介质
CN108256430B (zh) * 2017-12-20 2021-01-29 北京理工大学 障碍物信息获取方法、装置及机器人
CN109048926A (zh) * 2018-10-24 2018-12-21 河北工业大学 一种基于立体视觉的机器人智能避障系统及方法
CN109407705A (zh) * 2018-12-14 2019-03-01 厦门理工学院 一种无人机躲避障碍物的方法、装置、设备和存储介质
CN109947097B (zh) * 2019-03-06 2021-11-02 东南大学 一种基于视觉和激光融合的机器人定位方法及导航应用
CN110202577A (zh) * 2019-06-15 2019-09-06 青岛中科智保科技有限公司 一种实现障碍物检测的自主移动机器人及其方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005092820A (ja) 2003-09-19 2005-04-07 Sony Corp 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置
JP2014197403A (ja) 2010-05-20 2014-10-16 アイロボット コーポレイション 自動推進式テレビ会議プラットホーム
CN106441275A (zh) 2016-09-23 2017-02-22 深圳大学 一种机器人规划路径的更新方法及装置

Also Published As

Publication number Publication date
EP4033324B1 (en) 2024-05-01
JP2022548743A (ja) 2022-11-21
EP4033324A1 (en) 2022-07-27
KR20220066325A (ko) 2022-05-24
CN112631266A (zh) 2021-04-09
WO2021052403A1 (zh) 2021-03-25
EP4033324A4 (en) 2022-11-02

Similar Documents

Publication Publication Date Title
JP7314411B2 (ja) 移動ロボットの障害物情報感知方法、装置
JP7345504B2 (ja) Ｌｉｄａｒデータと画像データの関連付け
US11301697B2 (en) Analysis of point cloud data using depth maps
US11086016B2 (en) Method and apparatus for tracking obstacle
KR102284565B1 (ko) 포인트 클라우드에서의 모션 기반 부정확성의 정정
CN111665842B (zh) 一种基于语义信息融合的室内slam建图方法及系统
JP5430456B2 (ja) 幾何特徴抽出装置、幾何特徴抽出方法、及びプログラム、三次元計測装置、物体認識装置
JP6632208B2 (ja) 情報処理装置、情報処理方法、プログラム
CN110674705A (zh) 基于多线激光雷达的小型障碍物检测方法及装置
JP6747665B2 (ja) ロボット
US20220309761A1 (en) Target detection method, device, terminal device, and medium
KR20190070514A (ko) 격자지도 생성 장치 및 방법
CN110705385B (zh) 一种障碍物角度的检测方法、装置、设备及介质
JP2017526083A (ja) 位置特定およびマッピングの装置ならびに方法
US11629963B2 (en) Efficient map matching method for autonomous driving and apparatus thereof
CN114842106A (zh) 栅格地图的构建方法及构建装置、自行走装置、存储介质
Dos Santos et al. Building boundary extraction from LiDAR data using a local estimated parameter for alpha shape algorithm
CN115683109B (zh) 基于cuda和三维栅格地图的视觉动态障碍物检测方法
KR101392222B1 (ko) 표적 윤곽을 추출하는 레이저 레이더, 그것의 표적 윤곽 추출 방법
Sun et al. Triangular mesh construction based on point cloud matrix and edge feature extraction
KR101784584B1 (ko) 레이저 회전을 이용하여 3차원 물체를 판별하는 장치 및 방법
CN112308033A (zh) 一种基于深度数据的障碍物碰撞警告方法及视觉芯片
Denker et al. On-line reconstruction of CAD geometry
EP3731130B1 (en) Apparatus for determining an occupancy map
CN113465614B (zh) 无人机及其导航地图的生成方法和装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220527

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230712

R150 Certificate of patent or registration of utility model

Ref document number: 7314411

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150