JP7300550B2 - 視覚標識に基づき標識マップを構築する方法、装置 - Google Patents

視覚標識に基づき標識マップを構築する方法、装置 Download PDF

Info

Publication number
JP7300550B2
JP7300550B2 JP2022500643A JP2022500643A JP7300550B2 JP 7300550 B2 JP7300550 B2 JP 7300550B2 JP 2022500643 A JP2022500643 A JP 2022500643A JP 2022500643 A JP2022500643 A JP 2022500643A JP 7300550 B2 JP7300550 B2 JP 7300550B2
Authority
JP
Japan
Prior art keywords
class
pose
visual
image frame
sign
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022500643A
Other languages
English (en)
Other versions
JP2022539422A (ja
Inventor
恒博 唐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikrobot Co Ltd
Original Assignee
Hangzhou Hikrobot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikrobot Co Ltd filed Critical Hangzhou Hikrobot Co Ltd
Publication of JP2022539422A publication Critical patent/JP2022539422A/ja
Application granted granted Critical
Publication of JP7300550B2 publication Critical patent/JP7300550B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/383—Indoor data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3837—Data obtained from a single source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10712—Fixed beam scanning
    • G06K7/10722—Photodetector array or CCD scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Processing (AREA)

Description

（関連出願）
本願は、２０１９年７月５日に中国国家知的財産権局により出願された、出願番号が２０１９１０６０３４９４．５であり、発明名称が「視覚標識に基づく標識マップを構築する方法、装置」である中国特許出願に基づく優先権を主張する。ここで、その全ての内容は、援用により本願に組み込まれる。
本願はコンピュータビジョン分野に関し、特に視覚標識に基づき標識マップを構築する方法、装置に関する。
コンピュータビジョンにおいては、空間内の物体（剛体）を位置と姿勢によって記述することができる。位置と姿勢とは、合わせてポーズと称される。位置は、物体の三次元空間座標系における座標位置であり、姿勢は、物体の当該座標系における３つの座標軸に対する回転角度で、ピッチ角と、ヨー角とロール角とを含む。
視覚標識ナビゲーション技術は、一般的なロボットナビゲーションソリューションの１つである。ロボットは、視覚標識により構築された標識マップに基づいて測位する。従来の視覚標識によるマップ構築は、通常、予め作業環境に対して物理的な測定を行い、物理的な測定結果に基づいて、配置しようとする視覚標識の位置と姿勢、即ち配置しようとする視覚標識のポーズを、人工方式で分析する。配置しようとする視覚標識のポーズに応じて、関係者が視覚標識を環境に配置する。そして、標識マップを生成する際には、標識マップが配置しようとする視覚標識の位置と姿勢に基づいて形成されている。
本願は、視覚標識に対する配置精度の依存性を低減するように、視覚標識に基づき標識マップを構築する方法及び装置を提供する。具体的な技術案は以下の通りである。
第１形態として、本願実施例は、視覚標識に基づき標識マップを構築する方法をであって、少なくとも画像フレームを含むターゲット検出データと、ターゲット測定データとを取得し、前記画像フレームは、ロボットが予め配置された視覚標識に対する画像採取プロセスで採取した画像であり、前記ターゲット測定データは、前記画像フレームが採取された時点の前記ロボットのロボット本体のオドメトリ座標系におけるポーズを含むことと、
前記ターゲット測定データに基づいて、前記画像フレームに対応する第１類ポーズの初期化結果を取得し、前記第１類ポーズは、前記画像フレームが採取された時点のロボット本体のワールド座標系におけるポーズであることと、
前記ターゲット検出データに基づいて前記視覚標識に対応する第２類ポーズの初期化結果を取得し、前記第２類ポーズは、前記視覚標識のワールド座標系におけるポーズであることと、
前記ターゲット測定データに基づいて取得された前記画像フレームに関する第１類残差と、前記ターゲット検出データに基づいて取得された前記画像フレームと視覚標識に関する第２類残差とに対して、前記第１類ポーズを状態変数とし、前記第２類ポーズを状態変数とする共同最適化を行って、前記第２類ポーズの最適化結果を取得し、前記第１類残差は、前記画像フレームのオドメトリに関する拘束残差であり、前記第２類残差は、前記視覚標識の特徴点の前記画像フレームにおける再投影の拘束残差であり、前記第１類ポーズの初期値は、前記第１類ポーズの初期化結果であり、前記第２類ポーズの初期値は、前記第２類ポーズの初期化結果であることと、
得られた前記第２類ポーズの最適化結果に基づいて標識マップを構築することと、を含む方法を提供する。
第２形態として、本願実施例は、視覚標識に基づき標識マップを構築する装置であって、
少なくとも画像フレームを含むターゲット検出データと、ターゲット測定データとを取得し、前記画像フレームは、ロボットが予め配置された視覚標識に対する画像採取プロセスで採取した画像であり、前記ターゲット測定データは、前記画像フレームが採取された時点の前記ロボットのロボット本体のオドメトリ座標系におけるポーズを含む、データ採取モジュールと、
前記ターゲット測定データに基づいて前記画像フレームに対応する第１類ポーズの初期化結果を取得し、前記第１類ポーズは、前記画像フレームが採取された時点のロボット本体のワールド座標系におけるポーズであり、前記ターゲット検出データに基づいて前記視覚標識に対応する第２類ポーズの初期化結果を取得し、前記第２類ポーズは、前記視覚標識のワールド座標系におけるポーズである、初期化モジュールと、
前記ターゲット測定データに基づいて取得された前記画像フレームに関する第１類残差と、前記ターゲット検出データに基づいて取得された前記画像フレームと視覚標識に関する第２類残差とに対して、前記第１類ポーズを状態変数とし、前記第２類ポーズを状態変数とする共同最適化を行って、前記第２類ポーズの最適化結果を取得し、前記第１類残差は、前記画像フレームのオドメトリに関する拘束残差であり、前記第２類残差は、前記視覚標識の特徴点の前記画像フレームにおける再投影の拘束残差であり、前記第１類ポーズの初期値は、前記第１類ポーズの初期化結果であり、前記第２類ポーズの初期値は、前記第２類ポーズの初期化結果である、第１共同最適化モジュールと、
得られた前記第２類ポーズの最適化結果に基づいて標識マップを構築する、マップ構築モジュールと、を含む装置を提供する。
第３形態として、本願実施例は、視覚標識に基づき標識マップを構築する電子機器であって、メモリとプロセッサとを備え、
前記メモリは、コンピュータプログラムを格納することに用いられ、
前記プロセッサは、前記メモリに格納されたプログラムを実行して、第１形態に提供された視覚標識に基づき標識マップを構築する方法を実現することに用いられる、電子機器を提供する。
第４形態として、本願実施例は、コンピュータプログラムが格納されているコンピュータ可読記憶媒体であって、前記コンピュータプログラムは、プロセッサによって実行されると、第１形態に提供された視覚標識に基づき標識マップを構築する方法を実現する、コンピュータ可読記憶媒体を提供する。
第５形態として、本願実施例は、プロセッサによって実行されると、本願に提供された視覚標識に基づき標識マップを構築する方法を実現する、コンピュータプログラムを提供する。
本願実施例に提供された技術案において、ターゲット測定データとターゲット検出データを利用して、オドメトリ拘束と標識観測拘束（少なくとも視覚標識の全ての特徴点のキーフレームにおける再投影拘束を含む）によって共同で最適化問題を構築し、この課題を解決することで視覚標識の大域的ポーズを取得する。さらに、取得された視覚標識の大域的ポーズを利用して標識マップを構築する。本願に提供された技術案がマップを構築するときに利用する視覚標識の大域的ポーズは、特定の計算方式によって定められたものであるため、マップ構築データ集合に対する要求が軽減された。視覚標識が配置されたときに利用する大域的位置または角度情報に依存せず、視覚標識の種類にも依存せず、いずれかの事前情報にも依存しないとともに、マップ構築の効率と精度を確保できた。これで分かるように、本技術案によって視覚標識の配置精度に対する依存性を軽減できる。なお、本技術案によれば、マップを構築するときに、視覚標識が配置されたときに利用されたポーズ情報に依存しないため、環境測定に対する要求を軽減し、環境測定のプロセスを省略でき、視覚標識の配置作業の難しさを軽減し、人件と時間のコストを削減することができる。
本出願の実施例及び従来技術の技術案をより明確に説明するために、以下の実施例及び従来技術に必要な図面を簡単に説明するが、無論、以下に説明される図面は単に本出願の実施例の一部であり、当業者であれば、創造的な働きをせずに、これらの図面に基づいて他の実施例が得られることができる。
図１は本願実施例における視覚標識によるマップ構築の方法のフローチャートである。 図２はデータ採取の一模式図である。 図３は上記ステップ１０１～１１０に係る画像データの関連関係を示す模式図である。 図４は本願実施例における視覚標識に基づき標識マップを構築する装置の模式図である。
以下、本願の実施例の目的、技術案及び利点をより明確にするために、図面を参照しながら例を挙げて本願の実施例をさらに詳しく説明する。無論、説明される実施例は単に本願の実施例の一部であり、全ての実施例ではない。本願の実施例に基づいて、当業者が創造的な労働を必要とせずに得られる全ての他の実施例は何れも本願の保護範囲に該当する。
従来の視覚標識によるマップ構築は、通常、予め作業環境に対して物理的な測定を行い、物理的な測定結果に基づいて、配置しようとする視覚標識の位置と姿勢、即ち配置しようとする視覚標識のポーズを人工で分析し、配置しようとする視覚標識のポーズに応じて、環境において視覚標識を関係者によって配置する。そして、標識マップを生成するときに、配置しようとする視覚標識の位置と姿勢に基づいて標識マップを形成する。
これで分かるように、従来の視覚標識によるマップ構築の方法は主に、以下の課題がある。マップ構築のときに、視覚標識の配置精度に対する依存性が高く、視覚標識の配置精度が低い場合、マップ構築の正確性も低いことである。
従来技術の課題を解決ために、本願は、視覚標識に基づき標識マップを構築する方法及び装置を提供する。以下、まず、本願に提供された視覚標識に基づき標識マップを構築する方法を紹介する。
以下、本願の実施例の目的、技術手段及び利点をより明確にするために、図面を参照しながら本願をさらに詳しく説明する。本願実施例の理解の便宜上、係る概念の説明は以下の通りである。
本実施例は、ワールド座標系、撮影機座標系（カメラ座標系）、標識座標系、オドメトリ座標系、及びロボット本体座標系に係る。
ワールド座標系は、システムの絶対座標系であって、環境から基准座標系を選出して、カメラ、及び環境中のいずれか物体の位置を記述する。
撮影機座標系とは、原点が撮影機の光学中心であり、ｘ軸、ｙ軸が画像のＸ、Ｙ軸と平行し、ｚ軸がカメラ光軸で結像平面と垂直するように構成された、空間直交座標系であって、カメラ座標系とも称される。撮影機座標系は、三次元座標系である。光軸と画像平面との交点は、画像座標系の原点であり、画像のＸ、Ｙ軸によって構成された直交座標系は画像座標系である。画像座標系は、二次元座標系である。
標識座標系は、視覚標識の特徴点の三次元空間位置、例えば二次元コードの四隅にある測位特徴点の位置を記述することに用いられる。各視覚標識は、それぞれ、各自の標識座標系を備える。
ロボット本体座標系は、ロボット本体に設定された座標系である。なお、ロボット本体座標系の原点は、ロボットの中心と重なってよく、無論、これに限らない。
オドメトリ座標系は、ロボット本体の二次元平面におけるロボット本体の運動を記述する座標系であって、ポーズを計算し始める初期時点のロボット本体のポーズによって定められる。なお、オドメトリ座標系は、初期時点のロボット本体座標系であって、ロボットの相対運動の測定値、即ち初期時点に後続する時点のロボット本体座標系のオドメトリ座標系に対する相対ポーズ、具体的に、後続する時点でロボット本体のポーズ（ロボット本体座標におけるポーズ）の初期時点に対するポーズ変化値を表すことに用いられる。例示的に、初期時点は、ロボットの起動時点であってよく、または、ロボットの運動プロセスにおける任意的な時点であってよい。
オドメトリとは、移動ロボットに対する累算式測位アルゴリズムであって、採用されたセンサーと機械構造によって複数種の実施形態があってよい。その出力結果は、ロボットのオドメトリ座標系の二次元平面におけるポーズである。
以下の文において、「局所的」と「大域的」とは相対的な概念であり、大域系とはワールド座標系のことをさし、局所系とは非ワールド座標系のことをさす。
ＰｎＰ（Ｐｅｒｓｐｅｃｔｉｖｅ-ｎ-Ｐｏｉｎｔ）は、ｎ点透視とも称され、画像における一群の特徴点（ｎ個の点）の座標、及び当該特徴点の三次元位置によって、カメラのポーズを計算する。ｎは少なくとも異なる４つの特徴点である。
従来技術の課題を解決ために、本願は、視覚標識に基づき標識マップを構築する方法を提供する。標識マップを構築するために、予め構築しようとする標識マップの物理環境において一定の数の視覚標識をランダムに配置する。前記視覚標識は、測位するための特徴点を含む。
当該視覚標識に基づき標識マップを構築する方法は、
少なくとも画像フレームを含むターゲット検出データと、ターゲット測定データとを取得し、画像フレームは、ロボットが予め配置された視覚標識に対する画像採取プロセスで採取した画像であり、ターゲット測定データは、画像フレームが採取された時点のロボットのロボット本体のオドメトリ座標系におけるポーズを含むことと、
ターゲット測定データに基づいて画像フレームに対応する第１類ポーズの初期化結果を取得し、第１類ポーズは、前記画像フレームが採取された時点のロボット本体のワールド座標系におけるポーズであることと、
ターゲット検出データに基づいて視覚標識に対応する第２類ポーズの初期化結果を取得し、第２類ポーズは、前記視覚標識のワールド座標系におけるポーズであることと、
ターゲット測定データに基づいて取得された画像フレームに関する第１類残差と、ターゲット検出データに基づいて取得された画像フレームと視覚標識に関する第２類残差とに対して、第１類ポーズを状態変数とし、第２類ポーズを状態変数とする共同最適化を行って、第２類ポーズの最適化結果を取得し、第１類残差は、画像フレームのオドメトリに関する拘束残差であり、第２類残差は、視覚標識の特徴点の画像フレームにおける再投影の拘束残差であり、第１類ポーズの初期値は、第１類ポーズの初期化結果であり、第２類ポーズの初期値は第２類ポーズの初期化結果であることと、
得られた第２類ポーズの最適化結果に基づいて標識マップを構築することとを含んでよい。
画像フレームの数は一つ又は複数であってよい。
本願実施例に提供された技術案において、ターゲット測定データ及びターゲット検出データを利用して、オドメトリ拘束及び標識観測拘束（少なくとも視覚標識を含む全ての特徴点のキーフレームにおける再投影拘束）によって共同で最適化問題を構築し、この課題を解決することで視覚標識の大域的ポーズを取得する。さらに、取得された視覚標識の大域的ポーズを利用して標識マップを構築する。本願に提供された技術案がマップを構築するときに利用する視覚標識の大域的ポーズは、特定の計算方式によって定められたものであるため、マップ構築データ集合に対する要求が軽減された。視覚標識が配置されたときに利用する大域的位置または角度情報に依存せず、視覚標識の種類にも依存せず、いずれかの事前情報にも依存しないとともに、マップ構築の効率と精度を確保できた。これで分かるように、本技術案によって視覚標識の配置精度に対する依存性を軽減できる。なお、本技術案によれば、マップを構築するとき、視覚標識が配置されたときに利用されたポーズ情報に依存しないため、環境測定に対する要求を軽減し、環境測定のプロセスを省略でき、視覚標識の配置作業の難しさを軽減し、人件と時間のコストを削減することができる。
好ましく、一実施形態において、ターゲット検出データに基づいて視覚標識に対応する第２類ポーズの初期化結果を取得することは、
前記視覚標識に関する第３類残差を取得し、前記第３類残差は、前記画像フレームにおける視覚標識の局所的位置に関する拘束残差であることと、
前記第１類残差と第３類残差に対して、前記第１類ポーズを状態変数とし、前記第２類ポーズにおける大域的位置が状態変数とする共同最適化を行って、第１類ポーズの初歩的な最適化結果と前記第２類ポーズにおける大域的位置の初歩的な最適化結果を取得し、前記第１類ポーズの初期値は、前記第１類ポーズの初期化結果であり、前記第２類ポーズにおける大域的位置の初期値は、前記第２類ポーズにおける大域的位置の初期化結果であることと、
前記第１類ポーズの初歩的な最適化結果を前記第１類ポーズの初期化結果とすることと、
前記第２類ポーズにおける大域的位置の初始最適化結果を前記第２類ポーズにおける大域的位置の初期化結果とすることと、
前記ターゲット検出データに基づいて前記視覚標識に対応する第２類ポーズにおける大域的姿勢を取得し、前記視覚標識が最初に観測されたときの前記視覚標識が属する画像フレームに対応するカメラポーズ、及び前記ターゲット検出データとに基づいて、前記視覚標識に対応する第２類姿勢における大域的姿勢の初期化結果を取得することと、を含む。
好ましく、一実施形態において、前記画像フレームの数は複数であり、
第１類ポーズを状態変数とし、第２類ポーズにおける大域的位置が状態変数とする共同最適化を行って、第１類ポーズの初歩的な最適化結果と第２類ポーズにおける大域的位置の初歩的な最適化結果とを取得することは、
各第１類残差と各第３類残差とを融合する第１ターゲット関数を構築し、各第１類ポーズの初期化結果及び各第２類ポーズにおける大域的位置の初期化結果を反復初期値とする反復により、第１ターゲット関数が最小値になるときの各第１類ポーズの初歩的な最適化結果と、各第２類ポーズにおける大域的位置の初歩的な最適化結果を取得すること、を含んでよい。
好ましく、一実施形態において、画像フレームの数は複数であり、
第１類ポーズを状態変数とし、第２類ポーズを状態変数とする共同最適化を行って、第２類ポーズの最適化結果を取得することは、
各第１類残差と各第２類残差とを融合する第２ターゲット関数を構築し、各第１類ポーズの初期化結果及び各第２類ポーズの初期化結果を反復初期値とする反復により、第２ターゲット関数が最小値になるときの各第２類ポーズの最適化結果を取得すること、を含んでよい。
好ましく、一実施形態において、ターゲット測定データに基づいて取得された画像フレームに関する第１類残差を取得するプロセスは、
画像フレームごとに、当該画像フレームとそれに隣接する画像フレームとの間の、第１類相対ポーズと第２類相対ポーズとを取得し、前記第１類相対ポーズと第２類相対ポーズは、いずれも、当該画像フレームが採取された時点の、隣接する画像フレームが採取された時点に対するロボット本体のポーズ変化であり、前記第１類相対ポーズは、前記第１類ポーズの状態変数に基づいて定められ、前記第２類相対ポーズは、前記ターゲット測定データに基づいて定められることと、
第１類相対ポーズと第２類相対ポーズとの差により、当該画像フレームに関する第１類残差を計算することと、
各画像フレームに関する第１類残差を積算して、全ての画像フレームに関する第１類残差を得ることと、を含んでよい。
好ましく、一実施形態において、視覚標識に関する第３類残差を取得するプロセスは、
画像フレームごとに、任意の視覚標識に対して、当該視覚標識の当該画像フレームに対応するカメラ座標系における局所的位置と当該視覚標識が観測された測定値との間の差を取得して、当該視覚標識に関する第３類残差を得ることと、
各視覚標識に関する第３類残差を積算して、全ての視覚標識に関する第３類残差を得ることと、
視覚標識の当該画像フレームに対応するカメラ座標系における局所的位置は、当該視覚標識に対応するカメラの外部パラメーターのポーズ、当該画像フレームに対応する第１類ポーズの現在状態ベクトル、及び当該視覚標識に対応する第２類ポーズにおける大域的位置の現在状態ベクトルによって取得され、１回目の反復時の当該画像フレームに対応する第１類ポーズの現在状態ベクトルは、当該画像フレームに対応する第１類ポーズの初期化結果であり、１回目の反復時の当該視覚標識に対応する第２類ポーズにおける大域的位置の現在状態ベクトルは、当該視覚標識に対応する第２類ポーズにおける大域的位置の初期化結果のベクトルであることと、を含んでよい。
好ましく、一実施形態において、ターゲット検出データに基づいて取得された画像フレームと視覚標識に関する第２類残差を確定するプロセスは、
画像フレームごとに、当該画像フレームにおける各視覚標識に対応する第２類ポーズの現在の状態変数、及びターゲット検出データに基づいて、当該画像フレームにおける全ての視覚標識の全ての特徴点の当該画像フレームにおける再投影の拘束残差を取得すること、を含んでよい。
好ましく、一実施形態において、画像フレームごとに、当該画像フレームにおける各視覚標識に対応する第２類ポーズの現在の状態変数、及びターゲット検出データに基づいて、当該画像フレームにおける全ての視覚標識の全ての特徴点の当該画像フレームにおける再投影の拘束残差を取得することは、
画像フレームごとに、任意の視覚標識が持つ任意の特徴点に対して、カメラの内部パラメーターマトリクス、当該画像フレームに対応する第１類ポーズの現在の状態変数、当該視覚標識に対応する第２類ポーズの現在の状態変数、及び当該特徴点の標識座標系における局所的位置の投影関数と当該特徴点の画像座標の測定値との間の差によって、当該視覚標識における当該特徴点のその画像フレームにおける再投影の誤差を取得することと、
各視覚標識の各特徴点の再投影誤差を積算して、全ての視覚標識の全ての特徴点の画像フレームにおける再投影の拘束残差を得ることと、を含んでよい。
好ましく、一実施形態において、ターゲット測定データに基づいて画像フレームに対応する第１類ポーズの初期化結果を取得することは、
画像フレームが採取された時点の前記ロボットのロボット本体のオドメトリ座標系におけるポーズを、画像フレームに対応する第１類ポーズの初期化結果とすること、を含んでよい。
ターゲット検出データに基づいて視覚標識に対応する第２類ポーズの初期化結果を取得することは、
画像フレームにおける任意の視覚標識に対して、当該視覚標識が最初に観測されたときの当該視覚標識が属する画像フレームに対応するカメラポーズ、及び当該ターゲット検出データに基づいて、ワールド座標系における当該視覚標識の位置の初期化結果と、ワールド座標系における当該視覚標識の姿勢の初期化結果とをそれぞれ取得すること、を含み、
ターゲットデータは、視覚標識のカメラ座標系に対する局所的ポーズから取得された、視覚標識が観測された測定値を含み、
視覚標識のカメラ座標系に対する局所的ポーズは、視覚標識の特徴点の画像座標、カメラの内部パラメーター、及び標識のパラメーターによって取得され、
当該視覚標識が属する画像フレームに対応するカメラポーズは、当該視覚標識が属する画像フレームを取得するときのカメラのカメラポーズである。
好ましく、画像フレームにおける任意の視覚標識に対して、当該視覚標識が最初に観測されたときの当該視覚標識が属する画像フレームに対応するカメラポーズ、及び当該ターゲット検出データに基づいて、ワールド座標系における当該視覚標識の位置の初期化結果と、ワールド座標系における当該視覚標識の姿勢の初期化結果とをそれぞれ取得することは、
前記画像フレームにおける任意の視覚標識に対して、前記画像フレームに対応する第１類ポーズのベクトル、カメラの外部パラメーターのポーズベクトル、及び観測された測定値のベクトルに基づいて、前記視覚標識のワールド座標系における位置の初期化結果を取得し、当該視覚標識が属する画像フレームに対応する第１類ポーズのベクトル、及びカメラの外部パラメーターのポーズベクトルに基づいて、当該視覚標識が最初に観測されたときの視覚標識が属する画像フレームに対応するカメラポーズを得ることと、
ロボット本体座標系の大域的回転ベクトル、カメラの外部パラメーターの回転ベクトル、及び当該視覚標識のカメラ座標系における局所的回転ベクトルに基づいて、ワールド座標系における当該視覚標識の姿勢の初期化結果を取得することと、を含み、
ロボット本体座標系の大域的回転ベクトルは、第１類ポーズの初期化結果から取得され、カメラの外部パラメーターの回転ベクトルは、カメラの外部パラメーターのポーズから取得され、当該視覚標識のカメラ座標系における局所的回転ベクトルは、カメラ座標系に対する当該視覚標識の局所的ポーズから取得される。
好ましく、一実施形態において、少なくとも画像フレームを含むターゲット検出データと、ターゲット測定データとを取得することは、
構築しようとする標識マップの物理環境に配置された各視覚標識の画像を少なくとも１回採取して、少なくとも画像フレームを含むターゲット検出データを得ることと、
画像フレームの採取と同じ時点でターゲット測定データの測定を行うことと、を含んでよい。
好ましく、一実施形態において、前記画像フレームの数は複数であり、
少なくとも画像フレームを含むターゲット検出データと、ターゲット測定データとを取得することに続いて、さらに、
下記の条件、即ち、
現在のフレームに標識画像が存在する場合、当該フレームをキーフレームとすることと、
現在のフレームのオドメトリに関する測定と既存キーフレームのオドメトリに関する測定との間の位置シフト偏差が設定された平均移動閾値より大きい場合、現在のフレームをキーフレームとすることと、
現在のフレームのオドメトリに関する測定と既存キーフレームのオドメトリに関する測定との間の回転偏差が設定された回転閾値より大きい場合、現在のフレームをキーフレームとすることと、
第１フレームがキーフレームであることと
のいずれか、又はそれらの組み合わせにより、複数の画像フレームからキーフレームを選別すること、を含み、
ターゲット測定データに基づいて、画像フレームに対応する第１類ポーズの初期化結果を取得することは、
ターゲット測定データに基づいて、キーフレームに対応する第１類ポーズの初期化結果を取得すること、を含み、
前記ターゲット測定データに基づいて取得された画像フレームに関する第１類残差は、
前記ターゲット測定データに基づいて取得された前記キーフレームに関する第１類残差を含み、
第２類残差は、視覚標識の特徴点のキーフレームにおける再投影拘束残差である。
技術案を明確するために、以下の文において、キーフレームをマップ構築に利用された画像とする例を挙げて、願に提供された視覚標識に基づき標識マップを構築する方法における各ステップを詳しく紹介する。なお、キーフレームを採用しない場合に対して、マップ構築に利用された画像は生データにおける画像フレームであり、マップ構築プロセスにおける各こととキーフレームを利用してマップ構築するときに対応ことと類似する。
標識マップを構築するために、構築しようとする標識マップの物理環境において一定の数の視覚標識をランダムに配置する。前記視覚標識は、測位するための特徴点を含む。
図１に示すように、図１は本願実施例に提供された視覚標識に基づき標識マップを構築する方法のフローチャートである。当該方法は、以下のステップを含む。
ステップ１０１、少なくとも画像フレームを含むターゲット検出データとターゲット測定データとを取得する。
画像フレームは、ロボットが予め配置された視覚標識に対する画像採取プロセスで採取した画像であり、ターゲット測定データは、画像フレームが採取された時点のロボットのロボット本体の当該オドメトリ座標系におけるポーズを含む。ターゲット検出データに含まれる画像フレームの数は、一つ又は複数であってよく、ターゲット検出データに含まれる画像フレームにおいては、少なくとも視覚標識に対する画像が存在し、それに応じて、ターゲット測定データは、画像フレームが採取された時点のロボットのロボット本体のオドメトリ座標系における一つ又は複数のポーズを含むこと、と理解されてよい。
図２に示すように、図２はデータ採取の模式図である。ロボットの移動を制御することで、ロボットは、少なくとも１つのカメラにより、構築しようとする標識マップの物理環境に配置された各視覚標識に対して画像採取を行い、かつ、各視覚標識を少なくとも１回採取する。画像採取により、少なくとも画像フレームを含むターゲット検出データを取得する。ホイールエンコーダなどの手段によりターゲット測定データを取得し、当該ターゲット測定データは少なくとも、画像フレームが採取された時点でロボット本体の、オドメトリに関する測定データを含む。オドメトリに関する測定データは、具体的に、ロボット本体のオドメトリ座標系におけるポーズである。ロボットの移動軌跡は制限されなく、全ての視覚標識が少なくとも１回採取されることを満たせばよい。図２に示すように、合わせて４つの視覚標識が配置され、ロボット移動軌跡はオドメトリ軌跡であった。
これにより、データ採取のプロセスにおいて採取された生データはターゲット測定データとターゲット検出データを含み、ターゲット測定データはロボット本体のオドメトリ座標系におけるポーズを含む。ターゲット検出データは、採取された画像フレームと、視覚標識の標識ＩＤと、視覚標識の各特徴点の画像座標とを含む。
また、カメラの内部パラメーター（光学中心の位置、レンズの焦点距離、変形係数など）と、カメラの外部パラメーター（カメラとロボット本体との間の相対ポーズ）と、標識パラメーター（各特徴点の標識座標系における局所的座標位置）とを含む、システムの変数を予め取得してよい。
視覚標識に対する画像データを採取するプロセスにおいて、通常、視覚標識なしの画像フレーム及び当該画像フレームの測定データも採取し、これらのデータはターゲット検出データとターゲット測定データに属し、採取した生データを形成する。
ステップ１０２、採取された生データに基づいて、キーフレームの選別ポリシーに応じて、生データから一定の数のキーフレームを選別する。
計算効率を配慮して、大量の生データに含まれる画像フレームからキーフレームを選別することで標識マップの構築効率を向上するように、生データに対して選別を行ってよい。
キーフレームの選別ポリシーは複数種であってよく、本実施例におけるポリシーは、
現在のフレームに標識画像が存在する場合、当該フレームをキーフレームとすること、及び／または
現在のフレームのオドメトリに関する測定と既存キーフレームのオドメトリに関する測定との間の位置シフト偏差が設定された平均移動閾値より大きい場合、現在のフレームをキーフレームとする、即ち、隣接するキーフレームのオドメトリに関するシフト偏差を設定された平均移動閾値より大きくすること、及び／または
現在のフレームのオドメトリに関する測定と既存キーフレームのオドメトリに関する測定との間の回転偏差が設定された回転閾値より大きい場合、現在のフレームをキーフレームとする、即ち、隣接するキーフレームのオドメトリに関する回転偏差を設定された回転閾値より大くすること、及び／または
第１フレームはキーフレームであること。
具体的な応用において、具体的なキーフレーム選別方式は、現在のフレームに標識画像が存在する場合、キーフレームとして当該フレームを選択するとともに、下記の条件、即ち、
現在のフレームのオドメトリに関する測定と既存キーフレームのオドメトリに関する測定との間の位置シフト偏差が設定された平均移動閾値より大きい場合、現在のフレームをキーフレームとすることと、
現在のフレームのオドメトリに関する測定と既存キーフレームのオドメトリに関する測定との間の回転偏差が設定された回転閾値より大きい場合、現在のフレームをキーフレームとすることと、
第１フレームがキーフレームであることと、
のいずれか、又はそれらの組み合わせにより、キーフレームを選別することを含んでよい、と理解される。
これにより、選別されたキーフレームは、標識画像を有するキーフレームと、標識画像を有しないキーフレームとを含む。
上記現在のフレームのオドメトリに関する上記測定とは、現在のフレームが採取された時点でロボット本体のオドメトリ座標系におけるポーズであり、キーフレームのオドメトリに関する測定とは、キーフレームが採取された時点でロボット本体のオドメトリ座標系におけるポーズである。つまり、任意のフレームのオドメトリに関する測定は、具体的に、当該フレームが採取された時点でロボット本体のオドメトリ座標系におけるポーズである。
ステップ１０３、視覚標識を含むキーフレーム、及びステップ１０１ に取得された視覚標識の標識パラメーターにより、視覚標識のカメラ座標系に対する局所的ポーズを取得し、当該局所的ポーズを視覚標識が観測された測定値として、ターゲット検出データに追加する。視覚標識の標識パラメーターは、各特徴点の標識座標系における局所的座標位置を含む。
当該ステップにおいて、視覚標識のカメラ座標系に対する局所的ポーズとは、具体的に、視覚標識のカメラ座標系におけるポーズである。視覚標識のカメラ座標系に対する局所的ポーズの解算は、実質的に、ＰｎＰ（Ｐｅｒｓｐｅｃｔｉｖｅ-ｎ-Ｐｏｉｎｔ）問題を解くこと、即ち、視覚標識の特徴点の画像座標、カメラの内部パラメーター、標識のパラメーターに基づいて、視覚標識のカメラ座標系に対する局所的ポーズを取得することである。ＰｎＰ問題を解くための特徴点の数に対する要求を配慮すると、本願では、少なくとも４つの特徴点を含む。
ステップ１０４、キーフレームに対応する第１類ポーズ、及び視覚標識に対応する第２類ポーズにおける大域的位置に対して初期化を行って、キーフレームに対応する第１類ポーズの初期化結果と視覚標識に対応する第２類ポーズにおける大域的位置の初期化結果とを得る。キーフレームに対応する第１類ポーズは、キーフレームが採取された時点のロボット本体のワールド座標系におけるポーズであり、視覚標識に対応する第２類ポーズは、視覚標識のワールド座標系におけるポーズである。
キーフレームに対応する第１類ポーズの初期化は、測定データの結果、即ち、ターゲット測定データに含まれるキーフレームが採取された時点でロボット本体のオドメトリ座標系におけるポーズを直接に採用する。視覚標識に対応する第２類ポーズにおける大域的位置の初期化結果は、当該視覚標識が最初に観測されたときの視覚標識が属するキーフレームに対応するカメラポーズ、及びターゲット検出データに含まれる当該視覚標識が観測された測定値によって算出される。当該視覚標識が属するキーフレームに対応するカメラポーズは、当該視覚標識が属するキーフレームを取得するカメラのカメラポーズである。
具体的な計算式は以下の通りである。
Figure 0007300550000001
 但し、記号の左側の上付きと下付きは、座標系の識別子である。
Figure 0007300550000002
 は、視覚標識のワールド座標系における大域的位置のベクトル（標識座標系ｍにおける、視覚標識がワールド座標系ｗに対する座標位置）、即ち視覚標識のワールド座標系における大域的位置の初期化結果である。
Figure 0007300550000003
 は、視覚標識が属するキーフレームに対応する第１類ポーズのベクトル（ロボット座標系ｂにおける、キーフレームが採取された時点でロボット本体がワールド座標系ｗに対するポーズ）であって、
Figure 0007300550000004
 と表してよい。
Figure 0007300550000005
 は、ロボット本体のワールド座標系における大域的回転ベクトルであり、
Figure 0007300550000006
 は、ロボット本体のワールド座標系における大域的位置ベクトルである。当該
Figure 0007300550000007
 は、ロボット本体の大域的ポーズベクトル
Figure 0007300550000008
 を二次元空間から三次元空間に変換して得られる。ロボット本体の大域的ポーズベクトルは
Figure 0007300550000009
 と表してよい。
Figure 0007300550000010
 は、ロボット本体のヨー角度であり、視覚標識が属するキーフレームに対応する第１類ポーズのベクトルの初期値は、ターゲット測定データを初期値とする。
Figure 0007300550000011
 は、カメラの外部パラメーターのポーズベクトル（カメラ座標系ｃにおけるカメラがロボット座標系ｂに対する位置）であって、
Figure 0007300550000012
 と表してよい。
Figure 0007300550000013
 は、カメラの外部パラメーターの回転ベクトルであり、
Figure 0007300550000014
 は、カメラの外部パラメーター的位置ベクトルである。
Figure 0007300550000015
 は、視覚標識のカメラ座標系に対する局所的位置のベクトル（標識座標系ｍにおける視覚標識がカメラ座標系ｃに対する座標位置、即ち、観測された測定値）であって、ステップ１０３によって取得され、
Figure 0007300550000016
 と表してよい。
記号
Figure 0007300550000017
 は右乗と表し、例えば、
Figure 0007300550000018
 がある。記号
Figure 0007300550000019
 は、投影を表し、例えば、
Figure 0007300550000020
 がある。
Figure 0007300550000021
 によって、視覚標識が最初に観測されたときの視覚標識が属するキーフレームに対応するカメラポーズを得る。
ステップ１０５、キーフレームに対応する第１類ポーズの初期化結果と視覚標識に対応する第２類ポーズにおける大域的位置の初期化結果に基づいて、キーフレームに関する第１類残差と、視覚標識に関する第３類残差とを計算する。本願では、第３類残差をＭ拘束残差と略称される。第１類残差は、キーフレームのオドメトリに関する拘束残差であり、第３類残差は、キーフレームにおける視覚標識の局所的位置の拘束残差である。
任意のキーフレームｉの第１類残差は、隣接するキーフレームとの間の第１類相対ポーズ、及び隣接するキーフレームとの間の第２類相対ポーズにより算出する。第１類相対ポーズ及び第２類相対ポーズは、いずれも、当該キーフレームが採取された時点の、隣接するキーフレームが採取された時点に対するロボット本体のポーズ変化であり、第１類相対ポーズは、第１類ポーズの状態変数に基づいて定められ、第２類相対ポーズは、ターゲット測定データにも基づいて定められる。例示的に、
一実施形態として、隣接するキーフレームの第１類相対ポーズと当該第２類相対ポーズとの間の差を計算する。例えば、両者の間の差分は、以下の通りに表すことができる。
Figure 0007300550000022
Figure 0007300550000023
 は、キーフレームｉの第１類残差の残差項を表する。
Figure 0007300550000024
 は、キーフレームｉに対応する第１類ポーズのベクトルを表し、
Figure 0007300550000025
 は、キーフレームｉと隣接するキーフレームｉ+１に対応する第１類ポーズのベクトルを表する。
Figure 0007300550000026
 は、キーフレームｉが採取された時点でロボット本体のオドメトリ座標系におけるポーズを表し、
Figure 0007300550000027
 は、キーフレームｉ+１が採取された時点でロボット本体のオドメトリ座標系におけるポーズを表する。
Figure 0007300550000028
 から隣接するキーフレームとの間の第１類相対ポーズが得られ、
Figure 0007300550000029
 から隣接するキーフレームとの間の第２類相対ポーズが得られる。
キーフレームにおける視覚標識の第３類残差を取得するプロセスは、
任意のキーフレームｉにおける任意の視覚標識ｊに対して、視覚標識ｊの局所的位置の拘束残差は、視覚標識が所在するキーフレームに対応するカメラ座標系における局所的位置と当該視覚標識が観測された測定値との間の差である。具体的に、視覚標識が所在するキーフレームに対応するカメラ座標系における局所的位置は、当該視覚標識に対応するカメラの外部パラメーターポーズ、当該キーフレーム（当該視覚標識が所在するキーフレーム）に対応する第１類ポーズの現在状態ベクトル、及び当該視覚標識に対応する第２類ポーズにおける大域的位置の現在状態ベクトルによって取得され、当該キーフレームに対応する第１類ポーズの現在状態ベクトルは、１回目の反復時に当該キーフレームに対応する第１類ポーズの初期化結果であり、当該視覚標識に対応する第２類ポーズにおける大域的位置の現在状態ベクトルは、１回目の反復時に、当該視覚標識に対応する第２類ポーズにおける大域的位置の初期化結果のベクトルである。
例示的に、一実施形態として、視覚標識が所在するキーフレームに対応するカメラ座標系における局所的位置と当該視覚標識が観測された測定値との間の差分は、以下の通りに表すことができる。
Figure 0007300550000030
Figure 0007300550000031
 は、キーフレームｉにおける視覚標識ｊの局所的位置の拘束残差である。
Figure 0007300550000032
 は、初期値がステップ１０４における第２類ポーズの初期化結果によって取得され、視覚標識ｊに対応する第２類ポーズにおける大域的位置のベクトルである。
Figure 0007300550000033
 は、キーフレームｉにおける視覚標識ｊが観測された測定値のベクトルを表す。
Figure 0007300550000034
 から視覚標識ｊが所在するキーフレームｉに対応するカメラ座標系における局所的位置が得られる。
ステップ１０６、選別された全てのキーフレームの第１類残差と、全てのキーフレームにおける全ての視覚標識の第３類残差に対して共同最適化を行って、全てのキーフレームに対応する第１類ポーズの初歩的な最適化結果とキーフレームにおける全ての視覚標識に対応する第２類ポーズにおける大域的位置の初歩的な最適化結果を生成して、後続する標識特徴点の画像再投影拘束の共同最適化のために初期値を提供する。
当該ステップにおいて、選別された全てのキーフレームの第１類残差と、全ての視覚標識の第３類残差によって、上記拘束残差を融合する第１ターゲット関数を構築し、非線形最適化問題に対する反復式最適化アルゴリズム、例えばＬＭ（Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｄｔ）アルゴリズムを採用し、キーフレームに対応する第１類ポーズの初期化結果及びキーフレームにおける視覚標識に対応する第２類ポーズにおけるの大域的位置の初期化結果を初期値として、複数回の反復収束を行うことにより、反復プロセスにおいて、キーフレームに対応する第１類ポーズ及びキーフレームにおける第２類ポーズにおける大域的位置を状態変数として、即ち、最適化された状態変数は、第１類ポーズ及び第２類ポーズにおける大域的位置という二つの部分から構成される。第１ターゲット関数を最小値としたときの第１類ポーズ及び第２類ポーズにおける大域的位置を求める。第１ターゲット関数は、以下の通りに表すことができる。
Figure 0007300550000035
 但し、
Figure 0007300550000036
Figure 0007300550000037
 は、キーフレームに対応する第１類ポーズであり、
Figure 0007300550000038
 は、視覚標識に対応する第２類ポーズである。Ｎは、全てのキーフレームであり、Ｍは、全てのキーフレームにおける全ての視覚標識の数である。
Figure 0007300550000039
 は、キーフレームｉの第１類残差に対応する拘束情報マトリクスであり、
Figure 0007300550000040
 は、キーフレームｉにおける視覚標識ｊの第３類残差に対応する拘束情報マトリクスである。情報マトリクスの値は、システムの誤差モデルに関連しており、通常、人工で与えられる。
Figure 0007300550000041
 は、選別された全てのキーフレームＮの第１類残差を積算することを表し、
Figure 0007300550000042
 は、集合
Figure 0007300550000043
 における全ての視覚標識ｊの第３類残差を積算することを表する。前記集合
Figure 0007300550000044
 は、任意の視覚標識ｊを有するキーフレームｉから構成される。最適化プロセスにおいて、第１反復時に、キーフレームに対応する第１類ポーズの状態変数の初期値は、ステップ１０４に取得されたキーフレームに対応する第１類ポーズの初期化結果であり、視覚標識に対応する第２類ポーズにおける大域的位置の状態変数の初期値は、ステップ１０４に取得された視覚標識に対応する第２類ポーズにおける大域的位置の初期化結果である。１回目以降の反復プロセスにおいて、前回の反復に求められた状態変数を現在の状態変数として、各現在の反復時に最適化された状態変数を求める。
ステップ１０６の共同最適化により、キーフレームに対応する第１類ポーズ及び視覚標識に対応する第２類ポーズにおける大域的位置は、より良いロバスト性を備え、反復プロセスにおいて局所的極小値に陥りにくくなり、後続する標識特徴点の画像再投影拘束の共同最適化の効率向上に寄与する。
ステップ１０７、視覚標識を有するキーフレームに基づいて、視覚標識に対応する第２類姿勢における大域的姿勢（角度）に対して初期化を行う。
視覚標識に対応する第２類姿勢における大域的姿勢（角度）の初期化は、当該視覚標識が最初に観測されたときの視覚標識が属するキーフレームに対応するカメラポーズ、及びターゲット検出データに含まれる観測された測定値によって計算されて得られる。以下の通りに表すことができる。
Figure 0007300550000045
Figure 0007300550000046
 は、視覚標識に対応する大域的回転ベクトル（標識座標系ｍがワールド座標系ｗに対する回転角度）、即ち、視覚標識に対応する第２類姿勢における大域的姿勢である。
Figure 0007300550000047
 は、ロボット本体座標系の大域的回転ベクトル（ロボット本体座標系ｂがワールド座標系ｗに対する回転角度）である。
Figure 0007300550000048
 は、カメラの外部パラメーターの回転ベクトル（カメラ座標系ｃがロボット本体座標系ｂに対する回転角度）である。
Figure 0007300550000049
 は、視覚標識のカメラ座標系における局所的回転ベクトル（標識座標系ｍがカメラ座標系ｃに対する回転角度）であり、ステップ１０３において、取得された視覚標識のカメラ座標系に対する局所的ポーズから取得される。
ステップ１０８、視覚標識に対応する第２類姿勢の初期化結果に基づいて、キーフレームと視覚標識に関する第２類残差を計算する。視覚標識に関する第２類残差は、視覚標識の特徴点のキーフレームにおける再投影拘束残差、即ち、カメラ画像における視覚標識特徴点のキーフレームの再投影誤差である。本願では、Ｖ拘束と略称され、以下の通りに表すことができる。
Figure 0007300550000050
Figure 0007300550000051
 は、キーフレームｉにおける標識ｊが持つ特徴点ｋの当該キーフレームにおける再投影拘束残差、即ち、キーフレームと視覚標識に関する第２類残差である。ｐｒｏｊ（.）は、画像投影関数であり、Ａは、カメラの内部パラメーターマトリクスである。
Figure 0007300550000052
 は、特徴点ｋの視覚標識ｊの局所的位置ベクトル（標識座標系ｍにおける標識ｊに対する、特徴点ｋの画像座標系ｆにおける座標位置、即ち標識パラメーター）であり，
Figure 0007300550000053
 は、特徴点ｋのカメラ画像における局所的位置のベクトル（カメラ座標系ｃにおけるキーフレームｉに対する、特徴点ｋの画像座標系ｆにおける画像座標位置、即ち特徴点ｋの画像座標の測定値）である。
Figure 0007300550000054
 は、ステップ１０７における視覚標識の大域的姿勢（角度）初期化結果及びステップ１０６で得られた大域的位置の初歩的な最適化結果により取得され、視覚標識ｊの第２類ポーズの初期値である。
ステップ１０９、選別された全ての第１残差と、全ての第２類残差とに対して共同最適化を行って、前述両者の拘束残差を融合する第２ターゲット関数を構築し、第２ターゲット関数を最小値になるときの、キーフレームに対応する第１類ポーズと視覚標識に対応する第２類ポーズとを求める。
ステップ１０６で取得されたキーフレームに対応する第１類ポーズの初歩的な最適化結果を、キーフレームに対応する第１類ポーズの初期値として、ステップ１０６で取得された視覚標識に対応する第２類ポーズにおける大域的位置の初歩的な最適化結果、及びステップ１０７で取得された視覚標識に対応する第２類ポーズにおける大域的姿勢結果を、視覚標識に対応する第２類ポーズの初期値として、非線形最適化問題に対する反復式最適化アルゴリズム、例えばＬＭ（Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｄｔ）アルゴリズムを採用し、キーフレームに対応する第１類ポーズの初期値、及び視覚標識に対応する第２類ポーズの初期値に対して、複数回の反復収束を行う。反復プロセスにおいて、キーフレームに対応する第１類姿勢、及び視覚標識に対応する第２類ポーズ（大域的位置
Figure 0007300550000055
 、及び大域的ポーズ
Figure 0007300550000056
 ）を状態変数として、即ち、最適化された状態変数は、キーフレームに対応する第１類姿勢、及び視覚標識に対応する第２類ポーズという二つの部分から構成される。第２ターゲット関数を最小値とするときの、キーフレームに対応する第１類ポーズと視覚標識に対応する第２類ポーズとを求める。第２ターゲット関数は、以下の通りに表すことができる。
Figure 0007300550000057
 但し、
Figure 0007300550000058
 式中の第１類残差の残差項は、ステップ１０６における第１類残差と一致する。
Figure 0007300550000059
 は、キーフレームｉにおける視覚標識ｊが持つ特徴点ｋのキーフレームにおける再投影の拘束残差、即ちキーフレームｉと視覚標識ｊに関する第２類残差である。
Figure 0007300550000060
 は、Ｖ拘束残差に対応する情報マトリクス、即ちキーフレームｉと視覚特徴ｊに関する第２類残差に対応する情報マトリクスである。
Figure 0007300550000061
 は、全ての視覚標識ｊにおける全ての特徴点ｋのＶ拘束残差を積算することを表す。
最適化プロセスにおいて、第２反復時に、キーフレームに対応する第１類ポーズの状態変数の初期値は、ステップ１０４に取得されたキーフレームに対応する第１類ポーズの初期化結果であり、視覚標識に対応する第２類ポーズにおける大域的位置の状態変数の初期値は、ステップ１０４に取得された視覚標識に対応する第２類ポーズにおける大域的位置の初期化結果である。１回目以降の反復プロセスにおいて、前回の反復に求められた状態変数を現在の状態変数として、現在の反復時に最適化する状態変数を求める。
ステップ１１０、取得された視覚標識に対応する第２類ポーズに基づいて標識マップを構築する。
上記ステップにおいて、ステップバイステップの共同最適化ポリシーを採用する。即ち、まずＭ拘束共同最適化を採用して視覚標識の大域的位置を推定し、そして、Ｖ拘束共同最適化を実行して視覚標識の大域的ポーズを推算する。最適化アルゴリズムが局所的極小値に陥る確率を低減する。無論、キーフレームの第１類残差と視覚標識に対するＭ拘束残差との共同最適化は、実行されなくてもよい。第２ターゲット関数における反復収束を行う初期値は、ステップ１０４得られたキーフレームに対応する第１類ポーズの初期化結果、及び視覚標識に対応する第２類ポーズの初期化結果を採用することができる。視覚標識に対応する第２類ポーズにおけるの大域的位置の初期化結果は、ステップ１０４で取得され、視覚標識に対応する第２類ポーズにおける大域的姿勢の初期化結果は、ステップ１０７で取得される。
図３に示すように、図３は上記ステップ１０１～１１０に係る画像データの関連関係を示す模式図である。図においては、
採取された生データ（画像フレーム）を選別して、キーフレームを取得し、
キーフレームに基づいて、カメラの内部パラメーターマトリクス、標識パラメーター、及び特徴点のキーフレームにおける画像座標位置によって、カメラ座標系に対する視覚標識の局所的位置
Figure 0007300550000062
 と、カメラに対する視覚標識の局所的姿勢
Figure 0007300550000063
 とを含む、各視覚標識のカメラ座標系に対する局所的ポーズ、即ち、視覚標識が観測された測定値を取得し、
ターゲット測定データに基づいて、ターゲット測定データ結果を、前記キーフレームに対応する第１類ポーズにおける大域的位置の初期化結果
Figure 0007300550000064
 と、キーフレームに対応する第２類ポーズにおける大域的姿勢の初期化結果
Figure 0007300550000065
 とを含む、キーフレームに対応する第１類ポーズの初期化結果とし、
カメラの外部パラメーターから、カメラの外部パラメーターのポーズ
Figure 0007300550000066
 と、カメラの外部パラメーターの姿勢
Figure 0007300550000067
 とを取得し、即ち、カメラの外部パラメーターの回転ベクトルを取得し、
前記
Figure 0007300550000068
 （楕円破線内）によって、各視覚標識の第２類姿勢における大域的位置の初期化結果
Figure 0007300550000069
 を取得し、
前記
Figure 0007300550000070
 によって、各視覚標識が所在するキーフレームカメラ座標系における局所的位置を取得し、当該局所的位置と所在するキーフレームに対応する画像座標系における局所的位置との間の差によって、各視覚標識的Ｍ拘束残差を取得し、
全てのキーフレームに関する第１類残差と全てのキーフレームにおける視覚標識に関する第３類残差に対して、各キーフレームに対応する第１類ポーズの初期化結果及び各視覚標識に対応する第２類ポーズにおける大域的位置の初期化結果を初期値（図示しない）とする共同最適化を行って、全てのキーフレームに対応する第１類姿勢の初歩的な最適化結果と全てのキーフレームにおける全ての視覚標識に対応する第２類姿勢における大域的位置の初歩的な最適化結果を取得し、前記全てのキーフレームの第１類残差は、ターゲット測定データに基づいて取得し、
視覚標識の第１類ポーズの初期化結果（姿勢の初期化結果と位置の初期化結果とを含む）、カメラの内部パラメーターマトリクス、標識パラメーター、及びカメラ画像における特徴点の局所的位置によって、全てのキーフレームにおける各視覚標識の各特徴点のＶ拘束残差を計算し、全ての第１類残差と全ての第２類残差とに対して、前記各キーフレームに対応する第１類姿勢の初期化結果、及び前記各視覚標識に対応する第２類ポーズの初期化結果を初期値として共同最適化を行って、全てのキーフレームに対応する第１類ポーズの最適化結果と全てのキーフレームにおける全ての視覚標識に対応する第２類ポーズの最適化結果とを取得し、
得られた前記第２類ポーズの最適化結果に基づいて標識マップを構築する。
本願は、ターゲット検出データ及びターゲット測定データを利用して、オドメトリに関する拘束及び視覚標識の局所的位置に関する拘束の第１ターゲット関数と、オドメトリに関する拘束及び視覚標識特徴点の画像再投影拘束の第２ターゲット関数とをそれぞれ構築するとともに、第１ターゲット関数と第２ターゲット関数とを解く共同最適化問題によって、視覚標識の大域的ポーズを取得して、標識マップを構築する。これで分かるように、本技術案によれば、視覚標識の配置精度に対する依存性を軽減できる。なお、本技術案がマップを構築するとき、視覚標識が配置されたときに利用されたポーズ情報に依存しないため、環境測定に対する要求を軽減し、環境測定のプロセスを省略でき、視覚標識の配置作業の難しさを軽減し、人件と時間のコストを減らすことができる。そして、生データの選別、キーフレームデータの取得、及びキーフレームに対する最適化計算により、最適化アルゴリズムの計算効率を大幅に向上させる。
図４に示すように、図４は本願実施例における視覚標識に基づき標識マップを構築する装置の模式図である。当該装置は、
少なくとも画像フレームを含むターゲット検出データと、ターゲット測定データとを取得し、前記画像フレームは、ロボットが予め配置された視覚標識に対する画像採取プロセスで採取した画像であり、前記ターゲット測定データは、前記画像フレームが採取された時点の前記ロボットのロボット本体のオドメトリ座標系におけるポーズを含む、データ採取モジュールと、
前記ターゲット測定データに基づいて前記画像フレームに対応する第１類ポーズの初期化結果を取得し、前記第１類ポーズは、前記画像フレームが採取された時点のロボット本体のワールド座標系におけるポーズであり、前記ターゲット検出データに基づいて前記視覚標識に対応する第２類ポーズの初期化結果を取得し、前記第２類ポーズは、前記視覚標識のワールド座標系におけるポーズである、初期化モジュールと、
前記ターゲット測定データに基づいて取得された前記画像フレームに関する第１類残差と、前記ターゲット検出データに基づいて取得された前記画像フレームと視覚標識に関する第２類残差とに対して、前記第１類ポーズを状態変数とし、前記第２類ポーズを状態変数とする共同最適化を行って、前記第２類ポーズの最適化結果を取得し、前記第１類残差は、前記画像フレームのオドメトリに関する拘束残差であり、前記第２類残差は、前記視覚標識の特徴点の前記画像フレームにおける再投影の拘束残差であり、前記第１類ポーズの初期値は、前記第１類ポーズの初期化結果であり、前記第２類ポーズの初期値は、前記第２類ポーズの初期化結果である、第１共同最適化モジュールと、
得られた前記第２類ポーズの最適化結果に基づいて標識マップを構築する、マップ構築モジュールと、を含む。
前記データ採取モジュールは、具体的に、構築しようとする標識マップの物理環境に配置された各視覚標識の画像を少なくとも１回採取して、少なくとも画像フレームを含むターゲット検出データを取得し、画像フレームの採取と同じ時点でターゲット測定データの測定を行う。
前記データ採取モジュールは、ターゲット測定データとを取得するオドメトリ測定モジュールと、ターゲット検出データを取得する視覚標識検出モジュールと、を含む。
前記初期化モジュールは、前記ターゲット測定データに基づいて前記画像フレームに対応する第１類ポーズの初期化結果を取得する第１初期化サブモジュールと、前記ターゲット検出データに基づいて前記視覚標識に対応する第２類ポーズの初期化結果を取得する第２初期化サブモジュールと、を含む。
前記第１初期化サブモジュールは、具体的に、前記画像フレームが採取された時点の前記ロボットのロボット本体のオドメトリ座標系におけるポーズを、画像フレームに対応する第１類ポーズの初期化結果とする。
前記第２初期化サブモジュールは、具体的に、
前記画像フレームにおける任意の視覚標識に対して、当該視覚標識が最初に観測されたときの当該視覚標識が属する画像フレームに対応するカメラポーズ、及び当該ターゲット検出データに基づいて、ワールド座標系における当該視覚標識の位置の初期化結果と、ワールド座標系における当該視覚標識の姿勢の初期化結果とをそれぞれ取得し、
前記ターゲットデータは、視覚標識のカメラ座標系に対する局所的ポーズから取得された、視覚標識が観測された測定値を含み、
前記視覚標識のカメラ座標系に対する局所的ポーズは、視覚標識の特徴点の画像座標、カメラの内部パラメーター、及び標識のパラメーターによって取得され、
当該視覚標識が属する画像フレームに対応するカメラポーズは、当該視覚標識が属する画像フレームを取得するときのカメラのカメラポーズである。
前記第２初期化サブモジュールは、具体的に、
前記画像フレームにおける任意の視覚標識に対して、前記画像フレームに対応する第１類ポーズのベクトル、カメラの外部パラメーターのポーズベクトル、及び観測された測定値のベクトルに基づいて、前記視覚標識のワールド座標系における位置の初期化結果を取得し、当該視覚標識が属する画像フレームに対応する第１類ポーズのベクトル及びカメラの外部パラメーターのポーズベクトルに基づいて、当該視覚標識が最初に観測されたときの視覚標識が属する画像フレームに対応するカメラポーズを取得し、
ロボット本体座標系の大域的回転ベクトル、カメラの外部パラメーターの回転ベクトル、及び当該視覚標識のカメラ座標系における局所的回転ベクトルに基づいて、ワールド座標系における当該視覚標識の姿勢の初期化結果を取得し、
前記ロボット本体座標系の大域的回転ベクトルは、前記第１類ポーズの初期化結果から取得され、前記カメラの外部パラメーターの回転ベクトルは、前記カメラの外部パラメーターのポーズから取得され、当該視覚標識のカメラ座標系における局所的回転ベクトルは、カメラ座標系に対する当該視覚標識の局所的ポーズから取得される。
当該装置は、さらに、
前記画像フレームにおける視覚標識の局所的位置に関する拘束残差である、前記視覚標識に関する第３類残差を取得し、
前記第１類残差と第３類残差に対して、前記第１類ポーズを状態変数とし、前記第２類ポーズにおける大域的位置が状態変数とする共同最適化を行って、前記第１類ポーズの初期化結果である第１類ポーズの初歩的な最適化結果と、前記第２類ポーズにおける大域的位置の初期化結果である前記第２類ポーズにおける大域的位置の初歩的な最適化結果とを取得し、
前記第１類ポーズの初歩的な最適化結果を、前記第１類ポーズの初期化結果とし、
前記第２類ポーズにおける大域的位置の初始最適化結果を、前記第２類ポーズにおける大域的位置の初期化結果とする、
第２共同最適化モジュールを含む。
前記ターゲット検出データに基づいて、前記視覚標識に対応する第２類ポーズにおける大域的姿勢を取得することは、
前記視覚標識が最初に観測されたときの前記視覚標識が属する画像フレームに対応するカメラポーズ、及び前記ターゲット検出データに基づいて、前記視覚標識に対応する第２類姿勢における大域的姿勢の初期化結果を取得することを含む。
好ましく、前記画像フレームの数が複数であり、前記第２共同最適化モジュールは、具体的に、
各第１類残差と各第３類残差とを融合する第１ターゲット関数を構築し、各第１類ポーズの初期化結果及び各第２類ポーズにおける大域的位置の初期化結果を反復初期値とする反復により、前記第１ターゲット関数が最小値になるときの各第１類ポーズの初歩的な最適化結果と、各第２類ポーズにおける大域的位置の初歩的な最適化結果とを取得する。
好ましく、前記画像フレームの数が複数であり、前記第１共同最適化モジュールは、具体的に、
各第１類残差と各第２類残差とを融合する第２ターゲット関数を構築し、各第１類ポーズの初期化結果及び各第２類ポーズの初期化結果を反復初期値とする反復により、前記第２ターゲット関数が最小値になるときの各第２類ポーズの最適化結果を取得する。
好ましく、前記第１共同最適化モジュールが、前記ターゲット測定データに基づいて取得された前記画像フレームに関する第１類残差を取得するプロセスは、
画像フレームごとに、前記ターゲット測定データに基づいて、当該画像フレームとそれに隣接する画像フレームとの間の、第１類相対ポーズと第２類相対ポーズとを取得し、前記第１類相対ポーズ及び第２類相対ポーズは、いずれも、当該画像フレームが採取された時点の、隣接する画像フレームが採取された時点に対するロボット本体のポーズ変化であり、前記第１類相対ポーズは、前記第１類ポーズの状態変数に基づいて定められ、前記第２類相対ポーズは前記ターゲット測定データにも基づいて定められることと、
前記第１類相対ポーズと第２類相対ポーズとの差により、当該画像フレームに関する第１類残差を計算することと、
各前記画像フレームに関する第１類残差を積算して、全ての前記画像フレームに関する第１類残差を得ることとを含む。
好ましく、前記第２共同最適化モジュールが、前記視覚標識に関する第３類残差を取得するプロセスは、
画像フレームごとに、任意の視覚標識に対して、当該視覚標識の当該画像フレームに対応するカメラ座標系における局所的位置と当該視覚標識が観測された測定値との間の差を取得して、当該視覚標識に関する第３類残差を得ることと、
各視覚標識に関する第３類残差を積算して、全ての視覚標識に関する第３類残差を得ることと、を含み、
前記視覚標識の当該画像フレームに対応するカメラ座標系における局所的位置は、当該視覚標識に対応するカメラの外部パラメーターのポーズ、当該画像フレームに対応する第１類ポーズの現在状態ベクトル、及び当該視覚標識に対応する第２類ポーズにおける大域的位置の現在状態ベクトルによって取得され、当該画像フレームに対応する第１類ポーズの現在状態ベクトルは、１回目の反復時の当該画像フレームに対応する第１類ポーズの初期化結果であり、当該視覚標識に対応する第２類ポーズにおける大域的位置の現在状態ベクトルは、１回目の反復時の当該視覚標識に対応する第２類ポーズにおける大域的位置の初期化結果のベクトルである。
好ましく、前記第１共同最適化モジュールが、前記ターゲット検出データに基づいて取得された前記画像フレームと視覚標識に関する第２類残差を確定するプロセスは、
画像フレームごとに、当該画像フレームにおける各視覚標識に対応する第２類ポーズの現在の状態変数、及び前記ターゲット検出データに基づいて、当該画像フレームにおける全ての視覚標識の全ての特徴点の当該画像フレームにおける再投影の拘束残差を取得することを含む。
好ましく、前記第１共同最適化モジュールが、画像フレームごとに、当該画像フレームにおける各視覚標識に対応する第２類ポーズの現在の状態変数、及びターゲット検出データに基づいて、当該画像フレームにおける全ての視覚標識の全ての特徴点の当該画像フレームにおける再投影の拘束残差を取得することは、
画像フレームごとに、任意の視覚標識が持つ任意の特徴点に対して、カメラの内部パラメーターマトリクス、当該画像フレームに対応する第１類ポーズの現在の状態変数、当該視覚標識に対応する第２類ポーズの現在の状態変数、及び当該特徴点の標識座標系における局所的位置の投影関数と当該特徴点の画像座標の測定値との間の差によって、当該視覚標識における当該特徴点のその画像フレームにおける再投影の誤差を取得することと、
各視覚標識の各特徴点の再投影誤差を積算して、全ての視覚標識の全ての特徴点の画像フレームにおける再投影の拘束残差を得ることとを含む。
好ましく、前記画像フレームの数は複数であり、
前記装置は、複数の画像フレームからキーフレームを選別する、キーフレーム選別モジュールをさらに含み、
少なくとも画像フレームを含むターゲット検出データと、ターゲット測定データとを取得することに続いて、下記の条件、即ち、


現在のフレームに標識画像が存在する場合、当該フレームをキーフレームとすることと、
現在のフレームのオドメトリに関する測定と既存キーフレームのオドメトリに関する測定との間の位置シフト偏差が設定された平均移動閾値より大きい場合、現在のフレームをキーフレームとすることと、
現在のフレームのオドメトリに関する測定と既存キーフレームのオドメトリに関する測定との間の回転偏差が設定された回転閾値より大きい場合、現在のフレームをキーフレームとすることと、
第１フレームがキーフレームであることと
のいずれか、又はそれらの組み合わせにより、複数の画像フレームからキーフレームを選別し、
前記ターゲット測定データに基づいて、前記画像フレームに対応する第１類ポーズの初期化結果を取得することは、前記ターゲット測定データに基づいて、前記キーフレームに対応する第１類ポーズの初期化結果を取得することを含み、
ターゲット測定データに基づいて前記画像フレームに関する前記第１類残差は、
前記ターゲット測定データに基づいて取得された前記キーフレームに関する第１類残差を含み、
前記第２類残差は、前記視覚標識の特徴点の前記キーフレームにおける再投影拘束残差である。
本願は、さらに、視覚標識に基づき標識マップを構築する電子機器を提供する。当該電子機器は、メモリとプロセッサとを備え、前記メモリは、コンピュータプログラムを格納することに用いられ、前記プロセッサは、前記メモリに格納されたプログラムを実行して、上記した視覚標識に基づき標識マップを構築する方法を実現することに用いられる。
メモリは、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ，ＲＡＭ）を含んでもよく、非揮発性メモリ（Ｎｏｎ－Ｖｏｌａｔｉｌｅ Ｍｅｍｏｒｙ，ＮＶＭ）を含んでもよく、例えば、少なくとも１つの磁気ディスクメモリである。好ましく、メモリは、さらに、少なくとも１つの前述プロセッサから離れた記憶装置であってもよい。上記したプロセッサは、セントラルプロセッサ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ，ＣＰＵ）、ネットワークプロセッサ（Ｎｅｔｗｏｒｋ Ｐｒｏｃｅｓｓｏｒ，ＮＰ）等を含む汎用なプロセッサであってもよく、デジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ，ＡＳＩＣ）、現場で書き換え可能な論理回路の多数配列（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ，ＦＰＧＡ）または他の書き換え可能な論理デバイス、ディスクリートゲート或いはトランジスタ倫理デバイス、ディスクリートハードウェアアセンブリを含む汎用プロセッサであってもよい。
本願実施例は、さらに、コンピュータ可読記憶媒体を提供する。前記記憶媒体には、コンピュータプログラムが格納され、前記コンピュータプログラムは、プロセッサによって実行されると、本願に提供された視覚標識に基づき標識マップを構築する方法のステップを実現する。
本願実施例は、コンピュータプログラムを提供する。前記コンピュータプログラムは、プロセッサによって実行されると、本願に提供された視覚標識に基づき標識マップを構築する方法を実現する。
装置／ネットワーク側機器／記憶媒体実施例にとっては、基本的に、方法実施例と類似するので、説明が比較的に簡単であり、関連するところが方法実施例の部分に参照すればよい。
本文において、「第１」と「第２」等の関係用語は１つのエンティティまたは操作を他のエンティティまたは操作を区別するのみに用いられ、これらのエンティティまたは操作の間にこのような実際な関係または順序がいずれかあることを、要求または示唆するものではない。また、用語「含まれる」、「含む」または他のいずれかの変形は非排他的な「含む」を意味する。従って、一連の要素を含む流れ、方法、製品或いはデバイスは、それらの要素のみを含むものではなく、さらに明確に挙げていない他の要素も含み、または、さらにこのような流れ、方法、製品或いはデバイスに固有する要素も含む。これ以上の制限がない場合、「・・・を含む」という記述によって限定した要素は、記載した要素を含む流れ、方法、製品、またはデバイスに、他の同一の要素があることを排除しない。
以上の記載は本願の好ましい実施例に過ぎず、本願を制限することを意図するものではない。本願の主旨及び原則内で行われる如何なる修正、均等の代替、改良等は何れも本願の保護範囲内に含まれるべきである。

Claims (16)

  1. 視覚標識に基づき標識マップを構築する方法であって、
    少なくとも画像フレームを含むターゲット検出データと、ターゲット測定データとを取得し、前記画像フレームは、ロボットが予め配置された視覚標識に対する画像採取プロセスで採取した画像であり、前記ターゲット測定データは、前記画像フレームが採取された時点の前記ロボットのロボット本体のオドメトリ座標系におけるポーズを含み、前記ターゲット検出データは、採取された画像フレームと、視覚標識の標識ＩＤと、視覚標識の各特徴点の画像座標とを含むことと、
    前記ターゲット測定データに基づいて前記画像フレームに対応する第１類ポーズの初期化結果を取得し、前記第１類ポーズは、前記画像フレームが採取された時点のロボット本体のワールド座標系におけるポーズであることと、
    前記ターゲット検出データに基づいて前記視覚標識に対応する第２類ポーズの初期化結果を取得し、前記第２類ポーズは前記視覚標識のワールド座標系におけるポーズであることと、
    前記ターゲット測定データに基づいて取得された前記画像フレームに関する第１類残差と、前記ターゲット検出データに基づいて取得された前記画像フレームと視覚標識に関する第２類残差とに対して、前記第１類ポーズを状態変数とし、前記第２類ポーズを状態変数とする共同最適化を行って、前記第２類ポーズの最適化結果を取得し、前記第１類残差は、前記画像フレームのオドメトリに関する拘束残差であり、前記第２類残差は、前記視覚標識の特徴点の前記画像フレームにおける再投影の拘束残差であり、前記第１類ポーズの初期値は、前記第１類ポーズの初期化結果であり、前記第２類ポーズの初期値は、前記第２類ポーズの初期化結果であることと、
    得られた前記第２類ポーズの最適化結果に基づいて標識マップを構築することと、を含む
    方法。
  2. 前記ターゲット検出データに基づいて前記視覚標識に対応する第２類ポーズの初期化結果を取得することに続いて、
    前記視覚標識に関する第３類残差を取得し、前記第３類残差は、前記画像フレームにおける視覚標識の局所的位置に関する拘束残差であることと、
    前記第１類残差と第３類残差に対して、前記第１類ポーズを状態変数とし、前記第２類ポーズにおける大域的位置を状態変数とする共同最適化を行って、第１類ポーズの初歩的な最適化結果と前記第２類ポーズにおける大域的位置の初歩的な最適化結果とを取得し、前記第１類ポーズの初期値は、前記第１類ポーズの初期化結果であり、前記第２類ポーズにおける大域的位置の初期値は、前記第２類ポーズにおける大域的位置の初期化結果であることと、
    前記第１類ポーズの初歩的な最適化結果を、前記第１類ポーズの初期化結果とすることと、
    前記第２類ポーズにおける大域的位置の初始最適化結果を、前記第２類ポーズにおける大域的位置の初期化結果とすることと、
    前記ターゲット検出データに基づいて前記視覚標識に対応する第２類ポーズにおける大域的姿勢を取得し、前記視覚標識が最初に観測されたときの前記視覚標識が属する画像フレームに対応するカメラポーズ、及び前記ターゲット検出データに基づいて、前記視覚標識に対応する第２類姿勢における大域的姿勢の初期化結果を取得することと、を含む
    請求項１に記載の方法。
  3. 前記画像フレームの数は複数であり、
    前記第１類ポーズを状態変数とし前記第２類ポーズにおける大域的位置を状態変数とする共同最適化を行って、第１類ポーズの初歩的な最適化結果と前記第２類ポーズにおける大域的位置の初歩的な最適化結果とを取得することは、
    各第１類残差と各第３類残差とを融合する第１ターゲット関数を構築し、各第１類ポーズの初期化結果及び各第２類ポーズにおける大域的位置の初期化結果を反復初期値とする反復により、前記第１ターゲット関数が最小値になるときの各第１類ポーズの初歩的な最適化結果と各第２類ポーズにおける大域的位置の初歩的な最適化結果とを取得すること、を含む
    請求項２に記載の方法。
  4. 前記画像フレームの数は複数であり、
    前記第１類ポーズを状態変数とし前記第２類ポーズを状態変数とする共同最適化を行って、前記第２類ポーズの最適化結果を取得することは、
    各第１類残差と各第２類残差とを融合する第２ターゲット関数を構築し、各第１類ポーズの初期化結果及び各第２類ポーズの初期化結果を反復初期値とする反復により、前記第２ターゲット関数が最小値になるときの各第２類ポーズの最適化結果を取得すること、を含む
    請求項１乃至３のいずれかに記載の方法。
  5. ターゲット測定データに基づいて取得された前記画像フレームに関する前記第１類残差を取得するプロセスは、
    画像フレームごとに、前記ターゲット測定データに基づいて、当該画像フレームとそれに隣接する画像フレームとの間の、第１類相対ポーズと第２類相対ポーズとを取得し、前記第１類相対ポーズ及び第２類相対ポーズは、いずれも、当該画像フレームが採取された時点の、隣接する画像フレームが採取された時点に対するロボット本体のポーズ変化であり、前記第１類相対ポーズは、前記第１類ポーズの状態変数に基づいて定められ、前記第２類相対ポーズは、前記ターゲット測定データに基づいて定められることと、
    前記第１類相対ポーズと第２類相対ポーズとの差により、当該画像フレームに関する第１類残差を計算することと、
    各前記画像フレームに関する第１類残差を積算して、全ての前記画像フレームに関する第１類残差を得ることと、を含む
    請求項４に記載の方法。
  6. 前記視覚標識に関する第３類残差を取得するプロセスは、
    画像フレームごとに、任意の視覚標識に対して、当該視覚標識の当該画像フレームに対応するカメラ座標系における局所的位置と当該視覚標識が観測された測定値との間の差を取得して、当該視覚標識に関する第３類残差を得ることと、
    各視覚標識に関する第３類残差を積算して、全ての視覚標識に関する第３類残差を得ることと、を含み、
    前記視覚標識の当該画像フレームに対応するカメラ座標系における局所的位置は、当該視覚標識に対応するカメラの外部パラメーターのポーズと、当該画像フレームに対応する第１類ポーズの現在状態ベクトルと、当該視覚標識に対応する第２類ポーズにおける大域的位置の現在状態ベクトルによって取得され、１回目の反復時の当該画像フレームに対応する第１類ポーズの現在状態ベクトルは、当該画像フレームに対応する第１類ポーズの初期化結果であり、１回目の反復時の当該視覚標識に対応する第２類ポーズにおける大域的位置の現在状態ベクトルは、当該視覚標識に対応する第２類ポーズにおける大域的位置の初期化結果のベクトルである
    請求項４に記載の方法。
  7. 前記ターゲット検出データに基づいて取得された前記画像フレームと視覚標識とに関する第２類残差を確定するプロセスは、
    画像フレームごとに、当該画像フレームにおける各視覚標識に対応する第２類ポーズの現在の状態変数、及び前記ターゲット検出データに基づいて、当該画像フレームにおける全ての視覚標識の全ての特徴点の当該画像フレームにおける再投影の拘束残差を取得すること、を含む
    請求項４に記載の方法。
  8. 前記画像フレームごとに、当該画像フレームにおける各視覚標識に対応する第２類ポーズの現在の状態変数、及び前記ターゲット検出データに基づいて、当該画像フレームにおける全ての視覚標識の全ての特徴点の当該画像フレームにおける再投影の拘束残差を取得することは、
    画像フレームごとに、任意の視覚標識が持つ任意の特徴点に対して、カメラの内部パラメーターマトリクス、当該画像フレームに対応する第１類ポーズの現在の状態変数、当該視覚標識に対応する第２類ポーズの現在の状態変数、及び当該特徴点の標識座標系における局所的位置の投影関数と当該特徴点の画像座標における測定値との間の差によって、当該視覚標識における当該特徴点のその画像フレームにおける再投影の誤差を取得することと、
    各視覚標識の各特徴点の再投影誤差を積算して、全ての視覚標識の全ての特徴点の画像フレームにおける再投影の拘束残差を得ることと、を含む
    請求項７に記載の方法。
  9. 前記ターゲット測定データに基づいて前記画像フレームに対応する第１類ポーズの初期化結果を取得することは、
    前記画像フレームが採取された時点の前記ロボットのロボット本体のオドメトリ座標系におけるポーズを、前記画像フレームに対応する第１類ポーズの初期化結果とすることを含み、
    前記ターゲット検出データに基づいて前記視覚標識に対応する第２類ポーズの初期化結果を取得することは、
    前記画像フレームにおける任意の視覚標識に対して、当該視覚標識が最初に観測されたときの当該視覚標識が属する画像フレームに対応するカメラポーズ、及び当該ターゲット検出データに基づいて、ワールド座標系における当該視覚標識の位置の初期化結果と、ワールド座標系における当該視覚標識の姿勢の初期化結果とをそれぞれ取得することを含み、
    前記ターゲット検出データは、視覚標識のカメラ座標系に対する局所的ポーズから取得された、視覚標識が観測された測定値を含み、
    前記視覚標識のカメラ座標系に対する局所的ポーズは、視覚標識の特徴点の画像座標、カメラの内部パラメーター、及び標識のパラメーターによって取得され、
    当該視覚標識が属する画像フレームに対応するカメラポーズは、当該視覚標識が属する画像フレームを取得するときのカメラのカメラポーズである
    請求項１に記載の方法。
  10. 前記画像フレームにおける任意の視覚標識に対して、当該視覚標識が最初に観測されたときの当該視覚標識が属する画像フレームに対応するカメラポーズ、及び当該ターゲット検出データに基づいて、ワールド座標系における当該視覚標識の位置の初期化結果と、ワールド座標系における当該視覚標識の姿勢の初期化結果とをそれぞれ取得することは、
    前記画像フレームにおける任意の視覚標識に対して、前記画像フレームに対応する第１類ポーズのベクトル、カメラの外部パラメーターのポーズベクトル、及び観測された測定値のベクトルに基づいて、ワールド座標系における前記視覚標識の位置の初期化結果を取得することと、
    当該視覚標識が属する画像フレームに対応する第１類ポーズのベクトル、及びカメラの外部パラメーターのポーズベクトルに基づいて、当該視覚標識が最初に観測されたときの視覚標識が属する画像フレームに対応するカメラポーズを得ることと、
    ロボット本体座標系の大域的回転ベクトル、カメラの外部パラメーターの回転ベクトル、及びカメラ座標系における当該視覚標識の局所的回転ベクトルに基づいて、ワールド座標系における当該視覚標識の姿勢の初期化結果を取得することと、を含み、
    前記ロボット本体座標系の大域的回転ベクトルは、前記第１類ポーズの初期化結果から取得され、
    前記カメラの外部パラメーターの回転ベクトルは、前記カメラの外部パラメーターのポーズから取得され、
    当該視覚標識のカメラ座標系における局所的回転ベクトルは、カメラ座標系に対する当該視覚標識の局所的ポーズから取得される
    請求項９に記載の方法。
  11. 前記少なくとも画像フレームを含むターゲット検出データと、ターゲット測定データとを取得することは、
    構築しようとする標識マップの物理環境に配置された各視覚標識の画像を少なくとも１回採取して、少なくとも画像フレームを含むターゲット検出データを得ることと、
    画像フレームの採取と同じ時点でターゲット測定データの測定を行うことと、を含む
    請求項４に記載の方法。
  12. 前記画像フレームの数は複数であり、
    少なくとも画像フレームを含むターゲット検出データと、ターゲット測定データとを取得することに続いて、さらに、
    下記の条件、即ち、
    現在のフレームに標識画像が存在する場合、当該フレームをキーフレームとすることと、
    現在のフレームのオドメトリに関する測定と既存キーフレームのオドメトリに関する測定との間の位置シフト偏差が設定されたシフト閾値より大きい場合、現在のフレームをキーフレームとすることと、
    現在のフレームのオドメトリに関する測定と既存キーフレームのオドメトリに関する測定との間の回転偏差が設定された回転閾値より大きい場合、現在のフレームをキーフレームとすることと、
    第１フレームがキーフレームであることと
    のいずれか、又はそれらの組み合わせにより、複数の画像フレームからキーフレームを選別すること、を含み、
    前記ターゲット測定データに基づいて、前記画像フレームに対応する第１類ポーズの初期化結果を取得することは、前記ターゲット測定データに基づいて、前記キーフレームに対応する第１類ポーズの初期化結果を取得すること、を含み、
    前記ターゲット測定データに基づいて取得された前記画像フレームに関する第１類残差は、前記ターゲット測定データに基づいて取得された前記キーフレームに関する第１類残差を含み、
    前記第２類残差は、前記視覚標識の特徴点の前記キーフレームにおける再投影拘束残差である
    請求項１に記載の方法。
  13. 視覚標識に基づき標識マップを構築する装置であって、
    少なくとも画像フレームを含むターゲット検出データと、ターゲット測定データとを取得し、前記画像フレームは、ロボットが予め配置された視覚標識に対する画像採取プロセスで採取した画像であり、前記ターゲット測定データは、前記画像フレームが採取された時点の前記ロボットのロボット本体のオドメトリ座標系におけるポーズを含み、前記ターゲット検出データは、採取された画像フレームと、視覚標識の標識ＩＤと、視覚標識の各特徴点の画像座標とを含む、データ採取モジュールと、
    前記ターゲット測定データに基づいて前記画像フレームに対応する第１類ポーズの初期化結果を取得し、前記第１類ポーズは、前記画像フレームが採取された時点のロボット本体のワールド座標系におけるポーズであり、前記ターゲット検出データに基づいて前記視覚標識に対応する第２類ポーズの初期化結果を取得し、前記第２類ポーズは、前記視覚標識のワールド座標系におけるポーズである、初期化モジュールと、
    前記ターゲット測定データに基づいて取得された前記画像フレームに関する第１類残差と、前記ターゲット検出データに基づいて取得された前記画像フレームと視覚標識に関する第２類残差とに対して、前記第１類ポーズを状態変数とし、前記第２類ポーズを状態変数とする共同最適化を行って、前記第２類ポーズの最適化結果を取得し、前記第１類残差は、前記画像フレームのオドメトリに関する拘束残差であり、前記第２類残差は、前記視覚標識の特徴点の前記画像フレームにおける再投影の拘束残差であり、前記第１類ポーズの初期値は、前記第１類ポーズの初期化結果であり、前記第２類ポーズの初期値は、前記第２類ポーズの初期化結果である、第１共同最適化モジュールと、
    得られた前記第２類ポーズの最適化結果に基づいて標識マップを構築する、マップ構築モジュールと、を含む
    視覚標識に基づき標識マップを構築する装置。
  14. 視覚標識に基づき標識マップを構築する電子機器であって、メモリとプロセッサとを備え、
    前記メモリは、コンピュータプログラムを格納することに用いられ、
    前記プロセッサは、前記メモリに格納されたプログラムを実行して、請求項１～１２のいずれかに記載の視覚標識に基づき標識マップを構築する方法を実現することに用いられる
    電子機器。
  15. コンピュータプログラムが格納されているコンピュータ可読記憶媒体であって、
    前記コンピュータプログラムは、プロセッサによって実行されると、請求項１～１２のいずれかに記載の視覚標識に基づき標識マップを構築する方法を実現する
    コンピュータ可読記憶媒体。
  16. プロセッサによって実行されると、請求項１～１２のいずれかに記載の視覚標識に基づき標識マップを構築する方法を実現する
    コンピュータプログラム。
JP2022500643A 2019-07-05 2020-07-04 視覚標識に基づき標識マップを構築する方法、装置 Active JP7300550B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910603494.5A CN112183171B (zh) 2019-07-05 2019-07-05 一种基于视觉信标建立信标地图方法、装置
CN201910603494.5 2019-07-05
PCT/CN2020/100306 WO2021004416A1 (zh) 2019-07-05 2020-07-04 一种基于视觉信标建立信标地图的方法、装置

Publications (2)

Publication Number Publication Date
JP2022539422A JP2022539422A (ja) 2022-09-08
JP7300550B2 true JP7300550B2 (ja) 2023-06-29

Family

ID=73915694

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022500643A Active JP7300550B2 (ja) 2019-07-05 2020-07-04 視覚標識に基づき標識マップを構築する方法、装置

Country Status (5)

Country Link
EP (1) EP3995988A4 (ja)
JP (1) JP7300550B2 (ja)
KR (1) KR20220025028A (ja)
CN (1) CN112183171B (ja)
WO (1) WO2021004416A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112880687B (zh) * 2021-01-21 2024-05-17 深圳市普渡科技有限公司 一种室内定位方法、装置、设备和计算机可读存储介质
CN112902953B (zh) * 2021-01-26 2022-10-04 中国科学院国家空间科学中心 一种基于slam技术的自主位姿测量方法
CN112862894B (zh) * 2021-04-12 2022-09-06 中国科学技术大学 一种机器人三维点云地图构建与扩充方法
CN113204039B (zh) * 2021-05-07 2024-07-16 深圳亿嘉和科技研发有限公司 一种应用于机器人的rtk-gnss外参标定方法
WO2023280274A1 (en) * 2021-07-07 2023-01-12 The Hong Kong University Of Science And Technology Geometric structure aided visual localization method and system
CN114295138B (zh) * 2021-12-31 2024-01-12 深圳市普渡科技有限公司 机器人、地图扩建方法、装置和可读存储介质
CN114111803B (zh) * 2022-01-26 2022-04-19 中国人民解放军战略支援部队航天工程大学 一种室内卫星平台的视觉导航方法
CN114739382A (zh) * 2022-03-03 2022-07-12 深圳市优必选科技股份有限公司 机器人及其建图方法、装置及存储介质
CN114777757A (zh) * 2022-03-14 2022-07-22 深圳市优必选科技股份有限公司 信标地图构建方法、装置、设备及存储介质
CN114415698B (zh) * 2022-03-31 2022-11-29 深圳市普渡科技有限公司 机器人、机器人的定位方法、装置和计算机设备
CN114463429B (zh) * 2022-04-12 2022-08-16 深圳市普渡科技有限公司 机器人、地图创建方法、定位方法及介质
CN117570969B (zh) * 2024-01-16 2024-09-10 锐驰激光(深圳)有限公司 割草机视觉定位方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050182518A1 (en) 2004-02-13 2005-08-18 Evolution Robotics, Inc. Robust sensor fusion for mapping and localization in a simultaneous localization and mapping (SLAM) system
JP2012216051A (ja) 2011-03-31 2012-11-08 Fuji Soft Inc 歩行ロボット装置及びその制御プログラム
WO2018140748A1 (en) 2017-01-26 2018-08-02 The Regents Of The University Of Michigan Localization using 2d maps which capture vertical structures in 3d point data

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8108092B2 (en) * 2006-07-14 2012-01-31 Irobot Corporation Autonomous behaviors for a remote vehicle
CN104374395A (zh) * 2014-03-31 2015-02-25 南京邮电大学 基于图的视觉slam方法
CN105487557B (zh) * 2015-12-07 2018-06-19 浙江大学 一种基于日盲区紫外成像的无人机自主着陆引导系统
US9969495B2 (en) * 2016-04-29 2018-05-15 United Parcel Service Of America, Inc. Unmanned aerial vehicle pick-up and delivery systems
CN107179080B (zh) * 2017-06-07 2020-07-24 纳恩博（北京）科技有限公司 电子设备的定位方法和装置、电子设备、电子定位系统
CN107516326B (zh) * 2017-07-14 2020-04-03 中国科学院计算技术研究所 融合单目视觉和编码器信息的机器人定位方法和系统
CN109648558B (zh) * 2018-12-26 2020-08-18 清华大学 机器人曲面运动定位方法及其运动定位系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050182518A1 (en) 2004-02-13 2005-08-18 Evolution Robotics, Inc. Robust sensor fusion for mapping and localization in a simultaneous localization and mapping (SLAM) system
JP2012216051A (ja) 2011-03-31 2012-11-08 Fuji Soft Inc 歩行ロボット装置及びその制御プログラム
WO2018140748A1 (en) 2017-01-26 2018-08-02 The Regents Of The University Of Michigan Localization using 2d maps which capture vertical structures in 3d point data

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Hengbo Tang et al.，Automatic Simultaneous Extrinsic-Odometric Calibration for Camera-Odometry System，IEEE Sensors Journal，米国，IEEE，2018年01月01日，Vol.18, No.1，pp.348-355，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8070932
Rafael Munoz-Salinas et al.，SPM-SLAM:Simltaneous Localization and Mapping with Squared Plannar Markers，Pattern Recognition，ELSEVIER，2018年02月，Vol.86，pp.156-171
友納 正裕，移動ロボットのための確率的な自己位置推定と地図構築，日本ロボット学会誌，日本，一般社団法人日本ロボット学会，2011年06月15日，第29巻 第5号，pp.21-24

Also Published As

Publication number Publication date
EP3995988A4 (en) 2022-08-17
EP3995988A1 (en) 2022-05-11
WO2021004416A1 (zh) 2021-01-14
JP2022539422A (ja) 2022-09-08
CN112183171B (zh) 2024-06-28
KR20220025028A (ko) 2022-03-03
CN112183171A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
JP7300550B2 (ja) 視覚標識に基づき標識マップを構築する方法、装置
WO2021212844A1 (zh) 点云拼接方法、装置、设备和存储设备
Usenko et al. The double sphere camera model
CN112184824B (zh) 一种相机外参标定方法、装置
CN111561923A (zh) 基于多传感器融合的slam制图方法、系统
CN110568447A (zh) 视觉定位的方法、装置及计算机可读介质
CN111127524A (zh) 一种轨迹跟踪与三维重建方法、系统及装置
CN108537214B (zh) 一种室内语义地图的自动化构建方法
CN113048980B (zh) 位姿优化方法、装置、电子设备及存储介质
CN111210478A (zh) 一种无共同视野多相机系统外参标定方法、介质及系统
WO2024093635A1 (zh) 相机位姿估计方法、装置及计算机可读存储介质
CN111998862A (zh) 一种基于bnn的稠密双目slam方法
CN113223078A (zh) 标志点的匹配方法、装置、计算机设备和存储介质
TW202238449A (zh) 室內定位系統及室內定位方法
CN113034347A (zh) 倾斜摄影图像处理方法、装置、处理设备及存储介质
Tao et al. A convenient and high-accuracy multicamera calibration method based on imperfect spherical objects
JP2018173882A (ja) 情報処理装置、方法、及びプログラム
CN113920192A (zh) 一种视觉定位方法、装置、服务器及计算机可读存储介质
CN105339981A (zh) 用于使用一组基元配准数据的方法
JP2007034964A (ja) カメラ視点運動並びに３次元情報の復元及びレンズ歪パラメータの推定方法、装置、カメラ視点運動並びに３次元情報の復元及びレンズ歪パラメータの推定プログラム
CN113628284B (zh) 位姿标定数据集生成方法、装置、系统、电子设备及介质
Hu et al. Efficient Visual-Inertial navigation with point-plane map
CN113516772B (zh) 三维场景重建方法及装置、bim模型的优化方法及装置
CN117406185B (zh) 雷达与相机间的外参标定方法、装置、设备及存储介质
Tahri et al. Efficient decoupled pose estimation from a set of points

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230502

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230619

R150 Certificate of patent or registration of utility model

Ref document number: 7300550

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150