JP2024155703A - ３次元空間におけるユーザポーズの推定装置及び方法 - Google Patents

３次元空間におけるユーザポーズの推定装置及び方法 Download PDF

Info

Publication number
JP2024155703A
JP2024155703A JP2023208694A JP2023208694A JP2024155703A JP 2024155703 A JP2024155703 A JP 2024155703A JP 2023208694 A JP2023208694 A JP 2023208694A JP 2023208694 A JP2023208694 A JP 2023208694A JP 2024155703 A JP2024155703 A JP 2024155703A
Authority
JP
Japan
Prior art keywords
pose
information
user
image
estimating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023208694A
Other languages
English (en)
Inventor
洛珠 都
Nak Ju Doh
周亨 金
Joo Hyung Kim
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industry Academy Collaboration Foundation of Korea University
Korea University Research and Business Foundation
Original Assignee
Industry Academy Collaboration Foundation of Korea University
Korea University Research and Business Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industry Academy Collaboration Foundation of Korea University, Korea University Research and Business Foundation filed Critical Industry Academy Collaboration Foundation of Korea University
Publication of JP2024155703A publication Critical patent/JP2024155703A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional [3D] objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

【課題】現実空間で取得されたデータに基づいて構築された３次元空間情報と、ユーザ装置が時間順に順次取得したユーザ情報とを活用して、ユーザポーズの推定の正確度及びロバスト性を向上させる３次元空間におけるユーザポーズの推定装置及び方法を提供する。
【解決手段】３次元空間におけるユーザポーズの推定装置２００は、現実空間で時間順に取得された複数のイメージ間の相対ポーズ推定情報を確認する相対ポーズ確認部と、現実空間に対する慣性情報、深さ情報及びイメージ情報のうちの少なくとも１つを含む空間情報を活用して構築された３次元空間モデルを取得し、取得した３次元空間モデルに基づいてポーズ候補推定情報を生成し、生成したポーズ候補推定情報と生成した相対ポーズ推定情報とを相互に連携してユーザポーズを推定するユーザポーズ推定部と、を含む。
【選択図】図２

Description

特許法第３０条第２項適用申請有り 令和５年３月１３日 ［米国電気電子学会（ＩＥＥＥ） センサーズジャーナル（ＳＥＮＳＯＲＳ ＪＯＵＲＮＡＬ）第２３巻、第８号、２０２３年４月１５日 ＰＰ．８６１３－８６２９］ サイト ｈｔｔｐｓ：／／ｉｅｅｅｘｐｌｏｒｅ．ｉｅｅｅ．ｏｒｇ／ｄｏｃｕｍｅｎｔ／１００６８４３１
〔関連出願との相互参照〕
本出願は、２０２３年０４月１９日付の韓国特許出願第１０－２０２３－００５１４６１号に基づく優先権の利益を主張し、当該韓国特許出願の文献に開示された全ての内容は本明細書の一部として組み込まれる。
本発明は、３次元空間におけるユーザポーズの推定装置及び方法に関し、より具体的には、現実空間で取得されたデータに基づいて構築された３次元空間情報と、ユーザ装置が時間順に順次取得したユーザ情報とを活用して、ユーザポーズの推定の正確度及びロバスト性を向上させる技術に関する。
イメージ情報及び空間情報を活用してユーザポーズを推定する方法と関連して、伝統的には、映像情報を用いる方式、地形情報と映像情報とを混合して用いる方式が多く用いられた。
カメラあるいはこれと類似の動作原理を有する映像測定装置を活用して映像情報を取得するか、ライダー（ＬｉＤＡＲ）あるいはこれと類似の動作原理を有する深さ測定装置を活用して点群情報を取得するか、キネクト（Ｋｉｎｅｃｔ）あるいはこれと類似の動作原理を有する映像深さ測定装置を活用して色点群情報を取得するか、またはこれらの組み合わせで現実空間を表現する空間情報を構成し、類似の方法でユーザが取得したユーザ情報を空間情報と比較してユーザポーズを推定する方法がある。
しかし、このような従来の技術は、次のように様々な問題点が存在する。
第一に、空間情報構築用データの取得時点と、ユーザポーズ推定用センサ情報の取得時点との差による情報の変化が、ユーザポーズの推定の正確度を低下させることがある。
時点の差により、動的オブジェクトの存在の有無、インテリアやオブジェクトの変化及び移動、環境の明るさや照明などの変化などが発生することがある。このような変化は、情報の類似性を低下させ、ポーズの推定の正確度を低下させることがある。
第二に、空間情報をなすデータの取得時点の情報量に応じて、ユーザポーズの推定の正確度を低下させることがある。
理想的には、空間内の全てのポーズでデータを取得する場合、情報量が多くなり、これによって、ユーザが取得する情報と類似度の高いデータを探し易くなることによって、正確度を高めることができる。
しかし、現実的には、空間情報の取得時間、処理可能容量、計算の効率性などを考慮してデータを取得するようになり、これは、情報量が十分でない可能性があることを意味し、ポーズの推定時に、類似度が低い情報により、正確度の低下を引き起こすことがある。
第三に、イメージ情報を用いたポーズの推定時に１枚のイメージを用いる場合、精度を低下させることがある。
空間情報内でユーザのイメージ情報と類似した複数のデータが存在し得、類似度が高い複数のデータを活用したポーズの推定時に、複数の互いに異なるポーズ候補が生成され得る。
これは、複数のポーズ候補のうち任意の一つを選択しなければならない問題が発生し、誤った選択は精度を低下させることがある。
したがって、上述したような空間情報に基づいてユーザポーズを推定する際に発生する既存の問題点を解決できる空間情報を構成する方法、及びこれを活用したユーザポーズの推定方法に対する必要性が台頭している。
本発明は、現実空間で取得されたデータに基づいて構築された３次元空間情報と、ユーザ装置が時間順に順次取得したユーザ情報とを活用して、ユーザポーズの推定の正確度及びロバスト性を向上させることを目的とする。
本発明は、小さな部屋のサイズの空間だけでなく、空港、大規模複合ショッピングモール、野外道路空間などの大規模空間でもデータを取得し、空間情報を効率的に構築することによって、ポーズ推定の安定性を向上させることを目的とする。
本発明は、順次的なイメージ情報を含め、時間順に取得したユーザ装置のセンサ情報を、個別のイメージ情報及び空間情報と相互に連携して用いることによって、１枚のイメージ情報あるいは単数の情報を通じて得ることができる情報よりも多くの情報を活用することによって、ユーザポーズの推定に対する正確度及びロバスト性を向上させることを目的とする。
本発明は、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）、複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）でユーザポーズを推定する際、自律走行ロボット、自律走行モビリティなどに対するポーズを推定する際などに活用することができ、当該技術の商用化及び発展に寄与することを目的とする。
本発明の一実施例によれば、３次元空間におけるユーザポーズの推定装置は、現実空間で時間順に取得された複数のイメージ間の相対ポーズ推定情報を確認する相対ポーズ確認部と、前記現実空間に対する慣性情報、深さ情報及びイメージ情報のうちの少なくとも１つを含む空間情報を活用して構築された３次元空間モデルを取得し、前記取得された３次元空間モデルに基づいてポーズ候補推定情報を生成し、前記生成されたポーズ候補推定情報と前記生成された相対ポーズ推定情報とを相互に連携してユーザポーズを推定するユーザポーズ推定部とを含むことができる。
前記ユーザポーズ推定部は、前記３次元空間モデルをなす前記イメージ情報と前記複数のイメージとの間の類似度を計算し、前記計算された類似度に基づいてイメージクラスタを構成し、前記イメージクラスタに該当する複数の特徴と前記複数のイメージのいずれか１つのイメージの特徴とをマッチングし、各クラスタ毎に特徴マッチングを通じて推定したポーズからポーズ候補を生成し、前記生成されたポーズ候補に対する前記ポーズ候補推定情報を生成することができる。
前記ユーザポーズ推定部は、前記相対ポーズ推定情報と前記ポーズ候補推定情報とを相互に連携してポーズ仮説セットを生成し、前記生成されたポーズ仮説セットから確率及び／又は点数を算出し、前記算出された確率及び／又は点数に基づいて前記ユーザポーズを推定することができる。
前記ユーザポーズ推定部は、前記相対ポーズ推定情報に基づくローカルマップ情報、及び前記ポーズ候補推定情報に基づく特徴マッチング情報を用いて、ローカルマップの実測比率であるスケール（ｓｃａｌｅ）仮説を確立し、前記確立されたスケール仮説に対して前記複数のイメージ毎に収束性を考慮してポーズ仮説セットを生成することができる。
前記ユーザポーズ推定部は、前記複数のイメージのうち第１イメージに対する複数のポーズ候補のいずれか１つのポーズ候補を選択し、第２イメージに対する複数のポーズ候補のいずれか１つのポーズ候補を選択し、最後のイメージに対する複数のポーズ候補のいずれか１つのポーズ候補を選択した第１ポーズ仮説セットを生成し、前記第１イメージに対する複数のポーズ候補の前記いずれか１つのポーズ候補と異なるポーズ候補を選択し、前記第２イメージに対する複数のポーズ候補の前記いずれか１つのポーズ候補と異なるポーズ候補を選択し、前記最後のイメージに対する複数のポーズ候補の前記いずれか１つのポーズ候補と異なるポーズ候補を選択した第２ポーズ仮説セットを生成することができる。
前記空間情報は、深さ測定装置、映像取得装置、無線通信装置、慣性装置、及び位置情報測定装置のうちの少なくとも１つを用いて取得することができる。
前記３次元空間モデルは、前記空間情報を取得した装置のポーズ又は３次元点群データを再建し、前記複数の特徴に含まれたイメージを情報化して表現するグローバル特徴、特徴点情報を含むローカル特徴、及び３次元情報を用いることができる。
前記３次元情報は、３次元位置、方向、法線方向及び意味論的種類の情報のうちの少なくとも１つを含むことができる。
前記相対ポーズ推定情報は、前記複数のイメージ間の特徴点情報であるローカル特徴を活用して構成された３次元ローカルマップに基づいて、前記複数のイメージから相対ポーズが推定され、相対座標系の原点及び方向が定義され、前記複数のイメージに対して選別されたキーフレームに対して選択的に相対ポーズが推定されて生成され得る。
本発明の一実施例に係る３次元空間におけるユーザポーズの推定方法は、相対ポーズ確認部において、現実空間で時間順に取得された複数のイメージ間の相対ポーズ推定情報を確認するステップと、ユーザポーズ推定部において、前記現実空間に対する慣性情報、深さ情報及びイメージ情報のうちの少なくとも１つを含む空間情報を活用して構築された３次元空間モデルを取得し、前記取得された３次元空間モデルに基づいてポーズ候補推定情報を生成し、前記生成されたポーズ候補推定情報と前記確認された相対ポーズ推定情報とを相互に連携してユーザポーズを推定するステップとを含むことができる。
前記ユーザポーズを推定するステップは、前記３次元空間モデルをなす前記イメージ情報と前記複数のイメージとの間の類似度を計算し、前記計算された類似度に基づいてイメージクラスタを構成し、前記イメージクラスタに該当する複数の特徴と前記複数のイメージのいずれか１つのイメージの特徴とをマッチングし、各クラスタ毎に特徴マッチングを通じて推定したポーズからポーズ候補を生成し、前記生成されたポーズ候補に対する前記ポーズ候補推定情報を生成するステップを含むことができる。
前記ユーザポーズを推定するステップは、前記相対ポーズ推定情報及び前記ポーズ候補推定情報に基づいてポーズ仮説セットを生成し、前記生成されたポーズ仮説セットから確率及び／又は点数を算出し、前記算出された確率及び／又は点数に基づいて前記ユーザポーズを推定するステップを含むことができる。
前記ユーザポーズを推定するステップは、前記相対ポーズ推定情報に基づくローカルマップ情報、及び前記ポーズ候補推定情報に基づく特徴マッチング情報を用いて、ローカルマップの実測比率であるスケール（ｓｃａｌｅ）仮説を確立し、前記確立されたスケール仮説に対して前記複数のイメージ毎に収束性を考慮してポーズ仮説セットを生成するステップを含むことができる。
前記ポーズ仮説セットを生成するステップは、前記複数のイメージのうち第１イメージに対する複数のポーズ候補のいずれか１つのポーズ候補を選択し、第２イメージに対する複数のポーズ候補のいずれか１つのポーズ候補を選択し、最後のイメージに対する複数のポーズ候補のいずれか１つのポーズ候補を選択した第１ポーズ仮説セットを生成し、前記第１イメージに対する複数のポーズ候補の前記いずれか１つのポーズ候補と異なるポーズ候補を選択し、前記第２イメージに対する複数のポーズ候補の前記いずれか１つのポーズ候補と異なるポーズ候補を選択し、前記最後のイメージに対する複数のポーズ候補の前記いずれか１つのポーズ候補と異なるポーズ候補を選択した第２ポーズ仮説セットを生成するステップを含むことができる。
前記相対ポーズ推定情報は、前記複数のイメージ間の特徴点情報であるローカル特徴を活用して構成された３次元ローカルマップに基づいて、前記複数のイメージから相対ポーズが推定され、相対座標系の原点及び方向が定義され、前記複数のイメージに対して選別されたキーフレームに対して選択的に相対ポーズが推定されて生成され得る。
本発明は、現実空間で取得されたデータに基づいて構築された３次元空間情報と、ユーザ装置が時間順に順次取得したユーザ情報とを活用して、ユーザポーズの推定の正確度及びロバスト性を向上させることができる。
本発明は、小さな部屋のサイズの空間だけでなく、空港、大規模複合ショッピングモール、野外道路空間などの大規模空間でもデータを取得し、空間情報を効率的に構築することによって、ポーズ推定の安定性を向上させることができる。
本発明は、順次的なイメージ情報を含め、時間順に取得したユーザ装置のセンサ情報を、個別のイメージ情報及び空間情報と相互に連携して用いることによって、１枚のイメージ情報あるいは単数の情報を通じて得ることができる情報よりも多くの情報を活用することによって、ユーザポーズの推定に対する正確度及びロバスト性を向上させることができる。
本発明は、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）、複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）でユーザポーズを推定する際、自律走行ロボット、自律走行モビリティなどに対するポーズを推定する際などに活用することができ、当該技術の商用化及び発展に寄与することができる。
本発明の一実施例に係る３次元空間情報を含む３次元空間モデルを説明する図である。 本発明の一実施例に係る３次元空間情報を含む３次元空間モデルを説明する図である。 本発明の一実施例に係る３次元空間におけるユーザポーズの推定装置を説明する図である。 本発明の一実施例に係る相対ポーズ情報に基づくローカルマップと３次元空間情報との相互連携方法を説明する図である。 本発明の一実施例に係る時間順に順次取得される複数のイメージを含むユーザ情報を用いたユーザポーズの推定に対する性能の改善を説明する図である。 本発明の一実施例に係る時間順に順次取得される複数のイメージを含むユーザ情報を用いたユーザポーズの推定に対する性能の改善を説明する図である。 本発明の一実施例に係る時間順に順次取得される複数のイメージを含むユーザ情報を用いたユーザポーズの推定に対する性能の改善を説明する図である。 本発明の一実施例によってポーズ候補推定情報及び相対ポーズ推定情報に基づくポーズ仮説セットを生成して、ユーザポーズを推定する方法を説明する図である。 本発明の一実施例によって仮説セットを通じてユーザポーズベースのユーザポーズ推定の確率の計算及び数値化を説明する図である。 本発明の一実施例によって時間順に順次取得される複数のイメージに基づくデータ活用の例示を説明する図である。 本発明の一実施例に係る３次元空間におけるユーザポーズの推定方法を説明する図である。 本発明の一実施例に係る３次元空間におけるユーザポーズの推定方法を説明する図である。
本明細書に開示されている本発明の概念による実施例についての特定の構造的又は機能的な説明は、単に本発明の概念による実施例を説明するための目的で例示されたものであって、本発明の概念による実施例は、様々な形態で実施可能であり、本明細書に説明された実施例に限定されない。
本発明の概念による実施例は、様々な変更を加えることができ、様々な形態を有することができるので、実施例を図面に例示し、本明細書で詳しく説明する。しかし、これは、本発明の概念による実施例を特定の開示形態に対して限定しようとするものではなく、本発明の思想及び技術範囲に含まれる変更、均等物、または代替物を含む。
「第１」又は「第２」などの用語は様々な構成要素を説明するのに 用いられるが用いられるが、前記構成要素は、前記用語によって限定されてはならない。前記用語は、一つの構成要素を他の構成要素から区別する目的でのみ、例えば、本発明の概念による権利範囲から逸脱しないまま、第１構成要素は第２構成要素と命名することができ、同様に、第２構成要素は第１構成要素と命名することができる。
ある構成要素が他の構成要素に「連結されて」いるとか、「接続されて」いると言及された際には、その他の構成要素に直接的に連結又は接続されていることもあるが、その構成要素間に他の構成要素が存在することもあると理解されなければならない。反面、ある構成要素が他の構成要素に「直接連結されて」いるとか、「直接接続されて」いると言及された際には、その構成要素間に他の構成要素が存在しないものと理解されなければならない。構成要素間の関係を説明する表現、例えば、「～間に」と「すぐ～間に」又は「～に直接隣接する」なども同様に解釈されなければならない。
本明細書で使用した用語は、単に特定の実施例を説明するために用いられたもので、本発明を限定しようとする意図ではない。単数の表現は、文脈上明らかに別の意味を示すものでない限り、複数の表現を含む。本明細書において、「含む」又は「有する」などの用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部分品またはこれらを組み合わせたものが存在することを指定しようとするものであって、１つ又はそれ以上の他の特徴や数字、段階、動作、構成要素、部分品またはこれらを組み合わせたものの存在又は付加可能性をあらかじめ排除しないものと理解されなければならない。
別に定義されない限り、技術的又は科学的な用語を含めてここで用いられる全ての用語は、本発明の属する技術分野における通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる辞書に定義されている用語は、関連技術の文脈上有する意味と一致する意味を有するものと解釈されなければならず、本明細書で明らかに定義しない限り、理想的又は過度に形式的な意味として解釈されない。
図１Ａ及び図１Ｂは、本発明の一実施例に係る３次元空間情報を含む３次元空間モデルを説明する図である。
図１Ａ及び図１Ｂは、本発明の一実施例に係る３次元空間情報を含む３次元空間モデルを例示する。
図１Ａを参照すると、ＳｆＭ方法を通じて作られた結果イメージ１００を示し、図１Ｂを参照すると、ＳＬＡＭ方法を通じて作られた結果イメージ１１０を示す。
イメージ１００及びイメージ１１０は、空間情報であって、映像または深さ－映像連携情報を用いて構成された現実空間を仮想に再建した情報を含むこともできる。
また、空間情報は、ｏｂｊ、ｘ３ｄなどが生成されたモデルまたはＴｅｅＶＲモデルを含むこともできる。
３次元仮想空間モデルを構成するために、背景部分と非背景部分とを区分して背景部分を活用することもできる。
併せて、３次元仮想空間モデルは、室内空間と室外空間の両方を含む概念であって、独立した室内空間、独立した室外空間、または室内と室外が連結された空間であってもよい。
３次元仮想空間モデルにｏｂｊ、ｘ３ｄなどのようなモデル（人、事物など）を追加することもでき、モデルが追加された３次元仮想空間モデルも含む概念であり得、次元を下げて２次元仮想空間モデルとして用いることもできる。
３次元空間モデルは、事前に構築されたｏｂｊ、ｘ３ｄのようなモデルを用いてもよく、空間データを取得して３次元空間モデルを構築して用いてもよく、または事前に構築されたモデルを更新して用いてもよい。
３次元空間モデルは、現実空間と類似すると判断され得、ユーザ情報は、映像情報が含まれた情報であって、映像測定装置を１つ以上含み、深さ測定装置又は付加装置などを用いて取得することができる。
ユーザ情報は、単一又は複数の映像センサ（カメラなど）で取得することができ、ピンホール（ｐｉｎ－ｈｏｌｅ）モデルや魚眼レンズなどの形態で取得されてもよい。
単一の映像情報、または時間順にあるいは順次取得された映像情報、またはそれらの組み合わせなどとして取得され得、取得したユーザ情報を用いて、映像情報、深さ情報、または深さ－映像連携情報などを構成することができる。
例えば、単一の映像測定装置を使用する場合、イメージのような映像情報を取得することができる。
順次取得された映像情報（イメージ）を用いて深さ情報を計算することができ、これを通じて、深さと映像の連携情報を構成することができる。
例えば、複数の映像測定装置を使用する場合、各映像測定装置で取得された映像情報及び映像測定装置間の関係を活用して深さ情報を計算することができ、これを通じて、深さ－映像連携情報を構成することができる。
映像測定装置間の関係は、映像測定装置間のキャリブレーション（Ｃａｌｉｂｒａｔｉｏｎ）情報、または各映像測定装置で取得された映像情報間の変換情報（Ｈｏｍｏｇｒａｐｈｙ ｍａｔｒｉｘ）であってもよい。
例えば、少なくとも１つ以上の映像測定装置、及び少なくとも１つ以上の深さ測定装置を使用する場合、２つの装置間のキャリブレーション情報を用いて深さ－映像連携情報を構成することができる。
深さ予測ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）モデルを活用して映像情報から深さ情報を抽出することもできる。学習及び試験のための多数のデータが必要であり得る。
繰り返し学習を行うこともでき、パラメータチューニングが必要となることもある。深さ予測モデルで抽出された深さ情報を活用して深さ－映像連携情報を構成することができる。
映像情報を加工した、加工された映像情報を用いることもでき、例えば、イメージの明暗、彩度などを変化させたり、パノラマイメージを矯正イメージ（Ｒｅｃｔｉｆｉｅｄ Ｉｍａｇｅ）に変換させる作業などが行われてもよい。
ユーザ付加情報とは、ユーザが取得した映像情報以外に、ユーザポーズを推定するのに役立つこともある情報であって、慣性情報（ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ、ＩＭＵ）、距離情報（ｏｄｏｍｅｔｒｙ）などで構成され得る。
一例として、慣性測定装置を使用して慣性情報の取得が可能な場合に、映像情報の処理時に映像取得ポーズに対する推定（ｐｒｅｄｉｃｔｉｏｎ）情報として用いることで、映像取得ポーズに対する補正（ｃｏｒｒｅｃｔｉｏｎ）がより容易になるようにすることができる。
また、慣性情報の加速度値あるいは角速度値を活用して実際の移動距離を予想することができ、これを、単一あるいは複数の映像測定装置から抽出された深さ情報の大きさ（ｓｃａｌｅ）を補正するのに活用することもできる。
距離情報は、ユーザが取得した映像情報に基づいて構成されたＶＯ（Ｖｉｓｕａｌ Ｏｄｏｍｅｔｒｙ）、ＶＩＯ（Ｖｉｓｕａｌ Ｉｎｅｒｔｉａｌ Ｏｄｏｍｅｔｒｙ）を活用して予測した距離情報であり得、車輪型移動ロボットに測定装置を取り付けてユーザ情報を取得する場合、距離情報は移動ロボットの距離情報であり得る。
慣性情報から距離情報を導出してもよく、あるいは慣性情報を活用して、前記方法により抽出された距離情報を補正するのに活用してもよい。
また、ＧＰＳやＧＮＳＳセンサなどから受信した絶対ポーズを介して、距離情報を推定又は補正するのに活用することもできる。
距離情報を用いて、順次取得されたイメージ間の相対ポーズを示すことができる。
より正確には、各イメージが取得されたときの映像取得装置のポーズを、距離情報を用いて示すことができる。
図２は、本発明の一実施例に係る３次元空間におけるユーザポーズの推定装置を説明する図である。
図２は、本発明の一実施例に係る３次元空間におけるユーザポーズの推定装置の構成要素を例示する。
図２を参照すると、本発明の一実施例に係る３次元空間におけるユーザポーズの推定装置２００は、相対ポーズ確認部２４０、ユーザポーズ推定部２５０、及び制御部２６０を含む。
一例として、３次元空間におけるユーザポーズの推定装置２００は、空間情報取得部２１０、空間モデル構築部２２０、及びユーザ情報取得部２３０をさらに含むことができる。
例えば、空間情報取得部２１０は、空間情報を取得する装置から空間情報を取得する構成であってもよい。
一方、空間モデル構築部２２０は、空間情報を取得する装置から空間情報の伝達を受けて空間モデルを構築する構成であってもよい。
また、ユーザ情報取得部２３０は、ユーザ情報を取得する装置からユーザ情報を取得する構成であってもよい。
制御部２６０は、ユーザポーズの推定装置２００の構成要素を制御し、ディスプレイ、センサ及び通信構成を制御する少なくとも１つのプロセッサを含むことができる。
本発明の一実施例によれば、ユーザポーズの推定装置２００は、現実空間で取得されたデータに基づいて構築された３次元空間情報と、ユーザ装置が時間順に順次取得したユーザ情報とを活用して、ユーザポーズの推定の正確度及びロバスト性を向上させることができる。
本発明の一実施例によれば、空間情報取得部２１０は、現実空間に対する慣性情報、深さ情報及びイメージ情報のうちの少なくとも１つを含む空間情報を取得することができる。
一例として、空間情報取得部２１０は、深さ測定装置、映像取得装置、無線通信装置、慣性装置、及び位置情報測定装置のうちの少なくとも１つを用いて前記空間情報を取得することができる。
本発明の一実施例によれば、空間モデル構築部２２０は、空間情報を活用して、複数の特徴（ｆｅａｔｕｒｅ）に対する３次元情報を含む３次元空間モデルを構築することができる。
例えば、３次元空間モデルは現実空間に対応し、特徴（ｆｅａｔｕｒｅ）はフィーチャーと称することができる。
一例として、空間モデル構築部２２０は、空間情報を取得した装置のポーズ又は３次元点群データを再建し、前記複数の特徴に含まれたイメージを情報化して表現するグローバル特徴、特徴点情報を含むローカル特徴、及び３次元情報を用いることができる。
３次元情報は、３次元位置、方向、法線方向及び意味論的種類の情報のうちの少なくとも１つを含むことができる。
本発明の一実施例によれば、ユーザ情報取得部２３０は、現実空間でユーザ装置に基づいて時間順に複数のイメージを含むユーザ情報を取得することができる。
一例として、ユーザ情報取得部２３０は、深さ測定装置、映像取得装置、無線通信装置、慣性装置、及び位置情報測定装置のうちの少なくとも１つを用いて順次的な空間情報を取得することができる。
本発明の一実施例によれば、ユーザ情報取得部２３０は、複数のイメージを３次元情報に対する補完情報として活用するものの、複数のイメージに対してキーフレーム（ｋｅｙｆｒａｍｅ）を選別することができる。
本発明の一実施例によれば、相対ポーズ確認部２４０は、複数のイメージ間の相対ポーズを推定して相対ポーズ推定情報を生成する。
一例として、相対ポーズ確認部２４０は、複数のイメージ間の特徴点情報であるローカル特徴を活用して３次元ローカルマップを構成し、複数のイメージから相対ポーズを推定し、相対座標系の原点及び方向を定義し、キーフレームに対して選択的に相対ポーズを推定することができる。
一例として、相対ポーズ推定情報は、複数のイメージ間の特徴点情報であるローカル特徴を活用して構成された３次元ローカルマップに基づいて、複数のイメージから相対ポーズが推定され、相対座標系の原点及び方向が定義され、複数のイメージに対して選別されたキーフレームに対して選択的に相対ポーズが推定されて生成され得る。
例えば、相対ポーズ確認部２４０は、相対ポーズを推定する相対ポーズ推定装備から受信される相対ポーズ情報を取得して確認する構成であってもよい。
本発明の一実施例によれば、ユーザポーズ推定部２５０は、構築された３次元空間モデルに基づいてポーズ候補推定情報を生成し、生成されたポーズ候補推定情報と生成された相対ポーズ推定情報とを相互に連携してポーズ仮説セットを生成し、生成されたポーズ仮説セットを用いてユーザポーズを推定することができる。
一例として、ユーザポーズ推定部２５０は、３次元空間モデルをなすイメージ情報と複数のイメージとの間の類似度を計算し、計算された類似度に基づいてイメージクラスタを構成し、イメージクラスタに該当する複数の特徴と複数のイメージのいずれか１つのイメージの特徴とをマッチングし、各クラスタ毎に特徴マッチングを通じて推定したポーズからポーズ候補を生成し、生成されたポーズ候補に対するポーズ候補推定情報を生成することができる。
本発明の一実施例によれば、ユーザポーズ推定部２５０は、相対ポーズ推定情報及びポーズ候補推定情報に基づいてポーズ仮説セットを生成し、生成されたポーズ仮説セットから確率及び／又は点数を算出し、算出された確率及び／又は点数に基づいてユーザポーズを推定することができる。
一例として、ユーザポーズ推定部２５０は、相対ポーズ推定情報に基づくローカルマップ情報、及びポーズ候補推定情報に基づく特徴マッチング情報を用いて、ローカルマップの実測比率であるスケール（ｓｃａｌｅ）仮説を確立し、確立されたスケール仮説に対して複数のイメージ毎に収束性を考慮してポーズ仮説セットを生成することができる。
ユーザポーズ推定部２５０は、複数のイメージのうち第１イメージに対する複数のポーズ候補のいずれか１つのポーズ候補を選択し、第２イメージに対する複数のポーズ候補のいずれか１つのポーズ候補を選択し、最後のイメージに対する複数のポーズ候補のいずれか１つのポーズ候補を選択した第１ポーズ仮説セットを生成することができる。
ユーザポーズ推定部２５０は、前記第１イメージに対する複数のポーズ候補の前記いずれか１つのポーズ候補と異なるポーズ候補を選択し、前記第２イメージに対する複数のポーズ候補の前記いずれか１つのポーズ候補と異なるポーズ候補を選択し、前記最後のイメージに対する複数のポーズ候補の前記いずれか１つのポーズ候補と異なるポーズ候補を選択した第２ポーズ仮説セットを生成することができる。
したがって、本発明は、現実空間で取得されたデータに基づいて構築された３次元空間情報、及びユーザが取得したユーザ情報を活用して、ユーザポーズを推定することができる。
また、本発明は、小さな部屋のサイズの空間だけでなく、空港、大規模複合ショッピングモール、野外道路空間などの大規模空間でもデータを取得し、空間情報を効率的に構築することによって、ポーズ推定の安定性を向上させることができる。
空間情報取得部２１０は、３次元空間情報を構築するためのデータの取得時に、映像取得装置を使用するか、または深さ取得装置などを連携した装置を通じて空間情報を取得することができる。
カメラあるいはこれと類似の動作原理の映像取得装置、ＬｉＤＡＲあるいはこれと類似の動作原理の深さ測定装置などで構成された測定装置の視野角（ＦｏＶ、Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ）が現実空間を確保することができる経路で空間情報（Ｄａｔａｂａｓｅ）を取得すれば、３次元空間情報は、現実空間と類似に構成され得、空間情報の取得時間、空間情報の容量、データ処理速度などが低減できるので、効率的である。
映像情報は、３次元空間に対する２次元イメージであって、２自由度あるいは３自由度の基底ベクトル（ｂａｓｉｓ ｖｅｃｔｏｒ）で表現可能な形態を有することができ、カメラのように２次元あるいは３次元形態のデータであるイメージを取得する形態、またはカメラに赤外線フィルタを装着して３次元情報を２次元で表現した形態であってもよい。
深さ情報は、３自由度の基底ベクトルで表現可能な点形態を有し、深さ測定装置を使用して取得されてもよい。
相対ポーズ確認部２４０及びユーザポーズ推定部２５０は、互いに異なる場所で撮影された２つ以上のイメージを活用して推定されてもよい。
ユーザ情報取得部２３０は、深さ測定装置を通じて測定される深さ情報の例としては、ライダー（ＬｉＤＡＲ）、ソナー（ＳＯＮＡＲ）、赤外線（ＩｎｆｒａＲｅｄ）、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）距離探知機を通じて取得された深さ情報がある。
互いに異なる場所で撮影された２つ以上のイメージを活用して推定される後者の例としては、ステレオカメラ、多重カメラ、全方向ステレオカメラなどを通じて取得された深さ情報がある。
一方、Ｋｉｎｅｃｔ、ＪＵＭＰ、ＰｒｉｍｅＳｅｎｓｅ、Ｐｒｏｊｅｃｔ Ｂｅｙｏｎｄなどのデバイスを利用すれば、深さ情報及び映像情報を同時に取得することもできる。
例えば、ユーザポーズ推定部２５０は、深さ測定装置を通じて取得した深さ情報だけでなく、内挿法（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を通じて深さ情報を新たに推定して使用することもできる。
より具体的には、複数の取得深さ情報の中で３つ以上の深さ情報を選別して多角形（三角形を含む）メッシュ（Ｍｅｓｈ）を構成した後、その多角形メッシュの内部に内挿法を通じて新たな深さ情報を推定して追加することができる。
一方、本発明の一実施例に係る取得深さ情報及び映像情報は、統合センサ装置（システム）を用いて同時に取得されてもよい。
複数の測定装置を使用する場合、センサ間の座標関係を求めるキャリブレーション過程が必要となり得る。
空間データを取得する過程において慣性測定装置などを追加で使用してもよく、車輪型移動ロボットにセンサを取り付けて測定する場合には距離情報（ｏｄｏｍｅｔｒｙ）を活用してもよい。
現実空間が測定装置の視野角よりも広い場合、センサの回転、移動、またはこれらを組み合わせて空間データを取得することができる。
このとき、個別の空間データが取得された３次元ポーズ（ｐｏｓｅ）がそれぞれ異なり得、個別の空間データが取得されたポーズを予測するために、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）、スラム（ＳＬＡＭ、Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ）、映像－慣性距離情報（ＶＩＯ、Ｖｉｓｕａｌ Ｉｎｅｒｔｉａｌ Ｏｄｏｍｅｔｒｙ）、映像距離情報（ＶＯ、Ｖｉｓｕａｌ Ｏｄｏｍｅｔｒｙ）などの技法を活用することができる。
このとき、ポーズは、位置（ｐｏｓｉｔｉｏｎ）と方向（ｏｒｉｅｎｔａｔｉｏｎ）の両方を含む概念である。
すなわち、ユーザポーズの推定装置は、現実空間でイメージが含まれた情報に基づいて３次元座標系でのイメージなどのデータを収集する測定装置の位置及び方向を含むユーザポーズを推定する。
一方、ＳｆＭを行う前に、ＳＬＡＭなどの方法を行ってＳｆＭのための初期ポーズ情報を作ることができる。初期ポーズ情報を活用したＳｆＭを行うことで、様々な環境の空間で安定的に空間情報を構築することができる。
一方、空間情報の構成は、測定装置の種類によって異なり得る。
例えば、測定装置が単一のカメラのみで構成された場合、事前測定情報はカメラ映像情報で構成され、当該映像情報を活用して、単一のカメラである場合にはピクセル間の相対的距離を、複数のカメラである場合にはピクセル間の絶対距離を予測することができる。
特に、特徴点を抽出しなくても、単一のカメラの場合は、累積した映像情報を活用してピクセルの深さを予測することができ、複数のカメラの場合は、複数のカメラ映像やその累積した映像情報を活用してピクセルの深さを予測することもできる。
さらに、追加の深さ情報、慣性情報などの情報が共に活用される場合、各測定装置の固有の特性に合うように空間情報の処理が可能となり得る。
例えば、慣性測定装置を使用して慣性情報が取得可能な場合、これを活用してスラムの性能を向上させたり、映像情報の処理時に映像取得地点に対する推定（ｐｒｅｄｉｃｔｉｏｎ）情報として用いて、映像取得地点に対する補正（ｃｏｒｒｅｃｔｉｏｎ）がより容易になるようにすることができる。
また、慣性情報の加速度値あるいは角速度値を活用して実際の移動距離を予想することができ、これを、単一のカメラあるいは複数のカメラから抽出された深さ情報の大きさ（ｓｃａｌｅ）を補正するのに活用することもできる。
３次元空間情報を構築するために取得するデータは、現実空間の一部のポーズで取得される。理想的に３次元空間内で全ての位置及び方向でデータを取得すると、３次元空間内の全てのデータを取得することができるが、現実的には不可能であるため、一部のポーズでデータを取得する。
追加のデータを人為的に合成あるいは生成して空間情報として活用することができる。一例として、空間データを取得したポーズ以外のポーズでのデータを作るために、ＮｅＲＦ（Ｎｅｕｒａｌ Ｒａｄｉａｎｃｅ ｆｉｅｌｄｓ）などの技術を用いて人為的なデータを合成又は生成することができる。
また、同じ目的で仮想空間モデルを構築し、モデル内で所望のポーズのデータを合成又は生成することができる。これを通じて、空間データを取得していないポーズでも、空間情報と類似の対応情報を生成することができる。
３次元空間情報には、空間情報を構築する際に用いられたイメージから抽出した特徴（ｆｅａｔｕｒｅ）情報を含むことができる。
特徴情報は、ローカル特徴（ｌｏｃａｌ ｆｅａｔｕｒｅ）情報あるいは特徴点（ｋｅｙｐｏｉｎｔ）情報を含むことができる。
ローカル特徴情報は、ローカル特徴のインデックス（ｉｎｄｅｘ）やＩＤ（ｉｄ）、あるいはイメージ上の位置、あるいは記述語（ｄｅｓｃｒｉｐｔｏｒ）、あるいは３次元空間上の位置、あるいはこれらの組み合わせを含むことができる。
ローカル特徴の記述語は、１次元ベクトルの形態、あるいは２次元マトリックスの形態、あるいはそれ以上の次元のテンソルの形態の情報であってもよい。
それだけでなく、ローカル特徴情報は、ローカル特徴の方向情報、あるいは法線方向、あるいは意味論的（ｓｅｍａｎｔｉｃ）情報などの情報も含むことができる。また、空間情報内の各ローカル特徴、及びこれを観測する１枚以上の複数のイメージ情報を含むことができる。
また、空間情報の特徴情報は、イメージを一つの情報として表現するグローバル特徴（ｇｌｏｂａｌ ｆｅａｔｕｒｅ）を含むことができる。
グローバル特徴は、１次元ベクトルの形態、あるいは２次元マトリックスの形態、あるいはそれ以上の次元のテンソルの形態の情報であってもよい。
グローバル特徴の３次元空間上のポーズは、イメージが取得されたポーズとして示すことができる。
空間情報には、空間情報をなすイメージ間の共可視性（Ｃｏｖｉｓｉｂｉｌｉｔｙ）情報も含むことができる。
共可視性情報は、空間内で観測可能な領域が重なるイメージペアを示す情報であって、各イメージ毎に、観測可能な領域が重なる他のイメージが何かを知らせる情報として活用することができる。
共可視性は、ＳｆＭ又はＳＬＡＭの結果物から導出することができ、３次元空間情報は、事前に構築された情報に追加で取得した空間情報を加えて構築することができ、事前に構築された空間情報を更新して使用することもできる。
本発明は、小さな部屋のサイズの空間だけでなく、空港、大規模複合ショッピングモール、野外道路空間などの大規模空間でもデータを取得し、空間情報を効率的に構築することによって、安定的にポーズの推定を行うことができる。
ポーズの推定時に一般的に用いられる空間情報には特徴情報が含まれるが、このとき、３次元情報が良好に再建されるようにすることが重要である。
一般の再建方法では大規模空間を再建する際に失敗することがあるが、映像取得装置を含め、必要に応じてＬｉＤＡＲのような深さ取得装置を連携して使用することによって、大規模空間の再建が可能となり、さらに効率的かつ正確な情報を空間情報として利用できるようにする。これは、ポーズの推定時にさらに効率的かつ正確な推定が可能なようにするのに寄与する。
本発明は、順次的なイメージ情報を用いてポーズの推定の正確度及びロバスト性を向上させることができる。
順次的なイメージ情報を含め、時間順に取得したユーザ装置のセンサ情報を、個別のイメージ情報及び空間情報と相互に連携して用いることによって、１枚のイメージ情報あるいは単数の情報を通じて得ることができる情報よりも多くの情報を活用できるようになる。
これは、さらに多くの情報を用いて区分可能であり、特別な情報を見つけることができる可能性を高め、環境の変化にロバストなポーズの推定が可能なようにする。
例えば、順次的な情報から変化に敏感な動的オブジェクト／事物／インテリア／照明などのような情報と、変化にロバストな背景／構造物などの情報とを区分し、ロバストな情報を用いたポーズの推定を通じて、ロバスト性及び正確度の向上を図ることができる。
また、１枚のイメージを用いるポーズ推定のように、少ない情報のみを用いたときに生じるポーズ推定の不確実性を克服することができる。
空間情報からユーザ情報と特別に類似した情報を見つけることが、不確実性を減らす方法である。
このとき、１枚のイメージのように単数あるいは少ない数のセンサ情報を通じてポーズの推定を行う際には、類似度が互いに似ている空間情報の間で真の情報を類推し難くなる不確実性が生じるようになる。
しかし、時間順に取得したユーザセンサ情報を活用すれば、類似度が似ている空間情報の間でさらに差があり、類似度の高い情報を類推することができ、不確実性を減らすのに寄与することができる。
また、本発明は、ポーズ推定の成功率及び精度を向上させることができる。精度とは、一定の誤差範囲内に入るポーズ推定の割合として定義することができる。
これは、ユーザが、ポーズ推定が正しいと判断できる根拠となる。本発明は、順次的なイメージを含む時間順に取得した情報を用いるので、不確実性が低く、ロバストなポーズ推定を行えるようになるので、ポーズ推定の成功率及び精度を高めることができる。
したがって、本発明は、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）、複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）でユーザポーズを推定する際、自律走行ロボット、自律走行モビリティなどに対するポーズを推定する際などに活用することができ、当該技術の商用化及び発展に寄与することができる。
図３は、本発明の一実施例に係る相対ポーズ情報に基づくローカルマップと３次元空間情報との相互連携方法を説明する図である。
図３は、本発明の一実施例に係る相対ポーズ情報に基づくローカルマップと３次元空間情報との相互連携方法を例示する。
取得された全てのイメージに対して相対ポーズの推定を行うことができ、キーフレームを選定し、キーフレームに対してのみ相対ポーズの推定を行うことも可能である。
相対ポーズの推定のために、初期に入力されたユーザ情報で初期化を行い、相対座標系の原点及び方向を定義することができる。
累積して時間順に入力されたユーザ情報から特定の情報を基準として相対座標系の原点及び方向を定義し、イメージ間の相対ポーズを定義することもできる。
推定された相対ポーズと距離情報からローカルマップ（ｌｏｃａｌ ｍａｐ）を構成することができる。ローカルマップは、相対ポーズを推定した座標系を基準として構成した３次元点群データ（ＰＣＤ、ｐｏｉｎｔ ｃｌｏｕｄ ｄａｔａ）を含むことができる。
また、点群データの各ポイント（ｐｏｉｎｔ）は、観測されたイメージの情報を含み、当該イメージでのローカル特徴の記述語情報を含むことができる。
また、イメージ間のローカル特徴マッチング情報も含むことができる。その他にも、各ポイントの方向情報、あるいは法線方向、あるいは意味論的（ｓｅｍａｎｔｉｃ）情報などの情報も含むことができる。
図３を参照すると、ローカルマップ３１０は、事前に構築された空間情報３００でデータベースのポイントと相互連携が可能であり、ユーザポーズの推定装置は、相互連携を通じてユーザポーズを推定する際に空間情報３００及びローカルマップ３１０を用いることができる。
また、ローカルマップ３１０を通じて、新たに取得されるユーザの相対ポーズ情報を類推するのに使用することができる。
また、ローカルマップ３１０は、新たに取得されるユーザ情報から拡張あるいは変形されてもよく、または新たに追加されてもよい。
ローカルマップ３１０は、バンドル調整（Ｂｕｎｄｌｅ ａｄｊｕｓｔｍｅｎｔ）技法などでイメージ間の相対ポーズあるいは３次元点群データの位置などを修正、改善することを繰り返して最適化するのに使用され得る。
ローカルマップ３１０での点群データは、イメージ３２０とマッチングされるデータであり得る。
相対ポーズの推定時に用いられた情報を格納した相対ポーズ推定情報には、イメージ間の相対ポーズ情報、あるいはローカルマップ、あるいはフィーチャー（特徴）マッチング情報、あるいはグローバルフィーチャー、あるいはローカルフィーチャー情報、あるいはこれらの組み合わせが含まれてもよい。
ユーザのポーズは、映像取得装置（カメラ）のポーズ、あるいはキャリブレーションされた装置のポーズとして定義され得る。
イメージポーズとは、当該イメージが取得された瞬間の当該イメージを取得したセンサ（カメラなど）のポーズを意味する。
構築された空間情報内でユーザのポーズの推定は、イメージのみを用いて推定することも可能である。
このとき、個別のイメージのみを用いてポーズの推定を行う場合、各イメージ毎のポーズを推定することもでき、順次的なイメージあるいは選別された複数のイメージを用いてポーズの推定を行うことも可能である。
個別のイメージのポーズを推定する際には、計算の効率性のために、空間情報をなすイメージデータと取得されたイメージ情報との類似度を計算し、類似度が高い空間情報のイメージを選別することができる。
例えば、グローバルフィーチャーの類似度、あるいはローカルフィーチャーの類似度、あるいはＳＳＩＭ（ｓｔｒｕｃｔｕｒａｌ ｓｉｍｉｌａｒｉｔｙ ｉｎｄｅｘ）又はこれと類似の方式のイメージ間の類似度、あるいはディープラーニングモデルのレイヤの類似度、あるいはテンソル（ｔｅｎｓｏｒ）の類似度などを計算して類似度を考慮することができる。
類似の空間情報イメージを、同時可視性（ｃｏｖｉｓｉｂｉｌｉｔｙ）情報を通じてイメージクラスタ（Ｃｌｕｓｔｅｒ）を形成することができる。
各イメージクラスタに該当する空間情報の特徴と、取得されたイメージとの特徴マッチングを通じて、空間情報内でのポーズを推定することができる。
または、イメージクラスタを形成せずに、各選別された空間情報内のイメージ毎に取得されたイメージとの特徴マッチングを行ってポーズを推定することもできる。
このとき、クラスタが複数個であるか、選別された空間情報イメージが複数個である場合、推定されたイメージポーズは複数個となり得る。
各ポーズを最終ポーズの候補と見なし、最も適したポーズを選定する過程が含まれ得る。
また、個別のイメージのポーズの推定のために、全空間情報及びその中の特徴情報を全部利用して特徴マッチングを行い、イメージのポーズを推定することもできる。
図４乃至図６は、本発明の一実施例に係る時間順に順次取得される複数のイメージを含むユーザ情報を用いたユーザポーズの推定に対する性能の改善を説明する図である。
図４は、本発明のユーザポーズの推定方法と関連して、１枚のイメージでポーズを推定する際には不確実性が存在することを例示する。
図４を参照すると、ユーザ装置が１枚のイメージ４００をユーザ情報として取得し、ユーザポーズの推定装置がイメージ４００に基づいて第１候補４１０、第２候補４１１及び第３候補４１２を推定し、推定された第１候補４１０、第２候補４１１及び第３候補４１２に対する類似度を計算すると、第１候補４１０、第２候補４１１及び第３候補４１２が全て類似し、ユーザポーズの推定に不確実性が存在することを確認できる。
イメージ４００のみを用いる際には、空間内の類似部分が複数箇所存在する場合、正しいポーズを推定するのが容易でないことがある。
図５は、本発明のユーザポーズの推定方法と関連して、複数枚のイメージでポーズを推定する際には不確実性が解消されることを例示する。
図５を参照すると、ユーザ装置が複数のイメージ５００，５０１，５０２をユーザ情報として取得し、ユーザポーズの推定装置が複数のイメージ５００，５０１，５０２に基づいて第１候補５１０、第２候補５１１及び第３候補５１２を推定し、推定された第１候補５１０、第２候補５１１及び第３候補５１２に対する類似度を計算し、計算された類似度に基づいて、第１候補５１０、第２候補５１１及び第３候補５１２のうち第１候補５１０に対してユーザポーズの推定を確定することを確認できる。
複数のイメージ５００，５０１，５０２は、ユーザ装置が移動するなどの方式を通じて時間順に取得できる複数枚のイメージであって、ユーザポーズの推定に活用され得る。
複数のイメージ５００，５０１，５０２が活用されると、空間情報内のポーズの不確実性を低減し、正しいポーズを推定することができる。
図６は、本発明のユーザポーズの推定方法と関連して、空間情報内で正しいポーズを推定するために複数のイメージを活用することによって、ポーズの正確度及び精度を向上させることを例示する。
図６を参照すると、取得時点が異なるイメージ６００及びイメージ６１０を示し、取得時点の差によりイメージで観測されたオブジェクトや事物、インテリアまたは照明などに変化があった場合、空間情報内で正しいポーズを推定しにくい。
複数のイメージを用いることによって、空間内で変化にさらにロバストな特徴点を探し出し、さらに正確なポーズを推定することができる。
例えば、イメージ６００及びイメージ６１０の差による相対ポーズは、相対ポーズ推定情報として活用され得る。
例えば、相対ポーズ推定情報を活用すれば、複数のイメージを用いることで、１枚のイメージから探し得る空間情報のローカル特徴マッチング情報よりもさらにロバストなマッチング情報を作り出すことができ、ポーズの正確度及び精度を向上させることができる。
順次的なイメージあるいは複数のイメージを用いてポーズを推定する際に、キーフレーム（Ｋｅｙｆｒａｍｅ）を選定し、キーフレームに該当するイメージのみでポーズの推定を行ってもよく、または全てのイメージに対してポーズの推定を行ってもよい。
例えば、時間順に取得されたイメージのうち１枚以上のイメージを用いれば、可能なポーズ候補群もイメージ毎に１個以上存在することができる。
図７は、本発明の一実施例によってポーズ候補推定情報及び相対ポーズ推定情報に基づくポーズ仮説セットを生成して、ユーザポーズを推定する方法を説明する図である。
図７は、本発明の一実施例によってポーズ候補推定情報及び相対ポーズ推定情報に基づくポーズ仮説セットを生成して、ユーザポーズを推定する方法を例示する。
図７を参照すると、本発明の一実施例によれば、ユーザポーズを推定する方法は、相対ポーズ推定情報を活用すれば、複数枚のイメージを用いることで、１枚のイメージから探し得る空間情報のローカル特徴マッチング情報よりもさらにロバストなマッチング情報を作り出すことができ、ポーズの正確度及び精度を向上させることができる。
本発明の一実施例によれば、ユーザポーズを推定する方法は、順次的なイメージ又は複数のイメージを用いてポーズを推定する際に、キーフレームを選定し、キーフレームに該当するイメージのみでポーズの推定を行ってもよく、または全てのイメージに対してポーズの推定を行ってもよい。
ユーザポーズを推定する方法は、時間順に取得されたイメージのうちの少なくとも１つ以上のイメージを用いれば、可能なポーズ候補群もイメージ毎に複数で存在することができる。
すなわち、ユーザポーズを推定する方法は、時間順に取得されたイメージ７００において、イメージＩ１～イメージＩｔ－１毎に複数の候補Ｃを設定する。
複数の候補は、３次元空間モデル及び複数のイメージを用いて設定され得る。
ユーザポーズを推定する方法は、相対ポーズ推定情報を相互に連携して、正しいポーズ候補に対する仮説セットＨを複数として仮説７１０を生成することができる。
一つの仮説セットＨには、１枚以上のイメージから得たポーズ候補、そのときに用いた情報、及び相対ポーズの推定時に用いられた情報を格納又は記憶していてもよい。
仮説７１０に対して新たに取得されるイメージ情報を連携し、各仮説に対する確率を計算するか、あるいは点数化して仮説選定の尺度７２０とし、ユーザポーズ対象７３０に対して最終ポーズ７３１を推定することができる。
例えば、各仮説から推論できる現在のユーザポーズ情報と、ユーザが取得したイメージなどの現在のセンサ情報との相互連携を通じて、仮説が正しい確率あるいは点数を計算することができる。
図８は、本発明の一実施例によって仮説セットを通じてユーザポーズベースのユーザポーズ推定の確率の計算及び数値化を説明する図である。
図８は、本発明の一実施例によって仮説セットを通じてユーザポーズベースのユーザポーズ推定の確率の計算及び数値化を例示する。
図８を参照すると、ユーザセンサ情報及び各仮説を通じて推論できる現在のユーザポーズ情報が正しい確率又は点数を計算することができる。
本発明の一実施例によれば、ユーザポーズの推定装置は、仮説による位置８００を指定し、誤差範囲８０１内で候補８１０を決定し、候補８１０に対してユーザポーズ情報と一致する確率８２０を計算する。
立てられた仮説に基づいて継続して取得するユーザセンサ情報を用いてユーザポーズを予測し、選択的に仮説に含めてユーザポーズ仮説を作ることができる。
また、相対ポーズ推定情報とイメージポーズ推定情報の相互連携時に、マッチング情報あるいはその他のセンサ情報を活用して、ローカルマップ及び相対ポーズ座標系の実測スケール（ｓｃａｌｅ）、あるいは当該仮説に合うスケールを推定することができる。
仮説を作る代わりに、相対ポーズ推定情報、及び個別イメージあるいは選択された１つ以上のイメージのポーズ候補推定情報を通じて、ユーザポーズを推定することもできる。
最終ポーズを推定する前、あるいは最終ポーズを推定した後に、ポーズに対する正確度の改善のために、補正（ｒｅｆｉｎｅｍｅｎｔ）、修正（ｃｏｒｒｅｃｔｉｏｎ）またはアップデート（ｕｐｄａｔｅ）などを行うことができる。
このとき、相対ポーズ推定情報、あるいはローカルマップ情報、あるいはポーズ推定候補情報、あるいはこれらの組み合わせでポーズ改善作業を行うことができる。例えば、相対ポーズ情報を用いて最終ポーズのマッチング情報を更新して、ポーズの正確度を向上させることができる。このようなポーズ改善作業は、１回以上繰り返して行うことも可能である。
時間順に取得されたイメージのうち複数枚のイメージを用いて単一のポーズを推定することができる。例えば、複数枚のイメージを用いて示したローカル特徴、あるいは１つのグローバル特徴、あるいはこれらの組み合わせにより、単一のイメージでポーズを推定することと同一又は類似の方法でポーズを推定することができる。このとき、相対ポーズ推定情報を活用して最終ポーズを選定したり、正確度を改善することができる。
時間順に取得するイメージ情報を活用して最終ポーズを推定するか、または収束性を判断する前まで継続してユーザセンサ情報を取得することができる。
例えば、ユーザのポーズの可能性がある程度収束したと判断すると、最終ポーズを当該収束されたポーズとして選定することができる。
ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）モデル又はニューラルネットワークを活用して、相対ポーズあるいは空間情報内でのポーズを推定することができる。
学習問題の形態によって、強化学習（ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ）、教師あり学習（ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）、教師なし学習（ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）に分けられることができる。
学習段階で訓練データ（ｔｒａｉｎｉｎｇ ｄａｔａ）が必要となり得、訓練データは、映像情報が含まれたデータ、及びそのデータが取得されたポーズが含まれたデータなどで構成され得、学習データの量を増加させるために、前記２種類のデータにノイズ（ｎｏｉｓｅ）を追加したり、データ増強技法を通じてデータを増大及び変形して使用することもできる。
畳み込みニューラルネットワーク（ＣＮＮ）あるいは様々なニューラルネットワークの全体又は一部を使用してもよい。ディープラーニングの結果を用いて、ユーザ情報が取得されたポーズとして予想されるユーザポーズを推定したり、イメージ間の相対ポーズを推定するのに使用することができる。
入力として、ユーザ情報の映像情報を用いることができ、ユーザ付加情報を共に用いることができる。ユーザ付加情報を共に用いる場合、ニューラルネットワークにレイヤ（ｌａｙｅｒ）を追加したり、関数を変化させたり、パラメータ数を調節したり、その値を変更してもよい。
時間順に取得されるユーザ情報を、空間情報をベースとして粒子フィルタ（Ｐａｒｔｉｃｌｅ Ｆｉｌｔｅｒ）、ＥＫＦ．ＥＩＦ、ＵＫＦなどの技法を活用してユーザポーズを推定することができる。
ユーザ付加情報として慣性情報又は距離情報が取得される場合、推定されたユーザポーズを補正することができる。
順次取得されたユーザ情報に応じて、粒子フィルタの値が特定のポーズに収束することができ、このとき、収束された地点をユーザポーズとして推定することができる。ユーザポーズの推定時に、重み（Ｗｅｉｇｈｔ）を付けることができ、多数の収束地点の中でユーザポーズを推定することもできる。
ディープラーニングで推定したポーズと、粒子フィルタなどで推定されたポーズとを融合してユーザポーズを推定することができる。
例えば、ディープラーニングで推定したポーズの周りで粒子フィルタを行ってユーザポーズを推定することができ、反対の方法として、粒子フィルタで収束されたポーズの周りでディープラーニングでユーザポーズを推定することができる。
ユーザポーズの推定時に、重み（Ｗｅｉｇｈｔ）を付けることができ、多数の収束地点の中でユーザポーズを推定することもできる。
ユーザの代わりに車輪型移動ロボットにセンサを取り付けてユーザ情報を取得する場合、ユーザが移動ロボットを操縦するか、移動ロボットが自律走行するか、またはこれらの組み合わせでユーザ情報を取得することができる。
移動ロボットのポーズをユーザポーズとして考慮することができ、移動ロボットとユーザの視野との間の座標変換関係を知っているか、または座標変換が可能であれば、移動ロボットのポーズをユーザポーズに変換させることができる。
移動ロボットは、映像が含まれたユーザ情報だけでなく、モバイルロボットの距離情報（ｏｄｏｍｅｔｒｙ）をユーザ付加情報として取得することができる。前記距離情報を活用してユーザポーズを補正することができる。
順次取得した距離情報を活用して移動ロボットの相対予想ポーズを予測することができ、ＥＫＦ、ＥＩＦ、ＵＫＦなどの技法又は類似の方法を活用して共分散行列（Ｃｏｖａｒｉａｎｃｅ ｍａｔｒｉｘ）などの情報を計算することができ、この情報を更新してユーザポーズを補正することができる。
移動ロボットを利用する場合、移動ロボットの動作、運転、操縦、移動、データの取得、格納及び処理などの関連アルゴリズムは、ロボットオペレーティングシステム（ＲＯＳ、ｒｏｂｏｔ ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）上で行われ得る。
空間情報、深さ－映像連携情報、３次元仮想空間モデル、ユーザ情報、ユーザ付加情報などは、サーバー（Ｓｅｒｖｅｒ）に格納及び処理され得る。
空間情報が取得されると同時に深さ－映像連携情報が構成され、３次元仮想空間モデルが構築され得、ユーザ情報が取得されると同時にユーザポーズをリアルタイムで推定してもよく、遅延（Ｌａｔｅｎｃｙ）があってもよく、ユーザポーズの取得が終わった後に処理されてもよい。
ユーザ情報を先に取得した後に空間情報を後で取得して３次元仮想空間モデルを構築して、ユーザポーズを推定してもよく、３次元仮想空間モデルを構築するための空間情報を先に取得した後にユーザ情報を後で取得してユーザポーズを推定してもよい。
本発明は、センサシステムとコンピュータが融合されたシステムで行われてもよく、または独立したセンサシステムとコンピュータで行われてもよい。
ユーザ情報の取得時に、各測定装置のポーズとユーザセンサシステム全体のポーズとが異なることがあるが、各測定装置及びセンサシステムの座標変換関係を利用して変換が可能である。例えば、ユーザセンサシステムの中心又は適切な位置をユーザポーズとして仮定するか、またはユーザセンサシステムを基準にユーザポーズとして仮定してもよい。
この場合、必要なキャリブレーション情報又はユーザセンサシステムからユーザポーズまでの相対ポーズを知っているか、またはある値として仮定することができる。
図９は、本発明の一実施例によって時間順に順次取得される複数のイメージに基づくデータ活用の例示を説明する図である。
図９は、本発明の一実施例によって時間順に順次取得される複数のイメージに基づくデータ活用を例示する。
図９を参照すると、複数のイメージに基づくデータ活用の例示は、ユーザポーズの推定装置においてさらに豊富な２Ｄ－３Ｄ機能対応、Ｍ１ ｋ及びＭ２ ｋを探すために順次データを活用することを示すことができる。
Ｍ１ ｋは、最終仮説の現在のキーフレームＩｋ及び以前のキーフレームと、単一のイメージを用いたユーザポーズ推定プロセス中に行われたＰｎＰ－ＲＡＮＳＡＣプロセスで見つけた当該３Ｄマップポイントとの間の２Ｄ－２Ｄローカルフィーチャーマッチングを通じて探すことができる。
また、３Ｄマップポイントを観察し、共同可視性クラスタリング（ｃｏｖｉｓｉｂｉｌｉｔｙ ｃｌｕｓｔｅｒｉｎｇ）を繰り返した後、単一のイメージを用いたユーザポーズ推定プロセスと類似した２Ｄ－３Ｄ対応Ｍ２ ｋを探すデータベースイメージを検索する。
データベースに格納された空間情報を示すイメージ９０１が共同可視性クラスタリング９００をなし、イメージ９０１が３次元マップポイント９０２を観察又はマッピングされ、問い合わせイメージＩ１，Ｉ２～ＩＫでのポイント９０３と３次元マップポイント９０２がマッチングされ、仮説セットが生成される。
指示線９１０は、２次元に２次元のマッチングを示し、指示線９１１は、観察（ｏｂｓｅｒｖａｔｉｏｎ）を示すことができ、指示線９１２は、単一のイメージの２次元に３次元を一致（ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ）させることを示すことができ、指示線９１３は、順次的イメージの２次元に３次元を一致させることを示す。
言い換えると、ユーザポーズの推定方法は、空間情報を示すイメージ９０１及び相対ポーズ推定情報と関連する３次元マップポイント９０２を問い合わせイメージＩ１，Ｉ２～ＩＫと相互に連携した仮説を設計する。
ＳｆＭデータベースは、３次元マップポイント９０２に対するデータを提供するため、問い合わせイメージＩ１，Ｉ２～ＩＫを検索するように支援することができる。
検索された全てのイメージを併合し、共同可視性クラスタリングステップを行った。
元のクラスタと交差する場合に基本クラスタが選択され、他のクラスタは無視される反面、キーフレームＩｋのポーズＸｌ ｋを推定する。
選択されたクラスタで検索されたイメージは、グローバルディスクリプタのコサイン距離に応じてフィルタリングされ、使用されたイメージ数がＫ１イメージの１５０％を超えないようにした。
ポーズ推定ステップと同様に、新たに見つけたクラスタとの２Ｄ－３Ｄ対応を探し、対応をＭ２ ｋと表記する。
Ｍ１ ｋとＭ２ ｋの２つの対応セットを結合し、ＲＡＮＳＡＣループでＰｎＰアルゴリズムを適用して最終ポーズＸｋを出力する。
図１０及び図１１は、本発明の一実施例に係る３次元空間におけるユーザポーズの推定方法を説明する図である。
図１０は、本発明の一実施例に係る３次元空間におけるユーザポーズの推定方法に基づいて現実空間内のユーザのポーズを推定する手順を例示する。
図１０を参照すると、ステップ（Ｓ１００１）において、本発明の一実施例に係る３次元空間におけるユーザポーズの推定方法は相対ポーズ推定情報を確認する。
すなわち、本発明の一実施例に係る３次元空間におけるユーザポーズの推定方法は、現実空間で時間順に取得された複数のイメージ間の相対ポーズ推定情報を確認することができる。
ステップ（Ｓ１００２）において、本発明の一実施例に係る３次元空間におけるユーザポーズの推定方法は、相対ポーズ推定情報とポーズ候補推定情報とを相互に連携してユーザポーズを推定する。
すなわち、本発明の一実施例に係る３次元空間におけるユーザポーズの推定方法は、現実空間に対する慣性情報、深さ情報及びイメージ情報のうちの少なくとも１つを含む空間情報を活用して構築された３次元空間モデルを取得し、取得された３次元空間モデルに基づいてポーズ候補推定情報を生成し、生成されたポーズ候補推定情報と確認された相対ポーズ推定情報とを相互に連携してユーザポーズを推定することができる。
したがって、本発明は、順次的なイメージ情報を含め、時間順に取得したユーザ装置のセンサ情報を、個別のイメージ情報及び空間情報と相互に連携して用いることによって、１枚のイメージ情報あるいは単数の情報を通じて得ることができる情報よりも多くの情報を活用することによって、ユーザポーズの推定に対する正確度及びロバスト性を向上させることができる。
図１１は、本発明の一実施例に係る３次元空間におけるユーザポーズの推定方法が順次的なイメージ情報及び３次元空間情報を用いて現実空間内のユーザのポーズを推定する手順を例示する。
図１１を参照すると、ステップ（Ｓ１１０１）において、３次元空間におけるユーザポーズの推定方法は、深さ情報及びイメージ情報を含む空間情報を取得する。
すなわち、３次元空間におけるユーザポーズの推定方法は、現実空間に対する慣性情報、深さ情報及びイメージ情報のうちの少なくとも１つを含む空間情報を取得することができる。
ステップ（Ｓ１１０２）において、３次元空間におけるユーザポーズの推定方法は３次元空間モデルを構築する。
すなわち、３次元空間におけるユーザポーズの推定方法は、ステップ（Ｓ１１０１）で取得された空間情報を活用して、複数の特徴（ｆｅａｔｕｒｅ）に対する３次元情報を含む３次元空間モデルを構築することができる。
ステップ（Ｓ１１０３）において、３次元空間におけるユーザポーズの推定方法は、時間順に複数のイメージを含むユーザ情報を取得する。
すなわち、３次元空間におけるユーザポーズの推定方法は、現実空間でユーザ装置に基づいて時間順に複数のイメージを含むユーザ情報を取得することができる。
ステップ（Ｓ１１０４）において、３次元空間におけるユーザポーズの推定方法は、複数のイメージ間の相対ポーズを推定する。
すなわち、３次元空間におけるユーザポーズの推定方法は、複数のイメージ間の相対ポーズを推定して相対ポーズ推定情報を生成することができる。
ステップ（Ｓ１１０５）において、３次元空間におけるユーザポーズの推定方法は、ポーズ候補推定情報と相対ポーズ推定情報とを相互に連携してユーザポーズを推定する。
すなわち、３次元空間におけるユーザポーズの推定方法は、ステップ（Ｓ１１０２）で構築された３次元空間モデルに基づいてポーズ候補推定情報を生成し、生成されたポーズ候補推定情報と生成された相対ポーズ推定情報とを相互に連携してポーズ仮説セットを生成し、生成されたポーズ仮説セットを用いてユーザポーズを推定することができる。
言い換えると、３次元空間におけるユーザポーズの推定方法は、現実空間に対するユーザポーズの候補を示すポーズ候補推定情報で相対ポーズ推定情報を適用して、イメージが示すフレームでポーズ候補を決定する手順を繰り返し、複数のイメージを用いて決定したポーズ仮説セットを多数で設定した後、設定されたポーズ仮説セットに対する類似度及び確率点数を計算してユーザポーズを推定することができる。
以上で説明された装置は、ハードウェア構成要素、ソフトウェア構成要素、及び／又はハードウェア構成要素とソフトウェア構成要素の組み合わせで実現されてもよい。例えば、実施例で説明された装置及び構成要素は、例えば、プロセッサ、コントローラー、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行し、応答できる他のある装置のように、１つ以上の汎用コンピュータ又は特殊目的のコンピュータを用いて実現されてもよい。処理装置は、運用システム（ＯＳ）及び前記運用システム上で行われる１つ以上のソフトウェアアプリケーションを行うことができる。また、処理装置は、ソフトウェアの実行に応答して、データをアクセス、格納、操作、処理及び生成することもできる。理解の便宜のために、処理装置は、１つが使用されるものとして説明された場合もあるが、当該技術分野における通常の知識を有する者は、処理装置が複数個の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数タイプの処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサ又は１つのプロセッサ及び１つのコントローラーを含むことができる。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成（ｐｒｏｃｅｓｓｉｎｇ ｃｏｎｆｉｇｕｒａｔｉｏｎ）も可能である。
ソフトウェアは、コンピュータプログラム（ｃｏｍｐｕｔｅｒ ｐｒｏｇｒａｍ）、コード（ｃｏｄｅ）、命令（ｉｎｓｔｒｕｃｔｉｏｎ）、またはこれらのうちの１つ以上の組み合わせを含むことができ、望む通りに動作するように処理装置を構成したり、独立して又は結合的に（ｃｏｌｌｅｃｔｉｖｅｌｙ）処理装置に命令することができる。ソフトウェア及び／又はデータは、処理装置によって解釈されたり、処理装置に命令又はデータを提供するために、あるタイプの機械、構成要素（ｃｏｍｐｏｎｅｎｔ）、物理的装置、仮想装置（ｖｉｒｔｕａｌ ｅｑｕｉｐｍｅｎｔ）、コンピュータ格納媒体又は装置、あるいは伝送される信号波（ｓｉｇｎａｌ ｗａｖｅ）に永久的に、または一時的に具体化（ｅｍｂｏｄｙ）されてもよい。ソフトウェアは、ネットワークで接続されたコンピュータシステム上に分散され、分散された方法で格納又は実行されてもよい。ソフトウェア及びデータは、一つ以上のコンピュータで読み取り可能な記録媒体に格納されてもよい。
以上のように、実施例を限定された図面によって説明したが、当該技術分野における通常の知識を有する者であれば、前記の記載から様々な修正及び変形が可能である。例えば、説明された技術が説明された方法と異なる順序で行われたり、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられたり、他の構成要素又は均等物によって代替又は置換されたりしても適切な結果が達成され得る。
したがって、他の具現、他の実施例及び特許請求の範囲と均等なものも、添付の特許請求の範囲の範囲に属する。

Claims (14)

  1. 現実空間で時間順に取得された複数のイメージ間の相対ポーズ推定情報を確認する相対ポーズ確認部と、
    前記現実空間に対する慣性情報、深さ情報及びイメージ情報のうちの少なくとも１つを含む空間情報を活用して構築された３次元空間モデルを取得し、前記取得された３次元空間モデルに基づいてポーズ候補推定情報を生成し、前記生成されたポーズ候補推定情報と前記取得された相対ポーズ推定情報とを相互に連携してユーザポーズを推定するユーザポーズ推定部と、を含むことを特徴とする、３次元空間におけるユーザポーズの推定装置。
  2. 前記ユーザポーズ推定部は、前記３次元空間モデルをなす前記イメージ情報と前記複数のイメージとの間の類似度を計算し、前記計算された類似度に基づいてイメージクラスタを構成し、前記イメージクラスタに該当する複数の特徴と前記複数のイメージのいずれか１つのイメージの特徴とをマッチングし、各クラスタ毎に特徴マッチングを通じて推定したポーズからポーズ候補を生成し、前記生成されたポーズ候補に対する前記ポーズ候補推定情報を生成することを特徴とする、請求項１に記載の３次元空間におけるユーザポーズの推定装置。
  3. 前記ユーザポーズ推定部は、前記相対ポーズ推定情報と前記ポーズ候補推定情報とを相互に連携してポーズ仮説セットを生成し、前記生成されたポーズ仮説セットから確率及び／又は点数を算出し、前記算出された確率及び／又は点数に基づいて前記ユーザポーズを推定することを特徴とする、請求項１に記載の３次元空間におけるユーザポーズの推定装置。
  4. 前記ユーザポーズ推定部は、前記相対ポーズ推定情報に基づくローカルマップ情報、及び前記ポーズ候補推定情報に基づく特徴マッチング情報を用いて、ローカルマップの実測比率であるスケール（ｓｃａｌｅ）仮説を確立し、前記確立されたスケール仮説に対して前記複数のイメージ毎に収束性を考慮してポーズ仮説セットを生成することを特徴とする、請求項３に記載の３次元空間におけるユーザポーズの推定装置。
  5. 前記ユーザポーズ推定部は、前記複数のイメージのうち第１イメージに対する複数のポーズ候補のいずれか１つのポーズ候補を選択し、第２イメージに対する複数のポーズ候補のいずれか１つのポーズ候補を選択し、最後のイメージに対する複数のポーズ候補のいずれか１つのポーズ候補を選択した第１ポーズ仮説セットを生成し、前記第１イメージに対する複数のポーズ候補の前記いずれか１つのポーズ候補と異なるポーズ候補を選択し、前記第２イメージに対する複数のポーズ候補の前記いずれか１つのポーズ候補と異なるポーズ候補を選択し、前記最後のイメージに対する複数のポーズ候補の前記いずれか１つのポーズ候補と異なるポーズ候補を選択した第２ポーズ仮説セットを生成することを特徴とする、請求項４に記載の３次元空間におけるユーザポーズの推定装置。
  6. 前記空間情報は、深さ測定装置、映像取得装置、無線通信装置、慣性装置、及び位置情報測定装置のうちの少なくとも１つを用いて取得されることを特徴とする、請求項１に記載の３次元空間におけるユーザポーズの推定装置。
  7. 前記３次元空間モデルは、前記空間情報を取得した装置のポーズ又は３次元点群データを再建し、前記複数の特徴に含まれたイメージを情報化して表現するグローバル特徴、特徴点情報を含むローカル特徴、及び３次元情報を用い、
    前記３次元情報は、３次元位置、方向、法線方向及び意味論的種類の情報のうちの少なくとも１つを含むことを特徴とする、請求項２に記載の３次元空間におけるユーザポーズの推定装置。
  8. 前記相対ポーズ推定情報は、前記複数のイメージ間の特徴点情報であるローカル特徴を活用して構成された３次元ローカルマップに基づいて、前記複数のイメージから相対ポーズが推定され、相対座標系の原点及び方向が定義され、前記複数のイメージに対して選別されたキーフレームに対して選択的に相対ポーズが推定されて生成されることを特徴とする、請求項１に記載の３次元空間におけるユーザポーズの推定装置。
  9. 相対ポーズ確認部において、現実空間で時間順に取得された複数のイメージ間の相対ポーズ推定情報を確認するステップと、
    ユーザポーズ推定部において、前記現実空間に対する慣性情報、深さ情報及びイメージ情報のうちの少なくとも１つを含む空間情報を活用して構築された３次元空間モデルを取得し、前記取得された３次元空間モデルに基づいてポーズ候補推定情報を生成し、前記生成されたポーズ候補推定情報と前記確認された相対ポーズ推定情報とを相互に連携してユーザポーズを推定するステップとを含むことを特徴とする、３次元空間におけるユーザポーズの推定方法。
  10. 前記ユーザポーズを推定するステップは、
    前記３次元空間モデルをなす前記イメージ情報と前記複数のイメージとの間の類似度を計算し、前記計算された類似度に基づいてイメージクラスタを構成し、前記イメージクラスタに該当する複数の特徴と前記複数のイメージのいずれか１つのイメージの特徴とをマッチングし、各クラスタ毎に特徴マッチングを通じて推定したポーズからポーズ候補を生成し、前記生成されたポーズ候補に対する前記ポーズ候補推定情報を生成するステップを含むことを特徴とする、請求項９に記載の３次元空間におけるユーザポーズの推定方法。
  11. 前記ユーザポーズを推定するステップは、
    前記相対ポーズ推定情報及び前記ポーズ候補推定情報に基づいてポーズ仮説セットを生成し、前記生成されたポーズ仮説セットから確率及び／又は点数を算出し、前記算出された確率及び／又は点数に基づいて前記ユーザポーズを推定するステップを含むことを特徴とする、請求項９に記載の３次元空間におけるユーザポーズの推定方法。
  12. 前記ユーザポーズを推定するステップは、
    前記相対ポーズ推定情報に基づくローカルマップ情報、及び前記ポーズ候補推定情報に基づく特徴マッチング情報を用いて、ローカルマップの実測比率であるスケール（ｓｃａｌｅ）仮説を確立し、前記確立されたスケール仮説に対して前記複数のイメージ毎に収束性を考慮してポーズ仮説セットを生成するステップを含むことを特徴とする、請求項１１に記載の３次元空間におけるユーザポーズの推定方法。
  13. 前記ポーズ仮説セットを生成するステップは、
    前記複数のイメージのうち第１イメージに対する複数のポーズ候補のいずれか１つのポーズ候補を選択し、第２イメージに対する複数のポーズ候補のいずれか１つのポーズ候補を選択し、最後のイメージに対する複数のポーズ候補のいずれか１つのポーズ候補を選択した第１ポーズ仮説セットを生成し、前記第１イメージに対する複数のポーズ候補の前記いずれか１つのポーズ候補と異なるポーズ候補を選択し、前記第２イメージに対する複数のポーズ候補の前記いずれか１つのポーズ候補と異なるポーズ候補を選択し、前記最後のイメージに対する複数のポーズ候補の前記いずれか１つのポーズ候補と異なるポーズ候補を選択した第２ポーズ仮説セットを生成するステップを含むことを特徴とする、請求項１２に記載の３次元空間におけるユーザポーズの推定方法。
  14. 前記相対ポーズ推定情報は、前記複数のイメージ間の特徴点情報であるローカル特徴を活用して構成された３次元ローカルマップに基づいて、前記複数のイメージから相対ポーズが推定され、相対座標系の原点及び方向が定義され、前記複数のイメージに対して選別されたキーフレームに対して選択的に相対ポーズが推定されて生成されることを特徴とする、請求項９に記載の３次元空間におけるユーザポーズの推定方法。
JP2023208694A 2023-04-19 2023-12-11 ３次元空間におけるユーザポーズの推定装置及び方法 Pending JP2024155703A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2023-0051461 2023-04-19
KR1020230051461A KR20240155417A (ko) 2023-04-19 2023-04-19 3차원 공간에서 사용자 포즈 추정 장치 및 방법

Publications (1)

Publication Number Publication Date
JP2024155703A true JP2024155703A (ja) 2024-10-31

Family

ID=93121706

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023208694A Pending JP2024155703A (ja) 2023-04-19 2023-12-11 ３次元空間におけるユーザポーズの推定装置及び方法

Country Status (3)

Country Link
US (1) US20240354989A1 (ja)
JP (1) JP2024155703A (ja)
KR (1) KR20240155417A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102883499B1 (ko) * 2025-02-24 2025-11-11 주식회사 액트노바 행동 실험 포즈 추정을 위한 실시간 사용자 데이터를 반영하기 위한 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021531524A (ja) * 2019-06-14 2021-11-18 高麗大学校産学協力団Korea University Research And Business Foundation ３次元仮想空間モデルを利用したユーザポーズ推定方法および装置
JP2022134119A (ja) * 2021-03-02 2022-09-14 ネイバーラボス コーポレーション ３次元マップ生成方法及びシステム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL280983B (en) 2016-06-30 2022-07-01 Magic Leap Inc Pose assessment in three-dimensional space
KR102559203B1 (ko) 2018-10-01 2023-07-25 삼성전자주식회사 포즈 정보를 출력하는 방법 및 장치
KR20210087680A (ko) 2020-01-03 2021-07-13 네이버 주식회사 입력 영상에 포함된 객체의 3차원 포즈를 추정하기 위한 데이터를 생성하는 방법 및 장치와 3차원 포즈 추정을 위한 추론 모델
CN113228135B (zh) * 2021-03-29 2022-08-26 华为技术有限公司 一种盲区图像获取方法及相关终端装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021531524A (ja) * 2019-06-14 2021-11-18 高麗大学校産学協力団Korea University Research And Business Foundation ３次元仮想空間モデルを利用したユーザポーズ推定方法および装置
JP2022134119A (ja) * 2021-03-02 2022-09-14 ネイバーラボス コーポレーション ３次元マップ生成方法及びシステム

Also Published As

Publication number Publication date
US20240354989A1 (en) 2024-10-24
KR20240155417A (ko) 2024-10-29

Similar Documents

Publication Publication Date Title
Sarlin et al. Back to the feature: Learning robust camera localization from pixels to pose
Labbé et al. Cosypose: Consistent multi-view multi-object 6d pose estimation
Walch et al. Image-based localization using lstms for structured feature correlation
CN109166149B (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
CN106127739B (zh) 一种结合单目视觉的rgb-d slam方法
CN107990899B (zh) 一种基于slam的定位方法和系统
CN106679648B (zh) 一种基于遗传算法的视觉惯性组合的slam方法
WO2022188094A1 (zh) 一种点云匹配方法及装置、导航方法及设备、定位方法、激光雷达
CN107980150B (zh) 对三维空间建模
WO2025190241A1 (zh) 一种灾害环境下北斗多源融合定位方法
JP5012615B2 (ja) 情報処理装置、および画像処理方法、並びにコンピュータ・プログラム
CN112634451A (zh) 一种融合多传感器的室外大场景三维建图方法
JP2019207678A (ja) 低速特徴からのメトリック表現の教師なし学習
WO2020063878A1 (zh) 一种处理数据的方法和装置
JP7138361B2 (ja) ３次元仮想空間モデルを利用したユーザポーズ推定方法および装置
KR20100073077A (ko) 광역 이동을 고려한 실시간 카메라 트래킹 장치 및 방법
US10977810B2 (en) Camera motion estimation
CN119126147A (zh) 一种无人机-无人车协同系统中的实时相对位姿估计方法
Liu et al. A low-cost and scalable framework to build large-scale localization benchmark for augmented reality
CN115218906A (zh) 面向室内slam的视觉惯性融合定位方法及系统
CN120266160A (zh) 基于神经网络的定位
Ishihara et al. Deep radio-visual localization
Liu et al. Accurate real-time visual SLAM combining building models and GPS for mobile robot
Zach et al. Self-Supervised Deep Visual Stereo Odometry with 3D-Geometric Constraints
US20240354989A1 (en) Apparatus and method for estimating user pose in three-dimensional space

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231211

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20231221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250204

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20250424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250602

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20251219

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20260127