JP7103354B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP7103354B2
JP7103354B2 JP2019519494A JP2019519494A JP7103354B2 JP 7103354 B2 JP7103354 B2 JP 7103354B2 JP 2019519494 A JP2019519494 A JP 2019519494A JP 2019519494 A JP2019519494 A JP 2019519494A JP 7103354 B2 JP7103354 B2 JP 7103354B2
Authority
JP
Japan
Prior art keywords
light
unit
estimation
projected
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019519494A
Other languages
English (en)
Other versions
JPWO2018216342A1 (ja
Inventor
彰彦 貝野
公志 江島
太記 山中
俊一 本間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2018216342A1 publication Critical patent/JPWO2018216342A1/ja
Application granted granted Critical
Publication of JP7103354B2 publication Critical patent/JP7103354B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/507—Depth or shape recovery from shading
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
コンピュータビジョン分野において、「ＳＬＡＭ（Simultaneous Localization and Mapping）」、「ＩＣＰ（Iterative Closest Point）」、「Visual Odometry」等のようなデバイスの自己位置推定技術や、「Multiview Stereo」、「Structure from Motion」等のような周辺環境構造の３Ｄモデリング技術が注目されている。これらの技術を実現するうえでは、所定の装置から当該装置の周辺環境における対象点までの距離（デプス情報）を安定して推定可能とすることは重要な要素技術である。特に近年では、デプス情報を取得するためのデバイスとして、「Structured Light」、「Patterned Light」、「Time of Flight」等のようなアクティブ照射方式を採用した安価なデプスセンサが普及しつつある。なお、特許文献１には、関連技術として、検出エリアに対して投光手段から光を投光し、当該光を受光手段で受光することにより、当該検出エリアに位置する検出物体を検出する技術の一例が開示されている。
また、イメージセンサ、ジャイロセンサ、及び加速度センサ等の各種センシングデバイスや、ＣＰＵやＧＰＵ等の計算デバイスを利用することで、自己位置推定や３Ｄモデリングの処理精度やロバスト性を向上させることが可能となってきている。そのため、上記自己位置推定技術や上記３Ｄモデリング技術の実用的な応用範囲も広がりつつあり、特に近年では、移動体機器やモバイル機器等への応用も検討されている。
特開２００３－１９４９６２号公報
ところで、アクティブ照射方式を採用したデプスセンサの測距範囲及び測距精度は、光を照射（投光）するデバイスのパワーに依存する傾向にあり、対象となる物体との間の距離推定の安定化に伴い消費電力がより増大する場合がある。特に、移動体機器やモバイル機器のように利用可能な電力量が限られている装置においては、消費電力の増大に伴う影響がより顕著に表れる。このような背景から、アクティブ照射方式を採用する場合において、対象となる物体との間の距離推定の安定化と、消費電力の抑制と、を両立することが可能な技術の実現が求められている。
そこで、本開示では、対象となる物体との間の距離推定の安定化と、消費電力の抑制と、を両立することが可能な、情報処理装置、情報処理方法、及びプログラムを提案する。
本開示によれば、所定の投光部から実空間上の物体に向けて投光され、当該物体で反射した光の検出結果に基づき、所定の視点と当該物体との間の距離を推定する第１の推定部と、前記距離の推定結果に基づき、前記所定の視点の実空間上における位置及び姿勢のうち少なくともいずれかを推定する第２の推定部と、前記位置及び前記姿勢のうち少なくともいずれかの推定に関する状況に応じて、前記投光部から投光される前記光を制御する制御部と、を備える、情報処理装置が提供される。
また、本開示によれば、コンピュータが、所定の投光部から実空間上の物体に向けて投光され、当該物体で反射した光の検出結果に基づき、所定の視点と当該物体との間の距離を推定することと、前記距離の推定結果に基づき、前記所定の視点の実空間上における位置及び姿勢のうち少なくともいずれかを推定することと、前記位置及び前記姿勢のうち少なくともいずれかの推定に関する状況に応じて、前記投光部から投光される前記光を制御することと、を含む、情報処理方法が提供される。
また、本開示によれば、コンピュータに、所定の投光部から実空間上の物体に向けて投光され、当該物体で反射した光の検出結果に基づき、所定の視点と当該物体との間の距離を推定することと、前記距離の推定結果に基づき、前記所定の視点の実空間上における位置及び姿勢のうち少なくともいずれかを推定することと、前記位置及び前記姿勢のうち少なくともいずれかの推定に関する状況に応じて、前記投光部から投光される前記光を制御することと、を実行させる、プログラムが提供される。
以上説明したように本開示によれば、対象となる物体との間の距離推定の安定化と、消費電力の抑制と、を両立することが可能な、情報処理装置、情報処理方法、及びプログラムが提供される。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理システム概略的なシステム構成の一例を示した図である。 同本実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。 ３次元空間モデルの生成及び更新に係る新規領域及び新規視点について説明するための説明図である。 同実施形態に係る情報処理システムの一連の処理の流れの一例を示したフローチャートである。 同実施形態に係る情報処理システムの一連の処理の流れの一例を示したフローチャートである。 投光部の平均諸費電力と測距における誤差との間の関係についてのシミュレーション結果の一例を示した図である。 測距範囲に応じて測距に要求される条件の一例について説明するための説明図である。 光の照射角に応じた深度と水平方向の照射範囲との間の関係の一例を示した図である。 光の照射角と消費電力との間の関係の一例を示した図である。 変形例に係る情報処理システムの概要について説明するための説明図である。 変形例に係る情報処理システムの概要について説明するための説明図である。 変形例に係る情報処理システムの概要について説明するための説明図である。 本開示の一実施形態に係る情報処理システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．概略構成
２．アクティブ照射方式を採用したデプス推定に関する検討
３．技術的特徴
３．１．機能構成
３．２．処理
３．３．実施例
３．４．変形例
４．ハードウェア構成
５．むすび
＜＜１．概略構成＞＞
まず、図１を参照して、本開示の一実施形態に係る情報処理システムの概略的なシステム構成の一例について説明する。図１は、本実施形態に係る情報処理システム概略的なシステム構成の一例を示した図である。
図１に示すように、本実施形態に係る情報処理システム１は、実空間上における位置や姿勢の推定の対象となる移動体２００と、情報処理装置１００とを含む。情報処理装置１００と移動体２００とは、例えば、所定のネットワークを介して互いに情報を送受信可能に構成されている。なお、情報処理装置１００と移動体２００とを接続するネットワークの種別は特に限定されない。具体的な一例として、当該ネットワークＮ１は、ＬＴＥ、Ｗｉ－Ｆｉ（登録商標）等の規格に基づくネットワークのような、所謂無線のネットワークにより構成されていてもよい。また、当該ネットワークＮ１は、インターネット、専用線、ＬＡＮ（Local Area Network）、または、ＷＡＮ（Wide Area Network）等により構成されていてもよい。また、当該ネットワークＮ１は、複数のネットワークを含んでもよく、少なくとも一部が有線のネットワークとして構成されていてもよい。
また、図１において、参照符号ｍ１１１及びｍ１１２は、実空間上に位置する物体を模式的に示している。なお、以降では、実空間上に位置する物体を「実オブジェクト」とも称する。
移動体２００は、前述したように、実空間上における位置や姿勢の推定の対象となる物体に相当する。移動体２００の具体的な一例として、メガネ型のウェアラブルデバイスのようにユーザに装着されて使用される装置、スマートフォン等のように携行可能に構成された装置、及び、車両等のような移動可能に構成された装置（移動体）等が挙げられる。
移動体２００は、所謂自己位置推定の技術に基づき、当該移動体２００の実空間上における位置や姿勢の推定に利用する情報を取得するための各種デバイスを備える。例えば、図１に示すように、本実施形態に係る移動体２００は、デプスセンサ２１０と、撮像部２３０とを含む。デプスセンサ２１０及び撮像部２３０のそれぞれは、移動体２００の筐体に保持されてもよい。
デプスセンサ２１０は、所定の視点と実空間上に位置する物体との間の距離（換言すると、移動体２００と当該物体との間の距離）を推定するための情報を取得し、取得した当該情報を情報処理装置１００に送信する。なお、以降の説明では、所定の視点と実空間上に位置する物体との間の距離を示す情報を、「デプス情報」とも称する。
特に、本実施形態に係る情報処理システム１においては、デプスセンサ２１０は、アクティブ照射方式を採用したデプスセンサとして構成されている。そのため、例えば、デプスセンサ２１０は、実空間上の物体に向けて光を投光する投光部２１３と、投光部２１３から投光され当該物体（例えば、図１に示すオブジェクトｍ１１１及びｍ１１２等）で反射した光を検出する検出部２１１とを含む。投光部２１３としては、所定の波長の光を投光する光源を適用することが可能である。また、当該投光部２１３は、例えば、光を投光するタイミング、光の照射範囲、光の照射方向等を制御可能に構成されていてもよい。また、検出部２１１としては、例えば、所定の波長の光（より具体的には、投光部２１３から投光される光）を検出可能なイメージセンサや光電センサ等を適用することが可能である。
撮像部２３０は、移動体２００に対して所定の方向に位置する実空間上の領域の画像を撮像し、撮像した画像を情報処理装置１００に送信する。
なお、撮像部２３０は、デプスセンサ２１０による情報の取得対象となる領域（即ち、物体との距離推定の対象となる領域）のうち少なくとも一部の領域の画像を撮像可能に構成されているとよい。即ち、デプスセンサ２１０による情報の取得対象とする領域（以下、「検出領域」とも称する）と、撮像部２３０により画像が撮像される領域（以下、「撮像領域」とも称する）と、が互いに少なくとも一部が重畳するように、移動体２００の筐体に対して、当該撮像部２３０及び当該デプスセンサ２１０が保持されるとよい。
情報処理装置１００は、例えば、サーバ等として構成され得る。情報処理装置１００は、デプスセンサ２１０により取得された情報（即ち、物体との距離推定のための情報）と、撮像部２３０により撮像された画像と、のそれぞれを、所定のネットワークを介して移動体２００から取得する。そして、情報処理装置１００は、例えば、取得した当該情報及び当該画像を入力として、自己位置推定技術に基づき、移動体２００の実空間上における位置や姿勢を推定する。また、情報処理装置１００は、取得した当該情報及び当該画像を入力として、３Ｄモデリング技術に基づき、移動体２００の周辺の実空間に存在する物体（実オブジェクト）の位置、姿勢、及び形状等を３次元的なモデル（以降では、「３次元空間モデル」とも称する）として再現してもよい。
なお、自己位置推定技術としては、例えば、「ＳＬＡＭ（Simultaneous Localization and Mapping）」、「ＩＣＰ（Iterative Closest Point）」、「Visual Odometry」等が挙げられる。ここで、ＳＬＡＭと称される技術について概要を以下に説明する。
ＳＬＡＭとは、カメラ等の撮像部、各種センサ、エンコーダ等を利用することにより、自己位置推定と環境地図の作成とを並行して行う技術である。より具体的な一例として、ＳＬＡＭ（特に、Ｖｉｓｕａｌ ＳＬＡＭ）では、撮像部により撮像された動画像に基づき、撮像されたシーン（または、被写体）の３次元形状を逐次的に復元する。そして、撮像されたシーンの復元結果を、撮像部の位置及び姿勢の検出結果と関連付けることで、周囲の環境の地図の作成と、当該環境における撮像部の位置及び姿勢の推定とが行われる。なお、撮像部の位置及び姿勢については、例えば、当該撮像部が保持された装置に加速度センサや角速度センサ等の各種センサを設けることで、当該センサの検出結果に基づき相対的な変化を示す情報として推定することが可能である。もちろん、撮像部の位置及び姿勢を推定可能であれば、その方法は、必ずしも加速度センサや角速度センサ等の各種センサの検知結果に基づく方法のみには限定されない。
また、デバイスの周辺環境構造を３次元空間モデルとして再現する３Ｄモデリング技術としては、例えば、「Multiview Stereo」、「Structure from Motion」等が挙げられる。
なお、上述した構成はあくまで一例であり、本実施形態に係る情報処理システム１のシステム構成は、必ずしも図１に示す例のみには限定されない。具体的な一例として、移動体２００と情報処理装置１００とが一体的に構成されていてもよい。また、デプスセンサ２１０及び撮像部２３０のうち、少なくとも一部が移動体２００の外部に設けられていてもよい。また、図１に示す例では、デプスセンサ２１０と撮像部２３０とを個別に示しているが、一方が他方の機能を兼ねてもよい。具体的な一例として、撮像部２３０が、所謂カメラとして構成されることで、デプスセンサ２１０としての機能を兼ね備えていてもよい。
以上、図１を参照して、本開示の一実施形態に係る情報処理システムの概略的なシステム構成の一例について説明した。
＜＜２．アクティブ照射方式を採用したデプス推定に関する検討＞＞
続いて、本実施形態に係る情報処理システムの特徴をよりわかりやすくするために、アクティブ照射方式を採用したデプス推定につい概要を説明したうえで、本実施形態に係る情報処理システムの課題について整理する。
上述した自己位置推定技術や周辺環境構造の３Ｄモデリング技術を実現するうえで、所定の装置（例えば、移動体２００）から当該装置の周辺環境における対象点までの距離（デプス情報）を安定して推定可能とすることは重要な要素技術である。このような、デプス情報を安定して推定可能とする技術の一例として、「Structured Light」、「Patterned Light」、「Time of Flight」等のように、アクティブ照射方式を採用したデプス推定の技術が挙げられる。具体的には、アクティブ照射方式を採用したデプス推定においては、実空間上の物体に対して光を照射し、当該物体で反射した反射光を検出することで、当該物体との間の距離を推定する。
特に、近年では、アクティブ照射方式を採用した安価なデプスセンサが普及してきている。また、イメージセンサ、ジャイロセンサ、及び加速度センサ等の各種センシングデバイスや、ＣＰＵやＧＰＵ等の計算デバイスを利用することで、自己位置推定や３Ｄモデリングの処理精度やロバスト性を向上させることが可能となってきている。このような背景から、上記自己位置推定技術や上記３Ｄモデリング技術の実用的な応用範囲も広がりつつある。これらの技術の主な応用先の具体的な一例としては、自動車、ドローン、ロボットなどに代表される移動体の自律制御が挙げられる。また、他の一例として、スマートフォン、タブレット、ヘッドマウントディスプレイ等を利用したＶＲ（Virtual Reality）やＡＲ（Augmented Reality）の実現にも応用されている。
一方で、アクティブ照射方式を採用する場合には、物体への光の投光が伴わないパッシブ方式を採用する場合に比べて消費電力が増大する傾向にある。また、照射型のデプスセンサの測距範囲及び測距精度は、光を照射（投光）するデバイスのパワーに依存する傾向にあり、測距範囲及び測距精度をより向上させる場合には、比例して消費電力も増大することとなる。特に、移動体機器やモバイル機器のように利用可能な電力量が限られている装置においては、消費電力の増大に伴う影響がより顕著に表れる。
以上のような状況を鑑み、本開示では、アクティブ照射方式を採用する場合において、対象となる物体との間の距離推定の安定化と、消費電力の抑制と、の両立を可能とする技術について提案する。以降では、本実施形態に係る情報処理システム１の技術的特徴についてより詳しく説明する。
＜＜３．技術的特徴＞＞
以下に、本実施形態に係る情報処理システム１の技術的特徴について説明する。
＜３．１．機能構成＞
まず、図２を参照して、本実施形態に係る情報処理システム１の機能構成の一例について、特に、情報処理装置１００の構成に着目して説明する。図２は、本実施形態に係る情報処理システム１の機能構成の一例を示したブロック図である。
図２に示すように、本実施形態に係る情報処理システム１は、情報処理装置１００と、デプスセンサ２１０と、撮像部２３０と、記憶部１８０と、制御メモリ１９０とを含む。なお、デプスセンサ２１０及び撮像部２３０は、図１を参照して前述したデプスセンサ２１０及び撮像部２３０に相当するため、詳細な説明は省略する。
記憶部１８０は、各種データを、一時的または恒常的に記憶するための記憶領域である。
制御メモリ１９０は、情報処理装置１００が、デプスセンサ２１０の動作を制御するために、各種制御情報を書き込むための記憶領域である。即ち、デプスセンサ２１０は、制御メモリ１９０に書き込まれた制御情報（例えば、トリガ等）に基づき、実空間上の物体との距離推定のための情報の取得に係る動作を切り替える。これにより、情報処理装置１００は、制御メモリ１９０を介して、デプスセンサ２１０の動作を制御することが可能となる。
次いで、情報処理装置１００の構成について説明する。図２に示すように、情報処理装置１００は、デプス推定部１１０と、自己位置推定部１２０と、判定部１３０と、トリガ生成部１４０とを含む。
デプス推定部１１０は、デプスセンサ２１０による検出結果に応じた情報を当該デプスセンサ２１０から取得し、取得した当該情報に基づき、所定の視点と実空間上に位置する物体との間の距離を推定する。
具体的な一例として、デプスセンサ２１０がＴＯＦ方式を採用している場合には、実空間上に位置する物体に対して赤外線等の光が投光され、投稿した光が当該被写体で反射して戻るまでの時間がイメージセンサの画素ごとに測定される。これにより、デプス推定部１１０は、画素ごとに測定された当該時間に応じて、当該画素に対応する被写体（即ち、上記物体）までの距離を測定することが可能となる。
また、他の一例として、デプスセンサ２１０がStructured Light方式を採用している場合には、実空間上に位置する物体に対して赤外線等の光によりパターンが照射され、当該パターンが画像として撮像される。これにより、デプス推定部１１０は、撮像結果から得られる当該パターンの変化に基づき、被写体（即ち、上記物体）までの距離を、イメージセンサの画素ごとに測定することが可能となる。
以上のような構成に基づき、デプス推定部１１０は、所定の視点と実空間上に位置する物体との間の距離の推定結果が撮像平面にマッピングされたデプスマップを生成し、生成した当該デプスマップを自己位置推定部１２０（特徴点抽出部１２２）に出力する。また、デプス推定部１１０は、生成した当該デプスマップを後述する判定部１３０（モデル形状判定部１３３）に出力してもよい。なお、デプス推定部１１０が、「第１の推定部」の一例に相当する。
自己位置推定部１２０は、所定の対象の実空間上における位置及び姿勢のうち少なくともいずれかを推定する。なお、本説明では、便宜上、自己位置推定部１２０は、図１に示す、筐体に対してデプスセンサ２１０及び撮像部２３０が保持された移動体２００の、実空間上における位置及び姿勢を推定するものとする。また、自己位置推定部１２０が、「第２の推定部」の一例に相当する。
図２に示すように、自己位置推定部１２０は、コーナー点検出部１２１と、特徴点抽出部１２２と、マッチング処理部１２３と、姿勢評価部１２４と、３次元モデル更新部１２５と、予測部１２６とを含む。
コーナー点検出部１２１は、撮像部２３０により撮像された画像（即ち、実空間の画像）を、当該撮像部２３０から取得する。コーナー点検出部１２１は、例えば、取得した画像に対して画像解析処理を施すことで当該画像からテクスチャ情報を抽出し、抽出した当該テクスチャ情報に基づき当該画像からコーナー点を検出する。なお、コーナー点とは、複数のエッジの交点に相当し、換言すると、ある局所近傍において方向の異なる複数の際立ったエッジが存在するような点と定義することも可能である。そして、コーナー点検出部１２１は、取得した画像からのコーナー点の検出結果を示す情報を特徴点抽出部１２２に出力する。
特徴点抽出部１２２は、デプス推定部１１０からデプスマップを取得する。また、特徴点抽出部１２２は、コーナー点検出部１２１からコーナー点の検出結果を示す情報を取得する。特徴点抽出部１２２は、検出されたコーナー点のそれぞれに対して、取得したデプスマップから対応する距離の測定結果を示す情報（換言すると、デプス情報）を抽出して対応付けることで、３次元的な位置情報を有する特徴点を規定する。以上のようにして、撮像部２３０により撮像された画像から特徴点が抽出される。そして、特徴点抽出部１２２は、特徴点の抽出結果を示す情報を３次元モデル更新部１２５に出力する。
３次元モデル更新部１２５は、特徴点抽出部１２２から特徴点の抽出結果を示す情報を取得する。３次元モデル更新部１２５は、取得した当該情報に基づき、抽出された特徴点を３次元空間モデルに統合する。なお、前述した通り、３次元空間モデルは、実空間に存在する物体（実オブジェクト）の位置、姿勢、及び形状等を３次元的に再現したモデルである。また、３次元空間モデルとして統合されたデータは、例えば、記憶部１８０に保持される。以上のような構成により、特徴点が新たに抽出されることで、当該特徴点の抽出結果が３次元空間モデルに逐次統合される。また、３次元空間モデルに統合された特徴点は、以降のフレームにおけるトラッキング点として扱われる。
また、３次元モデル更新部１２５は、後述する姿勢評価部１２４から、移動体２００の実空間上における位置や姿勢の推定結果を示す情報を取得してもよい。この場合には、３次元モデル更新部１２５は、移動体２００の実空間上における位置や姿勢に応じて、抽出された特徴点を３次元空間モデルに統合するとよい。
また、３次元モデル更新部１２５は、特徴点の抽出結果を３次元空間モデルへ統合することで当該３次元空間モデルを更新した場合に、当該更新結果を示す情報を後述する判定部１３０（新規領域／新規視点判定部１３７）に通知してもよい。このような構成により、当該判定部１３０は、３次元空間モデルに対して新たに統合された特徴点に対応する情報が、統合前に当該３次元空間モデルに含まれていたか否かを判定することが可能となる。そのため、判定部１３０は、例えば、過去に特徴点が取得されていない新たな領域（以下、「新規領域」とも称する）について当該特徴点が抽出されたか否かや、過去に検出されていない新たな視点（以下、「新規視点」とも称する）が検出されたか否かを判定することも可能となる。
マッチング処理部１２３及び姿勢評価部１２４は、撮像部２３０により撮像された画像と、記憶部１８０に保持された３次元空間モデルと、の間のマッチングに基づき、移動体２００の実空間上における位置や姿勢を推定するための構成である。
具体的には、マッチング処理部１２３は、撮像部２３０により撮像された画像を当該撮像部２３０から取得する。マッチング処理部１２３は、記憶部１８０に保持された３次元空間モデルに含まれるトラッキング点（即ち、特徴点）に関する情報に基づき、当該トラッキング点に対応する当該画像上の位置を、当該３次元空間モデルと当該画像との間のマッチングに基づき算出する。そして、マッチング処理部１２３は、当該マッチングの結果を示す情報を姿勢評価部１２４に出力する。また、マッチング処理部１２３は、当該マッチングの結果を示す情報を後述する判定部１３０（特徴点分布判定部１３５）に出力してもよい。
姿勢評価部１２４は、マッチング処理部１２３による上記マッチングの結果に基づき、撮像部２３０（ひいては、移動体２００）の実空間上における位置や姿勢を推定する。具体的には、姿勢評価部１２４は、トラッキング点の３次元位置と、当該トラッキング点に対応する画像上の位置と、のペアが与えられた場合に、所定のアルゴリズムに基づき、撮像部２３０の実空間上における位置や姿勢を推定する。なお、当該アルゴリズムとしては、例えば、ＰｎＰアルゴリズムやＮ点アルゴリズム等が挙げられる。
そして、姿勢評価部１２４は、撮像部２３０（ひいては、移動体２００）の実空間上における位置や姿勢の推定結果を示す情報を３次元モデル更新部１２５に出力する。このとき、３次元モデル更新部１２５は、当該推定結果に基づき、３次元空間モデルに含まれるトラッキング点（即ち、特徴点）の３次元位置を修正してもよい。
予測部１２６は、記憶部１８０に保持された３次元空間モデル（即ち、生成または更新された３次元空間モデル）を参照し、過去に抽出された特徴点の分布（例えば、点または面）に基づき、現在の撮像部２３０（ひいては、移動体２００）の位置及び姿勢に応じて観測されることが予測される特徴点のデプス情報を抽出する。そして、予測部１２６は、当該特徴点のデプス情報の抽出結果を示す情報を、当該特徴点のデプス情報の予測結果として後述する判定部１３０（モデル形状判定部１３３）に出力する。
判定部１３０は、移動体２００の実空間上における位置や姿勢の推定に係る各種情報を判定する。例えば、図２に示すように、判定部１３０は、経過時間判定部１３１と、モデル形状判定部１３３と、特徴点分布判定部１３５と、新規領域／新規視点判定部１３７とのうちの少なくともいずれかを含んでもよい。
経過時間判定部１３１は、デプスセンサ２１０（投光部２１３）が光の投光を開始または終了した後の経過時間（例えば、フレーム数）を監視し、監視結果に応じて当該経過時間が所定の期間を超えたか否かを判定する。そして、経過時間判定部１３１は、判定結果を後述するトリガ生成部１４０に通知する。
具体的な一例として、経過時間判定部１３１は、デプスセンサ２１０により光の投光が行われている期間（以下、「投光期間」とも称する）が、所定の期間を超えて継続した場合に、このことをトリガ生成部１４０に通知する。また、経過時間判定部１３１は、デプスセンサ２１０による光の投光が行われていない期間（以下、「消灯期間」とも称する）が、所定の期間を超えて継続した場合に、このことをトリガ生成部１４０に通知する。
モデル形状判定部１３３は、予測部１２６から、現在の移動体２００の位置及び姿勢に応じて観測されることが予測される特徴点のデプス情報の予測結果を取得する。また、モデル形状判定部１３３は、デプス推定部１１０からデプスマップを取得する。なお、取得されたデプスマップは、現在の移動体２００の位置及び姿勢に応じて実際に観測された特徴点それぞれのデプス情報を含むこととなる。そして、モデル形状判定部１３３は、取得したデプスマップ（換言すると、特徴点のデプス情報の実際の観測結果）と、観測されることが予測される特徴点のデプス情報の予測結果と、を比較し、当該比較結果をトリガ生成部１４０に通知する。
具体的な一例として、モデル形状判定部１３３は、特徴点のデプス情報の実際の観測結果と、当該特徴点のデプス情報の予測結果と、の間のギャップが閾値を超えた場合に、観測結果と予測結果との間にギャップが生じていることをトリガ生成部１４０に通知する。
特徴点分布判定部１３５は、マッチング処理部１２３から、撮像部２３０により撮像された画像と、３次元空間モデルと、の間のマッチング結果を示す情報を取得する。そして、特徴点分布判定部１３５は、当該マッチング結果に基づき、撮像部２３０（ひいては、移動体２００）の実空間上における位置や姿勢のトラッキングの状態を判定し、判定結果を後述するトリガ生成部１４０に通知する。
具体的な一例として、特徴点分布判定部１３５は、上記マッチングの結果に基づき、トラッキングが成功している特徴点の数が閾値未満となったか否かを判定し、当該判定結果をトリガ生成部１４０に通知してもよい。また、他の一例として、特徴点分布判定部１３５は、上記マッチングの結果に基づき、トラッキングが成功している特徴点の分布を評価し、当該評価結果をトリガ生成部１４０に通知してもよい。より具体的な一例として、特徴点分布判定部１３５は、トラッキングが成功している特徴点の分布に偏りが生じた場合に、当該特徴点の数が閾値未満となる部分領域に関する情報をトリガ生成部１４０に通知してもよい。
新規領域／新規視点判定部１３７は、３次元空間モデルの更新結果を示す情報を３次元モデル更新部１２５から取得する。新規領域／新規視点判定部１３７は、３次元空間モデルの更新結果に応じて、新規領域について当該特徴点が抽出されたか否かや、新規視点が検出されたか否かを判定し、当該判定結果を後述するトリガ生成部１４０に通知する。
例えば、図３は、３次元空間モデルの生成及び更新に係る新規領域及び新規視点について説明するための説明図である。図３に示す例では、３次元空間モデルに含まれる１以上の特徴点の点群（または、ボクセルボリューム）に対してＮ等分された球状の情報が規定され、デプスセンサ２１０の位置及び姿勢に応じて、当該球状の情報のうち、投光部２１３から光が投光される領域に対してフラグが付される。
例えば、図３において、参照符号２１０ａ及び２１０ｂのそれぞれは、上述の通り規定された球状の情報に対する、デプスセンサ２１０の相対的な位置及び姿勢を示す視点位置を模式的に示している。例えば、デプスセンサ２１０が視点位置２１０ａに位置する場合には、球状の情報のうち、参照符号Ｒ１１が付された部分領域に、デプスセンサ２１０の投光部２１３により投光された光が照射されることとなる。即ち、この場合には、部分領域Ｒ１１に対してフラグが付されることとなる。また、デプスセンサ２１０が視点位置２１０ｂに位置する場合には、球状の情報のうち、参照符号Ｒ１３が付された部分領域に、デプスセンサ２１０の投光部２１３により投光された光が照射されることとなる。即ち、この場合には、部分領域Ｒ１３に対してフラグが付されることとなる。
このような構成の基で、例えば、デプスセンサ２１０の位置及び姿勢が、視点位置２１０ａから視点位置２１０ｂに変化したものとする。このとき、部分領域Ｒ１３にフラグが設定されていない場合には、当該部分領域Ｒ１３からの特徴点の抽出が行われていないこととなる。このような場合において、当該部分領域Ｒ１３が、特徴点が抽出されていない新規領域に相当し、視点位置２１０ｂが、新たに検出された新規視点に相当する。
次いで、トリガ生成部１４０について説明する。トリガ生成部１４０は、判定部１３０による各種判定結果に応じて、制御メモリ１９０を介してデプスセンサ２１０の投光部２１３の動作を制御する。即ち、トリガ生成部１４０が、「制御部」の一例に相当する。
例えば、トリガ生成部１４０は、経過時間判定部１３１から通知される判定結果に基づき、投光部２１３による光の投光の有無を切り替えてもよい。具体的には、トリガ生成部１４０は、投光期間が所定の期間を超えて継続した場合に、投光部２１３による光の投光を制限するためのトリガを生成し、当該トリガを制御メモリ１９０に書き込む。同様に、トリガ生成部１４０は、消灯期間が所定の期間を超えて継続した場合に、投光部２１３による光の投光を開始させるためのトリガを生成し、当該トリガを制御メモリ１９０に書き込む。このような制御により、例えば、投光部２１３が所定の期間ごとに間欠的に光を投光することとなり、投光部２１３が継続的に光を投光する場合に比べて、消費電力を低く抑えることが可能となる。なお、複数のデバイス（例えば、複数の移動体２００）を連携させて動作させる場合のように、複数の投光部２１３が個別に光を投光するような状況も想定され得る。このような場合には、トリガ生成部１４０は、複数の投光部２１３（例えば、複数のデバイスそれぞれに対応する投光部２１３）のそれぞれが時分割で光を投光するように、各投光部２１３の投光タイミングを制御してもよい。なお、この場合には、経過時間判定部１３１が、各デプスセンサ２１０（投光部２１３）が光の投光を開始または終了した後の経過時間をそれぞれ監視し、各デプスセンサ２１０に対応する上記判定結果をトリガ生成部１４０に通知すればよい。これにより、トリガ生成部１４０は、各デプスセンサ２１０が光を投光するタイミングを認識することが可能となる。
トリガ生成部１４０は、モデル形状判定部１３３から通知される判定結果に基づき、投光部２１３による光の投光を制限してもよい。具体的には、トリガ生成部１４０は、特徴点のデプス情報の実際の観測結果と、当該特徴点のデプス情報の予測結果と、の間のギャップが閾値を超えた場合に、投光部２１３に光を投光させてもよい。なお、その他の場合においては、トリガ生成部１４０は、投光部２１３による光の投光を制限してもよい。このような制御により、投光部２１３が光を投光する契機が制限されるため、消費電力を低く抑えることが可能となる。
トリガ生成部１４０は、特徴点分布判定部１３５から通知される判定結果に基づき、投光部２１３による光の投光を制限してもよい。具体的な一例として、トリガ生成部１４０は、トラッキングが成功している特徴点の数が閾値未満となった場合に、投光部２１３に光を投光させてもよい。なお、その他の場合においては、トリガ生成部１４０は、投光部２１３による光の投光を制限してもよい。このような制御により、投光部２１３が光を投光する契機が制限されるため、消費電力を低く抑えることが可能となる。
また、他の一例として、トリガ生成部１４０は、トラッキングが成功している特徴点の分布に偏りが生じた場合に、当該特徴点の数が閾値未満となる部分領域に向けて限定的に光が照射されるように、投光部２１３が光を投光する方向や当該光の照射範囲を制御してもよい。このような制御により、投光部２１３により投光される光の光量が制限されるため、消費電力を低く抑えることが可能となる。
トリガ生成部１４０は、新規領域／新規視点判定部１３７から通知される判定結果に基づき、投光部２１３による光の投光を制限してもよい。具体的な一例として、トリガ生成部１４０は、新規領域について特徴点が抽出された場合や、新規視点が検出された場合に、投光部２１３に光を投光させてもよい。なお、その他の場合においては、トリガ生成部１４０は、投光部２１３による光の投光を制限してもよい。このような制御により、投光部２１３が光を投光する契機が制限されるため、消費電力を低く抑えることが可能となる。
なお、上述した投光部２１３による光の投光に係る制御はあくまで一例であり、本実施形態に係る情報処理装置１００の動作は必ずしも上述した例のみには限定されない。即ち、移動体２００の実空間上の位置や姿勢の推定に係る処理の過程において取得可能な情報に基づき判定可能な状況に応じて、投光部２１３による光の投光を制御することが可能であれば、当該判定の条件や当該制御の内容は特に限定されない。
例えば、移動体２００（デプスセンサ２１０）と実空間上のある対象物との間の距離（即ち、観測距離）に応じて得られる情報が異なる。具体的には、移動体２００と対象物との間が離隔している場合には、広投光部２１３域にわたって情報（例えば、特徴点に関する情報）を取得することが可能となる。これに対して、移動体２００と対象物とがより近傍に位置する場合には、情報を取得可能な実空間上の領域が制限されるが、当該対象物についてより詳細な情報を取得することが可能となる。このような特性を利用することで、例えば、過去に観測した対象物が再度観測されるような状況下においても、観測距離の違いに伴い取得されていない情報（例えば、特徴点に関する情報）が存在する場合に、投光部２１３により光が投光されるように制御することも可能となる。
また、投光部２１３による光の投光に係る動作については、所定の入力部を介したユーザからの指示に基づき制御されてもよい。具体的な一例として、投光部２１３が光を間欠的に投光する際のインターバルが、ユーザからの指示に基づき制御されてもよい。また、他の一例として、投光部２１３から投光される光の照射範囲や、当該光が投光される方向が、ユーザからの指示に基づき制御されてもよい。より具体的には、情報処理装置１００は、ユーザからＲＯＩ（Region of Interest）の指定を受けた場合に、当該ＲＯＩに対応する実空間上の領域に向けて投光部２１３から光が投光されるように、当該光の照射方向や照射範囲を制御してもよい。
また、上述した構成はあくまで一例であり、本実施形態に係る情報処理システム１の機能構成は、必ずしも図２に示す例のみには限定されない。具体的な一例として、情報処理装置１００、デプスセンサ２１０、及び撮像部２３０が一体的に構成されていてもよい。また、記憶部１８０が、情報処理装置１００の内部に設けられていてもよい。また、他の一例として、情報処理装置１００の各構成のうち、一部の構成が当該情報処理装置１００の外部に設けられていてもよい。ま例えば、デプス推定部１１０がデプスセンサ２１０側に設けられていてもよい。また、他の一例として、自己位置推定部１２０、判定部１３０、及びトリガ生成部１４０のうち一部の構成が、サーバ等のような他の装置に設けられていてもよい。また、情報処理装置１００の各機能が、複数の装置が連携することで実現されてもよい。
以上、図２及び図３を参照して、本実施形態に係る情報処理システム１の機能構成の一例について、特に、情報処理装置１００の構成に着目して説明した。
＜３．２．処理＞
続いて、図４及び図５を参照して、本実施形態に係る情報処理システム１の一連の処理の流れの一例について、特に、情報処理装置１００の処理に着目して説明する。図４及び図５は、本実施形態に係る情報処理システム１の一連の処理の流れの一例を示したフローチャートである。
図４に示すように、まず、情報処理装置１００（マッチング処理部１２３）は、移動体２００に保持された撮像部２３０により撮像された画像と、あらかじめ生成または更新された３次元空間モデルと、の間のマッチングに基づき、トラッキング点に対応する当該画像上の位置を算出する（Ｓ１０１）。情報処理装置１００（姿勢評価部１２４）は、当該マッチングの結果に基づき、撮像部２３０（ひいては、移動体２００）の実空間上における位置や姿勢を推定する（Ｓ１０３）。また、このとき情報処理装置１００（３次元モデル更新部１２５）は、当該推定結果に基づき、３次元空間モデルに含まれるトラッキング点（即ち、特徴点）の３次元位置を修正（最適化）してもよい（Ｓ１０５）。
なお、起動直後等のように、３次元空間モデルに対してトラッキング点（即ち、特徴点）に関する情報が登録されていない場合には、参照符号Ｓ１０３～Ｓ１０５で示された処理は実行されなくてもよい。なお、この場合には、あらかじめ投光部２１３により光が投光されるようにトリガ（照射トリガ）が有効化されているとよい。
次いで、照射トリガが有効化されている場合には（Ｓ１０７、ＹＥＳ）、デプスセンサ２１０の投光部２１３から実空間上の物体（換言すると、検出領域）に向けて光が投光され、当該デプスセンサ２１０の検出部２１１により、当該物体で反射した当該光が検出される。情報処理装置１００（デプス推定部１１０）は、デプスセンサ２１０による当該検出結果に応じた情報に基づき、移動体２００と実空間上に位置する物体との間の距離を推定し、当該距離の推定結果が撮像平面にマッピングされたデプスマップを生成する。また、情報処理装置１００（コーナー点検出部１２１）は、撮像部２３０により撮像された画像（即ち、実空間の画像）に対して画像解析処理を施すことで、当該画像からテクスチャ情報を抽出し、抽出した当該テクスチャ情報に基づき当該画像からコーナー点を検出する（Ｓ１０９）。
情報処理装置１００（特徴点抽出部１２２）は、検出されたコーナー点のそれぞれに対して、取得したデプスマップから対応する距離の測定結果を示す情報（換言すると、デプス情報）を抽出して対応付けることで、３次元的な位置情報を有する特徴点を規定する（Ｓ１１１）。以上のようにして、撮像部２３０により撮像された画像から特徴点が抽出される。そして、情報処理装置１００（３次元モデル更新部１２５）は、抽出された特徴点を３次元空間モデルに統合する（Ｓ１１３）。
なお、照射トリガが有効化されていない場合には（Ｓ１０７、ＮＯ）、参照符号Ｓ１０９～Ｓ１１３で示された処理は実行されなくてもよい。
次いで、情報処理装置１００（判定部１３０）は、移動体２００の実空間上の位置や姿勢の推定に係る所定の状況に応じた条件判定を行い、当該判定結果に応じて照射トリガを生成する（Ｓ２００）。
ここで、参照符号Ｓ２００で示した処理のより具体的な一例について、図５を参照して説明する。
図５に示すように、情報処理装置１００（経過時間判定部１３１）は、デプスセンサ２１０の投光部２１３が光の投光を開始または終了した後の経過時間（例えば、フレーム数）を監視し、当該経過時間が所定の期間を超えたか否かを判定してもよい（Ｓ２０１）。
情報処理装置１００（特徴点分布判定部１３５）は、撮像部２３０により撮像された画像と、３次元空間モデルと、の間のマッチング結果に基づき、移動体２００の実空間上における位置や姿勢のトラッキングの状態を判定してもよい。具体的な一例として、情報処理装置１００は、トラッキングが成功している特徴点の数が閾値未満となったか否かを判定してもよい。また、他の一例として、情報処理装置１００は、トラッキングが成功している特徴点の分布を評価し、トラッキングが成功している特徴点の分布に偏りが生じた場合に、当該特徴点の数が閾値未満となる部分領域を特定してもよい（Ｓ２０３）。
情報処理装置１００（新規領域／新規視点判定部１３７）は、３次元空間モデルの更新結果に基づき、新規領域について当該特徴点が抽出されたか否かや、新規視点が検出されたか否かを判定してもよい（Ｓ２０５）。
また、情報処理装置１００（予測部１２６）は、３次元空間モデルを参照し、過去に抽出された特徴点の分布に応じて、現在の移動体２００の位置及び姿勢に応じて観測されることが予測される特徴点のデプス情報を、当該デプス情報の予測結果として抽出する（Ｓ２０７）。また、情報処理装置１００（モデル形状判定部１３３）は、現在の移動体２００の位置及び姿勢に応じて生成したデプスマップ（即ち、特徴点のデプス情報の実際の観測結果）と、観測されることが予測される特徴点のデプス情報の予測結果と、を比較する。これにより、情報処理装置１００は、特徴点のデプス情報の実際の観測結果と、当該特徴点のデプス情報の予測結果と、の間のギャップが閾値を超えたか否かを判定してもよい（Ｓ２０９）。
そして、情報処理装置１００（トリガ生成部１４０）は、上述した各種判定結果に応じて照射トリガを生成し、生成した照射トリガを制御メモリ１９０に書き込むことで、投光部２１３による光の投光に係る動作を制御する（Ｓ２１１）。
以上、図４及び図５を参照して、本実施形態に係る情報処理システム１の一連の処理の流れの一例について、特に、情報処理装置１００の処理に着目して説明した。
＜３．３．実施例＞
続いて、本実施形態に係る情報処理システム１の実施例について説明する。
前述したように、本実施形態に係る情報処理システム１において、情報処理装置１００は、対象となる装置（例えば、移動体２００）の実空間上の位置や姿勢の推定に係る所定の状況に応じて、投光部２１３による光の投光に係る動作を制御する。このような構成に基づき、情報処理装置１００は、例えば、状況に応じて投光部２１３により光が投光される範囲（即ち、照射範囲）を制御することで、投光される光の光量を制限することが可能である。また、情報処理装置１００は、状況に応じて投光部２１３から光が投光される契機を制限することも可能である。これにより、本実施形態に係る情報処理システム１に依れば、デプスセンサ２１０の消費電力を低く抑えることが可能となる。そこで、本実施例では、投光部２１３により光の投光に係る動作の制御と、デプスセンサ２１０の消費電力と、の間の関係の一例について、具体的な例をあげて以下に説明する。
まず、デプスセンサ２１０がデプス情報を取得可能な範囲（即ち、デプスセンサ２１０の測距範囲）と、消費電力との関係について説明する。デプスセンサ２１０の測距範囲は、投光部２１３により投光される光の照射パワーに依存する。具体的には、測距における誤差量をσＬとした場合に、誤差量σＬは、以下に（式１）として示す関係式で表される。
Figure 0007103354000001
上記（式１）において、変数ｐは、投光部２１３から投光される光の電子量に相当する。また、当該電子量は、投光部２１３により投光される光の照射パワーに依存する。このことから、測距における誤差量をσが、投光部２１３により投光される光の照射パワーに依存することがわかる。
また、図６は、投光部２１３の平均諸費電力と測距における誤差との間の関係についてのシミュレーション結果の一例を示した図である。図６において、横軸は測距における誤差（ｍｍ）を示しており、縦軸は光源（即ち、投光部２１３）の平均電力（ｗ）を示している。
図６に示すように、光源の平均消費電力がより高くなるほど、測距において生じる誤差がより小さくなる傾向にある。また、光源から投光される光のパルス幅が短いほど（即ち、間欠駆動の間隔が短いほど）、測距において生じる誤差がより小さくなる傾向にある。
また、光の減衰量をＰとし、光が伝搬する距離をｄとした場合には、減衰量Ｐと距離ｄとの間には、以下に（式２）として示す関係式が成り立つ。
Figure 0007103354000002
即ち、一般的には、測距精度を２倍にすることで消費電力は４倍となり、測距範囲を２倍にすることで消費電力は４倍となる。
ここで、図７を参照して、測距範囲（距離）に応じて測距に要求される精度（即ち、要求スペック）の一例について説明する。図７は、測距範囲に応じて測距に要求される条件の一例について説明するための説明図である。なお、図７に示す例では、測距範囲が「１ｍ」、「５ｍ」、及び「１０ｍ」の場合に要求される精度について示している。
具体的な一例として、測距範囲が１ｍの場合には、精度として誤差０．５％以下が要求される。また、他の一例として、測距範囲が５ｍの場合には、精度として誤差１．０％以下が要求される。また、他の一例として、測距範囲が１０ｍの場合には、精度として誤差５．０％以下が要求される。
ここで、下記条件で動作するデプスセンサ（以下、「本実施例に係るデプスセンサ」とも称する）に対して、本開示に係る技術を適用した場合の一例について、図７に示す各ユースケースに対応させる場合に着目して以下にまとめる。
・水平方向の照射角：５５ｄｅｇ
・誤差：測距範囲５ｍにおいて１％以下
・消費電力：２５００ｍＷ（測距範囲５ｍ、誤差１％以下の場合）
例えば、本実施例に係るデプスセンサを、図７に示す各要求スペックに応じて、投光される光の照射パワーを制御する場合における、消費電力の見積り量は以下に表１として示す通りとなる。即ち、表１に示す例では、消費電力として最小でも４００ｍＷが必要となる。
Figure 0007103354000003
ここで、測距の対象となるターゲットの大きさが５０ｃｍ程度と仮定し、本実施例に係るデプスセンサの光源から投光される光の照射角を５５ｄｅｇから１０ｄｅｇに制限したものとする。
例えば、図８は、光の照射角に応じた深度と水平方向の照射範囲との間の関係の一例を示した図である。図８において、横軸は深度（ｍ）を示しており、縦軸は水平方向の照射範囲（ｍ）を示している。なお、図８に示す例では、光の照射角が１ｄｅｇ、５ｄｅｇ、１０ｄｅｇ、３０ｄｅｇ、５０ｄｅｇ、７０ｄｅｇ、及び９０ｄｅｇの場合のそれぞれについて、当該照射角に応じた深度と水平方向の照射範囲との間の関係を示している。
即ち、光の照射角が５５ｄｅｇから１０ｄｅｇに制限された場合には、図８に示すように、深度が３ｍの地点において水平方向の照射範囲として０．５ｍを確保することが可能となり、深度が５ｍの地点において水平方向の照射範囲として０．９ｍを確保することが可能となる。
次いで、図９を参照して、光の照射角を制限した場合における消費電力の変化の一例について説明する。図９は、光の照射角と消費電力との間の関係の一例を示した図であり、照射角が９０ｄｅｇの場合を１とした場合における、照射角に応じた消費電力の相対的な変化に関するシミュレーション結果の一例を示している。図９において、横軸は照射角（ｄｅｇ）を示しており、縦軸は消費電力を相対値で示している。
図９に示すように、光の照射角を５５ｄｅｇから１０ｄｅｇに制限した場合には、消費電力を１／３５に制限可能となることが見込まれる。即ち、表１に示した例においては、光の照射角を５５ｄｅｇから１０ｄｅｇに制限することで、以下の表２に示すように、消費電力を制限することが可能となる。
Figure 0007103354000004
上記表２に示す例では、例えば、電力面での要求スペックを２００ｍＷとした場合に、照射角の制御（即ち、空間方向への投射の制限）に伴い、当該要求スペックを大きく下回ることがわかる。このように、本開示の一実施形態に係る情報処理システム１に依れば、例えば、状況に応じてデプスセンサの光源から投光される光の照射角（照射範囲）を制限することで、測距精度を維持しながら消費電力を抑制することが可能となる。
以上、本実施形態に係る情報処理システム１の実施例について、図６～図９を参照して説明した。
＜３．４．変形例＞
続いて、本実施形態に係る情報処理システム１の変形例として、所定の対象物の検出結果に応じてデプスセンサ２１０の投光部２１３から光が投光される領域を制限する場合の一例について説明する。
例えば、情報処理装置１００は、顔、手、及び足等の部位や人物自体等を対象物として検出することで、当該対象物が検出された領域に向けて投光部２１３から光が投光されるように、当該光の照射方向や照射範囲を制御してもよい。
具体的な一例として、情報処理装置１００は、撮像部２３０により撮像された画像に対して画像解析を施すことで当該画像中から所定の対象物を検出し、当該対象物が検出された画像中の一部をＲＯＩとして設定してもよい。この場合には、情報処理装置１００は、当該ＲＯＩに対応する実空間上の領域に向けて投光部２１３から光が部分的に投光されるように、当該光の照射方向や照射範囲を制御してもよい。
例えば、図１０～図１２は、変形例に係る情報処理システムの概要について説明するための説明図であり、投光部２１３から投光される光の照射範囲を制限する場合の一例を示している。
具体的には、図１０は、対象物としてユーザの手が検出された場合の一例を示している。この場合には、情報処理装置１００は、ユーザの手Ｕ２１１が検出された領域をＲＯＩとして設定し、当該ＲＯＩに対応する実空間上の部分領域Ｒ２１１に向けて投光部２１３から光が部分的に投光されるように、当該光の照射方向や照射範囲を制御してもよい。
また、図１１は、対象物として人物（即ち、人の全体像）が検出された場合の一例を示している。この場合には、情報処理装置１００は、人物Ｕ２２１が検出された領域をＲＯＩとして設定し、当該ＲＯＩに対応する実空間上の部分領域Ｒ２２１に向けて投光部２１３から光が部分的に投光されるように、当該光の照射方向や照射範囲を制御してもよい。
また、図１２は、対象物としてユーザの顔が検出された場合の一例を示している。なお、図１２に示す例では、対象物（即ち、ユーザの顔）が複数検出された場合の一例について示している。具体的には、図１２に示す例では、２人のユーザそれぞれの顔Ｕ２３１及びＵ２３３が検出されている。このような場合には、情報処理装置１００は、顔Ｕ２３１及びＵ２３３が検出された領域それぞれをＲＯＩとして個別に設定し、当該ＲＯＩに対応する実空間上の部分領域（即ち、部分領域Ｒ２３１及びＲ２３３）それぞれに向けて投光部２１３から光が個別に投光されるように、当該光の照射方向や照射範囲を制御してもよい。
なお、図１２に示すように、複数の部分領域を対象として光を個別に投光する状況への対応を想定する場合には、例えば、投光部２１３としてアレイ上に配列された複数の光源が設けられていてもよい。この場合には、情報処理装置１００は、例えば、各光源から投光される光の照射方向や照射範囲を個別に制御することで、各ＲＯＩに対応する部分領域Ｒ２３１及びＲ２３３それぞれに向けて光が個別に投光されるように制御すればよい。
また、他の一例として、投光部２１３から投光された光を、ＭＥＭＳ技術を用いた複数の可動ミラーにより分光することで、各ＲＯＩに対応する部分領域Ｒ２３１及びＲ２３３それぞれに向けて光が個別に投光されるように制御されてもよい。なお、当該可動ミラーについては、投光部２１３の内部に配設されていてもよい。
以上、本実施形態に係る情報処理システム１の変形例として、図１０～図１２を参照して、所定の対象物の検出結果に応じてデプスセンサ２１０の投光部２１３から光が投光される領域を制限する場合の一例について説明した。
＜＜４．ハードウェア構成＞＞
続いて、図１３を参照しながら、前述した情報処理装置１００のように、本開示の一実施形態に係る情報処理システムを構成する情報処理装置のハードウェア構成の一例について、詳細に説明する。図１３は、本開示の一実施形態に係る情報処理システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。
本実施形態に係る情報処理システムを構成する情報処理装置９００は、主に、ＣＰＵ９０１と、ＲＯＭ９０２と、ＲＡＭ９０３と、を備える。また、情報処理装置９００は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インタフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。
ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０２、ＲＡＭ９０３、ストレージ装置９１９又はリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般又はその一部を制御する。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。例えば、図２に示すデプス推定部１１０、自己位置推定部１２０、判定部１３０、及びトリガ生成部１４０は、ＣＰＵ９０１により構成され得る。
ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。また、外部バス９１１には、インタフェース９１３を介して、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３及び通信装置９２５が接続される。
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置９００のユーザは、この入力装置９１５を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置９１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９１７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ等を格納する。例えば、図３に示す記憶部１８０及び制御メモリ１９０は、ストレージ装置９１９により構成され得る。
ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ－ＤＶＤメディア又はＢｌｕ－ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣＦ：ＣｏｍｐａｃｔＦｌａｓｈ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ ｃａｒｄ）又は電子機器等であってもよい。
接続ポート９２３は、情報処理装置９００に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。
通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９２５は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。
以上、本開示の実施形態に係る情報処理システムを構成する情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図１３では図示しないが、情報処理システムを構成する情報処理装置９００に対応する各種の構成を当然備える。
なお、上述のような本実施形態に係る情報処理システムを構成する情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバ等）が互いに連携して実行してもよい。
＜＜５．むすび＞＞
以上説明したように、本実施形態に係る情報処理システム１において、情報処理装置１００は、所定の投光部２１３から実空間上の物体に向けて投光され、当該物体で反射した光の検出結果に基づき、所定の視点（換言すると、図１に示す移動体２００）と当該物体との間の距離を推定する。また、情報処理装置１００は、当該距離の推定結果に基づき、所定の視点の実空間上における位置及び姿勢のうち少なくともいずれかを推定する。そして、情報処理装置１００は、上記所定の視点の位置及び姿勢のうち少なくともいずれかの推定に関する状況に応じて、上記投光部２１３から投光される光を制御する。具体的な一例として、情報処理装置１００は、当該状況に応じて、投光部２１３から光が投光される期間を制限してもよい。また、他の一例として、情報処理装置１００は、当該状況に応じて、投光部２１３から投光される光の照射範囲を制限してもよい。
以上のような構成により、本実施形態に係る情報処理システム１に依れば、対象となる物体との間の距離の推定にアクティブ照射方式を採用する場合においても、当該推定に係る精度を維持しつつ、消費電力をより低減することが可能となる。即ち、本実施形態に係る情報処理システムに依れば、アクティブ照射方式を採用する場合において、対象となる物体との間の距離推定の安定化と、消費電力の抑制と、の両立が可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
所定の投光部から実空間上の物体に向けて投光され、当該物体で反射した光の検出結果に基づき、所定の視点と当該物体との間の距離を推定する第１の推定部と、
前記距離の推定結果に基づき、前記所定の視点の実空間上における位置及び姿勢のうち少なくともいずれかを推定する第２の推定部と、
前記位置及び前記姿勢のうち少なくともいずれかの推定に関する状況に応じて、前記投光部から投光される前記光を制御する制御部と、
を備える、情報処理装置。
（２）
前記制御部は、前記状況に応じて、前記投光部から前記光が投光される期間を制限する、前記（１）に記載の情報処理装置。
（３）
前記制御部は、前記投光部から前記光が間欠的に投光されるように制御することで、当該光が投光される期間を制限する、前記（２）に記載の情報処理装置。
（４）
前記制御部は、前記状況に応じて、前記投光部から投光される前記光の照射範囲を制限する、前記（１）～（３）のいずれか一項に記載の情報処理装置。
（５）
前記第２の推定部は、前記所定の視点に保持された撮像部により撮像された画像と、前記距離の推定結果と、に基づき、当該所定の視点の実空間上における位置及び姿勢のうち少なくともいずれかを推定する、前記（１）～（４）のいずれか一項に記載の情報処理装置。
（６）
前記第２の推定部は、前記画像から特徴点を抽出し、当該特徴点の抽出結果に基づき、前記位置及び前記姿勢のうち少なくともいずれかを推定し、
前記制御部は、前記特徴点の抽出結果に応じて、前記投光部から投光される前記光を制御する、
前記（５）に記載の情報処理装置。
（７）
前記制御部は、前記位置及び前記姿勢のうち少なくともいずれかの変化に応じてトラッキングされる前記特徴点の数が閾値未満となった場合に、前記投光部から前記光が投光されるように制御する、前記（６）に記載の情報処理装置。
（８）
前記制御部は、前記撮像部により前記画像が撮像される領域のうち、トラッキングされる前記特徴点の数が閾値未満となった少なくとも一部の部分領域を対象として、前記投光部から前記光が投光されるように、前記光の照射範囲を制限する、前記（６）に記載の情報処理装置。
（９）
前記第２の推定部は、
前記特徴点の抽出結果に基づき、前記所定の視点の周囲の環境を３次元的に復元した３次元空間モデルを生成または更新し、
新たに前記画像から抽出された前記特徴点と、過去に生成または更新された前記３次元空間モデルと、に基づき、前記位置及び前記姿勢のうち少なくともいずれかを推定し、
前記制御部は、
新たに前記画像から抽出された前記特徴点と、過去に生成または更新された前記３次元空間モデルと、に基づき、前記投光部から投光される前記光を制御する、
前記（６）～（８）のいずれか一項に記載の情報処理装置。
（１０）
前記制御部は、新たに撮像された前記画像から抽出された前記特徴点に対応する情報が、過去に生成または更新された前記３次元空間モデルに含まれない場合に、前記投光部から前記光が投光されるように制御する、前記（９）に記載の情報処理装置。
（１１）
前記制御部は、
新たに撮像された前記画像に基づき推定された前記所定の視点の現在の前記位置及び前記姿勢のうち少なくともいずれかと、
前記３次元空間モデルに基づく、当該所定の視点について過去に推定された前記位置及び前記姿勢のうち少なくともいずれかと、
の比較結果に基づき、前記投光部から投光される前記光を制御する、
前記（９）に記載の情報処理装置。
（１２）
前記制御部は、新たに撮像された前記画像から抽出された前記特徴点の実空間上における位置の推定結果と、過去に生成または更新された前記３次元空間モデルに応じた当該特徴点の実空間上における位置の予測結果と、の間の差が閾値以上の場合に、前記投光部から前記光が投光されるように制御する、前記（９）に記載の情報処理装置。
（１３）
前記制御部は、前記物体として所定の対象物が前記画像に撮像されている場合に、当該対象物に向けて前記光が投光されるように、当該光の照射範囲を制限する、前記（５）～（１２）のいずれか一項に記載の情報処理装置。
（１４）
前記投光部及び前記撮像部は、所定の筐体に保持され、
前記第２の推定部は、前記筐体の実空間上における位置及び姿勢のうち少なくともいずれかを推定する
前記（５）～（１３）のいずれか一項に記載の情報処理装置。
（１５）
前記第１の推定部は、前記撮像部による前記光の撮像結果に基づき、前記距離を推定する、前記（５）～（１４）のいずれか一項に記載の情報処理装置。
（１６）
前記制御部は、前記投光部が複数の場合には、当該複数の投光部それぞれから時分割で前記光が投光されるように、当該複数の投光部それぞれによる前記光の投光タイミングを制御する、前記（５）～（１５）のいずれか一項に記載の情報処理装置。
（１７）
コンピュータが、
所定の投光部から実空間上の物体に向けて投光され、当該物体で反射した光の検出結果に基づき、所定の視点と当該物体との間の距離を推定することと、
前記距離の推定結果に基づき、前記所定の視点の実空間上における位置及び姿勢のうち少なくともいずれかを推定することと、
前記位置及び前記姿勢のうち少なくともいずれかの推定に関する状況に応じて、前記投光部から投光される前記光を制御することと、
を含む、情報処理方法。
（１８）
コンピュータに、
所定の投光部から実空間上の物体に向けて投光され、当該物体で反射した光の検出結果に基づき、所定の視点と当該物体との間の距離を推定することと、
前記距離の推定結果に基づき、前記所定の視点の実空間上における位置及び姿勢のうち少なくともいずれかを推定することと、
前記位置及び前記姿勢のうち少なくともいずれかの推定に関する状況に応じて、前記投光部から投光される前記光を制御することと、
を実行させる、プログラム。
１ 情報処理システム
１００ 情報処理装置
１１０ デプス推定部
１２０ 自己位置推定部
１２１ コーナー点検出部
１２２ 特徴点抽出部
１２３ マッチング処理部
１２４ 姿勢評価部
１２５ 次元モデル更新部
１２６ 予測部
１３０ 判定部
１３１ 経過時間判定部
１３３ モデル形状判定部
１３５ 特徴点分布判定部
１３７ 新規視点判定部
１４０ トリガ生成部
１８０ 記憶部
１９０ 制御メモリ
２００ 移動体
２１０ デプスセンサ
２１１ 検出部
２１３ 投光部
２３０ 撮像部

Claims (10)

  1. 所定の投光部から実空間上の物体に向けて投光され、当該物体で反射した光の検出結果に基づき、所定の視点と当該物体との間の距離を推定する第１の推定部と、
    前記距離の推定結果に基づき、前記所定の視点の実空間上における位置及び姿勢のうち少なくともいずれかを推定する第２の推定部と、
    前記位置及び前記姿勢のうち少なくともいずれかの推定に関する状況に応じて、前記投光部から投光される前記光を制御する制御部と、
    を備え、
    前記制御部は、前記状況に応じて、前記投光部から投光される前記光の照射範囲を制限する、
    情報処理装置。
  2. 所定の投光部から実空間上の物体に向けて投光され、当該物体で反射した光の検出結果に基づき、所定の視点と当該物体との間の距離を推定する第１の推定部と、
    前記距離の推定結果に基づき、前記所定の視点の実空間上における位置及び姿勢のうち少なくともいずれかを推定する第２の推定部と、
    前記位置及び前記姿勢のうち少なくともいずれかの推定に関する状況に応じて、前記投光部から投光される前記光を制御する制御部と、
    を備え、
    前記第２の推定部は、前記所定の視点に保持された撮像部により撮像された画像と、前記距離の推定結果と、に基づき、当該所定の視点の実空間上における位置及び姿勢のうち少なくともいずれかを推定し、
    前記第２の推定部は、前記画像から特徴点を抽出し、当該特徴点の抽出結果に基づき、前記位置及び前記姿勢のうち少なくともいずれかを推定し、
    前記制御部は、前記特徴点の抽出結果に応じて、前記投光部から投光される前記光を制御し、
    前記制御部は、前記位置及び前記姿勢のうち少なくともいずれかの変化に応じてトラッキングされる前記特徴点の数が閾値未満となった場合に、前記投光部から前記光が投光されるように制御する、
    情報処理装置。
  3. 所定の投光部から実空間上の物体に向けて投光され、当該物体で反射した光の検出結果に基づき、所定の視点と当該物体との間の距離を推定する第１の推定部と、
    前記距離の推定結果に基づき、前記所定の視点の実空間上における位置及び姿勢のうち少なくともいずれかを推定する第２の推定部と、
    前記位置及び前記姿勢のうち少なくともいずれかの推定に関する状況に応じて、前記投光部から投光される前記光を制御する制御部と、
    を備え、
    前記第２の推定部は、前記所定の視点に保持された撮像部により撮像された画像と、前記距離の推定結果と、に基づき、当該所定の視点の実空間上における位置及び姿勢のうち少なくともいずれかを推定し、
    前記第２の推定部は、前記画像から特徴点を抽出し、当該特徴点の抽出結果に基づき、前記位置及び前記姿勢のうち少なくともいずれかを推定し、
    前記制御部は、前記特徴点の抽出結果に応じて、前記投光部から投光される前記光を制御し、
    前記制御部は、前記撮像部により前記画像が撮像される領域のうち、トラッキングされる前記特徴点の数が閾値未満となった少なくとも一部の部分領域を対象として、前記投光部から前記光が投光されるように、前記光の照射範囲を制限する、
    情報処理装置。
  4. 所定の投光部から実空間上の物体に向けて投光され、当該物体で反射した光の検出結果に基づき、所定の視点と当該物体との間の距離を推定する第１の推定部と、
    前記距離の推定結果に基づき、前記所定の視点の実空間上における位置及び姿勢のうち少なくともいずれかを推定する第２の推定部と、
    前記位置及び前記姿勢のうち少なくともいずれかの推定に関する状況に応じて、前記投光部から投光される前記光を制御する制御部と、
    を備え、
    前記第２の推定部は、前記所定の視点に保持された撮像部により撮像された画像と、前記距離の推定結果と、に基づき、当該所定の視点の実空間上における位置及び姿勢のうち少なくともいずれかを推定し、
    前記第２の推定部は、前記画像から特徴点を抽出し、当該特徴点の抽出結果に基づき、前記位置及び前記姿勢のうち少なくともいずれかを推定し、
    前記制御部は、前記特徴点の抽出結果に応じて、前記投光部から投光される前記光を制御し、
    前記第２の推定部は、
    前記特徴点の抽出結果に基づき、前記所定の視点の周囲の環境を３次元的に復元した３次元空間モデルを生成または更新し、
    新たに前記画像から抽出された前記特徴点と、過去に生成または更新された前記３次元空間モデルと、に基づき、前記位置及び前記姿勢のうち少なくともいずれかを推定し、
    前記制御部は、
    新たに前記画像から抽出された前記特徴点と、過去に生成または更新された前記３次元空間モデルと、に基づき、前記投光部から投光される前記光を制御する、
    情報処理装置。
  5. 前記制御部は、新たに撮像された前記画像から抽出された前記特徴点に対応する情報が、過去に生成または更新された前記３次元空間モデルに含まれない場合に、前記投光部から前記光が投光されるように制御する、請求項４に記載の情報処理装置。
  6. 前記制御部は、
    新たに撮像された前記画像に基づき推定された前記所定の視点の現在の前記位置及び前記姿勢のうち少なくともいずれかと、
    前記３次元空間モデルに基づく、当該所定の視点について過去に推定された前記位置及び前記姿勢のうち少なくともいずれかと、
    の比較結果に基づき、前記投光部から投光される前記光を制御する、
    請求項４に記載の情報処理装置。
  7. 前記制御部は、新たに撮像された前記画像から抽出された前記特徴点の実空間上における位置の推定結果と、過去に生成または更新された前記３次元空間モデルに応じた当該特徴点の実空間上における位置の予測結果と、の間の差が閾値以上の場合に、前記投光部から前記光が投光されるように制御する、請求項４に記載の情報処理装置。
  8. 所定の投光部から実空間上の物体に向けて投光され、当該物体で反射した光の検出結果に基づき、所定の視点と当該物体との間の距離を推定する第１の推定部と、
    前記距離の推定結果に基づき、前記所定の視点の実空間上における位置及び姿勢のうち少なくともいずれかを推定する第２の推定部と、
    前記位置及び前記姿勢のうち少なくともいずれかの推定に関する状況に応じて、前記投光部から投光される前記光を制御する制御部と、
    を備え、
    前記第２の推定部は、前記所定の視点に保持された撮像部により撮像された画像と、前記距離の推定結果と、に基づき、当該所定の視点の実空間上における位置及び姿勢のうち少なくともいずれかを推定し、
    前記制御部は、前記物体として所定の対象物が前記画像に撮像されている場合に、当該対象物に向けて前記光が投光されるように、当該光の照射範囲を制限する、
    情報処理装置。
  9. コンピュータが、
    所定の投光部から実空間上の物体に向けて投光され、当該物体で反射した光の検出結果に基づき、所定の視点と当該物体との間の距離を推定することと、
    前記距離の推定結果に基づき、前記所定の視点の実空間上における位置及び姿勢のうち少なくともいずれかを推定することと、
    前記位置及び前記姿勢のうち少なくともいずれかの推定に関する状況に応じて、前記投光部から投光される前記光を制御することと、
    前記状況に応じて、前記投光部から投光される前記光の照射範囲を制限することと、
    を含む、情報処理方法。
  10. コンピュータに、
    所定の投光部から実空間上の物体に向けて投光され、当該物体で反射した光の検出結果に基づき、所定の視点と当該物体との間の距離を推定することと、
    前記距離の推定結果に基づき、前記所定の視点の実空間上における位置及び姿勢のうち少なくともいずれかを推定することと、
    前記位置及び前記姿勢のうち少なくともいずれかの推定に関する状況に応じて、前記投光部から投光される前記光を制御することと、
    前記状況に応じて、前記投光部から投光される前記光の照射範囲を制限することと、
    を実行させる、プログラム。
JP2019519494A 2017-05-24 2018-03-26 情報処理装置、情報処理方法、及びプログラム Active JP7103354B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017102489 2017-05-24
JP2017102489 2017-05-24
PCT/JP2018/012018 WO2018216342A1 (ja) 2017-05-24 2018-03-26 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2018216342A1 JPWO2018216342A1 (ja) 2020-05-28
JP7103354B2 true JP7103354B2 (ja) 2022-07-20

Family

ID=64395443

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019519494A Active JP7103354B2 (ja) 2017-05-24 2018-03-26 情報処理装置、情報処理方法、及びプログラム

Country Status (4)

Country Link
US (1) US11232590B2 (ja)
EP (1) EP3633407A4 (ja)
JP (1) JP7103354B2 (ja)
WO (1) WO2018216342A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102596053B1 (ko) * 2018-08-27 2023-11-01 엘지이노텍 주식회사 영상 처리 장치 및 영상 처리 방법
US20220148209A1 (en) * 2019-03-25 2022-05-12 Sony Group Corporation Medical system, signal processing device, and signal processing method
WO2020262389A1 (ja) * 2019-06-28 2020-12-30 キヤノン株式会社 計測装置、撮像装置、計測システム、制御方法及びプログラム
WO2021117595A1 (ja) * 2019-12-13 2021-06-17 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140240469A1 (en) 2013-02-28 2014-08-28 Motorola Mobility Llc Electronic Device with Multiview Image Capture and Depth Sensing

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NO302055B1 (no) * 1993-05-24 1998-01-12 Metronor As Fremgangsmåte og system for geometrimåling
JPH11160016A (ja) * 1997-11-26 1999-06-18 Fuji Xerox Co Ltd 距離測定方法及び装置
JP3647376B2 (ja) * 2001-01-31 2005-05-11 キヤノン株式会社 視点位置検出装置、視点位置検出方法及び立体画像表示システム
JP4573085B2 (ja) * 2001-08-10 2010-11-04 日本電気株式会社 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム
JP2003194962A (ja) 2001-12-27 2003-07-09 Sunx Ltd 光電センサ
JP2004312249A (ja) * 2003-04-04 2004-11-04 Olympus Corp カメラ
CN1836184A (zh) * 2003-08-21 2006-09-20 柯尼卡美能达精密光学株式会社 图像拾取装置
JP4427389B2 (ja) * 2004-06-10 2010-03-03 株式会社トプコン 測量機
DE112006003363B4 (de) * 2005-12-16 2016-05-04 Ihi Corporation Verfahren und Vorrichtung zur Identifizierung der Eigenposition, und Verfahren und Vorrichtung zur Messung einer dreidimensionalen Gestalt
JP5175562B2 (ja) * 2008-01-28 2013-04-03 シャープ株式会社 人物位置検出装置および空気調和機
JP5150310B2 (ja) * 2008-03-04 2013-02-20 株式会社トプコン 地理データ収集装置
US8659658B2 (en) * 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
US8934766B2 (en) * 2010-05-25 2015-01-13 Canon Kabushiki Kaisha Image pickup apparatus
JP5624394B2 (ja) * 2010-07-16 2014-11-12 キヤノン株式会社 位置姿勢計測装置、その計測処理方法及びプログラム
JP5587137B2 (ja) * 2010-10-29 2014-09-10 キヤノン株式会社 測定装置及び測定方法
KR101694797B1 (ko) * 2010-12-21 2017-01-11 삼성전자주식회사 3차원 이미지 센서의 구동 방법
JP5738005B2 (ja) * 2011-03-01 2015-06-17 株式会社トプコン 光波距離測定装置
JP5738080B2 (ja) * 2011-06-09 2015-06-17 キヤノン株式会社 撮像装置及びその制御方法
TWI575494B (zh) * 2011-08-19 2017-03-21 半導體能源研究所股份有限公司 半導體裝置的驅動方法
US9117281B2 (en) * 2011-11-02 2015-08-25 Microsoft Corporation Surface segmentation from RGB and depth images
JP5895305B2 (ja) * 2011-12-06 2016-03-30 シーシーエス株式会社 検査用照明装置及び検査用照明方法
JP2013126165A (ja) * 2011-12-15 2013-06-24 Fujitsu Ltd 撮像装置、撮像方法及びプログラム
US9109888B2 (en) * 2012-03-21 2015-08-18 Honda Motor Co., Ltd. Distance measuring system
US9398229B2 (en) * 2012-06-18 2016-07-19 Microsoft Technology Licensing, Llc Selective illumination of a region within a field of view
US10067231B2 (en) * 2012-10-05 2018-09-04 Faro Technologies, Inc. Registration calculation of three-dimensional scanner data performed between scans based on measurements by two-dimensional scanner
US20140139632A1 (en) * 2012-11-21 2014-05-22 Lsi Corporation Depth imaging method and apparatus with adaptive illumination of an object of interest
US9041914B2 (en) * 2013-03-15 2015-05-26 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
JP6316568B2 (ja) * 2013-10-31 2018-04-25 株式会社トプコン 測量システム
BR112016019589B1 (pt) * 2014-02-24 2022-06-14 Nissan Motor Co. Ltd Dispositivo de cálculo de autolocalização e método de cálculo de autolocalização
CN104881860B (zh) * 2014-02-28 2019-01-08 国际商业机器公司 基于照片进行定位的方法和装置
GB201407270D0 (en) * 2014-04-24 2014-06-11 Cathx Res Ltd 3D data in underwater surveys
GB2529846B (en) * 2014-09-03 2019-02-20 Dyson Technology Ltd Illumination Control of a Vision System for a Mobile Robot
JP6520053B2 (ja) * 2014-11-06 2019-05-29 株式会社デンソー 光飛行型測距装置
US10122449B2 (en) * 2014-12-01 2018-11-06 Infineon Technologies Ag Access control devices and a transceiver device
JP2016197083A (ja) * 2015-04-06 2016-11-24 ソニー株式会社 制御装置および方法、並びにプログラム
JP6897563B2 (ja) * 2015-05-14 2021-06-30 ソニーグループ株式会社 画像処理装置と画像処理方法およびプログラム
JP6584226B2 (ja) * 2015-08-26 2019-10-02 株式会社トプコン 測定装置
JP6775969B2 (ja) * 2016-02-29 2020-10-28 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
EP3508814B1 (en) * 2016-09-01 2023-08-23 Sony Semiconductor Solutions Corporation Imaging device
US20200081094A1 (en) * 2017-02-15 2020-03-12 Pioneer Corporation Light scanning device and control method
US10627518B2 (en) * 2017-06-02 2020-04-21 Pixart Imaging Inc Tracking device with improved work surface adaptability

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140240469A1 (en) 2013-02-28 2014-08-28 Motorola Mobility Llc Electronic Device with Multiview Image Capture and Depth Sensing

Also Published As

Publication number Publication date
US11232590B2 (en) 2022-01-25
US20210110574A1 (en) 2021-04-15
EP3633407A4 (en) 2020-06-10
EP3633407A1 (en) 2020-04-08
JPWO2018216342A1 (ja) 2020-05-28
WO2018216342A1 (ja) 2018-11-29

Similar Documents

Publication Publication Date Title
KR101950641B1 (ko) 향상된 안구 추적을 위한 장면 분석
JP7103354B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6198230B2 (ja) 深度カメラを使用した頭部姿勢トラッキング
JP6228320B2 (ja) 制約なしｓｌａｍ用のセンサベースのカメラ運動検出
KR101776622B1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US10852847B2 (en) Controller tracking for multiple degrees of freedom
US11625841B2 (en) Localization and tracking method and platform, head-mounted display system, and computer-readable storage medium
JP6456347B2 (ja) 平面固有の特徴のターゲットのｉｎｓｉｔｕ生成
US10169880B2 (en) Information processing apparatus, information processing method, and program
JP2023109848A (ja) 仮想現実システムのための安全境界を修正するためのシステムおよび方法
JP2019522851A (ja) ３次元空間内の姿勢推定
US20190026922A1 (en) Markerless augmented reality (ar) system
CN109564467B (zh) 具有音频、视觉和运动分析的数码相机
JP2016502712A (ja) 単眼視覚ｓｌａｍのための高速初期化
US10838515B1 (en) Tracking using controller cameras
US11302023B2 (en) Planar surface detection
US10679376B2 (en) Determining a pose of a handheld object
WO2020195875A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2016136439A (ja) グラフマッチングおよびサイクル検出による自動モデル初期化を用いた線トラッキング
CN112291701B (zh) 定位验证方法、装置、机器人、外部设备和存储介质
CN112711324B (zh) 基于tof相机的手势交互方法及其系统
US20230326056A1 (en) Information processing apparatus, information processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220620

R151 Written notification of patent or utility model registration

Ref document number: 7103354

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151