JPWO2018179644A1 - 情報処理装置、情報処理方法及び記録媒体 - Google Patents

情報処理装置、情報処理方法及び記録媒体 Download PDF

Info

Publication number
JPWO2018179644A1
JPWO2018179644A1 JP2019508580A JP2019508580A JPWO2018179644A1 JP WO2018179644 A1 JPWO2018179644 A1 JP WO2018179644A1 JP 2019508580 A JP2019508580 A JP 2019508580A JP 2019508580 A JP2019508580 A JP 2019508580A JP WO2018179644 A1 JPWO2018179644 A1 JP WO2018179644A1
Authority
JP
Japan
Prior art keywords
information
sensor
required accuracy
accuracy
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019508580A
Other languages
English (en)
Inventor
崇紘 辻井
崇紘 辻井
呂尚 高岡
呂尚 高岡
晴登 武田
晴登 武田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018179644A1 publication Critical patent/JPWO2018179644A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1654Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with electromagnetic compass
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13Receivers
    • G01S19/34Power consumption
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3212Monitoring battery levels, e.g. power saving mode being initiated when battery voltage goes below a certain level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/325Power saving in peripheral device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/3287Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/01Determining conditions which influence positioning, e.g. radio environment, state of motion or energy consumption
    • G01S5/019Energy consumption
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

【課題】アプリケーションが必要とする測定精度を満たすこと、及び消費電力を抑制することを両立させる仕組みを提供する。【解決手段】センサによる検出結果に基づく測定情報を使用するアプリケーションから前記測定情報の要求精度を示す情報を取得して、前記要求精度を示す情報に基づいて前記センサを制御する制御部、を備える情報処理装置。【選択図】図1

Description

本開示は、情報処理装置、情報処理方法及び記録媒体に関する。
近年、カメラ、マイクロフォン、GPS(Global Positioning System)、及び慣性センサ等の様々なセンサを用いた技術が多様に利用されている。例えば、センサフュージョンによる自己位置推定及び姿勢推定は、飛行機及び車等の電力の制約が少ない機器向けに開発されてきたが、近年ではHMD(Head Mounted Display)又はリストバンド型端末等のウェアラブル端末においても利用され始めている。このようなウェアラブル端末では、搭載可能な電池の大きさの制約から、搭載された各種センサを効率的に使用して消費電力を抑制する技術の開発が望まれている。
その一例として、下記特許文献1では、複数台のカメラを用いた自己位置推定を行う際に、撮像画像の特徴量、及びGPS信号の受信結果に応じて使用するカメラを制限することで、より低い消費電力で自己位置推定を行うことが可能な技術が開示されている。
特開2016−197083号公報
しかし、上記特許文献1に記載されている自己位置推定及び姿勢推定等の測定技術には、測定結果を使用するアプリケーションが、どのような精度の測定結果を必要としているのか、が考慮されていない。そのため、アプリケーションによっては精度が高すぎる測定結果が提供される場合があり、その場合、消費電力はさらに抑制可能であると言える。他方、アプリケーションによっては精度が低すぎる測定結果が提供される場合もあり、その場合、消費電力の抑制と引き換えにパフォーマンスの低下を引き起し得る。
そのため、アプリケーションが必要とする測定精度を満たすこと、及び消費電力を抑制することを両立させる仕組みが提供されることが望ましい。
本開示によれば、センサによる検出結果に基づく測定情報を使用するアプリケーションから前記測定情報の要求精度を示す情報を取得して、前記要求精度を示す情報に基づいて前記センサを制御する制御部、を備える情報処理装置が提供される。
また、本開示によれば、センサによる検出結果に基づく測定情報を使用する処理を行い、処理内容に応じて前記測定情報の要求精度を示す情報を生成する制御部、を備える情報処理装置が提供される。
また、本開示によれば、センサによる検出結果に基づく測定情報を使用するアプリケーションから前記測定情報の要求精度を示す情報を取得して、前記要求精度を示す情報に基づいて前記センサを制御すること、を含むプロセッサにより実行される情報処理方法が提供される。
また、本開示によれば、センサによる検出結果に基づく測定情報を使用する処理を行い、処理内容に応じて前記測定情報の要求精度を示す情報を生成すること、を含むプロセッサにより実行される情報処理方法が提供される。
また、本開示によれば、コンピュータを、センサによる検出結果に基づく測定情報を使用するアプリケーションから前記測定情報の要求精度を示す情報を取得して、前記要求精度を示す情報に基づいて前記センサを制御する制御部、として機能させるためのプログラムを記録した記録媒体が提供される。
また、本開示によれば、コンピュータをセンサによる検出結果に基づく測定情報を使用する処理を行い、処理内容に応じて前記測定情報の要求精度を示す情報を生成する制御部、として機能させるためのプログラムを記録した記録媒体が提供される。
本開示によれば、情報処理装置は、アプリケーションの要求精度に応じてセンサを制御する。これにより、アプリケーションが必要とする測定精度を満たしつつ、消費電力を抑制することが可能となる。
以上説明したように本開示によれば、アプリケーションが必要とする測定精度を満たすこと、及び消費電力を抑制することを両立させる仕組みが提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理装置の外観構成の一例を示す図である。 同実施形態に係るHMDの内部構成の一例を示すブロック図である。 同実施形態に係るHMDにより表示される画面の一例を示す図である。 同実施形態に係るHMDにより表示される画面の一例を示す図である。 同実施形態に係るHMDにより表示される画面の一例を示す図である。 同実施形態に係るHMDにより表示される画面の一例を示す図である。 第1の実施形態の概要を説明するための図である。 同実施形態に係るHMDの内部構成の一例を示すブロック図である。 同実施形態に係るHMDにより実行されるセンサ制御処理の流れの一例を示すフローチャートである。 第2の実施形態の概要を説明するための図である。 同実施形態に係るHMDの内部構成の一例を示すブロック図である。 同実施形態に係るHMDにより実行されるセンサ制御処理の流れの一例を示すフローチャートである。 第3の実施形態の概要を説明するための図である。 同実施形態に係るHMDの内部構成の一例を示すブロック図である。 同実施形態に係るHMDにより実行されるセンサ制御処理の流れの一例を示すフローチャートである。 本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.基本構成
2.第1の実施形態
2.1.概要
2.2.技術的特徴
3.第2の実施形態
3.1.概要
3.2.技術的特徴
4.第3の実施形態
4.1.概要
4.2.技術的特徴
5.補足
6.ハードウェア構成例
7.まとめ
<<1.基本構成>>
まず、図1〜図5を参照して、本開示の一実施形態に係る情報処理装置の基本構成を説明する。
(1)外観構成例
図1は、本開示の一実施形態に係る情報処理装置の外観構成の一例を示す図である。図1に示す情報処理装置100は、HMDとも称される。
情報処理装置100は、例えば両側頭部から後頭部にかけて半周回するようなフレーム構造の装着ユニットを持ち、図1に示すように両耳殻にかけられることでユーザに装着される。そしてこの情報処理装置100は、図1に示すような装着状態において、ユーザの両眼の直前に表示部121が配置される構成とされている。この表示部121には、例えば液晶パネルが用いられ、情報処理装置100は、液晶パネルの透過率を制御することで、スルー状態、即ち透明又は半透明の状態にしたり、非透過の状態にしたりすることができる。
さらに、表示部121は、スルー状態のまま、テキストや図等の画像を表示することで、実空間の風景にAR(AR:Augmented Reality)情報(即ち、アノテーション)を重畳表示することができる。また、表示部121は、非透過の状態において、外向きカメラ112で撮像された実空間の撮像画像を表示し、当該実空間の撮像画像にアノテーションを重畳表示することも可能である。
他方、表示部121は、非透過の状態において、VR情報を表示可能である。例えば、表示部121は、非透過の状態において、情報処理装置100が外部機器から受信したコンテンツや、情報処理装置100の記憶媒体に記憶されるコンテンツを再生表示したり、再生表示したコンテンツにアノテーションを重畳表示したりすることもできる。なお、外部機器とは、サーバ、デジタルカメラ、デジタルビデオカメラ、または携帯電話端末、スマートフォン、パーソナルコンピュータ等の情報処理装置などである。
なお、以下では、表示部121において表示される画像全体を、画面とも称する。ここで、画面とは、非透過の状態において表示される画像と、スルー状態において透過的に映る光景及び重畳表示されるアノテーションとを含む概念であるものとする。また、画面に含まれる要素の各々を仮想オブジェクトとも称し、仮想オブジェクトはアノテーション等を含む概念であるものとする。
また、情報処理装置100には、ユーザが情報処理装置100を装着した状態で、ユーザを近距離から撮像するように、ユーザに向けて一対の内向きカメラ111が配置されている。内向きカメラ111は、ユーザの目を撮像する第1の画像センサとして機能する。内向きカメラ111は、深度情報も取得可能なステレオカメラであってもよいし、深度センサが併設されていてもよい。
また、情報処理装置100には、ユーザが情報処理装置100を装着した状態において、ユーザが向く方向(例えば、表示部121がスルー状態である場合にユーザが視認する方向)を撮像方向として撮像するように、前方に向けて外向きカメラ112が配置されている。外向きカメラ112は、ユーザの手等の認識対象物を撮像する第2の画像センサとして機能する。外向きカメラ112は、深度情報も取得可能なステレオカメラであってもよいし、深度センサが併設されていてもよい。
また、図1では図示されていないが、ユーザが情報処理装置100を装着した状態において、ユーザの両耳殻に挿入されるイヤホンスピーカが配置されてもよい。また、図1では図示されていないが、外部音を収音するマイクが配置されてもよい。
なお、本実施形態に係る情報処理装置100は、図1に示したようなHMDでもよいし、例えばスマートフォンを眼前に固定することで構成される簡易的なHMDであってもよい。その場合、スマートフォンのディスプレイ、ディスプレイ側に設けられるインカメラ、及び背面側に設けられるアウトカメラが、それぞれ上述した表示部121、内向きカメラ111及び外向きカメラ112として機能する。
他にも、情報処理装置100は、HMDの他、スマートフォン、タブレット端末、PC、デジタルサイネージ等として実現され得る。
以上、情報処理装置100の外観構成を説明した。続いて、情報処理装置100の内部構成を説明する。以下では、情報処理装置100は、HMDであるものとして説明する。
(2)内部構成
図2は、本実施形態に係るHMD100の内部構成の一例を示すブロック図である。図2に示すように、本実施形態に係る情報処理装置100は、センサ、OS(Operating System)又はアプリケーションに分類される複数の構成要素を備える。センサに分類される構成要素は、物理的な構成要素であり、OS又はアプリケーションに分類される構成要素は、論理的な構成要素である。例えば、OS又はアプリケーションに分類される構成要素は、メモリ等の記憶装置に記憶されたプログラムに従ってCPU等の演算装置において動作するソフトウェアとして構成され得る。
・センサ
HMD100は、センサとして、多様なセンサから成るセンサ群10を備える。センサ群10は、慣性センサ11、地磁気センサ12、GNSS(Global Navigation Satellite System)受信機13、及びカメラ14を含む。
慣性センサ11は、例えば3軸で角速度及び加速度を検出する。地磁気センサ12は、磁場の大きさ及び方向を検出する。GNSS受信機13は、GNSS衛星からGNSS信号(1周波又は2周波)を受信する。カメラ14は、レンズ系、レンズ系を駆動させる駆動系、及びレンズ系で得られる撮像光から撮像信号を生成する撮像素子を含み、デジタル信号とされた撮像画像のデータを出力する。カメラ14は、図1に示した内向きカメラ111及び外向きカメラ112を含む。
センサは、HMD100とは分離した、例えばウェラブルデバイスに含まれていてもよい。換言すると、HMD100は、他のデバイスのセンサを制御対象とし得る。
センサ群10は、各種センサによる検出結果を示す情報(以下、センサ情報とも称する)を測定部20に出力する。センサ情報は、測定部20による位置又は姿勢の測定(又は推定)のために使用される。センサ群10は、位置又は姿勢の推定のために使用可能なセンサ情報を検出する任意のセンサをさらに含んでいてもよい。例えば、センサ群10は、Wi−Fi(登録商標)等の任意の無線通信規格に準拠した通信が可能な無線通信装置を有していてもよく、例えばアクセスポイント(又は基地局)との通信に係る電波強度に基づいて位置が測定され得る。
センサ群10は、多様なセンサを含み得る。例えば、センサ群10は、BLE(Bluetooth Low Energy(登録商標))、Wi−Fi、又は可視光通信等の任意の無線通信規格に準拠した通信が可能な無線通信装置を有していてもよい。また、センサ群10は、赤外線カメラ、ICゲート、ミリ波レーダー、LiDAR(Light Detection and Ranging)、測距センサ、レーザードップラーセンサ、車速パルスセンサ、生体情報センサ又は温度センサ等を有していてもよい。
・OS
HMD100は、OSの一機能として、測定部20及びセンサ制御部30を備える。
−測定部
測定部20は、センサ情報に基づき測定情報を測定する。測定情報は、位置情報又は姿勢情報の少なくともいずれかを含む。以下では、位置情報及び姿勢情報を、測定情報と総称する場合がある。
図2に示すように、測定部20は、測位部21及び姿勢測定部22を備える。測位部21は、センサ群10から出力されたセンサ情報に基づいて位置情報を測定する(即ち、測位する)。位置情報は、緯度及び経度から成る絶対的な位置を示す情報であってもよいし、基準とする物体に対する相対的な位置を示す情報であってもよい。また、位置情報は、高度情報を含んでいてもよい。姿勢測定部22は、センサ群10から出力されたセンサ情報に基づいて姿勢情報を測定する。姿勢情報は、地面に対する絶対的な姿勢を示す情報であってもよいし、基準とする物体に対する相対的な姿勢を示す情報であってもよい。
例えば、測定部20は、GNSS信号の受信結果に基づいて位置情報を測定してもよい。また、測定部20は、例えばSLAM(Simultaneous Localization and Mapping)等の技術を用いて、撮像画像に基づいて位置情報及び姿勢情報を測定してもよい。また、測定部20は、地磁気の方向に基づいて、位置情報及び姿勢情報を測定してもよい。また、測定部20は、PDR(Pedestrian Dead-Reckoning)又は慣性航法等の技術を用いて、位置情報及び姿勢情報を測定してもよい。また、測定部20は、複数のセンサ情報、及び複数の測定方法を組み合わせて、位置情報又は姿勢情報を測定してもよい。
−センサ制御部
センサ制御部30は、センサ群10に含まれる各種センサを制御する。具体的には、センサ制御部30は、測定情報の要求精度を示す情報に基づいて、センサ群10群を、より正確にはセンサ群10に含まれる各種センサを制御する。
センサ制御部30は、多様なセンサ制御を行い得る。例えば、センサ制御部30は、センサのON/OFF(即ち、起動/停止)を制御してもよい。センサ制御部30は、不要なセンサを停止することで、その分の消費電力を抑制することが可能である。また、センサ制御部30は、センサの動作頻度を制御してもよい。センサ制御部30は、動作頻度を上げ下げして、測定精度と消費電力とを微調整することが可能である。また、センサ制御部30は、センサの精度を制御してもよい。センサ制御部30は、センサの精度を上げ下げして、測定精度と消費電力とを微調整することが可能である。センサ精度の制御は、例えばセンサに供給する電力量の制御等により行われ得る。このような、どのセンサを、どの頻度で、どの精度で動作させるか、といった制御内容を、以下では制御パターンとも称する。
センサ制御部30は、センサの特性にさらに基づいて、測定情報の要求精度を満たしつつ消費電力を抑制するよう、センサ群10を制御する。センサ制御部30は、要求精度を満たしつつ消費電力の総和が最小化されるようセンサ群10を制御する。換言すると、センサ制御部30は、要求精度を満たす、最も消費電力が低い制御パターンを決定する。センサの特性としては、例えば、消費電力、姿勢測定精度寄与率、位置測定精度寄与率及び使用可否等が挙げられる。その一例を、表1に示す。
Figure 2018179644
上記表1に示した以外にも、センサの特性にはセンサの精度も含まれ得る。典型的には、センサの精度が高いほど測定部20による測定精度も高くなる。センサの特性は、予め記憶されていてもよいし、状況に応じて更新されてもよい。例えば、電流センサを用いて各センサの消費電力が実測されてもよい。また、センサの精度は、HMD100の動きの激しさ、電波受信状況、環境光の強さ、又は撮像画像に含まれる特徴点の数等の外的要因に応じて見積もりが変更されてもよい。また、センサの精度は、他のセンサとの比較により実測されてもよい。
ここで、要求精度を示す情報は、絶対位置精度、絶対姿勢精度、相対位置精度又は相対姿勢精度の少なくともいずれかを含んでいてもよい。絶対位置精度とは、絶対的な位置情報の要求精度である。絶対姿勢精度とは、絶対的な姿勢情報の要求精度である。相対位置精度とは、相対的な位置情報の要求精度である。相対姿勢精度とは、相対的な姿勢情報の要求精度である。要求精度を示す情報にこれらの情報が含まれる場合、センサ制御部30は、これらの情報に基づいてセンサ群10を制御する。
例えば、絶対位置精度5mであり、絶対姿勢精度が1°である場合、センサ制御部30は、慣性センサ11とGNSS受信機13(2周波)を起動して、カメラを停止する。このように、センサ制御部30は、要求精度に応じて、どのセンサを、どの頻度で、どの精度で動作させるか、といった制御パターンを決定する。さらに、センサ制御部30は、実際に測定された測定結果が要求精度を満たしているか否かに応じて制御パターンを調整してもよい。このような制御により、HMD100は、要求精度を満たしつつ消費電力を抑制することが可能となる。
他にも、要求精度を示す情報は、多様な情報を含み得る。
例えば、要求精度を示す情報は、要求精度に対応するインデックスを含んでいてもよい。具体的には、要求精度を示す情報は、高精度測定モードのインデックス又は低精度測定モード等のインデックスを含んでいてもよい。その場合、センサ制御部30は、インデックスに対応する絶対位置精度、絶対姿勢精度、相対位置精度及び相対姿勢精度に基づいて、センサ群10を制御する。
例えば、要求精度を示す情報は、センサの使用可否を示す情報を含んでいてもよい。その場合、センサ制御部30は、使用可能なセンサのみが動作するようセンサ群10を制御する。センサ使用可否としては、例えば夜であれば鮮明な画像の撮像が困難なためカメラを使用不可とする、といったことが考えられる。
例えば、要求精度を示す情報は、想定される動きの激しさを示す情報を含んでいてもよい。センサ制御部30は、激しい動きが想定される場合に誤差が大きくなる傾向にあるセンサ(例えば、慣性センサ11)を停止し、安定的な検出が可能なセンサ(例えば、GNSS受信機13)が動作するよう、センサ群10を制御する。例えば、激しい動きが想定されるアプリケーションとしては、図5を参照して説明したテニスのアプリケーションが考えられる。
例えば、要求精度を示す情報は、相対的な測定情報(例えば、相対位置又は相対姿勢)を測定する際の基準となる物体を示す情報を含んでいてもよい。例えば、センサ制御部30は、基準となる物体が静止した物体であればカメラの撮像頻度を低くし、基準となる物体が動く物体であればカメラの撮像頻度を高くする。
例えば、要求精度を示す情報は、どのセンサを、どの頻度で、どの精度で動作させるか、といった制御パターンを示す情報であってもよい。この場合、センサ制御部30は、制御パターンを示す情報に従ってセンサ群10を制御する。
例えば、要求精度を示す情報は、位置情報(例えば、第2の実施形態において後述する地理的範囲)と対応付けられていてもよい。この場合、センサ制御部30は、センサ群10の位置に対応する要求精度を示す情報に基づいて、センサ群10を制御する。
・アプリケーション
HMD100は、様々なアプリケーション40を動作させることが可能である。アプリケーション40は、センサ情報を使用する処理を行う。より詳しくは、アプリケーション40は、センサ情報に基づいて生成された情報である、位置情報及び姿勢情報を使用する。例えば、アプリケーション40は、位置情報及び姿勢情報を用いて表示部121に映った実空間に仮想オブジェクト(即ち、アノテーション)を重畳表示する、ARアプリケーションであってもよい。
ここで、アプリケーションごとに要求精度は異なり得る。以下、図3〜図5を参照して、アプリケーションごとに異なる要求精度の一例を説明する。
図3は、本実施形態に係るHMD100により表示される画面の一例を示す図である。図3に示すように、画面200では、実空間の行列201の頭上に、待ち時間を示すアノテーション202、及びお店の情報を示すアノテーション203が重畳されている。本アプリケーションでは、HMD100から近い位置にアノテーションが重畳されるものの、大まかな位置に重畳されればよい。そのため、例えば本アプリケーションの要求精度は、絶対位置精度が2mであり、絶対姿勢精度が20°である。
図4は、本実施形態に係るHMD100により表示される画面の一例を示す図である。図4に示すように、画面210では、遠くに巨大な怪獣のアノテーション211が重畳されている。本アプリケーションでは、HMD100から遠く、かつ大まかな位置にアノテーションが重畳されればよい一方で、怪獣の姿勢はリアリティのために正確に重畳させることが望ましい。そのため、例えば本アプリケーションでは、絶対位置精度は5mであり、絶対姿勢精度は1°である。
図5は、本実施形態に係るHMD100により表示される画面の一例を示す図である。図5に示すように、画面220では、仮想的なテニスコートのアノテーション223が重畳された空間において、テニスプレイヤー221及び222がテニスを行っている。本アプリケーションでは、仮想的なテニスコートが正確に重畳されることが望ましい。そのため、例えば本アプリケーションでは、相対位置精度は10cmであり、相対姿勢精度は1°である。
また、同一のアプリケーションでも、状況によって要求精度は異なり得る。以下、図6を参照して、ユーザの生活を支援する生活支援アプリケーションにおける、状況によって異なる要求精度の一例を説明する。
図6は、本実施形態に係るHMD100により表示される画面の一例を示す図である。図6に示すように、画面230では、遠くにある店231の上空に、セール中であることを示すアノテーション232が重畳されている。このような状況では、HMD100から遠く且つ大まかな位置にアノテーションが重畳されればよいので、要求される絶対位置精度及び絶対姿勢精度は低い。
画面240は、店231にユーザが近づいた場合に表示される画面である。このような状況では、HMD100から近くにアノテーションが重畳されるので、画面230の場合と比較して高い絶対位置精度及び絶対姿勢精度が要求される。
画面250は、ユーザが店231に入った場合に表示される画面である。店231の内部には、店員233がいて、棚234がある。そして、店員233からのメッセージを示すアノテーション235が店員233に対応付けて重畳されており、棚234に陳列された商品のセール情報を示すアノテーション236及び237が、対応する商品に対応付けて重畳されている。このような状況では、アノテーションの重畳位置及び姿勢と対応付けられた実物体の位置及び姿勢とのずれが少ないほど望ましい。従って、高い相対位置精度及び相対姿勢精度が要求される。
この他にも、例えばオクルージョン処理の要否等の様々な要因によって、要求精度は変わり得る。
以下、状況によって要求精度が変動する生活支援アプリケーションを例として用い、本開示の各実施形態を説明する。なお、以下では、上記説明した基本構成と同様の部分については説明を省略する。
<<2.第1の実施形態>>
本実施形態は、アプリケーションからの要求精度を示す情報に基づいてセンサ制御が行われる形態である。以下、図7〜図9を参照して、本実施形態について説明する。
<2.1.概要>
図7は、本実施形態の概要を説明するための図である。図7に示すように、シーン300においては、HMD100を装着したユーザは屋外を散歩している。そして、アプリケーションは、ユーザに対して経路案内を行う。アプリケーションは、ユーザのだいたいの位置が分かればよいので、誤差許容範囲301は広く、要求精度は低い。一方で、シーン310においては、HMD100を装着したユーザは屋内で買い物をしている。そして、アプリケーションは、ユーザに対してセール情報を重畳する等して買い物支援を行う。アプリケーションは、正確な商品の位置及び店員の位置を要するので、誤差許容範囲311は狭く、要求精度は高い。
そこで、本実施形態に係るHMD100は、このようなアプリケーションの要求精度に応じて、センサ制御を行う。例えば、HMD100は、シーン300においてはカメラを停止し、シーン310においてはカメラを動作させる。
<2.2.技術的特徴>
(1)構成例
図8は、本実施形態に係るHMD100の内部構成の一例を示すブロック図である。図8に示すように、本実施形態に係るHMD100は、図2に示した基本構成と同様の構成要素を有し、さらに、アプリケーション40からセンサ制御部30への情報の通知経路を有する。
アプリケーション40は、処理内容に応じて測定情報の要求精度を示す情報を生成する。例えば、アプリケーション40は、実空間に仮想オブジェクト(即ち、アノテーション)を重畳表示させる処理を行う、ARアプリケーションであってもよい。その場合、アプリケーション40は、アノテーションの大きさ、重畳距離、重畳精度、及びオクルージョン処理の要否に応じて、要求精度を示す情報を生成する。例えば、アプリケーション40は、アノテーションが大きい、重畳距離が長い、重畳精度が低い、又はオクルージョン処理が不要である場合に、低い要求精度を示す情報を生成する。また、アプリケーション40は、アノテーションが小さい、重畳距離が短い、重畳精度が高い、又はオクルージョン処理が行わる場合に、高い要求精度を示す情報を生成する。
アプリケーション40は、要求精度を示す情報をセンサ制御部30に通知する。例えば、アプリケーション40は、起動された、スリープが解除された(例えば、他のアプリケーションから切り替えられた)、シーンが切り替わった、又はコンテンツが切り替わった等の多様なタイミングで、要求精度を示す情報を通知する。その他、アプリケーション40は、周期的に要求精度を示す情報をセンサ制御部30に通知してもよい。なお、アプリケーション40は、コンテンツに応じて要求精度を変更してもよい。
センサ制御部30は、アプリケーション40から通知された要求精度を示す情報を取得する。センサ制御部30は、要求精度を示す情報を通知するようアプリケーション40にリクエストを通知することで、アプリケーション40に要求精度を示す情報を通知させてもよい。
そして、センサ制御部30は、アプリケーション40から取得した要求精度を示す情報に基づいて、センサ群10を制御する。例えば、センサ制御部30は、要求精度が高い場合は、高精度なセンサ又は高消費電力なセンサを追加起動させたり、センサを高頻度で動作させたりする。一方で、センサ制御部30は、要求精度が低い場合は、高精度なセンサ又は高消費電力なセンサを停止させたり、センサを低頻度で動作させたりする。
(2)処理の流れ
図9は、本実施形態に係るHMD100により実行されるセンサ制御処理の流れの一例を示すフローチャートである。図9に示すように、まず、HMD100は、位置情報及び姿勢情報を必要とするアプリケーションを起動する(ステップS102)。次いで、起動されたアプリケーションが要求精度を示す情報を生成する(ステップS104)。次に、HMD100は、要求精度を示す情報に基づいてセンサを起動する(ステップS106)。次いで、HMD100は、センサにより検出されたセンサ情報を取得する(ステップS108)。次に、HMD100は、センサ情報に基づく位置測定及び姿勢測定を含む測定処理を行う(ステップS110)。次いで、アプリケーションが、測定結果に基づく処理を行う(ステップS112)。次に、HMD100は、測定結果が要求精度を満たすか否かを判定する(ステップS114)。要求精度を満たすと判定された場合(ステップS114/YES)、HMD100は、余剰なセンサを停止させる又は間欠動作させる(ステップS116)。一方で、要求精度を満たさないと判定された場合(ステップS114/NO)、HMD100は、センサを追加起動させる又は高頻度動作させる(ステップS118)。その後、処理は再度ステップS108に戻る。
<<3.第2の実施形態>>
本実施形態は、位置情報に対応する要求精度を用いる形態である。以下、図10〜図12を参照して、本実施形態について説明する。
<3.1.概要>
図10は、本実施形態の概要を説明するための図である。図10に示すように、シーン320においては、HMD100を装着したユーザは開けた公園を散歩している。そして、アプリケーションは、ユーザに対して経路案内を行う。アプリケーションは、ユーザのだいたいの位置が分かればよいので、誤差許容範囲321は広く、要求精度は低い。一方で、シーン330においては、HMD100を装着したユーザは建物が密集した街中を歩いている。そして、アプリケーションは、ユーザに対して経路案内を行う。アプリケーションは、建物が密集した環境下での経路案内のためにユーザの正確な位置を要するので、誤差許容範囲322は狭く、要求精度は高い。
ここで、本実施形態では、位置情報と要求精度を示す情報とが対応付けられる。例えば、低い要求精度を示す情報が対応付けられた地理的範囲である低精度測定エリア323、及び高い要求精度を示す情報が対応付けられた地理的範囲である高精度測定エリア324が設定される。例えば、シーン320のように要求精度が低くなるエリアが低精度測定エリア323として設定され、シーン330のように要求精度が高くなるエリアが高精度測定エリア324として設定される。
HMD100は、例えば、GNSS信号、又はBLE若しくはWi−Fi等の無線通信により位置情報を測定し、どのエリアに位置しているかを判定する。そして、HMD100は、低精度測定エリア323内に位置していると判定した場合、低い要求精度に応じたセンサ制御を行う。一方で、HMD100は、高精度測定エリア324内に位置していると判定した場合、高い要求精度に応じたセンサ制御を行う。例えば、HMD100は、低精度測定エリア323内に位置していると判定した場合にカメラを停止し、高精度測定エリア324内に位置していると判定した場合にカメラを動作させる。この場合、高精度測定エリア324は、カメラON/OFFを切り替えるジオフェンスとして捉えられ得る。
<3.2.技術的特徴>
(1)構成例
図11は、本実施形態に係るHMD100の内部構成の一例を示すブロック図である。図11に示すように、本実施形態に係るHMD100は、図2に示した基本構成と同様の構成要素を有し、さらに、測定部20からセンサ制御部30への情報の通知経路を有する。
測定部20は、位置情報をセンサ制御部30に通知する。例えば、測定部20は、周期的に又は非周期的に位置情報をセンサ制御部30に通知する。
センサ制御部30は、測定部20から通知された位置情報を取得する。センサ制御部30は、位置情報を通知するよう測定部20にリクエストを通知することで、測定部20に位置情報を通知させてもよい。そして、センサ制御部30は、測定部20から取得した位置情報に基づいて、センサ群10を制御する。
センサ制御部30は、地理的範囲と要求精度を示す情報とを対応付けた情報を参照して、測定部20から取得した位置情報に対応する要求精度を示す情報に基づいて、センサ群10を制御する。具体的には、センサ制御部30は、測定された位置情報が予め設定された地理的範囲に含まれる場合、当該地理的範囲に対応する要求精度を示す情報に基づいてセンサを制御する。例えば、センサ制御部30は、位置情報が低精度測定エリアに含まれる場合、低い要求精度に応じたセンサ制御を行う。一方で、センサ制御部30は、位置情報が高精度測定エリアに含まれる場合、高い要求精度に応じたセンサ制御を行う。
地理的範囲と要求精度を示す情報とを対応付けた情報は、図示しない記憶部により記憶され得る。若しくは、地理的範囲と要求精度を示す情報とを対応付けた情報は、サーバ等の外部機器に記憶され、適宜HMD100に送信され得る。
地理的範囲と要求精度を示す情報との対応付けは、アプリケーションの作成者により任意に行われてもよい。また、地理的範囲と要求精度を示す情報との対応付けは、周囲の建物の密集度合いに基づいて行われてもよい。
(2)処理の流れ
図12は、本実施形態に係るHMD100により実行されるセンサ制御処理の流れの一例を示すフローチャートである。図12に示すように、まず、HMD100は、位置情報及び姿勢情報を必要とするアプリケーションを起動する(ステップS202)。次に、HMD100は、センサを起動する(ステップS204)。次いで、HMD100は、センサにより検出されたセンサ情報を取得する(ステップS206)。次に、HMD100は、センサ情報に基づく位置測定及び姿勢測定を含む測定処理を行う(ステップS208)。次いで、アプリケーションが、測定結果に基づく処理を行う(ステップS210)。次に、HMD100は、現在位置が高精度測定エリア内か否かを判定する(ステップS212)。高精度測定エリア内であると判定された場合(ステップS212/YES)、HMD100は、センサを追加起動させる又は高頻度動作させる(ステップS214)。一方で、高精度測定エリア内ではないと判定された場合(ステップS212/NO)、HMD100は、余剰なセンサを停止させる又は間欠動作させる(ステップS216)。その後、処理は再度ステップS206に戻る。
<<4.第3の実施形態>>
本実施形態は、アプリケーションからの要求精度を示す情報、及び測定精度に基づいてセンサ制御が行われる形態である。以下、図13〜図15を参照して、本実施形態について説明する。
<4.1.概要>
図13は、本実施形態の概要を説明するための図である。図13に示すように、HMD100を装着したユーザが散歩している。そして、アプリケーションは、ユーザに対して経路案内を行う。第1の実施形態において説明したように、HMD100は、アプリケーションの要求精度に応じて、センサ制御を行う。本実施形態では、さらに、HMD100は、測定精度に応じてセンサ制御を行う。
HMD100は、GNSS衛星340からのGNSS信号を受信して位置情報を測定可能である。GNSS信号の受信強度が高い場合には位置情報の測定精度が高くなり、受信強度が低い場合には位置情報の測定精度が低くなる。例えば、GNSS信号の受信強度が高い場合、図13に示すように、アプリケーションが求める誤差許容範囲342よりも、GNSS信号に基づいて特定される位置情報の範囲341(狭いほど測定精度が高く、広いほど測定精度が低い)の方が狭い。よって、消費電力削減の余地があると言える。
そこで、HMD100は、GNSS信号に基づく位置情報の測定精度が、アプリケーションの要求精度よりも高い場合には、カメラ等の余剰なセンサを停止させたり、センサを間欠動作させたりする。一方で、HMD100は、GNSS信号に基づく位置情報の測定精度が、アプリケーションの要求精度よりも低い場合には、カメラ等の他のセンサを追加起動させたり、センサを高頻度動作させたりする。このように、HMD100は、アプリケーションの要求精度に加えて測定精度を加味することで、より細やかなセンサ制御を行うことが可能となる。
<4.2.技術的特徴>
(1)構成例
図14は、本実施形態に係るHMD100の内部構成の一例を示すブロック図である。図14に示すように、本実施形態に係るHMD100は、図2に示した基本構成と同様の構成要素を有し、さらに、アプリケーション40からセンサ制御部30への情報の通知経路、及び測定部20からセンサ制御部30への情報の通知経路を有する。
アプリケーション40は、第1の実施形態において説明したように、要求精度を示す情報を生成して、センサ制御部30に通知する。
測定部20は、測定情報をセンサ制御部30に通知する。例えば、測定部20は、周期的に又は非周期的に測定情報をセンサ制御部30に通知する。さらに、測定部20は、測定情報の精度を示す情報をセンサ制御部30に通知してもよい。測定情報の精度を示す情報としては、例えばGNSS信号の受信強度を示す情報、及び動きの激しさを示す情報等が考えられる。
センサ制御部30は、アプリケーション40から通知された要求精度を示す情報を取得する。センサ制御部30は、要求精度を示す情報を通知するようアプリケーション40にリクエストを通知することで、アプリケーション40に要求精度を示す情報を通知させてもよい。
センサ制御部30は、測定部20から通知された測定情報及び精度を示す情報を取得する。センサ制御部30は、これらの情報を通知するよう測定部20にリクエストを通知することで、測定部20にこれらの情報を通知させてもよい。
そして、センサ制御部30は、測定部20から取得した測定情報の精度、及びアプリケーション40から取得した要求精度を示す情報に基づいて、センサ群10を制御する。詳しくは、センサ制御部30は、測定情報の測定精度が、アプリケーションの要求精度よりも余剰である(例えば、過度に高い)場合には、余剰なセンサを停止させたり、センサを間欠動作させたりする。一方で、センサ制御部30は、位置情報又は姿勢情報の測定精度が、アプリケーションの要求精度よりも低い場合には、他のセンサを追加起動させたり、センサを高頻度動作させたりする。これにより、HMD100は、アプリケーションからの要求精度を示す情報のみを使用する場合と比較して細やかなセンサ制御を行うことが可能となるので、消費電力をより抑制することが可能となる。
なお、測定精度が余剰であるか否かの判定には、閾値が用いられてもよい。また、センサ制御部30は、センサの制御パターンを切り替えながら、要求精度を満たすようにフィードバック制御を行ってもよい。
(2)処理の流れ
図15は、本実施形態に係るHMD100により実行されるセンサ制御処理の流れの一例を示すフローチャートである。図15に示すように、まず、HMD100は、位置情報及び姿勢情報を必要とするアプリケーションを起動する(ステップS302)。次いで、起動されたアプリケーションが要求精度を示す情報を生成する(ステップS304)。次に、HMD100は、要求精度を示す情報に基づいてセンサを起動する(ステップS306)。次いで、HMD100は、センサにより検出されたセンサ情報を取得する(ステップS308)。次に、HMD100は、センサ情報に基づく位置測定及び姿勢測定を含む測定処理を行う(ステップS310)。次いで、アプリケーションが、測定結果に基づく処理を行う(ステップS312)。次に、HMD100は、測定結果が要求精度を満たすか否かを判定する(ステップS314)。要求精度を満たすと判定された場合(ステップS314/YES)、HMD100は、測定精度が要求精度に対して過度に高いか否かを判定する(ステップS316)。過度に高いと判定された場合(ステップS316/YES)、HMD100は、余剰なセンサを停止させる又は間欠動作させる(ステップS318)。その後、処理は再度ステップS308に戻る。一方で、過度に高いわけではないと判定された場合(ステップS316/NO)、処理は再度ステップS308に戻る。また、ステップS314において、要求精度を満たさないと判定された場合(ステップS314/NO)、HMD100は、センサを追加起動させる又は高頻度動作させる(ステップS320)。その後、処理は再度ステップS308に戻る。
<<5.補足>>
センサ制御の方法は、上記説明した以外にも多様に考えられる。
HMD100は、姿勢情報に基づいて、GNSS優位又はカメラ優位を判別して、動作させるセンサを切り替えてもよい。例えば、HMD100は、ユーザが空を見上げているため空の画像が撮像される場合にGNSS受信機13を動作させて、ユーザが地面を見ているため特徴点のある画像が撮像可能である場合にカメラ14を動作させる。
HMD100は、位置情報に基づいて、GNSS優位又はカメラ優位を判別して、動作させるセンサを切り替えてもよい。例えば、HMD100は、街中ではカメラ14を動作させて、公園ではGNSS受信機13を動作させる。
HMD100は、姿勢測定精度に基づいて、動作させるセンサを切り替えてもよい。例えば、HMD100は、姿勢測定精度が高い場合に姿勢測定精度に大きく寄与するセンサを動作させる。そのような、センサとしては、例えばGNSS信号の時間差分をとるための2周波のGNSS信号を受信するGNSS受信機、ビジュアルオドメトリ法のためのステレオカメラ、及び地磁気センサが挙げられる。
HMD100は、位置測定精度に基づいて、動作させるセンサを切り替えてもよい。例えば、HMD100は、位置測定精度が高い場合に姿勢位置精度に大きく寄与するセンサを動作させる。そのようなセンサとしては、例えばマップマッチングのためのGNSS受信機が挙げられる。
HMD100は、ユーザの自宅等の充電容易な場所では全てのセンサを動作させて、屋外等の充電困難な場所では消費電力の大きいセンサを停止させてもよい。
HMD100は、センサに対応付けられた電池の残量に基づいてセンサを制御してもよい。例えば、センサが複数の装置に分離して含まれる場合、HMD100は、電池残量が多い装置のセンサを優先的に動作させて、電池残量が少ない装置のセンサを停止させる。また、例えば、HMD100は、自身の電池残量が少ない場合、自身のセンサを停止させて、他の装置のセンサを優先的に動作させる。このようにして、HMD100は、関連する装置群全体での電力消費を最適化することが可能である。
HMD100は、周囲が暗い場合又は極端に明るい場合はカメラを停止させてもよい。
HMD100は、自身又はアプリケーションが省電力モードである場合に、動作させるセンサを減らしてもよい。
HMD100は、センサのON/OFF以外にも、例えば近似計算により演算処理を計量化して、消費電力を抑制してもよい。
HMD100は、センサのON/OFF以外にも、例えばネットワーク通信による測定結果の補正を停止することで、消費電力を抑制してもよい。
HMD100は、各センサの消費電力リストをユーザに提示して、ユーザ入力に基づいてセンサ制御を行ってもよい。ユーザは、例えばセンサON/OFFを指定してもよいし、場所に紐付けたセンサON/OFFを設定してもよい。
HMD100は、気温が低い場合は消費電力の大きいセンサを動作させて発熱させてもよい。
<<6.ハードウェア構成例>>
最後に、図16を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図16は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図16に示す情報処理装置900は、例えば、図1及び図2に示した情報処理装置100を実現し得る。本実施形態に係る情報処理装置100による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
図16に示すように、情報処理装置900は、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903及びホストバス904aを備える。また、情報処理装置900は、ブリッジ904、外部バス904b、インタフェース905、入力装置906、出力装置907、ストレージ装置908、ドライブ909、接続ポート911及び通信装置913を備える。情報処理装置900は、CPU901に代えて、又はこれとともに、電気回路、DSP若しくはASIC等の処理回路を有してもよい。
CPU901は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置900内の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。CPU901は、例えば、図2に示す測定部20、センサ制御部30及びアプリケーション40として動作し得る。
CPU901、ROM902及びRAM903は、CPUバスなどを含むホストバス904aにより相互に接続されている。ホストバス904aは、ブリッジ904を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス904bに接続されている。なお、必ずしもホストバス904a、ブリッジ904および外部バス904bを分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
入力装置906は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置906は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置900の操作に対応した携帯電話やPDA等の外部接続機器であってもよい。さらに、入力装置906は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などを含んでいてもよい。情報処理装置900のユーザは、この入力装置906を操作することにより、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりすることができる。
他にも、入力装置906は、ユーザに関する情報を検知する装置により形成され得る。例えば、入力装置906は、画像センサ(例えば、カメラ)、深度センサ(例えば、ステレオカメラ)、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサを含み得る。また、入力装置906は、情報処理装置900の姿勢、移動速度等、情報処理装置900自身の状態に関する情報や、情報処理装置900の周辺の明るさや騒音等、情報処理装置900の周辺環境に関する情報を取得してもよい。また、入力装置906は、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して装置の緯度、経度及び高度を含む位置情報を測定するGNSSモジュールを含んでもよい。また、位置情報に関しては、入力装置906は、Wi−Fi(登録商標)、携帯電話・PHS・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。入力装置906は、例えば、図1に示す内向きカメラ111、外向きカメラ112、及び図2に示すセンサ群10を形成し得る。
出力装置907は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置、レーザープロジェクタ、LEDプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置907は、例えば、情報処理装置900が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置900が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置907は、例えば、図1に示す表示部121を形成し得る。
ストレージ装置908は、情報処理装置900の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置908は、例えば、HDD等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置908は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置908は、CPU901が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。
ドライブ909は、記憶媒体用リーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ909は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、RAM903に出力する。また、ドライブ909は、リムーバブル記憶媒体に情報を書き込むこともできる。
接続ポート911は、外部機器と接続されるインタフェースであって、例えばUSB(Universal Serial Bus)などによりデータ伝送可能な外部機器との接続口である。
通信装置913は、例えば、ネットワーク920に接続するための通信デバイス等で形成された通信インタフェースである。通信装置913は、例えば、有線若しくは無線LAN(Local Area Network)、LTE(Long Term Evolution)、Bluetooth(登録商標)又はWUSB(Wireless USB)用の通信カード等である。また、通信装置913は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ又は各種通信用のモデム等であってもよい。この通信装置913は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。通信装置913は、例えば、図2に示したセンサ群10に含まれるセンサのひとつを形成し得る。
なお、ネットワーク920は、ネットワーク920に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク920は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク920は、IP−VPN(Internet Protocol−Virtual Private Network)などの専用回線網を含んでもよい。
以上、本実施形態に係る情報処理装置900の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
なお、上述のような本実施形態に係る情報処理装置900の各機能を実現するためのコンピュータプログラムを作製し、PC等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
<<7.まとめ>>
以上、図1〜図16を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係る情報処理装置100は、センサによる検出結果に基づく測定情報を使用するアプリケーションから測定情報の要求精度を示す情報を取得して、要求精度を示す情報に基づいてセンサを制御する。情報処理装置100は、要求精度に基づいてセンサを制御することが可能であるので、測定精度が余剰である場合にはセンサを制御して消費電力を削減し、測定精度が不足である場合にはセンサを制御して要求精度を満たすことが可能となる。これにより、例えばHMDにおいて動作するARアプリケーションに関し、要求精度が許す場合には消費電力が大きいセンサを切ることで、連続使用可能時間を伸ばすことが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、位置情報及び姿勢情報が測定される場合の例を説明したが、本技術はかかる例に限定されない。例えば、画像認識処理、音声認識処理、速度測定処理、環境情報測定処理等のセンサ情報に基づく多様な測定処理に関し、本技術が適用されてもよい。情報処理装置100は、どのような測定処理に関しても、測定情報の精度に応じてセンサを制御することが可能である。
また、上記各実施形態は適宜組み合わせることが可能である。例えば、第1の実施形態と第2の実施形態とが組み合わされてもよい。この場合、情報処理装置100は、所定の地理的範囲においては当該地理的範囲に対応する要求精度を示す情報に基づいてセンサを制御しつつ、当該地理的範囲外ではアプリケーションから取得した要求精度を示す情報に基づいてセンサを制御する。また、第2の実施形態と第3の実施形態とが組み合わされてもよい。この場合、この場合、情報処理装置100は、所定の地理的範囲においては当該地理的範囲に対応する要求精度を示す情報に基づいてセンサを制御しつつ、当該地理的範囲外ではアプリケーションから取得した要求精度を示す情報及び測定情報の精度に基づいてセンサを制御する。
また、本明細書においてフローチャートを用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
センサによる検出結果に基づく測定情報を使用するアプリケーションから前記測定情報の要求精度を示す情報を取得して、前記要求精度を示す情報に基づいて前記センサを制御する制御部、
を備える情報処理装置。
(2)
前記制御部は、前記センサの消費電力にさらに基づいて前記センサを制御する、前記(1)に記載の情報処理装置。
(3)
前記制御部は、前記要求精度を満たしつつ消費電力の総和が最小化されるよう前記センサを制御する、前記(2)に記載の情報処理装置。
(4)
前記制御部は、前記センサに対応付けられた電池の残量に基づいて前記センサを制御する、前記(2)又は(3)に記載の情報処理装置。
(5)
前記制御部は、前記センサの起動/停止、前記センサの動作頻度、又は前記センサの精度の少なくともいずれかを制御する、前記(1)〜(4)のいずれか一項に記載の情報処理装置。
(6)
前記測定情報は、位置情報又は姿勢情報の少なくともいずれかを含む、前記(1)〜(5)のいずれか一項に記載の情報処理装置。
(7)
前記要求精度を示す情報は、絶対的な位置情報の要求精度、絶対的な姿勢情報の要求精度、相対的な位置情報の要求精度、又は相対的な姿勢情報の要求精度の少なくともいずれかを含む、前記(6)に記載の情報処理装置。
(8)
前記要求精度を示す情報は、前記要求精度に対応するインデックスを含む、前記(1)〜(7)のいずれか一項に記載の情報処理装置。
(9)
前記要求精度を示す情報は、前記センサの使用可否を示す情報を含む、前記(1)〜(8)のいずれか一項に記載の情報処理装置。
(10)
前記要求精度を示す情報は、想定される動きの激しさを示す情報を含む、前記(1)〜(9)のいずれか一項に記載の情報処理装置。
(11)
前記要求精度を示す情報は、相対的な前記測定情報を測定する際の基準となる物体を示す情報を含む、前記(1)〜(10)のいずれか一項に記載の情報処理装置。
(12)
前記制御部は、測定された位置情報が予め設定された地理的範囲に含まれる場合、前記地理的範囲に対応する前記要求精度を示す情報に基づいて前記センサを制御する、前記(1)〜(11)のいずれか一項に記載の情報処理装置。
(13)
前記制御部は、前記測定情報の精度及び前記要求精度を示す情報に基づいて前記センサを制御する、前記(1)〜(12)のいずれか一項に記載の情報処理装置。
(14)
センサによる検出結果に基づく測定情報を使用する処理を行い、処理内容に応じて前記測定情報の要求精度を示す情報を生成する制御部、
を備える情報処理装置。
(15)
前記制御部は、実空間に仮想オブジェクトを重畳表示させる処理を行い、前記仮想オブジェクトの大きさ、重畳距離、重畳精度、及びオクルージョン処理の要否に応じて前記要求精度を示す情報を生成する、前記(14)に記載の情報処理装置。
(16)
センサによる検出結果に基づく測定情報を使用するアプリケーションから前記測定情報の要求精度を示す情報を取得して、前記要求精度を示す情報に基づいて前記センサを制御すること、
を含むプロセッサにより実行される情報処理方法。
(17)
センサによる検出結果に基づく測定情報を使用する処理を行い、処理内容に応じて前記測定情報の要求精度を示す情報を生成すること、
を含むプロセッサにより実行される情報処理方法。
(18)
コンピュータを、
センサによる検出結果に基づく測定情報を使用するアプリケーションから前記測定情報の要求精度を示す情報を取得して、前記要求精度を示す情報に基づいて前記センサを制御する制御部、
として機能させるためのプログラムを記録した記録媒体。
(19)
コンピュータを
センサによる検出結果に基づく測定情報を使用する処理を行い、処理内容に応じて前記測定情報の要求精度を示す情報を生成する制御部、
として機能させるためのプログラムを記録した記録媒体。
10 センサ群
11 慣性センサ
12 地磁気センサ
13 GNSS受信機
14 カメラ
20 測定部
21 測位部
22 姿勢測定部
30 センサ制御部
40 アプリケーション
100 情報処理装置、HMD
111 内向きカメラ
112 外向きカメラ
121 表示部

Claims (19)

  1. センサによる検出結果に基づく測定情報を使用するアプリケーションから前記測定情報の要求精度を示す情報を取得して、前記要求精度を示す情報に基づいて前記センサを制御する制御部、
    を備える情報処理装置。
  2. 前記制御部は、前記センサの消費電力にさらに基づいて前記センサを制御する、請求項1に記載の情報処理装置。
  3. 前記制御部は、前記要求精度を満たしつつ消費電力の総和が最小化されるよう前記センサを制御する、請求項2に記載の情報処理装置。
  4. 前記制御部は、前記センサに対応付けられた電池の残量に基づいて前記センサを制御する、請求項2に記載の情報処理装置。
  5. 前記制御部は、前記センサの起動/停止、前記センサの動作頻度、又は前記センサの精度の少なくともいずれかを制御する、請求項1に記載の情報処理装置。
  6. 前記測定情報は、位置情報又は姿勢情報の少なくともいずれかを含む、請求項1に記載の情報処理装置。
  7. 前記要求精度を示す情報は、絶対的な位置情報の要求精度、絶対的な姿勢情報の要求精度、相対的な位置情報の要求精度、又は相対的な姿勢情報の要求精度の少なくともいずれかを含む、請求項6に記載の情報処理装置。
  8. 前記要求精度を示す情報は、前記要求精度に対応するインデックスを含む、請求項1に記載の情報処理装置。
  9. 前記要求精度を示す情報は、前記センサの使用可否を示す情報を含む、請求項1に記載の情報処理装置。
  10. 前記要求精度を示す情報は、想定される動きの激しさを示す情報を含む、請求項1に記載の情報処理装置。
  11. 前記要求精度を示す情報は、相対的な前記測定情報を測定する際の基準となる物体を示す情報を含む、請求項1に記載の情報処理装置。
  12. 前記制御部は、測定された位置情報が予め設定された地理的範囲に含まれる場合、前記地理的範囲に対応する前記要求精度を示す情報に基づいて前記センサを制御する、請求項1に記載の情報処理装置。
  13. 前記制御部は、前記測定情報の精度及び前記要求精度を示す情報に基づいて前記センサを制御する、請求項1に記載の情報処理装置。
  14. センサによる検出結果に基づく測定情報を使用する処理を行い、処理内容に応じて前記測定情報の要求精度を示す情報を生成する制御部、
    を備える情報処理装置。
  15. 前記制御部は、実空間に仮想オブジェクトを重畳表示させる処理を行い、前記仮想オブジェクトの大きさ、重畳距離、重畳精度、及びオクルージョン処理の要否に応じて前記要求精度を示す情報を生成する、請求項14に記載の情報処理装置。
  16. センサによる検出結果に基づく測定情報を使用するアプリケーションから前記測定情報の要求精度を示す情報を取得して、前記要求精度を示す情報に基づいて前記センサを制御すること、
    を含むプロセッサにより実行される情報処理方法。
  17. センサによる検出結果に基づく測定情報を使用する処理を行い、処理内容に応じて前記測定情報の要求精度を示す情報を生成すること、
    を含むプロセッサにより実行される情報処理方法。
  18. コンピュータを、
    センサによる検出結果に基づく測定情報を使用するアプリケーションから前記測定情報の要求精度を示す情報を取得して、前記要求精度を示す情報に基づいて前記センサを制御する制御部、
    として機能させるためのプログラムを記録した記録媒体。
  19. コンピュータを
    センサによる検出結果に基づく測定情報を使用する処理を行い、処理内容に応じて前記測定情報の要求精度を示す情報を生成する制御部、
    として機能させるためのプログラムを記録した記録媒体。
JP2019508580A 2017-03-27 2017-12-26 情報処理装置、情報処理方法及び記録媒体 Pending JPWO2018179644A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017060966 2017-03-27
JP2017060966 2017-03-27
PCT/JP2017/046625 WO2018179644A1 (ja) 2017-03-27 2017-12-26 情報処理装置、情報処理方法及び記録媒体

Publications (1)

Publication Number Publication Date
JPWO2018179644A1 true JPWO2018179644A1 (ja) 2020-02-13

Family

ID=63674963

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019508580A Pending JPWO2018179644A1 (ja) 2017-03-27 2017-12-26 情報処理装置、情報処理方法及び記録媒体

Country Status (4)

Country Link
US (1) US11340072B2 (ja)
JP (1) JPWO2018179644A1 (ja)
CN (1) CN110463165B (ja)
WO (1) WO2018179644A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10849134B2 (en) 2016-11-04 2020-11-24 Qualcomm Incorporated Indicating a range of beam correspondence in a wireless node
US10859713B2 (en) 2017-01-04 2020-12-08 Qualcomm Incorporated Position-window extension for GNSS and visual-inertial-odometry (VIO) fusion
JP6977931B2 (ja) * 2017-12-28 2021-12-08 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法
US11202006B2 (en) * 2018-05-18 2021-12-14 Samsung Electronics Co., Ltd. CMOS-assisted inside-out dynamic vision sensor tracking for low power mobile platforms
JP6988859B2 (ja) * 2019-06-07 2022-01-05 トヨタ自動車株式会社 自己位置共有システム、車両及び端末
BR112022012028A2 (pt) * 2019-12-18 2022-09-06 Ericsson Telefon Ab L M Dispositivo configurado, meio não transitório legível por computador e método por um dispositivo para desempenhar localização usando um conjunto de sensores que são transportáveis com o dispositivo
CN115053259A (zh) * 2020-02-07 2022-09-13 瑞典爱立信有限公司 基于来自深度传感器的数据的针对定位的单目相机激活
JP2022123692A (ja) 2021-02-12 2022-08-24 ソニーグループ株式会社 画像処理装置、画像処理方法、画像処理システム
WO2022201739A1 (ja) * 2021-03-24 2022-09-29 株式会社Nttドコモ 表示制御装置
WO2022210113A1 (ja) * 2021-03-30 2022-10-06 ソニーグループ株式会社 コンテンツ再生システム、情報処理装置及びコンテンツ再生制御アプリケーション
WO2022209000A1 (ja) * 2021-03-30 2022-10-06 ソニーグループ株式会社 コンテンツ再生システム、情報処理装置及びコンテンツ再生制御アプリケーション
WO2022209474A1 (ja) * 2021-03-30 2022-10-06 ソニーグループ株式会社 コンテンツ再生システム、情報処理装置及びコンテンツ再生制御アプリケーション
US11928756B2 (en) * 2021-09-22 2024-03-12 Google Llc Geographic augmented reality design for low accuracy scenarios
WO2023162504A1 (ja) * 2022-02-28 2023-08-31 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007003531A (ja) * 2006-07-12 2007-01-11 Mitsubishi Electric Corp 位置測位装置を有する移動体情報端末
JP2010139321A (ja) * 2008-12-10 2010-06-24 Toshiba Corp 移動無線端末装置
JP2011064523A (ja) * 2009-09-16 2011-03-31 Hitachi Ltd 測位組み合わせ決定システム
JP2012078224A (ja) * 2010-10-01 2012-04-19 Olympus Corp 画像生成システム、プログラム及び情報記憶媒体
JP2012251936A (ja) * 2011-06-06 2012-12-20 Ntt Docomo Inc 測位装置および測位方法
JP2013140171A (ja) * 2013-02-27 2013-07-18 Yupiteru Corp ナビゲーション装置及びプログラム
JP2013239124A (ja) * 2012-05-17 2013-11-28 Nec Corp 端末制御システム、端末管理装置、端末制御装置、端末制御方法、端末管理プログラム及び端末制御プログラム
JP2014531632A (ja) * 2011-08-27 2014-11-27 ゼット ティー イー コーポレイションZte Corporation 拡張現実ユーザコンテキストへのアクセス方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005292082A (ja) * 2004-04-05 2005-10-20 Denso Corp 衛星航法用制御装置
KR100761462B1 (ko) * 2006-05-23 2007-09-28 한국과학기술원 거리측정 센서 및 이를 이용한 거리 측정방법
US9451395B2 (en) * 2011-09-19 2016-09-20 Lg Electronics Inc. Method and apparatus for measuring a position in a wireless access system
EP2984884A1 (en) * 2013-04-08 2016-02-17 Telefonaktiebolaget LM Ericsson (publ) Performing inter-frequency measurements on carriers with overlapping bandwidths
CN103747520B (zh) * 2013-12-20 2017-06-30 百度在线网络技术(北京)有限公司 一种移动终端的定位方法和装置
CN104540220B (zh) * 2014-12-30 2017-12-19 中国科学院深圳先进技术研究院 一种智能终端的定位方法及系统
JP2016197083A (ja) * 2015-04-06 2016-11-24 ソニー株式会社 制御装置および方法、並びにプログラム
CN105163384A (zh) * 2015-07-07 2015-12-16 深圳市西博泰科电子有限公司 一种平衡精度和能耗的定位方法
US10317236B2 (en) * 2016-08-29 2019-06-11 International Business Machines Corporation Dynamic GPS location update

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007003531A (ja) * 2006-07-12 2007-01-11 Mitsubishi Electric Corp 位置測位装置を有する移動体情報端末
JP2010139321A (ja) * 2008-12-10 2010-06-24 Toshiba Corp 移動無線端末装置
JP2011064523A (ja) * 2009-09-16 2011-03-31 Hitachi Ltd 測位組み合わせ決定システム
JP2012078224A (ja) * 2010-10-01 2012-04-19 Olympus Corp 画像生成システム、プログラム及び情報記憶媒体
JP2012251936A (ja) * 2011-06-06 2012-12-20 Ntt Docomo Inc 測位装置および測位方法
JP2014531632A (ja) * 2011-08-27 2014-11-27 ゼット ティー イー コーポレイションZte Corporation 拡張現実ユーザコンテキストへのアクセス方法
JP2013239124A (ja) * 2012-05-17 2013-11-28 Nec Corp 端末制御システム、端末管理装置、端末制御装置、端末制御方法、端末管理プログラム及び端末制御プログラム
JP2013140171A (ja) * 2013-02-27 2013-07-18 Yupiteru Corp ナビゲーション装置及びプログラム

Also Published As

Publication number Publication date
CN110463165A (zh) 2019-11-15
WO2018179644A1 (ja) 2018-10-04
US11340072B2 (en) 2022-05-24
US20200033127A1 (en) 2020-01-30
CN110463165B (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
WO2018179644A1 (ja) 情報処理装置、情報処理方法及び記録媒体
US11221726B2 (en) Marker point location display method, electronic device, and computer-readable storage medium
US20130147686A1 (en) Connecting Head Mounted Displays To External Displays And Other Communication Networks
CN111316333A (zh) 一种信息提示方法及电子设备
JP2021520540A (ja) カメラの位置決め方法および装置、端末並びにコンピュータプログラム
CN111983559A (zh) 室内定位导航方法及装置
JP6816492B2 (ja) 表示制御プログラム、表示制御方法および表示制御装置
US20130281123A1 (en) Information-processing device, method, information-processing system, and computer-readable non-transitory storage medium
US20230189154A1 (en) Determining location using multi-source geolocation data
CN112406707A (zh) 车辆预警方法、车辆、装置、终端和存储介质
CN113556481A (zh) 视频特效的生成方法、装置、电子设备及存储介质
CN112991439B (zh) 定位目标物体的方法、装置、电子设备及介质
CN111754564B (zh) 视频展示方法、装置、设备及存储介质
CN113678171A (zh) 信息处理装置、信息处理方法和记录介质
CN112734346B (zh) 航线覆盖范围的确定方法、装置、设备及可读存储介质
CN112817337B (zh) 获取路径的方法、装置、设备和可读存储介质
US20150358782A1 (en) Catch the screen
CN111984755A (zh) 确定目标停车点的方法、装置、电子设备及存储介质
JP7400810B2 (ja) 情報処理装置、情報処理方法、及び記録媒体
WO2022018836A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN114485697A (zh) 导航信息的显示方法、装置、设备及存储介质
CN116048241A (zh) 一种提示方法、扩展现实设备及介质
CN117671164A (zh) 高精地图底图构建方法
CN116091943A (zh) 图像检测方法、装置、设备及计算机可读存储介质
CN114415676A (zh) 车辆控制方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220511

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220712