JP2024012379A - ヘッドマウント型情報出力装置 - Google Patents
ヘッドマウント型情報出力装置 Download PDFInfo
- Publication number
- JP2024012379A JP2024012379A JP2023183635A JP2023183635A JP2024012379A JP 2024012379 A JP2024012379 A JP 2024012379A JP 2023183635 A JP2023183635 A JP 2023183635A JP 2023183635 A JP2023183635 A JP 2023183635A JP 2024012379 A JP2024012379 A JP 2024012379A
- Authority
- JP
- Japan
- Prior art keywords
- user
- information
- image
- unit
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 claims description 29
- 238000012544 monitoring process Methods 0.000 claims description 23
- 239000003550 marker Substances 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 41
- 238000000034 method Methods 0.000 description 15
- 230000000007 visual effect Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 235000001674 Agaricus brunnescens Nutrition 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 210000003323 beak Anatomy 0.000 description 3
- 231100000614 poison Toxicity 0.000 description 3
- 230000007096 poisonous effect Effects 0.000 description 3
- 241000287459 Pelecaniformes Species 0.000 description 2
- 241001466532 Pelecanus erythrorhynchos Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 208000032041 Hearing impaired Diseases 0.000 description 1
- 235000008331 Pinus X rigitaeda Nutrition 0.000 description 1
- 235000011613 Pinus brutia Nutrition 0.000 description 1
- 241000018646 Pinus brutia Species 0.000 description 1
- 241000422846 Sequoiadendron giganteum Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】ユーザの視界内にある現実の対象物を、対象物を含む画像を表示することなく直接的に指定し、指定された対象物に関する情報を取得して出力するヘッドマウント型情報出力装置を提供する。【解決手段】ヘッドマウント型情報出力装置100は、ユーザの視界内の景色画像を撮影するカメラ111と、ユーザが景色画像内にある所望の対象物の位置を指定する対象物指定部121と、ユーザが指定した対象物を識別する対象物識別部114と、対象物識別部が識別した対象物に関する対象物情報を取得生成する対象物情報取得部115と、対象物情報取得部が取得した対象物情報を、情報表示部118からテキスト文字あるいは音声出力部123から音声で出力する情報出力部と、を備える。対象物指定部121では、カメラ111が撮影した画像をユーザに表示することなく、ユーザは視界内の景色画像を視認した状態で対象物の位置を指定する。【選択図】図2
Description
本発明は、ユーザの頭部に装着され現実空間や仮想空間の画像を視認するヘッドマウント型情報出力装置に関する。
ユーザの頭部に装着して用いるヘッドマウントディスプレイ(Head Mounted Display:HMD)は、現実空間や仮想空間の画像を前面に設けられた表示部に表示するもの(所謂、ビデオ透過型)と、仮想空間画像を表示部で表示しつつ目の前の現実空間画像を視認するもの(所謂、光学透過型)とがある。これらの方式により、現実世界と仮想世界をリアルタイムかつシームレスに融合させて、ユーザに対し、あたかも現実世界のその場に仮想の物体が存在するかのような体験を行わせることができる。また、このようなヘッドマウントディスプレイでは、表示された画像の中から所望の対象物(オブジェクト)を指定し、指定した対象物に対し種々の処理を行うことも可能となっている。
ここでユーザが所望の対象物を指定するための構成に関し、例えば、特許文献1には、「ヘッドマウントディスプレイがユーザの頭部に装着されたときに内側となる面に設けられた表示装置と、ヘッドマウントディスプレイがユーザの頭部に装着されたときに外側となる面に設けられた、ユーザの体の一部が接触又は近接したことを検知可能なタッチパッドと、タッチパッドにより検知された、ユーザの体の一部が接触又は近接したことを示す入力情報に基づいて生成される画像のデータを取得し、取得した画像のデータを表示装置に表示する表示制御部と、を備える」構成が記載されている。
特許文献1に記載される技術は、表示装置の表示領域と対応付けられた入力領域を有するタッチパッドにより、ユーザが指定する位置をタッチ入力し、指定された位置に相当する表示装置上の対象物の画像データを取得するものである。これを行うためには、タッチパッドのタッチ位置に対応する表示装置上の表示領域には、当然ながら、ユーザが選択する候補となる対象物を含む画像が表示されている必要がある。
一方、ユーザは、目の前の視界内にある対象物について、即座に詳細な情報を知りたい場合がある。その際、視界から所望の対象物をいかに簡便に選択指定できるか、が課題となる。そのためには、視界にある対象物をユーザが指差すなどの直接的な操作で実現できることが望ましい。特許文献1の手法では、予め対象物を含む画像をユーザに提供することが必要であるが、そのためには画像表示のための処理や装置構成が複雑になり、またユーザにとって、表示画像を見ながらの間接的な操作となり、使い勝手が良くない。
上記課題を鑑み、本発明の目的は、ユーザの視界内にある現実の対象物を、対象物を含む画像を表示することなく直接的に指定し、指定された対象物に関する情報を取得して出力するヘッドマウント型情報出力装置を提供することにある。
上記課題を解決するために、代表的な本発明のヘッドマウント型情報出力装置の1つは、ユーザの視界内の景色画像を撮影するカメラと、カメラで撮影された画像領域と対応する入力領域を有し、ユーザが景色画像内にある所望の対象物の位置を指定する対象物指定部と、カメラが撮影した画像内で、対象物指定部によりユーザが指定した位置に対応する画像部分を解析して、ユーザが指定した対象物を識別する対象物識別部と、対象物識別部が識別した対象物に関する対象物情報を取得生成する対象物情報取得部と、対象物情報取得部が取得した対象物情報を、情報表示部からテキスト文字で、あるいは音声出力部から音声で出力する情報出力部と、を備え、対象物指定部では、カメラが撮影した画像をユーザに表示することなく、ユーザは視界内の景色画像を視認した状態で対象物の位置を指定する構成とした。
本発明によれば、ユーザの視界内にある現実の対象物を直接的に選択指定し、指定した対象物に関する情報を出力することができるので、使い勝手の良いヘッドマウント型情報出力装置が実現する。
また、上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
また、上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
以下、本発明のヘッドマウント型情報出力装置のいくつかの実施例について、図面を用いて説明する。いずれの実施例においても、ユーザは前方に見える景色から所望の対象物を選択指定すると、指定された対象物を識別し、それに関する情報を取得して出力するものである。その際、指定された対象物をどのようにして識別判定するかによって、実施例を分けて説明する。なお、以下の実施例では、ヘッドマウント型情報出力装置を「HMD」と呼ぶことにする。
実施例1では、ユーザの前方の景色をカメラで撮影し、撮影した画像をもとにユーザが指定した所望の対象物を識別判定するものである。
図1は、実施例1に係るヘッドマウント型情報出力装置(HMD)100の使用形態を模式的に示す図である。HMD100は、ユーザ10の頭部に装着され、カメラ111、タッチパネル112、タッチパッド113、対象物識別部114、対象物情報取得部115、情報投影部116と光学コンバイナ117からなる情報表示部118、ヘッドフォン119、距離センサ120などを備える。さらに、情報サーバ160や携帯情報端末170との間で情報の送受信を行うことが可能である。
HMD100を装着したユーザ10は、目の前の視界の景色画像20を、ハーフミラーからなる光学コンバイナ117及び透明なタッチパネル112を透過して直接目で視認する。カメラ111は、目の前の視界の景色画像20を撮影して取り込む。タッチパネル112は、ユーザ10が入力領域内の位置を指で指定入力するものである。その際、カメラ111で撮影し取り込んだ景色画像(カメラ画像と呼ぶ)の画像領域とタッチパネル112の入力領域とは、互いの領域内の位置座標が対応付けて割り付けられている(いわゆるマッピング処理がなされている)。よって、ユーザ10はタッチパネル112で所望の位置を指定入力することにより、カメラ111で撮影し取り込んだカメラ画像の中からマッピング処理にて対応付けられた画像部分を選択することができる。
その際、図1で模式的に示すように、タッチパネル112をユーザ10の視界方向に設置し、タッチパネル112上の入力領域と、ユーザ10の見る景色画像20の画像領域(一点鎖線151、152で囲まれた領域)とが一致するように配置する。これにより、ユーザ10がタッチパネル112を介して見える景色画像20と、カメラ111で撮影し取り込んだカメラ画像とは、タッチパネル112上で位置が一致することになる。よってユーザ10は、視界内に見える所望の画像(例えば対象物21)の位置をタッチパネル112上で指定することで、まさにカメラ111で撮影し取り込んだカメラ画像から指定した所望の対象物を選択することができ、ユーザの視界内にある現実の対象物を直接的に選択指定する操作を行うことができる。
対象物識別部114は、タッチパネル112で選択指定されたカメラ画像の部分を解析し、画像が映し出し示している対象物が何かを識別判定する。さらに、対象物情報取得部115は、対象物識別部114で識別判定された対象物に関する種々の情報(対象物情報と呼ぶ)を取得生成する。カメラ画像の解析や対象物情報の取得生成に際しては、外部の情報サーバ160から必要な情報を取得する。あるいは、HMD100内に所有する情報データからこれらを取得してもよい。
情報表示部118は、取得した対象物情報を情報投影部116によりテキスト文字として投影し、光学コンバイナ117を介して結像させユーザ10に表示する。これによりユーザ10は、目の前の視界の景色画像20を背景に、表示された対象物情報が重畳された形で両者を合わせて視認することができる。一方ヘッドフォン119は、取得した対象物情報を音声でユーザ10に通知する。
ユーザ10がカメラ画像から所望の対象物を選択指定する手段としては、タッチパネル112の他に、HMD100の側面などに配置されたタッチパッド113を用いることができる。タッチパッド113は、パネル平板状のセンサを指でなぞることでマウスポインタの操作を行うもので、タッチパネル112と同様の指定入力操作を行うことができる。
さらには、スマートフォンやスマートウオッチなどの携帯情報端末170を用いることも可能で、表示面にタッチパネルを有しており、HMD100のタッチパネル112と同様の指定入力操作を行うことができる。携帯情報端末170で指定入力された位置の情報は、近距離無線通信によりHMD100に取り込むようにする。
タッチパッド113や携帯情報端末170を用いる方法は、指定入力操作を行う際のユーザの姿勢に自由度があり、より操作しやすいと言える。例えば、タッチパッド113をユーザ10の左右両側に設けておけば、雨天時などに右手で傘を持っているときは左手でタッチし、左手で傘を持っているときには右手でタッチすることができ、便利である。
反面、タッチパッド113や携帯情報端末170を用いる場合には、それらの入力領域はカメラ画像の領域との間でマッピング処理はなされているものの、HMD100のタッチパネル112を用いる場合のように、ユーザが見る景色画像20に重ねて指定入力する形態とは異なる。よって、ユーザの指定した位置が所望の画像位置からずれることもありえる。その対策として、情報表示部118ではユーザの指定した位置を示すマーカを表示させるようにすればよい。これによりユーザは、自分の指定した位置(マーカ位置)をユーザが見る景色画像20に重ねて確認することができ、所望の対象物を確実に選択指定することができるようになる。このユーザの指定した位置を示すマーカは、HMD100のタッチパネル112におけるユーザの指定時にも表示してもよい。
距離センサ120は、前方に存在する物体までの距離を検出するもので、ユーザにより選択指定された実際の対象物までの距離を検出する。検出した距離情報は、対象物情報の1つとして利用する。
以上の構成により、ユーザが目の前の視界内の景色画像の中から所望の対象物を選択指定すると、指定された対象物に関する種々の対象物情報を、距離情報も含めテキスト文字や音声でユーザに通知することができる。これによりユーザは、目の前の視界の景色画像とともに、所望の対象物に関する情報をリアルタイムで視認することができ、使い勝手の良い情報出力装置が実現する。
図2は、図1に示したHMDの構成を示すブロック図である。図1で詳しく説明したものについては、繰り返しの説明を省略する。
HMD100は、カメラ111、対象物指定部121、情報表示部118、距離センサ120、音声出力部123、音声入力部124を有する。さらに、対象物識別部114、対象物情報取得部115、通信部127、制御部129、メモリ部132、近距離通信部133を備え、各構成部はそれぞれバス140を介して相互に接続されている。
カメラ111は、HMD100の前面に設置され、ユーザの目の前の視界の景色を撮影し、カメラ画像としてHMD100内に取り込む。
対象物指定部121は、タッチパネル112やタッチパッド113からなり、カメラ111で撮影されたカメラ画像の画像領域と対応付けられた入力領域を有し、ユーザが指で接触あるいは近接することで、入力領域内の位置の指定を行うものである。なお、タッチパネルやタッチパッドを目の前の前方に左右2枚設置してもよく、これによりユーザは左右どちらの指でもタッチ操作が可能となる。
情報表示部118は、情報投影部(プロジェクタ)116と光学コンバイナ117を用いてテキスト文字などの対象物情報を結像して表示する。また、HMD100の動作状態やユーザへの通知情報を表示する。
距離センサ120は、レーザーを照射しその散乱光を測定して物体までの距離や対象物の状態を検出するLiDAR(Light Detection and Ranging)や、ミリ波の電波を発射しその反射波を捉まえて物体までの距離や対象物の状態を検出するミリ波レーダーなどが用いられる。これにより、ユーザにより選択指定された対象物までの距離を検出する。また、距離センサ120で検出した対象物の状態情報を対象物識別部114での対象物解析に用いてもよい。
音声出力部123は、ヘッドフォン119やスピーカーなどで構成され、対象物情報を音声に変換してユーザに出力する。また、HMD100の動作状態やユーザへの通知情報を出力する。音声入力部124は、ユーザからの音声を音声信号に変換して入力する。
対象物識別部114は、カメラ画像のうち、対象物指定部121で選択指定した位置の画像を解析し、対象物が何かを識別判定する。対象物情報取得部115は、対象物識別部114で識別判定された対象物に関する種々の対象物情報を取得生成する。なお、対象物情報を収集取得するために、外部の情報サーバ160を利用する。あるいは、HMD100内に所有する情報データ131から対象物情報を取得してもよい。
通信部127は、無線LAN、有線LAN、あるいは基地局通信により外部の情報サーバ160と通信を行う通信インターフェースであり、無線通信に際しては送受信アンテナ128を介してネットワーク150に接続し、情報の送受信を行う。通信部127では、情報サーバ160から画像解析に必要な情報や対象物情報を受信し、また情報サーバ160との間で動作制御信号の送受信を行うこともできる。なお、基地局通信としては、W-CDMA(Wideband Code Division Multiple Access)やGSM(Global System for Mobile communications、登録商標)などの遠距離の無線通信を用いればよい。
制御部129は、CPU等で構成され、メモリ部132に記憶格納されているプログラム130を実行することによって、HMD100の各構成部の動作制御を行う。
メモリ部132は、フラッシュメモリなどで構成され、OS(Operating System)や制御部129が使用する動作制御用アプリケーションなどのプログラム130を記憶している。また、HMD100で取り扱われる画像、音声、信号などの情報データ131を記憶している。情報データ131としては、例えば、カメラ111の撮影画像や選択指定された所望の画像、距離センサ120の検出値、取得生成された対象物情報が含まれる。
近距離通信部133は、携帯情報端末170と近距離無線通信を行う通信インターフェースである。携帯情報端末170で指定入力された指定位置情報の受信や、携帯情報端末170との間で制御情報などの送受信を行う。近距離通信部133は、例えば電子タグを用いて行われるが、これに限定されず、Bluetooth(登録商標)、IrDA(Infrared Data Association)、Zigbee(登録商標)、HomeRF(Home Radio Frequency、登録商標)、または、無線LAN(IEEE802.11aほか)を用いることもできる。
次に、HMD100の通信先である、情報サーバ160と携帯情報端末170の構成について説明する。
情報サーバ160は、情報生成部161、メモリ部162、制御部163、通信部164、送受信アンテナ165を用いて構成され、各構成部はバス166を介して相互に接続されている。
情報サーバ160は、情報生成部161、メモリ部162、制御部163、通信部164、送受信アンテナ165を用いて構成され、各構成部はバス166を介して相互に接続されている。
情報生成部161は、HMD100からの要求で、選択指定された画像の解析に必要な情報や識別判定された対象物に関する対象物情報を生成する。メモリ部162は、フラッシュメモリなどであり、情報生成部161で生成した各種の情報や、情報サーバ160内の制御部163が使用する各種プログラムなどを記憶している。
通信部164は、送受信アンテナ165を介しネットワーク150を経由してHMD100と情報の送受信を行う通信インターフェースである。制御部163は、CPU等で構成され、メモリ部162に記憶格納されているOSや動作制御用アプリケーションなどのプログラムを実行することによって、情報サーバ160全体の動作制御を行う。
制御部163は、HMD100からの要求に応じて、情報生成部161で生成された画像解析に必要な情報や対象物に関する対象物情報、あるいは生成後一旦メモリ部162に保存されているこれらの情報を、HMD100に送信するように各構成部を制御する。
携帯情報端末170は、表示部171、タッチパネル172、メモリ部173、制御部174、近距離通信部175を用いて構成され、各構成部はバス176を介して相互に接続されている。
表示部171の表面に設けられたタッチパネル172は、HMD100で取り込まれたカメラ画像の画像領域と対応付けて割り付けられた入力領域を有し、ユーザによる所望位置の指定入力を受け付ける。ただし、ユーザがタッチパネル172で位置を指定入力するときは、前方の視界内の景色画像20を見ながら操作することになる。
制御部174は、CPU等で構成され、携帯情報端末170の各構成部を制御する。メモリ部173は、フラッシュメモリなどであり、携帯情報端末170で生成した情報や、制御部174が使用する各種プログラムなどを記憶している。近距離通信部175は、HMD100と近距離無線通信を行う通信インターフェースである。
ユーザがタッチパネル172により入力領域内の所望の位置を指で指定入力すると、指定入力された位置の情報は、一旦メモリ部173に保存されるとともに、近距離通信部175を介してHMD100に送信される。その結果、HMD100では、ユーザが指定した位置に対応するカメラ画像内の対象物を選択することができる。
図3は、本実施例における情報出力動作を模式的に示した図である。
(a)はユーザ10の目の前の視界の景色画像の例で、(b)はカメラ111により景色画像を撮影して取り込んだカメラ画像である。(c)は透明なタッチパネル112で、ユーザ10はタッチパネル112を介して(a)の景色画像を視認することができる。(c)のタッチパネル112の入力領域は、(b)のカメラ画像の領域と対応付けて割り付けられている(マッピング処理)。
(a)はユーザ10の目の前の視界の景色画像の例で、(b)はカメラ111により景色画像を撮影して取り込んだカメラ画像である。(c)は透明なタッチパネル112で、ユーザ10はタッチパネル112を介して(a)の景色画像を視認することができる。(c)のタッチパネル112の入力領域は、(b)のカメラ画像の領域と対応付けて割り付けられている(マッピング処理)。
ここでユーザ10は、(a)の景色画像内の所望の画像(対象物21)について情報を得ようとして、(c)のタッチパネル112の上の対応する位置に指11を接触させたとする。
対象物識別部114は、(b)のカメラ画像において、ユーザが指定した位置に対応する画像部分22を解析して、画像部分22が示す対象物は「○○キノコ」であることを識別判定する。対象物情報取得部115は、識別判定した対象物「○○キノコ」に関する情報を収集するため、(d)の情報サーバ160に問い合わせる。情報サーバ160では問合せのあった対象物について検索し、この○○キノコに関する対象物情報として、「毒性のあるキノコである」という情報が返送される。
(e)の情報表示部118、あるいは(f)のヘッドフォン119は、情報サーバ160から受け取った対象物情報を、テキスト文字あるいは音声にてユーザに提供する。例えば、「これは毒性のある○○キノコです」とか、距離情報も含めて「前方15メートルに毒キノコがあります」などと出力する。
このようにユーザ10は、タッチパネル112を介して景色画像を見ながら、所望の画像(対象物21)が見えるタッチパネル112上の位置を指定することで、所望の対象物についての情報を即座に得ることができる。
ここで、(c)のタッチパネル112上で、ユーザ10が指11を用いて景色画像内の所望の画像(対象物21)を選択指定する方法はいくつか可能であり、それらについて説明する。
図4Aから図4Fは、1本の指で所望画像を指定入力する場合の動作を示す図である。
図4Aから図4Fは、1本の指で所望画像を指定入力する場合の動作を示す図である。
図4Aは、ユーザの見る目の前の視界の景色画像401の例であり、噴水402やブランコ403などがある公園内の風景である。図4Bはタッチパネル112で、カメラ画像の画像領域と対応付けられた入力領域を有し、タッチパネル112を介して目の前の景色画像401が見えている。ユーザは1本の指11で、所望画像である噴水402の見えるタッチパネル112上の位置を指定する(指定された位置の景色画像を点線で示す)。
対象物識別部114では対象物が「噴水」であることを識別判定し、対象物情報取得部115では、対象物である噴水に関する情報を情報サーバ160から取得生成する。
そして図4Cに示すように、ヘッドフォン119から「これは水を噴出する装置である噴水です」という情報405を音声で出力する。また、図4Dに示すように、情報表示部118により視界の景色画像401に合わせて、テキスト文字で同様の情報406を表示する。
さらに、ユーザの要求に応じて、距離センサ120により検出した対象物までの距離も含めた対象物情報を生成することも可能である。そして、図4Eに示すように、ヘッドフォン119から、例えば「3メートル前方の位置に噴水があります」という情報407を音声で出力する。また、図4Fに示すように、情報表示部118により視界の景色画像401に合わせて、テキスト文字で同様の情報408を表示する。
図5Aから図5Dは、複数の指で所望画像を指定入力する場合の動作を示す図である。
図5Aは、目の前の視界の景色画像501の例であり、噴水502、子供503、大きな木504などがある公園内の風景である。図5Bはタッチパネル112で、タッチパネル112を介して目の前の景色画像501が見えている。ユーザは複数の指12で、所望画像である噴水502、子供503、および大きな木504を囲むようにタッチパネル112上の位置を指定する(指定された位置の景色画像を点線で示す)。
図5Aは、目の前の視界の景色画像501の例であり、噴水502、子供503、大きな木504などがある公園内の風景である。図5Bはタッチパネル112で、タッチパネル112を介して目の前の景色画像501が見えている。ユーザは複数の指12で、所望画像である噴水502、子供503、および大きな木504を囲むようにタッチパネル112上の位置を指定する(指定された位置の景色画像を点線で示す)。
対象物識別部114では、対象物が複数あり、「噴水」と「子供」と「大きな木」であることを識別判定し、対象物情報取得部115では、対象物である噴水と子供と大きな木に関する複数の情報を取得生成する。
そして図5Cに示すように、ヘッドフォン119から「大きな松の木の前に、水を噴出する噴水があり、その左側に小学生の子供がいます」という情報505を音声で出力する。また、図5Dに示すように、情報表示部118により視界の景色画像501に合わせて、テキスト文字で同様の情報506を表示する。
なお、対象物情報に対象物までの距離を含める場合には、例えば「10メートル前方の位置に大きな木があり、その前の3メートル前方の位置に噴水があり、その左側2メートル前方の位置に子供がいます」といった情報になる。
なお、対象物情報に対象物までの距離を含める場合には、例えば「10メートル前方の位置に大きな木があり、その前の3メートル前方の位置に噴水があり、その左側2メートル前方の位置に子供がいます」といった情報になる。
このように、ユーザは複数の指を用いて視界の中の複数の画像(対象物)を指定することで、複数の対象物の情報を同時に出力させることも可能である。
図6Aから図6Dは、指をスワイプして所望画像を指定入力する場合の動作を示す図である。スワイプとは、タッチ面で指を滑らして特定の方向へ動かす操作である。
図6Aは、目の前の視界の景色画像601の例であり、花壇602、噴水603、ベンチ604などがある公園内の風景である。図6Bはタッチパネル112で、タッチパネル112を介して目の前の景色画像601が見えている。タッチパネル112上でユーザは指11をスワイプ(矢印13で示す)することで、スワイプした範囲に存在する花壇602、噴水603、ベンチ604を指定する(指定された位置の景色画像を点線で示す)。
図6Aは、目の前の視界の景色画像601の例であり、花壇602、噴水603、ベンチ604などがある公園内の風景である。図6Bはタッチパネル112で、タッチパネル112を介して目の前の景色画像601が見えている。タッチパネル112上でユーザは指11をスワイプ(矢印13で示す)することで、スワイプした範囲に存在する花壇602、噴水603、ベンチ604を指定する(指定された位置の景色画像を点線で示す)。
対象物識別部114では、対象物が「花壇」と「噴水」と「ベンチ」であることを識別判定し、対象物情報取得部115では、対象物である花壇と噴水とベンチに関する情報を取得生成する。
そして図6Cに示すように、ヘッドフォン119から「左に花などが植栽された花壇、真ん中に水を噴出する噴水、右に長いすのベンチがあります」という情報605を音声で出力する。また、図6Dに示すように、情報表示部118により視界の景色画像601に合わせて、テキスト文字で同様の情報606を表示する。
なお、対象物情報に対象物までの距離を含める場合には、例えば「左4メートル前方の位置に花壇、真ん中3メートル前方の位置に噴水、右2メートル前方の位置にベンチがあります」といった情報になる。
なお、対象物情報に対象物までの距離を含める場合には、例えば「左4メートル前方の位置に花壇、真ん中3メートル前方の位置に噴水、右2メートル前方の位置にベンチがあります」といった情報になる。
このように、ユーザは指をスワイプすることで、視界の中でスワイプした方向に存在する複数の画像(対象物)を指定することができ、景色画像内の対象物の配置状態も含めて確認認識することが可能となる。
上記の例では、タッチパネル112を用いて対象物を指定する場合を説明したが、タッチパッド113や、携帯情報端末170のタッチパネル172を用いて対象物を指定する場合も同様の動作となる。ただしその場合は、ユーザが見る景色画像に重ねて指定入力する形態とは異なる。よって前述したように、ユーザの指定した位置を情報表示部118にてマーカで表示するようにすれば、ユーザは景色画像と指定位置との関係を容易に把握できる。その際、図5Bのように複数の指を用いる場合は複数のマーカを表示し、図6Bのように指でスワイプするときはスワイプ位置にライン状のマーカを表示すればよい。このマーカは、HMD100のタッチパネル112におけるユーザの指定時にも表示してもよい。
図7は、上記したHMDの処理手順を示すフローチャートである。ここでは、ユーザにより所望の画像(対象物)が指定され、その対象物情報を取得して出力するまでの流れを示し、制御部129によって以下のステップが進行される。
S301:カメラ111で目の前の視界を撮影し、ユーザの見ている景色画像(カメラ画像)を取り込む。
S302:ユーザにより対象物指定部121(タッチパネル112など)にて所望の画像の選択指定入力が行われたかを判定する。指定入力が行われないときは、指定入力が行われるまで待機し、その間、S301の撮影を継続して最新のカメラ画像を取り込む。
S302:ユーザにより対象物指定部121(タッチパネル112など)にて所望の画像の選択指定入力が行われたかを判定する。指定入力が行われないときは、指定入力が行われるまで待機し、その間、S301の撮影を継続して最新のカメラ画像を取り込む。
S303:指定入力が行われると、対象物識別部114はカメラ画像を参照し、対象物指定部121により指定された位置に対応する所望の画像を解析し、所望の画像が映し出している対象物を識別判定する。その際、ユーザの指定方法が1本の指による場合(図4Bに示す)は、1つの画像を解析し、1つの対象物を識別判定する。指定方法が複数の指による場合(図5Bに示す)は、複数の指に囲まれた範囲内の画像を解析し、指をスワイプして指定された場合(図6Bに示す)は、スワイプされた範囲内の画像を解析し、複数の対象物を識別判定する。
S304:対象物情報取得部115は、対象物識別部114で識別判定された対象物に関する対象物情報を取得生成する。そのため、情報サーバ160に問合せて、情報収集を行う。あるいは、HMD100内に所有する情報データ131から対象物情報を収集取得してもよい。
S305:S302で選択指定入力される際に、ユーザにより対象物までの距離検出が要求されたかを判定する。距離検出が要求されたときはS306へ、距離検出が要求されないときはS308へ進む。
S306:距離センサ120にて対象物までの距離を検出する。対象物が複数存在するときは、それぞれの対象物について行う。その際、距離センサ120により前方の景色画像に含まれる各物体までの距離は2次元状に測定されるが、景色画像と対象物指定部121(タッチパネル)とは領域内位置が対応付けられているので、指定された対象物の距離データは容易に抽出できる。
S307:対象物情報取得部115は、検出した距離情報を、S304で取得生成した対象物情報に追加する。
S307:対象物情報取得部115は、検出した距離情報を、S304で取得生成した対象物情報に追加する。
S308:情報表示部118または音声出力部123は、取得生成された対象物情報をテキスト文字で表示、あるいは音声により出力してユーザに通知する。もちろん、テキスト文字と音声の両方で通知してもよい。
S309:選択指定入力が終了するまで、上述のシーケンスを繰り返す。
S309:選択指定入力が終了するまで、上述のシーケンスを繰り返す。
なお、S305において距離検出を要求する場合のユーザの操作は、指で所望画像を指定入力する際に、さらに強く押込む操作、所定時間以上長く押す操作、あるいは所望画像位置の周辺を回す操作などとすれば、S302における所望画像の選択指定入力操作と区別できる。
さらに、ユーザが対象物の情報をより詳細に知りたい場合の選択指定の操作として、1本の指で所望画像を何度も指定入力する操作や、1本の指で長い時間指定する操作などを組み合わせることができる。
具体的に言えば、例えば図4Bにおいて1本の指で1回指定した場合は、対象物情報を「これは噴水です」とし、1本の指で2回指定した場合は「ペリカンの形をした噴水です」と詳細に説明する。また3回指定した場合は「ペリカンの形をした噴水で、くちばしから水が上に向かって吹きあがっています」とし、さらに4回指定した場合は「白色のペリカンの形をした噴水で、くちばしから水が強弱を繰り返しながら上に向かって吹きあがっています」というように、指定回数を増やすほど対象物情報をより一層詳細に説明する。これによりユーザは、納得がいくまで指定入力回数を増やして必要十分な対象物情報を得ることできる。
また、HMD100内の音声入力部124を用いてユーザの声を取り込み、ユーザの質問音声に対して答える形式で詳細な説明を行うように構成してもよい。例えば、1本の指で指定入力操作を行った後、ユーザが「詳しく教えて」と発声すると、「白色のペリカンの形をした噴水で、くちばしから水が強弱を繰り返しながら上に向かって吹きあがっています」というように、テキスト文字や音声にて通知する。これにより、一層使い勝手よく対象物情報を知ることができる。
さらには、音声入力部124としてステレオマイクを搭載し、指で指定した対象物が発声している音声をステレオマイクで集音して、カメラ画像とともに解析することも可能である。例えば、公園などで指で指定した位置に鳴いているカラスがいると、対象物の発声音も含めた形で「カァーカァーと鳴いているカラスです」というような対象物情報を生成し、テキスト文字や音声で通知する。これにより、対象物からの発声音も含めて対象物の様子や状態を認識することができる。
このように本実施例のヘッドマウント型情報出力装置(HMD)によれば、ユーザは前方の景色を見ながら、指で指定した対象物の情報をテキスト文字や音声で確認認識することができる。特に、視覚または聴覚が不自由なユーザの場合には、目の前に存在する対象物の情報を容易に知ることができるので、使い勝手の良いツールとなる。
実施例2では、ユーザの前方の景色をカメラで撮影せずに、現在位置での地図データを取得し、ユーザが指定した所望の対象物について地図データをもとに識別判定する構成とした。
図8は、実施例2に係るヘッドマウント型情報出力装置(HMD)100’の構成を示すブロック図である。図8において、実施例1(図2)と同一の符号を付した部分は前記した説明と同様であり、それらの詳細な説明は省略し相違する部分を説明する。
HMD100’は、実施例1におけるカメラ111の代わりに、3Dマップ取得部201、視界地図画像生成部202を備え、さらに位置センサ203、地磁気センサ204を追加して構成している。またHMD100’は、ネットワーク150を介して地図提供サーバ180に接続されている。他の構成は、実施例1(図2)と同様である。
3Dマップ取得部201は、平面地図に高さ方向の3次元情報を加えた地図データである3Dマップを、ネットワーク150やクラウドサービス等を用いて外部の地図提供サーバ180から収集取得する。なお、このとき取得先となる地図提供サーバ180は、この後に対象物情報を取得する情報サーバ160と同一であってもよい。3Dマップの3次元情報には、土地の標高や建築物の高さなどの情報が含まれ、これにより所望の地域の地形や建築物の形状を知ることができる。
視界地図画像生成部202は、3Dマップからユーザの視界内の地図データを切り出して、「視界地図画像」を生成する。視界地図画像とは、ユーザの位置から見える範囲の地図データを、ユーザの見る景色画像の位置に対応して配置したものである。
対象物指定部121(タッチパネル112など)の入力領域は、視界地図画像生成部202で生成した視界地図画像の画像領域と対応付けて割り付けられており、ユーザが位置を指定することで、視界地図画像内の対応する位置の対象物を指定することができる。
位置センサ203は、例えば上空にあるGPS(Global Positioning System)衛星からの信号を受信するGPS受信器であり、HMD100’の現在位置(すなわちユーザの現在位置)を検出する。
地磁気センサ204は、地球の磁力を検出し、HMD100’の向いている方角(すなわちユーザの向いている方向)を検出する。
距離センサ120は、ユーザにより選択指定された対象物までの距離を検出するとともに、HMD100’の地面からの高さ(すなわちユーザが居る場所の地面からの高さ)を検出する。
図9は、本実施例における情報出力動作を模式的に示した図である。
(a)はユーザ10の目の前の視界の景色画像の例で、(b1)は3Dマップ取得部201が外部の情報サーバ160から取得した3Dマップである。この3Dマップ上で、位置センサ203が検出したユーザが居る位置と、距離センサ120で検出したユーザが居る場所の地面からの高さ位置を基点に、地磁気センサ204で検出したユーザが向いている方角を定める。
(a)はユーザ10の目の前の視界の景色画像の例で、(b1)は3Dマップ取得部201が外部の情報サーバ160から取得した3Dマップである。この3Dマップ上で、位置センサ203が検出したユーザが居る位置と、距離センサ120で検出したユーザが居る場所の地面からの高さ位置を基点に、地磁気センサ204で検出したユーザが向いている方角を定める。
(b2)は視界地図画像であり、視界地図画像生成部202が上記3Dマップから、上記基点に居るユーザが見ることのできる前方の景色に対応する地図データを切り出して生成したものである。その際、切り出した地図データをユーザの視界方向に合わせて配置することで、ユーザの見る(a)の景色画像と(b2)の視界地図画像とは、画像内位置が対応したものとなる。ここでは(b2)の視界地図画像に含まれる対象物を(a)の景色画像の対象物と同じイラストで示しているが、実際には3Dマップに含まれる3次元情報が対応する位置に配置されている。
(c)は透明なタッチパネル112で、ユーザ10はタッチパネル112を介して(a)の景色画像を視認することができる。(c)のタッチパネル112の入力領域は、(b2)の視界地図画像の領域と対応付けて割り付けられている(マッピング処理)。ここでユーザ10は、(a)の景色画像内の所望の画像(対象物21)について情報を得ようとして、(c)のタッチパネル112の上の対応する位置に指11を接触させたとする。
対象物識別部114は、(b2)の視界地図画像において、ユーザが指定した位置に対応する画像部分22を解析して、指定された対象物が何かを識別判定する。その際、(b1)の3Dマップの地図データを参照すれば、例えば単に「学校」であるとか、「〇〇市立〇〇小学校」であるとかが判明する。
以後の動作は実施例1の図3(d)~(f)と同様で、対象物情報取得部115は、識別判定した対象物「〇〇小学校」に関する情報を収集するため、情報サーバ160に問い合わせる。そして、情報サーバ160から受け取った対象物情報を、情報表示部118あるいはヘッドフォン119にて、テキスト文字あるいは音声にてユーザに提供する。
このように本実施例においても、ユーザ10は、タッチパネル112を介して景色画像を見ながら、所望の画像(対象物21)が見えるタッチパネル112上の位置を指定することで、所望の画像(対象物)についての情報を即座に得ることができる。
図10Aから図10Dは、本実施例の情報出力動作を具体例で示す図である。
図10Aは、HMD100’を装着したユーザ10が小山700に位置し、周辺の景色を見ている状態である。周辺の景色画像701には、タワー702、建物703、704などが存在している。このときHMD100’は、外部の地図提供サーバ180から3Dマップを取得する。そして、ユーザ10の位置とユーザ10の向いている方角705をもとに、ユーザの見ている景色画像701に対応する視界地図画像を生成する。ただし、生成した視界地図画像は表示されないので、ユーザ10には見えない。
図10Aは、HMD100’を装着したユーザ10が小山700に位置し、周辺の景色を見ている状態である。周辺の景色画像701には、タワー702、建物703、704などが存在している。このときHMD100’は、外部の地図提供サーバ180から3Dマップを取得する。そして、ユーザ10の位置とユーザ10の向いている方角705をもとに、ユーザの見ている景色画像701に対応する視界地図画像を生成する。ただし、生成した視界地図画像は表示されないので、ユーザ10には見えない。
図10Bはタッチパネル112で、視界地図画像の画像領域と対応付けられた入力領域を有し、タッチパネル112を介して目の前の景色画像701が見えている。ユーザは指11で、所望画像であるタワー702の見えるタッチパネル112上の位置を指定する(指定された位置の景色画像を点線で示す)。
対象物識別部114では対象物が「タワー」であることを識別判定し、対象物情報取得部115では、対象物であるタワーに関する情報を情報サーバ160から取得生成する。
そして図10Cに示すように、ヘッドフォン119から「これは右前方1キロメートル先にあるタワーで、放送用の中継局です」という情報706を音声で出力する。また、図10Dに示すように、情報表示部118により同様の情報707をテキスト文字で表示する。
なお、本実施例においても、ユーザ10が景色画像内の所望の画像を指定するために、前記図5Bのように複数の指を用いたり、前記図6Bのように指をスワイプしたりする操作も可能である。また、実施例1で説明したようにユーザの指定した位置を示すマーカの表示を行うことも可能である。
このように本実施例においても、ユーザは前方の景色を見ながら、指で指定した対象物の情報をテキスト文字や音声で確認認識することができる。ただし本実施例では、ユーザの指定した対象物を認識判定するため、地図提供サーバ180から3Dマップを取得し、その地図データを利用して対象物の識別判定を行うようにしている。例えば建物や道路などの固定された対象物は、変化しない地図データとして3Dマップに登録されているので、これを利用することができ、実施例1のように目の前の景色をカメラで撮影する必要がなくなる。
なお、上記説明では3Dマップの地図データを利用するものとしたが、2Dマップすなわち2次元の地図データを利用しても、類似の動作を実現できる。
なお、上記説明では3Dマップの地図データを利用するものとしたが、2Dマップすなわち2次元の地図データを利用しても、類似の動作を実現できる。
実施例3では、外部から監視カメラの映像を取得し、ユーザが指定した所望の対象物について監視カメラの映像をもとに識別判定する構成とした。
図11は、実施例3に係るヘッドマウント型情報出力装置(HMD)100”の構成を示すブロック図である。図11において、実施例1(図2),実施例2(図8)と同一の符号を付した部分は前記した説明と同様であり、それらの詳細な説明は省略し相違する部分を説明する。
HMD100”は、実施例1におけるカメラ111、及び実施例2における3Dマップ取得部201、視界地図画像生成部202の代わりに、視界監視映像取得部211を用いて構成している。またHMD100”は、ネットワーク150を介して監視映像サーバ190に接続されている。他の構成は、実施例1や実施例2と同様である。
視界監視映像取得部211は、外部に設置した監視カメラからの撮影映像を、ネットワーク150やクラウドサービス等を介して外部の監視映像サーバ190から取得する。なお、このとき取得先となる監視映像サーバ190は、この後に対象物情報を取得する情報サーバ160と同一であってもよい。
ここに監視映像サーバ190は、手広くくまなく設置されている多数の監視カメラの映像を保有管理している。そして、HMD100”が、位置センサ203、地磁気センサ204、距離センサ120で検出したユーザの位置、高さ、向いている方角といった情報を監視映像サーバ190に送る。すると監視映像サーバ190の視界映像生成部191は、保有している監視カメラ映像からユーザの前方の監視カメラ映像を切り出し生成して、HMD100”に送信する。よって、視界監視映像取得部211が取得する監視カメラ映像は、ユーザの位置から見える景色画像に対応して配置されたものであり、以下、「視界監視映像」と呼ぶ。
対象物指定部121(タッチパネル112など)の入力領域は、視界監視映像取得部211で取得した視界監視映像の映像領域と対応付けて割り付けられており、ユーザが位置を指定することで、視界監視映像内の対応する位置の対象物を指定することができる。
図12は、本実施例における情報出力動作を模式的に示した図である。
(a)はユーザ10の目の前の視界の景色画像の例で、(b)は視界監視映像取得部211が監視映像サーバ190から取得した視界監視映像である。この視界監視映像は、ユーザ10の位置、高さ、向いている方角をもとに、各監視カメラの映像から切り出したものである。よって、ユーザの見る(a)の景色画像と(b)の視界監視映像とは、画像内位置が対応したものとなる。ただし、ユーザの位置と監視カメラの位置は異なることから、ユーザには見えないが監視カメラには写る物体、あるいはその逆に、ユーザには見えても監視カメラには写らない物体が存在する場合がある。
(a)はユーザ10の目の前の視界の景色画像の例で、(b)は視界監視映像取得部211が監視映像サーバ190から取得した視界監視映像である。この視界監視映像は、ユーザ10の位置、高さ、向いている方角をもとに、各監視カメラの映像から切り出したものである。よって、ユーザの見る(a)の景色画像と(b)の視界監視映像とは、画像内位置が対応したものとなる。ただし、ユーザの位置と監視カメラの位置は異なることから、ユーザには見えないが監視カメラには写る物体、あるいはその逆に、ユーザには見えても監視カメラには写らない物体が存在する場合がある。
(c)は透明なタッチパネル112で、ユーザ10はタッチパネル112を介して(a)の景色画像を視認することができる。(c)のタッチパネル112の入力領域は、(b)の視界監視映像の領域と対応付けて割り付けられている(マッピング処理)。
ここでユーザ10は、(a)の景色画像内の所望の画像(対象物21)について情報を得ようとして、(c)のタッチパネル112の上の対応する位置に指11を接触させたとする。
対象物識別部114は、(b)の視界監視映像において、ユーザが指定した位置に対応する映像部分22を解析して、指定された対象物が何かを識別判定する。この例では、「自動車」であることが判明する。
以後の動作は実施例1の図3(d)~(f)と同様で、対象物情報取得部115は、識別判定した対象物「自動車」に関する情報を収集するため、情報サーバ160に問い合わせる。そして、情報サーバ160から受け取った対象物情報を、情報表示部118あるいはヘッドフォン119にて、テキスト文字あるいは音声にてユーザに提供する。
このように本実施例においても、ユーザ10は、タッチパネル112を介して景色画像を見ながら、所望の画像(対象物21)が見えるタッチパネル112上の位置を指定することで、所望の画像(対象物)についての情報を即座に得ることができる。
図13Aから図13Dは、本実施例の情報出力動作を具体例で示す図である。
図13Aは、ユーザ10が見ている前方の景色映像801で、ビル802や走行している自動車803が存在している。このときHMD100”は、外部の監視映像サーバ190に、監視カメラ映像を要求する。これに対し情報サーバ160は、保有している監視カメラ映像からユーザの前方に見える景色に対応する視界監視映像を切り出し生成して提供する。ただし、HMD100”では受け取った視界監視映像は表示しないので、ユーザには見えない。
図13Aは、ユーザ10が見ている前方の景色映像801で、ビル802や走行している自動車803が存在している。このときHMD100”は、外部の監視映像サーバ190に、監視カメラ映像を要求する。これに対し情報サーバ160は、保有している監視カメラ映像からユーザの前方に見える景色に対応する視界監視映像を切り出し生成して提供する。ただし、HMD100”では受け取った視界監視映像は表示しないので、ユーザには見えない。
図13Bはタッチパネル112で、受け取った視界監視映像の映像領域と対応付けられた入力領域を有し、タッチパネル112を介して目の前の景色画像801が見えている。ユーザは指11で、所望画像である自動車803の見えるタッチパネル112上の位置を指定する(指定された位置の景色画像を点線で示す)。
対象物識別部114では対象物が「走行中の自動車」であることを識別判定し、対象物情報取得部115では、対象物である自動車に関する情報を情報サーバ160から取得生成する。
そして図13Cに示すように、ヘッドフォン119から「これは○○製でミニバンタイプの車です」という情報806を音声で出力する。また、図13Dに示すように、情報表示部118により同様の情報807をテキスト文字で表示する。
なお、本実施例においても、ユーザ10が景色画像内の所望の画像を指定するために、前記図5Bのように複数の指を用いたり、前記図6Bのように指をスワイプしたりする操作も可能である。また、実施例1で説明したようにユーザの指定した位置を示すマーカの表示を行うことも可能である。
このように本実施例においても、ユーザは前方の景色を見ながら、指で指定した対象物の情報をテキスト文字や音声で確認認識することができる。ただし本実施例では、ユーザの指定した対象物を認識判定するため、監視カメラで撮影された映像を利用して対象物の識別判定を行うようにしている。よって実施例2のように固定された対象物だけでなく、自動車や通行人など移動あるいは変化する対象物であっても、リアルタイムに確認認識することが可能となる。また、対象物が移動し建物の陰に隠れてユーザからは見えない状態であっても、対象物近傍に設置した監視カメラでは撮影可能な場合がある。ひいては、360度監視カメラを利用すればほとんど死角なく撮影可能なので、例えば事件などがあった場合の対象物の追跡に有効な手段として利用できる。また、ユーザの要求に応じて、ユーザからは見えない状態の対象物の情報をテキスト文字や音声で確認認識できるようにしてもよい。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
10:ユーザ、100、100’,100”:ヘッドマウント型情報出力装置(HMD)、111:カメラ、112:タッチパネル、113:タッチパッド、114:対象物識別部、115:対象物情報取得部、116:情報投影部、117:光学コンバイナ、118:情報表示部、119:ヘッドフォン、120:距離センサ、121:対象物指定部、123:音声出力部、124:音声入力部、127:通信部、129:制御部、132:メモリ部、133:近距離通信部、150:ネットワーク、160:情報サーバ、161:情報生成部、170:携帯情報端末、171:表示部、172:タッチパネル、180:地図提供サーバ、190:監視映像サーバ、201:3Dマップ取得部、202:視界地図画像生成部、203:位置センサ、204:地磁気センサ、211:視界監視映像取得部。
Claims (9)
- ユーザが頭部に装着し現実空間や仮想空間の画像を視認するヘッドマウント型情報出力装置において、
ユーザの視界内の景色画像を撮影するカメラと、
前記カメラで撮影された画像領域と対応する入力領域を有し、ユーザが景色画像内にある所望の対象物の位置を指定する対象物指定部と、
前記カメラが撮影した画像内で、前記対象物指定部によりユーザが指定した位置に対応する画像部分を解析して、ユーザが指定した対象物を識別する対象物識別部と、
前記対象物識別部が識別した対象物に関する対象物情報を取得生成する対象物情報取得部と、
前記対象物情報取得部が取得した対象物情報を、情報表示部からテキスト文字で、あるいは音声出力部から音声で出力する情報出力部と、を備え、
前記対象物指定部では、前記カメラが撮影した画像をユーザに表示することなく、ユーザは視界内の景色画像を視認した状態で対象物の位置を指定することを特徴とするヘッドマウント型情報出力装置。 - 請求項1に記載のヘッドマウント型情報出力装置であって、
前記対象物指定部は、ユーザが複数の指で接触あるいは近接して、複数の指で囲まれた範囲内の対象物を指定することを特徴とするヘッドマウント型情報出力装置。 - 請求項1に記載のヘッドマウント型情報出力装置であって、
前記対象物指定部は、ユーザが指を滑らしスワイプし、スワイプした範囲内の対象物を指定することを特徴とするヘッドマウント型情報出力装置。 - 請求項1に記載のヘッドマウント型情報出力装置であって、
前記対象物指定部に対し、ユーザが同じ位置を繰り返し指定した場合、あるいは同じ位置を所定時間より長く指定した場合には、前記対象物情報取得部では、対象物に関するより詳しい対象物情報を取得生成することを特徴とするヘッドマウント型情報出力装置。 - 請求項1に記載のヘッドマウント型情報出力装置であって、
さらに、ユーザの視界内の対象物までの距離を検出する距離センサを有し、
ユーザから対象物までの距離情報の要求があったときには、前記対象物情報取得部では、前記距離センサで検出した対象物までの距離情報を含めた対象物情報を取得生成することを特徴とするヘッドマウント型情報出力装置。 - 請求項1に記載のヘッドマウント型情報出力装置であって、
さらに、外部の情報サーバと情報の送受信を行う通信部を有し、
前記対象物情報取得部は、対象物に関する対象物情報を、前記通信部を介して前記情報サーバから取得して生成することを特徴とするヘッドマウント型情報出力装置。 - 請求項1に記載のヘッドマウント型情報出力装置であって、
さらに、外部の携帯情報端末と情報の送受信を行う近距離通信部を有し、
前記対象物指定部として、前記携帯情報端末のタッチパネルを用いてユーザが指定することが可能であり、
前記情報表示部では、前記タッチパネルに対してユーザが指定した位置を示すマーカを表示することを特徴とするヘッドマウント型情報出力装置。 - ユーザが頭部に装着し現実空間や仮想空間の画像を視認するヘッドマウント型情報出力装置において、
平面地図に高さ方向の3次元情報を加えた地図データである3Dマップを取得する3Dマップ取得部と、
前記取得した3Dマップからユーザの視界内の地図データを切り出して視界地図画像を生成する視界地図画像生成部と、
前記ヘッドマウント型情報出力装置の現在位置を検出する位置センサと、
前記ヘッドマウント型情報出力装置の向いている方角を検出する地磁気センサと、
前記ヘッドマウント型情報出力装置の地面からの高さを検出する距離センサと、
前記視界地図画像生成部で生成された視界地図画像の画像領域と対応する入力領域を有し、ユーザが視界内の景色画像内にある所望の対象物の位置を指定する対象物指定部と、
前記視界地図画像生成部で生成された視界地図画像の画像内で、前記対象物指定部によりユーザが指定した位置に対応する画像部分を解析して、ユーザが指定した対象物を識別する対象物識別部と、
前記対象物識別部が識別した対象物に関する対象物情報を取得生成する対象物情報取得部と、
前記対象物情報取得部が取得した対象物情報を、情報表示部からテキスト文字で、あるいは音声出力部から音声で出力する情報出力部と、を備え、
前記視界地図画像生成部では、前記3Dマップ取得部で取得した3Dマップから、前記位置センサにより検出された現在位置、および前記距離センサにより検出された地面からの高さにあって、前記地磁気センサにより検出された方角に向かって見える範囲の地図データを切り出して視界地図画像を生成し、
前記対象物指定部では、前記視界地図画像生成部が生成した視界地図画像をユーザに表示することなく、ユーザは視界内の景色画像を視認した状態で対象物の位置を指定することを特徴とするヘッドマウント型情報出力装置。 - 監視カメラ映像を保有する監視映像サーバに接続し、ユーザが頭部に装着して現実空間や仮想空間の画像を視認するヘッドマウント型情報出力装置において、
前記監視映像サーバと情報の送受信を行う通信部と、
前記監視映像サーバから視界監視映像を取得する視界監視映像取得部と、
前記ヘッドマウント型情報出力装置の現在位置を検出する位置センサと、
前記ヘッドマウント型情報出力装置の向いている方角を検出する地磁気センサと、
前記ヘッドマウント型情報出力装置の地面からの高さを検出する距離センサと、
前記視界監視映像取得部で取得された視界監視映像と対応する入力領域を有し、ユーザが景色画像内にある所望の対象物の位置を指定する対象物指定部と、
前記視界監視映像取得部で取得された視界監視映像内で、前記対象物指定部によりユーザが指定した位置に対応する映像部分を解析して、ユーザが指定した対象物を識別する対象物識別部と、
前記対象物識別部が識別した対象物に関する対象物情報を取得生成する対象物情報取得部と、
前記対象物情報取得部が取得した対象物情報を、情報表示部からテキスト文字で、あるいは音声出力部から音声で出力する情報出力部と、を備え、
前記視界監視映像取得部は、前記監視映像サーバに、前記位置センサ、前記地磁気センサ、前記距離センサで検出されたユーザの位置、方角、高さの情報を送信するとともに、前記監視映像サーバから、前記監視映像サーバが保有する監視カメラ映像から切り出して生成したユーザの視界内の視界監視映像を取得し、
前記対象物指定部では、前記視界監視映像取得部が取得した視界監視映像をユーザに表示することなく、ユーザは視界内の景色画像を視認した状態で対象物の位置を指定することを特徴とするヘッドマウント型情報出力装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023183635A JP2024012379A (ja) | 2019-12-27 | 2023-10-26 | ヘッドマウント型情報出力装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/051450 WO2021131023A1 (ja) | 2019-12-27 | 2019-12-27 | ヘッドマウント型情報出力装置 |
JP2021566727A JP7376616B2 (ja) | 2019-12-27 | 2019-12-27 | ヘッドマウント型情報出力装置 |
JP2023183635A JP2024012379A (ja) | 2019-12-27 | 2023-10-26 | ヘッドマウント型情報出力装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021566727A Division JP7376616B2 (ja) | 2019-12-27 | 2019-12-27 | ヘッドマウント型情報出力装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024012379A true JP2024012379A (ja) | 2024-01-30 |
Family
ID=76573824
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021566727A Active JP7376616B2 (ja) | 2019-12-27 | 2019-12-27 | ヘッドマウント型情報出力装置 |
JP2023183635A Pending JP2024012379A (ja) | 2019-12-27 | 2023-10-26 | ヘッドマウント型情報出力装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021566727A Active JP7376616B2 (ja) | 2019-12-27 | 2019-12-27 | ヘッドマウント型情報出力装置 |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP7376616B2 (ja) |
WO (1) | WO2021131023A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023199468A1 (ja) * | 2022-04-14 | 2023-10-19 | 日本電信電話株式会社 | 重畳表示装置、重畳表示方法及び重畳表示プログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5316453B2 (ja) * | 2010-03-24 | 2013-10-16 | ブラザー工業株式会社 | ヘッドマウントディスプレイおよびプログラム |
JP2012068481A (ja) * | 2010-09-24 | 2012-04-05 | Asia Air Survey Co Ltd | 拡張現実表現システムおよび方法 |
JP5762892B2 (ja) * | 2011-09-06 | 2015-08-12 | ビッグローブ株式会社 | 情報表示システム、情報表示方法、及び情報表示用プログラム |
JP5929698B2 (ja) | 2012-10-17 | 2016-06-08 | ソニー株式会社 | 通信システムおよびプログラム |
JP2014164003A (ja) | 2013-02-21 | 2014-09-08 | Nec Networks & System Integration Corp | 仮想屋内空間表示装置 |
US10719950B2 (en) | 2014-08-05 | 2020-07-21 | Sony Corporation | Head mount display (HMD) operated with mobile device for transforming reference coordinate systems for providing screen information |
JP2017091433A (ja) | 2015-11-17 | 2017-05-25 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム |
JP6629528B2 (ja) | 2015-06-16 | 2020-01-15 | 株式会社ファイン | 仮想現実表示システム、仮想現実表示方法及びコンピュータプログラム |
US10643381B2 (en) | 2016-01-12 | 2020-05-05 | Qualcomm Incorporated | Systems and methods for rendering multiple levels of detail |
JP6458782B2 (ja) | 2016-07-28 | 2019-01-30 | カシオ計算機株式会社 | 表示制御装置、表示制御方法及びプログラム |
JP2018116165A (ja) | 2017-01-19 | 2018-07-26 | 株式会社デンソー | 情報提供システム、情報提供方法 |
-
2019
- 2019-12-27 WO PCT/JP2019/051450 patent/WO2021131023A1/ja active Application Filing
- 2019-12-27 JP JP2021566727A patent/JP7376616B2/ja active Active
-
2023
- 2023-10-26 JP JP2023183635A patent/JP2024012379A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2021131023A1 (ja) | 2021-07-01 |
JPWO2021131023A1 (ja) | 2021-07-01 |
JP7376616B2 (ja) | 2023-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10955674B2 (en) | Energy-harvesting beacon device | |
EP2613296B1 (en) | Mixed reality display system, image providing server, display apparatus, and display program | |
JP5389111B2 (ja) | 拡張現実情報提供装置及び方法 | |
KR101591493B1 (ko) | 각각의 사용자의 시점에 대해 공유된 디지털 인터페이스들의 렌더링을 위한 시스템 | |
JP5843340B2 (ja) | 3次元環境共有システム及び3次元環境共有方法 | |
US20200106818A1 (en) | Drone real-time interactive communications system | |
JP6647433B1 (ja) | 点群データ通信システム、点群データ送信装置および点群データ送信方法 | |
KR102275970B1 (ko) | 위치 공유 방법, 장치 및 시스템 | |
JP2024012379A (ja) | ヘッドマウント型情報出力装置 | |
CN110132129B (zh) | 基于增强现实的检查系统及方法 | |
JP6665402B2 (ja) | コンテンツ表示端末、コンテンツ提供システム、コンテンツ提供方法、および、コンテンツ表示プログラム | |
JP6145563B2 (ja) | 情報表示装置 | |
WO2022176450A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
KR20160012646A (ko) | 영상 표시 장치 및 그 제어 방법 | |
KR102468685B1 (ko) | 가상현실 기반의 작업현장 안전관리장치 및 그 장치의 구동방법 | |
JP2023531849A (ja) | オーディオ認識を行う拡張現実デバイスおよびその制御方法 | |
US11076097B2 (en) | Method for street view service and apparatus for performing same method | |
WO2022269887A1 (ja) | ウェアラブル端末装置、プログラムおよび画像処理方法 | |
JP7163257B2 (ja) | 移動可能な画像生成元の画像を用いて多視点画像を生成する方法、装置及びプログラム | |
WO2022172335A1 (ja) | 仮想ガイド表示装置、仮想ガイド表示システム、及び仮想ガイド表示方法 | |
WO2022049615A1 (ja) | 情報処理システム、情報処理方法およびコンピュータプログラム | |
KR20160023368A (ko) | 사물인터넷 단말과 사용자 단말간의 양방향 통신방법, 이를 위한 사물인터넷 단말 및 사용자 단말 | |
KR20200105328A (ko) | 증강현실을 이용한 현장 공간정보 제공 시스템 | |
JP2016075530A (ja) | ナビゲーション装置及びナビゲーション方法 | |
CN116601937A (zh) | 发现服务 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231026 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231026 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240515 |