JP6275087B2

JP6275087B2 - ヘッドマウントディスプレイ、データ出力方法、及びヘッドマウントディスプレイ用プログラム。

Info

Publication number: JP6275087B2
Application number: JP2015153271A
Authority: JP
Inventors: 俊二菅谷
Original assignee: Optim Corp
Current assignee: Optim Corp
Priority date: 2015-08-03
Filing date: 2015-08-03
Publication date: 2018-02-07
Anticipated expiration: 2035-08-03
Also published as: US20170041597A1; JP2017033334A

Description

本発明は、ユーザの目を覆って、仮想現実又は拡張現実として３次元空間データを出力するヘッドマウントディスプレイ、データ出力方法及びヘッドマウントディスプレイ用プログラムに関する。

近年、ユーザの目を覆って、仮想現実又は拡張現実として３次元データを自身が有するディスプレイに表示するヘッドマウントディスプレイが実用化されている。このような、ヘッドマウントディスプレイにおいて、仮想現実又は拡張現実として、様々なデータを表示することが行われている。

現実空間に画像合成した拡張現実空間を表示するヘッドマウントディスプレイ装置が開示されている（特許文献１参照）。

特開２０１５−９９４４８号公報

特許文献１によれば、カメラで撮影した現実空間において、用紙の存在の有無とこの用紙の姿勢とを検出し、この用紙の姿勢に合わせて、印刷装置が画像又は用紙に施す予定の付加処理を模擬的に示す出力イメージ画像として、この用紙に重ね合わせた拡張現実空間を表示することが記載されている。

しかしながら、実際にユーザがこのイメージ画像を重ね合わせた用紙を視認したか否かを判断することは困難である。そのため、ユーザは自身が視認する物体に対しての仮想現実や拡張現実を表示されているか否かを判断することは困難であった。

そこで、本発明では、ユーザの視線を解析することにより、３次元データとして表示された対象物を特定し、出力することにより、ユーザが視認する物体を判断することができる点に着目した。

本発明は、ユーザの視線に基づいて、３次元データとして表示された対象物を特定し、出力することが可能なヘッドマウントディスプレイ、データ出力方法及びヘッドマウントディスプレイを提供することを目的とする。

本発明では、以下のような解決手段を提供する。

第１の特徴に係る発明は、ユーザの目を覆って、仮想現実又は拡張現実として３次元空間データを出力するヘッドマウントディスプレイであって、
前記ユーザの目を撮影する撮影手段と、
撮影された画像を画像解析することで、撮影した画像における虹彩の位置を取得する解析手段と、
３次元データとして表示された対象物の３次元データ内の位置情報と前記虹彩の位置を対応付けて記憶する記憶手段と、
前記取得した虹彩の位置に基づいて、前記対象物を特定し、前記対象物を関心対象データとして出力する関心データ出力手段と、
を備えることを特徴とするヘッドマウントディスプレイを提供する。

第１の特徴に係る発明によれば、ユーザの目を覆って、仮想現実又は拡張現実として３次元空間データを出力するヘッドマウントディスプレイは、前記ユーザの目を撮影し、撮影された画像を画像解析することで、撮影した画像における虹彩の位置を取得し、３次元データとして表示された対象物の３次元データ内の位置情報と前記虹彩の位置を対応付けて記憶し、前記取得した虹彩の位置に基づいて、前記対象物を特定し、前記対象物を関心対象データとして出力する。

ここで、第１の特徴に係る発明は、ヘッドマウントディスプレイのカテゴリであるが、データ出力方法及びヘッドマウントディスプレイ用プログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。

第２の特徴に係る発明は、前記関心データ出力手段は、前記対象物を画像認識し、当該対象物の名称等のテキストデータを、前記関心対象データとして出力することを特徴とする第１の特徴に係る発明であるヘッドマウントディスプレイを提供する。

第２の特徴に係る発明によれば、第１の特徴に係る発明であるヘッドマウントディスプレイは、前記関心対象データを、画像認識したテキストデータとして出力する。

第３の特徴に係る発明は、ユーザの目を覆って、仮想現実又は拡張現実として３次元空間データを出力するヘッドマウントディスプレイが実行するデータ出力方法であって、
前記ユーザの目を撮影する撮影ステップと、
撮影された画像を画像解析することで、撮影した画像における虹彩の位置を取得する解析ステップと、
３次元データとして表示された対象物の３次元データ内の位置情報と前記虹彩の位置を対応付けて記憶する記憶ステップと、
前記取得した虹彩の位置に基づいて、前記対象物を特定し、前記対象物を関心対象データとして出力するステップと、
を備えることを特徴とするデータ出力方法を提供する。

第４の特徴に係る発明は、ユーザの目を覆って、仮想現実又は拡張現実として３次元空間データを出力するヘッドマウントディスプレイに、
前記ユーザの目を撮影する撮影ステップ、
撮影された画像を画像解析することで、撮影した画像における虹彩の位置を取得する解析ステップ、
３次元データとして表示された対象物の３次元データ内の位置情報と前記虹彩の位置を対応付けて記憶する記憶ステップ、
前記取得した虹彩の位置に基づいて、前記対象物を特定し、前記対象物を関心対象データとして出力するステップ、
を実行させるためのコンピュータ読み取り可能なヘッドマウントディスプレイ用プログラムを提供する。

本発明によれば、ユーザの視線に基づいて、３次元データとして表示された対象物を特定し、出力することが可能なヘッドマウントディスプレイ、データ出力方法及びヘッドマウントディスプレイを提供することが可能となる。

図１は、ヘッドマウントディスプレイ１０の概念図である。図２は、ヘッドマウントディスプレイ１０の構成図である。図３は、ヘッドマウントディスプレイ１０の機能ブロック図である。図４は、ヘッドマウントディスプレイ１０が実行するデータ出力処理の手順を示すフローチャートである。図５は、ヘッドマウントディスプレイ１０が撮影するユーザの目の画像データを示す図である。図６は、ヘッドマウントディスプレイ１０が記憶する位置情報記憶テーブルを示す図である。図７は、ヘッドマウントディスプレイ１０が表示する仮想現実空間を示す図である。図８は、ヘッドマウントディスプレイ１０が解析したユーザの視線を示す図である。図９は、ヘッドマウントディスプレイ１０が表示する関心対象データを示す図である。

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これらはあくまでも例であって、本発明の技術的範囲はこれに限られるものではない。

［ヘッドマウントディスプレイ１０の概要］
図１は、本発明の好適な実施形態であるヘッドマウントディスプレイ１０の概要を説明するための図である。ヘッドマウントディスプレイ１０は、カメラ１００、ディスプレイ１１０、視線検知部１２０、データ出力部１３０及び記憶部１４０から構成される。

ヘッドマウントディスプレイ１０は、ユーザの目を覆って、仮想現実又は拡張現実として３次元空間データを出力する装置である。また、カメラ１００は、ユーザの目を撮影するデバイス等を含む。また、ディスプレイ１１０は、仮想現実又は拡張現実として３次元空間データを表示するデバイス等を含む。また、視線検知部１２０は、カメラ１００で撮影したユーザの目の画像データを画像解析し、ユーザの視線を検知し、特定するデバイス等を含む。また、データ出力部１３０は、特定したユーザの視線の先にある対象物と、この対象物の３次元空間内での位置情報とを出力するデバイスや、特定した対象物をテキストデータとして出力するデバイス等を含む。

はじめに、カメラ１００は、装着したユーザの目を撮影する（ステップＳ０１）。

視線検知部１２０は、撮影したユーザの目の画像データを画像解析し、目の位置情報を検知し、取得する（ステップＳ０２）。

データ出力部１３０は、ディスプレイ１１０に出力する３次元データの位置情報を生成する（ステップＳ０３）。

記憶部１４０は、視線検知部１２０が取得したユーザの目の位置情報と、データ出力部１３０が生成した３次元データの位置情報とを対応付けて記憶する（ステップＳ０４）。ステップＳ０４において、記憶部１４０は、ディスプレイ１１０が表示する３次元データの位置に関する位置情報と、ユーザの目の位置とを対応付けて記憶する。

ディスプレイ１１０は、仮想現実空間を表示する（ステップＳ０５）。ステップＳ０５において、ディスプレイ１１０は、データ出力部１３０が生成した３次元データの位置情報に基づいて、仮想現実空間を表示する。

カメラ１００は、ユーザの目を撮影する（ステップＳ０６）。

視線検知部１２０は、ステップＳ０６において撮影したユーザの目の画像を解析し、目の位置情報を取得する（ステップＳ０７）。ステップＳ０７において、視線検知部１２０は、目の位置情報の解析を虹彩の位置に基づいて取得する。

視線検知部１２０は、取得したユーザの目の位置情報に基づいて、現在ユーザの視線の先に存在する対象物の３次元データの位置情報を取得する（ステップＳ０８）。

データ出力部１３０は、視線検知部１２０が取得した３次元データの位置情報に基づいて、この３次元データがユーザの視線の先にある対象物を特定し、この対象物を関心対象データとして出力する（ステップＳ０９）。ステップＳ０９において、データ出力部１３０は、関心対象データをディスプレイ１１０、通信可能に接続された外部端末等に出力する。また、ステップＳ０９において、データ出力部１３０は、３次元空間内での位置情報に対応付けられた関心対象データとして出力する。また、ステップＳ０９において、データ出力部１３０は、この関心対象データを画像認識したテキストデータとして出力する。

以上が、ヘッドマウントディスプレイ１０の概要である。

［ヘッドマウントディスプレイ１０の構成］
図２は、本発明の好適な実施形態であるヘッドマウントディスプレイの構成図である。ヘッドマウントディスプレイ１０は、制御部１１、通信部１２、撮影部１３、記憶部１４及び表示部１５から構成される。

ヘッドマウントディスプレイ１０は、後述の機能を備え、ユーザの目を覆って、仮想現実又は拡張現実として３次元空間データを出力する装置である。また、ヘッドマウントディスプレイ１０は、データ通信機能を備える通信部１２を備える。また、ヘッドマウントディスプレイ１０は、ユーザの目を撮影するカメラ等のデバイスを備えた撮影部１３を備える。また、ヘッドマウントディスプレイ１０は、各種データや情報を記憶する記憶部１４を備える。また、ヘッドマウントディスプレイ１０は、制御部１１が制御した画像、データ及び各種情報を表示する表示部１５を備える。

また、ヘッドマウントディスプレイ１０は、撮影部１３が撮影したユーザの目の画像を解析し、ユーザの視線を検知するデバイス等を備える。また、ヘッドマウントディスプレイ１０は、検知したユーザの視線に基づいて、３次元データとして表示部１５に表示した対象物を特定し、対象物を関心対象物として出力するデバイス等を備える。また、ヘッドマウントディスプレイ１０は、３次元空間内での位置情報に対応付けた関心対象データを出力するデバイス等を備える。また、ヘッドマウントディスプレイ１０は、関心対象データを画像認識したテキストデータとして出力デバイス等を備える。

［各機能の説明］
図３に基づいて、各構成について説明する。

ヘッドマウントディスプレイ１０は、制御部１１として、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）等を備え、通信部１２として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（ＷｉｒｅｌｅｓｓＦｉｄｅｌｉｔｙ）対応デバイスを備える。

また、ヘッドマウントディスプレイ１０は、撮影部１３として、カメラ等の画像を撮影するデバイスを備える。また、ヘッドマウントディスプレイ１０は、記憶部１４として、例えば、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。記憶部１４には、後述する対象物テーブル、テキストデータテーブルが含まれる。

また、ヘッドマウントディスプレイ１０は、表示部１５として、制御部１１で制御したデータや画像を出力表示するデバイスを備える。

ヘッドマウントディスプレイ１０において、制御部１１が所定のプログラムを読み込むことで、通信部１２と協働して、表示データ取得モジュール２０、データ出力モジュール２１を実現する。また、ヘッドマウントディスプレイ１０において、制御部１１が所定のプログラムを読み込むことで、撮影部１３と協働して、撮影モジュール３０、解析モジュール３１を実現する。また、ヘッドマウントディスプレイ１０において、制御部１１が所定のプログラムを読み込むことで、記憶部１４と協働して、データ記憶モジュール４０、データ演算モジュール４１を実現する。また、ヘッドマウントディスプレイ１０において、制御部１１が所定のプログラムを読み込むことで、表示部１５と協働して、表示モジュール５０を実現する。

［データ出力処理］
図４は、ヘッドマウントディスプレイ１０が実行するデータ出力処理の手順を示すフローチャートである。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。

はじめに、ヘッドマウントディスプレイ１０の撮影モジュール３０は、装着したユーザの目を撮影する（ステップＳ２０）。ステップＳ２０において、撮影モジュール３０は、図５に示す通り、ユーザの目として、眼球及び瞼を一つの画像として撮影する。

ヘッドマウントディスプレイ１０の解析モジュール３１は、ステップＳ２０において撮影した画像を画像解析し、撮影した画像における虹彩２００の位置を虹彩位置情報として取得する（ステップＳ２１）。ステップＳ２１において、解析モジュール３１は、目頭２１０を基準点とし、虹彩２００の位置を座標として取得する。

ヘッドマウントディスプレイ１０の表示データ取得モジュール２０は、自身に表示する３次元空間の仮想データである３次元データを取得する（ステップＳ２２）。ステップＳ２２において、表示データ取得モジュール２０は、通信可能に接続されたサーバ、携帯端末、家庭用又は業務用のコンピュータ等の外部端末から、３次元データを取得する。

ヘッドマウントディスプレイ１０のデータ記憶モジュール４０は、ステップＳ２１において取得した虹彩位置情報と、ステップＳ２２において取得した３次元データとを其々記憶する（ステップＳ２３）。

ヘッドマウントディスプレイ１０のデータ演算モジュール４１は、記憶した３次元データに基づいて、３次元データに含まれる各対象物の位置等の対象物位置情報と、虹彩位置情報とを対応付ける（ステップＳ２４）。ステップＳ２４において、データ演算モジュール４１は、虹彩位置情報の各々と、対象物位置情報との位置関係を演算する。例えば、ユーザが表示されたビルＡを見ている場合における、ユーザの虹彩２００の位置を演算して算出し、この時の対象物位置情報と、虹彩位置情報とを演算して算出する。

ヘッドマウントディスプレイ１０のデータ記憶モジュール４０は、ステップＳ２４において算出した虹彩位置情報と、対象物位置情報とを対応付けて、図６に位置情報記憶テーブルとして記憶する（ステップＳ２５）。

［位置情報記憶テーブル］
図６は、ヘッドマウントディスプレイ１０のデータ記憶モジュール４０が記憶する位置情報記憶テーブルを示す図である。データ記憶モジュール４０は、ユーザの虹彩２００の位置を示す情報である虹彩位置情報と、対象物の名称及び位置情報を示す情報である対象物位置情報とを対応付けて記憶する。図６において、データ記憶モジュール４０は、虹彩位置情報として（Ｘ０１，Ｙ０１）―（Ｘ０２，Ｙ０２）と、対象物位置情報としてタワーＡ（Ｘ２０，Ｙ２０）―（Ｘ２５，Ｙ４０）とを対応付けて記憶する。また、データ記憶モジュール４０は、虹彩位置情報として（Ｘ１０，Ｙ１０）―（Ｘ１１，Ｙ１１）と、対象物位置情報としてビルＡ（Ｘ３０，Ｙ１０）―（Ｘ３５，Ｙ２０）とを対応付けて記憶する。データ記憶モジュール４０は、同様に、３次元空間データに存在する他の対象物等の対象物位置情報と、虹彩位置情報とを対応付けて記憶する。なお、データ記憶モジュール４０は、他の対象物の対象物位置情報と、虹彩位置情報とを対応付けて記憶していても良い。また、データ記憶モジュール４０は、虹彩位置情報と、３次元データに基づいた画像とを対応付けて記憶していても良い。

ヘッドマウントディスプレイ１０の表示モジュール５０は、ステップＳ２２において取得した３次元データに基づいて、図７に示す仮想現実空間を表示する（ステップＳ２６）。図７において、表示モジュール５０は、仮想現実空間として、ビルＡ、タワーＡを表示する。なお、表示モジュール５０が表示する仮想現実空間は、他の物体を表示しても良いのは言うまでもない。また、表示モジュール５０が表示する仮想現実空間は適宜変更可能である。

ヘッドマウントディスプレイ１０の撮影モジュール３０は、装着するユーザの目を撮影する（ステップＳ２７）。ステップＳ２７は、上述したステップＳ２０の処理と同様である。

ヘッドマウントディスプレイ１０の解析モジュール３１は、ステップＳ２７において撮影したユーザの虹彩２００の位置を解析する（ステップＳ２８）。ステップＳ２８において、解析モジュール３１は、撮影した目の画像データにおいて、目頭２１０の位置を基準点として、虹彩２００の位置を示す虹彩位置情報を座標として解析する。解析モジュール３１は、解析した虹彩位置情報に基づいて、ユーザの視線を解析する。

ヘッドマウントディスプレイ１０の解析モジュール３１は、図８に示す通り、表示モジュール５０に表示した３次元データにおいて、ユーザの視線３００を認識する。

ステップＳ２８において、解析モジュール３１は、解析モジュール３１が解析した虹彩位置情報に基づいて、データ記憶モジュール４０に記憶された虹彩位置情報を検索し、ユーザの視線の先にある対象物を判断する（ステップＳ２９）。

ステップＳ２９において、解析モジュール３１は、解析した虹彩位置情報が、記憶した虹彩位置情報には存在しないと判断した場合（ステップＳ２９ＮＯ）、本処理を終了する。一方、ステップＳ２９において、解析モジュール３１は、解析した虹彩位置情報が、記憶した虹彩位置情報に存在すると判断した場合（ステップＳ２９ＹＥＳ）、ヘッドマウントディスプレイ１０のデータ出力モジュール２１は、この虹彩位置情報に対応付けられた対象物位置情報を関心対象データとして出力する（ステップＳ３０）。

ステップＳ３０において、データ出力モジュール２１は、関心対象データとして、この対象物位置情報に含まれる、位置情報、名称や種別等のテキストデータ、画像認識したテキストデータ等を出力する。また、データ出力モジュール２１は、関心対象データを、表示モジュール５０、外部端末又は他のヘッドマウントディスプレイ等に出力する。例えば、データ出力モジュール２１が表示モジュール５０に関心対象データを出力した場合、表示モジュール５０は、ユーザの視線の先に、テキストデータや、拡大画像の画像データ等の各種データを図９に示すように表示する。また、データ出力モジュール２１が外部端末に関心対象データを出力した場合、この外部端末に、出力元のヘッドマウントディスプレイ１０の識別子、出力元のヘッドマウントディスプレイ１０のユーザ名、ユーザの視線の先にある物体のテキストデータや拡大画像の画像データ等の各種データを表示する。また、データ出力モジュール２１が他のヘッドマウントディスプレイに関心対象データを出力した場合、他のヘッドマウントディスプレイの表示部の一部、又は対象物位置情報に含まれる位置情報に該当する位置に出力元のヘッドマウントディスプレイ１０の識別子や出力元のヘッドマウントディスプレイ１０のユーザ名、出力元のヘッドマウントディスプレイの１０ユーザの視線の先にある物体のテキストデータや拡大画像の画像データ等の各種データを表示する。

図９は、ヘッドマウントディスプレイ１０の表示モジュール５０が表示する関心対象データである。図９において、表示モジュール１０は、対象物の名称、情報、その他の各項目を表示する。対象物の名称とは、ユーザの視線の先にある物体の名称である。また、情報とは、この物体に関連付けられた各種情報である。この情報は、例えば、表示データ取得モジュール２０が公衆回線網等を介して取得したこの物体に関する各種情報を表示する。また、その他の項目とは、表示データ取得モジュール２０がこの物体をキーワードとして検索した検索結果のＵＲＬアドレスを表示する。なお、表示モジュール５０は、例えば、対象物の拡大画像やその他の情報等を表示しても良い。

以上が、データ出力処理である。

上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭなど）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

１０ヘッドマウントディスプレイ

Claims

ユーザの目を覆って、仮想現実又は拡張現実として３次元空間データを出力するヘッドマウントディスプレイであって、
前記ユーザの目を撮影する撮影手段と、
撮影された画像を画像解析することで、撮影した画像における虹彩の位置を取得する解析手段と、
３次元データとして表示された対象物の３次元データ内の位置情報と前記虹彩の位置を対応付けて記憶する記憶手段と、
前記取得した虹彩の位置に基づいて、前記対象物を特定し、前記対象物を関心対象データとして出力する関心データ出力手段と、
を備えることを特徴とするヘッドマウントディスプレイ。
前記関心データ出力手段は、前記対象物を画像認識し、当該対象物の名称等のテキストデータを、前記関心対象データとして出力することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
ユーザの目を覆って、仮想現実又は拡張現実として３次元空間データを出力するヘッドマウントディスプレイが実行するデータ出力方法であって、
前記ユーザの目を撮影する撮影ステップと、
撮影された画像を画像解析することで、撮影した画像における虹彩の位置を取得する解析ステップと、
３次元データとして表示された対象物の３次元データ内の位置情報と前記虹彩の位置を対応付けて記憶する記憶ステップと、
前記取得した虹彩の位置に基づいて、前記対象物を特定し、前記対象物を関心対象データとして出力するステップと、
を備えることを特徴とするデータ出力方法。
ユーザの目を覆って、仮想現実又は拡張現実として３次元空間データを出力するヘッドマウントディスプレイに、
前記ユーザの目を撮影する撮影ステップ、
撮影された画像を画像解析することで、撮影した画像における虹彩の位置を取得する解析ステップ、
３次元データとして表示された対象物の３次元データ内の位置情報と前記虹彩の位置を対応付けて記憶する記憶ステップ、
前記取得した虹彩の位置に基づいて、前記対象物を特定し、前記対象物を関心対象データとして出力するステップ、
を実行させるためのコンピュータ読み取り可能なヘッドマウントディスプレイ用プログラム。