JP6943913B2 - 情報表示システムおよびウェアラブルデバイス - Google Patents

情報表示システムおよびウェアラブルデバイス Download PDF

Info

Publication number
JP6943913B2
JP6943913B2 JP2019049401A JP2019049401A JP6943913B2 JP 6943913 B2 JP6943913 B2 JP 6943913B2 JP 2019049401 A JP2019049401 A JP 2019049401A JP 2019049401 A JP2019049401 A JP 2019049401A JP 6943913 B2 JP6943913 B2 JP 6943913B2
Authority
JP
Japan
Prior art keywords
display
transparent display
light
information
setting device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019049401A
Other languages
English (en)
Other versions
JP2020154009A (ja
Inventor
藤男 奥村
藤男 奥村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Platforms Ltd
Original Assignee
NEC Platforms Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Platforms Ltd filed Critical NEC Platforms Ltd
Priority to JP2019049401A priority Critical patent/JP6943913B2/ja
Priority to US17/419,070 priority patent/US11557233B2/en
Priority to PCT/JP2020/006567 priority patent/WO2020189162A1/ja
Publication of JP2020154009A publication Critical patent/JP2020154009A/ja
Application granted granted Critical
Publication of JP6943913B2 publication Critical patent/JP6943913B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092—Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、情報表示システムおよびウェアラブルデバイスに関する。
ＡＲ（Augmented Reality）眼鏡は、現実世界に即した画像をレンズに表示するウェアラブルデバイスである。ＡＲ眼鏡を装着したユーザは、レンズに表示された画像を参照することによって、レンズを通して見える外景に関する付加情報を認識できる。
特許文献１には、外景を視認可能に画像を表示する頭部装着型の第１表示部と、外部の第２表示装置から受信した案内情報に含まれる画像データに基づいて指示体の画像を第１表示部に表示させる第１制御部と、を備える表示装置について開示されている。特許文献１の装置は、第１表示部で受信した案内情報に含まれるデータのうち第２表示装置で検出された指示体の位置を示すデータで指定される位置に指示体の画像を表示させる点に特徴がある。
特許文献２には、ユーザ操作に伴う注視対象の位置を認識する認識部と、ユーザ操作時におけるユーザの視線位置を検出する視線検出部とを備える情報処理装置について開示されている。さらに、特許文献２の装置は、認識された注視対象の位置と視線位置とに基づいて、視線検出部による視線検出の調整を行う視線検出調整部と、注視対象に対するユーザ操作に応じて所定のアプリケーション処理を実行するアプリケーション処理部とを備える。特許文献２の装置は、アプリケーション処理を実行させるユーザ操作時の視線位置と注視対象の表示位置との関係に基づいて視線検出の調整を行う点に特徴がある。
特許文献３には、倉庫内の物品をピッキングする作業員が装着できるメガネ型ウエアラブル端末について開示されている。特許文献３の端末は、アイフレーム部分に配置されるディスプレイ部と、物品に付されたユニークパターンの画像を撮影するカメラ部と、倉庫内における端末の位置やアイフレーム部分が向いている方向を検出するセンサ部とを備える。特許文献３の端末は、作業員の視線の先に存在し得る物品に関する情報をディスプレイ部に表示し、カメラ部で撮影したユニークパターンを画像認識する。そして、特許文献３の端末は、画像認識されたユニークパターンとディスプレイ部に表示された物品に関する情報とを比較することにより、ピッキング対象となる物品の現物確認を行う。
特開２０１８−１７４００３号公報 国際公開第２０１６／１３９８５０号 特開２０１７−０４８０２４号公報
特許文献１の装置を装着した作業者は、実際の視野における外景において指示体の画像を見ることができる。しかしながら、特許文献１の装置では、単眼のカメラで検出される位置に基づいて指示体が表示されるため、外景の対象に指示体を重ねて表示させようとしても、作業者が対象に指示体が重なった像を視認できるとは限らない。
特許文献２の装置によれば、視線検出キャリブレーションを行うことによって、視線入力を行うことが可能になる。しかしながら、特許文献２の装置は、ユーザの視線を検出できる位置に配置されなければならないため、ユーザの視線を検出できない状況においては視線を正確に検出できない。
特許文献３の端末によれば、カメラによって撮影されたユニークパターンと、ディスプレイ部に表示された物品に関する情報とを比較することにより、ピッキング対象となる物品の現物確認を行いやすくなる。しかしながら、特許文献３の端末では、ディスプレイ部にホログラム表示される情報と、ピッキング対象となる物品とを交互に確認する際に頻繁な焦点移動が伴うため、作業員が眼精疲労を感じやすくなり、作業性が低下してしまう。
一般に、ＡＲ眼鏡に表示される画像を参照する際には、目の前に出現する画像の画角が狭いため、視野が全体をカバーできない。また、ＡＲ眼鏡を装着したユーザは、レンズに表示された画像を参照する際にはレンズに焦点を合わせ、外景を見る際には外景に焦点を合わせることになる。そのため、ＡＲ眼鏡を装着したユーザは、目の焦点移動が頻繁に発生するために疲労感を感じ、長時間装着し続けることは難しい。
本発明の目的は、上述した課題を解決し、視野全体に画像を表示し、ユーザが目の焦点移動をすることなしに外景の対象を認識することを可能とする情報表示システムを提供することにある。
本発明の一態様の情報表示システムは、フレームと、フレームの両側端に配置された一対のカメラと、フレームに嵌め込まれた透明ディスプレイと、一対のカメラによって撮影された画像データから抽出される特徴に基づいて対象を検出し、フレームを装着したユーザの目と対象とを結ぶ直線が透明ディスプレイを通過する位置を表示位置に設定する表示位置設定装置と、表示位置設定装置によって設定された表示位置に点状光を表示させるように透明ディスプレイを制御するコントローラと、を備える。
本発明の一態様のウェアラブルデバイスは、フレームと、フレームの両側端に配置された一対のカメラと、フレームに嵌め込まれた透明ディスプレイと、一対のカメラによって撮影された画像データに基づいて、フレームを装着したユーザの目と検出対象とを結ぶ直線が透明ディスプレイを通過する位置に点状光を表示させるように透明ディスプレイを制御するコントローラと、を備える。
本発明によれば、視野全体に画像を表示し、ユーザが目の焦点移動をすることなしに外景の対象を認識することを可能とする情報表示システムを提供することが可能になる。
本発明の第１の実施形態に係る情報表示システムの構成の一例を示す概念図である。 本発明の第１の実施形態に係る情報表示システムの構成の別の一例を示す概念図である。 本発明の第１の実施形態に係るウェアラブルデバイスの外観の一例を示す概念図である。 本発明の第１の実施形態に係るウェアラブルデバイスの構成の一例を示す概念図である。 本発明の第１の実施形態に係る表示位置設定装置の構成の一例を示す概念図である。 本発明の第１の実施形態に係るウェアラブルデバイスの透明表示部に表示させるキャリブレーション用の照準を表示する位置の一例を示す概念図である。 本発明の第１の実施形態に係るウェアラブルデバイスの透明表示部に表示された照準にユーザが指先を合わせる一例を示す概念図である。 本発明の第１の実施形態に係るウェアラブルデバイスを装着したユーザが左側の透明表示部をキャリブレーションする例について説明するための概念図である。 本発明の第１の実施形態に係るウェアラブルデバイスを装着したユーザが左側の透明表示部をキャリブレーションする際の透明表示部上の位置と補正用画像上の位置との対応関係について説明するための概念図である。 本発明の第１の実施形態に係るウェアラブルデバイスを装着したユーザが右側の透明表示部をキャリブレーションする例について説明するための概念図である。 本発明の第１の実施形態に係るウェアラブルデバイスを装着したユーザが右側の透明表示部をキャリブレーションする際の透明表示部上の位置と補正用画像上の位置との対応関係について説明するための概念図である。 本発明の第１の実施形態に係る表示位置設定装置に記憶される補正情報の一例を示すテーブルである。 本発明の第１の実施形態に係るウェアラブルデバイスが検出した対象に重ねるように透明表示部に照準を表示させる例について説明するための概念図である。 発明の第１の実施形態に係るウェアラブルデバイスが検出した対象に重ねるように透明表示部に表示される照準の位置について説明するための概念図である。 本発明の第１の実施形態に係るウェアラブルデバイスによるキャリブレーション処理について説明するためのフローチャートである。 本発明の第１の実施形態に係るウェアラブルデバイスによるポインティング処理について説明するためのフローチャートである。 本発明の第１の実施形態に係る表示位置設定装置の動作の概要について説明するためのフローチャートである。 本発明の第１の実施形態に係る表示位置設定装置による補正情報生成処理について説明するためのフローチャートである。 本発明の第１の実施形態に係る表示位置設定装置による照準位置設定処理について説明するためのフローチャートである。 本発明の第１の実施形態に係る表示システムの適用例１について説明するための概念図である。 本発明の第１の実施形態に係る表示システムの適用例２について説明するための概念図である。 本発明の第１の実施形態に係る表示システムの適用例３について説明するための概念図である。 本発明の第１の実施形態に係る表示システムの適用例４について説明するための概念図である。 本発明の第１の実施形態に係る表示システムの適用例５について説明するための概念図である。 本発明の第１の実施形態に係る表示システムの適用例６について説明するための概念図である。 本発明の第１の実施形態に係る表示システムの適用例７について説明するための概念図である。 本発明の第２の実施形態に係る情報表示システムの構成の一例を示す概念図である。 本発明の第２の実施形態に係るウェアラブルデバイスの外観の一例を示す概念図である。 本発明の第２の実施形態に係るウェアラブルデバイスの構成の一例を示す概念図である。 本発明の第２の実施形態に係る情報表示システムの構成の変形例を示す概念図である。 本発明の各実施形態に係る表示位置設定装置を実現するためのハードウェア構成の一例を示すブロック図である。
以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。なお、以下の実施形態の説明に用いる全図においては、特に理由がない限り、同様箇所には同一符号を付す。また、以下の実施形態において、同様の構成・動作に関しては繰り返しの説明を省略する場合がある。
（第１の実施形態）
まず、本発明の第１の実施形態に係る情報表示システムについて図面を参照しながら説明する。本実施形態の情報表示システムは、視界を撮影する一対のカメラ（ステレオカメラ）と、視界にある対象に画像が重ねて表示される透明ディスプレイ（以下、透明表示部と記載）を有する眼鏡型のウェアラブルデバイスを備える。また、本実施形態の情報表示システムは、透明表示部に表示される画像の位置を設定する表示位置設定装置を備える。以下においては、ウェアラブルデバイスの構成要素の符号の末尾に、右目側の構成要素にはアルファベットのＲ（Right）、左目側の構成要素にはアルファベットのＬ（Light）を付す。なお、右目側と左目側の構成を区別しないときは、符号の末尾のＲやＬを省略する場合がある。
（構成）
図１は、本実施形態の情報表示システム１の構成の概要を示す概念図である。図１のように、情報表示システム１は、ウェアラブルデバイス１０と表示位置設定装置１００を備える。以下においては、ウェアラブルデバイス１０と表示位置設定装置１００とが離れた位置に配置される例を示すが、表示位置設定装置１００の機能（表示位置設定部）をウェアラブルデバイス１０に内蔵するように構成してもよい。
ウェアラブルデバイス１０は、ブリッジ１１によって連結された一対のリム１２（リム１２Ｌ、リム１２Ｒ）と、リム１２をユーザの左右の目の前に位置させるための一対のテンプル１３（テンプル１３Ｌ、テンプル１３Ｒ）とを備える。ブリッジ１１とリム１２（リム１２Ｌ、リム１２Ｒ）によってフレームが構成される。なお、リム１２（リム１２Ｌ、リム１２Ｒ）とブリッジ１１とを一体形成する場合は、リム１２（リム１２Ｌ、リム１２Ｒ）とブリッジ１１とが一体のフレームを構成する。
リム１２Ｌおよびリム１２Ｒのそれぞれのレンズ部分には、透明表示部１２０Ｌおよび透明表示部１２０Ｒのそれぞれが嵌め込まれる。テンプル１３Ｌおよびテンプル１３Ｒのそれぞれの外側面には、カメラ１３０Ｌおよびカメラ１３０Ｒのそれぞれが設置される。また、テンプル１３Ｌおよびテンプル１３Ｒのいずれかの外側面には、デバイス制御部１１０（デバイスコントローラとも呼ぶ）が設置される。なお、図１の例では、テンプル１３Ｌにデバイス制御部１１０を設置する例を示すが、デバイス制御部１１０は、テンプル１３Ｒやブリッジ１１、リム１２Ｌ、リム１２Ｒに設置してもよい。
図１のように、ウェアラブルデバイス１０は、眼鏡型のデバイスである。ユーザは、ウェアラブルデバイス１０を眼鏡のように装着することによって、透明表示部１２０を介して外景を見ながら、透明表示部１２０に表示される光を認識できる。なお、透明表示部１２０に表示される光は、形状のはっきりとした画像ではなく、ぼうっとした点状光である。透明表示部１２０には、透明表示部１２０を介して作業者が視認する対象に重ねることによって、その対象の位置を作業者が認識できる程度の明るさの点状光を表示できればよい。なお、点状光は、厳密な意味での点ではなく、少なくとも一つの画素によって構成される。点状光は、一つの画素によって構成されてもよいし、いくつかの画素の集まりによって構成されてもよい。
例えば、透明表示部１２０は、透明有機ＥＬ（Electro-Luminescence）ディスプレイや、透明マイクロＬＥＤ（Light Emitting Diode）ディスプレイによって実現される。また、透明表示部１２０は、透明無機ＥＬディスプレイによって実現されてもよい。透明表示部１２０には、カラーの点状光を表示することができる。なお、透明表示部１２０は、ユーザが装着した際に外景を透過して視認することができる透明ディスプレイであれば、その形態には特に限定を加えない。
ウェアラブルデバイス１０は、キャリブレーションや対象検出の際に、透明表示部１２０Ｌおよび透明表示部１２０Ｒの少なくともいずれかに点状光を表示させる。キャリブレーションの際には、ウェアラブルデバイス１０は、キャリブレーションに用いられる補正用の点状光（補正光とも呼ぶ）を透明表示部１２０Ｌと透明表示部１２０Ｒのいずれかに表示させる。ポインティングの際には、ウェアラブルデバイス１０は、透明表示部１２０Ｌと透明表示部１２０Ｒの両方に、対象に重なって表示される点状光（照準光とも呼ぶ）を表示させる。
ウェアラブルデバイス１０は、表示位置設定装置１００にデータ送受信できるように接続される。例えば、ウェアラブルデバイス１０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線通信によって表示位置設定装置１００に接続される。また、例えば、ウェアラブルデバイス１０は、ＷｉＦｉ（登録商標）などの無線ＬＡＮ（Local Area Network）によって表示位置設定装置１００に接続される。なお、ウェアラブルデバイス１０は、ＢｌｕｅｔｏｏｔｈやＷｉＦｉ以外の無線方式で表示位置設定装置１００と接続されてもよい。また、ウェアラブルデバイス１０は、ユーザの作業性に影響が及ばなければ、図２のようにケーブル１６を介して表示位置設定装置１００に有線接続されてもよい。
カメラ１３０Ｌおよびカメラ１３０Ｒは、外景を撮影して画像データを生成する一対のカメラである。カメラ１３０Ｌとカメラ１３０Ｒは、ステレオカメラを構成する。カメラ１３０Ｌおよびカメラ１３０Ｒのそれぞれが撮影した画像データにおける位置から、外景の奥行方向の情報を計測できる。例えば、ウェアラブルデバイス１０は、カメラ１３０Ｌおよびカメラ１３０Ｒの撮影した画像データの画素位置の差から、ウェアラブルデバイス１０と対象との距離を算出できる。カメラ１３０Ｌおよびカメラ１３０Ｒは、一般的なデジタルカメラによって実現できる。また、カメラ１３０Ｌおよびカメラ１３０Ｒは、赤外線カメラや紫外線カメラによって実現されてもよい。
本実施形態では、ウェアラブルデバイス１０を装着したユーザの指先などの指示体を用いてキャリブレーションを行う。キャリブレーションの際には、カメラ１３０は、透明表示部１２０に表示された補正光に合わせられたユーザの指先などの指示体が写った画像データ（補正用画像）を生成する。対象検出の際には、カメラ１３０は、対象を検出するための画像データ（検出用画像）を生成する。カメラ１３０は、所定のタイミングで撮影するように構成してもよいし、表示位置設定装置１００の制御に応じて撮影するように構成してもよい。
ウェアラブルデバイス１０は、カメラ１３０Ｌとカメラ１３０Ｒが同じタイミングで撮影した画像データを含むデータを表示位置設定装置１００に送信する。キャリブレーションの際には、ウェアラブルデバイス１０は、透明表示部１２０Ｌまたは透明表示部１２０Ｒに表示された補正光の位置と、補正用の画像データとを関連付けた校正情報を表示位置設定装置１００に送信する。対象検出の際には、ウェアラブルデバイス１０は、対象検出用の画像データ（検出用画像）が補正光の位置に関連付けられた校正情報を表示位置設定装置１００に送信する。
表示位置設定装置１００は、ウェアラブルデバイス１０に無線または有線でデータ送受信可能に接続される。例えば、表示位置設定装置１００は、コンピュータやサーバなどの情報処理装置によって実現できる。また、例えば、表示位置設定装置１００は、ノート型パーソナルコンピュータやタブレット、スマートフォン、携帯電話などの携帯端末によって実現されてもよい。表示位置設定装置１００は、情報表示システム１に関する処理を実行するための専用装置であってもよいし、情報表示システム１に関する処理を実行するためのアプリケーションがインストールされた汎用装置によって実現されてもよい。
表示位置設定装置１００は、キャリブレーションや対象検出の際に、ウェアラブルデバイス１０からデータを受信する。キャリブレーションの際には、表示位置設定装置１００は、ウェアラブルデバイス１０から校正情報を受信する。表示位置設定装置１００は、受信した校正情報に含まれる画像データ（補正用画像）を解析し、透明表示部１２０に表示された補正光の位置と、その補正光にユーザが合わせた指示体の位置とを関連付ける補正情報を生成する。表示位置設定装置１００は、生成した補正情報を記憶する。対象検出の際には、ウェアラブルデバイス１０は、受信した画像データ（検出用画像）を解析して対象を検出する。表示位置設定装置１００は、補正情報を用いて検出用画像上の対象の位置を補正し、透明表示部１２０上で対象に重なるように照準光が表示される位置をウェアラブルデバイス１０に送信する。
表示位置設定装置１００は、外部システムと連携して対象を追跡するように構成してもよい。例えば、外部システムが、カメラやセンサなどによって取得される情報に基づいて対象を検出し、表示位置設定装置１００を経由してその対象の位置をウェアラブルデバイス１０に通知する。そして、通知された対象の位置や方向を透明表示部１２０に表示させれば、ウェアラブルデバイス１０を装着したユーザが対象を見つけやすくなる。
また、カメラ１３０が撮影した画像には、レンズに起因する歪みがある。そのため、表示位置設定装置１００は、レンズの半径方向と円周方向の歪みを取り除くための画像処理を行う。また、表示位置設定装置１００は、画像の輝度値の正規化などの画像処理を行う。また、表示位置設定装置１００は、カメラ１３０Ｌとカメラ１３０Ｒのそれぞれが撮影した二つ画像の対応する点を同じ行座標に変換し、二つの画像の行をそろえる画像処理（平行化処理とも呼ぶ）を行う。二つの画像の行をそろえる平行化処理を行うことによって、二つの画像から同じ対象を検出する処理の次元は、二次元から一次元になる。
表示位置設定装置１００は、歪み補正処理や平行化処理を加えた二つの画像データにマッチング処理を行うことによって対象を検出する。例えば、表示位置設定装置１００は、カメラ１３０Ｌとカメラ１３０Ｒのそれぞれに撮影された二つの画像における同一点の検索を行うステレオ対応点検索によって対象を検出する。ステレオ対応点検索に用いるマッチングアルゴリズムとしては、一例として、ブロックマッチングステレオアルゴリズムを用いることができる。なお、表示位置設定装置１００が検出用画像から対象を検出する際に用いるアルゴリズムは、検出用画像から対象を検出できれば、ブロックマッチングステレオアルゴリズムに限定されない。例えば、表示位置設定装置１００は、検出する対象の特徴を予め記憶しておき、その特徴に基づいて二つの画像から対象を検出する。また、表示位置設定装置１００が、二つの画像から対象を検出し、二つの画像における対象間の視差を推定し、三角測量の原理に基づいて、推定した視差からウェアラブルデバイス１０と対象との距離を算出するように構成してもよい。
図３は、ウェアラブルデバイス１０を装着したユーザの左目１４０Ｌおよび右目１４０Ｒと、カメラ１３０Ｌおよびカメラ１３０Ｒとの位置関係について説明するための概念図である。図３のように、左側のカメラ１３０Ｌのレンズと、右側のカメラ１３０Ｒのレンズとを通過する直線と、ユーザの左目１４０Ｌと右目１４０Ｒとを結ぶ直線とは重なる。すなわち、カメラ１３０Ｌおよびカメラ１３０Ｒと、左目１４０Ｌおよび右目１４０Ｒとは、垂直方向の位置が同じである。
図３のように、リム１２Ｌおよびリム１２Ｒのそれぞれには、ドライバ１５０Ｌおよびドライバ１５０Ｒのそれぞれが搭載される。
ドライバ１５０Ｌは、透明表示部１２０Ｌに画像を表示させる駆動部である。ドライバ１５０Ｌは、リム１２Ｌの内部に実装されてもよいし、表面や裏面に実装されてもよい。ドライバ１５０Ｌは、水平方向の表示を駆動させる第１ドライバ１５１Ｌと、垂直方向の表示を駆動させる第２ドライバ１５２Ｌとを有する。第１ドライバ１５１Ｌは、透明表示部１２０Ｌの上方に配置される。第２ドライバ１５２Ｌは、透明表示部１２０Ｌの左側（図３では右側）に配置される。第１ドライバ１５１Ｌは、垂直方向の表示位置を設定する。第２ドライバ１５２Ｌは、水平方向の表示位置を設定する。第１ドライバ１５１Ｌと第２ドライバ１５２Ｌを駆動させることで、透明表示部１２０Ｌの任意の座標に点状光を表示できる。
同様に、ドライバ１５０Ｒは、透明表示部１２０Ｒに画像を表示させる駆動部である。ドライバ１５０Ｒは、リム１２Ｒの内部に実装されてもよいし、表面や裏面に実装されてもよい。ドライバ１５０Ｒは、水平方向の表示を駆動させる第１ドライバ１５１Ｒと、垂直方向の表示を駆動させる第２ドライバ１５２Ｒとを有する。第１ドライバ１５１Ｒは、透明表示部１２０Ｒの上方に配置される。第２ドライバ１５２Ｒは、透明表示部１２０Ｒの右側（図３では左側）に配置される。第１ドライバ１５１Ｒは、垂直方向の表示位置を設定する。第２ドライバ１５２Ｒは、水平方向の表示位置を設定する。第１ドライバ１５１Ｒと第２ドライバ１５２Ｒを駆動させることで、透明表示部１２０Ｒの任意の座標に点状光を表示できる。
以上が、情報表示システム１の構成の概要についての説明である。なお、図１〜図３の構成は一例であって、本実施形態の情報表示システム１の構成をそのままの形態に限定するものではない。
〔デバイス制御部〕
次に、ウェアラブルデバイス１０を制御するデバイス制御部１１０について図面を参照しながら説明する。図４は、ウェアラブルデバイス１０のデバイス制御部１１０の構成について説明するためのブロック図である。
図４のように、デバイス制御部１１０は、通信部１１１、表示コントローラ１１３、メモリ１１５、および電源１１７を有する。
通信部１１１は、カメラ１３０Ｌおよびカメラ１３０Ｒに接続される。また、通信部１１１は、無線または有線にてデータ送受信できるように表示位置設定装置１００に接続される。通信部１１１は、カメラ１３０Ｌおよびカメラ１３０Ｒから画像データを取得する。通信部１１１は、取得した画像データを表示位置設定装置１００に送信する。
また、通信部１１１は、表示コントローラ１１３に接続される。通信部１１１は、対象に重ねて表示させる点状光の表示位置を含む表示位置情報を表示位置設定装置１００から受信する。通信部１１１は、受信した表示位置情報に含まれる照準の表示位置を表示コントローラ１１３に出力する。
キャリブレーションの際には、通信部１１１は、透明表示部１２０に表示された照準光に合せられた指示体の写った画像データ（補正用画像）を取得する。このとき、通信部１１１は、その補正用画像の撮影時に透明表示部１２０に表示されていた照準光の位置を表示コントローラ１１３から取得する。通信部１１１は、取得した画像データに、その補正用画像の撮影時に透明表示部１２０に表示されていた照準光の位置を関連付けた校正情報を生成する。通信部１１１は、生成した校正情報を表示位置設定装置１００に送信する。通信部１１１は、照準光に対応する補正用画像を取得するたびに表示位置設定装置１００に校正情報を送信してもよいし、一回のキャリブレーションで生成される複数の校正情報をまとめて表示位置設定装置１００に送信してもよい。
表示コントローラ１１３は、通信部１１１、メモリ１１５、ドライバ１５０Ｌ、およびドライバ１５０Ｒに接続される。キャリブレーションの際には、表示コントローラ１１３は、透明表示部１２０Ｌまたは透明表示部１２０Ｒに表示させる照準光の画像をメモリ１１５から取得する。表示コントローラ１１３は、透明表示部１２０Ｌおよび透明表示部１２０Ｒのそれぞれに所定のタイミングで照準の画像が表示されるように、ドライバ１５０Ｌおよびドライバ１５０Ｒのそれぞれを制御する。対象検出の際には、表示コントローラ１１３は、透明表示部１２０Ｌや透明表示部１２０Ｒに表示させる照準光に関する情報をメモリ１１５から取得する。表示コントローラ１１３は、通信部１１１から取得した表示位置に照準光を表示させる。
メモリ１１５は、表示コントローラ１１３に接続される。メモリ１１５には、透明表示部１２０Ｌおよび透明表示部１２０Ｒに表示させる補正光や照準光に関する情報が記憶される。例えば、メモリ１１５には、透明表示部１２０Ｌおよび透明表示部１２０Ｒに表示させる補正光や照準光の色などに関する情報が記憶される。なお、メモリ１１５には、補正光や照準光以外に関するデータが記憶されていてもよい。
電源１１７は、ウェアラブルデバイス１０を駆動させるための二次電池である。例えば、電源１１７は、無線給電によって充電可能な二次電池である。なお、電源１１７は、電源ケーブルによって有線給電できる二次電池であってもよい。
以上が、デバイス制御部１１０の構成についての説明である。なお、図４の構成は一例であって、本実施形態のデバイス制御部１１０の構成をそのままの形態に限定するものではない。
〔表示位置設定装置〕
次に、表示位置設定装置１００について図面を参照しながら説明する。図５は、表示位置設定装置１００の構成について説明するためのブロック図である。図５のように、表示位置設定装置１００は、送受信部１０１、画像処理部１０２、補正情報生成部１０３、補正情報記憶部１０４、対象検出部１０５、対象情報記憶部１０６、および表示位置設定部１０７を有する。
送受信部１０１は、画像処理部１０２および表示位置設定部１０７に接続される。また、送受信部１０１は、無線または有線にてデータ送受信できるようにウェアラブルデバイス１０に接続される。
送受信部１０１は、補正用画像や対象検出画像を含むデータをウェアラブルデバイス１０から受信すると、受信したデータを画像処理部１０２に出力する。また、送受信部１０１は、表示位置設定部１０７から照準光の表示位置情報を取得すると、その表示位置情報をウェアラブルデバイス１０に送信する。
画像処理部１０２は、送受信部１０１、補正情報生成部１０３、および対象検出部１０５に接続される。画像処理部１０２は、取得した画像データに画像処理を行う。例えば、画像処理部１０２は、歪み除去や、輝度値の正規化、平行化などの画像処理を行う。キャリブレーション用の画像を取得すると、画像処理部１０２は、画像処理を行い、画像処理後の画像データを補正情報生成部１０３に出力する。対象検出用の画像データを取得すると、画像処理部１０２は、画像処理を行い、画像処理後の画像データを対象検出部１０５に出力する。
補正情報生成部１０３は、画像処理部１０２および補正情報記憶部１０４に接続される。補正情報生成部１０３は、画像処理部１０２から補正用画像を取得する。補正情報生成部１０３は、取得した補正用画像を解析して指示体の位置を検出する。補正情報生成部１０３は、検出した指示体の位置と、その時点において透明表示部１２０に表示されていた補正光の表示位置とを関連付ける補正情報を生成する。補正情報生成部１０３は、生成した補正情報を補正情報記憶部１０４に記憶させる。
補正情報記憶部１０４は、補正情報生成部１０３および表示位置設定部１０７に接続される。キャリブレーションの際には、補正情報生成部１０３によって生成された補正情報が補正情報記憶部１０４に記憶される。また、対象検出の際には、表示位置設定部１０７からのアクセスを受け、補正情報記憶部１０４に記憶された補正情報が参照される。
対象検出部１０５は、画像処理部１０２、対象情報記憶部１０６、および表示位置設定部１０７に接続される。対象検出部１０５は、対象検出用の画像データを画像処理部１０２から取得する。対象検出部１０５は、画像データを取得すると、対象情報記憶部１０６から検出する対象に関する情報（対象情報とも呼ぶ）を取得し、対象情報に基づいて画像データから対象を検出する。対象検出部１０５は、対象を検出すると、その対象の位置を抽出する。対象検出部１０５は、抽出した対象の位置を表示位置設定部１０７に出力する。
対象情報記憶部１０６には、画像データから検出対象を検出するための対象情報が記憶される。対象検出の際に、対象情報記憶部１０６は、対象検出部１０５からのアクセスを受け、対象情報が参照される。例えば、対象情報記憶部１０６には、画像データから対象を検出するための対象情報として、その対象の特徴が記憶される。なお、対象情報記憶部１０６に記憶される対象情報は、画像データから対象を検出できさえすれば、特に限定を加えない。
表示位置設定部１０７は、送受信部１０１、補正情報記憶部１０４、および対象検出部１０５に接続される。表示位置設定部１０７は、対象検出部１０５が検出した対象の位置を取得する。表示位置設定部１０７は、対象の位置を取得すると補正情報記憶部１０４から、補正情報を取得する。表示位置設定部１０７は、補正情報を用いて、取得した対象の位置を透明表示部１２０における表示位置に補正する。表示位置設定部１０７は、補正後の対象の位置（照準光の表示位置）を含む表示位置情報を送受信部１０１に出力する。なお、表示位置設定部１０７は、透明表示部１２０に表示させる照準光の色などの情報を表示位置情報に追加してもよい。
以上が、表示位置設定装置１００の構成についての説明である。なお、図５の構成は一例であって、本実施形態の表示位置設定装置１００の構成をそのままの形態に限定するものではない。
〔キャリブレーション〕
次に、表示位置設定装置１００によるキャリブレーションについて図面を参照しながら説明する。図６〜図１２は、表示位置設定装置１００によるキャリブレーションについて説明するための図である。
図６は、キャリブレーションに用いられる補正光を透明表示部１２０Ｌに表示させる位置について説明するための概念図である。図６の例は、ウェアラブルデバイス１０を装着したユーザの視座から透明表示部１２０Ｌを見た図である。なお、キャリブレーションに用いられる補正光の数は、１０個に限定されず、任意に設定できる。また、キャリブレーションに用いられる補正光の位置は、図６の例に限定されず、任意に設定できる。
図６の例では、１〜１０の数字で示す破線の円の位置に補正光を表示させる。表示させる補正光の色は、ウェアラブルデバイス１０のメモリ１１５に予め記憶させておけばよい。また、補正光を表示させる位置や、タイミング、順番も、ウェアラブルデバイス１０のデバイス制御部１１０のメモリ１１５に予め記憶させておけばよい。
例えば、ウェアラブルデバイス１０は、１〜１０で示す破線の円の位置に昇順や降順で補正光を表示させる。また、ウェアラブルデバイス１０は、１〜１０で示す破線の円の位置にランダムで補正光を表示させてもよい。ウェアラブルデバイス１０は、予め設定されたタイミングで補正光の表示位置を切り替えてもよいし、表示位置設定装置１００からの切替指示に応じて切り替えてもよい。例えば、補正光の位置は、透明表示部１２０Ｒおよび透明表示部１２０Ｌに設定される相対座標系で表現できる。図６には、ｘｙ座標系で相対座標を表現する例を示す。なお、透明表示部１２０Ｒおよび透明表示部１２０Ｌに設定される相対座標系の原点は、透明表示部１２０Ｒおよび透明表示部１２０Ｌに対して固定されてさえいれば、その位置は任意に設定できる。
図７は、透明表示部１２０Ｌに表示された補正光１２１Ｌを視認したユーザが、その補正光１２１Ｌに重なる位置に指先（指示体１４１）を合せた様子を示す概念図である。透明表示部１２０Ｌに表示された補正光１２１Ｌを用いたキャリブレーションは、左目によって視認される指示体１４１と補正光１２１Ｌの位置を合せるためのものである。右目によって視認される指示体１４１と照準の位置を合せるためのキャリブレーションは、透明表示部１２０Ｒを用いて別途行われる。
図８は、左目用のキャリブレーションの際に、透明表示部１２０Ｌの位置（ｘi、ｙi）に表示された補正光１２１Ｌに合わせて、ユーザが指示体１４１を視認している状態を上方から見下ろした様子を示す概念図である。図８のように、左目用のキャリブレーションにおいて、左側のカメラ１３０Ｌと右側のカメラ１３０Ｒの両方が指示体１４１を撮影する。このとき、カメラ１３０Ｌとカメラ１３０Ｒは、透明表示部１２０Ｌに表示された補正光１２１Ｌを見ているユーザの左目１４０Ｌと、補正光１２１Ｌとを結ぶ直線上に位置する指示体１４１を撮影する。ウェアラブルデバイス１０は、同じタイミングでカメラ１３０Ｌおよびカメラ１３０Ｒに撮影された二つの画像データ（左側画像１３１Ｌ、右側画像１３１Ｒ）と、補正光１２１Ｌの表示位置と関連付けた校正情報を生成する。ウェアラブルデバイス１０は、生成された校正情報を表示位置設定装置１００に送信する。
図９は、透明表示部１２０Ｌの補正光１２１Ｌに合わせてユーザが指示体１４１を視認している際に、左側画像１３１Ｌおよび右側画像１３１Ｒに写る指示体１４１の位置について説明するための概念図である。図９には、左側画像１３１Ｌおよび右側画像１３１Ｒに、同じ座標系（ＸＹ座標系）を設定する例を示す。
図９のように、左側画像１３１Ｌと右側画像１３１Ｒに写る指示体１４１の位置には視差が生じる。左側画像１３１Ｌにおける指示体１４１の位置は（ＸiLL,ＹiLL）である。右側画像１３１Ｒにおける指示体１４１の位置は（ＸiLR,ＹiLR）である。表示位置設定装置１００は、透明表示部１２０に表示された補正光１２１Ｌの位置（ｘi、ｙi）に、左側画像１３１Ｌ上の位置（ＸiLL,ＹiLL）と右側画像１３１Ｒ上の位置（ＸiLR,ＹiLR）とを関連付けて記憶する。表示位置設定装置１００は、透明表示部１２０Ｌ上の複数の位置に関して、左側画像１３１Ｌ上の位置と右側画像１３１Ｒ上の位置とを関連付けて記憶する。
図１０は、右目用のキャリブレーションの際に、透明表示部１２０Ｒの位置（ｘi、ｙi）に表示された補正光１２１Ｒに合わせて、ユーザが指示体１４１を視認している状態を上方から見下ろした様子を示す概念図である。図１０のように、右目用のキャリブレーションにおいて、左側のカメラ１３０Ｌと右側のカメラ１３０Ｒの両方が指示体１４１を撮影する。このとき、カメラ１３０Ｌとカメラ１３０Ｒは、透明表示部１２０Ｒに表示された補正光１２１Ｒ（補正光）を見ているユーザの右目１４０Ｒと、補正光１２１Ｒとを結ぶ直線上に位置する指示体１４１を撮影する。ウェアラブルデバイス１０は、同じタイミングでカメラ１３０Ｌおよびカメラ１３０Ｒに撮影された二つの画像データ（左側画像１３１Ｌ、右側画像１３１Ｒ）と、補正光１２１Ｒの表示位置とを関連付けた校正情報を生成する。ウェアラブルデバイス１０は、生成された校正情報を表示位置設定装置１００に送信する。
図１１は、透明表示部１２０Ｒに表示された補正光１２１Ｒに合わせてユーザが指示体１４１を視認している際に、左側画像１３１Ｌおよび右側画像１３１Ｒに写る指示体１４１の位置について説明するための概念図である。図１１には、左側画像１３１Ｌおよび右側画像１３１Ｒに、同じ座標系（ＸＹ座標系）を設定する例を示す。
図１１のように、左側画像１３１Ｌと右側画像１３１Ｒに写る指示体１４１の位置には視差が生じる。左側画像１３１Ｌにおける指示体１４１の位置は（ＸiRL,ＹiRL）である。右側画像１３１Ｒにおける指示体１４１の位置は（ＸiRR,ＹiRR）である。表示位置設定装置１００は、透明表示部１２０に表示された照準の位置（ｘi、ｙi）に、左側画像１３１Ｌにおける位置（ＸiRL,ＹiRL）と、右側画像１３１Ｒにおける位置（ＸiRR,ＹiRR）とを関連付けて記憶する。表示位置設定装置１００は、透明表示部１２０Ｒ上の複数の位置に関して、左側画像１３１Ｌ上の位置と右側画像１３１Ｒ上の位置とを関連付けて記憶する。
図１２は、表示位置設定装置１００が記憶する補正情報の一例を示すテーブル（補正情報テーブル１７０）である。補正情報テーブル１７０には、左側の透明表示部１２０Ｌ用の補正情報と、右側の透明表示部１２０Ｒ用の補正情報とが格納される。補正情報テーブル１７０には、透明表示部１２０Ｌおよび透明表示部１２０Ｒに設定される座標系と、カメラ１３０Ｒおよびカメラ１３０Ｌによって撮影された画像データに設定される座標系とを関連付ける補正データが格納される。
例えば、１番目の照準は、透明表示部１２０Ｌの位置（ｘ1、ｙ1）に表示される。左側の透明表示部１２０Ｌの位置（ｘ1、ｙ1）には、左側画像１３１Ｌの位置（Ｘ1LL,Ｙ1LL）と、右側画像１３１Ｒの位置（Ｘ1LR,Ｙ1LR）とが関連付けられる。同様に、左側の透明表示部１２０Ｌの位置（ｘi、ｙi）には、左側画像１３１Ｌの位置（ＸiLL,ＹiLL）と、右側画像１３１Ｒの位置（ＸiLR,ＹiLR）とが関連付けられる。
〔対象検出〕
次に、表示位置設定装置１００による対象検出について図面を参照しながら説明する。図１３〜図１４は、表示位置設定装置１００による対象検出について説明するための図である。
図１３および図１４は、対象検出の際に、カメラ１３０によって撮影された画像データ（検出用画像）に基づいて、対象１４５に重なるように透明表示部１２０に照準光１２５を表示させる例について説明するための概念図である。
左側のカメラ１３０Ｌは、外景を撮影することによって左側画像１３２Ｌを生成する。同じタイミングにおいて、右側のカメラ１３０Ｒは、外景を撮影することによって右側画像１３２Ｒを生成する。ウェアラブルデバイス１０は、生成した左側画像１３２Ｌおよび右側画像１３２Ｒ（検出用画像）を表示位置設定装置１００に送信する。
表示位置設定装置１００は、左側画像１３２Ｌおよび右側画像１３２Ｒ（検出用画像）をウェアラブルデバイス１０から受信する。表示位置設定装置１００は、対象情報を参照して、左側画像１３２Ｌおよび右側画像１３２Ｒから対象１４５を検出する。左側画像１３２Ｌにおいては位置（ＸL,ＹL）に対象１４５が写っており、右側画像１３２Ｒにおいては位置（ＸR,ＹR）に対象１４５が写っている。表示位置設定装置１００は、左側画像１３２Ｌから対象１４５の位置（ＸL,ＹL）を抽出し、右側画像１３２Ｒから対象１４５の位置（ＸR,ＹR）を抽出する。
表示位置設定装置１００は、左側画像１３２Ｌから抽出された位置（ＸL,ＹL）と、右側画像１３２Ｒから抽出された位置（ＸR,ＹR）とを、補正情報に基づいて、透明表示部１２０Ｌにおける位置（ｘL、ｙL）に補正する。同様に、表示位置設定装置１００は、左側画像１３２Ｌから抽出された位置（ＸL,ＹL）と、右側画像１３２Ｒから抽出された位置（ＸR,ＹR）とを、補正情報に基づいて、透明表示部１２０Ｒにおける位置（ｘR、ｙR）に補正する。表示位置設定装置１００は、透明表示部１２０Ｌに表示させる照準光１２５Ｌの位置（ｘL、ｙL）と、透明表示部１２０Ｒに表示させる照準光１２５Ｒの位置（ｘR、ｙR）とを含む表示位置情報をウェアラブルデバイス１０に送信する。
ウェアラブルデバイス１０は、透明表示部１２０Ｌおよび透明表示部１２０Ｒのそれぞれに表示させる照準光１２５の表示位置を含む表示位置情報を表示位置設定装置１００から受信する。ウェアラブルデバイス１０は、透明表示部１２０Ｌの位置（ｘL、ｙL）に照準光１２５Ｌを表示させ、透明表示部１２０Ｒの位置（ｘR、ｙR）に照準光１２５Ｒを表示させる。
ウェアラブルデバイス１０を装着したユーザは、透明表示部１２０Ｌの位置（ｘL、ｙL）に表示された照準光１２５Ｌを左目１４０Ｌで知覚し、透明表示部１２０Ｒの位置（ｘR、ｙR）に表示された照準光１２５Ｒを右目１４０Ｒで知覚する。ユーザは、左目１４０Ｌで知覚した照準光１２５Ｌと、右目１４０Ｒで知覚した照準光１２５Ｒとに重なって見える対象１４５を認識できる。
以上が、本実施形態の情報表示システム１の構成や機能についての説明である。なお、図１〜図１４に示す構成や機能は一例であって、本実施形態の情報表示システム１の構成や機能をそのままの形態に限定するものではない。なお、上記の例においては、透明表示部１２０Ｌおよび透明表示部１２０Ｒの両方に照準光１２５を表示させる例を示したが、透明表示部１２０Ｌおよび透明表示部１２０Ｒのいずれか一方に照準光１２５を表示させるように構成してもよい。
（動作）
次に、本実施形態の情報表示システム１が備えるウェアラブルデバイス１０および表示位置設定装置１００の動作について図面を参照しながら説明する。以下においては、ウェアラブルデバイス１０によるキャリブレーション処理およびポインティング処理と、表示位置設定装置１００による補正情報生成処理および照準位置生成処理について順番に説明する。
〔キャリブレーション処理〕
図１５は、ウェアラブルデバイス１０によるキャリブレーション処理について説明するためのフローチャートである。図１５のフローチャートに沿った処理の説明においては、ウェアラブルデバイス１０を動作の主体とする。
図１５において、まず、ウェアラブルデバイス１０は、透明表示部１２０Ｌまたは透明表示部１２０Ｒに補正光１２１を表示する位置を設定する（ステップＳ１１１）。
次に、ウェアラブルデバイス１０は、透明表示部１２０Ｌまたは透明表示部１２０Ｒに補正光１２１を表示させる（ステップＳ１１２）。
次に、ウェアラブルデバイス１０は、透明表示部１２０Ｌまたは透明表示部１２０Ｒに表示された補正光１２１に合わせられた指示体をカメラ１３０Ｌおよびカメラ１３０Ｒで撮影して補正用画像を生成する（ステップＳ１１３）。
次に、ウェアラブルデバイス１０は、透明表示部１２０Ｌまたは透明表示部１２０Ｒに表示された補正光１２１の位置と、カメラ１３０Ｌおよびカメラ１３０Ｒによって撮影された一対の補正用画像とを関連付けた校正情報を生成する（ステップＳ１１４）。
次に、ウェアラブルデバイス１０は、生成した校正情報を表示位置設定装置１００に送信する（ステップＳ１１５）。
キャリブレーション処理を継続する場合（ステップＳ１１６でＮｏ）、ステップＳ１１１に戻って処理を繰り返す。キャリブレーション処理を完了する場合（ステップＳ１１６でＹｅｓ）、図１５のフローチャートに沿った処理は終了である。図１５のフローチャートに沿った処理においては、１つの補正光１２１に関する校正情報が生成されるたびに、その校正情報を表示位置設定装置１００に送信する手順について説明した。いくつかの補正光１２１に関する構成情報をまとめて表示位置設定装置１００に送信するように構成してもよい。
〔ポインティング処理〕
図１６は、ウェアラブルデバイス１０によるポインティング処理について説明するためのフローチャートである。図１６のフローチャートに沿った処理の説明においては、ウェアラブルデバイス１０を動作の主体とする。
図１６において、まず、ウェアラブルデバイス１０は、対象を含む外景を撮影して対象検出用の画像データ（検出用画像とも呼ぶ）を生成する（ステップＳ１２１）。
次に、ウェアラブルデバイス１０は、生成した検出用画像を表示位置設定装置１００に送信する（ステップＳ１２２）。
ここで、表示位置設定装置１００から表示位置情報を受信した場合（ステップＳ１２３でＹｅｓ）、受信した表示位置情報に基づいて照準光１２５の表示位置を透明表示部１２０Ｌおよび透明表示部１２０Ｒに設定する（ステップＳ１２４）。表示位置設定装置１００から表示位置情報を受信していない場合（ステップＳ１２３でＮｏ）、ステップＳ１２６に進む。
ステップＳ１２４の後、ウェアラブルデバイス１０は、透明表示部１２０に関して、設定された表示位置に照準光１２５を表示させる（ステップＳ１２５）。
ポインティング処理を継続する場合（ステップＳ１２６でＹｅｓ）、ステップＳ１２１に戻って処理を繰り返す。ポインティング処理を完了する場合（ステップＳ１２５でＮｏ）、図１６のフローチャートに沿った処理は終了である。
以上が、ウェアラブルデバイス１０の動作ついての説明である。なお、図１５〜図１６に示すフローチャートは一例であって、ウェアラブルデバイス１０の動作をそのままの手順に限定するものではない。
〔表示位置設定装置〕
図１７は、表示位置設定装置１００の動作の概要について説明するためのフローチャートである。図１７のフローチャートに沿った処理の説明においては、表示位置設定装置１００を動作の主体とする。
図１７において、まず、表示位置設定装置１００は、ウェアラブルデバイス１０からデータを取得する（ステップＳ１５１）。
取得したデータが校正情報である場合（ステップＳ１５２でＹｅｓ）、表示位置設定装置１００は、補正情報生成処理を実行する（ステップＳ１５３）。ステップＳ１５３の後、処理を継続する場合（ステップＳ１５５でＹｅｓ）、ステップＳ１５１に戻る。処理を継続しない場合（ステップＳ１５５でＮｏ）、図１７のフローチャートに沿った処理を終了とする。
一方、取得した画像データが校正情報ではなく、検出用画像の場合（ステップＳ１５２でＮｏ）、表示位置設定装置１００は、照準位置生成処理を実行する（ステップＳ１５４）。ステップＳ１５４の後、処理を継続する場合（ステップＳ１５５でＹｅｓ）、ステップＳ１５１に戻る。処理を継続しない場合（ステップＳ１５５でＮｏ）、図１７のフローチャートに沿った処理を終了とする。
〔補正情報生成処理〕
図１８は、表示位置設定装置１００による補正情報生成処理について説明するためのフローチャートである。図１８のフローチャートに沿った処理の説明においては、表示位置設定装置１００を動作の主体とする。
図１８において、まず、表示位置設定装置１００は、カメラ１３０Ｌに撮影された左側画像と、カメラ１３０Ｒに撮影された右側画像とを画像処理する（ステップＳ１６１）。
次に、表示位置設定装置１００は、画像処理後の左側画像と右側画像のそれぞれから指示体の位置を検出する（ステップＳ１６２）。
次に、表示位置設定装置１００は、透明表示部１２０Ｌまたは透明表示部１２０Ｒに表示された補正光１２１の位置と、画像処理後の左側画像および右側画像のそれぞれから検出された指示体の位置とを関連付けた補正情報を生成する（ステップＳ１６３）。
そして、表示位置設定装置１００は、透明表示部１２０Ｌおよび透明表示部１２０Ｒに関して生成された補正情報を記憶する（ステップＳ１６４）。
補正情報生成処理を継続する場合（ステップＳ１６５でＮｏ）、ステップＳ１６１に戻る。補正情報生成処理を完了する場合（ステップＳ１６５でＹｅｓ）、図１８のフローチャートに沿った処理は終了である。
〔照準位置生成処理〕
図１９は、表示位置設定装置１００による照準位置設定処理について説明するためのフローチャートである。図１９のフローチャートに沿った処理の説明においては、表示位置設定装置１００を動作の主体とする。
図１９において、まず、表示位置設定装置１００は、カメラ１３０Ｌに撮影された左側画像と、カメラ１３０Ｒに撮影された右側画像とのそれぞれを画像処理する（ステップＳ１７１）。
次に、表示位置設定装置１００は、画像処理後の左側画像と右側画像のそれぞれから対象の位置を検出する（ステップＳ１７２）。
次に、表示位置設定装置１００は、画像処理後の左側画像と右側画像のそれぞれから検出された対象の位置を抽出する（ステップＳ１７３）。
次に、表示位置設定装置１００は、左側画像と右側画像のそれぞれから検出された対象の位置を補正情報に基づいて透明表示部１２０Ｌおよび透明表示部１２０Ｒのそれぞれにおける位置に補正する（ステップＳ１７４）。補正後の透明表示部１２０Ｌおよび透明表示部１２０Ｒにおける位置は、透明表示部１２０Ｌおよび透明表示部１２０Ｒのそれぞれにおける照準光１２５の表示位置に相当する。
そして、表示位置設定装置１００は、透明表示部１２０Ｌおよび透明表示部１２０Ｒのそれぞれにおける照準光１２５の表示位置を含む表示位置情報をウェアラブルデバイス１０に送信する（ステップＳ１７５）。
照準位置設定処理を継続する場合（ステップＳ１７６でＮｏ）、ステップＳ１７１に戻る。照準位置設定処理を完了する場合（ステップＳ１７６でＹｅｓ）、図１９のフローチャートに沿った処理は終了である。
以上が、表示位置設定装置１００の動作ついての説明である。なお、図１７〜図１９に示すフローチャートは一例であって、表示位置設定装置１００の動作をそのままの手順に限定するものではない。
以上のように、本実施形態の情報表示システムは、ウェアラブルデバイスと表示位置設定装置を備える。表示位置設定装置は、一対のカメラによって撮影された画像データから抽出される特徴に基づいて対象を検出し、フレームを装着したユーザの目と対象とを結ぶ直線が透明ディスプレイを通過する位置を表示位置に設定する。ウェアラブルデバイスは、フレームと、フレームの両側端に配置された一対のカメラと、フレームに嵌め込まれた透明ディスプレイと、表示位置設定装置によって設定された表示位置に点状光を表示させるように透明ディスプレイを制御するコントローラとを備える。
本実施形態の一態様として、透明ディスプレイは、第１透明ディスプレイと第２透明ディスプレイとを含む。フレームは、ユーザの一方の眼前に配置され、第１透明ディスプレイが嵌め込まれる第１リムと、ユーザの他方の眼前に配置され、第２透明ディスプレイが嵌め込まれる第２リムと、を有する。表示位置設定装置は、一対のカメラによって撮影された二つの画像データに基づいて、一方の目と対象とを結ぶ直線が第１透明ディスプレイを通過する位置を第１表示位置に設定する。また、表示位置設定装置は、一対のカメラによって撮影された二つの画像データに基づいて、他方の目と対象とを結ぶ直線が第２透明ディスプレイを通過する位置を第２表示位置に設定する。コントローラは、第１コントローラと第２コントローラとを有する。第１コントローラは、表示位置設定装置によって設定された第１表示位置に点状光を表示させるように第１透明ディスプレイを制御する。第２コントローラは、表示位置設定装置によって設定された第２表示位置に点状光を表示させるように第２透明ディスプレイを制御する。
本実施形態の一態様として、情報表示システムは、一対のカメラに撮影された画像データにおける位置と、透明ディスプレイにおける位置とを対応づけるために、キャリブレーション処理および補正情報生成処理を実行する。キャリブレーション処理においては、コントローラが、キャリブレーションに用いる補正光を透明ディスプレイに表示させる。コントローラは、透明ディスプレイに表示された補正光を見ているユーザの目と、補正光とを結ぶ直線上に位置する指示体を一対のカメラに撮影させ、一対のカメラに撮影された二つの画像データを取得する。コントローラは、取得した二つの画像データと、透明ディスプレイにおける補正光の位置とを関連付けた校正情報を生成する。補正情報生成処理においては、表示位置設定装置が、コントローラによって生成された校正情報を取得し、校正情報に含まれる二つの画像データのそれぞれから指示体の位置を抽出する。表示位置設定装置は、二つの画像データのそれぞれから抽出された指示体の位置と、透明ディスプレイにおける補正光の位置とを関連付けた補正情報を生成する。
本実施形態の一態様として、情報表示システムは、対象の位置を示す照準光を透明ディスプレイに表示するために、照準位置設定処理およびポインティング処理を実行する。照準位置設定処理においては、表示位置設定装置が、一対のカメラに撮影された二つの画像データを取得し、取得した二つの画像データのそれぞれから対象を検出する。表示位置設定装置は、補正情報を用いて、二つの画像データのそれぞれから検出された対象の位置を透明ディスプレイにおける位置に補正し、補正後の透明ディスプレイにおける位置を表示位置に設定する。ポインティング処理においては、コントローラが、表示位置設定装置によって設定された表示位置に照準光が表示されるように透明ディスプレイを制御する。
本実施形態の一態様として、透明ディスプレイは、透明有機ＥＬディスプレイ（透明有機エレクトロルミネッセンスディスプレイ）および透明マイクロＬＥＤディスプレイ（透明マイクロ発光ダイオードディスプレイ）のいずれかによって実現される。また、本実施形態の一態様として、透明ディスプレイは、透明無機ＥＬディスプレイ（透明無機エレクトロルミネッセンスディスプレイ）によって実現されてもよい。
本実施形態のウェアラブルデバイスは、一般的なＡＲ（Augmented Reality）眼鏡とは異なり、透明ディスプレイにぼうっとした点状光（照準光）を表示する。
本実施形態のウェアラブルデバイスを装着したユーザは、透明ディスプレイに表示された照準光の方に視線を向けると、透明ディスプレイを通して見える外景に対象を認識することができる。このとき、本実施形態のウェアラブルデバイスを装着したユーザは、一般的なＡＲ眼鏡とは異なり、透明ディスプレイに表示された照準光を注視することなく外景の対象を認識できる。そのため、本実施形態のウェアラブルデバイスを装着したユーザは、外景の対象を認識する際に、透明ディスプレイに焦点を合わせたり、対象に焦点を合わせたりすることを繰り返すことがなくなるので、焦点位置の移動に伴う目の疲労を感じにくい。
また、一般的なＡＲ眼鏡では、レンズに表示された画像をユーザに認識させるため、ユーザの視野が狭くなる。それに対し、本実施形態のウェアラブルデバイスは、透明ディスプレイに表示された照準光をユーザに視認させるのではなく、その照準光の方にユーザの目を向けさせるため、透明ディスプレイの全体を視野に設定できる。
すなわち、本実施形態の情報表示システムによれば、視野全体に画像を表示し、ユーザが目の焦点移動をすることなしに外景の対象を認識することができる。
（適用例）
ここで、本実施形態の情報表示システム１の適用例をいくつか挙げる。以下においては、ウェアラブルデバイス１０を装着したユーザが、透明表示部１２０越しに見える外景にある対象１４５に重なって認識するように、透明表示部１２０に照準光１２５を表示する例を示す。なお、以下においては、左側の透明表示部１２０Ｌに照準光１２５を表示させる例を示すが、右側の透明表示部１２０Ｒについても同様なので、図面や説明においては符号の末尾のアルファベット（Ｌ）を省略する。
〔適用例１〕
図２０は、本実施形態の適用例１について説明するための概念図である。適用例１は、棚に並べられた複数の荷物の中から選別対象の荷物を選別する用途に情報表示システム１を用いる例である。
表示位置設定装置１００は、ウェアラブルデバイス１０のカメラ１３０によって撮影された検出用画像から選別対象の荷物（対象１４５Ａ）を検出する。例えば、表示位置設定装置１００は、荷物に貼付されたバーコードなどの識別情報に基づいて対象１４５Ａを検出する。表示位置設定装置１００は、検出用画像において対象１４５Ａを検出すると、その検出用画像における対象１４５Ａの位置を抽出する。表示位置設定装置１００は、抽出された検出用画像上の対象１４５Ａの位置を透明表示部１２０上の位置に補正し、補正後の位置を含む表示位置情報をウェアラブルデバイス１０に送信する。
ウェアラブルデバイス１０は、表示位置設定装置１００から表示位置情報を受信すると、その表示位置情報に含まれる透明表示部１２０上の位置に照準光１２５を表示させる。
ウェアラブルデバイス１０を装着したユーザは、透明表示部１２０に表示された照準光１２５が重なって見える荷物（対象１４５Ａ）を選別対象として認識できる。
〔適用例２〕
図２１は、本実施形態の適用例２について説明するための概念図である。適用例２は、駐車場や路上に駐車された複数の自動車の中から一台の自動車を発見する用途に情報表示システム１を用いる例である。例えば、適用例２は、警察官が盗難車を発見する用途に用いることができる。
表示位置設定装置１００は、ウェアラブルデバイス１０のカメラ１３０によって撮影された検出用画像から検出対象の自動車のナンバープレート（対象１４５Ｂ）を検出する。例えば、表示位置設定装置１００は、自動車のナンバープレートの数字に基づいて対象１４５Ｂを検出する。表示位置設定装置１００は、検出用画像において対象１４５Ｂを検出すると、その検出用画像における対象１４５Ｂの位置を抽出する。表示位置設定装置１００は、抽出された検出用画像上の対象１４５Ｂの位置を透明表示部１２０上の位置に補正し、補正後の位置を含む表示位置情報をウェアラブルデバイス１０に送信する。
ウェアラブルデバイス１０は、表示位置設定装置１００から表示位置情報を受信すると、その表示位置情報に含まれる透明表示部１２０上の位置に照準光１２５を表示させる。
ウェアラブルデバイス１０を装着したユーザは、透明表示部１２０に表示された照準光１２５が重なって見えるナンバープレート（対象１４５Ｂ）の自動車を発見対象として認識できる。
例えば、適用例２は、警察官が盗難車を発見する用途に用いることができる。警察官の視界に盗難車が２台以上あった場合は、それらの盗難車の全てに照準光１２５を表示させればよい。また、警察官の視界に盗難車がなかった場合に、別のシステムからの情報に基づいて、盗難車の位置を通知する光を透明表示部１２０に表示させるように構成してもよい。
〔適用例３〕
図２２は、本実施形態の適用例３について説明するための概念図である。適用例３は、森林の中で人物を発見する用途に情報表示システム１を用いる例である。
表示位置設定装置１００は、ウェアラブルデバイス１０のカメラ１３０によって撮影された検出用画像から人物（対象１４５Ｃ）を検出する。例えば、表示位置設定装置１００は、森林の中で人物（対象１４５Ｃ）を検出する。表示位置設定装置１００は、検出用画像において対象１４５Ｃを検出すると、その検出用画像における対象１４５Ｃの位置を抽出する。表示位置設定装置１００は、抽出された検出用画像上の対象１４５Ｃの位置を透明表示部１２０上の位置に補正し、補正後の位置を含む表示位置情報をウェアラブルデバイス１０に送信する。
ウェアラブルデバイス１０は、表示位置設定装置１００から表示位置情報を受信すると、その表示位置情報に含まれる透明表示部１２０上の位置に照準光１２５を表示させる。
ウェアラブルデバイス１０を装着したユーザは、透明表示部１２０に表示された照準光１２５が重なって見える物（対象１４５）を発見対象の人物として認識できる。
例えば、適用例３では、カメラ１３０を赤外線カメラによって構成してもよい。カメラ１３０を赤外線カメラによって構成すれば、夜間でも人物を検出することができる。
〔適用例４〕
図２３は、本実施形態の適用例４について説明するための概念図である。適用例４は、作業者の作業を遠隔で支援する遠隔支援システムに適用したり、機械自体が操作の手続きを人に教えることに適用したりする例である。図２３の適用例４は、複数のサーバが配置されたラックにおいてコネクタの接続位置を交換する用途に情報表示システム１を用いる例である。
表示位置設定装置１００は、ウェアラブルデバイス１０のカメラ１３０によって撮影された検出用画像から、接続位置を交換するコネクタ（対象１４５Ｄ、対象１４５Ｅ）を検出する。例えば、表示位置設定装置１００は、予め登録された特徴に基づいて対象１４５Ｄおよび対象１４５Ｅを検出する。表示位置設定装置１００は、検出用画像において対象１４５Ｄおよび対象１４５Ｅを検出すると、その検出用画像における対象１４５Ｄおよび対象１４５Ｅの位置を抽出する。表示位置設定装置１００は、抽出された検出用画像上の対象１４５Ｄおよび対象１４５Ｅの位置を透明表示部１２０上の位置に補正し、補正後の位置を含む表示位置情報をウェアラブルデバイス１０に送信する。
ウェアラブルデバイス１０は、表示位置設定装置１００から表示位置情報を受信すると、その表示位置情報に含まれる透明表示部１２０上の位置に二つの照準光１２５を表示させる。
ウェアラブルデバイス１０を装着したユーザは、透明表示部１２０に表示された二つの照準光１２５が重なって見えるコネクタ（対象１４５Ｄ、対象１４５Ｅ）を接続位置の交換対象として認識できる。
〔適用例５〕
図２４は、本実施形態の適用例５について説明するための概念図である。適用例５は、ユーザの前方にある複数の通路の中からユーザが進行すべき通路を通知する用途に情報表示システム１を用いる例である。
表示位置設定装置１００は、ウェアラブルデバイス１０のカメラ１３０によって撮影された検出用画像から、ユーザが進行する通路（対象１４５Ｆ）を検出する。例えば、表示位置設定装置１００は、通路の先における目標物の有無によって対象１４５Ｆを検出する。表示位置設定装置１００は、検出用画像において対象１４５Ｆを検出すると、その検出用画像における対象１４５Ｆの位置を抽出する。表示位置設定装置１００は、抽出された検出用画像上の対象１４５Ｆの位置を透明表示部１２０上の位置に補正し、補正後の位置を含む表示位置情報をウェアラブルデバイス１０に送信する。
ウェアラブルデバイス１０は、表示位置設定装置１００から表示位置情報を受信すると、その表示位置情報に含まれる透明表示部１２０上の位置までユーザを導くための複数の照準光１２５を表示させる。
ウェアラブルデバイス１０を装着したユーザは、透明表示部１２０に表示された複数の照準光１２５によって進行する通路（対象１４５Ｆ）を認識できる。
〔適用例６〕
図２５は、本実施形態の適用例６について説明するための概念図である。適用例６は、配送物を配送先ごとに仕分けする用途に情報表示システム１を用いる例である。適用例６では、配送先ごとに異なる色の照準光（照準光１２５Ｇ、照準光１２５Ｒ）を透明表示部１２０に表示させる。
表示位置設定装置１００は、ウェアラブルデバイス１０のカメラ１３０によって撮影された検出用画像から、ユーザが仕分けする配送物（対象１４５Ｇ、対象１４５Ｈ、対象１４５Ｉ）を検出する。例えば、表示位置設定装置１００は、配送物に貼付された伝票に記載された宛先に基づいて対象１４５Ｇ、対象１４５Ｈ、および対象１４５Ｉを検出する。図２５の例では、対象１４５Ｈと対象１４５Ｉの配送先は同じであり、対象１４５Ｇの配送先は対象１４５Ｈおよび対象１４５Ｉとは異なるものとする。
表示位置設定装置１００は、検出用画像において対象１４５Ｇ、対象１４５Ｈ、および対象１４５Ｉを検出すると、その検出用画像における対象１４５Ｇ、対象１４５Ｈ、および対象１４５Ｉの位置を抽出する。表示位置設定装置１００は、抽出された検出用画像上の対象１４５Ｇ、対象１４５Ｈ、および対象１４５Ｉの位置を透明表示部１２０上の位置に補正する。表示位置設定装置１００は、対象１４５Ｇ、対象１４５Ｈ、および対象１４５Ｉの透明表示部１２０上の位置を含む表示位置情報をウェアラブルデバイス１０に送信する。このとき、表示位置設定装置１００は、透明表示部１２０上の位置に加えて、対象１４５Ｇの位置には照準光１２５Ｒを表示させ、対象１４５Ｈおよび対象１４５Ｉの位置には照準光１２５Ｇを表示させる指示を表示位置情報に追加する。
ウェアラブルデバイス１０は、表示位置設定装置１００から表示位置情報を受信すると、その表示位置情報に含まれる透明表示部１２０上の位置に照準光１２５Ｇと照準光１２５Ｒを表示させる。
ウェアラブルデバイス１０を装着したユーザは、透明表示部１２０に表示された照準光１２５Ｇおよび照準光１２５Ｒによって、それぞれの配送物（対象１４５Ｇ、対象１４５Ｈ、対象１４５Ｉ）の配送先を認識できる。
〔適用例７〕
図２６は、本実施形態の適用例７について説明するための概念図である。適用例７は、ユーザに通知する何らかの情報を表示するための通知領域１２７を透明表示部１２０上に設定する例である。通知領域１２７には、何らかの情報をユーザに通知するための通知光１２８が表示される。通知領域１２７は、左右の透明表示部１２０のうち少なくともいずれかに設定すればよい。
適用例７では、透明表示部１２０の周縁部の所定の位置に通知領域１２７を設定する。通知領域１２７には、通知光１２８Ｒ、通知光１２８Ｂ、および通知光１２８Ｙを表示させる。通知領域１２７以外には、照準光１２５Ｇを表示させる。例えば、通知光１２８Ｒは赤色、通知光１２８Ｂは青色、通知光１２８Ｒは黄色、照準光１２５Ｇは緑色で表示させる。なお、通知領域１２７に表示させる通知光１２８の色はここで挙げた限りではなく、任意に設定できる。また、通知領域１２７は、透明表示部１２０上のいずれの位置に設定してもよく、透明表示部１２０全体を通知領域１２７に設定してもよい。例えば、対象が検出された際に、透明表示部１２０全体に一瞬だけ赤色や黄色の通知光１２８を表示させるように設定してもよい。また、図２６には、通知光１２８Ｒ、通知光１２８Ｂ、および通知光１２８Ｙが異なる位置に表示されるように図示しているが、同じ位置で異なる色を切り替えて表示してもよい。
通知領域１２７の位置や、通知光１２８Ｒ、通知光１２８Ｂ、および通知光１２８Ｙを表示させる位置は、メモリ１１５に記憶させておけばよい。また、通知光１２８Ｒ、通知光１２８Ｂ、および通知光１２８Ｙを表示させる制御は、表示位置設定装置１００の制御に応じるように構成してもよい。例えば、表示位置設定装置１００は、検出用画像の中に通知光１２８を表示させるべき特徴を抽出した際に、その特徴に応じた特定の通知光１２８の表示指示をウェアラブルデバイス１０に送信する。ウェアラブルデバイス１０は、通知光１２８の表示指示を表示位置設定装置１００から受信すると、その表示指示に応じた通知光１２８の位置をメモリ１１５から取得し、通知領域１２７にその通知光１２８を表示させる。
例えば、危険があることをユーザに通知する際には、通知領域１２７において通知光１２８Ｒを表示させる。また、安全であることをユーザに通知する際には、通知領域１２７において通知光１２８Ｂを表示させる。また、ユーザに注意を喚起させる際には、通知領域１２７において通知光１２８Ｙを表示させる。ウェアラブルデバイス１０を装着したユーザは、通知領域１２７に表示される通知光１２８Ｒ、通知光１２８Ｂ、および通知光１２８Ｙを色で感知し、自身の状況を認識することができる。
以上が、本実施形態の情報表示システム１の適用例についての説明である。なお、上記の適用例は、一例であって、本実施形態の情報表示システム１を適用する用途を限定するものではない。
以上の適用例のように、本実施形態の一態様として、表示位置設定装置は、一対のカメラによって撮影された画像データから検出される対象の種別に基づいて表示位置に表示される点状光の色を設定する。コントローラは、表示位置設定装置によって設定された色の点状光を表示位置に表示させるように透明ディスプレイを制御する。
また、本実施形態の一態様として、透明ディスプレイには、通知光を表示させる通知領域が設定される。表示位置設定装置は、一対のカメラによって撮影された画像データから抽出される特徴に基づいて、通知領域に通知光を表示させる指示をコントローラに出力する。コントローラは、表示位置設定装置からの指示に応じて通知領域に通知光を表示させるように透明ディスプレイを制御する。通知領域に表示される通知光の色は、補正光や照準光とは異なる色に設定できる。また、通知領域には、複数の色の通知光を表示させることができる。
（第２の実施形態）
次に、本発明の第２の実施形態に係る情報表示システムについて図面を参照しながら説明する。本実施形態の情報表示システムは、片方のリムのみに透明表示部を設置する点において第１の実施形態とは異なる。以下において、第１の実施形態と同様の構成や機能については説明を省略する。
（構成）
図２７は、本実施形態の情報表示システム２の構成を示す概念図である。図２７のように、情報表示システム２は、ウェアラブルデバイス２０と表示位置設定装置２００を備える。なお、表示位置設定装置２００は、第１の実施形態の表示位置設定装置１００と同様であるので、説明は省略する。
ウェアラブルデバイス２０は、ブリッジ２１によって連結された一対のリム２２（リム２２Ｌ、リム２２Ｒ）と、リム２２をユーザの左右の目の前に位置させるための一対のテンプル２３（テンプル２３Ｌ、テンプル２３Ｒ）とを備える。ブリッジ２１、リム２２（リム２２Ｌ、リム２２Ｒ）、テンプル２３（テンプル２３Ｌ、テンプル２３Ｒ）によってフレームが構成される。なお、リム２２（リム２２Ｌ、リム２２Ｒ）とテンプル２３（テンプル２３Ｌ、テンプル２３Ｒ）とを一体形成する場合は、リム２２（リム２２Ｌ、リム２２Ｒ）とブリッジ２１とが一体となる。
リム２２Ｌのレンズ部分には、透明表示部２２０が嵌め込まれる。テンプル２３Ｌおよびテンプル２３Ｒのそれぞれの外側面には、カメラ２３０Ｌおよびカメラ２３０Ｒのそれぞれが設置される。また、テンプル２３Ｌの外側面には、デバイス制御部２１０が設置される。図２７には、左側のリム２２Ｌに透明表示部２２０を嵌め込む例を示すが、右側のリム２２Ｒに透明表示部２２０を嵌め込むように構成してもよい。また、図２７には、右側のリム２２Ｒに何も嵌め込んでいない例を示すが、透明なプラスチックやガラス、レンズなどを嵌め込むように構成してもよい。
図２８は、ウェアラブルデバイス２０を装着したユーザの左目２４０Ｌおよび右目２４０Ｒと、カメラ２３０Ｌおよびカメラ２３０Ｒとの位置関係について説明するための概念図である。図２８のように、左側のカメラ２３０Ｌのレンズと右側のカメラ２３０Ｒのレンズとを通過する直線と、ユーザの左目２４０Ｌと右目２４０Ｒとを結ぶ直線とは重なる。すなわち、カメラ２３０Ｌおよびカメラ２３０Ｒと、左目２４０Ｌおよび右目２４０Ｒとは、垂直方向の位置が同じである。
図２８のように、リム２２Ｌにはドライバ２５０が搭載される。ドライバ２５０は、水平方向の表示を駆動させる第１ドライバ２５１と、垂直方向の表示を駆動させる第２ドライバ２５２とを有する。第１ドライバ２５１は、透明表示部２２０の上方に配置される。第２ドライバ２５２は、透明表示部２２０の左側（図２８では右側）に配置される。
〔デバイス制御部〕
次に、ウェアラブルデバイス２０を制御するデバイス制御部２１０について図面を参照しながら説明する。図２９は、ウェアラブルデバイス２０のデバイス制御部２１０の構成について説明するためのブロック図である。
図２９のように、デバイス制御部２１０は、通信部２１１、表示コントローラ２１３、メモリ２１５、および電源２１７を有する。
通信部２１１は、カメラ２３０Ｌおよびカメラ２３０Ｒに接続される。また、通信部２１１は、無線または有線にてデータ送受信できるように表示位置設定装置２００に接続される。通信部２１１は、カメラ２３０Ｌおよびカメラ２３０Ｒのそれぞれから同じタイミングに撮影された画像データを取得する。通信部２１１は、カメラ２３０Ｌおよびカメラ２３０Ｒのそれぞれから取得した画像データを表示位置設定装置２００に送信する。
キャリブレーションの際には、通信部２１１は、透明表示部２２０に表示された補正光に合せられた指示体の写った画像データ（補正用画像）を取得する。このとき、通信部２１１は、その補正用画像の撮影時に透明表示部２２０に表示されていた補正光の位置を表示コントローラ２１３から取得する。通信部２１１は、カメラ２３０Ｌおよびカメラ２３０Ｒのそれぞれから取得した補正用画像と、それらの補正用画像の撮影時に透明表示部２２０に表示されていた補正光の位置とを関連付けた校正情報を表示位置設定装置２００に送信する。通信部２１１は、補正用画像を取得するたびに表示位置設定装置２００に校正情報を送信してもよいし、一回のキャリブレーションで生成される複数の補正用画像に関する補正情報をまとめて表示位置設定装置２００に送信してもよい。
また、通信部２１１は、表示コントローラ２１３に接続される。通信部２１１は、対象に重ねて表示させる照準光の表示位置を含む表示位置情報を表示位置設定装置２００から受信する。通信部２１１は、受信した表示位置情報に含まれる照準光の表示位置を表示コントローラ２１３に出力する。
表示コントローラ２１３は、通信部２１１、メモリ２１５、およびドライバ２５０に接続される。キャリブレーションの際には、表示コントローラ２１３は、透明表示部２２０に表示させる補正光に関する情報をメモリ２１５から取得する。表示コントローラ２１３は、透明表示部２２０に所定のタイミングで補正光が表示されるようにドライバ２５０を制御する。対象検出の際には、表示コントローラ２１３は、透明表示部２２０に表示させる照準光に関する情報をメモリ２１５から取得する。表示コントローラ２１３は、通信部２１１から取得された表示位置に照準光を表示させる。
メモリ２１５は、表示コントローラ２１３に接続される。メモリ２１５には、透明表示部２２０に表示させる補正光や照準光に関する情報が記憶される。例えば、メモリ２１５には、透明表示部２２０に表示させる補正光や照準光の色などに関する情報が記憶される。なお、メモリ２１５には、補正光や照準光照準以外の画像が記憶されていてもよい。
電源２１７は、ウェアラブルデバイス２０を駆動させるための二次電池である。例えば、電源２１７は、無線給電によって充電可能な二次電池である。なお、電源２１７は、電源ケーブルによって有線給電できる二次電池であってもよい。
以上が、本実施形態の情報表示システム２の構成についての説明である。なお、図２７〜図２９の構成は一例であって、本実施形態の情報表示システム２の構成をそのままの形態に限定するものではない。また、本実施形態の情報表示システム２の動作については、第１の実施形態の情報表示システム１の動作と同様であるので説明は省略する。
本実施形態のウェアラブルデバイス２０は、二つのカメラ（カメラ２３０Ｌおよびカメラ２３０Ｒ）と、一つの透明表示部２２０とを組み合わせた構成であれば、眼鏡型に限定されない。例えば、本実施形態のウェアラブルデバイス２０は、ゴーグルやヘルメットのような構造であってもよい。
図３０は、情報表示システム２の構成の変形例（情報表示システム２−２）について説明するための概念図である。情報表示システム２−２は、ゴーグル型のウェアラブルデバイス２０−２を備える点で、情報表示システム２とは異なる。情報表示システム２−２の表示位置設定装置２００は、情報表示システム２と同様に構成できる。
図３０のように、ウェアラブルデバイス２０−２は、フレーム２４と、フレーム２４をユーザの眼前に固定するためのバンド２５とを備える。フレーム２４のレンズ部分には、透明表示部２２０−２が嵌め込まれる。透明表示部２２０−２は、形状は異なるものの、情報表示システム２の透明表示部２２０と同様に構成できる。フレーム２４の両側端には、カメラ２３０Ｌおよびカメラ２３０Ｒのそれぞれが設置される。カメラ２３０Ｌおよびカメラ２３０Ｒは、カメラ２３０Ｌのレンズとカメラ２３０Ｒのレンズとを通過する直線が、ユーザの左目と右目とを結ぶ直線に重なるように配置される。情報表示システム２−２のカメラ２３０Ｌおよびカメラ２３０Ｒは、情報表示システム２と同様に構成できる。また、カメラ２３０Ｌの後方には、デバイス制御部２１０が設置される。情報表示システム２−２のデバイス制御部２１０は、情報表示システム２と同様に構成できる。
図３０の情報表示システム２−２は、図２７の情報表示システム２と同様に、二つのカメラ（カメラ２３０Ｌおよびカメラ２３０Ｒ）によって撮影された画像データを用いて、外景にある対象に重なる照準光を透明表示部２２０に表示する。ウェアラブルデバイス２０−２を装着したユーザは、透明表示部２２０に表示された照準光の方に視線を向けることによって対象を認識できる。
以上のように、本実施形態の情報表示システムは、ウェアラブルデバイスと表示位置設定装置を備える。表示位置設定装置は、一対のカメラによって撮影された画像データから抽出される特徴に基づいて対象を検出し、フレームを装着したユーザの目と対象とを結ぶ直線が透明ディスプレイを通過する位置を表示位置に設定する。ウェアラブルデバイスは、フレームと、フレームの両側端に配置された一対のカメラと、フレームに嵌め込まれた透明ディスプレイと、表示位置設定装置によって設定された表示位置に点状光を表示させるように透明ディスプレイを制御するコントローラとを備える。
本実施形態の一態様として、フレームは、ユーザの一方の眼前に配置され、透明ディスプレイが嵌め込まれる第１のリムと、ユーザの他方の眼前に配置される第２のリムと、を有する。表示位置設定装置は、一対のカメラによって撮影された二つの画像データに基づいて、一方の目と対象とを結ぶ直線が透明ディスプレイを通過する位置を表示位置に設定する。
本実施形態の情報表示システムによれば、視野全体に画像を表示し、ユーザが目の焦点移動をすることなしに外景の対象を認識することが可能になる。
（ハードウェア）
ここで、本発明の各実施形態に係る表示位置設定装置を実現するハードウェア構成について、図３１の情報処理装置９０を一例として挙げて説明する。なお、図３１の情報処理装置９０は、各実施形態の表示位置設定装置を実現するための構成例であって、本発明の範囲を限定するものではない。
図３１のように、情報処理装置９０は、プロセッサ９１、主記憶装置９２、補助記憶装置９３、入出力インターフェース９５および通信インターフェース９６を備える。図３１においては、インターフェースをＩ／Ｆ（Interface）と略して表記する。プロセッサ９１、主記憶装置９２、補助記憶装置９３、入出力インターフェース９５および通信インターフェース９６は、バス９９を介して互いにデータ通信可能に接続される。また、プロセッサ９１、主記憶装置９２、補助記憶装置９３および入出力インターフェース９５は、通信インターフェース９６を介して、インターネットやイントラネットなどのネットワークに接続される。
プロセッサ９１は、補助記憶装置９３等に格納されたプログラムを主記憶装置９２に展開し、展開されたプログラムを実行する。本実施形態においては、情報処理装置９０にインストールされたソフトウェアプログラムを用いる構成とすればよい。プロセッサ９１は、本実施形態に係る表示位置設定装置による処理を実行する。
主記憶装置９２は、プログラムが展開される領域を有する。主記憶装置９２は、例えばＤＲＡＭ（Dynamic Random Access Memory）などの揮発性メモリとすればよい。また、ＭＲＡＭ（Magnetoresistive Random Access Memory）などの不揮発性メモリを主記憶装置９２として構成・追加してもよい。
補助記憶装置９３は、種々のデータが記憶される。補助記憶装置９３は、ハードディスクやフラッシュメモリなどのローカルディスクによって構成される。なお、種々のデータを主記憶装置９２に記憶させる構成とし、補助記憶装置９３を省略してもよい。
入出力インターフェース９５は、情報処理装置９０と周辺機器とを接続するためのインターフェースである。通信インターフェース９６は、規格や仕様に基づいて、無線または有線でウェアラブルデバイスに接続するためのインターフェースである。なお、通信インターフェース９６は、インターネットやイントラネットに接続するためのインターフェースに設定されてもよい。
情報処理装置９０には、必要に応じて、キーボードやマウス、タッチパネルなどの入力機器を接続するように構成してもよい。それらの入力機器は、情報や設定の入力に使用される。なお、タッチパネルを入力機器として用いる場合は、表示機器の表示画面が入力機器のインターフェースを兼ねる構成とすればよい。プロセッサ９１と入力機器との間のデータ通信は、入出力インターフェース９５に仲介させればよい。
また、情報処理装置９０には、情報を表示するための表示機器を備え付けてもよい。表示機器を備え付ける場合、情報処理装置９０には、表示機器の表示を制御するための表示制御装置（図示しない）が備えられていることが好ましい。表示機器は、入出力インターフェース９５を介して情報処理装置９０に接続すればよい。
また、情報処理装置９０には、必要に応じて、ディスクドライブを備え付けてもよい。ディスクドライブは、バス９９に接続される。ディスクドライブは、プロセッサ９１と図示しない記録媒体（プログラム記録媒体）との間で、記録媒体からのデータ・プログラムの読み出し、情報処理装置９０の処理結果の記録媒体への書き込みなどを仲介する。記録媒体は、例えば、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などの光学記録媒体で実現できる。また、記録媒体は、ＵＳＢ（Universal Serial Bus）メモリやＳＤ（Secure Digital）カードなどの半導体記録媒体や、フレキシブルディスクなどの磁気記録媒体、その他の記録媒体によって実現してもよい。
以上が、本発明の各実施形態に係る表示位置設定装置を可能とするためのハードウェア構成の一例である。なお、図３１のハードウェア構成は、各実施形態に係る表示位置設定装置を実現するためのハードウェア構成の一例であって、本発明の範囲を限定するものではない。また、各実施形態に係る表示位置設定装置に関する処理をコンピュータに実行させるプログラムも本発明の範囲に含まれる。さらに、各実施形態に係るプログラムを記録したプログラム記録媒体も本発明の範囲に含まれる。
各実施形態の表示位置設定装置の構成要素は、任意に組み合わせることができる。また、各実施形態の表示位置設定装置の構成要素は、ソフトウェアによって実現してもよいし、回路によって実現してもよい。
以上、実施形態を参照して本発明を説明してきたが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
１、２ 情報表示システム
１０、２０ ウェアラブルデバイス
１１、２１ ブリッジ
１２Ｌ、１２Ｒ、２２Ｌ、２２Ｒ リム
１３Ｌ、１３Ｒ、２３Ｌ、２３Ｒ テンプル
１６ ケーブル
１００、２００ 表示位置設定装置
１０１ 送受信部
１０２ 画像処理部
１０３ 補正情報生成部
１０４ 補正情報記憶部
１０５ 対象検出部
１０６ 対象情報記憶部
１０７ 表示位置設定部
１１０、２１０ デバイス制御部
１１１、２１１ 通信部
１１３、２１３ 表示コントローラ
１１５、２１５ メモリ
１１７、２１７ 電源
１２０Ｌ、１２０Ｒ、２２０ 透明表示部
１３０Ｌ、１３０Ｒ、２３０Ｌ、２３０Ｒ カメラ
１３１Ｌ、１３２Ｌ 左側画像
１３１Ｒ、１３２Ｒ 右側画像
１５０、２５０ ドライバ
１５１Ｌ、１５１Ｒ、２５１ 第１ドライバ
１５２Ｌ、１５２Ｒ、２５２ 第２ドライバ

Claims (10)

  1. フレームと、
    前記フレームの両側端に配置された一対のカメラと、
    前記フレームに嵌め込まれた透明ディスプレイと、
    前記一対のカメラによって撮影された画像データから抽出される特徴に基づいて対象を検出し、前記フレームを装着したユーザの目と前記対象とを結ぶ直線が前記透明ディスプレイを通過する位置を表示位置に設定する表示位置設定装置と、
    前記表示位置設定装置によって設定された前記表示位置に点状光を表示させるように前記透明ディスプレイを制御するコントローラと、を備え、
    前記表示位置設定装置は、
    前記透明ディスプレイに表示されたキャリブレーションに用いる点状光に重なって見えるように前記透明ディスプレイの向こう側に配置された指示体の位置に基づいて前記表示位置を補正する情報表示システム。
  2. 前記コントローラが、
    キャリブレーションに用いる前記点状光を前記透明ディスプレイに表示させ、
    前記透明ディスプレイに表示された前記点状光を見ているユーザの目と、前記点状光とを結ぶ直線上に位置する前記指示体を前記一対のカメラに撮影させ、
    前記一対のカメラに撮影された二つの前記画像データを取得し、
    取得した二つの前記画像データと、前記透明ディスプレイにおける前記点状光の位置とを関連付けた校正情報を生成し、
    前記表示位置設定装置が、
    前記コントローラによって生成された前記校正情報を取得し、
    前記校正情報に含まれる二つの前記画像データのそれぞれから前記指示体の位置を抽出し、
    二つの前記画像データのそれぞれから抽出された前記指示体の位置と、前記透明ディスプレイにおける前記点状光の位置とを関連付けた補正情報を生成し、
    生成した前記補正情報を記憶する請求項１に記載の情報表示システム。
  3. 前記表示位置設定装置が、
    前記一対のカメラに撮影された二つの前記画像データを取得し、
    取得した二つの前記画像データのそれぞれから前記対象を検出し、
    前記補正情報を用いて、二つの前記画像データのそれぞれから検出された前記対象の位置を前記透明ディスプレイにおける位置に補正し、
    補正後の前記透明ディスプレイにおける位置を前記表示位置に設定し、
    前記コントローラが、
    前記表示位置設定装置によって設定された前記表示位置に前記点状光が表示されるように前記透明ディスプレイを制御する請求項２に記載の情報表示システム。
  4. 前記フレームは、
    ユーザの一方の眼前に配置され、前記透明ディスプレイが嵌め込まれる第１リムと、
    ユーザの他方の眼前に配置される第２リムと、を有し、
    前記表示位置設定装置は、
    前記一対のカメラによって撮影された二つの前記画像データに基づいて、前記一方の目と前記対象とを結ぶ直線が前記透明ディスプレイを通過する位置を前記表示位置に設定する請求項１乃至３のいずれか一項に記載の情報表示システム。
  5. 前記透明ディスプレイは、
    第１透明ディスプレイと第２透明ディスプレイとを含み、
    前記フレームは、
    ユーザの一方の眼前に配置され、前記第１透明ディスプレイが嵌め込まれる第１リムと、
    ユーザの他方の眼前に配置され、前記第２透明ディスプレイが嵌め込まれる第２リムと、を有し、
    前記表示位置設定装置は、
    前記一対のカメラによって撮影された二つの前記画像データに基づいて、前記一方の目と前記対象とを結ぶ直線が前記第１透明ディスプレイを通過する位置を第１表示位置に設定し、前記他方の目と前記対象とを結ぶ直線が前記第２透明ディスプレイを通過する位置を第２表示位置に設定し、
    前記コントローラは、
    前記表示位置設定装置によって設定された前記第１表示位置に前記点状光を表示させるように前記第１透明ディスプレイを制御する第１コントローラと、
    前記表示位置設定装置によって設定された前記第２表示位置に前記点状光を表示させるように前記第２透明ディスプレイを制御する第２コントローラと、を有する請求項１乃至３のいずれか一項に記載の情報表示システム。
  6. 前記表示位置設定装置は、
    前記一対のカメラによって撮影された前記画像データから検出される前記対象の種別に基づいて前記表示位置に表示される前記点状光の色を設定し、
    前記コントローラは、
    前記表示位置設定装置によって設定された色の前記点状光を前記表示位置に表示させるように前記透明ディスプレイを制御する請求項１乃至５のいずれか一項に記載の情報表示システム。
  7. 前記透明ディスプレイには、
    通知光を表示させる通知領域が設定され、
    前記表示位置設定装置は、
    前記一対のカメラによって撮影された前記画像データから抽出される特徴に基づいて、前記通知領域に前記通知光を表示させる指示を前記コントローラに出力し、
    前記コントローラは、
    前記表示位置設定装置からの指示に応じて前記通知領域に前記通知光を表示させるように前記透明ディスプレイを制御する請求項１乃至５のいずれか一項に記載の情報表示システム。
  8. 前記表示位置設定装置は、
    無線通信によって前記コントローラと接続される請求項１乃至７のいずれか一項に記載の情報表示システム。
  9. 前記透明ディスプレイは、
    透明有機エレクトロルミネッセンスディスプレイおよび透明マイクロ発光ダイオードディスプレイのいずれかである請求項１乃至８のいずれか一項に記載の情報表示システム。
  10. フレームと、
    前記フレームの両側端に配置された一対のカメラと、
    前記フレームに嵌め込まれた透明ディスプレイと、
    前記一対のカメラによって撮影された画像データに基づいて、前記フレームを装着したユーザの目と検出対象とを結ぶ直線が前記透明ディスプレイを通過する位置に点状光を表示させるように前記透明ディスプレイを制御するコントローラと、を備え、
    前記コントローラは、
    前記透明ディスプレイに表示されたキャリブレーションに用いる点状光に重なって見えるように前記透明ディスプレイの向こう側に配置された指示体の位置に基づいて補正された表示位置に前記点状光を表示させるウェアラブルデバイス。
JP2019049401A 2019-03-18 2019-03-18 情報表示システムおよびウェアラブルデバイス Active JP6943913B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019049401A JP6943913B2 (ja) 2019-03-18 2019-03-18 情報表示システムおよびウェアラブルデバイス
US17/419,070 US11557233B2 (en) 2019-03-18 2020-02-19 Information display system and wearable device
PCT/JP2020/006567 WO2020189162A1 (ja) 2019-03-18 2020-02-19 情報表示システムおよびウェアラブルデバイス

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019049401A JP6943913B2 (ja) 2019-03-18 2019-03-18 情報表示システムおよびウェアラブルデバイス

Publications (2)

Publication Number Publication Date
JP2020154009A JP2020154009A (ja) 2020-09-24
JP6943913B2 true JP6943913B2 (ja) 2021-10-06

Family

ID=72520251

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019049401A Active JP6943913B2 (ja) 2019-03-18 2019-03-18 情報表示システムおよびウェアラブルデバイス

Country Status (3)

Country Link
US (1) US11557233B2 (ja)
JP (1) JP6943913B2 (ja)
WO (1) WO2020189162A1 (ja)

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5334145B1 (ja) 2012-06-29 2013-11-06 トーヨーカネツソリューションズ株式会社 物品のピッキング作業の支援システム
JP5887026B2 (ja) * 2012-09-03 2016-03-16 ゼンソモトリック インストゥルメンツ ゲゼルシャフト ヒューア イノベイティブ ゼンソリック エムベーハーＳＥＮＳＯＭＯＴＯＲＩＣ ＩＮＳＴＲＵＭＥＮＴＳ Ｇｅｓｅｌｌｓｃｈａｆｔ ｆｕｒ ｉｎｎｏｖａｔｉｖｅ Ｓｅｎｓｏｒｉｋ ｍｂＨ ヘッドマウントシステム及びヘッドマウントシステムを用いてディジタル画像のストリームを計算しレンダリングする方法
JP2015048171A (ja) * 2013-08-30 2015-03-16 学校法人立命館 ピッキングシステム
US9405122B2 (en) 2014-01-29 2016-08-02 Ricoh Co., Ltd Depth-disparity calibration of a binocular optical augmented reality system
US10070120B2 (en) * 2014-09-17 2018-09-04 Qualcomm Incorporated Optical see-through display calibration
JP2016224086A (ja) * 2015-05-27 2016-12-28 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
US9898868B2 (en) 2014-11-06 2018-02-20 Seiko Epson Corporation Display device, method of controlling the same, and program
EP3048025A1 (en) * 2015-01-20 2016-07-27 Harman Becker Automotive Systems GmbH Driver information system for two-wheelers
JP6677239B2 (ja) * 2015-03-05 2020-04-08 ソニー株式会社 情報処理装置、制御方法、およびプログラム
JP6549871B2 (ja) * 2015-03-30 2019-07-24 オークラ輸送機株式会社 ピッキングシステム及びピッキング支援方法
US10306217B2 (en) * 2015-04-17 2019-05-28 Seiko Epson Corporation Display device, control method for display device, and computer program
US10192361B2 (en) * 2015-07-06 2019-01-29 Seiko Epson Corporation Head-mounted display device and computer program
JP2017048024A (ja) 2015-09-03 2017-03-09 株式会社東芝 メガネ型ウエアラブル端末およびこの端末を用いるピッキング方法
JP2017215928A (ja) * 2016-05-31 2017-12-07 フォーブ インコーポレーテッド 視線検出システム
JP2018004950A (ja) * 2016-07-01 2018-01-11 フォーブ インコーポレーテッド 映像表示システム、映像表示方法、映像表示プログラム
JP6485819B2 (ja) * 2016-07-27 2019-03-20 フォーブ インコーポレーテッド 視線検出システム、ずれ検出方法、ずれ検出プログラム
CA3084546C (en) * 2017-12-03 2023-01-31 Frank Jones Enhancing the performance of near-to-eye vision systems
WO2019130900A1 (ja) * 2017-12-26 2019-07-04 ソニー株式会社 情報処理装置、情報処理方法、および、プログラム
JP6590050B2 (ja) 2018-08-16 2019-10-16 セイコーエプソン株式会社 表示装置、表示システム、表示装置の制御方法、及び、プログラム

Also Published As

Publication number Publication date
JP2020154009A (ja) 2020-09-24
WO2020189162A1 (ja) 2020-09-24
US11557233B2 (en) 2023-01-17
US20220068173A1 (en) 2022-03-03

Similar Documents

Publication Publication Date Title
US11765331B2 (en) Immersive display and method of operating immersive display for real-world object alert
EP3469458B1 (en) Six dof mixed reality input by fusing inertial handheld controller with hand tracking
US20180106999A1 (en) Gaze detection system, gaze point detection method, and gaze point detection program
US9977241B2 (en) Head-mounted display device, control method for head-mounted display device, and computer program
US10656731B2 (en) Peripheral device for head-mounted display
US10102627B2 (en) Head-mounted display device, method of controlling a head-mounted display device, an information transmitting and receiving system, and a non-transitory computer readable medium for augmenting visually recognized outside scenery
US10663729B2 (en) Peripheral device for head-mounted display
US10474226B2 (en) Head-mounted display device, computer program, and control method for head-mounted display device
JP7003633B2 (ja) 透過型表示装置、表示制御方法、およびコンピュータープログラム
CN104076513A (zh) 头戴式显示装置、头戴式显示装置的控制方法、以及显示系统
CN109960039B (zh) 显示系统、电子设备以及显示方法
US20190285896A1 (en) Transmission-type head mounted display apparatus, method of controlling transmission-type head mounted display apparatus, and computer program for controlling transmission-type head mounted display apparatus
CN112451962B (zh) 一种手柄控制追踪器
WO2018016928A1 (ko) 가상 현실 구현 시스템 및 그의 가상 현실 구현 방법
JP6943913B2 (ja) 情報表示システムおよびウェアラブルデバイス
US20200264437A1 (en) Display system, control program for information processor, and control method for information processor
US11131855B2 (en) Display system and method for controlling display system
US20210365104A1 (en) Virtual object operating method and virtual object operating system
JP2018156391A (ja) 情報表示システム
JP2021107607A (ja) スマートヘルメット用ディスプレイの移動較正
JP2021047227A (ja) 表示装置、表示装置の制御プログラム、表示装置の制御方法、及び表示システム
JP2021043300A (ja) 表示システム、情報処理装置の制御プログラム、情報処理装置の制御方法、及び表示装置
KR102377988B1 (ko) 로봇과의 협업 보조 방법 및 장치
JP5332127B2 (ja) 頭部装着型表示装置
KR101820379B1 (ko) 입체형 더블 마커 기반의 증강 현실 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190318

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200218

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200730

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200730

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200812

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200818

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20200904

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20200908

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210209

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210406

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20210427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210607

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20210713

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20210817

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20210817

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210909

R150 Certificate of patent or registration of utility model

Ref document number: 6943913

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150