JP6476781B2 - 情報処理装置、情報処理装置を制御する方法、コンピュータープログラム - Google Patents

情報処理装置、情報処理装置を制御する方法、コンピュータープログラム Download PDF

Info

Publication number
JP6476781B2
JP6476781B2 JP2014232748A JP2014232748A JP6476781B2 JP 6476781 B2 JP6476781 B2 JP 6476781B2 JP 2014232748 A JP2014232748 A JP 2014232748A JP 2014232748 A JP2014232748 A JP 2014232748A JP 6476781 B2 JP6476781 B2 JP 6476781B2
Authority
JP
Japan
Prior art keywords
input
function
program
output device
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014232748A
Other languages
English (en)
Other versions
JP2016095778A5 (ja
JP2016095778A (ja
Inventor
勇一 毛利
勇一 毛利
総志 木村
総志 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2014232748A priority Critical patent/JP6476781B2/ja
Priority to EP15860908.1A priority patent/EP3223150A1/en
Priority to PCT/JP2015/005617 priority patent/WO2016079950A1/ja
Priority to CN201580059689.8A priority patent/CN107077363B/zh
Priority to US15/526,090 priority patent/US10198367B2/en
Publication of JP2016095778A publication Critical patent/JP2016095778A/ja
Publication of JP2016095778A5 publication Critical patent/JP2016095778A5/ja
Application granted granted Critical
Publication of JP6476781B2 publication Critical patent/JP6476781B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/10Program control for peripheral devices
    • G06F13/102Program control for peripheral devices where the programme performs an interfacing function, e.g. device driver
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659Command handling arrangements, e.g. command buffers, queues, command scheduling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/4401Bootstrapping
    • G06F9/4411Configuring for operating with peripheral devices; Loading of device drivers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/445Program loading or initiating
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006Details of the interface to the display terminal
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2213/00Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F2213/0042Universal serial bus [USB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Stored Programmes (AREA)

Description

本発明は、情報処理装置に関する。
頭部に装着する表示装置である頭部装着型表示装置(ヘッドマウントディスプレイ(Head Mounted Display、HMD))が知られている。HMDは、例えば、液晶ディスプレイと光源とを利用して画像を表す画像光を生成し、生成された画像光を投写光学系や導光板等を利用して使用者の眼に導くことにより、使用者に虚像を認識させる。特許文献1には、HMDに予め記憶されている個別情報に応じた態様で、画像光を生成する技術が記載されている。
特開2012−163637号公報 特開2003−61163号公報
上述したHMDには、例えば、オペレーティングシステムや、アプリケーションプログラムといった、任意の処理を実行するためのプログラムがインストールされている。これらのプログラムは、例えば、加速度センサー、ボタン、LCDといった、様々な種類の入出力装置を利用して、処理を実行する。従来、プログラムがどの種類の入出力装置を利用するかは、プログラムが実行する処理に必要とされる機能に応じて、予めプログラムの開発者によって定められ、プログラム内に記憶されていた。すなわち、従来では、プログラムの作成時において、プログラムの開発者は、使用する入出力装置の種類を意識する必要があるという課題があった。このような課題は、HMDに限らず、例えばパーソナルコンピューターや、スマートフォン等の情報処理装置全般に共通する課題であった。特許文献1、2に記載の技術では、上述の課題については何ら考慮されていない。
このため、情報処理装置用のプログラム開発において、使用する入出力装置の種類を意識する必要のないプログラム開発を可能とする情報処理装置を提供することが望まれていた。そのほか、情報処理装置には、小型化、低コスト化、省資源化、製造の容易化、使い勝手の向上等が望まれている。
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
(1)本発明の一形態によれば、情報処理装置が提供される。この情報処理装置は;任意の処理を実行するプログラムによって使用される複数の入出力装置と;前記プログラムから受信した要求であって、前記プログラムが必要とする機能を指定した要求に応じて、前記複数の入出力装置の中から、前記機能に対応付けられている前記入出力装置のうちの少なくとも一部を動作させる主制御部と、を備える。この形態の情報処理装置によれば、主制御部は、プログラムから受信した機能を指定した要求に応じて、複数の入出力装置の中から、指定された機能に対応付けられている入出力装置のうちの少なくとも一部を動作させる。このため、プログラム開発者は、プログラムの作成時において使用する入出力装置の種類を意識する必要がなく、プログラム内に、使用したい「機能」を指定した要求を含めるだけでよい。この結果、情報処理装置用のプログラム開発において、使用する入出力装置の種類を意識する必要のないプログラム開発を実現させることができる。
(2)上記形態の情報処理装置において;前記主制御部は;前記複数の入出力装置を前記プログラムが必要とする機能毎にグループ化することで前記対応付けを行い;各グループから少なくとも1つの前記入出力装置を所定の基準に基づいて選択し;前記要求に応じて、当該グループ内で選択されている前記入出力装置を動作させてもよい。この形態の情報処理装置によれば、主制御部は、複数の入出力装置をプログラムが必要とする機能毎にグループ化することで、機能と入出力装置との対応付けを行う。また、主制御部は、プログラムから受信した機能を指定した要求に応じて、当該グループ内で選択されている入出力装置を動作させる。このため、主制御部は、プログラムが必要とする1つの機能に対して複数の入出力装置を割り当てることができ、割り当てられた複数の入出力装置のうちの少なくとも一部の入出力装置のみを動作させることができる。
(3)上記形態の情報処理装置では、さらに;前記情報処理装置に接続されている入出力装置の情報が記憶されている機器個別情報であって、少なくとも、前記機能の内容を表す機能名と、前記入出力装置の種類と、が対応付けて記憶されている機器個別情報を記憶する記憶部を備え;前記主制御部は、前記機器個別情報を取得し、取得した前記機器個別情報の前記機能名を用いて前記グループ化を実施してもよい。この形態の情報処理装置によれば、主制御部は、プログラムが必要とする機能の内容を表す機能名と、入出力装置の種類と、が対応付けて記憶されている機器個別情報を利用して、簡便に、機能毎の入出力装置のグループ化を実施することができる。
(4)上記形態の情報処理装置において;前記機器個別情報には、前記機能名に対応付けられて、さらに、前記機能の種類と、前記情報処理装置において前記入出力装置が配置されている位置に関する情報と、が記憶され;前記主制御部は;前記機器個別情報に記憶されている前記機能の種類と、前記入出力装置の種類との関連度と;前記入出力装置の性能と;前記情報処理装置の利用者によって予め定めされている優先度と;前記位置に関する情報と;のうちの少なくともいずれか1つを基準として前記選択を実施してもよい。この形態の情報処理装置によれば、主制御部は、機器個別情報に記憶されている機能の種類と入出力装置の種類との関連度を基準として入出力装置を選択することができるため、プログラムが必要とする機能の種類に対して、より関連性の高い入出力装置を選択することができる。また、主制御部は、入出力装置の性能を基準として入出力装置を選択することができるため、より性能の高い入出力装置を選択することができる。また、主制御部は、利用者によって予め定められている優先度を基準として入出力装置を選択することができるため、利用者の好みに合った入出力装置を選択することができる。また、主制御部は、情報処理装置において入出力装置が配置されている位置に関する情報を基準として入出力装置を選択することができるため、プログラムが必要とする機能の種類に対して、より関連性の高い入出力装置を選択することができる。
(5)上記形態の情報処理装置において;前記主制御部は;前記各グループから2つ以上の前記入出力装置を選択し;前記要求に応じて、当該グループ内で最も優先順位の高い前記入出力装置を動作させ;動作させた前記入出力装置に異常がある場合は、当該グループ内で次に優先順位の高い前記入出力装置を動作させてもよい。この形態の情報処理装置によれば、主制御部は、各グループから2つ以上の入出力装置を選択し、プログラムから受信した機能を指定した要求に応じて、当該グループ内で最も優先順位の高い入出力装置を動作させる。最初に動作させた入出力装置に異常がある場合、主制御部は、当該グループ内で次に優先順位の高い入出力装置を動作させる。このため、ある入出力装置に異常がある場合であっても、主制御部は、他の入出力装置を利用してプログラムからの要求に応じることができる。この結果、情報処理装置の可用性を向上させることができる。
(6)上記形態の情報処理装置において;前記主制御部は;前記情報処理装置の前記複数の入出力装置と共に、前記情報処理装置に接続されている他の情報処理装置が備える複数の入出力装置を、前記プログラムが必要とする機能毎にグループ化することで前記対応付けを行った後;前記選択および前記動作を実行してもよい。この形態の情報処理装置によれば、主制御部は、情報処理装置の入出力装置に加えて、情報処理装置に接続されている他の情報処理装置が備える入出力装置をも、プログラムから受信した機能を指定した要求に応じて動作させることができる。
(7)上記形態の情報処理装置において;前記主制御部は、前記グループ化の対象を、アクティブ状態である前記入出力装置に限定してもよい。この形態の情報処理装置によれば、主制御部は、グループ化の対象をアクティブ状態である入出力装置に限定するため、処理の遅延を抑制することができる。
(8)上記形態の情報処理装置において;前記機能を指定した前記要求とは、前記機能の指定を含む関数と、前記機能の指定を含む手順と、前記機能の指定を含む命令と、のうちの少なくともいずれかであってもよい。この形態の情報処理装置によれば、主制御部は、プログラム中において一般的に使用されている手段である、関数と、手順と、命令と、のうちの少なくともいずれかによる要求に応じて、入出力装置を動作させることができる。この結果、プログラム開発者における利便性を向上させることができる。
上述した本発明の各形態の有する複数の構成要素は全てが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。
例えば、本発明の一形態は、複数の入出力装置と、主制御部と、の2つの要素のうちの一部または全部の要素を備えた装置として実現可能である。すなわち、この装置は、複数の入出力装置を有していてもよく、有していなくてもよい。また、この装置は、主制御部を有していてもよく、有していなくてもよい。こうした装置は、例えば情報処理装置として実現できるが、情報処理装置以外の他の装置としても実現可能である。前述した情報処理装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。
なお、本発明は、種々の態様で実現することが可能であり、例えば、情報処理装置および情報処理装置の制御方法、情報処理装置を含む情報処理システム、頭部装着型表示装置および頭部装着型表示装置の制御方法、頭部装着型表示装置を含む画像表示システム、これらの方法、装置、システムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等の形態で実現することができる。
本発明の一実施形態における情報処理装置の概略構成を示す説明図である。 情報処理装置としてのHMD100の構成を機能的に示すブロック図である。 利用者に視認される虚像の一例を示す説明図である。 第1の機器個別情報の一例を示す説明図である。 第2の機器個別情報の一例を示す説明図である。 ブラックボックス化処理の手順を示すフローチャートである。 グループ化個別情報GIの一例を示している。 モジュールについて説明するための説明図である。 モジュール化された各機能の一例を示している。 各モジュール内で動作させる1つの入出力装置が選択された様子を示している。 変形例におけるHMDの外観の構成を示す説明図である。
A.実施形態:
A−1.情報処理装置の構成:
図1は、本発明の一実施形態における情報処理装置の概略構成を示す説明図である。本実施形態の情報処理装置100は、頭部に装着する頭部装着型表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display、HMD)とも呼ばれる。HMD100は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型のヘッドマウントディスプレイである。本実施形態のHMD100は、HMD100にインストールされているプログラムに対して、HMD100の入出力装置をブラックボックス化するための主制御部を備える。具体的には、主制御部は、HMD100にインストールされているプログラムから受信した要求であって、当該プログラムが必要とする機能を指定した要求に応じて、HMD100に接続されている複数の入出力装置の中から、要求された機能に対応付けられている入出力装置の内の少なくとも一部の入出力装置を動作させる。ここで「機能」とは、HMD100に接続されている入出力装置によって実現される役割を意味する。「機能」としては、十字キー操作機能、音量操作機能、画像表示機能、加速度取得機能、角速度取得機能等が例示される。
HMD100は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部20と、画像表示部20を制御する制御部(コントローラー)10とを備えている。なお、以降の説明において、HMD100によって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、HMD100が画像データーに基づいて生成された画像光を射出することを「画像を表示する」ともいう。
A−1−1.画像表示部の構成:
図2は、情報処理装置としてのHMD100の構成を機能的に示すブロック図である。図1に示すように、画像表示部20は、利用者の頭部に装着される装着体であり、本実施形態では眼鏡形状である。画像表示部20は、右保持部21と、右表示駆動部22と、左保持部23と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28と、カメラ61と、9軸センサー66と、記憶部62と、を備えている。以降、利用者が画像表示部20を装着した状態における、画像表示部20の各部の位置関係と機能について説明する。
図1に示すように、右光学像表示部26および左光学像表示部28は、利用者の右の眼前と、左の眼前とにそれぞれ位置するように配置されている。右光学像表示部26の一端と左光学像表示部28の一端とは、利用者の眉間に対応する位置で接続されている。図2に示すように、右光学像表示部26は、右導光板261と調光板(図示省略)とを備えている。右導光板261は、光透過性の樹脂材料等によって形成され、右表示駆動部22から出力された画像光を、所定の光路に沿って反射させつつ利用者の右眼REに導く。調光板は、薄板状の光学素子であり、画像表示部20の表側(利用者の眼の側とは反対の側)を覆うように配置されている。調光板は、導光板261を保護し、導光板261の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、利用者の眼に入る外光量を調整して虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。
左光学像表示部28は、左導光板262と調光板(図示省略)とを備えている。これらの詳細は、右光学像表示部26と同様である。なお、右光学像表示部26および左光学像表示部28を総称して単に「光学像表示部」とも呼ぶ。光学像表示部は、画像光を用いて利用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いて実現されても良いし、半透過反射膜を用いて実現されても良い。
図1に示すように、右保持部21は、右光学像表示部26の他端ERから利用者の側頭部に対応する位置にかけて延伸して設けられている。左保持部23は、左光学像表示部28の他端ELから利用者の側頭部に対応する位置にかけて、延伸して設けられている。右保持部21および左保持部23は、眼鏡のテンプル(つる)のようにして、利用者の頭部に画像表示部20を保持する。なお、右保持部21および左保持部23を総称して単に「保持部」とも呼ぶ。
図1に示すように、右表示駆動部22は、右保持部21の内側(利用者の頭部に対向する側)に配置されている。左表示駆動部24は、左保持部23の内側に配置されている。図2に示すように、右表示駆動部22は、受信部(Rx)53と、光源として機能する右バックライト(BL)制御部201および右バックライト(BL)221と、表示素子として機能する右LCD(液晶ディスプレイ、Liquid Crystal Display)制御部211および右LCD241と、右投写光学系251とを備えている。なお、右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241とを総称して「画像光生成部」とも呼ぶ。受信部53は、制御部10と画像表示部20との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部201は、入力された制御信号に基づいて右バックライト221を駆動する。右バックライト221は、例えばLED(Light Emitting Diode)やエレクトロルミネセンス(EL)等の発光体である。右LCD制御部211は、受信部53を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データーData1とに基づいて、右LCD241を駆動する。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルである。右投写光学系251は、右LCD241から射出された画像光を並行状態の光束にするコリメートレンズである。
左表示駆動部24は、受信部(Rx)54と、光源として機能する左バックライト(BL)制御部202および左バックライト(BL)222と、表示素子として機能する左LCD制御部212および左LCD242と、左投写光学系252とを備えている。これらの詳細は、右表示駆動部22と同様である。なお、右表示駆動部22および左表示駆動部24を総称して単に「表示駆動部」とも呼ぶ。
カメラ61は、利用者の右側の目尻に対応する位置に配置されている。カメラ61は、画像表示部20の表側方向、換言すれば、ヘッドマウントディスプレイ100を装着した状態における使用者の視界方向の外景(外部の景色)を撮像し、外景画像を取得する。カメラ61はいわゆる可視光カメラであり、カメラ61により取得される外景画像は、物体から放射される可視光から物体の形状を表す画像である。本実施形態におけるカメラ61は単眼カメラであるが、ステレオカメラとしてもよい。
9軸センサー66は、利用者の右側のこめかみに対応する位置に配置されている。9軸センサー66は、加速度(3軸)、角速度(3軸)、地磁気(3軸)を検出するモーションセンサーである。9軸センサー66は、画像表示部20に設けられているため、画像表示部20が頭部に装着されているときには、頭部の動きを検出する「動き検出部」として機能する。ここで、頭部の動きとは、頭部の速度・加速度・角速度・向き・向きの変化を含む。
記憶部62は、ROM、RAM、DRAM、ハードディスク等によって構成されている。記憶部62には、第2の機器個別情報63が予め記憶されている。第2の機器個別情報63には、画像表示部20に接続されている入出力装置の情報が記憶されている。ここで「接続」とは、画像表示部20の回路基板に内部的に接続されている(いわゆる内蔵の)入出力装置と、画像表示部20に対して外部的に接続されている(いわゆる外付けの)入出力装置と、の両方を含む。内蔵および外付けの入出力装置における接続方法は、有線接続と、無線接続とのどちらでもよい。第2の機器個別情報63の詳細は後述する。
図1に示すように、画像表示部20は、画像表示部20と制御部10とを接続するための接続部40を備えている。接続部40は、制御部10に接続される本体コード48と、本体コード48が分岐した右コード42および左コード44と、分岐点に設けられた連結部材46と、を含んでいる。右コード42は、右表示駆動部22に接続され、左コード44は、左表示駆動部24に接続されている。連結部材46には、イヤホンプラグ30を接続するためのジャックが設けられている。イヤホンプラグ30からは、右イヤホン32および左イヤホン34が延伸している。本体コード48における連結部材46とは反対側の端部には、コネクター(図示省略)が設けられている。このコネクターは、制御部10に設けられたコネクター(図示省略)との嵌合/嵌合解除により、制御部10と画像表示部20との接続/接続解除を実現する。画像表示部20と制御部10とは、接続部40を介して各種信号の伝送を行う。右コード42と、左コード44と、本体コード48には、例えば、金属ケーブルや光ファイバーを採用することができる。
A−1−2.制御部の構成:
図1に示すように、制御部10はHMD100を制御するための装置である。制御部10は、決定キー11と、点灯部12と、表示切替キー13と、トラックパッド14と、輝度切替キー15と、方向キー16と、メニューキー17と、電源スイッチ18と、を備えている。決定キー11は、押下操作を検出して、制御部10において操作された内容を決定するための信号を出力する。点灯部12は、例えばLEDによって実現され、HMD100の動作状態(例えば電源のON/OFF等)を発光状態によって通知する。表示切替キー13は、押下操作を検出して、例えばコンテンツ動画の表示モードを3Dと2Dとに切り替える信号を出力する。トラックパッド14は、トラックパッド14の操作面上における利用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド14としては、静電式や圧力検出式、光学式といった種々の方式を採用できる。輝度切替キー15は、押下操作を検出して、画像表示部20の輝度を増減する信号を出力する。方向キー16は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ18は、スイッチのスライド操作を検出することで、HMD100の電源投入状態を切り替える。
図2に示すように、制御部10は、入力情報取得部110と、記憶部120と、電源130と、無線通信部132と、GPSモジュール134と、CPU140と、インターフェイス180と、送信部(Tx)51および52とを備え、各部は図示しないバスにより相互に接続されている。
入力情報取得部110は、決定キー11、表示切替キー13、トラックパッド14、輝度切替キー15、方向キー16、メニューキー17、および、電源スイッチ18に対する操作入力に応じた信号を取得する。入力情報取得部110は、上記以外の種々の方法を用いた操作入力を取得することができる。例えば、フットスイッチ(利用者の足により操作するスイッチ)による操作入力を取得してもよい。例えば、視線検出部によって検出された利用者の視線や、目の動きに対応付けられたコマンドによる操作入力を取得してもよい。このコマンドは利用者によって追加可能に設定されていてもよい。例えば、利用者の視界方向の画像を撮影するカメラを用いて利用者のジェスチャーを検知し、ジェスチャーに対応付けられたコマンドによる操作入力を取得してもよい。ジェスチャー検知の際は、利用者の指先や、利用者の手に付けられた指輪や、利用者の手にする医療器具等を動き検出のための目印にすることができる。フットスイッチや視線による操作入力を取得可能とすれば、利用者が手を離すことが困難である作業においても、入力情報取得部110は、利用者からの操作入力を取得することができる。
記憶部120は、ROM、RAM、DRAM、ハードディスク等によって構成されている。記憶部120には、オペレーティングシステム(ОS)をはじめとする種々のコンピュータープログラムが格納されている。また、記憶部120には、第1の機器個別情報122が予め記憶されている。第1の機器個別情報122には、制御部10に接続されている入出力装置の情報が記憶されている。ここで「接続」とは、制御部10の回路基板に内部的に接続されている入出力装置と、制御部10に対して外部的に接続されている入出力装置と、の両方を含む。内蔵および外付けの入出力装置における接続方法は、有線接続と、無線接続とのどちらでもよい。第1の機器個別情報122の詳細は後述する。
電源130は、HMD100の各部に電力を供給する。電源130としては、例えば二次電池を用いることができる。
無線通信部132は、所定の無線通信規格に則って、外部装置との間で無線通信を行う。所定の無線通信規格とは、例えば、赤外線、Bluetooth(登録商標)に例示される近距離無線通信、IEEE802.11に例示される無線LAN等である。
GPSモジュール134は、GPS衛星からの信号を受信することにより、HMD100の使用者の現在位置を検出し、使用者の現在位置情報を表す現在位置情報を生成する。現在位置情報は、例えば緯度経度を表す座標によって実現することができる。
CPU140は、記憶部120に格納されているコンピュータープログラムを読み出して実行することにより、主制御部300、OS150、画像処理部160、音声処理部170、表示制御部190として機能する。
主制御部300は、HMD100にインストールされているプログラムに対して、HMD100の入出力装置をブラックボックス化するための処理(以降「ブラックボックス化処理」とも呼ぶ。)を実行する。ここで、HMD100にインストールされているプログラムとは、OS150の機能を実現するためのプログラムと、画像処理部160の機能を実現するためのプログラムと、音声処理部170の機能を実現するためのプログラムと、表示制御部190の機能を実現するためのプログラムと、記憶部120に格納されている上記以外の種々のアプリケーションプログラムと、を含む。
画像処理部160は、インターフェイス180や無線通信部132を介して入力されるコンテンツ(映像)に基づいて信号を生成する。例えば、コンテンツがディジタル形式の場合、画像処理部160は、クロック信号PCLKと、画像データーDataとを生成する。なお、ディジタル形式の場合、クロック信号PCLKが画像信号に同期して出力されるため、垂直同期信号VSyncおよび水平同期信号HSyncの生成と、アナログ画像信号のA/D変換とは不要である。画像処理部160は、生成されたクロック信号PCLK、垂直同期信号VSync、水平同期信号HSyncと、記憶部120内のDRAMに格納された画像データーDataとを、送信部51、52を介して、画像表示部20へ送信する。送信部51を介して送信される画像データーDataを「右眼用画像データーData1」とも呼び、送信部52を介して送信される画像データーDataを「左眼用画像データーData2」とも呼ぶ。なお、画像処理部160は、記憶部120に格納された画像データーDataに対して、解像度変換処理、輝度や彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。
表示制御部190は、右表示駆動部22および左表示駆動部24を制御する制御信号を生成する。具体的には、表示制御部190は、制御信号により、左右のLCD制御部211、212による左右のLCD241、242の駆動ON/OFFや、左右のバックライト制御部201、202による左右のバックライト221、222の駆動ON/OFFを個別に制御することにより、右表示駆動部22および左表示駆動部24のそれぞれによる画像光の生成および射出を制御する。表示制御部190は、これらの制御信号を、送信部51、52を介して画像表示部20へ送信する。
音声処理部170は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、右イヤホン32の図示しないスピーカーと、左イヤホン34の図示しないスピーカーとに対して供給する。
インターフェイス180は、所定の有線通信規格に則って、外部装置OAとの間で通信を行う。所定の有線通信規格としては、例えば、MicroUSB(Universal Serial Bus)、USB、HDMI(High Definition Multimedia Interface、HDMIは登録商標)、DVI(Digital Visual Interface)、VGA(Video Graphics Array)、コンポジット、RS−232C(Recommended Standard 232)、IEEE802.3に例示される有線LAN等である。外部機器ОAとしては、例えば、パーソナルコンピューターPCや携帯電話端末、ゲーム端末等を利用することができる。
図3は、利用者に視認される虚像の一例を示す説明図である。上述のようにして、HMD100の利用者の両眼に導かれた画像光が利用者の網膜に結像することにより、利用者は虚像VIを視認する。図の例では、虚像VIは、HMD100のOS150の待ち受け画面である。また、利用者は、右光学像表示部26および左光学像表示部28を透過して外景SCを視認する。このように、本実施形態のHMD100の利用者は、視野VRのうち虚像VIが表示された部分については、虚像VIと、虚像VIの背後の外景SCとを見ることができる。また、視野VRのうち虚像VIが表示されていない部分については、光学像表示部を透過して、外景SCを直接見ることができる。
A−2.機器個別情報:
図4は、第1の機器個別情報の一例を示す説明図である。第1の機器個別情報122には、制御部10(図2)に接続されている入出力装置の情報が予め記憶されている。第1の機器個別情報122には、機能の情報と、入出力装置の情報と、が対応付けて記憶されている。
「機能の情報」は、機能(すなわち、入出力装置によって実現される役割)についての情報である。機能の情報には、種類と、機能名と、が含まれている。「種類」は、機能の種類を表す名称、換言すれば、機能の大まかな分類を表す名称である。「機能名」は、機能の実際の内容を表す名称である。
「入出力装置の情報」は、HMD100の制御部10に接続されている入出力装置についての情報である。入出力装置の情報には、装置IDと、モジュール内装置IDと、種類と、位置と、が含まれている。「装置ID」は、入出力装置を相互に識別するために、各入出力装置に対して付与されている識別子である。「モジュール内装置ID」は、機能(機能名)と入出力装置(装置ID)との組み合わせを相互に識別するために付与されている識別子である。「種類」は、入出力装置の種類を表す名称、換言すれば、入出力装置がどのような働きをするのかを表す名称である。「位置」は、入出力装置が接続されている場所を表す記号である。本実施形態では、位置に「C」が格納されている場合、当該入出力装置は制御部10に接続されていることを意味し、位置に「H」が格納されている場合、当該入出力装置は画像表示部20に接続されていることを意味する。第1の機器個別情報122は、制御部10に接続されている入出力装置についての情報であるため、位置には全て「C」が格納されている。なお、位置のフィールドにおいて、制御部10に内蔵されている入出力装置と、制御部10に外付けされている入出力装置とを区別してもよい。この場合、例えば、制御部10に内蔵されている入出力装置の値を「CI」とし、制御部10に外付けされている入出力装置の値を「CO」とすることができる。
例えば、エントリーE10の例では、装置ID「D3」で識別され、かつ、制御部10に接続されている「GPS」は、「方位取得」機能を実現するために使用可能であることがわかる。また、「方位取得」機能を担う装置ID「D3」の「GPS」には、モジュール内装置ID「SM2」が付与されていることがわかる。エントリーE11の例では、装置ID「D6」で識別され、かつ、制御部10に接続されている「カメラ」は、「画像取得」機能を実現するために使用可能であることがわかる。また、「画像取得」機能を担う装置ID「D6」の「カメラ」には、モジュール内装置ID「CA2」が付与されることがわかる。例えば、エントリーE16、E17の例では、装置ID「D10」で識別され、かつ、制御部10に接続されている「ボタン」は、「ミュート操作」機能と、「音量操作」機能と、を実現するために使用可能であることがわかる。また、「ミュート操作」機能を担う装置ID「D10」の「ボタン」には、モジュール内装置ID「UM1」が付与されることがわかる。一方「音量操作」機能を担う装置ID「D10」の「ボタン」には、モジュール内装置ID「UV1」が付与されることがわかる。この「ボタン」のように、1つの入出力装置が、複数の機能を担うことができる場合もある。
図5は、第2の機器個別情報の一例を示す説明図である。第2の機器個別情報63には、画像表示部20(図2)に接続されている入出力装置の情報が予め記憶されている。第2の機器個別情報63には、第1の機器個別情報122と同様に、機能の情報と、入出力装置の情報と、が対応付けて記憶されている。「機能の情報」の詳細、および、「入出力装置の情報」の詳細については、第1の機器個別情報122と同様である。なお、位置のフィールドにおいて、画像表示部20に内蔵されている入出力装置と、画像表示部20に外付けされている入出力装置とを区別してもよい。この場合、例えば、画像表示部20に内蔵されている入出力装置の値を「HI」とし、画像表示部20に外付けされている入出力装置の値を「HO」とすることができる。
A−3.ブラックボックス化処理:
図6は、ブラックボックス化処理の手順を示すフローチャートである。ブラックボックス化処理は、HMD100にインストールされている種々のプログラムに対して、HMD100の入出力装置をブラックボックス化するための処理である。ブラックボックス化処理は、主制御部300により実行される。ブラックボックス化処理において、主制御部300は、HMD100にインストールされているプログラムから受信した要求であって、当該プログラムが必要とする機能を指定した要求に応じて、HMD100に接続されている複数の入出力装置の中から、要求された機能に対応付けられている入出力装置の内の少なくとも一部の入出力装置を動作させる。
ステップS100において主制御部300は、HMD100の電源が投入されたことを検出する。ステップS102において主制御部300は、記憶部120に記憶されている第1の機器個別情報122(図4)を取得する。ステップS104において主制御部300は、記憶部62に記憶されている第2の機器個別情報63(図5)を取得する。
ステップS106において主制御部300は、機能毎に入出力装置をグループ化する。具体的には、主制御部300は、ステップS102において取得した第1の機器個別情報122(図4)と、ステップS104において取得した第2の機器個別情報63(図5)とを、「機能名」を用いてグループ化し(換言すれば、同じ「機能名」を持つエントリーでグループを作成し)、グループ化の結果を、グループ化個別情報GIとして記憶部120に記憶させる。グループ化個別情報GIは「対応付け」として機能する。なお、主制御部300は、本ステップのグループ化を、主制御部300の内部だけで実施することとし、記憶部120への記憶は省略してもよい。
図7は、グループ化個別情報GIの一例を示している。図7によれば、機能毎のグループ化(図6のステップS106)によって、G1〜G9の9つのグループが作成されることがわかる。例えば、グループG1は、「角速度取得」機能を実現するための入出力装置のグループである。グループG1によれば、装置ID「D2」の「ジャイロセンサー」を用いて「角速度取得」機能を実現可能であることがわかる。同様に、装置ID「D3」の「カメラ」を用いても「角速度取得」機能を実現可能であることがわかる。また、例えば、グループG6は、「ポインティング操作」機能を実現するための入出力装置のグループである。グループG6によれば、装置ID「D7」のトラックパッドを用いて「ポインティング操作」機能を実現可能であることがわかる。同様に、装置ID「D8」のマウス、または、装置ID「D9」の十字キーを用いても、「ポインティング操作」機能を実現可能であることがわかる。なお、カメラによって角速度を得るためには、まず、複数回にわたって経時的に撮影された画像から特徴点を抽出する。その後、特徴点の変化量および変化に掛かった時間(すなわち撮影間隔)を求めることで、角速度を得ることができる。同様にして、カメラで加速度を得ることもできる。
図6のステップS108において、主制御部300は、グループ化した各機能をモジュール化する。具体的には、主制御部300は、グループ化個別情報GI(図7)内の、機能毎の各グループに対応した機能毎のモジュールを、主制御部300の内部にそれぞれ生成する。なお、ステップS108において、主制御部は、主制御部の内部に機能毎のモジュールを生成することに代えて、予め生成されているモジュールに対して入出力装置を割り当ててもよい。
図8は、モジュールについて説明するための説明図である。本実施形態における「モジュール」とは、所定の機能を実現するための1つ以上の入出力装置をまとめて部品化したソフトウェアである。また「モジュール」は、HMD100にインストールされている種々のプログラムからの機能を指定した要求に応じて、部品化された入出力装置の内の少なくとも一部の入出力装置を動作させるためのソフトウェアでもある。図8では、「角速度取得」機能を実現するための角速度取得モジュール301を例示して説明する。角速度取得モジュール301は、個別機能制御部301aと、ジャイロセンサー用ドライバー301bと、カメラ用ドライバー301cとを備えている。破線で図示するジャイロセンサー用ドライバー301bとカメラ用ドライバー301cとは、ブラックボックス化処理(図6)のステップS110において、角速度取得モジュール301にジャイロセンサーの装置IDと、カメラの装置IDと、が記憶されることによって使用可能となる。
個別機能制御部301aは、プログラムからの機能を指定した要求を受信した場合、ジャイロセンサー用ドライバー301bとカメラ用ドライバー301cとのうちのいずれか一方を用いて、ジャイロセンサーまたはカメラを動作させ、ジャイロセンサーまたはカメラによる検出値を取得する。個別機能制御部301aは、検出値に対して必要に応じて演算を加えて、得られた値を「角速度」として、要求元のプログラムへ返却する。ここで、「機能を指定した要求」とは、例えば、モジュール(すなわち機能)の指定を含む関数、モジュールの指定を含む手順(プロパティの参照等)、モジュールの指定を含む命令等、種々の態様を採用することができる。図8の例では、「getAV」という関数による要求を採用している。「getAV」の「AV」部分が、角速度取得モジュール301、換言すれば、角速度取得機能の指定である。このため、異なるモジュールの場合、例えば「getAC」のように、異なる関数となる。図8の例では、括弧内が何も指定されていないことから、引数の指定はない。しかし、例えば引数の指定によって、個別機能制御部301aによる検出値の演算内容を指定可能な構成にしてもよい。このように、図8の例によれば、HMD100にインストールされているどのプログラムからでも「getAV」という共通の形式を用いて、角速度取得モジュール301にアクセスし、角速度を取得することができる。
図9は、モジュール化された各機能の一例を示している。図9によれば、主制御部300の内部には、グループ化個別情報GI(図7)内の9つのグループに対して、それぞれ対応したモジュールが作成されることがわかる。例えば、角速度取得モジュール301は、グループG1の「角速度取得」機能に対応したモジュール(ソフトウェア)である。また、加速度取得モジュール302は、グループG2の「加速度取得」機能に対応したモジュール(ソフトウェア)である。なお、各モジュールの構成および機能は、図8の説明と同様である。
図6のステップS110において、主制御部300は、各モジュールに対して入出力装置を割り当てる。具体的には、主制御部300は、機能毎のモジュール化(図6のステップS108)によって作成された各モジュールに対して、グループ化個別情報GI(図7)に基づき、当該機能を実現可能な入出力装置の「装置ID」と「モジュール内装置ID」と、を記憶させる。ここで、主制御部300は、1つの機能を実現可能な入出力装置が複数ある場合、全ての入出力装置の装置IDおよびモジュールIDを記憶させる。各モジュールに対して装置IDおよびモジュールIDを記憶させることによって、各モジュールは、入出力装置のドライバーを介して入出力装置を使用することが可能となる(図8)。例えば、主制御部300は、角速度取得モジュール301に対して、「角速度取得」機能を実現可能な「ジャイロセンサー」の装置ID「D2」およびモジュール内装置ID「SG1」と、同じく「角速度取得」機能を実現可能な「カメラ」の装置ID「D3」およびモジュール内装置ID「SG2」と、を記憶させる。なお、所定の機能を実現可能な入出力装置が1つしかない場合、モジュール内装置IDの記憶は省略してもよい。
ステップS112において主制御部300は、各モジュール内で動作させる入出力装置を1つ選択する。主制御部300は、以下に例示するa1〜a5のいずれかの基準に従って、モジュール内で動作させる入出力装置を選択することができる。基準a1〜a5は、単独で使用されてもよく、組み合わせて使用されてもよい。また、モジュール毎に異なる基準(単独または組み合わせ)が使用されてもよい。
(a1)グループ化個別情報GIにおける、機能の情報の「種類」と、入出力装置の情報の「種類」との関連度を基準とする。関連度は、例えば文字列比較等のデーター比較を用いて求めることができる。例えば、主制御部300は、機能の情報の「種類」が「センサー」である場合、入出力装置の情報の「種類」が「XXXセンサー」である入出力装置を優先的に選択する。なお、「X」は任意の文字列である。本基準を用いれば、主制御部300は、機器個別情報(第1の機器個別情報122、第2の機器個別情報63)に記憶されている機能の種類と入出力装置の種類との関連度を基準として、モジュール内で動作させる入出力装置を選択することができる。この結果、主制御部300は、プログラムが必要とする機能の種類に対して、より関連性の高い入出力装置を選択することができる。
(a2)入出力装置の精度を基準とする。例えば、主制御部300は、入出力装置の精度がより高い方の入出力装置を優先的に選択する。ここで「精度」には、入出力装置による検出精度、動作精度、演算精度、描画精度、取得精度、再生精度等、精度に関する全ての性能を含むことができる。主制御部300は、入出力装置の「精度」を、入出力装置のデバイスドライバに問い合わせることで取得することができる。なお、本基準を採用する場合、第1の機器個別情報122と第2の機器個別情報63とに対して、入出力装置の精度を記憶しておくための「精度」フィールドを設けてもよい。本基準を用いれば、主制御部300は、入出力装置の精度を基準として入出力装置を選択することができるため、より精度の高い入出力装置を選択することができる。
(a3)入出力装置の速度を基準とする。例えば、主制御部300は、入出力装置の速度がより速い方の入出力装置を優先的に選択する。ここで「速度」には、入出力装置の起動速度、検出速度、動作速度、演算速度、描画速度、取得速度、再生速度等、速度に関する全ての性能を含むことができる。主制御部300は、入出力装置の「速度」を、入出力装置のデバイスドライバに問い合わせることで取得することができる。主制御部300は、入出力装置の「速度」を、ベンチマーク(仮の命令を発行して処理速度を計測する処理)により取得してもよい。ベンチマークは、HMD100の電源投入時、入出力装置の検出時等、任意のタイミングで実行してよい。なお、本基準を採用する場合、第1の機器個別情報122と第2の機器個別情報63とに対して、入出力装置の速度を記憶しておくための「速度」フィールドを設けてもよい。本基準を用いれば、主制御部300は、入出力装置の速度を基準として入出力装置を選択することができるため、より速度の速い入出力装置を選択することができる。
(a4)HMD100の利用者によって予め定められた優先度を基準とする。例えば、主制御部300は、機能毎に使用可能な全ての入出力装置の候補を利用者に示し、利用者による優先度の入力を受け付けてもよい。主制御部300は、過去における機能毎の入出力装置の使用頻度に基づいて、優先度の初期値を利用者に提示してもよい。本基準を用いれば、主制御部300は、利用者によって予め定められている優先度を基準として入出力装置を選択することができるため、利用者の好みに合った入出力装置を選択することができる。
(a5)HMD100において入出力装置が配置されている位置に関する情報を基準とする。例えば、主制御部300は、制御部10に配置されている方の入出力装置を優先的に選択する。また、主制御部300は、画像表示部20に配置されている方の入出力装置を優先的に選択してもよい。この結果、主制御部300は、プログラムが必要とする機能の種類に対して、より関連性の高い入出力装置を選択することができる。
なお、基準a2の入出力装置の精度と、基準a3の入出力装置の速度とを総称して「入出力装置の性能」とも呼ぶ。入出力装置の性能には、例えば、LCDやカメラを駆動する際の画素数等、精度や速度以外の他の指標が含まれてもよい。
図10は、各モジュール内で動作させる1つの入出力装置が選択された様子を示している。図10において、ハッチングを付した入出力装置は、選択された入出力装置を示し、ハッチングを付していない入出力装置は、選択されなかった入出力装置を示している。図10の例によれば、グループG1の「角速度取得」機能に対応したモジュール(角速度取得モジュール301)内においては、装置ID「D2」、モジュール内装置ID「SG1」の「ジャイロセンサー」が選択されていることがわかる。また、グループG2の「加速度取得」機能に対応したモジュール(加速度取得モジュール302)内においては、装置ID「D4」、モジュール内装置ID「SA1」の「加速度センサー」が選択されていることがわかる。
図6のステップS114において、主制御部300は、HMD100にインストールされている種々のプログラムからの要求を受け付ける。「要求」とは、図8で説明した機能を指定した要求(関数、手順、命令等)を意味する。主制御部300は、プログラムからの要求に応じて、要求により指定されたモジュールの個別機能制御部301aを動作させる。個別機能制御部301aは、ステップS112で選択されている入出力装置を動作させる。具体的には、個別機能制御部301aは、ステップS112で選択されている装置が入力装置である場合、当該入力装置からの検出値を取得し、検出値を演算し、得られた値(角速度等)を戻り値として要求元のプログラムへ返却する。また、個別機能制御部301aは、ステップS112で選択されている装置が出力装置である場合、当該出力装置を駆動(例えば、画像表示モジュール305であれば、LCDの駆動等)させる。この場合、戻り値の返却は省略してもよい。このように、個別機能制御部301aの動作や、引数、戻り値の有無は、各モジュールが制御する入出力装置の性質によって異なる。その後、主制御部300は、プログラムからの要求を引き続き待機する。
以上のように、上記実施形態のブラックボックス化処理(図6)によれば、主制御部300は、HMD100にインストールされている種々のプログラムから受信した機能を指定した要求(すなわち、関数、手順、命令等の機能を指定した要求)に応じて、複数の入出力装置の中から、指定された機能に対応付けられている入出力装置のうちの少なくとも一部の入出力装置を動作させる。具体的には、主制御部300は、複数の入出力装置をプログラムが必要とする機能毎にグループ化することで、機能と入出力装置との対応付けを行う(ステップS106)。また、主制御部300は、プログラムから受信した機能を指定した要求に応じて、当該要求において指定されている機能でグループ化されると共に、当該グループ内で選択(ステップS112)されている入出力装置を動作させる(ステップS114)。このため、主制御部300は、プログラムが必要とする1つの機能に対して複数の入出力装置を割り当てることができ、割り当てられた複数の入出力装置のうちの少なくとも一部の入出力装置のみを動作させることができる。このようにすれば、プログラム開発者は、プログラムの作成時において使用する入出力装置の種類を意識する必要がなく、プログラム内に、使用したい「機能」を指定した要求を含めるだけでよい。この結果、情報処理装置(HMD100)用のプログラム開発において、使用する入出力装置の種類を意識する必要のないプログラム開発を実現させることができる。
また、上記実施形態のブラックボックス化処理(図6)によれば、主制御部300は、HMD100にインストールされているプログラムが必要とする機能の内容を表す「機能名」と、HMD100に接続されている入出力装置の「種類」と、が対応付けて記憶されている機器個別情報(第1の機器個別情報122および第2の機器個別情報63)を利用して、簡便に、機能毎の入出力装置のグループ化を実施することができる。
さらに、上記実施形態のブラックボックス化処理(図6)によれば、主制御部300は、プログラム中において一般的に使用されている手段である、関数と、手順と、命令と、のうちの少なくともいずれかによる要求に応じて、入出力装置を動作させることができる。この結果、プログラム開発者における利便性を向上させることができる。
A−4.ブラックボックス化処理の変形:
上述したブラックボックス化処理は、以下のように変形してもよい。以下に示す変形は、単独で適用してもよいし、組み合わせて適用してもよい。
A−4−1.変形1:
変形1では、主制御部300は、2つ以上の入出力装置を選択することで、情報処理装置の可用性を向上させる。
図6のステップS112において主制御部300は、各モジュール内で動作させる入出力装置を2つ以上選択する。主制御部300は、選択された2つ以上の入出力装置に対して、1番目に優先順位の高い入出力装置はジャイロセンサー、2番目に優先順位の高い入出力装置はカメラ、のように、優先順位を付す。
ステップS114において主制御部300は、HMD100にインストールされているプログラムからの要求により指定されたモジュール内において、優先順位が最も高い入出力装置を動作させる。主制御部300は、動作させた入出力装置の挙動に異常を検知した場合、同モジュール内について、優先順位が次に高い入出力装置を動作させる。ここで、挙動に異常を検知した場合とは、例えば、入出力装置による検出値が通常あり得ない値である場合、入出力装置からの応答が所定時間ない場合、入出力装置からエラー応答を受信した場合、等がある。なお、3つ以上の入出力装置が選択されている場合は、同様の処理を繰り返えせばよい。
変形1によれば、主制御部300は、ステップS106の各グループから2つ以上の入出力装置を選択し、プログラムから受信した機能を指定した要求に応じて、最初に、当該要求において指定されている機能でグループ化されると共に、当該グループ内で最も優先順位の高い入出力装置を動作させる。最初に動作させた入出力装置に異常がある場合、主制御部300は、当該グループ内で次に優先順位の高い入出力装置を動作させる。このため、ある入出力装置に異常がある場合であっても、主制御部300は、他の入出力装置を利用してプログラムからの要求に応じることができる。この結果、情報処理装置(HMD100)の可用性を向上させることができる。
なお、変形1において、入出力装置に対する優先順位の付与は、任意のタイミングとすることができる。例えば、主制御部300は、ステップS106のグループ化の時点で、グループ化された入出力装置に対して優先順位を付与してもよい。この場合、ステップS112において主制御部300は、各モジュール内で動作させる入出力装置を選択するだけでよい。
A−4−2.変形2:
変形2では、主制御部300は、HMD100に接続されている他の情報処理装置が備える入出力装置をも、ブラックボックス化処理の対象とする。
図6のステップS100において主制御部300は、HMD100の電源が投入されたことを検出すると共に、HMD100に接続されている他の情報処理装置の検出を試みる。なお、他の情報処理装置とは、HMD、スマートフォン、パーソナルコンピューター等、任意の装置を採用可能である。HMD100と他の情報処理装置との間の接続は、無線LANや近距離無線通信等の無線接続でもよいし、有線接続でもよい。
他の情報処理装置の接続を検出した場合、ステップS104において主制御部300は、他の情報処理装置に接続されている入出力装置の情報を併せて取得する。ステップS106において主制御部は、第1の機器個別情報と、第2の機器個別情報と、他の情報処理装置に接続されている入出力装置の情報と、をグループ化する。その後のステップS108〜S114は、上記実施形態で説明した通りである。
なお、変形2において、HMD100の主制御部300が、HMD100と接続されている他の情報処理装置を検出した場合、かつ、他の情報処理装置にも主制御部300に相当する機能部(以降「他の情報処理装置の主制御部」とも呼ぶ。)が存在する場合、両装置の接続検出後に、以下のような処理を実施してもよい。
・図6のステップS100とステップS102との間において、HMD100の主制御部300は、他の情報処理装置の主制御部との間で、マスター・スレーブ関係を決定する。マスターとなった主制御部は、HMD100にインストールされているプログラム用と、他の情報処理装置にインストールされているプログラム用と、の2本のブラックボックス化処理を並行して実行する。
・HMD100の主制御部300と、他の情報処理装置の主制御部と、がそれぞれ個別に、ブラックボックス化処理を実行する。この場合、図6のステップS114において、HMD100の主制御部300は、HMD100にインストールされているプログラムからの要求を受け付け、他の情報処理装置の主制御部は、他の情報処理装置にインストールされているプログラムからの要求を受け付ける。
変形2によれば、主制御部300は、情報処理装置(HMD100)に接続されている入出力装置に加えて、情報処理装置に接続されている他の情報処理装置が備える(接続されている)入出力装置をも選択すると共に、プログラムから受信した機能を指定した要求に応じて動作させることができる。
B.変形例:
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。
・変形例1:
上記実施形態では、HMDの構成について例示した。しかし、HMDの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。
上記実施形態における、制御部と、画像表示部とに対する構成要素の割り振りは、あくまで一例であり、種々の態様を採用可能である。例えば、以下のような態様としてもよい。(i)制御部にCPUやメモリー等の処理機能を搭載、画像表示部には表示機能のみを搭載する態様、(ii)制御部と画像表示部との両方にCPUやメモリー等の処理機能を搭載する態様、(iii)制御部と画像表示部とを一体化した態様(例えば、画像表示部に制御部が含まれ眼鏡型のウェアラブルコンピューターとして機能する態様)、(iv)制御部の代わりにスマートフォンや携帯型ゲーム機を使用する態様、(v)制御部と画像表示部とを無線LANや赤外線通信やBluetooth等の無線の信号伝送路を介した接続により接続し、接続部(コード)を廃した態様。なお、この場合において、制御部または画像表示部に対する給電をワイヤレスにより実施してもよい。
例えば、上記実施形態で例示した制御部、画像表示部の構成は任意に変更することができる。具体的には、例えば、上記実施形態では、制御部が送信部を備え、画像表示部が受信部を備えるものとしたが、送信部および受信部はいずれも、双方向通信が可能な機能を備えており、送受信部として機能してもよい。また、例えば、制御部が備えるとした操作用インターフェイス(各種キーやトラックパッド等)の一部を省略してもよい。また、制御部に操作用スティック等の他の操作用インターフェイスを備えてもよい。また、制御部にはキーボードやマウス等のデバイスを接続可能な構成として、キーボードやマウスから入力を受け付けるものとしてもよい。例えば、電源として二次電池を用いることしたが、電源としては二次電池に限らず、種々の電池を使用することができる。例えば、一次電池や、燃料電池、太陽電池、熱電池等を使用してもよい。
図11は、変形例におけるHMDの外観の構成を示す説明図である。図11(A)の例の場合、画像表示部20xは、右光学像表示部26に代えて右光学像表示部26xを備え、左光学像表示部28に代えて左光学像表示部28xを備えている。右光学像表示部26xと左光学像表示部28xとは、上記実施形態の光学部材よりも小さく形成され、HMDの装着時における利用者の右眼および左眼の斜め上にそれぞれ配置されている。図11(B)の例の場合、画像表示部20yは、右光学像表示部26に代えて右光学像表示部26yを備え、左光学像表示部28に代えて左光学像表示部28yを備えている。右光学像表示部26yと左光学像表示部28yとは、上記実施形態の光学部材よりも小さく形成され、HMDの装着時における利用者の右眼および左眼の斜め下にそれぞれ配置されている。このように、光学像表示部は利用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が利用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が利用者の眼を完全に覆わない態様のHMDとして実現することもできる。
例えば、制御部が備えるとした各処理部(例えば画像処理部、表示制御部等、主制御部)は、CPUがROMやハードディスクに格納されているコンピュータープログラムをRAMに展開して実行することにより実現されるものとして記載した。しかし、これら機能部は、当該機能を実現するために設計されたASIC(Application Specific Integrated Circuit:特定用途向け集積回路)を用いて構成されてもよい。また、各処理部は、制御部ではなく画像表示部に配置されていてもよい。
例えば、HMDは、両眼タイプの透過型HMDであるものとしたが、単眼タイプのHMDとしてもよい。また、利用者がHMDを装着した状態において外景の透過が遮断される非透過型HMDとして構成してもよいし、非透過型HMDにカメラを搭載したビデオシースルーとして構成してもよい。また、例えば、画像表示部として、眼鏡のように装着する画像表示部に代えて、通常の平面型ディスプレイ装置(液晶ディスプレイ装置、プラズマディスプレイ装置、有機ELディスプレイ装置等)を採用してもよい。この場合にも、制御部と画像表示部との間の接続は、有線の信号伝送路を介した接続であってもよいし、無線の信号伝送路を介した接続であってもよい。このようにすれば、制御部を、通常の平面型ディスプレイ装置のリモコンとして利用することもできる。また、例えば、画像表示部として、眼鏡のように装着する画像表示部に代えて、例えば帽子のように装着する画像表示部といった他の形状の画像表示部を採用してもよい。また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略しても良い。また、例えば、自動車や飛行機等の車両、またはその他の交通手段に搭載されるヘッドアップディスプレイ(HUD、Head-Up Display)として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたHMDとして構成されてもよい。また、例えば、ハンドヘルドディスプレイ(Hand Held Display)として構成されてもよい。
例えば、上記実施形態では、画像光生成部は、バックライトと、バックライト制御部と、LCDと、LCD制御部とを用いて構成されるものとした。しかし、上記の態様はあくまで例示である。画像光生成部は、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えていても良い。例えば、画像光生成部は、有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)のディスプレイと、有機EL制御部とを備える構成としても良い。また、例えば、画像生成部は、LCDに代えてデジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型の頭部装着型表示装置に対して本発明を適用することも可能である。
・変形例2:
上記実施形態では、主制御部によって生成されるモジュールの構成について例示した。しかし、モジュールの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。
例えば、主制御部は、機能毎のサブモジュールを含んだ1つのモジュールを生成することとしてもよい。この場合、例えば、プログラムからの「機能の指定」は、関数の引数を用いて実現されてもよい。具体的には、プログラムは、角速度取得サブモジュールを使用する場合「get(av)」と要求し、加速度取得サブモジュールを使用する場合「get(ac)」と要求してもよい。
例えば、モジュールおよびサブモジュールは、ライブラリープログラムとして実装されてもよい。
・変形例3:
上記実施形態では、ブラックボックス化処理の一例を示した。しかし、上記実施形態において示した処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。
例えば、ステップS102およびS104において主制御部は、第1の機器個別情報と、第2の機器個別情報とを取得することとした。しかし、主制御部は、これらの情報を取得することに代えて、これらの機器個別情報を自動で生成してもよい。例えば、主制御部は、HMD対する入出力装置の接続を検出した際に、入出力装置の情報を取得することで、機器個別情報を自動で生成することができる。主制御部は、機器個別情報の生成に際して、例えば、装置のある情報(例えば型番)から装置の他の情報(例えば種類)を取得するために、外部(例えばインターネット上のサーバ)に接続してもよい。
例えば、ステップS106において主制御部は、現在HMDに接続されて、所定時間内に使用が可能であるアクティブ状態である入出力装置だけをグループ化の対象としてもよい。このようにすれば、使用可能となるまでに所定時間以上を要する入出力装置を選択した結果、処理が遅延することを抑制することができる。所定時間は任意に定めることができるが、処理遅延抑制のためには、例えば3秒以内等、短時間とされることが好ましい。
例えば、主制御部は、HMDに対する新たな入出力装置の接続を検出した際に、ステップS102〜S114の処理を再実行してもよい。このようにすれば、ブラックボックス化処理をプラグアンドプレイ方式で実行することができる。
例えば、主制御部は、利用者からの指定があった場合に、ステップS112で選択した入出力装置を、利用者の指定に応じて変更することができる。利用者の指定とは、例えば、使用したい入出力装置の近傍をノックする方式を採用してもよい。また、例えば、HMDの設定画面の中から選択させる方式を採用してもよく、使用したい入出力装置の名称を音声認識する方式を採用してもよい。
例えば、主制御部は、上記実施形態において、プログラムから受信した要求において指定された機能に対応したモジュールがない場合や、上記変形2において、選択された複数の入出力装置の全てにおいて挙動に異常を検知した場合に、HMDの利用者にその旨を知らせるための表示や通知を行ってもよい。また、この場合、要求元のプログラムは、指定した機能を使用せずに処理を進めてもよい。
・変形例4:
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
10…制御部
11…決定キー
12…点灯部
13…表示切替キー
14…トラックパッド
15…輝度切替キー
16…方向キー
17…メニューキー
18…電源スイッチ
20…画像表示部
21…右保持部
22…右表示駆動部
23…左保持部
24…左表示駆動部
26…右光学像表示部
28…左光学像表示部
30…イヤホンプラグ
32…右イヤホン
34…左イヤホン
40…接続部
42…右コード
44…左コード
46…連結部材
48…本体コード
51…送信部
52…送信部
53…受信部
54…受信部
61…カメラ
62…記憶部
63…第2の機器個別情報(機器個別情報)
66…9軸センサー
110…入力情報取得部
100…HMD(情報処理装置)
120…記憶部
122…第1の機器個別情報(機器個別情報)
130…電源
132…無線通信部
140…CPU
160…画像処理部
170…音声処理部
180…インターフェイス
190…表示制御部
201…右バックライト制御部
202…左バックライト制御部
211…右LCD制御部
212…左LCD制御部
221…右バックライト
222…左バックライト
241…右LCD
242…左LCD
251…右投写光学系
252…左投写光学系
261…右導光板
262…左導光板
300…主制御部
301…角速度取得モジュール
301a…個別機能制御部
301b…ジャイロセンサー用ドライバー
301c…カメラ用ドライバー
302…加速度取得モジュール
303…方位取得モジュール
304…画像取得モジュール
305…画像表示モジュール
306…ポインティング操作モジュール
307…十字キー操作モジュール
308…ミュート操作モジュール
309…音量操作モジュール
PCLK…クロック信号
VSync…垂直同期信号
HSync…水平同期信号
Data…画像データー
Data1…右眼用画像データー
Data2…左眼用画像データー
OA…外部機器
PC…パーソナルコンピューター
SC…外景
VI…虚像
VR…視野
RE…右眼
LE…左眼
ER…端部
EL…端部

Claims (15)

  1. コンピュータープログラムであって、
    任意の処理を実行するプログラムから、前記プログラムが必要とする機能を指定した要求を受信する機能と、
    前記要求に応じて、前記コンピュータープログラムを実行する情報処理装置が備える複数の入出力装置の中から、前記プログラムが必要とする前記機能に対応付けられている前記入出力装置のうちの少なくとも一部を動作させる機能と、
    をコンピューターに実現させるための、コンピュータープログラムであって、
    前記入出力装置のうちの少なくとも一部を動作させる機能は、
    前記複数の入出力装置を前記プログラムが必要とする機能毎にグループ化することで前記対応付けを行う機能と、
    各グループから少なくとも1つの前記入出力装置を所定の基準に基づいて選択する機能と、
    前記要求に応じて、当該グループ内で選択されている前記入出力装置を動作させる機能と、を含み、
    前記コンピュータープログラム、さらに、
    前記情報処理装置に接続されている入出力装置の情報が記憶されている機器個別情報であって、少なくとも、前記プログラムが必要とする前記機能の内容を表す機能名と、前記入出力装置の種類と、が対応付けて記憶されている機器個別情報を記憶する機能を、前記コンピューターに実現させることができ、
    前記入出力装置のうちの少なくとも一部を動作させる機能は、前記機器個別情報を取得し、取得した前記機器個別情報の前記機能名を用いて前記グループ化を実施する機能を含
    前記機器個別情報には、前記機能名に対応付けられて、さらに、前記プログラムが必要とする前記機能の種類と、前記情報処理装置において前記入出力装置が配置されている位置に関する情報と、が記憶され、
    前記少なくとも1つの前記入出力装置を選択する機能は、
    前記機器個別情報に記憶されている前記プログラムが必要とする前記機能の種類と、前記入出力装置の種類との関連度と、
    前記入出力装置の性能と、
    前記情報処理装置の利用者によって予め定めされている優先度と、
    前記位置に関する情報と、
    のうちの少なくともいずれか1つを基準として前記選択を実施する機能である、コンピュータープログラム。
  2. 請求項に記載のコンピュータープログラムであって、
    前記少なくとも1つの前記入出力装置を選択する機能は、前記各グループから2つ以上の前記入出力装置を選択する機能であり、
    前記選択されている前記入出力装置を動作させる機能は、
    前記要求に応じて、当該グループ内で最も優先順位の高い前記入出力装置を動作させ、
    動作させた前記入出力装置に異常がある場合は、当該グループ内で次に優先順位の高い前記入出力装置を動作させる機能である、コンピュータープログラム。
  3. 請求項1または2に記載のコンピュータープログラムであって、
    前記入出力装置のうちの少なくとも一部を動作させる機能は、
    前記情報処理装置の前記複数の入出力装置と共に、前記情報処理装置に接続されている他の情報処理装置が備える複数の入出力装置を、前記プログラムが必要とする機能毎にグループ化することで前記対応付けを行った後、
    前記選択および前記動作を実行する機能である、コンピュータープログラム。
  4. 請求項から請求項3のいずれか一項に記載のコンピュータープログラムであって、
    前記複数の入出力装置をグループ化することで前記対応付けを行う機能は、前記グループ化の対象を、アクティブ状態である前記入出力装置に限定する機能である、コンピュータープログラム。
  5. 請求項1から請求項4のいずれか一項に記載のコンピュータープログラムであって、
    前記プログラムが必要とする前記機能を指定した前記要求とは、前記プログラムが必要とする前記機能の指定を含む関数と、前記プログラムが必要とする前記機能の指定を含む手順と、前記プログラムが必要とする前記機能の指定を含む命令と、のうちの少なくともいずれかである、コンピュータープログラム。
  6. 情報処理装置であって、
    任意の処理を実行するプログラムによって使用される複数の入出力装置と、
    前記プログラムから受信した要求であって、前記プログラムが必要とする機能を指定した要求に応じて、前記複数の入出力装置の中から、前記機能に対応付けられている前記入出力装置のうちの少なくとも一部を動作させる主制御部と、
    を備え
    前記主制御部は、
    前記複数の入出力装置を前記プログラムが必要とする機能毎にグループ化することで前記対応付けを行
    各グループから少なくとも1つの前記入出力装置を所定の基準に基づいて選択
    前記要求に応じて、当該グループ内で選択されている前記入出力装置を動作させ
    前記情報処理装置は、さらに、
    前記情報処理装置に接続されている入出力装置の情報が記憶されている機器個別情報であって、少なくとも、前記プログラムが必要とする前記機能の内容を表す機能名と、前記入出力装置の種類と、が対応付けて記憶されている機器個別情報を記憶する記憶部を備え
    前記主制御部は、前記機器個別情報を取得し、取得した前記機器個別情報の前記機能名を用いて前記グループ化を実施
    前記機器個別情報には、前記機能名に対応付けられて、さらに、前記プログラムが必要とする前記機能の種類と、前記情報処理装置において前記入出力装置が配置されている位置に関する情報と、が記憶され、
    前記主制御部は、前記少なくとも1つの前記入出力装置を選択する際に
    前記機器個別情報に記憶されている前記プログラムが必要とする前記機能の種類と、前記入出力装置の種類との関連度と、
    前記入出力装置の性能と、
    前記情報処理装置の利用者によって予め定めされている優先度と、
    前記位置に関する情報と、
    のうちの少なくともいずれか1つを基準として前記選択を実施する
    情報処理装置。
  7. 情報処理装置を制御する方法であって、
    任意の処理を実行するプログラムから、前記プログラムが必要とする機能を指定した要求を受信する工程と、
    前記要求に応じて、前記情報処理装置が備える複数の入出力装置の中から、前記機能に対応付けられている前記入出力装置のうちの少なくとも一部を動作させる工程と、
    を備え
    前記入出力装置のうちの少なくとも一部を動作させる工程は、
    前記複数の入出力装置を前記プログラムが必要とする機能毎にグループ化することで前記対応付けを行う工程と、
    各グループから少なくとも1つの前記入出力装置を所定の基準に基づいて選択する工程と、
    前記要求に応じて、当該グループ内で選択されている前記入出力装置を動作させる工程と、を含み、
    前記情報処理装置を制御する方法は、さらに、
    前記情報処理装置に接続されている入出力装置の情報が記憶されている機器個別情報であって、少なくとも、前記プログラムが必要とする前記機能の内容を表す機能名と、前記入出力装置の種類と、が対応付けて記憶されている機器個別情報を記憶する工程を、含み
    前記入出力装置のうちの少なくとも一部を動作させる工程は、前記機器個別情報を取得し、取得した前記機器個別情報の前記機能名を用いて前記グループ化を実施する工程を含
    前記機器個別情報には、前記機能名に対応付けられて、さらに、前記プログラムが必要とする前記機能の種類と、前記情報処理装置において前記入出力装置が配置されている位置に関する情報と、が記憶され、
    前記少なくとも1つの前記入出力装置を選択する工程は、
    前記機器個別情報に記憶されている前記プログラムが必要とする前記機能の種類と、前記入出力装置の種類との関連度と、
    前記入出力装置の性能と、
    前記情報処理装置の利用者によって予め定めされている優先度と、
    前記位置に関する情報と、
    のうちの少なくともいずれか1つを基準として前記選択を実施する工程である
    方法。
  8. コンピュータープログラムであって、
    任意の処理を実行するプログラムから、前記プログラムが必要とする機能を指定した要求を受信する機能と、
    前記要求に応じて、前記コンピュータープログラムを実行する情報処理装置が備える複数の入出力装置の中から、前記プログラムが必要とする前記機能に対応付けられている前記入出力装置のうちの少なくとも一部を動作させる機能と、
    をコンピューターに実現させるための、コンピュータープログラムであって、
    前記入出力装置のうちの少なくとも一部を動作させる機能は、
    前記情報処理装置の前記複数の入出力装置と共に、前記情報処理装置に接続されている他の情報処理装置が備える複数の入出力装置を、前記プログラムが必要とする機能毎にグループ化することで前記対応付けを行う機能と、
    前記対応付けの後に、各グループから少なくとも1つの前記入出力装置を所定の基準に基づいて選択する機能と、
    前記対応付けの後に、前記要求に応じて、当該グループ内で選択されている前記入出力装置を動作させる機能と、を含むコンピュータープログラム。
  9. 請求項に記載のコンピュータープログラムであって、さらに、
    前記情報処理装置に接続されている入出力装置の情報が記憶されている機器個別情報であって、少なくとも、前記プログラムが必要とする前記機能の内容を表す機能名と、前記入出力装置の種類と、が対応付けて記憶されている機器個別情報を記憶する機能を、前記コンピューターに実現させることができ、
    前記入出力装置のうちの少なくとも一部を動作させる機能は、前記機器個別情報を取得し、取得した前記機器個別情報の前記機能名を用いて前記グループ化を実施する機能を含む、コンピュータープログラム。
  10. 請求項9に記載のコンピュータープログラムであって、
    前記機器個別情報には、前記機能名に対応付けられて、さらに、前記プログラムが必要とする前記機能の種類と、前記情報処理装置において前記入出力装置が配置されている位置に関する情報と、が記憶され、
    前記少なくとも1つの前記入出力装置を選択する機能は、
    前記機器個別情報に記憶されている前記プログラムが必要とする前記機能の種類と、前記入出力装置の種類との関連度と、
    前記入出力装置の性能と、
    前記情報処理装置の利用者によって予め定めされている優先度と、
    前記位置に関する情報と、
    のうちの少なくともいずれか1つを基準として前記選択を実施する機能である、コンピュータープログラム。
  11. 請求項から請求項10のいずれか一項に記載のコンピュータープログラムであって、
    前記少なくとも1つの前記入出力装置を選択する機能は、前記各グループから2つ以上の前記入出力装置を選択する機能であり、
    前記選択されている前記入出力装置を動作させる機能は、
    前記要求に応じて、当該グループ内で最も優先順位の高い前記入出力装置を動作させ、
    動作させた前記入出力装置に異常がある場合は、当該グループ内で次に優先順位の高い前記入出力装置を動作させる機能である、コンピュータープログラム。
  12. 請求項から請求項11のいずれか一項に記載のコンピュータープログラムであって、
    前記複数の入出力装置をグループ化することで前記対応付けを行う機能は、前記グループ化の対象を、アクティブ状態である前記入出力装置に限定する機能である、コンピュータープログラム。
  13. 請求項8から請求項12のいずれか一項に記載のコンピュータープログラムであって、
    前記プログラムが必要とする前記機能を指定した前記要求とは、前記プログラムが必要とする前記機能の指定を含む関数と、前記プログラムが必要とする前記機能の指定を含む手順と、前記プログラムが必要とする前記機能の指定を含む命令と、のうちの少なくともいずれかである、コンピュータープログラム。
  14. 情報処理装置であって、
    任意の処理を実行するプログラムによって使用される複数の入出力装置と、
    前記プログラムから受信した要求であって、前記プログラムが必要とする機能を指定した要求に応じて、前記複数の入出力装置の中から、前記機能に対応付けられている前記入出力装置のうちの少なくとも一部を動作させる主制御部と、
    を備え
    前記主制御部は、
    前記情報処理装置の前記複数の入出力装置と共に、前記情報処理装置に接続されている他の情報処理装置が備える複数の入出力装置を、前記プログラムが必要とする機能毎にグループ化することで前記対応付けを行った後
    各グループから少なくとも1つの前記入出力装置を所定の基準に基づいて選択
    前記要求に応じて、当該グループ内で選択されている前記入出力装置を動作させる
    情報処理装置。
  15. 情報処理装置を制御する方法であって、
    任意の処理を実行するプログラムから、前記プログラムが必要とする機能を指定した要求を受信する工程と、
    前記要求に応じて、前記情報処理装置が備える複数の入出力装置の中から、前記機能に対応付けられている前記入出力装置のうちの少なくとも一部を動作させる工程と、
    を備え
    前記入出力装置のうちの少なくとも一部を動作させる工程は、
    前記情報処理装置の前記複数の入出力装置と共に、前記情報処理装置に接続されている他の情報処理装置が備える複数の入出力装置を、前記プログラムが必要とする機能毎にグループ化することで前記対応付けを行う対応付け工程と、
    前記対応付け工程の後に、各グループから少なくとも1つの前記入出力装置を所定の基準に基づいて選択する工程と、
    前記対応付け工程の後に、前記要求に応じて、当該グループ内で選択されている前記入出力装置を動作させる工程と、を含む
    方法。
JP2014232748A 2014-11-17 2014-11-17 情報処理装置、情報処理装置を制御する方法、コンピュータープログラム Active JP6476781B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014232748A JP6476781B2 (ja) 2014-11-17 2014-11-17 情報処理装置、情報処理装置を制御する方法、コンピュータープログラム
EP15860908.1A EP3223150A1 (en) 2014-11-17 2015-11-11 Information processing device, method for controlling information processing device, and computer program
PCT/JP2015/005617 WO2016079950A1 (ja) 2014-11-17 2015-11-11 情報処理装置、情報処理装置を制御する方法、コンピュータープログラム
CN201580059689.8A CN107077363B (zh) 2014-11-17 2015-11-11 信息处理装置、控制信息处理装置的方法、记录介质
US15/526,090 US10198367B2 (en) 2014-11-17 2015-11-11 Information processing device and method for controlling input/output devices via designated functions

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014232748A JP6476781B2 (ja) 2014-11-17 2014-11-17 情報処理装置、情報処理装置を制御する方法、コンピュータープログラム

Publications (3)

Publication Number Publication Date
JP2016095778A JP2016095778A (ja) 2016-05-26
JP2016095778A5 JP2016095778A5 (ja) 2017-12-28
JP6476781B2 true JP6476781B2 (ja) 2019-03-06

Family

ID=56013525

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014232748A Active JP6476781B2 (ja) 2014-11-17 2014-11-17 情報処理装置、情報処理装置を制御する方法、コンピュータープログラム

Country Status (5)

Country Link
US (1) US10198367B2 (ja)
EP (1) EP3223150A1 (ja)
JP (1) JP6476781B2 (ja)
CN (1) CN107077363B (ja)
WO (1) WO2016079950A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018142857A (ja) * 2017-02-28 2018-09-13 セイコーエプソン株式会社 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP7059619B2 (ja) * 2017-12-22 2022-04-26 セイコーエプソン株式会社 処理装置、表示システム、及びプログラム
JP2019129366A (ja) * 2018-01-23 2019-08-01 セイコーエプソン株式会社 頭部装着型表示装置、音声伝送システム、及び頭部装着型表示装置の制御方法
US11240313B2 (en) * 2018-12-05 2022-02-01 International Business Machines Corporation Contextually assigning user input to personal electronic devices
CN112188181B (zh) * 2019-07-02 2023-07-04 中强光电股份有限公司 图像显示设备、立体图像处理电路及其同步信号校正方法
JP2021103282A (ja) * 2019-12-26 2021-07-15 セイコーエプソン株式会社 データ処理装置、表示システム、及び、データ処理方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11327629A (ja) * 1998-05-08 1999-11-26 Meidensha Corp データの一元管理方法
US6189033B1 (en) * 1998-07-16 2001-02-13 Hewlett-Packard Company Method and system for providing performance guarantees for a data service system of a data access network system
JP2003061163A (ja) 2001-07-31 2003-02-28 Hewlett Packard Co <Hp> 同一ユーザインターフェースが利用可能なシステム
JP4161998B2 (ja) * 2005-03-28 2008-10-08 日本電気株式会社 負荷分散振り分けシステム、イベント処理分散制御装置並びにイベント処理分散制御プログラム
US7664786B2 (en) * 2005-12-12 2010-02-16 Electronics And Telecommunications Research Institute Apparatus and method for managing application context
EP1814337A1 (en) * 2006-01-27 2007-08-01 Hewlett-Packard Development Company, L.P. Improvements in or relating to group communications
US20100331017A1 (en) * 2008-02-21 2010-12-30 Nec Corporation Method and system of efficiently using mobile terminal context
JPWO2009125586A1 (ja) * 2008-04-07 2011-07-28 パナソニック株式会社 デバイス制御方法、デバイス制御プログラムおよびデバイス選択装置
JP2009252194A (ja) * 2008-04-11 2009-10-29 Nec Electronics Corp データ処理装置、ハードウェアアクセス方法、及びハードウェアアクセスプログラム
JP4824793B2 (ja) * 2009-07-06 2011-11-30 東芝テック株式会社 ウエアラブル端末装置及びプログラム
US8310394B2 (en) * 2010-03-08 2012-11-13 Deutsche Telekom Ag Apparatus, method, manufacture, and system for sensing substitution for location-based applications
JP5919624B2 (ja) 2011-02-04 2016-05-18 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US10083639B2 (en) 2011-02-04 2018-09-25 Seiko Epson Corporation Control device for controlling image display device, head-mounted display device, image display system, control method for the image display device, and control method for the head-mounted display device
JP5348192B2 (ja) * 2011-07-11 2013-11-20 日本電気株式会社 作業支援システム、端末、方法およびプログラム
US8190749B1 (en) * 2011-07-12 2012-05-29 Google Inc. Systems and methods for accessing an interaction state between multiple devices
JP5993127B2 (ja) * 2011-10-25 2016-09-14 オリンパス株式会社 頭部装着型表示装置、情報端末、プログラム、情報記憶媒体、画像処理システム、頭部装着型表示装置の制御方法及び情報端末の制御方法
JP5266426B1 (ja) * 2013-02-27 2013-08-21 イメージニクス株式会社 情報処理端末、情報処理方法、情報処理プログラム
US9483117B2 (en) * 2013-04-08 2016-11-01 Nokia Technologies Oy Apparatus, method and computer program for controlling a near-eye display
US9256987B2 (en) * 2013-06-24 2016-02-09 Microsoft Technology Licensing, Llc Tracking head movement when wearing mobile device
KR20150034558A (ko) * 2013-09-26 2015-04-03 엘지전자 주식회사 헤드 마운트 디스플레이 및 제어 방법
US10761566B2 (en) * 2013-09-27 2020-09-01 Beijing Lenovo Software Ltd. Electronic apparatus and method for processing information
CN103744648A (zh) * 2013-11-29 2014-04-23 乐视致新电子科技(天津)有限公司 一种开启输入设备的方法及装置

Also Published As

Publication number Publication date
WO2016079950A1 (ja) 2016-05-26
US10198367B2 (en) 2019-02-05
CN107077363A (zh) 2017-08-18
EP3223150A1 (en) 2017-09-27
JP2016095778A (ja) 2016-05-26
US20170315938A1 (en) 2017-11-02
CN107077363B (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
US10635182B2 (en) Head mounted display device and control method for head mounted display device
JP6476781B2 (ja) 情報処理装置、情報処理装置を制御する方法、コンピュータープログラム
JP6337418B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
US20150168729A1 (en) Head mounted display device
WO2016063504A1 (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP6380091B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US9799144B2 (en) Head mounted display, and control method for head mounted display
US20150363974A1 (en) Information distribution system, head mounted display, method for controlling head mounted display, and computer program
JP6492673B2 (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
JP2017091433A (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
EP3170118B1 (en) Controlling the performances or accuracy of hardware resources depending on application authentication status in a head mounted device
JP2015115849A (ja) 情報処理装置および情報処理装置の制御方法
JP2014187574A (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
US20150168728A1 (en) Head mounted display device
JP6252002B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2016091348A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
US10205990B2 (en) Device for sending or receiving video, method for controlling device, and computer program
JP6287399B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2016092567A (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2016142966A (ja) 頭部装着型表示装置、情報処理装置、画像表示装置、画像表示システム、頭部装着型表示装置の表示を共有する方法、コンピュータープログラム
JP2016119544A (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180925

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190121

R150 Certificate of patent or registration of utility model

Ref document number: 6476781

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150