JP6451261B2 - 電子機器、及び、電子機器の制御方法 - Google Patents

電子機器、及び、電子機器の制御方法 Download PDF

Info

Publication number
JP6451261B2
JP6451261B2 JP2014241189A JP2014241189A JP6451261B2 JP 6451261 B2 JP6451261 B2 JP 6451261B2 JP 2014241189 A JP2014241189 A JP 2014241189A JP 2014241189 A JP2014241189 A JP 2014241189A JP 6451261 B2 JP6451261 B2 JP 6451261B2
Authority
JP
Japan
Prior art keywords
unit
application program
operating system
execution
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014241189A
Other languages
English (en)
Other versions
JP2016103162A (ja
Inventor
総志 木村
総志 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2014241189A priority Critical patent/JP6451261B2/ja
Priority to US14/941,169 priority patent/US20160155412A1/en
Publication of JP2016103162A publication Critical patent/JP2016103162A/ja
Application granted granted Critical
Publication of JP6451261B2 publication Critical patent/JP6451261B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Description

本発明は、電子機器、及び、電子機器の制御方法に関する。
従来、頭部装着型の表示装置を操作する手段が種々提案されている(例えば、特許文献1参照)。特許文献1記載の装置は、音声入力、カメラで検出する手の動作、使用者の頭部の動作などの入力に対応して動作する。
特表2014−503085公報
特許文献1に記載されたように入力に対応して実行される機能には、装置のオペレーティングシステムが実行する機能と、アプリケーションプログラムが実行する機能とがある。通常、アプリケーションプログラムはオペレーティングシステムが提供するサービスを利用するので、オペレーティングシステムが入力に対応した機能を実行する場合に、同じ入力に対応してアプリケーションプログラムが異なる機能を実行することはなかった。このため、オペレーティングシステムの仕様から外れる動作をアプリケーションプログラムが実現した例は無かった。
本発明は上記事情に鑑みてなされたものであり、表示装置を制御して、オペレーティングシステムの仕様に制限されないアプリケーションプログラムの機能を実現することを目的とする。
上記目的を達成するために、本発明は、頭部装着型の表示装置に接続され、前記表示装置の表示を制御する電子機器であって、操作を受け付ける操作部と、汎用のオペレーティングシステム、及び、前記オペレーティングシステム上で動作するアプリケーションプログラムを実行する制御部と、を備え、前記オペレーティングシステムは、前記操作部が所定の操作を受け付けた場合に実行する制御機能を有し、前記アプリケーションプログラムに関連付けて実行されて前記制御機能の実行を制限するプログラムモジュールを含むこと、を特徴とする。
本発明によれば、所定の操作を受け付けた場合にオペレーティングシステムにより実行される動作を、アプリケーションプログラムの機能により制限できる。このため、アプリケーションプログラムの機能に関して、オペレーティングシステムの仕様の制約を緩和できる。
また、本発明は、上記電子機器において、前記オペレーティングシステムが有する前記プログラムモジュールは、前記アプリケーションプログラムの機能により呼び出し可能であり、或いは、前記アプリケーションプログラムに対応して実行するよう割り当てられたこと、を特徴とする。
本発明によれば、オペレーティングシステム上で動作するアプリケーションプログラムが、オペレーティングシステムの機能を制限するプログラムモジュールを実行させることができる。このため、アプリケーションプログラムの動作に関して、オペレーティングシステムの仕様に起因する制約を緩和できる。
また、本発明は、上記電子機器において、前記表示装置を制御して画像を表示させる表示制御部を備え、前記制御部は、前記制御機能により、前記アプリケーションプログラムの実行中に前記表示制御部に前記オペレーティングシステム用の画面を表示させること、を特徴とする。
本発明によれば、所定の操作に対応してオペレーティングシステム用の画面が表示される機能を、アプリケーションプログラムが制限できる。これにより、アプリケーションプログラムの実行中に、オペレーティングシステム用の画面が表示される事態を回避でき、頭部装着型の表示装置の表示内容を、アプリケーションプログラムが制御できる。
また、本発明は、上記電子機器において、前記制御部は、前記制御機能により前記オペレーティングシステムの初期画面を表示させること、を特徴とする。
本発明によれば、所定の操作に対応してオペレーティングシステムの初期画面が表示される機能を、アプリケーションプログラムが制限できる。
また、本発明は、上記電子機器において、前記初期画面は、前記オペレーティングシステムの起動後、前記アプリケーションプログラムが実行される前に前記表示制御部により表示される画面であること、を特徴とする。
本発明によれば、所定の操作に対応して、アプリケーションプログラムの実行前に表示されるオペレーティングシステムの初期画面が表示される機能を、アプリケーションプログラムが制限できる。これにより、アプリケーションプログラムの実行中に、表示内容がアプリケーションプログラムの実行前の画面に戻らないように、アプリケーションプログラムが制御できる。
また、本発明は、上記電子機器において、前記操作部はホーム画面に対応するホーム操作子を備え、前記オペレーティングシステムは前記ホーム操作子の操作に応じて、表示する画面を前記ホーム画面に遷移させる機能を有し、前記プログラムモジュールは、前記ホーム操作子の操作がなされた場合に前記ホーム画面への遷移を制限すること、を特徴とする。
本発明によれば、オペレーティングシステムの機能によりホーム画面に遷移する動作を制限できる。
また、本発明は、上記電子機器において、前記操作部は前記制御機能用の操作領域または操作子を備えること、を特徴とする。
本発明によれば、特定の操作領域または操作子の操作に対応してオペレーティングシステムが実行する機能を、アプリケーションプログラムの機能により制限できる。
また、本発明は、上記電子機器において、前記プログラムモジュールは、前記操作部が有する前記制御機能用の操作領域または操作子ごとに、前記オペレーティングシステムが実行する前記制御機能の実行を制限するか否かを設定可能であること、を特徴とする。
本発明によれば、オペレーティングシステムが操作に対応して実行する機能を、きめ細かく制限できる。
また、本発明は、上記電子機器において、前記制御部は、前記オペレーティングシステムの実行中に前記アプリケーションプログラムが停止された後、前記操作部が所定の操作を受け付けた場合に前記制御機能を実行すること、を特徴とする。
本発明によれば、アプリケーションプログラムを停止することで、オペレーティングシステムの機能の制限を解除できる。
また、本発明は、上記電子機器において、前記操作部は複数の操作を受け付け可能に構成され、前記制御部は、前記操作部の操作に対応して複数の前記制御機能を実行可能であり、前記プログラムモジュールの実行時には複数の前記制御機能の少なくともいずれかの実行を制限すること、を特徴とする。
本発明によれば、複数の操作に対応してオペレーティングシステムが複数の機能を実行可能な構成において、一部または全部の機能を、アプリケーションプログラムの機能により制限できる。
また、本発明は、頭部装着型の表示装置に接続され、前記表示装置の表示を制御する電子機器の制御方法であって、前記電子機器の制御部により、汎用のオペレーティングシステム、及び、前記オペレーティングシステム上で動作するアプリケーションプログラムを実行し、前記オペレーティングシステムは、操作部が所定の操作を受け付けた場合に実行する所定の制御機能を有し、前記アプリケーションプログラムに関連付けて実行されるプログラムモジュールを含み、前記オペレーティングシステムにより、操作部が所定の操作を受け付けた場合に前記所定の制御機能を実行し、前記アプリケーションプログラムに関連付けられた前記プログラムモジュールが実行された場合は、前記所定の制御機能の実行を制限すること、を特徴とする。
本発明によれば、所定の操作を受け付けた場合にオペレーティングシステムにより実行される動作を、アプリケーションプログラムの機能により制限できる。このため、アプリケーションプログラムの機能に関して、オペレーティングシステムの仕様の制約を緩和できる。
頭部装着型表示装置の外観構成を示す説明図。 頭部装着型表示装置を構成する各部の機能ブロック図。 キーコードの設定例を示す図。 頭部装着型表示装置の動作を示すフローチャート。
図1は、本発明を適用した実施形態に係る頭部装着型表示装置100の外観構成を示す説明図である。
頭部装着型表示装置100は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部20(表示装置)と、画像表示部20を制御する制御装置10(電子機器)と、を備えている。制御装置10は、使用者が頭部装着型表示装置100を操作するコントローラーとしても機能する。図1には、制御装置10の正面とともに、制御装置10の側面図を合わせて示す。
画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部20は、右保持部21と、右表示駆動部22と、左保持部23と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28と、カメラ61と、マイク63とを備える。右光学像表示部26及び左光学像表示部28は、それぞれ、使用者が画像表示部20を装着した際に使用者の右及び左の眼前に位置するように配置されている。右光学像表示部26の一端と左光学像表示部28の一端とは、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置で、互いに連結されている。
右保持部21は、右光学像表示部26の他端である端部ERから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部23は、左光学像表示部28の他端である端部ELから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部21及び左保持部23は、眼鏡のテンプル(つる)のようにして、使用者の頭部に画像表示部20を保持する。
右表示駆動部22と左表示駆動部24とは、使用者が画像表示部20を装着した際の使用者の頭部に対向する側に配置されている。なお、右表示駆動部22及び左表示駆動部24を総称して単に「表示駆動部」とも呼び、右光学像表示部26及び左光学像表示部28を総称して単に「光学像表示部」とも呼ぶ。
表示駆動部22,24は、液晶ディスプレイ241,242(Liquid Crystal Display、以下「LCD241,242」と呼ぶ)、投写光学系251,252等を含む。
右光学像表示部26及び左光学像表示部28は、導光板261,262(図2)と、調光板20Aとを備える。導光板261,262は、光透過性の樹脂等によって形成され、表示駆動部22,24が出力する画像光を、使用者の眼に導く。調光板20Aは、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部20の表側を覆うように配置される。調光板20Aは、光透過性がほぼ無いもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰又は反射するもの等、種々のものを用いることができる。調光板20Aの光学特性(光透過率など)を適宜選択することにより、外部から右光学像表示部26及び左光学像表示部28に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、頭部装着型表示装置100を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板20Aを用いる場合について説明する。調光板20Aは、右導光板261及び左導光板262を保護し、右導光板261及び左導光板262の損傷や汚れの付着等を抑制する。
調光板20Aは、右光学像表示部26及び左光学像表示部28に対し着脱可能としてもよく、複数種類の調光板20Aを交換して装着可能としてもよいし、省略してもよい。
そして、頭部装着型表示装置100は、内部で処理する画像の画像光と外光とを重ねて使用者の眼に入射させ、使用者にとっては、調光板20Aを透かして外景が見え、この外景に重ねて、画像光による画像が視認される。このように、頭部装着型表示装置100は、シースルー型の表示装置として機能する。
カメラ61は、右光学像表示部26と左光学像表示部28との境目部分に配置される。使用者が画像表示部20を装着した状態で、カメラ61の位置は、水平方向においては使用者の両眼のほぼ中間であり、鉛直方向においては使用者の両眼より上である。カメラ61は、CCDやCMOS等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、単眼カメラであってもステレオカメラであってもよい。
カメラ61は、頭部装着型表示装置100の表側方向、換言すれば、頭部装着型表示装置100を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。カメラ61の画角の広さは適宜設定可能であるが、カメラ61の撮像範囲が、使用者が右光学像表示部26、左光学像表示部28を通して視認する外界を含む範囲であることが好ましい。さらに、調光板20Aを通した使用者の視界の全体を撮像できるようにカメラ61の撮像範囲が設定されているとより好ましい。
カメラ61は、制御部140(図2)の制御に従って撮像を実行し、撮像画像データを制御部140に出力する。
画像表示部20は、制御装置10に接続部40を介して接続する。接続部40は、制御装置10に接続される本体コード48、右コード42、左コード44、及び、連結部材46を備える。右コード42及び左コード44は、本体コード48が2本に分岐したコードである。右コード42は、右保持部21の延伸方向の先端部APから右保持部21の筐体内に挿入され、右表示駆動部22に接続される。同様に、左コード44は、左保持部23の延伸方向の先端部APから左保持部23の筐体内に挿入され、左表示駆動部24に接続される。
連結部材46は、本体コード48と、右コード42及び左コード44との分岐点に設けられ、イヤホンプラグ30を接続するためのジャックを有する。イヤホンプラグ30からは、右イヤホン32及び左イヤホン34が延伸する。イヤホンプラグ30の近傍にはマイク63が設けられる。イヤホンプラグ30からマイク63までは一本のコードにまとめられ、マイク63からコードが分岐して、右イヤホン32と左イヤホン34のそれぞれに繋がる。
マイク63は、例えば図1に示すように、マイク63の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声処理部187(図3)に出力する。マイク63は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。
右コード42、左コード44、及び、本体コード48は、デジタルデータを伝送可能なものであればよく、例えば金属ケーブルや光ファイバーで構成できる。また、右コード42と左コード44とを一本のコードにまとめた構成としてもよい。
画像表示部20と制御装置10とは、接続部40を介して各種信号を伝送する。本体コード48の連結部材46とは反対側の端部、及び、制御装置10には、互いに嵌合するコネクター(図示略)が設けられる。本体コード48のコネクターと制御装置10のコネクターとを嵌合し、或いは、この嵌合を外すことで、制御装置10と画像表示部20とを接離できる。
制御装置10は、頭部装着型表示装置100を制御する。制御装置10は略箱形の制御装置本体11を有し、この制御装置本体11に、制御部140(図2)を含む各部を収容する。制御装置本体11の基端部には本体コード48を接続するコネクター14が設けられる。
制御装置本体11の上面11aには、複数のキースイッチを有するキー操作部16(操作部)が設けられる。キー操作部16は、頭部装着型表示装置100の電源のオン/オフを切り替える電源ボタン301、及び、キー操作部16の一部の操作のロック/解除を切り替えるロックボタン302を有する。電源ボタン301及びロックボタン302は、制御装置10の基本的な動作に関する操作子である。
また、キー操作部16は、音量調節用の音量upキー311及び音量downキー312と、機能を割り当てることが可能な3つの機能キー331、332、333と、方向キー部320とを有する。方向キー部320は、上下左右に対応する4つの方向キー321、322、323、324及び中央に配置される決定キー325を含む。これらは、主に、後述するオペレーティングシステム(OS)150、或いは、アプリケーションプログラムの実行中に、使用者が使用する操作子である。
また、キー操作部16の基端部側にはメニューボタン341、ホームボタン342、及び「戻る」ボタン343が横並びに配置される。これらメニューボタン341、ホームボタン342、及び「戻る」ボタン343は、OS150の基本的な機能を実行させるための操作子である。
さらに、制御装置本体11の側面11bにはリセットボタン350が配置される。リセットボタン350は、頭部装着型表示装置100の動作をリセットさせるための操作子である。このリセットボタン350が操作されると、制御装置10が実行中の処理は強制的に停止され、制御装置10が初期状態に戻る。この過程で、制御装置10が制御する画像表示部20も初期化される。
キー操作部16が有する各操作子は、タクタイルスイッチや押しボタンスイッチ等のハードウェアスイッチとして構成してもよい。また、タッチ操作を検出する検出部(図示略)と操作子の位置を表示する表示部(図示略)とを組み合わせたタッチ式スイッチで構成してもよい。ここで、リセットボタン350は、誤操作を防止するためにハードウェアスイッチとすることが好ましい。例えば、側面11bに穴を設け、この穴の底部にタクタイルスイッチで構成されるリセットボタン350を配置し、側面11bの穴を通るピン等によってのみ操作可能な構成とすることができる。
また、制御装置10は点灯部12を有する。点灯部12は、LED(Light Emitting Diode)等の光源を備え、光源の点灯状態により、頭部装着型表示装置100の動作状態(例えば、電源のON/OFF)を通知する。
図2は、頭部装着型表示装置100を構成する各部の機能ブロック図である。
頭部装着型表示装置100は、コンテンツの供給元となる種々の外部機器OAを接続するインターフェイス125を備える。インターフェイス125は、例えば、USBインターフェイス、マイクロUSBインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができ、無線通信インターフェイスで構成してもよい。外部機器OAは、頭部装着型表示装置100に画像を供給する画像供給装置であり、パーソナルコンピューター(PC)、携帯電話端末、携帯型ゲーム機等が用いられる。
制御装置10は、制御部140、入力情報取得部110、記憶部120、送信部(Tx)51及び送信部(Tx)52を有する。
入力情報取得部110は、操作部111に接続される。操作部111は、制御装置10に設けられたキー操作部16の各操作子に接続され、これら各操作子の操作を検出し、検出した操作子に対応する操作信号を入力情報取得部110に出力する。入力情報取得部110は、操作部111から入力される信号に基づき、制御装置10の操作により入力される入力内容を取得する。
記憶部120は、不揮発性の記憶装置であって、種々のコンピュータープログラム、および、これらのプログラムに係るデータを記憶する。また、記憶部120は、画像表示部20に表示する静止画像や動画像のデータを記憶しても良い。
制御装置10は、一次電池や二次電池を有する電源部130を備え、制御装置10及び画像表示部20の各部に電源部130から電源を供給する。
制御部140には、3軸センサー113、音声認識部114、GPS115、及び通信部117が接続される。3軸センサー113は3軸の加速度センサーであり、制御部140は3軸センサー113の検出値を取得する。GPS115は、アンテナ(図示略)を備え、GPS(Global Positioning System)信号を受信し、制御装置10の現在位置を算出する。GPS115は、GPS信号に基づいて求めた現在位置や現在時刻を制御部140に出力する。また、GPS115はGPS信号に含まれる情報に基づいて現在時刻を取得し、制御部140が計時する時刻を修正させる機能を備えていてもよい。
通信部117は、無線LAN(WiFi(登録商標))、Miracast(登録商標)、Bluetooth(登録商標)等の規格に準じた無線データ通信を実行する。
外部機器OAが、通信部117に無線接続された場合、制御部140は、コンテンツデータを通信部117より取得して、画像表示部20に画像を表示させる。一方、外部機器OAが、インターフェイス125に有線接続された場合、制御部140は、コンテンツデータをインターフェイス125より取得して、画像表示部20に画像を表示させる。通信部117及びインターフェイス125は、外部機器OAからコンテンツデータを取得するデータ取得部DAとして機能する。
制御部140は、プログラムを実行するCPU(図示略)、CPUが実行するプログラムやデータを一時的に格納するRAM(図示略)、及び、CPUが実行する基本制御プログラムやデータを不揮発的に記憶するROM(図示略)を備える。
制御部140は、記憶部120が記憶するコンピュータープログラムを読み出して実行することで、OS150、画像処理部160、表示制御部170、撮像処理部181、画像解析部182、機能実行部183、及び、音声処理部187として機能する。
記憶部120は、オペレーティングシステム121、アプリケーションプログラム122、及びキーコードAPI123を記憶する。
オペレーティングシステム121は、制御部140のCPUが実行するプログラムの実行ファイル、及び、このプログラムで処理するデータ等を含む。オペレーティングシステム121は、例えば、実行ファイルや画面表示用のデータ等の複数のファイルを含むファイル群で構成される。制御部140のCPUは、オペレーティングシステム121を記憶部120から読み出して実行し、OS150の機能を実現する。オペレーティングシステム121は、汎用のオペレーティングシステムである。この種のオペレーティングシステムでは、例えば、Windows(登録商標)、iOS(登録商標)、Android(登録商標)、Mac OS(登録商標)、Linux(登録商標)、Unix(登録商標)、Tron(登録商標)等が挙げられる。これらの汎用のオペレーティングシステムを、頭部装着型表示装置100で使用するために一部改変したものであってもよい。
アプリケーションプログラム122は、制御部140のCPUが実行するプログラムの実行ファイル、及び、このプログラムで処理するデータ等を含む。例えば、実行ファイルや画面表示用のデータ等の複数のファイルを含むファイル群で構成される。制御部140のCPUが、アプリケーションプログラム122を記憶部120から読み出して実行することで、撮像処理部181、画像解析部182、機能実行部183、及び音声処理部187などがアプリケーションプログラムの機能を実現する。
アプリケーションプログラム122は、使用者に複数のアプリケーションプログラムとして認知される複数のプログラムモジュールを含んでもよい。例えば、それぞれのプログラムモジュールが実行する機能、及び、プログラムモジュールのユーザーインターフェイスが個別に設けられる。この場合、アプリケーションプログラム122が含むそれぞれのプログラムモジュールは、個別に実行することが可能であってもよい。
キーコードAPI123は、制御部140のCPUがアプリケーションプログラム122を実行している状態で、このアプリケーションプログラム122の機能により呼び出し可能なプログラムモジュールである。キーコードAPI123を制御部140のCPUが実行すると、キー操作部16(図1)が備える操作子に対する機能の割り当て、及び、操作子の操作のロック状態を制御できる。本実施形態では理解の便宜のため、オペレーティングシステム121及びアプリケーションプログラム122とは別の構成として図示する。制御部140がキーコードAPI123を実行すると、キーコードAPI123は、実行中のOS150の一部として動作する。言い換えれば、キーコードAPI123はOS150に含まれる。
キーコードAPI123は、アプリケーションプログラム122に関連付けられていればよい。すなわち、アプリケーションプログラム122がキーコードAPI123を実行させる方法は、アプリケーションプログラム122の機能により呼び出す方法に限定されない。例えば、OS150が、アプリケーションプログラム122に対し、キーコードAPI123を割り当てる構成としてもよい。この場合、OS150は、アプリケーションプログラム122が実行される際に、キーコードAPI123を実行可能な状態にする。或いは、OS150の制御により、アプリケーションプログラム122が実行される際に、キーコードAPI123を実行してもよい。この場合、キーコードAPI123が割り当てられるアプリケーションプログラムは、アプリケーションプログラム122に限定されず、OS150上で動作するアプリケーションプログラムのうちの一部であってもよいし、全部であってもよい。また、キーコードAPI23に対する割り当てはアプリケーションプログラムの属性を基準として設定されてもよいし、個別のアプリケーションプログラムについて、割り当てが設定されてもよい。
制御部140は、OS150の機能によりホーム画面を表示する。ホーム画面は、OS150の実行中における初期画面であり、OS150が画像処理部160及び表示制御部170を制御して表示させる。ホーム画面が表示された状態で、キー操作部16の操作により、アプリケーションプログラム122の選択、アプリケーションプログラム122の起動(実行)、及び、アプリケーションプログラム122の終了を指示できる。また、ホーム画面において、アプリケーションプログラム122やOS150に関する設定を行うことが可能である。
また、制御部140がアプリケーションプログラム122を実行すると、機能実行部183がアプリケーションプログラムの機能を実行する。機能実行部183は、画像処理部160及び表示制御部170を制御して、アプリケーションプログラム用の画面を表示させる。機能実行部183は、アプリケーションプログラムの機能により、例えばAR表示を実行する。この場合、機能実行部183は、撮像処理部181によりカメラ61を制御して撮像を実行させ、撮像画像データを画像解析部182により解析して対象物を認識し、認識した対象物の位置に合わせてコンテンツの文字や画像を表示する。機能実行部183が表示させる画面は、例えば、画像表示部20の表示可能領域の全体に、コンテンツ等のアプリケーションプログラムに関する情報を配置した画面である。この場合、コンテンツの視認性を高めることができ、使用者に、頭部装着型の表示装置に特有の没入感を感じさせることができる。また、機能実行部183が表示させる画面は、OS150の機能に関する画面(例えば、ホーム画面)を隠すように、表示可能領域の全体に表示できる。このため、アプリケーションプログラム122の実行中は、使用者にOS150の種類や存在を感じさせることなく、使用者の意識を、アプリケーションプログラム122の動作および操作に向けさせることができる。
画像処理部160は、コンテンツに含まれる画像信号を取得する。画像処理部160は、取得した画像信号から、垂直同期信号VSyncや水平同期信号HSync等の同期信号を分離する。また、画像処理部160は、分離した垂直同期信号VSyncや水平同期信号HSyncの周期に応じて、PLL(Phase Locked Loop)回路等(図示略)を利用してクロック信号PCLKを生成する。画像処理部160は、同期信号が分離されたアナログ画像信号を、A/D変換回路等(図示略)を用いてディジタル画像信号に変換する。画像処理部160は、変換後のディジタル画像信号を、対象画像の画像データ(図中、Data)として、1フレームごとに、制御部140のRAMに格納する。この画像データは、例えばRGBデータである。
なお、画像処理部160は、必要に応じて、画像データの解像度を右表示駆動部22及び左表示駆動部24に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部160は、画像データの輝度や彩度を調整する画像調整処理、3D画像データから2D画像データを作成し、或いは2D画像データから3D画像データを生成する2D/3D変換処理等を実行してもよい。
画像処理部160は、クロック信号PCLK、垂直同期信号VSync、水平同期信号HSync、RAMに格納された画像データDataのそれぞれを、送信部51、52を介して送信する。送信部51、52は、トランシーバーとして機能し、制御装置10と画像表示部20との間におけるシリアル伝送を実行する。なお、送信部51を介して送信される画像データDataを「右眼用画像データ」と呼び、送信部52を介して送信される画像データDataを「左眼用画像データ」と呼ぶ。
表示制御部170は、右表示駆動部22及び左表示駆動部24を制御する制御信号を生成し、この制御信号により、右表示駆動部22及び左表示駆動部24のそれぞれによる画像光の生成及び射出を制御する。具体的には、右LCD制御部211による右LCD241の駆動ON/OFF、右バックライト制御部201による右バックライト221の駆動ON/OFFを制御する。また、表示制御部170は、左LCD制御部212による左LCD242の駆動ON/OFF、左バックライト制御部202による左バックライト222の駆動ON/OFFを制御する。
音声処理部187は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、右イヤホン32および左イヤホン34に出力する。また、音声処理部187は、マイク63により集音される音声を取得してディジタル音声データに変換する。音声処理部187は、ディジタル音声データに対して予め設定された処理を行ってもよい。
画像表示部20は、インターフェイス25と、右表示駆動部22と、左表示駆動部24と、右光学像表示部26としての右導光板261と、左光学像表示部28としての左導光板262と、カメラ61と、振動センサー65と、9軸センサー66とを備えている。
振動センサー65は、加速度センサーを利用して構成され、例えば図1に示すように、右保持部21において右光学像表示部26の端部ERの近傍に内蔵される。振動センサー65は、使用者が端部ERを叩く操作(ノック操作)を行った場合に、この操作による振動を検出して、検出結果を制御部140に出力する。この振動センサー65の検出結果により、制御部140は、使用者によるノック操作を検出する。
9軸センサー66は、加速度(3軸)、角速度(3軸)、地磁気(3軸)を検出するモーションセンサーである。制御部140は、画像表示部20が使用者の頭部に装着されているとき、9軸センサー66の検出値に基づいて使用者の頭部の動きを検出できる。例えば、制御部140は、9軸センサー66の検出値に基づき、画像表示部20の傾きの大きさと傾きの向きを推定できる。
インターフェイス25は、右コード42と左コード44とが接続されるコネクターを備える。インターフェイス25は、送信部51から送信されるクロック信号PCLK、垂直同期信号VSync、水平同期信号HSync、画像データDataを、対応する受信部(Rx)53、54に出力する。また、インターフェイス25は、表示制御部170から送信される制御信号を、対応する受信部53、54、右バックライト制御部201又は左バックライト制御部202に出力する。
また、インターフェイス25は、カメラ61、振動センサー65及び9軸センサー66を接続するインターフェイスである。振動センサー65による振動の検出結果や、9軸センサー66による加速度(3軸)、角速度(3軸)、地磁気(3軸)の検出結果は、インターフェイス25を介して制御部140に送られる。
右表示駆動部22は、上述した右バックライト221、右LCD241、及び右投写光学系251を備える。また、右表示駆動部22は、受信部53、右バックライト(BL)221を制御する右バックライト(BL)制御部201、及び、右LCD241を駆動する右LCD制御部211を備える。
受信部53は、送信部51に対応するレシーバーとして動作し、制御装置10と画像表示部20との間におけるシリアル伝送を実行する。右バックライト制御部201は、入力された制御信号に基づいて、右バックライト221を駆動する。右LCD制御部211は、受信部53を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データDataと、に基づいて、右LCD241を駆動する。
左表示駆動部24は、右表示駆動部22と同様の構成を有する。左表示駆動部24は、上述した左バックライト222、左LCD242、及び左投写光学系252を備える。また、左表示駆動部24は、受信部54、左バックライト222を駆動する左バックライト制御部202、及び、左LCD242を駆動する左LCD制御部212を備える。
受信部54は、送信部52に対応するレシーバーとして動作し、制御装置10と画像表示部20との間におけるシリアル伝送を実行する。左バックライト制御部202は、入力された制御信号に基づいて、左バックライト222を駆動する。左LCD制御部212は、受信部54を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データDataと、に基づいて、左LCD242を駆動する。なお、右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241とを総称して、右の「画像光生成部」とも呼ぶ。同様に、左バックライト制御部202と、左LCD制御部212と、左バックライト222と、左LCD242とを総称して、左の「画像光生成部」とも呼ぶ。
このように構成される頭部装着型表示装置100において、キー操作部16が備えるキー及びボタンに割り当てられる機能は、OS150が制御する。携帯型デバイス用のおSとして知られるAndroid(登録商標) OSは、「Homeキー」の操作が行われるとホーム画面を表示するよう割り当てがなされている。この割り当ては、Android OS上で動作するアプリケーションプログラムが変更できないため、如何なるアプリケーションプログラムの実行中であっても「Homeキー」が操作されると、画面がホーム画面に切り替わる仕様である。このため、一般的なホーム画面への遷移を防止し、特定のアプリケーションプログラムの画面のみが表示される態様を実現したい場合には、このアプリケーションプログラムをホーム画面として機能させる等の工夫が必要になる。従って、アプリケーションプログラムの開発に制約を生じる。そこで、ハードウェア及びソフトウェア構成を、「Homeキー」を持たない構成にすることが考えられるが、このような構成ではアプリケーションプログラムの開発段階、或いはアプリケーションプログラムのメンテナンスに支障を来す可能性がある。
そこで、本実施形態の頭部装着型表示装置100では、OS150においてキー操作部16のキー及びボタンに割り当てられた機能の実行を、制限できる構成を具備する。具体的には、ホームボタン342(上述の「Homeキー」に相当)等の操作時にOS150が実行する機能を無効にするAPIを実装する。このAPIはアプリケーションプログラムに関連付けられ、アプリケーションプログラムの実行中に、上記のAPIを実行でき、これにより強制的にホーム画面に遷移する等の動作を制限できる。
また、このAPIはキー操作部16のキー及びボタンに割り当てられた機能の実行を制限できるので、頭部装着型表示装置100の使用者が行うべきでない機能を、管理者以外が実行できないように制限することもできる。この、いわゆるロック機能により、使用者が意図せず頭部装着型表示装置100の設定変更を行い、動作が不安定化する可能性を排除できる。
図3は、キーコードAPI123によるキーコードの設定例を示す図である。
この例では、キー操作部16が備える操作子(図中、「Button」と表記)のそれぞれについて、ロックの設定を示す。具体的には、各操作子のハードウェアによるロックの設定(図中、「ロック時の機能(HW)」と表記)、及び、ソフトウェアによるロックの設定(図中、「ロック時の機能(SW)」と表記)を含む。
ハードウェアによるロックは、ロックボタン302の操作に対応する。ロックボタン302の操作によりロック状態に切り替わったときに、各操作子がロックされるか否かが、図3に例示するように設定される。また、ソフトウェアによるロックは、キーコードAPI123の動作に対応する。アプリケーションプログラム122の機能により、制御部140のCPUがキーコードAPI123を呼び出した場合に、各操作子がロックされるか否かが、図3に例示するように設定される。
また、図3では、各操作子に割り当てられる機能も設定される(図中、「Description」と表記)。操作子の機能の割り当ては、オペレーティングシステム121により決定されてもよいし、オペレーティングシステム121が決定する割り当てをキーコードAPI123が変更または追加してもよい。
例えば、電源ボタン301(図中、「Power Button」と表記)は、3秒以下の押下操作(短押し)、3秒を超え8秒以下の長押し、及び、8秒を超える長押しの3通りの操作に対し、機能が割り当てられる。また、3通りの操作のそれぞれに対し、ハードウェアによるロックとソフトウェアによるロックとを設定できる。
また、例えば、ロックボタン302(図中、「Key Lock Button」と表記)は、8秒以下の押下操作(短押し)、及び、8秒を超える長押しの2通りの操作に対し、機能が割り当てられる。また、2通りの操作のそれぞれに対し、ハードウェアによるロックとソフトウェアによるロックとを設定できる。
このほか、図3の例では、キーコードAPI123を呼び出してソフトウェアロックをする機能を、ロックするか否かについて設定できる。
図3の例では、ハードウェアによるロックを行う場合、すなわちロックボタン302の操作でロック状態になった場合は、ほぼ全ての操作子の操作がロックされる。ロックの対象とならない操作は、ロックボタン302の操作、電源ボタン301の8秒を超える長押し操作、ホームボタン342の操作、及び、リセットボタン350の操作である。
ソフトウェアによるロックを行う場合、すなわちキーコードAPI123が呼び出されて実行された場合も、ほぼ全ての操作子の操作がロックされる。ロックの対象とならない操作は、ロックボタン302の短押し操作、電源ボタン301の8秒を超える長押し操作、ホームボタン342の操作、及び、リセットボタン350の操作である。
OS150は、ホームボタン342の操作に対応してホーム画面を表示させ、他の操作が割り当てられることはない。ホームボタン342については、操作を有効(enable)とするか無効(disable)とするかを設定できる。
制御部140のCPUがキーコードAPI123を読み込んで実行すると、図3のソフトウェアによるロックが「ロック状態」となり、ホームボタン342が無効にされ、その他の操作子の操作もロックされる。また、キーコードAPI123の実行が停止されると、ソフトウェアによるロックが解除され、ホームボタン342が有効になり、他の操作子のロックが解除される。
また、ロックボタン302が操作されるとハードウェアによるロックのロック状態と解除とが切り替えられる。図3に示す設定において、ロックボタン302が操作された場合のソフトウェアロック(「Software Lock」と表記)がロックされる設定であれば、ロックボタン302でロックした状態でキーコードAPI123のロックが無効となる。
このように、頭部装着型表示装置100では、キー操作部16が備える各操作子の操作を無効あるいはロックする設定を行うことができ、制御部140のCPUがキーコードAPI123を実行することにより、無効あるいはロック状態を実現できる。
図3に例示したキーコードAPI123によるキーコードの設定は、例えば、テーブル形式のデータとして、キーコードAPI123の内部データまたは別のファイルとして記憶される。この設定の内容は、キーコードAPI123または他のプログラムモジュールの機能によって編集可能であってもよい。すなわち、OS150が、キーコードAPI123の設定を編集するユーザーインターフェイスを有し、このユーザーインターフェイスを利用した操作により、図3に例示したButton-Descriptionやキーロック等の対応を編集できるようにしてもよい。このユーザーインターフェイスは、頭部装着型表示装置100の使用者が容易に実行できず、メンテナンス担当者や管理者が実行可能なように、隠しコマンドや管理者用のメンテナンスモードに対応して実装されてもよい。
また、頭部装着型表示装置100は、通信部117を介して、キーコードAPI123によるキーコードの設定の変更を指示するコマンド、及び、キーコードの設定内容を示す設定データを受信可能な構成であってもよい。すなわち、制御部140が実行するOS150またはアプリケーションプログラムが、コマンドと設定データに従って、キーコードAPI123によるキーコードの設定を一括して変更可能であってもよい。この構成を用いる場合、頭部装着型表示装置100と通信可能な、サーバー装置等の装置からコマンドと設定データとを送信することにより、頭部装着型表示装置100におけるキーコードAPI123によるキーコードの設定を変更できる。従って、例えば複数の頭部装着型表示装置100に対し、1または複数のサーバー装置等の装置から、コマンドと設定データとを送信することで、複数の頭部装着型表示装置100に一斉に設定をさせることができる。このため、複数の頭部装着型表示装置100におけるキーコードAPI123によるキーコードの設定を、一括して更新できる。
図4は、頭部装着型表示装置100の動作を示すフローチャートである。
電源ボタン301の操作により頭部装着型表示装置100の電源がオフからオンに切り替えられると、制御部140のCPUが起動する(ステップS11)。制御部140のCPUは、制御部140のROM(図示略)に記憶される基本制御プログラムを実行して、制御部140及び周辺回路の初期化を行う(ステップS12)。制御部140のCPUは、基本制御プログラムで指定されるオペレーティングシステム121を記憶部120から読み出して実行し、OS150の動作を開始し、OS150用の画面を画像処理部160及び表示制御部170により表示する(ステップS13)。
続いて、OS150は、OS150が制御する頭部装着型表示装置100の各部の初期化を行い(ステップS14)、OS150の機能やアプリケーションプログラムの実行が可能な状態に移行する。
ここで、制御部140は、キー操作部16の操作子の操作を検出し(ステップS15)、操作が行われるまで待機する(ステップS15;NO)。キー操作部16の操作子のいずれかが操作されると(ステップS15;YES)、操作されたキーに対応するOS150の機能を実行する(ステップS16)。
ここで、制御部140は、ステップS15で検出した操作がアプリケーションプログラム122の実行を指示する操作か否かを判定する(ステップS17)。アプリケーションプログラム122の実行を指示する操作であった場合(ステップS17;YES)、制御部140のCPUはアプリケーションプログラム122を実行する。機能実行部183は、アプリケーションプログラムの機能を実行し、アプリケーションプログラム用の画面を画像処理部160及び表示制御部170により表示させる(ステップS18)。さらに、アプリケーションプログラム122において呼び出しを行うように設定されたキーコードAPI123が、記憶部120から読み出され、実行される(ステップS19)。このステップS19では、キーコードAPI123がキー操作部16の操作に対するロックを実行する。
その後、制御部140は、OS150が備える入出力ドライバーの機能により、キー操作部16の操作子に対する操作を検出し(ステップS20)、操作があるまで待機する(ステップS20;NO)。OS150の機能で操作を検出した場合(ステップS20;YES)、制御部140はキーコードAPI123による設定状態を参照し、検出した操作がロック対象の操作であるか否かを判定する(ステップS21)。検出した操作がロック対象の操作である場合(ステップS21;YES)、制御部140はステップS20に戻る。また、検出した操作がロック対象の操作でない場合(ステップS21;NO)、制御部140は、検出した操作がアプリケーションプログラム122の実行の終了を指示する操作であるか否かを判定する(ステップS22)。アプリケーションプログラム122の実行の終了を指示する操作でない場合(ステップS22;NO)、制御部140は、操作された操作子(キー)に対応するアプリケーションプログラムの機能を、機能実行部183で実行する(ステップS23)。その後、制御部140はステップS20に戻る。
また、検出した操作がアプリケーションプログラム122の実行の終了を指示する操作である場合(ステップS22;YES)、制御部140は、アプリケーションプログラム122の実行を終了する。ここで、制御部140は、アプリケーションプログラム122が呼び出したキーコードAPI123を解放する(ステップS24)。これにより、キー操作部16の操作のソフトウェアによるロックは解除される。その後、制御部140は、ステップS15に戻る。
また、ステップS15で検出した操作がアプリケーションプログラム122の実行を指示する操作でない場合(ステップS17;NO)、制御部140は、OS150の停止を指示する操作か否かを判定する(ステップS25)。OS150の停止を指示する操作でない場合(ステップS25;NO)、制御部140は、操作された操作子に対応するOS150の機能を実行し(ステップS26)、ステップS15に戻る。また、OS150の停止を指示する操作である場合(ステップS25;YES)、制御部140は、OS150を終了し(ステップS27)、頭部装着型表示装置100をシャットダウンして、本処理を終了する。
図4のフローチャートでは、制御部140がキー操作部16の操作を待機し(ステップS15、S20)、キー操作部16の操作を検出してから処理を進めるフロー制御の例を説明した。頭部装着型表示装置100の動作はこれに限定されず、キー操作部16の操作がなされた場合に、入力情報取得部110が制御部140に割り込みを行い、制御部140が割り込み制御を行ってもよい。この場合、制御部140は、割り込み制御によりステップS16以後の処理、または、ステップS21以後の処理を実行する。
以上説明したように、本発明を適用した実施形態の頭部装着型表示装置100が備える制御装置10は、頭部装着型の画像表示部20に接続され、画像表示部20の表示を制御する装置である。制御装置10は、操作を受け付けるキー操作部16と、汎用のOS150及びOS150上で動作するアプリケーションプログラムを実行する制御部140と、を備える。OS150は、操作部が所定の操作を受け付けた場合に実行する制御機能を有し、アプリケーションプログラムに関連付けて実行されてOS150の制御機能の実行を制限するキーコードAPI123を含む。このため、所定の操作を受け付けた場合にOS150により実行される動作を、アプリケーションプログラムの機能により制限できる。このため、アプリケーションプログラムの機能に関して、OS150の仕様の制約を緩和できる。例えば、アプリケーションプログラムの実行中に、ホームボタン342が操作されても、OS150のホーム画面が表示されないよう動作させることができる。
また、キーコードAPI123は、アプリケーションプログラムの機能により呼び出し可能であるため、アプリケーションプログラムがOS150のキー割り当てに関する機能を制限できる。従って、アプリケーションプログラムの機能に関して、OS150の仕様に起因する制約を緩和できる。
また、キーコードAPI123は、アプリケーションプログラムの機能により直接呼び出す構成に限定されない。例えば、OS150において、キーコードAPI123が、アプリケーションプログラムに対応して実行できるプログラムモジュールとして割り当てられてもよい。この場合、キーコードAPI123が割り当てられるアプリケーションプログラムは、OS150上で動作するアプリケーションプログラムのうちの一部であってもよいし、全部であってもよい。また、キーコードAPI23に対する割り当てはアプリケーションプログラムの属性を基準として設定されてもよいし、個別のアプリケーションプログラムについて、割り当てが設定されてもよい。
また、制御装置10は、画像表示部20を制御して画像を表示させる表示制御部170を備える。制御部140は、制御機能により、アプリケーションプログラムの実行中に画像表示部20によってOS150用の画面を表示させる。また、制御部140は、OS150の制御機能によりOS150の初期画面であるホーム画面を表示させる。このホーム画面は、OS150の起動後、アプリケーションプログラムが実行される前に画像表示部20により表示される画面である。このようにOS150がホーム画面を表示する機能を、アプリケーションプログラムが制限できる。これにより、アプリケーションプログラムの実行中に、表示内容がアプリケーションプログラムの実行前の画面に戻らないように、アプリケーションプログラムが制御できる。
また、キー操作部16は制御機能用の操作領域または操作子を備え、この操作に対応してOS150が実行する機能を、アプリケーションプログラムの機能により制限できる。
また、制御部140は、OS150の実行中にアプリケーションプログラムが停止された後、キーコードAPI123を解放し、キー操作部16が所定の操作を受け付けた場合に制御機能を実行できる。このため、アプリケーションプログラムを停止することで、OS150の機能の制限を解除できる。
また、キー操作部16は複数の操作を受け付け可能に構成され、制御部140は、操作部の操作に対応して複数の制御機能を実行可能であり、キーコードAPI123の実行時には複数の制御機能の少なくともいずれかの実行を制限する。このため、複数の操作に対応してOS150が複数の機能を実行可能な構成において、一部または全部の機能を、アプリケーションプログラムの機能により制限できる。
なお、この発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、上記実施形態では制御装置10がハードウェア操作子を有するキー操作部16を備えた構成を例示したが、キー操作部16に代えて、或いは、キー操作部16に加えて、タッチパネルを用いた操作部を備えてもよい。この操作部は、タッチパネルへのタッチ操作を、操作として検出すればよい。また、タッチパネルに重ねて表示画面を設け、タッチ操作の位置やタッチ操作に対応する機能等を表示してもよい。
また、上記実施形態では、キーコードAPI123が呼び出され実行されることで、ホームボタン342の操作に応じてホーム画面を表示する機能を制限する例を説明したが、本発明はこれに限定されない。キーコードAPI123が制限する機能は任意であり、例えば、アプリケーションプログラム122の実行中に、アプリケーションプログラム122に関連して表示される画面の表示または視認を妨げる機能の全てを制限してもよい。或いは、アプリケーションプログラム122の動作を一時中断するなど、所定の条件が成立する場合に、キーコードAPI123による制限を解除してもよい。この場合、上記所定の条件が解除されたときに、キーコードAPI123による制限を再開してもよい。
また、例えば、画像表示部20に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。
さらに、上記実施形態では、画像表示部20と制御装置10とが分離され、接続部40を介して接続された構成を例に挙げて説明したが、制御装置10と画像表示部20とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
また、制御装置10として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置10として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。また、制御装置10が画像表示部20と分離して構成され、制御装置10と画像表示部20との間で無線通信により各種信号を送受信する構成としてもよい。
また、例えば、画像表示部20において画像光を生成する構成として、有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)のディスプレイと、有機EL制御部とを備える構成としてもよい。また、画像光を生成する構成として、LCOS(Liquid crystal on silicon, LCoSは登録商標)や、デジタル・マイクロミラー・デバイス等を用いることもできる。
また、画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。また、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び/または反射させて導く機能のみを有するものであってもよい。
例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、光射出部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。
また、本発明を、MEMSミラーを用いた走査光学系を採用し、MEMSディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、信号光形成部と、信号光形成部が射出する光を走査するMEMSミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを光射出部として備えてもよい。この構成では、信号光形成部が射出した光がMEMSミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。MEMSミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板261及び左導光板262のように、複数回の反射を経て光を導くものであってもよく、ハーフミラー面を利用してもよい。
さらに、本発明の光学素子は、ハーフミラー261A、262Aを有する右導光板261、左導光板262に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。
また、図2に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図2に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部140が実行するプログラムは、記憶部120または制御装置10内の記憶装置に記憶されてもよいし、外部の装置に記憶されたプログラムを通信部117又はインターフェイス125を介して取得して実行する構成としてもよい。
10…制御装置(電子機器)、20…画像表示部(表示装置)、21…右保持部、22…右表示駆動部、23…左保持部、24…左表示駆動部、25…インターフェイス、26…右光学像表示部、28…左光学像表示部、61…カメラ、63…マイク、100…頭部装着型表示装置、120…記憶部、121…オペレーティングシステム、122…アプリケーションプログラム、123…キーコードAPI、125…インターフェイス、140…制御部、150…オペレーティングシステム、160…画像処理部、170…表示制御部、187…音声処理部。

Claims (10)

  1. 頭部装着型の表示装置に接続され、前記表示装置の表示を制御する電子機器であって、
    操作子を備え、操作を受け付ける操作部と、
    汎用のオペレーティングシステム、及び、前記オペレーティングシステム上で動作するアプリケーションプログラムを実行する制御部と、を備え、
    前記オペレーティングシステムは、前記操作部が所定の操作を受け付けた場合に実行する制御機能を有し、前記アプリケーションプログラムに関連付けて実行されて前記制御機能の実行を制限するプログラムモジュールを含み、
    前記制御部は、前記オペレーティングシステムの実行中に、前記アプリケーションプログラムの実行が指示された場合、指示された前記アプリケーションプログラムを実行し、さらに、実行する前記アプリケーションプログラムに関連付けられた前記プログラムモジュールを実行して前記制御機能の実行を制限し、ロック状態への切り替え機能が割り当てられた前記操作子が操作された場合、前記プログラムモジュールによる前記制御機能の実行の制限をしないようロックすること、
    を特徴とする電子機器。
  2. 前記制御部は、前記アプリケーションプログラムの実行の終了が指示された場合に、指示された前記アプリケーションプログラムの実行を終了し、前記アプリケーションプログラムに関連付けて実行された前記プログラムモジュールを終了して、前記制御機能の実行の制限を解除すること、
    を特徴とする請求項1記載の電子機器。
  3. 前記表示装置を制御して画像を表示させる表示制御部を備え、
    前記制御部は、前記制御機能により、前記アプリケーションプログラムの実行中に前記表示制御部に前記オペレーティングシステム用の画面を表示させること、
    を特徴とする請求項1または2記載の電子機器。
  4. 前記制御部は、前記制御機能により前記オペレーティングシステムの初期画面を表示させること、
    を特徴とする請求項3記載の電子機器。
  5. 前記初期画面は、前記オペレーティングシステムの起動後、前記アプリケーションプログラムが実行される前に前記表示制御部により表示される画面であること、
    を特徴とする請求項4記載の電子機器。
  6. 前記操作部はホーム画面に対応するホーム操作子を備え、
    前記オペレーティングシステムは前記ホーム操作子の操作に応じて、表示する画面を前記ホーム画面に遷移させる機能を有し、
    前記プログラムモジュールは、前記ホーム操作子の操作がなされた場合に前記ホーム画面への遷移を制限すること、
    を特徴とする請求項5記載の電子機器。
  7. 前記プログラムモジュールは、前記操作部が有する前記制御機能用の操作領域または操作子ごとに、前記オペレーティングシステムが実行する前記制御機能の実行を制限するか否かを設定可能であること、
    を特徴とする請求項1から6のいずれかに記載の電子機器。
  8. 前記制御部は、前記オペレーティングシステムの実行中に前記アプリケーションプログラムが停止された後、前記操作部が所定の操作を受け付けた場合に前記制御機能を実行すること、
    を特徴とする請求項1からのいずれかに記載の電子機器。
  9. 前記操作部は複数の操作を受け付け可能に構成され、
    前記制御部は、前記操作部の操作に対応して複数の前記制御機能を実行可能であり、前記プログラムモジュールの実行時には複数の前記制御機能の少なくともいずれかの実行を制限すること、
    を特徴とする請求項1からのいずれかに記載の電子機器。
  10. 操作子を有する電子機器であって、頭部装着型の表示装置に接続され、前記表示装置の表示を制御する前記電子機器の制御方法であって、
    前記電子機器の制御部により、汎用のオペレーティングシステム、及び、前記オペレーティングシステム上で動作するアプリケーションプログラムを実行し、
    前記オペレーティングシステムは、操作部が所定の操作を受け付けた場合に実行する所定の制御機能を有し、前記アプリケーションプログラムに関連付けて実行されるプログラムモジュールを含み、
    前記オペレーティングシステムにより、操作部が所定の操作を受け付けた場合に前記所定の制御機能を実行し、
    前記オペレーティングシステムの実行中に、前記アプリケーションプログラムの実行が指示された場合、指示された前記アプリケーションプログラムを実行し、さらに、実行する前記アプリケーションプログラムに関連付けられた前記プログラムモジュールを実行して前記所定の制御機能の実行を制限し、ロック状態への切り替え機能が割り当てられた前記操作子が操作された場合、前記プログラムモジュールによる前記制御機能の実行の制限をしないようロックすること、
    を特徴とする電子機器の制御方法。
JP2014241189A 2014-11-28 2014-11-28 電子機器、及び、電子機器の制御方法 Active JP6451261B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014241189A JP6451261B2 (ja) 2014-11-28 2014-11-28 電子機器、及び、電子機器の制御方法
US14/941,169 US20160155412A1 (en) 2014-11-28 2015-11-13 Electronic apparatus and method of controlling electronic apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014241189A JP6451261B2 (ja) 2014-11-28 2014-11-28 電子機器、及び、電子機器の制御方法

Publications (2)

Publication Number Publication Date
JP2016103162A JP2016103162A (ja) 2016-06-02
JP6451261B2 true JP6451261B2 (ja) 2019-01-16

Family

ID=56089500

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014241189A Active JP6451261B2 (ja) 2014-11-28 2014-11-28 電子機器、及び、電子機器の制御方法

Country Status (1)

Country Link
JP (1) JP6451261B2 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010086387A (ja) * 2008-10-01 2010-04-15 Oki Electric Ind Co Ltd キーボード装置及びその制御方法
WO2014030263A1 (ja) * 2012-08-24 2014-02-27 トヨタ自動車株式会社 携帯端末装置、携帯端末装置の制御方法、携帯端末装置で実行されるプログラム、及び、携帯端末装置用クレードル
JP2014071756A (ja) * 2012-09-28 2014-04-21 Brother Ind Ltd 作業補助システムおよびプログラム
JP6099348B2 (ja) * 2012-10-10 2017-03-22 オリンパス株式会社 頭部装着型表示装置、ロック解除処理システム、プログラム及びロック解除の制御方法
JP2014102660A (ja) * 2012-11-19 2014-06-05 Aisin Aw Co Ltd 操作支援システム、操作支援方法及びコンピュータプログラム

Also Published As

Publication number Publication date
JP2016103162A (ja) 2016-06-02

Similar Documents

Publication Publication Date Title
US9959591B2 (en) Display apparatus, method for controlling display apparatus, and program
US9792710B2 (en) Display device, and method of controlling display device
US9411160B2 (en) Head mounted display, control method for head mounted display, and image display system
US20160133051A1 (en) Display device, method of controlling the same, and program
US20150168729A1 (en) Head mounted display device
CN105739095B (zh) 显示装置以及显示装置的控制方法
JP6492531B2 (ja) 表示装置、及び、表示装置の制御方法
US9846305B2 (en) Head mounted display, method for controlling head mounted display, and computer program
US20150168725A1 (en) Head mounted display device and method of controlling head mounted display device
JP6432197B2 (ja) 表示装置、表示装置の制御方法、および、プログラム
US9851566B2 (en) Electronic apparatus, display device, and control method for electronic apparatus
JP2018142857A (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP2016004340A (ja) 情報配信システム、頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2017102516A (ja) 表示装置、通信システム、表示装置の制御方法、及び、プログラム
JP2016024208A (ja) 表示装置、表示装置の制御方法、および、プログラム
JP2016122177A (ja) 表示装置、及び、表示装置の制御方法
US20160035137A1 (en) Display device, method of controlling display device, and program
US20150168728A1 (en) Head mounted display device
JP2016033763A (ja) 表示装置、表示装置の制御方法、および、プログラム
JP6569320B2 (ja) 電子機器、及び、電子機器の制御方法
JP6451261B2 (ja) 電子機器、及び、電子機器の制御方法
JP6582374B2 (ja) 表示装置およびその制御方法、並びにコンピュータープログラム
JP2016034091A (ja) 表示装置、表示装置の制御方法、および、プログラム
US20160155412A1 (en) Electronic apparatus and method of controlling electronic apparatus
JP2016181864A (ja) 表示装置、及び、表示装置の制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170907

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180629

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180724

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181019

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20181025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181126

R150 Certificate of patent or registration of utility model

Ref document number: 6451261

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150