JP7059619B2 - 処理装置、表示システム、及びプログラム - Google Patents

Description

本発明は、表示装置との連携動作が可能な処理装置、表示システム、及び処理装置のプログラムに関する。

頭部装着型表示装置（ヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：ＨＭＤ））として、使用者の頭部の方向や運動状態を検知するセンサー及び装着者の視野範囲の環境映像を取得するカメラを備えるものが知られている。センサーは、例えば９軸センサーであり、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出する。

一方で、スマートフォン等の携帯情報端末にも、その携帯情報端末の向き及び運動状態を検知する９軸センサーと、環境撮影のためのカメラとを備えるものがある。このような携帯情報端末上で実行されるアプリケーションプログラム（以下、単にアプリケーションともいう）において、ＨＭＤの９軸センサー及びカメラからの出力を用いることができれば、より多様なサービスを提供することができると考えられる。

ＨＭＤと携帯情報端末との連携動作においては、携帯情報端末上のアプリケーションプログラムは、使用するカメラ及び又は９軸センサーを、携帯情報端末が備えるカメラ及び９軸センサーから、ＨＭＤが備えるカメラ及び９軸センサーに切り替える必要がある。

しかしながら、一般に、携帯情報端末上で実行されるアプリケーションは、携帯情報端末に備えられたカメラやセンサー等を、その携帯情報端末のＯＳが提供するＡＰＩを介して利用するように作成されている。また、携帯情報端末のＯＳには、一般に、ＵＳＢ等を介して接続される外部装置のカメラやセンサー等を用いるためのＡＰＩは備えられてない。

このため、携帯情報端末上のアプリケーションにおいてＨＭＤのカメラやセンサー等を用いるためには、アプリケーションの作り替え、及び又はＯＳ自体の改修を行う必要があり、既開発のソフトウェア資産を上記連携動作に活用することが困難となっている。ここで、ＯＳとは、オペレーティングシステム（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）の略称である。また、ＡＰＩとは、アプリケーションが利用するプログラミングインターフェースであるアプリケーション・プログラミングインターフェース（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）の略称である。

特許文献１には、アプリケーションの正当性を認証する認証部を備え、その認証結果に応じて、そのアプリケーションが利用することのできるハードウェア資源を制限し、及び又はそれらの機能や性能を制限する情報処理装置が記載されている。

また、特許文献２には、複数の入出力装置を機能ごとにグルーピングし、アプリケーションからの要求に応じて、要求された機能に対応するグループ内から一の装置の入出力を割り当てる情報処理装置が記載されている。

また、特許文献３には、情報処理装置と、その情報処理装置に接続された電子機器及び外部装置と、で構成されるシステムが記載されている。このシステムでは、情報処理装置が備える第１のドライバーソフトウェアにより上記情報処理装置と電子機器とが連携動作する。また、上記情報処理装置が備える第２のドライバーソフトウェアにより、上記情報処理装置を介して、電子機器と外部装置とが連携動作する。そして、第１のドライバーソフトウェアは、第２のドライバーソフトウェアから呼び出し可能なアプリケーションとして機能する。

しかしながら、特許文献１～３に記載の従来技術は、いずれも、カメラ及び９軸センサーの切り替えを伴うＨＭＤと携帯情報端末との連携動作を、アプリケーションやＯＳを作り替えることなく可能とするものではない。

特開２０１６－２４５２４号公報 特開２０１６－９５７７８号公報 特開２０１５－１５６１８６号公報

上記背景より、携帯情報端末の既存のアプリケーション及び又はＯＳを作り替えることなく、カメラ及びセンサーの切り替えを伴うＨＭＤと携帯情報端末との連携動作を可能とすることが求められている。

上記課題を解決するために、本発明の処理装置は、カメラと、センサーと、アプリケーションプログラムを実行する演算部と、外部装置と通信する通信部と、を備える処理装置であって、カメラとセンサーとを備える表示装置が接続されたときに、切り替え指示が入力されたことに応じて、前記処理装置が備える前記カメラからの画像と、前記通信部を介して受信される前記表示装置が備える前記カメラからの画像と、を切り替えて前記アプリケーションプログラムに提供する画像ソース切替部と、前記表示装置が接続されたときに、前記切り替え指示が入力されたことに応じて、前記処理装置が備える前記センサーからのセンサーデータと、前記通信部を介して受信される前記表示装置が備える前記センサーからのセンサーデータと、を切り替えて前記アプリケーションプログラムに提供するセンサー切替部と、を備える。
この構成によれば、処理装置上で実行される既存のアプリケーションプログラム及び又はＯＳを作り替えることなく、カメラ及びセンサーの切り替えを伴う表示装置と処理装置との連携動作を円滑に行うことができる。

また、本発明は、前記表示装置が備える前記センサーからの前記センサーデータに基づいて、切り替え指示が入力されたか否かを判断する切替入力判断部を更に備える。
この構成によれば、表示装置が備えるセンサーにより検知可能な操作をユーザーが行うことで、処理装置のカメラ及びセンサーと表示装置のカメラ及びセンサーとの切り替えを、容易に行うことができる。

また、本発明は、前記処理装置が備えるオペレーティングシステムの機能を補完して、前記通信部を介して受信される前記表示装置が備える前記カメラからの画像を取得するためのプログラミングインターフェースを提供する画像取得部と、前記処理装置が備えるオペレーティングシステムの機能を補完して、前記通信部を介して受信される前記表示装置が備える前記センサーからのセンサーデータを取得するためのプログラミングインターフェースを提供するセンサーデータ取得部と、を備える。
この構成によれば、表示装置のカメラ及びセンサーからのデータを取得する機能が処理装置上で実行されるＯＳにより提供されない場合でも、カメラ及びセンサーの切り替えを伴う表示装置と処理装置との連携動作を円滑に行うことができる。

また、本発明は、前記画像ソース切替部及び前記センサー切替部は、オペレーティングシステム上で動作して前記アプリケーションプログラムと前記オペレーティングシステムとの間のデータ授受を制御するプラグインプログラム、又はミドルウェアとして機能するアプリケーションプログラムにより実現される。
この構成によれば、画像ソース切替部及びセンサー切替部は、処理装置が実行するアプリケーションとして実現されるので、カメラ及びセンサーの切り替えを伴う表示装置と処理装置との円滑な連携動作を容易に実現することができる。

上記課題を解決するため、本発明は、前記センサーとして動きセンサーを備える上記いずれかの処理装置と、カメラ及び動きセンサーを備え、且つ、外景を視認可能に構成された表示領域を備えて、使用者の頭部に装着されたときに前記表示領域により前記使用者の視線の前方に画像を生成する表示装置と、を備える表示システムである。
この構成によれば、処理装置上で実行される既存のアプリケーションプログラム及び又はＯＳを作り替えることなく、カメラと動きセンサーとを備えるＨＭＤ等の表示装置と処理装置との連携動作を円滑に行うことのできる表示システムを実現することができる。

上記課題を解決するため、本発明は、カメラと、センサーと、アプリケーションプログラムを実行する演算部と、外部装置と通信する通信部と、を備える処理装置の前記演算部により実行されて、前記演算部を、カメラとセンサーとを備える表示装置が接続されたときに、切り替え指示が入力されたことに応じて、前記処理装置が備える前記カメラからの画像と、前記通信部を介して受信される前記表示装置が備える前記カメラからの画像と、を切り替えて前記アプリケーションプログラムに提供する画像ソース切替部と、前記表示装置が接続されたときに、前記切り替え指示が入力されたことに応じて、前記処理装置が備える前記センサーからのセンサーデータと、前記通信部を介して受信される前記表示装置が備える前記センサーからのセンサーデータと、を切り替えて前記アプリケーションプログラムに提供するセンサー切替部と、として機能させるプログラムである。
この構成によれば、処理装置上で実行される既存のアプリケーションプログラム及び又はＯＳを作り替えることなく、カメラ及びセンサーの切り替えを伴う表示装置と処理装置との連携動作を円滑に行うことができる。

本発明の一実施形態に係る表示システムを構成するＨＭＤ及び携帯情報端末の外観図。 ＨＭＤ及び携帯情報端末の構成を示す図。 携帯情報端末の制御部において実行されるソフトウェアの構成を示す図。

図１は、本発明を適用した実施形態に係る表示システム１の構成を示す図である。
表示システム１は、表示装置であるＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：頭部装着型表示装置）１００と、処理装置である携帯情報端末３００と、を備える。

ＨＭＤ１００は、使用者（以下、ユーザーともいう）の頭部に装着された状態で使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する接続装置１０と、を備える表示装置である。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示ユニット２２、左表示ユニット２４、右導光板２６、及び左導光板２８を備える。

右保持部２１及び左保持部２３は、それぞれ、前部フレーム２７の両端部から後方に延び、眼鏡のテンプル（つる）のように、使用者の頭部に画像表示部２０を保持する。

右表示ユニット２２及び左表示ユニット２４は、例えば有機エレクトロルミネッセンスにより発光するＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）を用いて構成され、使用者の右眼用及び左眼用の画像光をそれぞれ出力する。

右導光板２６及び左導光板２８は、例えばプリズムである。右導光板２６は、外光を透過して使用者の右眼に導くと共に、右保持部２１に設けられ右表示ユニット２２からの右画像光を使用者の右眼に導いて、右眼に画像を視認させる。また、左導光板２８は、外光を透過して使用者の左眼に導くと共に、左保持部２３に設けられ左表示ユニット２４からの左画像光を使用者の左眼に導いて、左眼に画像を視認させる。

これにより、画像表示部２０は、使用者に対し外景を視認可能にしつつ、右表示ユニット２２及び左表示ユニット２４の画像光により、虚像を使用者に視認させて画像を表示する。すなわち、画像表示部２０は、外景を視認可能に構成された表示領域を備えて、使用者の頭部に装着されたときに上記表示領域により使用者の視線の前方に画像を生成する表示装置として機能する。

画像表示部２０は、また、左表示ユニット２４の内部に９軸センサー２５を備える。９軸センサー２５は、画像表示部２０の加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出して、ＨＭＤ１００を装着するユーザーの頭部の向き及び動きを検知する。９軸センサー２５は、例えば、モーションセンサー（慣性センサー）である３軸加速度センサー及び３軸ジャイロ（角速度）センサーと、３軸の地磁気センサーである磁気センサーとで構成される。

画像表示部２０は、更に、右表示ユニット２２に配されたカメラ６１と照度センサー６５とを備える。照度センサー６５は、例えば画像表示部２０の前部フレーム２７に設けられた穴を通して、画像表示部２０を装着する使用者の前方からの外光を受光し、受光量（受光強度）に対応する検出値を出力する。

カメラ６１は、例えば画像表示部２０の前部フレーム２７に設けられた穴を通して、画像表示部２０の向きに応じたユーザーの視認範囲の環境の画像を取得する。カメラ６１は、例えば、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラである。

画像表示部２０は、接続ケーブル４０により接続装置１０に接続されている。接続装置１０は、箱形のケース（筐体、あるいは本体ともいえる）にコネクター１１を備え、コネクター１１を介して携帯情報端末３００と接続される。接続装置１０は、コネクター１１を介して、携帯情報端末３００から出力される画像を受信し、画像表示部２０の右表示ユニット２２及び左表示ユニット２４を制御して、受信した画像をユーザーに対して表示する。また、接続装置１０は、画像表示部２０の９軸センサー２５からのセンサーデータ、及びカメラ６１からの画像データを、コネクター１１を介して携帯情報端末３００へ送信する。

接続装置１０のコネクター１１は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクターである。

携帯情報端末３００は、携帯情報端末３００の向きや動きを検知する９軸センサー３０１と、環境を撮影するフロントカメラ３０２及びリアカメラ３０３と、コネクター３０４と、を備える。ここで、フロントカメラ３０２及びリアカメラ３０３は、それぞれ、携帯情報端末３００の正面（図１に示された面）及び正面に対向する背面に設けられている。なお、以下においてフロントカメラ３０２及びリアカメラ３０３を示すときは、「カメラ３０２、３０３」ともいう。

９軸センサー３０１は、携帯情報端末３００の加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出して、携帯情報端末３００の向き及び動きを検知する。また、カメラ３０２、３０３は、それぞれの視野範囲において携帯情報端末３００の環境の画像を取得する。さらに、携帯情報端末３００は、コネクター３０４を介して接続装置１０と接続される。

携帯情報端末３００のコネクター３０４は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクターであり、コネクター３０４とコネクター１１とは、例えばＵＳＢケーブルである通信ケーブル４２により接続されている。

処理装置である携帯情報端末３００は、本実施形態では、例えばスマートフォンである。ただし、携帯情報端末３００を、９軸センサーとカメラとを備えるタブレット型コンピューターやノート型コンピューター等の可搬型のコンピューターであるものとすることもできる。

図２は、表示システム１を構成するＨＭＤ１００及び携帯情報端末３００の構成を示すブロック図である。上述のように、ＨＭＤ１００は、接続ケーブル４０により接続された接続装置１０と画像表示部２０とで構成される。

画像表示部２０の右表示ユニット２２は、受信部（Ｒｘ）１０２と、ＯＬＥＤユニット１０４と、カメラＩ／Ｆ（インターフェイス）１０６と、を備える。Ｒｘ１０２は、右眼用の画像信号である右画像信号を接続装置１０から受信してＯＬＥＤユニット１０４に出力する。ＯＬＥＤユニット１０４は、例えば、ＯＬＥＤ（図示略）と、ＯＬＥＤを駆動する駆動回路（図示略）とで構成される。ＯＬＥＤユニット１０４は、受信した右画像信号に基づき、右導光板２６に向けて右画像光を出力する。また、カメラＩ／Ｆ１０６は、接続装置１０から送信されるカメラ６１への制御信号を受信すると共に、カメラ６１からの画像信号を接続装置１０へ送信する。照度センサー６５の出力信号は、接続ケーブル４０を介して接続装置１０へ入力される。

画像表示部２０の左表示ユニット２４は、受信部（Ｒｘ）１１２と、ＯＬＥＤユニット１１４とを備える。受信部（Ｒｘ）１１２は、左眼用の画像信号である左画像信号を接続装置１０から受信してＯＬＥＤユニット１１４に出力する。ＯＬＥＤユニット１１４は、ＯＬＥＤユニット１０４と同様に、例えば、ＯＬＥＤ（図示略）と、ＯＬＥＤを駆動する駆動回路（図示略）とで構成される。ＯＬＥＤユニット１１４は、受信した左画像信号に基づき、左導光板２８に向けて左画像光を出力する。９軸センサー２５の出力信号は、接続ケーブル４０を介して接続装置１０へ入力される。

画像表示部２０の各部は、接続ケーブル４０を介して接続装置１０の電源部２０６から供給される電力により動作する。画像表示部２０は、電源部２０６からの電源入力の分配や電圧変換等を行う電源回路（図示略）を備えてもよい。

接続装置１０は、送信部（Ｔｘ）２０２、カメラＩ／Ｆ２０４、電源部２０６、操作部２０８、制御部２１０、不揮発性記憶部２１２、及び通信Ｉ／Ｆ（インターフェイス）部２１４を備える。Ｔｘ２０２は、制御部２１０が出力する右画像信号及び左画像信号を、画像表示部２０のＲｘ１０２及び１１２へそれぞれ送信する。

不揮発性記憶部２１２は、制御部２１０が処理するデータ等を不揮発的に記憶する記憶装置である。不揮発性記憶部２１２は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気的記録装置、或いは、フラッシュメモリー等の半導体記憶素子を用いた記憶装置である。

通信Ｉ／Ｆ部２１４は、本実施形態では例えばＵＳＢ通信規格に準拠して携帯情報端末３００との間で有線通信を行う。ただし、通信Ｉ／Ｆ部２１４が行う携帯情報端末３００との通信は、ＵＳＢ通信規格に従う有線通信に限らず、有線及び無線を含む他の種々の通信規格に従って行われるものとすることができる。

電源部２０６は、本実施形態では、コネクター１１に接続された、例えばＵＳＢケーブルである通信ケーブル４２及び通信Ｉ／Ｆ部２１４を介して携帯情報端末３００から供給される電力に基づき、接続装置１０の各部および画像表示部２０への電源供給を行う。電源部２０６は、電圧変換回路（図示略）を内蔵し、異なる電圧を接続装置１０及び画像表示部２０の各部に供給可能な構成であってもよい。また、電源部２０６は、ロジック回路あるいはＦＰＧＡ等のデバイスで構成されるものとすることができる。なお、電源部２０６は、上記の構成に限らず、携帯情報端末３００から供給される電力に代えて、接続装置１０が備える充電可能なバッテリー（図示略）からの電力に基づいて、接続装置１０の各部および画像表示部２０に対する電源供給を行ってもよい。

操作部２０８は、ユーザーが操作することのできるボタンやスイッチで構成され、制御部２１０に指示やデータを入力するのに用いられる。

制御部２１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサーを備えるコンピューターである。制御部２１０は、プログラムが書き込まれたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、データの一時記憶のためのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を有する構成であってもよい。そして、制御部２１０は、機能要素（又は機能ユニット）として、表示制御部２２０と、センサー制御部２２２と、を有する。

制御部２１０が備えるこれらの機能要素は、例えば、コンピューターである制御部２１０がプログラムを実行することにより実現される。なお、上記コンピューター・プログラムは、コンピューター読み取り可能な任意の記憶媒体に記憶させておくことができる。

上記に代えて、制御部２１０が備える上記機能要素の全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成することもできる。そのようなハードウェアは、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等、プログラムされたハードウェアを含むものとすることができる。

表示制御部２２０は、携帯情報端末３００からの画像データを通信Ｉ／Ｆ部２１４を介して受信し、画像表示部２０への表示を行うための右画像信号及び左画像信号を生成する。また、表示制御部２２０は、生成した右画像信号及び左画像信号を、Ｔｘ２０２を介して画像表示部２０のＲｘ１０２及び１１２へそれぞれ送信する。これにより、携帯情報端末３００から出力される画像が画像表示部２０においてユーザーに対して表示される。

センサー制御部２２２は、９軸センサー２５の出力信号を受信し、受信した出力信号に基づいてセンサー信号を生成する。そして、センサー制御部２２２は、生成したセンサー信号を、通信Ｉ／Ｆ部２１４を介して携帯情報端末３００へ送信する。

また、センサー制御部２２２は、外光の受光強度に応じた光強度信号を照度センサー６５から取得する。そして、センサー制御部２２２は、カメラＩ／Ｆ２０４及び１０６を介し、取得した光強度信号に基づいてカメラ６１を制御すると共に、カメラ６１が撮影した画像を取得する。また、センサー制御部２２２は、カメラ６１から取得した画像の画像データを、通信Ｉ／Ｆ部２１４を介して携帯情報端末３００へ送信する。

携帯情報端末３００は、９軸センサー３０１、フロントカメラ３０２、及びリアカメラ３０３のほか、制御部３１０と、表示部３１２と、無線通信部３１４と、不揮発性記憶部３１６と、通信Ｉ／Ｆ（インターフェイス）部３１８と、を備える。

表示部３１２は、表示パネル３２０とタッチセンサー３２２とで構成される。表示パネル３２０は、例えば液晶表示パネルであり、タッチセンサー３２２は、例えばタッチパネルである。表示部３１２は、表示パネル３２０上に画像を表示するほか、表示パネル３２０上にボタン等のユーザーインターフェース（ＵＩ）を表示し、タッチセンサー３２２と協働してユーザーからの入力を取得する。

カメラ３０２、３０３は、携帯情報端末３００の筐体に設けられ、携帯情報端末３００の向きに応じた環境の画像を取得する。カメラ３０２、３０３は、例えば、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラである。

９軸センサー３０１は、携帯情報端末３００の筐体の加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出して、携帯情報端末３００の向き及び動きを検知する。９軸センサー３０１は、例えば、モーションセンサー（慣性センサー）である３軸加速度センサー及び３軸ジャイロ（角速度）センサーと、３軸の地磁気センサーである磁気センサーとで構成される。

無線通信部３１４は、無線送受信器である。制御部３１０は、無線通信部３１４を介してインターネット網にアクセスし、ワールドワイドウェブを構成する各種サーバー等から、画像情報を含む各種の情報を取得する。

通信Ｉ／Ｆ部３１８は、本実施形態では例えばＵＳＢ通信規格に準拠して接続装置１０との間で有線通信を行う。ただし、通信Ｉ／Ｆ部３１８が行う接続装置１０との通信は、ＵＳＢ通信規格に従う有線通信に限らず、有線及び無線を含む他の種々の通信規格に従って行われるものとすることができる。

不揮発性記憶部３１６は、制御部３１０により実行されるプログラムや、制御部３１０が処理するデータを不揮発的に記憶する。不揮発性記憶部３１６は、例えば、ＨＤＤ等の磁気的記録装置、或いは、フラッシュメモリー等の半導体記憶素子を用いた記憶装置である。

不揮発性記憶部３１６は、制御部３１０が実行する基本制御プログラムとしてのオペレーティングシステム（ＯＳ）、ＯＳをプラットフォームとして動作するアプリケーションプログラム等を記憶する。また、不揮発性記憶部３１６は、アプリケーションプログラムの実行時に処理されるデータや処理結果のデータを記憶する。

制御部３１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やマイコン等のプロセッサー（図示略）を備え、このプロセッサーによりプログラムを実行することにより、携帯情報端末３００の各部を制御する。制御部３１０は、プロセッサーが実行する制御プログラムを不揮発的に記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び、プロセッサーのワークエリアを構成するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を備えてもよい。そして、制御部３１０は、機能要素（又は機能ユニット）として、アプリ機能部３３０と、画像ソース切替部３３２と、センサー切替部３３４と、切替入力判断部３３６と、画像取得部３３８と、センサーデータ取得部３４０と、ＯＳ３４２と、を有する。

制御部３１０が備えるこれらの機能要素は、コンピューターである制御部３１０がプログラムを実行することにより実現される。なお、上記コンピューター・プログラムは、不揮発性記憶部３１６に記憶させておいたり、コンピューター読み取り可能な任意の記憶媒体に記憶させておくことができる。

アプリ機能部３３０は、コンピューターである制御部３１０が第１アプリケーションプログラム４４０（図３）を実行することにより実現され、ＯＳ３４２上で動作する（すなわち、ＯＳ３４２と協働して動作する）。第１アプリケーションプログラム４４０は、例えば、携帯情報端末３００に内蔵されたフロントカメラ３０２、リアカメラ３０３、及び９軸センサー３０１を用いて動作するよう設計された既存のアプリケーションプログラムである。なお、以下においては、アプリケーションプログラム及びアプリケーションプログラムの実行により実現される機能要素を、「アプリケーション」又は「アプリ」とも称するものとする。

ＯＳ３４２は、制御部３１０が、例えば不揮発性記憶部３１６に予め記憶されたＯＳプログラムを実行することにより実現される。ＯＳ３４２は、携帯情報端末３００が備える９軸センサー３０１、フロントカメラ３０２、リアカメラ３０３、及び通信Ｉ／Ｆ部３１８を含む各種デバイスを動作させるためのデバイスドライバーを備える。また、ＯＳ３４２は、制御部３１０において実行されるアプリ機能部３３０等のアプリケーションに、各種のアプリケーション・プログラミング・インターフェース（ＡＰＩ、Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）を提供する。ＡＰＩは、一般に、コマンドコードと引数とを与えることによりそのコマンド及び引数に応じたデータやステイタスを応答として返すソフトウェア関数である。

一般に、内蔵のカメラ及び９軸センサーを備えるスマートフォン等の従来の携帯情報端末では、カメラ及び９軸センサーを備える外部装置との連携動作については考慮されていない。このため、一般に、このような内蔵カメラ及び内蔵９軸センサーを備える従来の携帯情報端末のＯＳでは、内蔵カメラ及び内蔵９軸センサーを扱うＡＰＩは提供されるが、外部装置が備えるカメラ及び９軸センサーを扱うＡＰＩは提供されていない。

このため、本実施形態の携帯情報端末３００の制御部３１０は、画像取得部３３８とセンサーデータ取得部３４０とを備える。画像取得部３３８は、ＯＳ３４２の機能を補完して又はＯＳ３４２の機能に追加して、通信Ｉ／Ｆ部３１８を介して受信されるＨＭＤ１００が備えるカメラ６１からの画像を取得するためのプログラミングインターフェースを提供する。また、センサーデータ取得部３４０は、ＯＳ３４２の機能を補完して又はその機能に追加して通信Ｉ／Ｆ部３１８を介して受信されるＨＭＤ１００が備える９軸センサー２５からのセンサーデータを取得するためのプログラミングインターフェースを提供する。画像取得部３３８及びセンサーデータ取得部３４０は、例えばＡＰＩである。なお、上記において及び以下において「ＯＳ３４２の機能を補完して」とは、ＯＳ３４２が提供する種々の機能を実現するＡＰＩに追加して、それらＡＰＩと異なる機能を実現するプログラミングインターフェースをそれらＡＰＩと同じ態様で追加することをいう。ここで、「それらＡＰＩと同じ態様で」とは、例えば、アプリケーションプログラムから、ＯＳ３４２が提供するＡＰＩと同様にコールすることができることを意味する。なお、ＯＳ３４２の機能を補完して追加されるプログラミングインターフェースは、例えば、図３に示すソフトウェア構成中のライブラリー４２０の一部を構成するように追加される。

そして、特に、本実施形態の表示システム１を構成する携帯情報端末３００は、画像ソース切替部３３２と、センサー切替部３３４と、切替入力判断部３３６と、を備える。

画像ソース切替部３３２は、カメラと９軸センサーとを備える表示装置、例えばＨＭＤ１００が携帯情報端末３００に接続されたときに、切り替え指示が入力されたことに応じて動作する。切り替え指示が入力されると、画像ソース切替部３３２は、カメラ３０２及び又は３０３からの画像とＨＭＤ１００が備えるカメラ６１からの画像とを切り替えてアプリ機能部３３０に提供する。具体的には、画像ソース切替部３３２は、ＨＭＤ１００が通信Ｉ／Ｆ部３１８を介して携帯情報端末３００に接続されたか否かを判断する。そして、ＨＭＤ１００が接続されたときは、画像ソース切替部３３２は、切り替え指示の入力があった旨の通知を切替入力判断部３３６から受けたときに、アプリ機能部３３０に提供する画像の画像ソースをカメラ３０２及び又は３０３からカメラ６１へ切替える。

より具体的には、画像ソース切替部３３２による上記画像ソースの切り替えは、次のように行われる。まず、携帯情報端末３００が起動されたときに、ＯＳ３４２は、例えば、カメラ３０２及び又は３０３から取得される画像データを格納する第１のデータ構造体（以下、第１の構造体という）を不揮発性記憶部３１６内に動的に確保する。そして、ＯＳ３４２は、第１の構造体の先頭アドレスを、不揮発性記憶部３１６内の第１の所定のアドレスに格納する。アプリ機能部３３０は、第１の所定のアドレスに格納された先頭アドレスを参照して、その先頭アドレスから開始する第１の構造体に格納された画像データを読み込むことで、カメラ３０２及び又は３０３からの画像データを取得することができる。

一方、画像取得部３３８は、携帯情報端末３００にＨＭＤ１００が接続されると、ＨＭＤ１００のカメラ６１から取得される画像データを格納する第２のデータ構造体（以下、第２の構造体という）を不揮発性記憶部３１６内に動的に確保する。そして、画像取得部３３８は、第２の構造体の先頭アドレスを、不揮発性記憶部３１６内の第２の所定のアドレスに格納する。

これに対し、画像ソース切替部３３２は、切り替え指示の入力があった旨の通知を切替入力判断部３３６から受け取ると、第２の所定のアドレスに格納されている第２の構造体の先頭アドレスを参照する。そして、画像ソース切替部３３２は、第１の所定のアドレスに格納されている第１のデータ構造体の先頭アドレスを、第２の所定のアドレスに格納されている第２の構造体の先頭アドレスに書き換える。これにより、アプリ機能部３３０のプログラムを変更することなく、アプリ機能部３３０に第２の構造体へのアクセスを実行させて、アプリ機能部３３０が用いる画像の画像ソースをカメラ６１に切り替えることができる。すなわち、アプリ機能部３３０が、第１の所定のアドレスに格納された先頭アドレスを用いて第１の構造体にアクセスする既存のアプリケーションであったとしても、アプリ機能部３３０のプログラムを変更することなく、画像ソースを切り替えることができる。

センサー切替部３３４は、カメラと９軸センサーとを備える表示装置、例えばＨＭＤ１００が携帯情報端末３００に接続されたときに、切り替え指示が入力されたことに応じて動作する。切り替え指示が入力されると、センサー切替部３３４は、９軸センサー３０１からのセンサーデータとＨＭＤ１００が備える９軸センサー２５からのセンサーデータとを切り替えてアプリ機能部３３０に提供する。具体的には、センサー切替部３３４は、ＨＭＤ１００が通信Ｉ／Ｆ部３１８を介して携帯情報端末３００に接続されたか否かを判断する。そして、ＨＭＤ１００が接続されたときは、センサー切替部３３４は、切り替え指示の入力があった旨の通知を切替入力判断部３３６から受けたときに、センサーデータを切り替える。すなわち、センサー切替部３３４は、９軸センサー３０１からのセンサーデータと９軸センサー２５からのセンサーデータとを切り替えて、切り替え後のセンサーデータをアプリ機能部３３０に提供する。この切り替えは、上述した画像ソース切替部３３２の動作の例と同様に、ＯＳ３４２が所定のアドレスに格納する９軸センサー３０１に係るデータ構造体の先頭アドレスを９軸センサー２５に係るデータ構造体の先頭アドレスに書き換えることで行うことができる。

切替入力判断部３３６は、ユーザーからの切り替え指示の入力を検知して、切り替え指示が入力された旨（即ち、切り替え指示の入力があったと判断した旨の通知）を画像ソース切替部３３２及びセンサー切替部３３４に通知する。切り替え指示の入力は、例えば、ユーザーが画像表示部２０の右保持部２１を指でタッピングすることにより与えられる。切替入力判断部３３６は、例えば、センサーデータ取得部３４０を介して９軸センサー２５からセンサーデータを受信し、画像表示部２０において特定の方向にインパルス状の加速度変化があったか否かを検出して、上記タッピングが行われたか否かを判断する。

より具体的には、切替入力判断部３３６は、所定の時間間隔で連続してタッピングが行われた回数を検出し、切り替え指示の入力があったと判断した旨の通知と、タッピングの回数の情報とを、画像ソース切替部３３２及びセンサー切替部３３４へ送る。そして、画像ソース切替部３３２及びセンサー切替部３３４は、例えばタッピングが１回であれば、画像ソース及び使用する９軸センサーを、携帯情報端末３００のカメラ３０２、３０３及び９軸センサー３０１に切り替える。一方、例えばタッピングが２回であれば、画像ソース切替部３３２及びセンサー切替部３３４は、画像ソース及び使用する９軸センサーを、ＨＭＤ１００のカメラ６１及び９軸センサー２５に切り替える。

これに代えて、ＨＭＤ１００に対するユーザーのタッピングの方向（例えば、ＨＭＤ１００の右側からのタップなのか左側からのタップなのか）に応じて、画像ソース切替部３３２及びセンサー切替部３３４の切り替え動作が行われるものとしてもよい。具体的には、切替入力判断部３３６は、ＭＤ１００の９軸センサー２５からのセンサーデータに基づき、タッピングが行われたこと、及びそのタッピングの方向を検知する。そして、切替入力判断部３３６は、切り替え指示の入力があったと判断した旨の通知と、タッピングの方向の情報とを、画像ソース切替部３３２及びセンサー切替部３３４へ送る。これに応じ、画像ソース切替部３３２及びセンサー切替部３３４は、例えばタッピングの方向に応じて予め定められた状態となるように、画像ソース及びセンサーデータのソースを切り替える。なお、上記タッピングは一例であって、切り替え指示は、ユーザーが頭を振る、傾げる、回すなどの、９軸センサー３０１で検知可能な任意の操作であるものとすることができる。

また、上記に代えて、切り替え指示の入力は、例えば、“携帯情報端末３００にＨＭＤ１００が接続された”というイベントの発生であるものとすることができる。この場合、切替入力判断部３３６は、例えば、通信Ｉ／Ｆ部３１８のステイタス情報を取得することにより、“携帯情報端末３００にＨＭＤ１００が接続された”というイベントが発生したか否かを自動検出するものとすることができる。この場合には、画像ソース切替部３３２及びセンサー切替部３３４は、ＨＭＤ１００が接続されたときに、画像ソース及び使用する９軸センサーをＨＭＤ１００のカメラ６１及び９軸センサー２５に切り替えるものとすることができる。また、ＨＭＤ１００が接続されていていないときは、画像ソース切替部３３２及びセンサー切替部３３４は、画像ソース及び使用する９軸センサーを携帯情報端末３００のカメラ３０２、３０３及び９軸センサー３０１に切り替えるものとすることができる。

さらに、本実施形態では、画像ソース切替部３３２、センサー切替部３３４、及び切替入力判断部３３６は、アプリ機能部３３０を実現する第１アプリケーション４４０とは異なる第２アプリケーション４３０（図３）を制御部３１０が実行することで実現される。この第２アプリケーションは、ＯＳ３４２とアプリ機能部３３０との間に介在してアプリ機能部３３０からＯＳ３４２へのアクセスを変化させるという意味において、プラグインプログラム、又はミドルウェアとして機能するプログラムである、ということができる。即ち、画像ソース切替部３３２及びセンサー切替部３３４は、ＯＳ３４２上で動作して第１アプリケーション４４０とＯＳ３４２との間のデータ授受を制御するプラグインプログラム又はミドルウェアとして機能する第２アプリケーション４３０により実現される。

上記の構成により、本実施形態では、制御部３１０により上記第２のアプリケーションを実行するだけで、既存の第１アプリケーション４４０及びＯＳ３４２のプログラムを修正することなく、画像ソース及び使用センサーを切り替えて用いる構成が実現される。なお、上記において一例として挙げた切替入力判断部３３６におけるＨＭＤ１００の接続有無の自動検出は、例えば、切替入力判断部３３６を実現する第２アプリケーション４３０の設定画面においてその有効／無効を切り替えるものとすることができる。このような設定画面は、例えば第２アプリケーション４３０の起動時において表示部３１２に表示されるものとすることができる。

図３は、携帯情報端末３００の制御部３１０において実行されるソフトウェアの構成を示す図である。本ソフトウェアは、ドライバー群４００と、ライブラリー４２０と、第２アプリケーション４３０と、第１アプリケーション４４０と、で構成されている。ライブラリー４２０は、アプリケーションが各種のデバイスを制御するために用いる各種のＡＰＩ及び処理関数で構成されている。ＡＰＩは、ソフトウェア関数であり、デバイスに依存しないプログラムインターフェースを提供する。これに対し、処理関数は、物理アドレスの参照等を引数の一部に含み、デバイス依存のプログラムインターフェースを提供する。

具体的には、ライブラリー４２０は、ＯＳ３４２が提供する標準ＡＰＩ群４５０と、ＯＳ３４２を補完して又はＯＳ３４２の機能に追加して、ＨＭＤ１００の各種デバイスの制御を提供する専用ＡＰＩ群４６０と、を含む。また、ライブラリー４２０は、外付カメラ処理関数４７０も含んでいる。

ドライバー群４００、標準ＡＰＩ群４５０、及び外付カメラ処理関数４７０は、ＯＳ３４２が提供する。ドライバー群４００は、図示の例では、携帯情報端末３００が内蔵する各種デバイスのためのデバイスドライバーで構成されている。具体的には、ドライバー群４００は、フロントカメラ３０２を制御するフロントカメラドライバー４０１と、リアカメラ３０３を制御するリアカメラドライバー４０２と、９軸センサー３０１を制御する９軸センサードライバー４０３と、を含む。また、ドライバー群４００は、通信Ｉ／Ｆ部３１８を制御する通信Ｉ／Ｆドライバー４０４も含んでいる。

標準ＡＰＩ群４５０は、フロントカメラドライバー４０１にアクセスしてフロントカメラ３０２を制御するためのフロントカメラＡＰＩ４５１と、リアカメラドライバー４０２にアクセスしてリアカメラ３０３を制御するためのリアカメラＡＰＩ４５２を含む。また、標準ＡＰＩ群４５０は、９軸センサードライバー４０３にアクセスして９軸センサー３０１を制御するための９軸センサーＡＰＩ４５３も含んでいる。

外付カメラ処理関数４７０は、通信Ｉ／Ｆ部３１８を介して外部装置のカメラの制御及び画像データの取得を行う。

専用ＡＰＩ群４６０は、画像取得部３３８と、センサーデータ取得部３４０と、を含む。画像取得部３３８は、上述したように、通信Ｉ／Ｆ部３１８を介して外部装置であるＨＭＤ１００のカメラ６１から画像データを取得するためのプログラムインターフェースを提供するＡＰＩである。また、センサーデータ取得部３４０は、上述したように、通信Ｉ／Ｆ部３１８を介して外部装置であるＨＭＤ１００の９軸センサー２５からセンサーデータを取得するためのプログラムインターフェースを提供するＡＰＩである。

専用ＡＰＩ群４６０を構成するＡＰＩである画像取得部３３８及びセンサーデータ取得部３４０は、例えば、ＨＭＤ１００の製造元から、いわゆるＳＤＫ（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｐｍｅｎｔ Ｋｉｔ）の形態で提供されるものとすることができる。

第２アプリケーション４３０は、上述したように、ＯＳ３４２上で動作して第１アプリケーション４４０とＯＳ３４２との間のデータ授受を制御するプラグインプログラム、又はミドルウェアとして機能するプログラムである。第２アプリケーション４３０は、制御部３１０で実行されることにより、画像ソース切替部３３２、センサー切替部３３４、及び切替入力判断部３３６を実現する。

第１アプリケーション４４０により実現されるアプリ機能部３３０は、ＯＳ３４２上で動作するよう設計された任意のアプリであるものとすることができる。第１アプリケーション４４０は、例えば、携帯情報端末３００に内蔵されたカメラ３０２、３０３、及び９軸センサー３０１を用いるように構成された既存のアプリであってもよい。

上記のソフトウェア構成により、本実施形態の携帯情報端末３００では、第１アプリケーション４４０が上記のような既存のアプリであっても、第２アプリケーション４３０を介してＨＭＤ１００のカメラ６１及び９軸センサー２５を用いることが可能となる。

このため、本実施形態の携帯情報端末３００では、既存の第１アプリケーション４４０及び又はＯＳ３４２を作り替えることなく、カメラ及び９軸センサーの切り替えを伴うＨＭＤ１００と携帯情報端末３００との連携動作を可能とすることができる。

なお、専用ＡＰＩ群４６０の画像取得部３３８及びセンサーデータ取得部３４０、並びに第２アプリケーション４３０は、携帯情報端末３００にＨＭＤ１００が接続されたときに、ＨＭＤ１００からダウンロードされてインストールされるものとすることができる。具体的には、ＨＭＤ１００は、画像取得部３３８及びセンサーデータ取得部３４０、並びに第２アプリケーション４３０のソフトウェアプログラムが保存された不揮発性記憶部（不図示）を備えるものとする。そして、ＨＭＤ１００が接続されたときに、携帯情報端末３００に予めインストールされたダウンロードアプリにより、画像取得部３３８、センサーデータ取得部３４０、及び第２アプリケーション４３０がダウンロードされるものとすることができる。

以上説明したように、処理装置である本実施形態の携帯情報端末３００は、カメラ３０２、３０３と、９軸センサー３０１と、アプリケーションプログラムを実行する演算部である制御部３１０と、外部装置と通信する通信部である通信Ｉ／Ｆ部３１８とを備える。携帯情報端末３００には、カメラ６１と９軸センサー２５とを備える表示装置であるＨＭＤ１００が通信Ｉ／Ｆ部３１８介して接続される。そして、携帯情報端末３００は、画像ソース切替部３３２と、センサー切替部３３４と、を備える。画像ソース切替部３３２は、ＨＭＤ１００が接続されたときに、切り替え指示が入力されたことに応じて、カメラ３０２、３０３からの画像と、通信Ｉ／Ｆ部３１８介して受信されるカメラ６１からの画像と、を切り替えてアプリケーションプログラムに提供する。また、センサー切替部３３４は、ＨＭＤ１００が接続されたときに、切り替え指示が入力されたことに応じて、９軸センサー３０１からのデータと通信Ｉ／Ｆ部３１８を介した９軸センサー２５からのデータとを切り替えてアプリケーションプログラムに提供する。

本発明の携帯情報端末３００、表示システム１、及び画像ソース切替部３３２とセンサー切替部３３４とを実現する第２アプリケーションプログラム４３０に依れば、ＨＭＤ１００と携帯情報端末３００との連携動作を円滑に行うことができる。また、本発明の携帯情報端末３００等によれば、この連携動作の実現のために既存の第１アプリケーション４４０やＯＳ３４２を作り替える必要はない。

詳細には、携帯情報端末３００は、ＨＭＤ１００が備える９軸センサー２５からのセンサーデータに基づいて切り替え指示が入力されたか否かを判断する切替入力判断部３３６を更に備える。これにより、携帯情報端末３００では、ＨＭＤ１００が備える９軸センサー２５により検知可能な操作をユーザーが行うだけで、カメラ３０２、３０３及び９軸センサー３０１と、カメラ６１及び９軸センサー２５と、の切り替えを容易に行うことができる。

また本発明の携帯情報端末３００は、ＯＳ３４２の機能を補完して又はこれに追加して、通信Ｉ／Ｆ部３１８を介して受信されるＨＭＤ１００が備えるカメラ６１からの画像を取得するためのプログラミングインターフェースを提供する画像取得部３３８を備える。また、携帯情報端末３００は、センサーデータ取得部３４０を備える。センサーデータ取得部３４０は、ＯＳ３４２の機能を補完して又はこれに追加して、通信Ｉ／Ｆ部３１８を介して受信されるＨＭＤ１００が備える９軸センサー２５からのセンサーデータを取得するためのプログラミングインターフェースを提供する。これにより、携帯情報端末３００では、ＨＭＤ１００のカメラ６１及び９軸センサー２５の出力を取得する機能がＯＳ３４２により提供されない場合でも、ＨＭＤ１００と携帯情報端末３００との連携動作を円滑に行うことができる。

また、本発明の携帯情報端末３００では、画像ソース切替部３３２及びセンサー切替部３３４は、ＯＳ３４２上で動作する第２アプリケーションプログラム４３０により実現される。第２アプリケーションプログラム４３０は、第１アプリケーションプログラム４４０とＯＳ３４２との間のデータ授受を制御するプラグインプログラム又はミドルウェアとして機能する。
これにより、画像ソース切替部３３２及びセンサー切替部３３４は、携帯情報端末３００が実行するアプリケーションとして実現されるので、ＨＭＤ１００と携帯情報端末３００との円滑な連携動作を容易に実現することができる。

なお、本発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。

例えば、上記実施形態においては、センサーとして、携帯情報端末３００が備える９軸センサー３０１とＨＭＤ１００が備える９軸センサー２５とが切り替えられる構成としたが、これには限られない。センサー切替部３３４による切替対称となるセンサーは、携帯情報端末３００及びＨＭＤ１００に搭載された互いに代替可能な種々のセンサーであるものとすることができる。例えば、携帯情報端末３００に照度センサーが設けられるものとし、この照度センサーとＨＭＤ１００が備える照度センサー６５とが、センサー切替部３３４により切り替えられるものとすることもできる。この場合、切替入力判断部３３６は、例えば、ユーザーが照度センサー６５を手で覆う等して照度センサー６５に入射する外光の光量を急激に変化させたことを検知して、切り替え指示が入力されたものと判断することができる。

また例えば、ＨＭＤ１００及び携帯情報端末３００の一方が、カメラ又は９軸センサー（又は互いに代替可能な他の同種のセンサー）を備えないものとしてもよい。この場合、例えばＨＭＤ１００がカメラ６１を備えないときは、画像ソース切替部３３２は、切替入力判断部３３６から切り替え指示を受信しても画像ソースの切替動作を行わないものとすることができる。すなわち、画像ソース切替部３３２は、上記切替動作を行うことなく、携帯情報端末３００が備えるカメラ３０２又は３０３からの画像データを継続してアプリ機能部３３０に提供するものとすることができる。この場合において、画像ソース切替部３３２及びセンサー切替部３３４は、携帯情報端末３００がカメラ及び９軸センサーをそれぞれ備えるか否かを、ＯＳ３４２に問い合わせて（例えば、対応するＡＰＩをコールすることにより）検知するものとすることができる。また、画像ソース切替部３３２及びセンサー切替部３３４は、ＨＭＤ１００にカメラ及び９軸センサーをそれぞれ備えるか否かを、通信Ｉ／Ｆ部３１８を介してＨＭＤ１００に問い合わせて検知するものとすることができる。

また例えば、ＨＭＤ１００と携帯情報端末３００の双方に、カメラと、複数の種類のセンサーと、が設けられていてもよい。例えば、ＨＭＤ１００と携帯情報端末３００の双方が、カメラと、９軸センサー及び照度センサーと、を備えていてもよい。この場合には、センサー切替部３３４は、切り替え指示に応じて、ＨＭＤ１００の９軸センサー及び照度センサーからのセンサーデータと、携帯情報端末３００の９軸センサー及び照度センサーからのセンサーデータと、を切り替えるものとすることができる。あるいは、例えばユーザーが、センサー切替部３３４を実現する第２アプリケーション４３０に、ＨＭＤ１００と携帯情報端末３００の双方が備える複数種類のセンサーのうち、いずれの種類のセンサーについて上記切り替えを行うかを設定するものとしてもよい。この場合には、センサー切替部３３４は、上記９軸センサー及び照度センサーのうち上記設定において切替動作を行うべく指定された種類のセンサーについてのみ、上記センサーデータの切り替えを行うものとすることができる。

また例えば、ＨＭＤ１００が携帯情報端末３００に接続されて連携動作が行われたときの画像ソース切替部３３２及びセンサー切替部３３４の切り替え状態が、次回にＨＭＤ１００が携帯情報端末３００に接続されたときに自動的に再現されるものとしてもよい。ここにいう切り替え状態とは、画像ソース切替部３３２及びセンサー切替部３３４がアプリ機能部３３０に提供する画像データ及びセンサーデータの出力元がＨＭＤ１００であるか携帯情報端末３００であるかの区別をいう。具体的には、第２アプリケーション４３０は、ＨＭＤ１００が携帯情報端末３００に接続されて連携動作が行われたときの画像ソース切替部３３２及びセンサー切替部３３４の切り替え状態の設定を、不揮発性記憶部３１６に記憶する。そして、第２アプリケーション４３０は、次回にＨＭＤ１００が携帯情報端末３００に接続されたときに、上記設定を参照して、その設定に従う切り替え状態となるように、画像ソース切替部３３２及びセンサー切替部３３４を設定するものすることができる。

また、上記実施形態では、切替入力判断部３３６は、９軸センサー２５による特定方向の加速度変化の検出、又は、通信Ｉ／Ｆ部３１８によるＨＭＤ１００の接続イベントの検出により、切り替え指示の入力の有無を判断するものとしたが、これには限られない。例えば、切替入力判断部３３６は、アプリ機能部３３０において実行される処理においてユーザーから特定のコマンドが入力されたことに応じて、切り替え指示が入力されたものと判断することができる。このような特定のコマンドに対する処理は、例えば、アプリ機能部３３０を実現する第１アプリケーションプログラム４４０に対するアドオンプログラムとして提供されるものとすることができる。

また、上記実施形態では、画像表示部２０と接続装置１０とが分離され、接続ケーブル４０を介して接続された構成を例に挙げて説明したが、接続装置１０と画像表示部２０とが無線通信回線によって接続される構成であってもよい。

また、図２に示した各要素のうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。

１…表示システム、１０…接続装置、１１、３０４…コネクター、２０…画像表示部、２１…右保持部、２２…右表示ユニット、２３…左保持部、２４…左表示ユニット、２５，３０１…９軸センサー、２６…右導光板、２７…前部フレーム、２８…左導光板、４０…接続ケーブル、４２…通信ケーブル、６１…カメラ６１…照度センサー、１０２、１１２…受信部（Ｒｘ）、１０４、１１４…ＯＬＥＤユニット、１０６、２０４…カメラＩ／Ｆ、２０２…送信部（Ｔｘ）、２０６…電源部、２０８…操作部、２１０、３１０…制御部、２１２、３１６…不揮発性記憶部、２１４、３１８…通信Ｉ／Ｆ部、２２０…表示制御部、２２２…センサー制御部、３１２…表示部、３１４…無線通信部、３２０…表示パネル、３２２…タッチセンサー、３３０…アプリ機能部、３３２…画像ソース切替部、３３４…センサー切替部、３３６…切替入力判断部、３３８…画像取得部、３４０…センサーデータ取得部、３４２…オペレーティングシステム（ＯＳ）、４００…ドライバー群、４０１…フロントカメラドライバー、４０２…リアカメラドライバー、４０３…９軸センサードライバー、４０４…通信Ｉ／Ｆドライバー、４２０…ライブラリー、４３０…第２アプリケーション、４４０…第１アプリケーション、４５０…標準ＡＰＩ群、４５１…フロントカメラＡＰＩ、４５２…リアカメラＡＰＩ、４５３…９軸センサーＡＰＩ、４６０…専用ＡＰＩ群、４７０…外付カメラ処理関数。

Claims (7)

1. 第１カメラと、オペレーティングシステム上で動作する第１アプリケーションプログラムを実行する演算部と、外部装置と通信する通信部と、を備える処理装置であって、
   前記オペレーティングシステムは、前記第１カメラを制御するデバイスドライバへのアクセスのためのプログラミングインターフェースである第１カメラＡＰＩと、前記通信部を制御するデバイスドライバである通信ドライバと、を含み、
   第２カメラを備える表示装置が接続されたときに、切り替え指示が入力されたことに応じて、前記処理装置が備える前記第１カメラからの画像と、前記通信部を介して受信される前記表示装置が備える前記第２カメラからの画像と、を切り替えて前記第１アプリケーションプログラムに提供する画像ソース切替部と、
   前記オペレーティングシステムを補完して、前記通信部を介して受信される前記第２カメラからの画像を取得するためのプログラミングインターフェースを提供する画像取得部と、
   を備え、
   前記画像ソース切替部は、前記第１カメラＡＰＩを用いて画像を取得するか、又は前記画像取得部を用いて画像を取得するか、を切り替えることにより、前記第１アプリケーションプログラムに提供する画像を切り替える、
   処理装置。
2. 前記画像ソース切替部は、前記オペレーティングシステム上で動作して前記第１アプリケーションプログラムと前記オペレーティングシステムとの間のデータ授受を制御するプラグインプログラム、又はミドルウェアとして機能する第２アプリケーションプログラムにより実現される、請求項１に記載の処理装置。
3. 第１センサーを備え、
   前記オペレーティングシステムは、前記第１センサーを制御するデバイスドライバへのアクセスのためのプログラミングインターフェースである第１センサーＡＰＩを含み、
   第２センサーを更に備える前記表示装置が接続されたときに、前記切り替え指示が入力されたことに応じて、前記処理装置が備える前記第１センサーからのセンサーデータと、前記通信部を介して受信される前記表示装置が備える前記第２センサーからのセンサーデータと、を切り替えて前記第１アプリケーションプログラムに提供するセンサー切替部と、
   前記オペレーティングシステムを補完して、前記通信部を介して受信される前記第２センサーからのセンサーデータを取得するためのプログラミングインターフェースを提供するセンサーデータ取得部と、
   を備え、
   前記センサー切替部は、前記第１センサーＡＰＩを用いてセンサーデータを取得するか、又は前記センサーデータ取得部を用いてセンサーデータを取得するか、を切り替えることにより、前記第１アプリケーションプログラムに提供するセンサーデータを切り替える、
   請求項１または２に記載の処理装置。
4. 前記センサー切替部は、前記オペレーティングシステム上で動作して前記第１アプリケーションプログラムと前記オペレーティングシステムとの間のデータ授受を制御するプラグインプログラム、又はミドルウェアとして機能する第２アプリケーションプログラムにより実現される、請求項３に記載の処理装置。
5. 前記表示装置が備える前記第２センサーからのセンサーデータに基づいて、切り替え指示が入力されたか否かを判断する切替入力判断部を更に備える、請求項３または４に記載の処理装置。
6. 前記第１センサーとして動きセンサーを備える請求項３ないし５のいずれか一項に記載の処理装置と、
   カメラ及び動きセンサーを備え、且つ、外景を視認可能に構成された表示領域を備えて、使用者の頭部に装着されたときに前記表示領域により前記使用者の視線の前方に画像を生成する表示装置と、
   を備える表示システム。
7. 第１カメラと、第１センサーと、オペレーティングシステム上で動作する第１アプリケーションプログラムを実行する演算部と、外部装置と通信する通信部と、を備える処理装置の前記演算部により実行されるプログラムであって、
   前記オペレーティングシステムは、前記第１カメラを制御するデバイスドライバへのアクセスのためのプログラミングインターフェースである第１カメラＡＰＩと、前記第１センサーを制御するデバイスドライバへのアクセスのためのプログラミングインターフェースである第１センサーＡＰＩと、前記通信部を制御するデバイスドライバである通信ドライバと、を含み、
   前記演算部を、
   第２カメラと第２センサーとを備える表示装置が接続されたときに、切り替え指示が入力されたことに応じて、前記処理装置が備える前記第１カメラからの画像と、前記通信部を介して受信される前記表示装置が備える前記第２カメラからの画像と、を切り替えて前記第１アプリケーションプログラムに提供する画像ソース切替部と、
   前記表示装置が接続されたときに、前記切り替え指示が入力されたことに応じて、前記処理装置が備える前記第１センサーからのセンサーデータと、前記通信部を介して受信される前記表示装置が備える前記第２センサーからのセンサーデータと、を切り替えて前記第１アプリケーションプログラムに提供するセンサー切替部と、
   前記オペレーティングシステムを補完して、前記通信部を介して受信される前記第２カメラからの画像を取得するためのプログラミングインターフェースを提供する画像取得部と、
   前記オペレーティングシステムを補完して、前記通信部を介して受信される前記第２センサーからのセンサーデータを取得するためのプログラミングインターフェースを提供するセンサーデータ取得部、として機能させ、
   前記画像ソース切替部は、前記第１カメラＡＰＩを用いて画像を取得するか、又は前記画像取得部を用いて画像を取得するか、を切り替えることにより、前記第１アプリケーションプログラムに提供する画像を切り替え、
   前記センサー切替部は、前記第１センサーＡＰＩを用いてセンサーデータを取得するか、又は前記センサーデータ取得部を用いてセンサーデータを取得するか、を切り替えることにより、前記第１アプリケーションプログラムに提供するセンサーデータを切り替える、
   プログラム。
   

Images