WO2022269753A1

WO2022269753A1 - 情報処理システム、情報処理装置及び画像表示装置

Info

Publication number: WO2022269753A1
Application number: PCT/JP2021/023592
Authority: WO
Inventors: 敬治内田; 治川前; 展明甲; 義憲岡田
Original assignee: マクセル株式会社
Priority date: 2021-06-22
Filing date: 2021-06-22
Publication date: 2022-12-29
Also published as: CN117597653A; EP4361770A1; JPWO2022269753A1

Abstract

情報処理システムは、カメラ（１２１）を装備したＨＭＤ（２００）と、アプリケーションソフトウェアであるアプリを動作させて表示するスマホ（１００）と、を有し、ＨＭＤ（２００）とスマホ（１００）との間で情報の通信連携機能を具備する情報処理システムであって、ＨＭＤ（２００）は、スマホ（１００）の画面をカメラ（１２１）によって撮影して読込み、読み込まれたスマホ（１００）の画面の表示位置および表示サイズを表示エリアとして認識し、認識された表示エリアに、スマホ（１００）の画面の画像を表示する。

Description

情報処理システム、情報処理装置及び画像表示装置

　本発明は、アプリ（アプリケーションソフトウェアの略称）を表示する情報処理装置と主に頭部に装着され画像を表示する画像表示装置とを備え、画像表示装置の画面内に情報処理装置の表示画面を表示させるようにする情報処理システム、情報処理装置及び画像表示装置に関する。

　保有するアプリを表示させる機能や他機との通信連携機能などを有する情報処理装置は、特に携帯型のものはスマートフォン（以下、スマホと称す）と呼ばれ、おおむね手のひらサイズで種々のアプリの動作画面や各種情報を表示画面に表示でき、使い勝手がよく広く普及している。折りたたみスマホやロール式スマホなども出現し、スマホの画面が拡大化し、複数のアプリを同時に表示できるようになっている。

　また、仮想オブジェクトの表示を行う画像表示装置が広く用いられるようになってきた。一例としては、頭部に装着され表示部やカメラなどを有するヘッドマウントディスプレイ（Head Mounted Display；ＨＭＤ、以下、ＨＭＤと称す）が挙げられる。ＨＭＤは、他の画像やＣＧ（Computer　Graphics）などで作った画像からなる仮想空間上の仮想物体（仮想オブジェクト）を現実空間に反映し拡張していく拡張現実（Augmented　Reality：ＡＲ）技術を用いて、３次元で現実空間の実体物を認識しつつ仮想オブジェクトの表示を行う画像表示装置である。

　更には、近年、スマホと連携してスマホの画面を表示するＨＭＤが登場している。例えば、特許文献１には、『撮影部と、前記撮影部で外部の画像表示装置を撮影した画像に基づいて、当該情報処理装置の第１の基準座標系での前記画像表示装置の位置及び姿勢を計算する位置姿勢計算部と、前記第１の基準座標系での前記画像表示装置の位置及び姿勢を、前記画像表示装置の第２の基準座標系での当該情報処理装置の位置及び姿勢に変換する位置姿勢変換部と、前記第２基準座標系での当該情報処理装置の位置及び姿勢に基づいて、前記画像表示装置の画面内で当該情報処理装置に関わる画面情報を埋め込む位置を計算する埋め込み位置計算部と、を具備する情報処理装置』が記載されている。即ち、スマホに搭載されたカメラからＨＭＤを撮影した画像に基づいて、ＨＭＤとスマホの相互の位置関係及び姿勢を把握し、視聴中のコンテンツ再生画面の上の適切な位置に適切な姿勢で、スマホから送られてくる画面情報を重畳してＨＭＤの再生画面中に表示する。これにより、コンテンツ再生画面内でスマホだけが実世界と同じ位置及び姿勢で存在するので、ユーザはＨＭＤを着用したままスマホの画面操作を行なえるというものである。

国際公開第２０１６／０２１２５２号

　前記特許文献１では、ＨＭＤの表示画面内にスマホの画面情報を重ねて表示することについては記載されているものの、ＨＭＤの表示画面内に常にスマホの画面全体が位置する必要があり、使用上の自由度が低く、利便性に難点があるという課題があった。

　また、スマホの画面を仮想オブジェクトとしてＨＭＤに表示する際に、ＨＭＤのどの位置に何のアプリコンテンツを表示するか選択する必要があるが、従来の選択操作では視覚的でなく煩雑でやりにくいという課題があった。また、ＨＭＤの画面にスマホの画面をそのままの画像で挿入して表示する際に、ＨＭＤの画面画像とスマホ画面画像がコントラスト的に調和していない場合には、例えば、屋外など周囲が明るい場合、明るめのＨＭＤ画面画像（透過画像）に対してスマホ挿入画像の輝度が低く見えにくかったり、夜間など周囲が暗い場合、暗めのＨＭＤ画面画像とスマホ挿入画像とのコントラストが強すぎたりして、眼が疲れやすくなるという課題があった。

　本発明は、前記課題を考慮し、ＨＭＤなどの画像表示装置の表示画面に好適な表示位置及び表示サイズで、スマホなどの情報処理装置で選択されたアプリ等の画面を簡便に使い勝手良く表示することができる。また、その好適な表示配置への自由度が高く、ユーザにとって利便性の良い操作性を可能にする。更に、画像表示装置の表示画面内に挿入される情報処理装置の表示画面画像と画像表示装置の表示画面画像とのコントラストの調和が図れる情報処理システム、情報処理装置、および画像表示装置を提供するものである。

　本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば次の通りである。

　（１）カメラを装備した画像表示装置と、
　アプリケーションソフトウェアであるアプリを動作させて表示する情報処理装置と、
　を有し、画像表示装置と情報処理装置との間で情報の通信連携機能を具備する情報処理システムであって、
　画像表示装置は、情報処理装置の画面をカメラによって撮影して読込み、読み込まれた情報処理装置の画面の表示位置および表示サイズを表示エリアとして認識し、認識された表示エリアに、情報処理装置の画面の画像を表示することを特徴とする情報処理システムである。

　（２）（１）に記載の情報処理システムであって、
　情報処理装置は、アプリの画面であるアプリ画面或いはアプリ画面の一部分領域を選択され、
　画像表示装置は、選択されたアプリ画面或いは一部分領域をカメラによって撮影して読込み、読み込まれたアプリ画面或いは一部分領域の表示位置および表示サイズを表示エリアとして認識し、認識された表示エリアに、選択されたアプリ画面或いは一部分領域の画像であるアプリ画面画像を表示することを特徴とする情報処理システムである。

　（３）（２）に記載の情報処理システムであって、
　情報処理装置は、アプリ画面或いはアプリ画面の一部分領域を選択され、選択されたアプリ画面或いは一部分領域を範囲とする特定パターンを生成表示し、
　画像表示装置は、生成表示された特定パターンをカメラによって撮影して読込み、読み込まれた特定パターンの表示位置および表示サイズを表示エリアとして認識し、認識された表示エリアに、選択されたアプリ画面或いは一部分領域の画像であるアプリ画面画像を表示することを特徴とする情報処理システムである。

　（４）（３）に記載の情報処理システムであって、
　情報処理装置は、生成表示する特定パターンを半透明にすることを特徴とする情報処理システムである。

　（５）（３）に記載の情報処理システムであって、
　画像表示装置は、情報処理装置で生成表示された特定パターンの範囲を示す領域枠を生成して、画像表示装置の表示画面に前記領域枠を表示することを特徴とする情報処理システムである。

　（６）（２）に記載の情報処理システムであって、
　情報処理装置は、複数のアプリを切り替えられる表示アプリ切替えソフトを情報処理装置の表示画面に起動させて表示し、起動表示された表示アプリ切替えソフト上で示されている各アプリのアイコンを選択され、これにより、画像表示装置に表示される前記アプリを選択することを特徴とする情報処理システムである。

　（７）（２）に記載の情報処理システムであって、
　情報処理装置は、アプリ画面或いはアプリ画面の一部分領域を選択され、
　画像表示装置は、選択されたアプリ画面或いは一部分領域をカメラによって撮影し、撮影されたアプリ画面或いは一部分領域の表示位置および表示サイズを表示エリアとして認識し、認識された表示エリアに、選択されたアプリ画面或いは一部分領域の画像であるアプリ画面画像を表示し、
　更に、情報処理装置は、画像表示装置に表示される別のアプリ画面或いは別のアプリ画面の別の一部分領域を選択され、
　画像表示装置は、選択された別のアプリ画面或いは別のアプリ画面の一部分領域をカメラによって撮影し、撮影された別のアプリ画面或いは別のアプリ画面の一部分領域の表示位置および表示サイズを別の表示エリアとして認識し、認識された別の表示エリアに、情報処理装置で選択された別のアプリ画面或いは別のアプリ画面の一部分領域の画像である別のアプリ画面画像を表示することを特徴とする情報処理システムである。

　（８）（２）に記載の情報処理システムであって、
　画像表示装置或いは情報処理装置は、画像表示装置の表示画面内に挿入されるアプリ画面画像と、画像表示装置の表示画面の画像とのコントラストの調和具合を識別し、
　情報処理装置は、識別されたコントラスト調和具合によりコントラストの不調和が識別されたとき、コントラストが調和されるようにアプリ画面の画質調整を行うことを特徴とする情報処理システムである。

　（９）（８）に記載の情報処理システムであって、
　画像表示装置は、視界周囲の明るさを検出する照度センサを有し、
　情報処理装置は、照度センサからの出力に応じて、アプリ画面の輝度を調整することを特徴とする情報処理システムである。

　（１０）（２）に記載の情報処理システムであって、
　情報処理装置で選択されたアプリ画面画像が画像表示装置の表示エリアに表示される際に、情報処理装置は、常時表示か或いは契機通知ごとの表示かを選択され、常時表示を選択された場合には、画像表示装置は、アプリ画面画像を常に表示し、契機通知ごとの表示を選択された場合には、画像表示装置は、情報処理装置で生成された表示開始或いは表示停止の契機通知情報に応じて、アプリ画面画像の表示開始或いは表示停止を行うことを特徴とする情報処理システムである。

（１１）アプリケーションソフトウェアであるアプリを動作させて表示する機能と、カメラを装備した画像表示装置との間の情報の通信連携機能と、を具備する情報処理装置であって、
　情報処理装置は、
　画像表示装置に表示される情報処理装置の画面を選択され、
　カメラによって撮影されて読み込まれた情報処理装置の画面の表示位置および表示サイズを表示エリアとして画像表示装置に認識させ、
　画像表示装置で表示する情報処理装置の画面の画像を画像表示装置に供給し、
　認識された表示エリアに、供給した情報処理装置の画面の画像を表示させるように画像表示装置を制御することを特徴とする情報処理装置である。

　（１２）（１１）に記載の情報処理装置であって、
　情報処理装置は、
　アプリの画面であるアプリ画面或いはアプリ画面の一部分領域を選択され、
　カメラによって撮影されて読み込まれたアプリ画面或いは一部分領域の表示位置および表示サイズを表示エリアとして画像表示装置に認識させ、
　画像表示装置で表示するアプリ画面或いは一部分領域の画像であるアプリ画面画像を画像表示装置に供給し、
　認識された表示エリアに、供給した選択されたアプリ画面或いは一部分領域の画像であるアプリ画面画像を表示させるように画像表示装置を制御することを特徴とする情報処理装置である。

　（１３）（１２）に記載の情報処理装置であって、
　情報処理装置は、
　画像表示装置に表示されるアプリ画面或いは一部分領域を選択され、
　選択されたアプリ画面或いは一部分領域を範囲とする特定パターンを生成表示し、
　カメラによって撮影されて読み込まれた特定パターンを表示エリアとして画像表示装置に認識させ、
　画像表示装置で表示するアプリ画面或いは一部分領域の画像であるアプリ画面画像を画像表示装置に供給し、
　認識された表示エリアに、供給したアプリ画面或いは一部分領域の画像であるアプリ画面画像を表示させるように画像表示装置を制御することを特徴とする情報処理装置である。

　（１４）（１３）に記載の情報処理装置であって、
　情報処理装置は、生成表示する特定パターンを半透明にすることを特徴とする情報処理装置である。

　（１５）（１３）に記載の情報処理装置であって、
　情報処理装置は、画像表示装置に特定パターンの範囲を示す領域枠を生成させることを特徴とする情報処理装置である。

　（１６）（１２）に記載の情報処理装置であって、
　情報処理装置は、
　複数のアプリを切り替えられる表示アプリ切替えソフトを情報処理装置の表示画面に起動させて表示し、
　起動表示された表示アプリ切替えソフト上で示されている各アプリのアイコンを選択され、これにより、画像表示装置に表示されるアプリを選択することを特徴とする情報処理装置である。

　（１７）（１２）に記載の情報処理装置であって、
　情報処理装置は、
　画像表示装置に表示されるアプリ画面或いはアプリ画面の一部分領域を選択され、
　カメラによって撮影されて読み込まれたアプリ画面或いは一部分領域の表示位置および表示サイズを表示エリアとして画像表示装置に認識させ、
　画像表示装置で表示するアプリ画面或いは一部分領域の画像であるアプリ画面画像を画像表示装置に供給し、
　認識された表示エリアに、供給したアプリ画面画像を表示させるように画像表示装置を制御し、
　更に、情報処理装置は、
　画像表示装置に表示される別のアプリ画面或いは別のアプリ画面の別の一部分領域を選択され、
　カメラによって撮影されて読み込まれた別のアプリ画面或いは別のアプリ画面の別の一部分領域の表示位置および表示サイズを別の表示エリアとして画像表示装置に認識させ、
　画像表示装置で表示する別のアプリ画面或いは別のアプリ画面の一部分領域の画像であるアプリ画面画像を画像表示装置に供給し、
　認識された別の表示エリアに、供給した別のアプリ画面画像を表示させるように画像表示装置を制御することを特徴とする情報処理装置である。

　（１８）（１２）に記載の情報処理装置であって、
　情報処理装置は、画像表示装置の画面内に挿入されるアプリ画面画像と、画像表示装置の表示画面の画像と、のコントラストの不調和が情報処理装置或いは画像表示装置で識別されたとき、コントラストが調和されるようにアプリ画面の画質調整を行うことを特徴とする情報処理装置である。

　（１９）（１８）に記載の情報処理装置であって、
　情報処理装置は、視界周囲の明るさを検出する画像表示装置の照度センサからの出力に応じて、アプリ画面の輝度を調整することを特徴とする情報処理装置である。

　（２０）（１２）に記載の情報処理装置であって、
　情報処理装置で選択されたアプリ画面画像が画像表示装置の表示エリアに表示される際に、情報処理装置は、常時表示か或いは契機通知ごとの表示かを選択され、常時表示が選択された場合には、画像表示装置でアプリ画面画像を常に表示するように制御し、契機通知ごとの表示が選択された場合には、表示開始或いは表示停止の契機通知情報を生成し、生成した契機通知情報に応じて、アプリ画面画像の表示開始或いは表示停止が行われるように画像表示装置を制御することを特徴とする情報処理装置である。

　（２１）アプリケーションソフトウェアであるアプリを動作させて表示する情報処理装置との間の情報の通信連携機能と、カメラと、を具備する画像表示装置であって、
　画像表示装置は、
　情報処理装置で選択された情報処理装置の画面をカメラによって撮影して読込み、
　読み込んだ情報処理装置の画面の表示位置および表示サイズを表示エリアとして認識し、
　認識した表示エリアに、情報処理装置で選択された情報処理装置の画面の画像を表示することを特徴とする画像表示装置である。

　（２２）（２１）に記載の画像表示装置であって、
　画像表示装置は、
　情報処理装置で選択されたアプリの画面であるアプリ画面或いはアプリ画面の一部分領域をカメラによって撮影して読込み、
　読み込んだアプリ画面或いは一部分領域の表示位置および表示サイズを表示エリアとして認識し、
　認識した表示エリアに、情報処理装置で選択されたアプリ画面或いは一部分領域の画像であるアプリ画面画像を表示することを特徴とする画像表示装置である。

　（２３）（２２）に記載の画像表示装置であって、
　画像表示装置は、
　情報処理装置でアプリ画面或いは一部分領域に生成表示された特定パターンをカメラによって撮影して読込み、
　読み込んだ特定パターンの表示位置および表示サイズを表示エリアとして認識し、
　認識した表示エリアに、情報処理装置で選択されたアプリ画面或いは一部分領域の画像であるアプリ画面画像を表示することを特徴とする画像表示装置である。

　（２４）（２３）に記載の画像表示装置であって、
　画像表示装置は、情報処理装置で生成表示された半透明な特定パターンをカメラによって撮影して読込むことを特徴とする画像表示装置である。

　（２５）（２３）に記載の画像表示装置であって、
　画像表示装置は、情報処理装置で生成表示された特定パターンの範囲を示す領域枠を生成し、画像表示装置の表示画面に領域枠を表示することを特徴とする画像表示装置である。

　（２６）（２２）に記載の画像表示装置であって、
　画像表示装置は、情報処理装置で起動表示された表示アプリ切替えソフト上に示されている各アプリのアイコンの中から選択されたアイコンのアプリのアプリ画面或いは一部分領域の画像であるアプリ画面画像を表示することを特徴とする画像表示装置である。

　（２７）（２２）に記載の画像表示装置であって、
　画像表示装置は、
　情報処理装置で選択されたアプリ画面或いは一部分領域をカメラによって撮影して読込み、
　読み込んだアプリ画面或いは一部分領域の表示位置および表示サイズを表示エリアとして認識し、
　認識した表示エリアに、アプリ画面或いは一部分領域の画像であるアプリ画面画像を表示し、
　更に、画像表示装置は、
　情報処理装置で選択された別のアプリ画面或いは別のアプリ画面の別の一部分領域をカメラによって撮影して読込み、
　読み込んだ別のアプリ画面或いは別のアプリ画面の別の一部分領域の表示位置および表示サイズを別の表示エリアとして認識し、
　認識した別の表示エリアに、情報処理装置で選択された別のアプリ画面或いは別のアプリ画面の一部分領域の画像であるアプリ画面画像を表示することを特徴とする画像表示装置である。

　（２８）（２２）に記載の画像表示装置であって、
　画像表示装置は、画像表示装置の画面内に挿入されるアプリ画面画像と画像表示装置の表示画面の画像とのコントラストの不調和が情報処理装置或いは画像表示装置で識別されたとき、コントラストが調和されるように情報処理装置で画質調整されたアプリ画面画像を表示することを特徴とする画像表示装置である。

　（２９）（２８）に記載の画像表示装置であって、
　画像表示装置は、視界周囲の明るさを検出する照度センサを有し、照度センサからの出力に応じて、情報処理装置で輝度調整されたアプリ画面画像を表示することを特徴とする画像表示装置である。

　（３０）（２２）に記載の画像表示装置であって、
　情報処理装置で選択されたアプリ画面画像が画像表示装置の表示エリアに表示される際に、画像表示装置は、情報処理装置で常時表示が選択された場合には、アプリ画面画像を常に表示し、情報処理装置で契機通知ごとの表示が選択された場合には、情報処理装置で生成された表示開始或いは表示停止の契機通知情報に応じて、アプリ画面画像の表示開始或いは表示停止を行うことを特徴とする画像表示装置である。

　本発明の技術を用いることにより、ＨＭＤなどの画像表示装置の表示画面に好適な表示位置及び表示サイズで、スマホなどの情報処理装置で選択されたアプリ等の画面を簡便に使い勝手良く表示することができ、その好適な表示配置への自由度が高く、ユーザにとって利便性の良い操作性を可能にし、更に、画像表示装置の表示画面内に挿入される情報処理装置の表示画面画像と画像表示装置の表示画面画像とのコントラストの調和が図れる情報処理システム、情報処理装置、および画像表示装置を実現できるという効果がある。

　また、上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

本実施形態に係る情報処理システム、情報処理装置、画像表示装置の実施例を外観模式的に説明する図の例である。本実施形態に係る情報処理システム、情報処理装置、画像表示装置の実施例を外観模式的に説明する図の例である。本実施形態に係る情報処理システム、情報処理装置、画像表示装置の実施例を外観模式的に説明する図の例である。本実施形態に係る情報処理システム、情報処理装置、画像表示装置の実施例を外観模式的に説明する図の例である。本実施形態に係る情報処理システム、情報処理装置、画像表示装置の実施例を外観模式的に説明する図の他の例である。本実施形態に係る情報処理システム、情報処理装置、画像表示装置の実施例を外観模式的に説明する図の他の例である。本実施形態に係る情報処理システム、情報処理装置、画像表示装置の実施例を外観模式的に説明する図の他の例である。本実施形態に係る情報処理システム、情報処理装置、画像表示装置において、アプリ画面の一部分領域を選択する場合を説明する図の例である。本実施形態に係る情報処理システム、情報処理装置、画像表示装置において、情報処理装置に表示されたアプリをアイコン指定により選択する場合を説明する図の例である。本実施形態に係る情報処理システム、情報処理装置、画像表示装置の基本動作を説明するフローチャートの例である。本実施形態に係る情報処理システム、情報処理装置、画像表示装置において複数アプリの表示動作を説明するフローチャートの例である。本実施形態に係る情報処理システム、情報処理装置、画像表示装置において、折り畳み式スマホの左右折り畳み画面の表示を行う際の情報処理装置の動作を外観模式的に説明する図の例である。本実施形態に係る情報処理システム、情報処理装置、画像表示装置において、折り畳み式スマホの左右折り畳み画面の表示を行う際の情報処理装置の動作を外観模式的に説明する図の例である。本実施形態に係る情報処理システム、情報処理装置、画像表示装置において、情報処理装置の画面画像と画像表示装置の画面画像とのコントラスト調和処理を説明する図の例である。本実施形態に係る情報処理システム、情報処理装置、画像表示装置において、情報処理装置の画面画像と画像表示装置の画面画像とのコントラスト調和処理を説明する図の例である。本実施形態に係る情報処理システム、情報処理装置、透過型の画像表示装置において、情報処理装置の画面画像と画像表示装置の画面画像とのコントラスト調和時の画像調整処理を説明するフローチャートの例である。本実施形態に係る情報処理システム、情報処理装置、遮蔽型の画像表示装置において、情報処理装置の画面画像と画像表示装置の画面画像とのコントラスト調和時の画像調整処理を説明するフローチャートの例である。本実施形態に係る情報処理システム、情報処理装置、画像表示装置において、常時表示或いは契機通知ごとの表示を行う場合の処理を説明するフローチャートの例である。本実施形態に係る情報処理システム、情報処理装置、画像表示装置の構成例を示すブロック図である。本実施形態に係る情報処理システム、情報処理装置、画像表示装置の構成例を示すブロック図である。本実施形態に係る情報処理システム、情報処理装置、画像表示装置において、画像表示装置の表示位置を予め定義し位置選択アプリで位置決めする場合の動作を説明する図の例である。本実施形態に係る情報処理システム、情報処理装置、画像表示装置において、画像表示装置の表示位置を予め定義し位置選択アプリで位置決めする場合の動作を説明する図の例である。本実施形態に係る情報処理システム、情報処理装置、画像表示装置において、画像表示装置の表示位置を予め定義し位置選択アプリで位置決めする場合の動作を説明する図の例である。本実施形態に係る情報処理システム、情報処理装置、画像表示装置において、画像表示装置の表示位置を予め定義し位置選択アプリで位置決めする場合の動作を説明する図の例である。

　以下、本発明の実施形態の例を、図面を用いて説明する。本実施例では、以下に示すような技術を提供することにより、高度な先進技術でユーザの快適な生活、利便性を確保する。この映像情報機器の連携システムの実現により、国連の提唱する持続可能な開発目標（ＳＤＧｓ：Ｓｕｓｔａｉｎａｂｌｅ　Ｄｅｖｅｌｏｐｍｅｎｔ　Ｇｏａｌｓ）の「９．産業と技術革新の基盤をつくろう」に貢献する。

　カメラを装備した画像表示装置と、アプリ（アプリケーションソフトウェアの略称）等を動作させて表示する情報処理装置を有し、画像表示装置と情報処理装置との間で情報の通信連携機能を具備する情報処理システムであって、画像表示装置の具体例としてヘッドマウントディスプレイ（Head Mounted Display；ＨＭＤ、以下、ＨＭＤと称す）を、情報処理装置の具体例として携帯型のスマホ（スマートフォンの略称）を、例にして説明する。ＨＭＤとしては、仮想オブジェクトを表示部に表示しつつ、目の前の実体物を、レンズを透過して視認するタイプ（所謂、光学シースルー型）や、現実空間の実体物をカメラで撮影した映像や、映画や音楽、ゲームなどのコンテンツを頭部前面に設けられた表示部で表示するタイプ（所謂、ビデオシースルー型、遮蔽型）があり、ユーザは表示された実体物や仮想オブジェクトを間近に見ることができるものである。

　図１Ａ～図１Ｄは、本実施形態に係る情報処理システム、情報処理装置、画像表示装置の実施例を外観模式的に説明する図の例である。図１Ａではスマホ１００に格納されているアプリが動作し表示されている表示面側のスマホ１００を、図１Ｂでは持ったスマホ１００と２点鎖線１２８で示すように情報の通信連携のあるＨＭＤ２００をユーザ１０が頭部に装着している状態を、図１Ｃ、図１ＤではＨＭＤ２００の表示画面１３０を示している。以下、スマホ１００の表示画面１０１上にあるアプリの画面（以降、アプリ画面という。すなわち、アプリ画面は、例えば、スマホ１００等の情報処理装置に表示されるアプリの画面をいう。）を仮想オブジェクトとしてＨＭＤ２００の表示画面に挿入して表示し、ＨＭＤ２００では周囲の風景或いは画像コンテンツと併せてスマホ１００のアプリ画面を視認できるようにする場合について説明する。

　図１Ａにおいて、スマホ１００は、表示画面１０１にアプリの一例である地図アプリのアプリ画面１０２、天気アプリのアプリ画面１０３を表示している。ＨＭＤ２００に挿入表示するアプリ画面として例えば地図アプリのアプリ画面１０２を選択する場合、ユーザ１０が指で地図アプリのアプリ画面１０２を長押し又は接触（以降、タッチという）することにより、ＨＭＤ２００に挿入表示するアプリ画面として地図アプリのアプリ画面１０２が選択される。このように、情報処理装置は、ユーザ入力によって画像表示装置に表示される情報処理装置の画面を選択される。

　更に、選択された地図アプリのアプリ画面１０２上に斜め点線で示した特定パターン１０４を生成し表示してもよい。表示された特定パターン１０４は、ＨＭＤ２００を装着したユーザ１０がスマホ１００の表示画面上にある特定パターン１０４を好適な位置で見た際に、ＨＭＤ２００に挿入表示するアプリ画面の表示エリアを示すことになる。なお、ＨＭＤ２００に挿入表示するアプリ画面を選択する方法としては、深押しや強く押す等のタッチでもよく、またスマホ１００の操作入力インタフェースを介しての操作でもよい。また、特定パターンを半透明にしてもよく、この場合、特定パターンを表示しつつ元々あるアプリ画面を視認することができ、利便性の向上が図れる。

　図１Ｂに示すように、スマホ１００の画面が、ユーザ１０が装着したＨＭＤ２００の表示画面内に入ると、ＨＭＤ２００のカメラ１２１はスマホ１００の特定パターン１０４を撮影して捉える。ＨＭＤ２００では、１２２～１２７のように上下左右前後方向に移動する特定パターン１０４をカメラ１２１で撮影して読み込み、読み込んだ特定パターン１０４の位置をＨＭＤ２００の表示画面上で表示されるアプリ画面の表示位置として認識する。ここで１２６、１２７は遠近方向に移動する場合であり、特定パターン１０４をカメラ１２１で撮影して読み込むと表示サイズを拡大縮小することができる。そして、読み込んだ特定パターン１０４の表示領域の大きさをＨＭＤ２００の表示画面上で表示されるアプリ画面の表示サイズとして認識する。このように、画像表示装置は、選択された情報処理装置の画面をユーザ１０がカメラ１２１にかざすことによりカメラ１２１によって撮影して読込み、読み込まれた情報処理装置の画面の表示位置および表示サイズを表示エリアとして認識する。

　図１Ｃは、スマホ１００の画面をＨＭＤ２００に取り込む際のＨＭＤ内に見える表示を示したものである。図１Ｃ上段は、スマホ１００の画面がＨＭＤ２００の表示範囲内に入ったことをＨＭＤ２００に搭載したカメラがとらえたときの図である。スマホ１００は、選択した地図アプリのアプリ画面１０２の上に、特定パターン１０４を表示している。

　ＨＭＤ２００では、スマホ１００に表示された画面をカメラ１２１でとらえ、図１Ｃ中段に示すように、読み込んだ特定パターン１０４の領域を示す領域枠１３１を生成する。なお、スマホ１００で予め特定パターン１０４と合わせて領域を示す太線等を生成しておいてもよい。ＨＭＤ２００の表示画面１３０には、特定パターン１０４が表示されたスマホ１００の上下左右遠近方向への移動に合わせて、生成された領域枠１３１を表示する。ユーザ１０は、特定パターンの領域を示す領域枠１３１を見ながら拠り所にして、上下左右遠近方向にスマホ１００を移動させ、アプリ画面のＨＭＤ表示に好適な表示位置および表示サイズを決定する。そして、図１Ｃ下段に示すように、ＨＭＤ２００の画面内の所定の位置に所定のサイズで、スマホ１００のアプリ画面の画像１３２を表示する。

　このように、ＨＭＤ２００からの視界を介してスマホ１００の画面を見ながら、表示する領域枠１３１を移動させることによって、「この位置に、このサイズで表示します」ということを決定する際、微調整しながら確認することが容易になる。また、上下左右遠近の距離を測定する際に、ＨＭＤ２００に搭載した距離センサによって、ＨＭＤ２００とスマホ１００の距離を測定し、その結果を合わせて用いてもよい。こうして、画像表示装置は、選択された情報処理装置の画面をユーザ１０が好適な位置にかざすことによりカメラ１２１によって撮影して読込む。

　ここで、ＨＭＤ２００に搭載されたカメラのとらえた画像と、ＨＭＤ２００の画面に表示する領域枠との関係は、製品出荷時の調整などで予め対応関係を記憶しておくとよい。また、スマホ１００の画面がＨＭＤ２００に対して真正面に向いていない場合には、スマホ１００の画面が斜めに見えてしまうが、そのような場合には、スマホ１００の形状を把握することで、スマホの傾きを認識し、ＨＭＤ２００に表示する画面を補正して、正面から画面を見た時と同じ形状に表示するようにする。このような方法を用いることで、適切な位置にスマホ画面を表示し、画面の歪みを補正することが可能となる。

　次に、図１Ｄは、図１Ｃの場合に対し、表示に好適な表示位置および表示サイズが図１Ｃと異なる場合を例示したものである。ユーザ１０は、スマホ１００の上下左右遠近の配置調整により、ＨＭＤ２００の画面内のどの表示位置やどの表示サイズにも配置可能である。ＨＭＤ２００の表示画面上では領域枠１３１が表示されるので、表示画面内の画像を容易に視認しつつ、例えば表示画面内の画像の邪魔にならない場所など、アプリ画面の挿入表示に好適な表示位置および表示サイズを自由自在にかつ簡便に決定することができる。なお、領域枠がなくて特定パターンによってＨＭＤ２００の画面内の表示位置を確定させてもよい。

　ここで、図１Ｃ下段、図１Ｄ下段の動作として、ＨＭＤ２００は、決定された表示位置および表示サイズで定められた表示エリアの情報をスマホ１００に送信する。スマホ１００では、表示エリア情報を受信し、表示エリア内に表示するアプリ画面の画像データを生成し、ＨＭＤ２００に送信する。ＨＭＤ２００では、受信したアプリ画面の画像（単に画像またはアプリ画面画像という。すなわち、アプリ画面画像は、例えば、ＨＭＤ２００等の画像表示装置に表示されるアプリの画面をいう。）、例えば地図アプリのアプリ画面１０２の画像１３２を定められた表示エリアに表示する。このように、画像表示装置は、認識された表示エリアに、選択された情報処理装置の画面の画像を表示する。なお、最初にスマホ１００で選定したアプリ画面、例えば地図アプリのアプリ画面１０２の画像１３２のまま表示してもよいし、ＨＭＤ２００の画素数や解像度から、地図アプリのアプリ画面１０２の画像の解像度の変換を行ってもよい。また、他のデバイスへの出力用表示画面の設定を持っている場合には、その画像データを送信してもよい。

　また、ＨＭＤ２００内の表示位置と表示サイズが確定した後、スマホ１００のアプリ画面の画像の表示位置は、ＨＭＤ２００の表示画面１３０の枠内で同じ位置に表示するか、背景位置に固定された関係の位置（図１Ｃでは、タワーの右上）に張り付いたように表示するか、ユーザ１０が選択できるようにしてもよい。その場合、ユーザ１０が頭部を動かした場合には、前者の場合には、ＨＭＤ２００の画面上の同じ位置にスマホ１００のアプリ画面画像が表示され、後者の場合には、ＨＭＤの画面内では移動するが、背景との位置関係は変わらない位置に表示される。さらに、頭部を動かした場合や周囲の風景が変化して、アプリ画面画像の表示位置を移動させたくなった場合には、ＨＭＤ２００の画面に対する操作、例えばジェスチャー操作によって、ＨＭＤ２００に表示されたアプリ画面画像を掴んで移動させるような操作や、視線によってアプリ画面画像を選択して移動させるような操作により、ＨＭＤに表示させたアプリ画面画像の位置を移動させることができるようにする。

　ここまでで説明したように、スマホ１００のアプリ画面をＨＭＤ２００の表示画面上に表示する際に、ＨＭＤ２００にスマホ１００をかざした状態で、スマホ１００を上下左右に動かしたり、近付けたり遠ざけたりすることにより、アプリ画面の表示エリアを定める表示位置及び表示サイズを高い自由度で決めることができる。また、アプリ画面の表示位置及び表示サイズを設定した後であれば、スマホ１００をポケットやカバンの中に入れていた場合や、手が届かない位置にスマホ１００を置いていた場合などスマホ１００が視野外にあっても、スマホ１００のアプリ画面をＨＭＤ２００の表示画面上で視認することができる。もしくは、ＨＭＤ２００の画面に表示設定をしたスマホ１００のアプリをアプリ画面から消去して、残ったスマホ１００のアプリを画面上に拡張して表示してもよい。さらに、スマホ１００のアプリ画面をＨＭＤ２００の表示画面上に常時表示するだけでなく、例えば、電話アプリの場合、着信があったときに、ＨＭＤ２００の表示画面上の決定した表示位置に表示サイズでスマホ１００のアプリ画面を表示させることも可能である。

　なお、この実施例では、スマホ１００のアプリを例に説明したが、これはスマホ１００に限定されるものではなく、スマートウォッチのアプリや、カーナビの画面等、他の機器と接続して連携可能なものであればよい。

　次に、スマホ１００のアプリ画面の一部分を選択しＨＭＤ２００で表示する場合について、図２Ａ～図２Ｃを用いて説明する。なお、図２Ａ～図２Ｃにおいて、図１Ａ～図１Ｄに示され同一の符号を付された部分は、図１Ａ～図１Ｄで既に説明した動作と同一の動作を有するので、それらの詳細説明は省略する。図２Ａ、図２Ｂ、図２Ｃは、それぞれ図１Ａ、図１Ｂ、図１Ｃに対応する。図２Ａではスマホ１００に格納されているアプリが動作し表示されている表示面側のスマホ１００を示している。図２Ｂではユーザ１０がスマホ１００を手に持ち頭部にはスマホ１００と情報の通信連携のあるＨＭＤ２００を装着している状態を示している。図２ＣではＨＭＤ２００を介して見えるスマホ１００の画面とＨＭＤ２００の表示画面１３０の例を示している。

　図２Ａにおいて、ＨＭＤ２００に挿入表示する画面がアプリ画面の一部分、例えば天気アプリのアプリ画面１０３の中の明日の天気を示す領域２０１である場合には、まずユーザ１０が指で天気アプリのアプリ画面１０３をタッチして天気アプリを選択し、更に天気アプリのアプリ画面１０３の一部分である明日の天気を示す領域２０１を選択して、部分的なエリア指定を行う。或いは、天気アプリのアプリ画面１０３の一部分である明日の天気を示す領域２０１を指先で囲って部分的なエリア指定を行ってもよい。これらのエリア指定により、ＨＭＤ２００に挿入表示する部分的なアプリの表示画面が選択される。例えば図２Ａの上段のように天気アプリのアプリ画面１０３の中の明日の天気を示す領域２０１が選択される。このように、スマホ１００は、アプリ画面の一部分領域を選択されてもよい。更に、図２Ａの下段に示すように、選択された部分的なアプリの画面上に、例えば明日の天気を示す領域２０１上に斜め点線で示した特定パターン２０２を生成し表示する。

　スマホ１００がＨＭＤ２００の表示画面内に入ると、図２Ｂに示すように、ＨＭＤ２００のカメラ１２１は特定パターン２０２の表示を撮影して捉える。ＨＭＤ２００では、上下左右前後方向１２２～１２７に移動する特定パターン２０２をカメラ１２１で撮影して読み込み、読み込んだ特定パターン２０２の位置とサイズをＨＭＤ２００の表示画面上で表示されるアプリ画面の表示位置として認識する。特に、ＨＭＤ２００では、前後方向すなわち遠近方向１２６、１２７に移動する特定パターン２０２をカメラ１２１で撮影して読み込み、読み込んだ特定パターン２０２の大きさをＨＭＤ２００の表示画面上で表示されるアプリ画面の表示サイズとして認識する。更に、ＨＭＤ２００では、読み込んだ特定パターン２０２の範囲を示す領域枠２０３を生成する。

　ＨＭＤ２００の表示画面１３０には、図２Ｃ上段に示すように、特定パターン２０２が表示される。このとき、図２Ｂのようにスマホ１００の上下左右遠近方向への移動に合わせて、カメラ１２１でとらえた特定パターンの領域と同じ大きさの領域枠２０３を表示する。ユーザ１０は、特定パターンの範囲を示す領域枠２０３を見ながら、上下左右遠近方向にスマホ１００を移動させ、アプリの部分的な画面のＨＭＤ表示に好適な表示位置および表示サイズを決定する。表示位置と表示サイズが決まったら、スマホ１００から表示アプリの一部の画面表示の情報を入手して、図２ＣのようにＨＭＤ２００の画面上に表示する。

　表示画像に関する情報は、図１の説明と同様であり、ＨＭＤ２００では決定された表示位置および表示サイズの情報をスマホ１００に送信し、スマホ１００では取得した表示エリアの情報に合わせて、ＨＭＤ２００に表示する部分的なアプリ画面の画像データを生成し、ＨＭＤ２００に送信する。ＨＭＤ２００では、受信した画像データから部分的なアプリ画面画像、例えば天気アプリの一部分の画面である明日の天気を示す領域２０１の画像２０４を定められた表示エリアに表示する。よって、図１の場合と同様に、アプリの部分的な画面をＨＭＤ２００の表示画面の定められた表示エリアに表示することができ、図１の場合と同様な効果を得ることができる。このように、アプリ画面の一部分領域の画像もアプリ画面画像という。すなわち、一部分領域であるアプリ画面画像は、例えば、ＨＭＤ２００等の画像表示装置に表示されるアプリ画面の選択された一部分領域の画像をいう。

　図３Ａは、アプリ画面の一部分を指先で囲って部分的なエリア指定を行う方法の一例を示したものである。図３Ａに示すように、地図アプリのアプリ画面１０２の一部分であるタワー近傍を指先で囲み、囲まれた領域３０１が選択される。更に、囲まれた領域３０１上に斜め点線で示した特定パターン３０２を表示する。もしくは、囲まれた領域を太線などの枠で表示してもよい。この後の操作は、図１および図２で示したものと同様である。

　また、図３Ｂは、複数のアプリを切り替えられる表示アプリ切替えソフトを用いて、ＨＭＤ２００に表示させるアプリを選択する場合を説明する図の例である。図３Ｂに示すように、スマホ１００に、複数のアプリを切り替えられる表示アプリ切替えソフト３０５を起動させて表示画面上に表示する。スマホ１００上のアプリ画面を直接指示すると、そのアプリの動作に関する操作（地図アプリでは特定の場所の指定など）となる場合があり、操作が混同しやすいためである。そのため、表示アプリ切替えソフト３０５を起動し、その上で表示されている複数のアプリの表示を縮小したアイコン、例えば地図アプリのアイコン３０６、天気アプリのアイコン３０７のうちどちらかを指先でタッチして、ＨＭＤ２００に表示されるアプリを選択する。この場合、アプリ選択の操作を視覚的に容易に行うことが可能になる。なお、アプリアイコンの選択操作としては、指先によるタッチ以外、例えば音声でアプリ名を入力するなど、他の方法でもよい。

　図４は、本実施形態に係る情報処理システム、情報処理装置、画像表示装置の基本動作を説明するフローチャートの例である。図４において、右のスマホ１００側では、ＨＭＤ２００の表示画面に表示させるアプリが選択され、また必要ならアプリ画面内の部分的な画面（一部分領域）の指定が行われる（Ｓ４０１）。更に、選択されたアプリ画面もしくは指定されたアプリ画面の一部分領域の画面上に特定パターン１０４、２０２が表示される（Ｓ４０２）。一方、ＨＭＤ２００側では、スマホ１００で表示された特定パターン１０４、２０２の読込みを待機するモードを起動する（Ｓ４０３）。この状態で、スマホ１００のアプリ画面がＨＭＤ２００の画面内に見えてくると（Ｓ４０４）、ＨＭＤ２００側では、カメラ１２１によりアプリ画面を撮影して認識し（Ｓ４０５）、アプリ画面上の特定パターン１０４、２０２を読込み、特定パターン１０４、２０２の範囲を示す領域枠１３１、２０３をＨＭＤ２００の表示画面に表示する（Ｓ４０６）。更に、ユーザ１０は表示された領域枠１３１、２０３を見ながらスマホ１００の移動による表示位置とサイズ調整が行われる。アプリ画面もしくはアプリ画面の一部分領域の画面をＨＭＤ画面内に表示させる好適な表示位置・表示サイズが決定されると、表示位置と表示サイズで定められた表示エリアに関するＨＭＤ２００の情報をスマホ１００に送信する（Ｓ４０７）。スマホ１００側では、表示エリア情報を取得し、また特定パターン１０４、２０２の表示を停止する（Ｓ４０８）。次に、必要に応じてユーザがスマホ１００のアプリ画面をピンチイン・ピンチアウトすることにより、ＨＭＤ２００に表示するアプリ画面の拡大や縮小を行う。そして、表示サイズに合わせて生成されたアプリ画面の画像データをＨＭＤ２００に送信する（Ｓ４１０）。ＨＭＤ２００側では、アプリ画面の画像データを受信して取得し（Ｓ４１１）、定められた表示エリアにスマホ１００のアプリ画面画像を表示する（Ｓ４１２）。（ここで、ＨＭＤ２００に表示されたスマホ１００のアプリ画面画像の文字が小さく見えにくい場合や、必要な情報が含まれていない場合には、Ｓ４０９の操作を繰り返す（図示しない）。）

　次に、ユーザ１０はスマホ１００側でアプリ画面画像のＨＭＤ画面内表示を常時表示するか、所定の契機によって表示するかを選択する（Ｓ４１３）。常時表示（Ｓ４１３のＮ）が選択されると、スマホ１００から表示のための画像データがＨＭＤ２００に継続的に送られる。ＨＭＤ画像表示の一旦停止が設定されると（Ｓ４１３のＹ）、スマホ１００からアプリ画面画像の表示停止情報をＨＭＤ２００に送信する（Ｓ４１４）。ＨＭＤ２００は、アプリ画面の画像表示停止情報を受信すると（Ｓ４１５）、アプリ画面画像のＨＭＤ画面における表示を停止する（Ｓ４１６）。ここで、常時表示が選択された後に、ユーザ１０がアプリ画面画像の表示を停止したい場合には、ＨＭＤ２００からの操作によって、スマホ１００に、アプリ画面画像の表示停止を指示する（図示しない）。

　以上のシーケンスにより、ＨＭＤ２００の表示画面内に好適な表示位置及び表示サイズでスマホ１００のアプリ画面画像を簡便に表示することが可能になる。なお、点線４００で囲まれた部分はスマホ１００内の処理シーケンスを、点線４０２で囲まれた部分はＨＭＤ２００内の処理シーケンスを示している。また、点線４０３で囲まれた部分はスマホ１００側でアプリ画面画像のＨＭＤ画面内表示設定までの処理シーケンスを示し、点線４０４で囲まれた部分はＨＭＤ２００側でアプリ画面画像のＨＭＤ画面内表示設定までの処理シーケンスを示している。

　図５は、本実施形態に係る情報処理システム、情報処理装置、画像表示装置において、複数のアプリ画面画像をＨＭＤ画面に表示させる場合の例を示したものである。ここでは、第１、第２の２つのアプリをＨＭＤ画面に表示させる場合について説明する。なお、図５において、図４に示され同一の符号を付された部分は、図４で既に説明した動作と同一の動作を有するので、それらの詳細説明は省略する。図５において、スマホ１００の第１のアプリ画面画像をＨＭＤ画面内に表示させる処理シーケンスは、図４で説明したと同様であり、点線４０３、４０４で囲まれた部分の処理シーケンスで行われ、スマホ１００の第１のアプリ画面画像がＨＭＤ画面に好適な表示エリアで表示される。次に、スマホ１００側で別の第２のアプリ画面画像をＨＭＤ画面内に追加表示することが設定されると（Ｓ５０１のＹ）、点線４０３、４０４で囲まれた部分の処理シーケンスと同じ処理シーケンスである点線４０５、４０６で囲まれた部分の処理シーケンスを実行する。そして、スマホ１００の第１のアプリ画面画像に加え、スマホ１００の第２のアプリ画面画像がＨＭＤ画面内の表示に好適な表示エリアに表示される。ここで、スマホ１００側で第１、第２両方のアプリ画面画像のＨＭＤ画面内表示を常時表示するか、所定の契機によって表示するかを選択する（Ｓ５０２）。常時表示（Ｓ５０２のＮ）が選択されると、スマホ１００から表示のための画像データがＨＭＤ２００に継続的に送られる。ＨＭＤ画像表示の停止が設定されると（Ｓ５０２のＹ）、スマホ１００側では両アプリ画面画像の表示停止情報をＨＭＤ２００に送信する（Ｓ５０３）。ＨＭＤ２００側では、両アプリ画面画像の表示停止情報を受信すると（Ｓ５０４）、スマホ１００の第１、第２両方のアプリ画面画像のＨＭＤ画面への表示を停止する（Ｓ５０５）。よって、以上のシーケンスにより、ＨＭＤの表示画面に好適な表示位置及び表示サイズでスマホ１００の第１、第２両方のアプリ画面画像を簡便に使い勝手良く表示することができる。なお、二つ以上の複数アプリの場合も、第２のアプリ画面画像のＨＭＤ表示処理を続けて繰り返せばよい。また、ここでは、２つのアプリの常時表示か契機ごとの表示かを一緒に選択する例を示したが、アプリごとに別の設定を選択してもよい。その場合は、例えば、Ｓ５０１の前に1つ目のアプリの表示方法を選択すればよい。

　図６Ａ及び図６Ｂは、スマホ１００の複数の一部分領域のアプリ画面をＨＭＤ画面に表示させる場合として、表示画面を折り畳める折り畳み式スマホ６００の場合について説明するものである。なお、図６Ａ及び図６Ｂにおいて、図１Ａ～図１Ｄ、図２Ａ～図２Ｃに示され同一の符号を付された部分は、図１Ａ～図１Ｄ、図２Ａ～図２Ｃで説明した動作と同一の動作を有するので、それらの詳細説明は省略する。

　折り畳み式スマホ６００の左半分の左側画面６０１がＨＭＤ２００の表示画面内に入ると、図６Ａに示すように、ＨＭＤ２００のカメラ１２１は左側画面６０１上に表示された特定パターン６０２を撮影して捉える。ＨＭＤ２００では、上下左右前後方向１２２～１２７に移動する特定パターン６０２をカメラ１２１で撮影して読み込み、読み込んだ特定パターン６０２の位置をＨＭＤ２００の表示画面上で表示される表示位置として認識する。

　次に、図６Ｂでは、読み込んだ特定パターン６０２の大きさをＨＭＤ２００の表示画面上で表示される左側画面６０１の表示サイズとして認識する（図６Ｂ左上段）。更に、ＨＭＤ２００は、読み込んだ特定パターン６０２の範囲を示す領域枠６０３を生成する（図６Ｂ左中段）。ユーザ１０は、ＨＭＤ２００に表示された領域枠６０３を見ながら、上下左右遠近方向に折り畳み式スマホ６００を移動させ、折り畳み式スマホ６００の左側画面６０１がＨＭＤに表示される好適な表示位置および表示サイズを決定する。ＨＭＤ２００では決定された表示位置および表示サイズで定められた表示エリアの情報を折り畳み式スマホ６００に送信し、折り畳み式スマホ６００では取得した表示エリアに表示する画像データを生成し、ＨＭＤ２００に送信する。ＨＭＤ２００では、受信した画像データにより左側画面６０１の画像６０４を定められた表示エリアに表示する。

　更に続けて、折り畳み式スマホ６００の右半分の右側画面６０５を別の位置に表示する例を示す。ここで、左側画面６０１の場合と同様であり、ＨＭＤ２００では読み込んだ特定パターン６０６の範囲を示す領域枠６０７を表示する。ユーザ１０は、領域枠６０７を見ながら、上下左右遠近方向に折り畳み式スマホ６００を移動させ、折り畳み式スマホ６００の右側画面６０５がＨＭＤ２００に表示される好適な表示位置および表示サイズを決定する。ＨＭＤ２００では、決定された表示位置および表示サイズで定められた表示エリアに、折り畳み式スマホ６００の右側画面６０５の画像６０８を表示する。この操作により、折り畳み式スマホ６００を折り畳んだときの状態で左右の画面半分ずつをＨＭＤ２００の画面上の異なる位置への表示が可能となる。

　なお、図６Ａ及び図６Ｂでは、折り畳みスマホ６００の二つのアプリ画面の場合を例示したが、複数のスマホ１００の画面による複数のアプリ画面の表示でも同様の作用、効果が得られることは言うまでもない。

　次に、ＨＭＤ画面に表示されたアプリ画面画像とＨＭＤ２００の画面とのコントラスト調和処理について、図７Ａ及び図７Ｂを用いて説明する。特定パターンの読込みによりＨＭＤ画面に表示されたアプリ画面画像とＨＭＤ２００の表示画面の画像とのコントラストがアンバランスになると、挿入したアプリ画面画像（アプリ挿入画面画像ともいう。）が見づらくなったり、アプリ挿入画面画像が強調され過ぎてしまいＨＭＤ画面の画像に目が行きにくくなったりするなどの不具合が生じる。ここではまず、透過型ＨＭＤを例に説明する。

　図７Ａは、屋外など周囲が明るくアプリ画面画像が見えにくい場合に対するコントラスト調和処理を、図７Ｂは、逆に夜間など周囲が暗くアプリ画面画像とのコントラストが強すぎる場合に対するコントラスト調和処理を説明する図の例である。

　図７Ａに示すように、屋外など周囲が明るい状態ではレンズを通して明るく見えるＨＭＤ２００の周囲の風景８０１に対して、アプリ画面の画像８０２は相対的に暗い場合がある。このような場合、アプリ画面画像は、周囲の明るさにより識別できなくなってしまう。これに対して、ＨＭＤ２００では、周囲の明るさや暗さを検出するための照度センサを備え、これにより、アプリ画面画像が表示される表示位置の周辺の明るさを検知することが可能である。もしくは、ＨＭＤ２００が周囲を撮影するカメラ１２１を装備している場合、カメラ１２１で撮影した画像情報から輝度分布を検出することが可能である。輝度情報からＨＭＤ周辺の平均輝度、もしくはアプリ画面の画像８０２の表示位置周辺の明るさを検出し、検出した周囲の明るさ情報をスマホ１００に送信する。スマホ１００では、受信した周囲の明るさ情報に応じてアプリ挿入画面画像の画質調整として輝度を上げて、輝度アップされたアプリ画面の画像８０３をＨＭＤに表示する。これにより、アプリ画面画像とＨＭＤ周辺のコントラストが明確になり、アプリ画面画像が暗くて不鮮明に見えることを解消或いは軽減できる。

　また、図７Ｂに示すように、夜間など周囲が暗い状態ではレンズを通して暗く見える周囲の風景に対して、アプリ画面の画像８０５は相対的に明るく見えてしまい、アプリ画面画像が強調され過ぎてしまうことがある。この場合も同様に、ＨＭＤ２００の照度センサにより、周囲の明るさ（暗さ）を検出して、適切な輝度でアプリ画面画像の表示を調整することができる。また、ＨＭＤ２００がカメラ１２１を装備している場合にはカメラ１２１で撮影した画像情報から、輝度分布を検出することが可能である。輝度情報からＨＭＤ周辺の平均輝度、もしくはアプリ画面の画像８０５を表示する位置周辺の明るさを検出し、検出した周囲の明るさ情報をスマホ１００に送信する。スマホ１００では、受信した周囲の明るさ情報に応じてアプリ挿入画面画像の画質調整として輝度を下げて、アプリ画面の画像８０６をＨＭＤ２００に表示する。これにより、アプリ挿入画面画像とＨＭＤ表示画面画像とのコントラストが調和し、アプリ挿入画面画像が強調され過ぎてしまうことを解消或いは軽減でき、強いコントラストによって生じる目の疲労を低減することができる。また、アプリ挿入画面画像の画質調整として色調を調整してアプリ挿入画面画像の強調を抑えてもよい。

　図７Ａ、図７Ｂで説明したように、スマホ１００とＨＭＤ２００が上述のような連携をしていないとき、即ちスマホ１００単体の場合では、スマホ１００は周囲環境に合わせてアプリ画面画像の輝度調整を行なっている。しかし、スマホ１００とＨＭＤ２００が上述のように連携しているときには、ＨＭＤ２００の周囲環境に合わせてアプリ画面画像の輝度調整を行なうことにより、鮮明度を確保することや、眼の疲労を低減することができる。なお、図７Ａ、図７Ｂで説明した方法以外に、ＨＭＤ２００から表示するアプリ画面画像の明るさレベルをスマホ１００に送信してリクエストしてもよい。また、ＨＭＤ２００側でアプリ画面画像を表示するときにアプリ画面画像の輝度や色調を調整して表示してもよい。

　図８は、図７Ａ及び図７Ｂで説明したアプリ表示画面とＨＭＤ２００の周辺の風景とのコントラスト調和処理を説明するフローチャートの例である。なお、図８において、図４、図５と同一の符号を付された部分は、図４、図５で既に説明した動作と同一の動作を有するので、それらの詳細説明は省略する。図８において、点線４０３で囲まれた部分はスマホ１００側でアプリの選択からスマホ１００のアプリ画面の画像データの送信までの処理シーケンスで、点線４０４で囲まれた部分はＨＭＤ２００側で特定パターンの読込みからアプリ画面画像の表示までの処理シーケンスであり、図４の説明と同様である。ＨＭＤ２００側は、点線４０４で囲まれた部分で示すようにアプリ画面画像を表示するとともに、照度センサによる明るさ検出、もしくはカメラ１２１で周囲を撮影しＨＭＤ２００の周辺画像から輝度を取得する（Ｓ８０１）。次に、アプリ画面画像とＨＭＤ２００周辺の明るさを比較する（Ｓ８０２）。どちらか一方が明るすぎるもしくは暗すぎる場合には、（Ｓ８０３のＮ）、ＨＭＤ２００の照度センサで周囲の明るさを検出し、もしくはＨＭＤ２００のカメラ１２１で周囲を撮影して輝度情報を分析し、ＨＭＤ２００の周囲の明るさを示す情報をスマホ１００に送信する（Ｓ８０４）。スマホ１００側は、周囲の明るさの情報を受信すると（Ｓ８０５）、受信した周囲の明るさの情報により、アプリ画面画像に対して周囲が所定の閾値より明るい場合には（Ｓ８０６）、表示しようとするアプリ画面の画質調整として輝度を上げる（Ｓ８０７）。一方、アプリ画面画像に対して周囲が所定の閾値より暗い場合には（Ｓ８０６）、表示しようとするアプリ画面の画質調整として輝度を下げる、或いは強調を低減するように色調を調整する（Ｓ８０８）。更に、画質調整後のアプリ画面の画像データをＨＭＤ２００に送信する（Ｓ８０９）。ＨＭＤ２００では、画質調整後のアプリ画面の画像データを取得し（Ｓ８１０）、画質調整後のアプリ画面画像をＨＭＤ２００に表示する（Ｓ８１１）。アプリ画面画像とＨＭＤ２００周辺の明るさを比較して、アプリ画面画像がはっきりと見える場合や、極端に明るすぎない場合には（Ｓ８０３のＹ）、そのままアプリ画面画像をＨＭＤ表示画面内に表示する（Ｓ８１２）。

　以上のシーケンスにより、アプリ画面の画像がＨＭＤ２００の周辺の明るさに対して適切な明るさで表示することができ、ユーザ１０にとって、コントラス的に見えづらさや疲労感を感じることなく、ＨＭＤ２００内でアプリ画面の画像を視認することができる。

　ここで、図８では、ＨＭＤ２００が透過型ＨＭＤの場合について説明したが、次に遮蔽型ＨＭＤにおいて、現実空間の実体物や仮想オブジェクトを頭部前面に設けられたカメラ１２１で撮影し、それを眼前のディスプレイに表示するビデオシースルー型の場合について説明する。まず、正面の視界内にあるスマホ１００の特定パターンを認識し、ＨＭＤ２００の表示画面内に好適な表示位置及び表示サイズでアプリ画面画像を挿入して表示する。そして、ＨＭＤ２００のカメラ１２１による周囲の画面表示から、ＨＭＤ２００内或いは外部装置、ネットワークを介して供給された映像コンテンツに表示を切り換える場合、映像コンテンツの一部にアプリ画面画像を合成して眼前のディスプレイに表示することがある。この場合、映像コンテンツの雰囲気や挿入するアプリ画面画像の用途によっては映像コンテンツ情報の画像とアプリ画面画像とのコントラストがアンバランスになると、注目しているアプリ画面画像が見づらくなったり、アプリ画面画像が強調され過ぎてしまい映像コンテンツの画像の雰囲気が崩されたりするなどの不具合が生じる。これに対して、映像コンテンツの内容、例えば映像コンテンツの明るさ、種類（映画や音楽ビデオのように邪魔されたくないものか、そうではないものかなど）を検出する。またＨＭＤ２００は、アプリ画面画像の表示内容の重要度もアプリの種類などにより分析して、挿入するアプリ画面画像の画質（輝度、必要なら色調も）を調整する。例えば、常時アプリ画面画像に注目したいときには、アプリ画面画像が目立つようにアプリ画面画像の画質（輝度、必要なら色調も）を調整して、ＨＭＤ表示画面内に挿入して表示する。或いは、映像コンテンツに集中したいときには、アプリ画面画像が目立たないようにアプリ画面画像の画質（輝度、必要なら色調も）を調整し、ＨＭＤ表示画面内に挿入して表示する。

　このように映像コンテンツ情報の画像内容に合わせて挿入するアプリ画面画像の画質調整を行うことにより、映像コンテンツ情報画像或いはアプリ画面画像への注目重要度に対応した形で、映像コンテンツ情報画像とアプリ画面画像とのコントラスト調和を可能にできる。具体例としては、アプリ画面画像が緊急情報など注意を引くべき情報の場合には目立つように表示し、時刻や天気予報などの単なる付加情報であれば目立たないように表示することなどが挙げられる。

　なお、ＨＭＤ２００で表示するアプリ画面画像の画質調整をスマホ１００側にリクエストしてもよいし、ＨＭＤ２００側でアプリ画面画像を表示するときにアプリ画面画像の画質を調整して表示してもよい。

　図９は、上記で説明したアプリ画面画像とＨＭＤ表示画面画像とのコントラスト調和処理を説明するフローチャートの例である。なお、図９において、図４、図５と同一の符号は、図４、図５で既に説明した動作と同一の動作を有するので、それらの詳細説明は省略する。図９において、点線４０３で囲まれた部分はスマホ１００側でアプリの選択からスマホ１００のアプリ画面の画像データの送信までの処理シーケンスで、点線４０４で囲まれた部分はＨＭＤ２００側で特定パターンの読込みからアプリ画面画像の表示までの処理シーケンスであり、図４の説明と同様である。遮蔽型ＨＭＤのビデオシースルーモードでは、ＨＭＤ２００に搭載したカメラ１２１で周囲を撮影して表示する（Ｓ９０１）。併せて、点線４０４で囲まれた部分で示すようにアプリ画面画像を、カメラ撮影画像に合成して表示する。この状態で、コントラストが調和しているかを確認することによって（Ｓ９０２）、アプリ画面画像が見辛さや違和感なくＨＭＤ表示画面に挿入されているかを確認する。アプリ画面画像とＨＭＤ表示画面画像との両画像のコントラストが調和していない場合には（Ｓ９０３のＮ）、ＨＭＤに表示するコンテンツのアプリ画面画像周辺の輝度分布を分析し、輝度情報を得る。（Ｓ９０４）。次に、アプリ画面画像の輝度分布を解析し、輝度情報を得る（Ｓ９１０）。そして、ＨＭＤ２００側のアプリ画面画像の周囲の輝度情報により、アプリ画面画像に対して周囲が明るい場合には、挿入しようとするアプリ画面画像の画質調整として輝度を上げる。また、アプリ画面画像に対して周囲が暗い場合には、挿入しようとするアプリ画面画像の画質調整として輝度を下げる、或いは強調を低減するように色調を調整する。そして、画質調整後のアプリ画面画像をＨＭＤ表示画面に挿入して表示する（Ｓ９１１）。両画像のコントラストが調和している場合には（Ｓ９０３のＹ）、そのままアプリ画面画像をＨＭＤ表示画面内に挿入して表示する（Ｓ９１２）。以上のシーケンスにより、アプリ画面画像とＨＭＤ表示画面画像とのコントラストの調和を実現することができ、ユーザ１０にとって、コントラストの強さにより見辛さや疲労感を低減することができる。また、ＨＭＤのビデオシースルーモードにてアプリ画面を読み込んだ後、ユーザがＨＭＤのモードを切り替えて、ＨＭＤに映画や音楽ビデオ等のコンテンツを表示した場合には、Ｓ９０２以降の処理は、そのコンテンツとコントラストが調和するように調整する。

　次に、ＨＭＤ画面内に挿入表示するスマホ１００のアプリ画面画像をＨＭＤ表示画面に常時表示するか契機通知ごとに表示するかの処理について、図１０を用いて説明する。図１０は、本実施形態に係る情報処理システム、情報処理装置、画像表示装置において、常時表示或いは契機通知ごとの表示を行う場合の処理を示すフローチャートの例である。なお、図１０において、図４、図５と同一の符号は、図４、図５で既に説明した動作と同一の動作を有するので、それらの詳細説明は省略する。図１０において、ユーザ１０がスマホ１００にて、アプリ画面画像の常時表示か或いは契機通知ごとの表示かを選択する（Ｓ１００１）。選択された表示形態を表わす表示形態選択情報をＨＭＤ２００に送信する（Ｓ１００２）。ＨＭＤ２００では、表示形態選択情報を受信し（Ｓ１００３）、挿入表示されるアプリ画面画像が契機通知ごとの表示の場合には（Ｓ１００４の下）、ＨＭＤ画面へのアプリ画面画像を非表示にし（Ｓ１００５）、スマホ１００から契機通知ごとの表示の開始通知が来るのを待っている状態になる。また、スマホ１００側では、アプリ画面画像が契機通知ごとに表示される場合（Ｓ１００６）、契機通知ごとの表示の開始通知が発出されると（Ｓ１００７）、契機通知ごとの表示の開始を示す表示開始通知情報をスマホ１００に送信する（Ｓ１００８）。ＨＭＤ２００では、表示開始通知情報を受信し（Ｓ１００９）、アプリ画面画像の表示を開始する（Ｓ１０１０）。その後、スマホ１００で契機通知ごとの表示の停止の通知が発出されると（Ｓ１０１１）、契機通知ごとの表示の停止を示す表示停止通知情報をスマホ１００に送信する（Ｓ１０１２）。ＨＭＤ２００では、表示停止通知情報を受信し（Ｓ１０１３）、アプリ画面画像の表示を停止する（Ｓ１０１４）。一方、ＨＭＤ２００では、表示形態選択情報を受信して、挿入表示されるアプリ画面画像が常時表示の場合には（Ｓ１００４の左）、ＨＭＤ画面内に常にアプリ画面画像を表示する（Ｓ１０１５）。なお、スマホ１００でのアプリ画面の表示は、必要に応じて非表示にしてもよい。

　また、しばらくアプリ画面画像を表示した後に、アプリ画面画像を消す際には、アプリ画面画像のアプリを再びアプリ画面に戻すような操作を行い、アプリ画面に分轄表示するようにしてもよい。例えば、図１や図２で説明したアプリ画面を取り込む動作をした時のように、ＨＭＤ２００に表示されているアプリ画面画像と重なるように、実際のスマホ１００を背景として重ねる動作を行う操作によって、ＨＭＤ２００に表示したアプリ画面を、スマホ１００本体の画面表示に戻すようにする。そのような操作を規定すると、ユーザ１０にとっては同じような操作でアプリ画面をＨＭＤ２００に表示したりスマホ１００に戻したりすることができるため操作がわかりやすい。

　以上のシーケンスにより、契機通知ごとの表示の際には、スマホ１００の契機によってアプリ画面画像を必要な時だけＨＭＤ表示画面に表示でき、不必要な時には邪魔にならないようにすることができる。例えば、電話アプリの場合、着信があったときＨＭＤ画面にアプリ画面画像を表示し、通話終了とともにアプリ画面画像のＨＭＤ表示を停止することが挙げられる。また、スマホ１００側で常時表示か或いは契機通知ごとの表示かを設定把握しておくことで、契機通知ごとの表示の場合には必要な時だけアプリ挿入画面の画像データを送信すればよいので、バッテリーの消費を節約できるという利点がある。なお、スマホ１００の複数のアプリをＨＭＤ２００に挿入表示する場合には、それぞれの表示形態選択情報をＨＭＤ２００に送ってもよい。また、アプリ画面の画像の常時表示か契機通知ごとの表示かという選択をＨＭＤ側で行ってもよい。

　図１１Ａは、情報処理装置の具体例として携帯型のスマホ１００のブロック図の一例を示したものである。図１１Ｂは画像表示装置の具体例としてＨＭＤ２００について、その機能ブロック図の一例を示したものである。図１１Ａ及び図１１Ｂにおいて、図１Ａ～図１Ｄに示され同一の符号を付された部分は、図１Ａ～図１Ｄで既に説明した動作と同一の動作を有するので、それらの詳細説明は一部省略する。図１１Ａにおいて、スマホ１００は、カメラ１１０１、深度センサ１１０２、加速度センサ１１０４、ジャイロセンサ１１０５、地磁気センサ１１０６、操作入力インタフェース１１０７、表示デバイス１１０８、プロセッサ１１２０、プログラム１１３１と情報データ１１３２からなるメモリ１１３０、振動発生デバイス１１４１、音声入力デバイス１１４２、音声出力デバイス１１４３、通信デバイス１１４４を適宜用いて構成され、各構成部はそれぞれバス１１５０を介して相互に接続されている。

　カメラ１１０１は、レンズから入射した光を撮像素子で電気信号に変換してカメラ撮影画像を取得する。

　深度センサ１１０２は、対象物までの距離や角度を測定し、物などの対象物の形状を立体として捉えることができるセンサである。赤外線などのレーザー光を対象物に照射し、はね返ってくる散乱光を測定し遠距離にある対象物までの距離やその対象物の状態を分析検出するＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）センサや、被写体に照射したパルス光の反射時間を画素ごとに計測して測距を行うＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）、ミリ波の電波を発射しその反射波を捉まえて反射している対象物までの距離や対の象物の状態を検出するミリ波レーダーなど測定方式は限定しない。

　加速度センサ１１０４は、単位時間当たりの速度の変化である加速度を検出するセンサであり、動き・振動・衝撃などを捉えることができる。スマホ１００内に設けられた加速度センサ１１０４により、スマホ１００の傾きや方向を検知することができる。また、ジャイロセンサ１１０５は、回転方向の角速度を検出するセンサであり、縦・横・斜めの姿勢の状態を捉えることができる。よって、加速度センサ１１０４及びジャイロセンサ１１０５を用いて、スマホ１００の傾きや方向などの姿勢を検出することができる。地磁気センサ１１０６は、地球の磁力を検出するセンサであり、スマホ１００の向いている方向を検出するものである。前後方向と左右方向に加え上下方向の地磁気も検出する３軸タイプを用い、スマホ１００の動きに対する地磁気変化を捉まえることにより、スマホ１００の動きを検出することも可能である。これらにより、スマホ１００を携帯しているユーザ１０がどのような姿勢状態かを検出判別可能である。

　プロセッサ１１２０は、ＣＰＵ等で構成され、メモリ１１３０に記憶格納されているオペレーティングシステム（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ：ＯＳ）や動作制御用アプリケーションなどのプログラム１１３１を実行することにより、スマホ１００の各構成部を制御し、ＯＳ、ミドルウェア、アプリケーション等の機能や他の機能を実現する。スマホ１００では、特定パターン生成表示処理部１１２１、スマホ画像生成処理部１１２２、画質調整処理部１１２３にて、各機能動作を制御する。また、スマホ１００のプロセッサ１１２０は、無線通信を経由してＨＭＤ２００の動作を制御してもよい。例えば、ＨＭＤ２００に供給したアプリ画面画像をＨＭＤ２００で表示させるように、ＨＭＤ２００を制御してもよい。具体的には、プロセッサ１１２０は、ユーザ１０がカメラ１２１にかざすことによりカメラ１２１によって撮影されて読み込まれた情報処理装置の画面の表示位置および表示サイズを表示エリアとして画像表示装置に認識させてもよい。また、プロセッサ１１２０は、認識された表示エリアに、供給した情報処理装置の画面の画像を表示させるように画像表示装置を制御してもよい。例えば、プロセッサ１１２０は、認識された表示エリアに、供給したアプリ画面画像を表示させるように画像表示装置を制御してもよい。

　メモリ１１３０は、不揮発性記憶装置等で構成され、プロセッサ１１２０等が扱う各種のプログラム１１３１や情報データ１１３２を記憶する。情報データ１１３２としては、表示エリア情報、スマホ１００のアプリ画面の画像データ、スマホ１００のアプリ画面の画像表示停止情報、周囲の明るさの情報、表示形態選択情報などが格納される。

　スマホ１００の表示デバイス１１０８は、液晶などで構成され透明性の高いタッチパネルを介して表示内容を表示するもので、動作しているアプリ画面や、起動アプリや各種状態表示のアイコン、各種操作ボタン、ユーザへの通知などの表示を行う。ユーザへの通知としては、表示エリアの情報を取得したことを示したり、画質調整完了を示したりすることなどが挙げられる。

　スマホ１００の操作入力インタフェース１１０７は、ユーザ１０によってスマホ１００へ入力情報を入力するものであり、スマホ１００などの場合には、表示デバイス１１０８の表示面上に構成されたタッチパネルにより、指やタッチペンなどによるタッチ操作を操作入力として検出して、ユーザ１０が入力したい情報を設定入力できる。また、例えばキーボードやキーボタン等によって入力操作情報を取り込んでもよいし、ユーザ１０が入力操作を示す音声を発声し、音声入力デバイス１１４２で集音して入力操作情報を取り込んでもよい。例えば、ユーザ１０は、操作入力インタフェース１１０７によるユーザ入力によって画像表示装置に表示される情報処理装置の画面を選択する。また、ユーザ１０は、操作入力インタフェース１１０７によるユーザ入力によって画像表示装置に表示されるアプリ画面或いはアプリ画面の一部分領域を選択する。

　音声入力デバイス１１４２は、外部からの音声やユーザ自身の発声をマイクで集音し音声データに変換するものである。ユーザからの発声音による指示情報をスマホ１００内に取り込み、指示情報に対する動作を使い勝手よく実行することができる。

　音声出力デバイス１１４３は、音声データに基づいてスピーカやヘッドフォンから音声を出力するデバイスで、ユーザへの通知を音声で知らせることができる。

　振動発生デバイス１１４１は、プロセッサ１１２０からの制御によって振動を発生させるもので、スマホ１００で発信されたユーザ１０への通知を振動に変換する。振動発生デバイス１１４１によりスマホ１００を持っている持ち手に振動を伝えて、通知をユーザ１０に知らせることができる。なお、ユーザへの通知の例としては、特定パターンの生成や読込み、アプリ画面画像の表示、などを示す通知、及び通知内容があり、これらの通知情報により、使い勝手の向上を図ることができる。

　通信デバイス１１４４は、近距離無線通信、無線ＬＡＮ或いは基地局通信により、少なくともスマホ１００とＨＭＤ２００との間で無線通信を行い、ネットワークに接続するための通信インタフェースであり、各種通信インタフェースに対応する通信処理回路やアンテナ等を含み、カメラ撮影された画像データや制御信号などの送受信を行う。なお、近距離無線通信としては、Bluetooth（登録商標）、ＩｒＤＡ（Infrared　Data　Association、登録商標）、Ｚｉｇｂｅｅ（登録商標）、ＨｏｍｅＲＦ（Home　Radio　Frequency、登録商標）、または、Ｗｉ－Ｆｉ（登録商標）などの無線ＬＡＮを用いて行なわれる。また、基地局通信としては、Ｗ－ＣＤＭＡ（Wideband　Code　Division　Multiple　Access、登録商標）やＧＳＭ（Global　System　for　Mobile　Communications）などの遠距離の無線通信を用いればよい。例えば、通信デバイス１１４４は、画像表示装置で表示する情報処理装置の画面の画像を画像表示装置に供給する。また、通信デバイス１１４４は、画像表示装置で表示するアプリ画面或いは一部分領域の画像であるアプリ画面画像を画像表示装置に供給する。

　スマホ１００の特定パターン生成表示処理部１１２１は、ユーザ１０によって選択されたスマホ１００の画面全体或いはアプリ画面の一部分の領域にＨＭＤ２００で読込むパターンを生成し、表示するものである。例えば、特定パターン生成表示処理部１１２１は、選択されたアプリ画面或いはアプリ画面の一部分領域を範囲とする特定パターンを生成表示する。また、特定パターン生成表示処理部１１２１は、生成表示される特定パターンを半透明にしてもよい。

　スマホ１００のスマホ画像生成処理部１１２２は、ＨＭＤ２００からの表示エリア情報をもとに、ＨＭＤ画面の表示エリア内に表示するアプリ等のアプリ画面の画像データを生成する。

　画質調整処理部１１２３は、スマホ表示画面が見えづらい場合や、アプリ画面画像とＨＭＤ画面画像とのコントラストが調和していない場合に、両者の画像が調和するようにアプリ画面画像の画質（輝度、色調）を調整する。例えば、画質調整処理部１１２３は、識別されたコントラスト調和具合によりコントラストの不調和が識別されたとき、コントラストが調和されるようにアプリ画面画像の画質調整を行う。具体的には、画質調整処理部１１２３は、照度センサからの出力に応じて、アプリ画面画像の輝度を調整する。

　次に、図１１Ｂにおいて、ＨＭＤ２００は、カメラ１２１、深度センサ１２０２、照度センサ１２０３、加速度センサ１２０４、ジャイロセンサ１２０５、地磁気センサ１２０６、操作入力インタフェース１２０７、表示処理デバイス１２０８、プロセッサ１２２０、プログラム１２３１と情報データ１２３２からなるメモリ１２３０、振動発生デバイス１２４１、音声入力デバイス１２４２、音声出力デバイス１２４３、通信デバイス１２４４を適宜用いて構成され、各構成部はそれぞれバス１２５０を介して相互に接続されている。

　カメラ１２１は、ＨＭＤ２００の前方の視界を撮影するもので、レンズから入射した光を撮像素子で電気信号に変換してカメラ撮影画像を取得する。ＨＭＤ２００に搭載されたカメラ１２１はＨＭＤ２００を装着しているユーザ１０から見える視界を撮影するもので、視界内にかざされたスマホ１００の表示画面１０１上の特定パターン１０４、２０２、３０２を捉えることができる。例えば、ユーザ１０は、情報処理装置の画面をカメラ１２１にかざすことによりカメラ１２１によって撮影することができる。

　深度センサ１２０２は、スマホ１００と同様の対象物までの距離や角度を測定し、物などの対象物の形状を立体として捉えることができるセンサである。ＨＭＤ２００に具備された深度センサ１２０２は、ユーザ１０の前方にスマホ１００がある場合には、カメラ１２１でスマホ１００を捉えて見つけた際に、スマホ１００までの距離を測定することができる。

　加速度センサ１２０４は、単位時間当たりの速度の変化である加速度を検出するセンサであり、動き・振動・衝撃などを捉えることができる。ＨＭＤ２００に備えた加速度センサ１２０４により、ユーザ１０が頭部に装着しているＨＭＤ２００の傾きや顔の正面の方向を検知することができる。また、ジャイロセンサ１２０５は、回転方向の角速度を検出するセンサであり、縦・横・斜めの姿勢の状態を捉えることができる。加速度センサ１２０４及びジャイロセンサ１２０５を用いて、ＨＭＤ２００の傾きや方向などの姿勢を検出することができる。地磁気センサ１２０６は、地球の磁力を検出するセンサであり、ＨＭＤ２００の向いている方位を検出するものである。前後方向と左右方向に加え上下方向の地磁気も検出する３軸タイプを用い、ＨＭＤ２００の動きに対する地磁気変化を捉えることにより、ＨＭＤ２００の動きを検出することも可能である。これらにより、ＨＭＤ２００を装着しているユーザ１０がどのような姿勢状態かを検出判別可能である。

　プロセッサ１２２０は、ＣＰＵ等で構成され、メモリ１２３０に記憶格納されているオペレーティングシステム（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ：ＯＳ）や動作制御用アプリケーションなどのプログラム１２３１を実行することにより、ＨＭＤ２００の各構成部を制御し、ＯＳ、ミドルウェア、アプリケーション等の機能や他の機能を実現する。メモリ１２３０は、不揮発性記憶装置等で構成され、プロセッサ１２２０等が扱う各種のプログラム１２３１や情報データ１２３２を記憶する。情報データ１２３２としては、カメラ撮影のアプリ画面の画像データ、表示エリア情報、スマホで画質調整されたアプリ画面の画像データ、スマホのアプリ等の画像表示停止情報、周囲明度情報、表示形態選択情報などが格納される。

　ＨＭＤ２００の表示処理デバイス１２０８は、光学シースルー型のＨＭＤ２００の場合には、文字や記号、映像コンテンツ、仮想オブジェクト等を小型プロジェクタにより投影する。また、本実施例で示したようにスマホ１００から伝送されたカメラ撮影画像やユーザ１０への通知情報などを投影する。投影された仮想オブジェクト等は目の前で結像表示させる透明なハーフミラーを備えている。これにより、ユーザ１０は、目の前の視界範囲の実体物に重ねて、結像された仮想オブジェクトが浮かんでいるような形で両者合わせて視認することができる。また、ビデオシースルー型の場合には、カメラ１２１で撮影された目の前の映像と仮想オブジェクト等を合成して表示する液晶パネル等のディスプレイから構成される。これにより、ユーザ１０は、目の前の視界画像内の実体物と仮想オブジェクト等を重ねて視認することができる。

　ＨＭＤ２００の操作入力インタフェース１２０７は、ジェスチャー操作や音声入力を用いることが多い。ボタンやタッチパネルのような操作入力インタフェースは、ＨＭＤには取り付ける場所が少ないが、ユーザ１０が入力操作を行いやすい位置や形態に設ければよいし、或いはＨＭＤ２００の本体から分離し有線や無線でマウスやキーボードを接続する形態でもよい。また、表示処理デバイス１２０８の表示画面内に仮想の入力操作画面を表示させ、視線が向いている入力操作画面上の位置により入力操作情報を取り込んでもよいし、ポインタを入力操作画面上に表示させ操作入力インタフェース１２０７によりポインタを操作して入力操作情報を取り込んでもよい。また、ユーザ１０が入力操作を示す音声を発声し、音声入力デバイス１２４２で集音して入力操作情報を取り込んでもよい。

　音声入力デバイス１２４２は、外部からの音声やユーザ自身の発声をマイクで集音し音声データに変換するものである。ユーザ１０からの発声音による指示情報をＨＭＤ２００内に取り込み、指示情報に対する動作を使い勝手よく実行することができる。音声出力デバイス１２４３は、音声データに基づいてスピーカやヘッドフォンから音声を出力するで、ユーザへの通知情報を音声で知らしめることができる。

　振動発生デバイス１２４１は、プロセッサ１２２０からの制御によって振動を発生させるもので、ＨＭＤ２００で発信されたユーザ１０への通知指示情報を振動に変換する。振動発生デバイス１２４１によりＨＭＤ２００を装着しているユーザ頭部に振動を伝えて、通知指示情報をユーザ１０に知らせることができる。なお、ユーザ１０への通知情報の例としては、通話の着信や危険情報の警告、本実施例の特定パターンの読込み、アプリ画面画像の表示、などを示す通知があり、これらの通知により使い勝手の向上を図ることができる。

　通信デバイス１２４４は、近距離無線通信、無線ＬＡＮ或いは基地局通信により、スマホ１００とＨＭＤ２００との間で無線通信を行ったりネットワークに接続したりする通信インタフェースである。所定の通信インタフェースに対応する通信処理回路やアンテナ等を含み、カメラ撮影された画像データや制御信号などの送受信を行う。なお、近距離無線通信としては、Bluetooth（登録商標）、ＩｒＤＡ（Infrared　Data　Association、登録商標）、Ｚｉｇｂｅｅ（登録商標）、ＨｏｍｅＲＦ（Home　Radio　Frequency、登録商標）、または、Ｗｉ－Ｆｉ（登録商標）などの無線ＬＡＮを用いて行なわれる。また、基地局通信としては、Ｗ－ＣＤＭＡ（Wideband　Code　Division　Multiple　Access、登録商標）やＧＳＭ（Global　System　for　Mobile　Communications）などの遠距離の無線通信を用いればよい。

　ＨＭＤ２００の特定パターン読込領域枠生成部１２２１は、スマホ１００の画面上に表示された特定パターンを読込み、ＨＭＤ２００の画面上の特定パターンの領域枠を生成する。例えば、特定パターン読込領域枠生成部１２２１は、選択された情報処理装置の画面をユーザ１０がカメラ１２１にかざすことによりカメラ１２１によって撮影して読込む。そして、特定パターン読込領域枠生成部１２２１は、読み込まれた情報処理装置の画面の表示位置および表示サイズを表示エリアとして認識する。また、特定パターン読込領域枠生成部１２２１は、選択されたアプリ画面或いはアプリ画面の一部分領域をユーザ１０が好適な位置にかざすことによりカメラ１２１によって撮影して読込み、読み込まれたアプリ画面或いは一部分領域の表示位置および表示サイズを表示エリアとして認識してもよい。さらに、特定パターン読込領域枠生成部１２２１は、情報処理装置で生成表示された特定パターンの範囲を示す領域枠を生成して、画像表示装置の表示画面に領域枠を表示してもよい。

　ＨＭＤ２００のアプリ画像合成表示処理部１２２２は、アプリ画面の画像データをスマホ１００から取得し、取得したアプリ画面の画像データをＨＭＤ画面画像に挿入し合成する処理を行う。例えば、アプリ画像合成表示処理部１２２２は、認識された表示エリアに、選択された情報処理装置の画面の画像を表示する。また、アプリ画像合成表示処理部１２２２は、認識された表示エリアに、情報処理装置で選択されたアプリ画面或いは一部分領域のアプリ画面画像を表示してもよい。

　ＨＭＤ２００のコントラスト調和処理部１２２４は、アプリ画面画像とＨＭＤ画面画像とのコントラストが調和している否かを識別する処理を行う。

　画質調整処理部１２２３は、アプリ画面画像とＨＭＤ画面画像とのコントラストが調和していない場合に、両者の画像が調和するようにアプリ画面画像の画質（輝度、色調）を調整する。透過型ＨＭＤの場合には、照度センサ１２０３で検出したＨＭＤ２００の周囲の明るさに応じて、アプリ画面画像の輝度を、必要なら色調を調整する。ＨＭＤ画面が映像コンテンツの場合には、映像コンテンツの画像内容（明るさ、種類）に応じてアプリ画面画像の輝度や色調を調整する。

　輝度分布分析部１２２５は、遮蔽型ＨＭＤに表示する映像について、画素ごと、もしくはブロックごとに輝度の強弱を示すヒストグラムを作成するなどして、画面内の輝度の平均値や部分的な輝度の強弱を分析する。分析結果を元に、コントラストの調整を行ったりする。

　以上の構成により、スマホ１００では、特定パターン生成表示処理部１１２１によってＨＭＤ画面に表示する選択されたアプリ画面に特定パターンを表示し、ＨＭＤでは、特定パターン読込領域枠生成部１２２１によって、特定パターンを読込み、特定パターンの範囲を示す領域枠をＨＭＤ画面上に表示する。ＨＭＤ２００に表示された領域枠によりスマホ１００の上下左右前後の移動調整により表示位置と表示サイズを確定する。表示エリアが決定された後、スマホ１００では、スマホ画像生成処理部１１２２によってＨＭＤ画面内の表示エリアに表示するアプリ画面画像を生成する。ＨＭＤ２００では、アプリ画像合成表示処理部１２２２によって、スマホ１００からのアプリ画面画像をＨＭＤ画面に合成して表示する。また、コントラスト調和処理部１２２４によって挿入するアプリ画面画像とＨＭＤ画面画像とのコントラストが調和してないと識別した場合には、画質調整処理部１１２３によって、アプリ画面画像とＨＭＤ画面画像とのコントラストが調和するようにアプリ画面画像の画質（輝度、色調）を調整する。

　このようにして、スマホ１００などの情報処理装置の画面をＨＭＤ２００などの画像表示装置にかざしてその配置場所を選ぶことにより、ＨＭＤ２００などの画像表示装置の表示画面上に、好適な表示位置及び表示サイズで、自由自在かつ簡便に表示することができる。更に、画像表示装置の表示画面内に挿入される情報処理装置の表示画面画像と画像表示装置の表示画面画像とのコントラストを調和させて、画像表示装置の表示画面画像と調和の取れた形でスマホ１００などの情報処理装置の画面を視認できるという効果が得られる。なお、情報処理装置は画像表示装置を制御して、また画像表示装置は情報処理装置との相互交信動作により、上述の情報処理システムの動作を実現することができる。

　また、本実施形態に係る情報処理システム、情報処理装置、画像表示装置の他の実施例について、図１２Ａ～図１２Ｄを用いて説明する。図１２Ａ～図１２Ｄは、図１Ａ～図１Ｄ、図２Ａ～図２Ｃなどで説明したようにＨＭＤ画面に表示するアプリ画面をＨＭＤ２００側で撮影認識しながらＨＭＤ画面上の好適な表示エリアを調整して決定するのではなく、予めアプリ画面を表示するＨＭＤ画面上の配置場所を複数分割して定義しておき、位置選択アプリを用いて、選択されたアプリ画面の配置場所を決定する場合について説明する図の例である。なお、図１２Ａ～図１２Ｄにおいて、図１Ａ～図１Ｄ、図２Ａ～図２Ｃに示され同一の符号を付された部分は、図１Ａ～図１Ｄ、図２Ａ～図２Ｃで既に説明した動作と同一の動作を有するので、それらの詳細説明は省略する。まずＨＭＤ画面上の配置場所を複数分割して定義しておき、一例として図１２Ａに示すように、ＨＭＤ画面上の配置場所を１２のエリアに分けて、Area１からArea１２までの配置場所を定義しておく。スマホの表示画面上には、図１２Ｂに例示するように、選択されるアプリ画面１０２、１０３、１３０１とともに、定義された配置場所をアイコンとして示す位置選択アプリ１３０２が表示されている。ユーザ１０は、例えばアプリ画面１３０１をＨＭＤ画面に表示するアプリ画面として選択し、次に、図１２Ｃに示すように、選択されたアプリ画面１３０１の配置場所が位置選択アプリ１３０２のアイコン選択によりＨＭＤ画面上のArea２に表示するように指定する。このような操作によって、図１２Ｄに示すように、ＨＭＤ画面上のArea２に画像アプリの画面画像１３０３が表示される。このようにして、ＨＭＤ２００の画面上で予め定義された配置場所にアプリ画面画像を簡便に表示することができる。

　また、以上の説明では、スマホ１００を情報処理装置の具体例として、ＨＭＤ２００を画像表示装置の具体例として説明したが、情報処理装置としてはスマホ１００に限らずアプリ等の動作表示機能が付いた全てのデバイスが対象であり、画像表示装置としてはＨＭＤに限らず周囲の外界をカメラ撮影して取込められ画像を表示する機能を有する全てのデバイスが対象である。

　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウエアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納されてもよいし、通信網上の装置に格納されてもよい。

　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

　画像表示装置の画面内に情報処理装置の表示画面を表示させる情報処理システム、情報処理装置及び画像表示装置を提供する。

１０：ユーザ、１００：スマホ、１０１、１３０：表示画面、１０２、１０３：アプリ画面、１０４、２０２、３０２：特定パターン、１２１、１１０１：カメラ、１３１、２０３、６０３、６０７：領域枠、２００：ＨＭＤ、３０５：表示アプリ切替えソフト、１１０２、１２０２：深度センサ、１２０３：照度センサ、１１０４、１２０４：加速度センサ、１１０５、１２０５：ジャイロセンサ、１１０６、１２０６：地磁気センサ、１１０７、１２０７：操作入力インタフェース、１１０８：表示デバイス、１１２０、１２２０：プロセッサ、１１２１：特定パターン生成表示処理部、１１２２：スマホ画像生成処理部、１１２３：画質調整処理部、１１３０、１２３０：メモリ、１１３１，１２３１：プログラム、１１３２、１２３２：情報データ、１１４１、１２４１：振動発生デバイス、１１４２、１２４２：音声入力デバイス、１１４３、１２４３：音声出力デバイス、１１４４、１２４４：通信デバイス、１１５０、１２５０：バス、１２２１：特定パターン読込領域枠生成部、１２２２：アプリ画像合成表示処理部、１２２３：画質調整処理部、１２２４：コントラスト調和処理部、１２２５：輝度分布分析部、１２８：２点鎖線、１３２、２０４：画像、２０１、３０１：領域、３０６、３０７：アイコン、４００、４０２、４０３、４０４、４０５、４０６：点線、６０１：左側画面、６０４、６０８：画像、６０５：右側画面、８０１：風景、８０２、８０５、８０６：画像、１３０２：位置選択アプリ

Claims

　カメラを装備した画像表示装置と、
　アプリケーションソフトウェアであるアプリを動作させて表示する情報処理装置と、
　を有し、前記画像表示装置と前記情報処理装置との間で情報の通信連携機能を具備する情報処理システムであって、
　前記画像表示装置は、前記情報処理装置の画面を前記カメラによって撮影して読込み、読み込まれた前記情報処理装置の画面の表示位置および表示サイズを表示エリアとして認識し、認識された前記表示エリアに、前記情報処理装置の画面の画像を表示することを特徴とする情報処理システム。
　請求項１に記載の情報処理システムであって、
　前記情報処理装置は、前記アプリの画面であるアプリ画面或いは前記アプリ画面の一部分領域を選択され、
　前記画像表示装置は、選択された前記アプリ画面或いは前記一部分領域を前記カメラによって撮影して読込み、読み込まれた前記アプリ画面或いは前記一部分領域の表示位置および表示サイズを前記表示エリアとして認識し、認識された前記表示エリアに、前記選択された前記アプリ画面或いは前記一部分領域の画像であるアプリ画面画像を表示することを特徴とする情報処理システム。
　請求項２に記載の情報処理システムであって、
　前記情報処理装置は、前記アプリ画面或いは前記アプリ画面の一部分領域を選択され、選択された前記アプリ画面或いは前記一部分領域を範囲とする特定パターンを生成表示し、
　前記画像表示装置は、生成表示された前記特定パターンを前記カメラによって撮影して読込み、読み込まれた前記特定パターンの表示位置および表示サイズを前記表示エリアとして認識し、認識された前記表示エリアに、前記選択された前記アプリ画面或いは前記一部分領域の画像であるアプリ画面画像を表示することを特徴とする情報処理システム。
　請求項３に記載の情報処理システムであって、
　前記情報処理装置は、生成表示する前記特定パターンを半透明にすることを特徴とする情報処理システム。
　請求項３に記載の情報処理システムであって、
　前記画像表示装置は、前記情報処理装置で生成表示された前記特定パターンの範囲を示す領域枠を生成して、前記画像表示装置の表示画面に前記領域枠を表示することを特徴とする情報処理システム。
　請求項２に記載の情報処理システムであって、
　前記情報処理装置は、複数の前記アプリを切り替えられる表示アプリ切替えソフトを前記情報処理装置の表示画面に起動させて表示し、起動表示された表示アプリ切替えソフト上で示されている各アプリのアイコンを選択され、これにより、前記画像表示装置に表示される前記アプリを選択することを特徴とする情報処理システム。
　請求項２に記載の情報処理システムであって、
　前記情報処理装置は、前記アプリ画面或いは前記アプリ画面の一部分領域を選択され、
　前記画像表示装置は、選択された前記アプリ画面或いは前記一部分領域を前記カメラによって撮影し、撮影された前記アプリ画面或いは前記一部分領域の表示位置および表示サイズを前記表示エリアとして認識し、認識された前記表示エリアに、前記選択された前記アプリ画面或いは前記一部分領域の画像であるアプリ画面画像を表示し、
　更に、前記情報処理装置は、前記画像表示装置に表示される別のアプリ画面或いは別のアプリ画面の別の一部分領域を選択され、
　前記画像表示装置は、選択された前記別のアプリ画面或いは前記別のアプリ画面の一部分領域を前記カメラによって撮影し、撮影された前記別のアプリ画面或いは前記別のアプリ画面の一部分領域の表示位置および表示サイズを別の表示エリアとして認識し、認識された前記別の表示エリアに、前記情報処理装置で選択された前記別のアプリ画面或いは前記別のアプリ画面の一部分領域の画像である別のアプリ画面画像を表示することを特徴とする情報処理システム。
　請求項２に記載の情報処理システムであって、
　前記画像表示装置或いは前記情報処理装置は、前記画像表示装置の表示画面内に挿入される前記アプリ画面画像と、前記画像表示装置の表示画面の画像とのコントラストの調和具合を識別し、
　前記情報処理装置は、識別されたコントラスト調和具合により前記コントラストの不調和が識別されたとき、前記コントラストが調和されるように前記アプリ画面の画質調整を行うことを特徴とする情報処理システム。
　請求項８に記載の情報処理システムであって、
　前記画像表示装置は、視界周囲の明るさを検出する照度センサを有し、
　前記情報処理装置は、前記照度センサからの出力に応じて、前記アプリ画面の輝度を調整することを特徴とする情報処理システム。
　請求項２に記載の情報処理システムであって、
　前記情報処理装置で選択された前記アプリ画面画像が前記画像表示装置の前記表示エリアに表示される際に、前記情報処理装置は、常時表示か或いは契機通知ごとの表示かを選択され、前記常時表示を選択された場合には、前記画像表示装置は、前記アプリ画面画像を常に表示し、前記契機通知ごとの表示を選択された場合には、前記画像表示装置は、前記情報処理装置で生成された表示開始或いは表示停止の契機通知情報に応じて、前記アプリ画面画像の表示開始或いは表示停止を行うことを特徴とする情報処理システム。
　アプリケーションソフトウェアであるアプリを動作させて表示する機能と、カメラを装備した画像表示装置との間の情報の通信連携機能と、を具備する情報処理装置であって、
　前記情報処理装置は、
　前記画像表示装置に表示される前記情報処理装置の画面を選択され、
　前記カメラによって撮影されて読み込まれた前記情報処理装置の画面の表示位置および表示サイズを表示エリアとして前記画像表示装置に認識させ、
　前記画像表示装置で表示する前記情報処理装置の画面の画像を前記画像表示装置に供給し、
　認識された前記表示エリアに、供給した前記情報処理装置の画面の画像を表示させるように前記画像表示装置を制御することを特徴とする情報処理装置。
　請求項１１に記載の情報処理装置であって、
　前記情報処理装置は、
　前記アプリの画面であるアプリ画面或いは前記アプリ画面の一部分領域を選択され、
　前記カメラによって撮影されて読み込まれた前記アプリ画面或いは前記一部分領域の表示位置および表示サイズを前記表示エリアとして前記画像表示装置に認識させ、
　前記画像表示装置で表示する前記アプリ画面或いは前記一部分領域の画像であるアプリ画面画像を前記画像表示装置に供給し、
　認識された表示エリアに、供給した前記選択された前記アプリ画面或いは前記一部分領域の画像であるアプリ画面画像を表示させるように前記画像表示装置を制御することを特徴とする情報処理装置。
　請求項１２に記載の情報処理装置であって、
　前記情報処理装置は、
　前記画像表示装置に表示される前記アプリ画面或いは前記一部分領域を選択され、
　選択された前記アプリ画面或いは前記一部分領域を範囲とする特定パターンを生成表示し、
　前記カメラによって撮影されて読み込まれた前記特定パターンを前記表示エリアとして前記画像表示装置に認識させ、
　前記画像表示装置で表示する前記アプリ画面或いは前記一部分領域の画像であるアプリ画面画像を前記画像表示装置に供給し、
　認識された前記表示エリアに、供給した前記アプリ画面或いは前記一部分領域の画像であるアプリ画面画像を表示させるように前記画像表示装置を制御することを特徴とする情報処理装置。
　請求項１３に記載の情報処理装置であって、
　前記情報処理装置は、生成表示する前記特定パターンを半透明にすることを特徴とする情報処理装置。
　請求項１３に記載の情報処理装置であって、
　前記情報処理装置は、前記画像表示装置に前記特定パターンの範囲を示す領域枠を生成させることを特徴とする情報処理装置。
　請求項１２に記載の情報処理装置であって、
　前記情報処理装置は、
　複数の前記アプリを切り替えられる表示アプリ切替えソフトを前記情報処理装置の表示画面に起動させて表示し、
　起動表示された表示アプリ切替えソフト上で示されている各アプリのアイコンを選択され、これにより、前記画像表示装置に表示される前記アプリを選択することを特徴とする情報処理装置。
　請求項１２に記載の情報処理装置であって、
　前記情報処理装置は、
　前記画像表示装置に表示される前記アプリ画面或いは前記アプリ画面の一部分領域を選択され、
　前記カメラによって撮影されて読み込まれた前記アプリ画面或いは前記一部分領域の表示位置および表示サイズを前記表示エリアとして前記画像表示装置に認識させ、
　前記画像表示装置で表示する前記アプリ画面或いは前記一部分領域の画像であるアプリ画面画像を前記画像表示装置に供給し、
　認識された前記表示エリアに、供給した前記アプリ画面画像を表示させるように前記画像表示装置を制御し、
　更に、前記情報処理装置は、
　前記画像表示装置に表示される別のアプリ画面或いは別のアプリ画面の別の一部分領域を選択され、
　前記カメラによって撮影されて読み込まれた前記別のアプリ画面或いは前記別のアプリ画面の別の一部分領域の表示位置および表示サイズを別の表示エリアとして前記画像表示装置に認識させ、
　前記画像表示装置で表示する前記別のアプリ画面或いは前記別のアプリ画面の一部分領域の画像であるアプリ画面画像を前記画像表示装置に供給し、
　認識された前記別の表示エリアに、供給した前記別のアプリ画面画像を表示させるように前記画像表示装置を制御することを特徴とする情報処理装置。
　請求項１２に記載の情報処理装置であって、
　前記情報処理装置は、前記画像表示装置の画面内に挿入される前記アプリ画面画像と、前記画像表示装置の表示画面の画像と、のコントラストの不調和が前記情報処理装置或いは前記画像表示装置で識別されたとき、前記コントラストが調和されるように前記アプリ画面の画質調整を行うことを特徴とする情報処理装置。
　請求項１８に記載の情報処理装置であって、
　前記情報処理装置は、視界周囲の明るさを検出する前記画像表示装置の照度センサからの出力に応じて、前記アプリ画面の輝度を調整することを特徴とする情報処理装置。
　請求項１２に記載の情報処理装置であって、
　前記情報処理装置で選択された前記アプリ画面画像が前記画像表示装置の前記表示エリアに表示される際に、前記情報処理装置は、常時表示か或いは契機通知ごとの表示かを選択され、前記常時表示が選択された場合には、前記画像表示装置で前記アプリ画面画像を常に表示するように制御し、前記契機通知ごとの表示が選択された場合には、表示開始或いは表示停止の契機通知情報を生成し、生成した契機通知情報に応じて、前記アプリ画面画像の表示開始或いは表示停止が行われるように前記画像表示装置を制御することを特徴とする情報処理装置。
　アプリケーションソフトウェアであるアプリを動作させて表示する情報処理装置との間の情報の通信連携機能と、カメラと、を具備する画像表示装置であって、
　前記画像表示装置は、
　前記情報処理装置で選択された前記情報処理装置の画面を前記カメラによって撮影して読込み、
　読み込んだ前記情報処理装置の画面の表示位置および表示サイズを表示エリアとして認識し、
　認識した前記表示エリアに、前記情報処理装置で選択された前記情報処理装置の画面の画像を表示することを特徴とする画像表示装置。
　請求項２１に記載の画像表示装置であって、
　前記画像表示装置は、
　前記情報処理装置で選択された前記アプリの画面であるアプリ画面或いは前記アプリ画面の一部分領域を前記カメラによって撮影して読込み、
　読み込んだ前記アプリ画面或いは前記一部分領域の表示位置および表示サイズを前記表示エリアとして認識し、
　認識した前記表示エリアに、前記情報処理装置で選択された前記アプリ画面或いは前記一部分領域の画像であるアプリ画面画像を表示することを特徴とする画像表示装置。
　請求項２２に記載の画像表示装置であって、
　前記画像表示装置は、
　前記情報処理装置で前記アプリ画面或いは前記一部分領域に生成表示された特定パターンを前記カメラによって撮影して読込み、
　読み込んだ前記特定パターンの表示位置および表示サイズを前記表示エリアとして認識し、
　認識した前記表示エリアに、前記情報処理装置で選択された前記アプリ画面或いは前記一部分領域の画像であるアプリ画面画像を表示することを特徴とする画像表示装置。
　請求項２３に記載の画像表示装置であって、
　前記画像表示装置は、前記情報処理装置で生成表示された半透明な前記特定パターンを前記カメラによって撮影して読込むことを特徴とする画像表示装置。
　請求項２３に記載の画像表示装置であって、
　前記画像表示装置は、前記情報処理装置で生成表示された前記特定パターンの範囲を示す領域枠を生成し、前記画像表示装置の表示画面に前記領域枠を表示することを特徴とする画像表示装置。
　請求項２２に記載の画像表示装置であって、
　前記画像表示装置は、前記情報処理装置で起動表示された表示アプリ切替えソフト上に示されている各アプリのアイコンの中から選択された前記アイコンのアプリのアプリ画面或いは一部分領域の画像であるアプリ画面画像を表示することを特徴とする画像表示装置。
　請求項２２に記載の画像表示装置であって、
　前記画像表示装置は、
　前記情報処理装置で選択された前記アプリ画面或いは前記一部分領域を前記カメラによって撮影して読込み、
　読み込んだ前記アプリ画面或いは前記一部分領域の表示位置および表示サイズを前記表示エリアとして認識し、
　認識した前記表示エリアに、前記アプリ画面或いは前記一部分領域の画像であるアプリ画面画像を表示し、
　更に、前記画像表示装置は、
　前記情報処理装置で選択された別のアプリ画面或いは別のアプリ画面の別の一部分領域を前記カメラによって撮影して読込み、
　読み込んだ前記別のアプリ画面或いは前記別のアプリ画面の別の一部分領域の表示位置および表示サイズを別の表示エリアとして認識し、
　認識した前記別の表示エリアに、前記情報処理装置で選択された別のアプリ画面或いは別のアプリ画面の一部分領域の画像であるアプリ画面画像を表示することを特徴とする画像表示装置。
　請求項２２に記載の画像表示装置であって、
　前記画像表示装置は、前記画像表示装置の画面内に挿入される前記アプリ画面画像と前記画像表示装置の表示画面の画像とのコントラストの不調和が前記情報処理装置或いは前記画像表示装置で識別されたとき、前記コントラストが調和されるように前記情報処理装置で画質調整された前記アプリ画面画像を表示することを特徴とする画像表示装置。
　請求項２８に記載の画像表示装置であって、
　前記画像表示装置は、視界周囲の明るさを検出する照度センサを有し、前記照度センサからの出力に応じて、前記情報処理装置で輝度調整された前記アプリ画面画像を表示することを特徴とする画像表示装置。
　請求項２２に記載の画像表示装置であって、
　前記情報処理装置で選択された前記アプリ画面画像が前記画像表示装置の前記表示エリアに表示される際に、前記画像表示装置は、前記情報処理装置で常時表示が選択された場合には、前記アプリ画面画像を常に表示し、前記情報処理装置で契機通知ごとの表示が選択された場合には、前記情報処理装置で生成された表示開始或いは表示停止の契機通知情報に応じて、前記アプリ画面画像の前記表示開始或いは前記表示停止を行うことを特徴とする画像表示装置。