JP5630141B2

JP5630141B2 - 画像表示システム、画像表示システムに含まれる携帯型情報処理装置のためのコンピュータプログラム、画像表示システムに含まれるヘッドマウントディスプレイ、及び画像表示方法

Info

Publication number: JP5630141B2
Application number: JP2010183519A
Authority: JP
Inventors: 高康伊田
Original assignee: Brother Industries Ltd
Current assignee: Brother Industries Ltd
Priority date: 2010-08-18
Filing date: 2010-08-18
Publication date: 2014-11-26
Anticipated expiration: 2030-08-18
Also published as: US20150348331A1; US20130002701A1; WO2012023581A1; JP2012044429A; US9865090B2; US9118875B2

Description

本発明は、携帯型情報処理装置とヘッドマウントディスプレイとを含む画像表示システム、画像表示システムに含まれる携帯型情報処理装置のためのコンピュータプログラム、画像表示システムに含まれるヘッドマウントディスプレイ、及び画像表示方法に関する。

従来から、携帯可能な各種の装置又はシステムが提案されている。例えば、携帯情報装置が提案されている（例えば、特許文献１参照）。特許文献１の携帯情報装置は、基本装置と、ホルダと、ヘッドマウントディスプレイとで構成される。この携帯情報装置において、基本装置は、ＰＤＡ（Personal Digital Assistance）である。ホルダは、基本装置に付加してウエアラブルＰＣ機能を持たせるための拡張装置である。特許文献１においてウエアラブルＰＣとは、身につけて使用するパーソナルコンピュータであるとされている。基本装置がホルダに嵌合された場合、これらはウエアラブルＰＣとして動作する。ヘッドマウントディスプレイは、ホルダに接続される。この携帯情報装置によれば、基本装置の液晶パネルの上側表示領域に、ヘッドマウントディスプレイの表示画面の部分表示領域が部分表示される。

特開２００３−２７９８８１号公報

ところで、特許文献１のような構成によれば、ユーザによって視認される画像の全体がヘッドマウントディスプレイで表示され、その画像の一部領域がＰＤＡを含む基本装置としての携帯型情報処理装置で表示される。ここで、携帯型情報処理装置とヘッドマウントディスプレイとを含む画像表示システムでは、諸条件により、両装置が通信することができなくなる状態が生じる場合がある。このような場合、各装置を連動させて、それぞれ関連した各画像を表示することができない。

本発明は、好適な画像の表示を効率的に実行することができる画像表示システム、画像表示システムに含まれる携帯型情報処理装置のためのコンピュータプログラム、画像表示システムに含まれるヘッドマウントディスプレイ、及び画像表示方法を提供することを目的とする。

上記従来の課題に鑑みなされた本発明の一側面は、携帯型情報処理装置とヘッドマウントディスプレイとを含み、前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信する画像表示システムであって、前記携帯型情報処理装置は、前記ヘッドマウントディスプレイと通信する第一通信部と、所定のデータによって示される画像を表示する第一表示部と、前記携帯型情報処理装置に対する所定の指令を入力する操作部と、前記携帯型情報処理装置と前記ヘッドマウントディスプレイとの通信状態を判断する通信状態判断手段と、前記操作部によって入力された前記所定の指令の一つである特定の指令に従い、前記第一表示部に表示されている前記画像の少なくとも一部領域を選択する領域選択手段と、前記通信状態判断手段によって前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信できる状態であると判断された場合、前記領域選択手段によって選択された前記画像の少なくとも一部領域である部分画像を示す部分画像データを、前記第一通信部から前記ヘッドマウントディスプレイに送信する第一通信制御手段と、を備え、前記ヘッドマウントディスプレイは、前記携帯型情報処理装置と通信する第二通信部と、所定のデータによって示される画像を表示する第二表示部と、前記第二表示部の表示可能領域に関する領域情報を、前記第二通信部から前記携帯型情報処理装置に送信する第二通信制御手段と、前記第二通信部で受信された前記部分画像データによって示される前記部分画像を、表示状態が所定の視認性である第一種状態で前記第二表示部に表示する第二表示制御手段と、を備え、前記領域選択手段は、前記第一通信部で受信された前記領域情報に従った領域を前記一部領域として選択する画像表示システムである。

これによれば、携帯型情報処理装置とヘッドマウントディスプレイとが通信できる状態であると判断された場合において、携帯型情報処理装置の第一表示部で表示されている画像の少なくとも一部領域である部分画像を、効率的に、ヘッドマウントディスプレイの第二表示部で表示することができる。ユーザは、ヘッドマウントディスプレイにおいて部分画像を好適に視認することができる。ヘッドマウントディスプレイの第二表示部の表示可能領域に従った一部領域が選択されるようにすることができる。従って、第二表示部で部分画像を表示する場合に、部分画像を好適に表示することができる。

本発明の他の側面は、携帯型情報処理装置とヘッドマウントディスプレイとを含み、前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信する画像表示システムであって、前記携帯型情報処理装置は、前記ヘッドマウントディスプレイと通信する第一通信部と、所定のデータによって示される画像を表示する第一表示部と、前記携帯型情報処理装置に対する所定の指令を入力する操作部と、前記携帯型情報処理装置と前記ヘッドマウントディスプレイとの通信状態を判断する通信状態判断手段と、前記操作部によって入力された前記所定の指令の一つである特定の指令に従い、前記第一表示部に表示されている前記画像の少なくとも一部領域を選択する領域選択手段と、前記通信状態判断手段によって前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信できる状態であると判断された場合、前記領域選択手段によって選択された前記画像の少なくとも一部領域である部分画像を示す部分画像データを、前記第一通信部から前記ヘッドマウントディスプレイに送信する第一通信制御手段と、前記操作部に対する操作の状態に関する操作情報を取得する第一操作情報取得手段と、を備え、前記ヘッドマウントディスプレイは、前記携帯型情報処理装置と通信する第二通信部と、所定のデータによって示される画像を表示する第二表示部と、前記第二通信部で受信された前記部分画像データによって示される前記部分画像を、表示状態が所定の視認性である第一種状態で前記第二表示部に表示する第二表示制御手段と、を備えると共に、前記第二表示部に表示されている前記画像を視認しているユーザが、前記ユーザが存する外界の像を前記画像と重ねて視認することができるシースルー型のヘッドマウントディスプレイであり、前記第一通信制御手段は、前記第一操作情報取得手段によって取得された前記操作情報を、前記第一通信部から前記ヘッドマウントディスプレイに送信し、前記第二表示制御手段は、前記部分画像が前記第一種状態で前記第二表示部に表示されている状態において、前記第二通信部で受信された前記操作情報が、前記操作部が操作されている状態を示している場合、前記第二表示部での前記部分画像の表示状態を前記第一種状態と比較して前記外界の像を視認できる第二種状態とし、前記部分画像が前記第二種状態で前記第二表示部に表示されている状態において、前記第二通信部で受信された前記操作情報が、前記操作部が操作されていない状態を示している場合、前記第二表示部での前記部分画像の表示状態を前記第一種状態とする画像表示システムである。
これによれば、携帯型情報処理装置とヘッドマウントディスプレイとが通信できる状態であると判断された場合において、携帯型情報処理装置の第一表示部で表示されている画像の少なくとも一部領域である部分画像を、効率的に、ヘッドマウントディスプレイの第二表示部で表示することができる。ユーザは、ヘッドマウントディスプレイにおいて部分画像を好適に視認することができる。ユーザが、携帯型情報処理装置で操作部を操作し、所定の指令を入力している場合、ヘッドマウントディスプレイの第二表示部で表示されている部分画像の表示状態を、操作部を視認し易い状態とすることができる。従って、ユーザは適切に操作部を操作し、所定の指令を入力することができる。
本発明のさらに他の側面は、携帯型情報処理装置とヘッドマウントディスプレイとを含み、前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信する画像表示システムであって、前記携帯型情報処理装置は、前記ヘッドマウントディスプレイと通信する第一通信部と、所定のデータによって示される画像を表示する第一表示部と、前記携帯型情報処理装置に対する所定の指令を入力する操作部と、前記携帯型情報処理装置と前記ヘッドマウントディスプレイとの通信状態を判断する通信状態判断手段と、前記操作部によって入力された前記所定の指令の一つである特定の指令に従い、前記第一表示部に表示されている前記画像の少なくとも一部領域を選択する領域選択手段と、前記通信状態判断手段によって前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信できる状態であると判断された場合、前記領域選択手段によって選択された前記画像の少なくとも一部領域である部分画像を示す部分画像データを、前記第一通信部から前記ヘッドマウントディスプレイに送信する第一通信制御手段と、を備え、前記ヘッドマウントディスプレイは、前記携帯型情報処理装置と通信する第二通信部と、所定のデータによって示される画像を表示する第二表示部と、前記第二通信部で受信された前記部分画像データによって示される前記部分画像を、表示状態が所定の視認性である第一種状態で前記第二表示部に表示する第二表示制御手段と、前記操作部に対する操作の状態に関する操作情報を取得する第二操作情報取得手段と、を備えると共に、前記第二表示部に表示されている前記画像を視認しているユーザが、前記ユーザが存する外界の像を前記画像と重ねて視認することができるシースルー型のヘッドマウントディスプレイであり、前記第二表示制御手段は、前記部分画像が前記第一種状態で前記第二表示部に表示されている状態において、前記第二操作情報取得手段で取得された前記操作情報が、前記操作部が操作されている状態を示している場合、前記第二表示部での前記部分画像の表示状態を前記第一種状態と比較して前記外界の像を視認できる第二種状態とし、前記部分画像が前記第二種状態で前記第二表示部に表示されている状態において、前記第二操作情報取得手段で取得された前記操作情報が、前記操作部が操作されていない状態を示している場合、前記第二表示部での前記部分画像の表示状態を前記第一種状態とする画像表示システムである。
これによれば、携帯型情報処理装置とヘッドマウントディスプレイとが通信できる状態であると判断された場合において、携帯型情報処理装置の第一表示部で表示されている画像の少なくとも一部領域である部分画像を、効率的に、ヘッドマウントディスプレイの第二表示部で表示することができる。ユーザは、ヘッドマウントディスプレイにおいて部分画像を好適に視認することができる。ユーザが、携帯型情報処理装置で操作部を操作し、所定の指令を入力している場合、ヘッドマウントディスプレイの第二表示部で表示されている部分画像の表示状態を、操作部を視認し易い状態とすることができる。従って、ユーザは適切に操作部を操作し、所定の指令を入力することができる。
これらの画像表示システムは、他の構成をさらに含む画像表示システムとすることもできる。前記携帯型情報処理装置は、前記通信状態判断手段によって前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信できない状態であると判断された場合、前記部分画像を前記第一表示部に表示する第一表示制御手段を、さらに備える、ようにしてもよい。これによれば、携帯型情報処理装置とヘッドマウントディスプレイとが通信できない状態である場合には、部分画像を携帯型情報処理装置で表示することができる。ユーザは、部分画像を携帯型情報処理装置で視認することができる。

本発明のさらに他の側面は、ヘッドマウントディスプレイを含む画像表示システムに含まれ、前記ヘッドマウントディスプレイと通信する第一通信部と、所定のデータによって示される画像を表示する第一表示部と、所定の指令を入力する操作部と、を備える携帯型情報処理装置を制御するコンピュータが読み取り可能なコンピュータプログラムであって、前記コンピュータを、前記携帯型情報処理装置と前記ヘッドマウントディスプレイとの通信状態を判断する通信状態判断手段と、前記操作部によって入力された前記所定の指令の一つである特定の指令に従い、前記第一表示部に表示されている前記画像の少なくとも一部領域を選択する領域選択手段と、前記通信状態判断手段によって前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信できる状態であると判断された場合、前記領域選択手段によって選択された前記画像の少なくとも一部領域である部分画像を示すデータであって、前記部分画像を前記ヘッドマウントディスプレイで表示させるための部分画像データを、前記第一通信部から前記ヘッドマウントディスプレイに送信する第一通信制御手段と、して機能させ、前記領域選択手段は、前記第一通信部で受信された、前記ヘッドマウントディスプレイが備える第二表示部の表示可能領域に関する領域情報に従った領域を前記一部領域として選択する機能を含むコンピュータプログラムである。

これによれば、本発明の一側面における携帯型情報処理装置を実現することができる。なお、このコンピュータプログラムは、上述した構成をさらに含む携帯型情報処理装置のためのコンピュータプログラムとすることもできる。
本発明のさらに他の側面は、携帯型情報処理装置を含む画像表示システムに含まれるヘッドマウントディスプレイであって、前記携帯型情報処理装置と通信する第二通信部と、所定のデータによって示される画像を表示する第二表示部と、前記第二表示部の表示可能領域に関する領域情報を、前記第二通信部から前記携帯型情報処理装置に送信する第二通信制御手段と、前記第二通信部で受信された、前記携帯型情報処理装置で表示されている所定のデータによって示される画像の少なくとも一部領域であって前記領域情報に従った領域を示す部分画像データによって示される部分画像を、表示状態が所定の視認性である第一種状態で前記第二表示部に表示する第二表示制御手段と、を備えるヘッドマウントディスプレイである。
本発明のさらに他の側面は、携帯型情報処理装置とヘッドマウントディスプレイとを含み、前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信する画像表示システムであって、前記携帯型情報処理装置は、前記ヘッドマウントディスプレイと通信する第一通信部と、所定のデータによって示される画像を表示する第一表示部と、前記携帯型情報処理装置に対する所定の指令を入力する操作部と、前記携帯型情報処理装置と前記ヘッドマウントディスプレイとの通信状態を判断する通信状態判断手段と、前記操作部によって入力された前記所定の指令の一つである特定の指令に従い、前記第一表示部に表示されている前記画像の少なくとも一部領域を選択する領域選択手段と、前記通信状態判断手段によって前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信できる状態であると判断された場合、前記領域選択手段によって選択された前記画像の少なくとも一部領域である部分画像を示す部分画像データを、前記第一通信部から前記ヘッドマウントディスプレイに送信する第一通信制御手段と、を備え、前記ヘッドマウントディスプレイは、前記携帯型情報処理装置と通信する第二通信部と、所定のデータによって示される画像を表示する第二表示部と、前記第二通信部で受信された前記部分画像データによって示される前記部分画像を、表示状態が所定の視認性である第一種状態で前記第二表示部に表示する第二表示制御手段と、を備え、前記携帯型情報処理装置は、前記第二表示部の表示可能領域に関する領域情報を取得する取得手段を、さらに備え、前記領域選択手段は、前記取得手段で取得された前記領域情報に従った領域を前記一部領域として選択する画像表示システムである。
この画像表示システムにおいて、前記ヘッドマウントディスプレイは、前記領域情報を、前記第二通信部から前記携帯型情報処理装置に送信する第二通信制御手段を、さらに備え、前記取得手段は、前記ヘッドマウントディスプレイから前記領域情報を取得する、ようにしてもよい。
本発明のさらに他の側面は、携帯型情報処理装置とヘッドマウントディスプレイとを含み、前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信する画像表示システムにおける画像表示方法であって、前記携帯型情報処理装置と前記ヘッドマウントディスプレイとの通信状態を判断する通信状態判断ステップと、前記ヘッドマウントディスプレイの第二表示部の表示可能領域に関する領域情報を取得する取得ステップと、前記携帯型情報処理装置に対する所定の指令を入力する操作部によって入力された前記所定の指令の一つである特定の指令に従い、前記携帯型情報処理装置の第一表示部に表示されている画像の少なくとも一部領域を前記領域情報に従って選択する領域選択ステップと、前記通信状態判断ステップによって前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信できる状態であると判断された場合、前記領域選択ステップによって選択された前記画像の少なくとも一部領域である部分画像を示す部分画像データを、前記ヘッドマウントディスプレイと通信する前記携帯型情報処理装置の第一通信部から前記ヘッドマウントディスプレイに送信する第一通信ステップと、前記ヘッドマウントディスプレイの第二通信部で受信された前記部分画像データによって示される前記部分画像を、表示状態が所定の視認性である第一種状態で前記第二表示部に表示する第二表示制御ステップと、を含む画像表示方法である。
本発明のさらに他の側面は、携帯型情報処理装置とヘッドマウントディスプレイとを含み、前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信する画像表示システムであって、前記携帯型情報処理装置は、前記ヘッドマウントディスプレイと通信する第一通信部と、所定のデータによって示される画像を表示する第一表示部と、前記携帯型情報処理装置に対する所定の指令を入力する操作部と、前記携帯型情報処理装置と前記ヘッドマウントディスプレイとの通信状態を判断する通信状態判断手段と、前記操作部によって入力された前記所定の指令の一つである特定の指令に従い、前記第一表示部に表示されている前記画像の少なくとも一部領域を選択する領域選択手段と、前記領域選択手段によって前記一部領域が選択されているか否かを判断する選択判断手段と、前記通信状態判断手段によって前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信できる状態であると判断され、且つ、前記選択判断手段によって前記一部領域が選択されていると判断された場合、前記第一表示部に表示されている前記画像の表示が維持された状態で、前記領域選択手段によって選択された前記画像の少なくとも一部領域である部分画像を示す部分画像データを、前記第一通信部から前記ヘッドマウントディスプレイに送信し、前記通信状態判断手段によって前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信できる状態であると判断され、且つ、前記選択判断手段によって前記一部領域が選択されていないと判断された場合、前記第一表示部に表示されている前記画像の表示が維持された状態で、前記画像の全体を示す全体画像データを、前記第一通信部から前記ヘッドマウントディスプレイに送信する第一通信制御手段と、を備え、前記ヘッドマウントディスプレイは、前記携帯型情報処理装置と通信する第二通信部と、所定のデータによって示される画像を表示する第二表示部と、前記第二通信部で受信された、前記部分画像データによって示される前記部分画像又は前記全体画像データによって示される前記画像を、表示状態が所定の視認性である第一種状態で前記第二表示部に表示する第二表示制御手段と、を備える画像表示システムである。

本発明によれば、好適な画像の表示を効率的に実行することができる画像表示システム、画像表示システムに含まれる携帯型情報処理装置のためのコンピュータプログラム、画像表示システムに含まれるヘッドマウントディスプレイ、及び画像表示方法を得ることができる。

画像表示システムに含まれる携帯型情報処理装置の外観図である。画像表示システムに含まれるヘッドマウントディスプレイの外観図と、ヘッドマウントディスプレイで視認される部分画像の一例を示す図である。画像表示システムの一例を示す図であって、携帯型情報処理装置及びヘッドマウントディスプレイの構成を示すブロック図である。携帯型情報処理装置で実行されるメイン処理のフローチャートである。携帯型情報処理装置で実行される操作時処理のフローチャートである。ヘッドマウントディスプレイで実行されるメイン処理のフローチャートである。ヘッドマウントディスプレイで実行される表示状態変更処理のフローチャートである。

本発明を実施するための実施形態について、図面を用いて説明する。本発明は、以下に記載の構成に限定されるものではなく、同一の技術的思想において種々の構成を採用することができる。例えば、以下に示す構成の一部は、省略し又は他の構成等に置換してもよい。また、他の構成を含むようにしてもよい。

＜画像表示システム＞
画像表示システム１は、図１に示す携帯型情報処理装置１０と、図２に示すヘッドマウントディスプレイ（以下、「ＨＭＤ」ともいう。）５０とを含む。画像表示システム１のユーザは、携帯型情報処理装置１０の表示部２０と、ＨＭＤ５０の画像表示部６８とで、例えば、図１及び図２に示すような各画像を同時に視認することができる。画像表示システム１において、携帯型情報処理装置１０とＨＭＤ５０とは、図３に示すように通信することができる。携帯型情報処理装置１０とＨＭＤ５０とは、例えば図３に示すように無線接続されており、両装置間の通信は無線通信によって実現される。無線通信としては、Ｂｌｕｅｔｏｏｔｈ（登録商標）又は無線ＬＡＮ（Local Area Network）等が例示される。なお、両装置を所定の通信ケーブルを用いて有線接続し、携帯型情報処理装置１０とＨＭＤ５０とが、この通信ケーブルを介して通信するようにしてもよい。有線接続による通信としては、ＵＳＢ接続等のローカル接続による通信又は有線ＬＡＮによる通信が例示される。つまり、携帯型情報処理装置１０とＨＭＤ５０との通信は、各種の通信方式によって実現される。

携帯型情報処理装置１０は、所定の情報を含む画像、例えば図１に示すような態様の画像を表示することができる装置である。携帯型情報処理装置１０としては、携帯電話機、いわゆるスマートフォン又は電子ブック等が例示される。携帯型情報処理装置１０は、図３に示すような公衆回線網９０等を介した通信（データ通信）を行うことができる。公衆回線網９０としては、携帯電話通信網が例示される。表示される画像について、携帯型情報処理装置１０は、例えば、公衆回線網９０を介してインターネット上の所定のサイトにアクセスし、図１に示すようなポータルサイトの画像を示す画像データを取得する。この他、携帯型情報処理装置１０は、インターネット上のサイト以外の記憶装置又は記憶媒体にアクセスし、表示される画像を示す画像データを取得する。

ＨＭＤ５０は、いわゆるシースルー型のＨＭＤである。ユーザは、図２に示す状態において、ＨＭＤ５０において表示される画像を視認しつつ、ユーザが存する外界の像を、表示される画像と重ねて視認することができる。ＨＭＤ５０では、例えば、携帯型情報処理装置１０の表示部２０に表示されている図１に示すような所定の情報を含む画像の一部領域であって、図２に示すような一部の情報を含む部分画像が表示される。ＨＭＤ５０のユーザは、図２に示すように、部分画像を視認する。なお、部分画像は、所定の情報を含む画像の一部を拡大した拡大画像である。以下では、例えば図１に示すような画像であって、部分画像を一部領域として含む画像を「全体画像」ともいい、全体画像を示す画像データを「全体画像データ」ともいう。また、ＨＭＤ５０には部分画像の他、後述するように全体画像も表示される。ＨＭＤ５０は、通常の眼鏡と同様のフレーム構造５２を有する。ＨＭＤ５０は、フレーム構造５２によって、ユーザの顔に支持される。フレーム構造５２の所定の位置には、画像表示部６８が取り付けられている。画像表示部６８は、ユーザが視認する画像を、ユーザの眼、例えば図２に基づけば、左眼に表示する。画像表示部６８は、フレーム構造５２に取り付けられた状態において、ＨＭＤ５０を装着したユーザの左眼と略同一の高さとなる位置に配置されている。

携帯型情報処理装置１０は、図３に示すように、ＣＰＵ１２と、ＲＯＭ１４と、ＲＡＭ１６と、モバイル回線通信部１８と、表示部２０と、通信部２２と、操作部２４とを備える。ＣＰＵ１２は、携帯型情報処理装置１０で実行される各種処理を制御する。ＲＯＭ１４は、携帯型情報処理装置１０で実行される各種処理のためのコンピュータプログラム（アプリケーションプログラム）を記憶する。例えば、後述する図４及び図５に示す処理のためのコンピュータプログラムを記憶する。ＲＡＭ１６は、携帯型情報処理装置１０で各種処理が実行される際の作業領域となる。つまり、ＣＰＵ１２は、ＲＡＭ１６上でＲＯＭ１４に記憶されたコンピュータプログラムを実行する。例えば、ＣＰＵ１２は、図４に示すメイン処理又は図５に示す操作時処理を開始する場合、これら各処理のためのコンピュータプログラムを、ＲＯＭ１４から読み出し、読み出したコンピュータプログラムをＲＡＭ１６上で実行する。このようにして、各種の機能が実行され、各種の機能手段が構成される。

モバイル回線通信部１８は、公衆回線網９０との間の通信を実行する。携帯型情報処理装置１０では、モバイル回線通信部１８を介した通信によって、表示部２０で表示される全体画像を示す全体画像データが取得される。表示部２０は、図１に示すような態様で全体画像又は部分画像を表示する。通信部２２は、例えばＨＭＤ５０との間の無線通信を実行する。携帯型情報処理装置１０とＨＭＤ５０とが、有線によって接続される場合、通信部２２は、これに対応した通信Ｉ／Ｆによって構成される。なお、画像表示システム１を含むシステムに、表示対象の画像を示す画像データを記憶する記憶装置が含まれる場合、通信部２２は、この記憶装置にアクセスし、記憶された画像データを取得することもできる。

操作部２４は、所定の操作キー２６及びタッチパネル機能部２８によって構成される。ユーザは、操作部２４を構成する操作キー２６及び／又はタッチパネル機能部２８を操作し、携帯型情報処理装置１０に対する所定の指令を入力する。なお、携帯型情報処理装置１０は、上記の他、例えば所定の記憶媒体を装着するためのインターフェースを備えていてもよい。このような構成によれば、この記録媒体から表示対象の全体画像を示す画像データを取得することもできる。記憶媒体としては、例えば所定のメモリカード及び／又はＵＳＢメモリ等が例示される。この場合、携帯型情報処理装置１０は、メモリカードスロット及び／又はＵＳＢ接続インターフェースを備える。

ＨＭＤ５０は、図３に示すように、ＣＰＵ５６と、ＲＯＭ５８と、ＲＡＭ６０と、画像処理部６２と、画像表示部６８と、通信部７０と、操作部７２とを備える。ＣＰＵ５６は、ＨＭＤ５０で実行される各種処理を制御する。ＲＯＭ５８は、ＨＭＤ５０で実行される各種処理のためのコンピュータプログラム（アプリケーションプログラム）を記憶する。例えば、後述する図６及び図７に示す処理のためのコンピュータプログラムを記憶する。ＲＡＭ６０は、ＨＭＤ５０で各種処理が実行される際の作業領域となる。つまり、ＣＰＵ５６は、ＲＡＭ６０上でＲＯＭ５８に記憶されたコンピュータプログラムを実行する。例えば、ＣＰＵ５６は、図６に示すメイン処理又は図７に示す表示状態変更処理を開始する場合、これら各処理のためのコンピュータプログラムを、ＲＯＭ５８から読み出し、読み出したコンピュータプログラムをＲＡＭ６０上で実行する。このようにして、各種の機能が実行され、各種の機能手段が構成される。

画像処理部６２には、グラフィックス・プロセッシング・ユニット（以下、「ＧＰＵ」ともいう。）６４と、ＶＲＡＭ（Video RAM）６６とが搭載されている。画像処理部６２は、ＣＰＵ５６からの指令に基づき画像表示部６８で表示される画像、例えば全体画像又は部分画像を生成する。具体的に、ＧＰＵ６４は、画像表示部６８で表示される全体画像又は部分画像等の画像を示す画像データを対象として再生処理を実行し、この画像を生成する。生成された画像はＶＲＡＭ６６に記憶される。

画像表示部６８は、網膜走査型ディスプレイによって構成される。網膜走査型ディスプレイは、画像処理部６２で生成され記憶されている全体画像又は部分画像等の画像を示す画像信号に応じた画像光を２次元方向に走査する。画像表示部６８は、その走査された画像光をユーザの左眼に導き網膜上に画像を形成する。画像表示部６８から出射された画像光は、ユーザの左眼前方の位置に配置されたハーフミラー５４で反射して、左眼に導かれる。ハーフミラー５４は、画像表示部６８に固定されている。ＨＭＤ５０を装着しているユーザは、このようにして、全体画像又は部分画像等の画像を視認する。画像表示部６８は、網膜走査型ディスプレイの他、液晶ディスプレイ、有機ＥＬ（Organic Electroluminescence）ディスプレイその他の装置を用いた構成とすることもできる。画像表示部６８の表示可能領域（解像度）は、例えば、携帯型情報処理装置１０が備える表示部２０の表示可能領域より大きいサイズである。なお、画像表示部６８の表示可能領域（解像度）は、表示部２０の表示可能領域以下であってもよい。

通信部７０は、例えば携帯型情報処理装置１０との間の通信（無線通信又は有線通信）を実行する。通信部７０の構成は、携帯型情報処理装置１０が備える通信部２２と同様である。従って、その説明は省略する。操作部７２は、例えば所定のキーなどによって構成される。ユーザは、操作部７２を操作し、ＨＭＤ５０に対する所定の指令を入力することができる。ＨＭＤ５０において上述した各部は、図２に示すような画像表示部６８を構成する筐体内部に収納されている。つまり、図２及び図３に示すＨＭＤ５０は、一体で構成されている。ここで、ＨＭＤ５０は、制御ボックスとＨＭＤ本体に分けて構成され、両装置が信号ケーブルによって接続された構成のＨＭＤとしてもよい。この場合、図３に示す、ＣＰＵ５６と、ＲＯＭ５８と、ＲＡＭ６０と、画像処理部６２と、通信部７０と、操作部７２とが、制御ボックス内に収容される。また、画像表示部６８が、図２に示す態様でフレーム構造５２に取り付けられ、フレーム構造５２と共にＨＭＤ本体を構成する。制御ボックス及びＨＭＤ本体は、それぞれ両装置間で信号を送受信するためのインターフェースを備える。両装置間で送受信される信号には、画像信号及び指令信号等が例示される。

以下、画像表示システム１で実現される動作に関し、携帯型情報処理装置１０で実行される処理と、ＨＭＤ５０で実行される処理とを説明する。

＜携帯型情報処理装置で実行される処理＞
携帯型情報処理装置１０で実行される処理として、図４に示すメイン処理と、図５に示す操作時処理とを説明する。

（メイン処理）
携帯型情報処理装置１０におけるメイン処理は、ユーザによって操作部２４が操作され、メイン処理の実行の開始を示す指令が入力された場合に開始される。ユーザは、操作部２４（操作キー２６及び／又はタッチパネル機能部２８）を操作し、メイン処理の開始の指令を入力する。なお、メイン処理の開始に先立ち、携帯型情報処理装置１０では、所定の画像を表示するための処理が実行されている。これによって、携帯型情報処理装置１０では、表示部２０に、例えば図１に示すような全体画像が表示されている。メイン処理を開始したＣＰＵ１２は、ＨＭＤ５０との通信状態、つまりＨＭＤ５０と通信できる状態であるか否かを判断する（Ｓ１００）。携帯型情報処理装置１０とＨＭＤ５０とが無線接続されている場合、Ｓ１００でＣＰＵ１２は、ＨＭＤ５０と無線通信可能か否かを判断する。なお、携帯型情報処理装置１０とＨＭＤ５０とが有線接続されている場合、Ｓ１００でＣＰＵ１２は、通信部２２に通信ケーブルが接続されているか否かを判断し、接続されている場合、さらにＨＭＤ５０と有線通信可能であるか否かを判断する。

Ｓ１００の判断の結果、通信できない状態である場合（Ｓ１００：Ｎｏ）、ＣＰＵ１２は、処理をＳ１０２に移行する。一方、通信できる状態である場合（Ｓ１００：Ｙｅｓ）、ＣＰＵ１２は、処理をＳ１０６に移行する。Ｓ１０２でＣＰＵ１２は、表示部２０に表示されている全体画像のうち、拡大表示される拡大範囲としての一部領域が選択されているかについて判断する。一部領域は、タッチパネル機能部２８がユーザによって操作されて指定される。ＣＰＵ１２は、タッチパネル機能部２８を介した指定された部分を、拡大範囲としての一部領域として選択する。図１に示す点線は、指定された一部領域を示すものであって、点線で指定された部分が一部領域として選択される。なお、タッチパネル機能部２８を介して指定された部分は、ユーザが認識できるようにするとよい。例えば、この部分が、図１に示すように、所定の枠で囲まれた状態になると、ユーザは認識し易くなる。判断の結果、一部領域が選択されていない場合（Ｓ１０２：Ｎｏ）、ＣＰＵ１２は、処理をＳ１２２に移行する。一方、一部領域が選択されている場合（Ｓ１０２：Ｙｅｓ）、ＣＰＵ１２は、選択された一部領域である部分画像を表示部２０に表示する（Ｓ１０４）。部分画像は、図２に示すような画像であって、図１において点線で囲まれた一部領域が拡大された画像である。Ｓ１０４で表示される部分画像は、画像処理部６２で、部分画像を含む全体画像を示す全体画像データから生成される。部分画像を表示したＣＰＵ１２は、処理をＳ１２２に移行する。

Ｓ１０６でＣＰＵ１２は、通信部２２を制御し、表示可能領域に関する領域情報の送信要求をＨＭＤ５０に送信する。送信要求の対象となる表示可能領域は、画像表示部６８で表示できる範囲（解像度）を示すものであって、それに関する領域情報は、画像表示部６８で表示できる範囲（解像度）を示す情報である。表示可能領域に関する領域情報によれば、例えば画像表示部６８で表示できる範囲のアスペクト比を特定することができる。なお、この送信要求は、図６のＳ３００の判断が肯定された状態（Ｓ３００：Ｙｅｓ）において、ＨＭＤ５０で受信される。送信要求を送信した後、ＣＰＵ１２は、送信要求に応じてＨＭＤ５０から送信される領域情報を受信したかについて判断する（Ｓ１０８）。なお、この領域情報は、図６のＳ３０４でＨＭＤ５０から送信される。判断の結果、領域情報が受信されない場合（Ｓ１０８：Ｎｏ）、ＣＰＵ１２は、処理をＳ１１２に移行する。一方、領域情報が受信されている場合（Ｓ１０８：Ｙｅｓ）、拡大範囲としての一部領域の選択に関し、選択される一部領域を、受信された領域情報によって示されるアスペクト比に固定する（Ｓ１１０）。これによれば、タッチパネル機能部２８による一部領域の指定は、固定されたアスペクト比に制限される。そして、ＣＰＵ１２によって選択される一部領域のアスペクト比は、固定されたアスペクト比となる。Ｓ１１０を実行した後、ＣＰＵ１２は、処理をＳ１１２に移行する。

Ｓ１１２でＣＰＵ１２は、表示部２０に表示されている全体画像のうち、一部領域が選択されているかについて判断する。Ｓ１１２の処理は、上述したＳ１０２と同様であり、一部領域の選択は、上記同様、タッチパネル機能部２８を介した指定に従って選択される。判断の結果、一部領域が選択されていない場合（Ｓ１１２：Ｎｏ）、ＣＰＵ１２は、通信部２２を制御し、表示部２０に表示されている全体画像を示す全体画像データを、ＨＭＤ５０に送信する（Ｓ１１４）。なお、この全体画像データは、ＨＭＤ５０で受信される。ＨＭＤ５０では、この全体画像データの受信の有無に基づき、図６のＳ３０６の判断が実行される。続けてＣＰＵ１２は、操作時処理を実行する（Ｓ１１６）。操作時処理については、後述する。Ｓ１１６を実行した後、ＣＰＵ１２は、処理をＳ１２２に移行する。

これに対し、Ｓ１１２で一部領域が選択されていると判断された場合（Ｓ１１２：Ｙｅｓ）、ＣＰＵ１２は、通信部２２を制御し、選択された一部領域である部分画像を示す部分画像データを、ＨＭＤ５０に送信する（Ｓ１１８）。Ｓ１１０が実行されていた場合、Ｓ１１８で送信される部分画像データは、Ｓ１１０で固定されたアスペクト比である部分画像を示す。部分画像データは、選択された一部領域に従い全体画像データから生成される。なお、この部分画像データは、ＨＭＤ５０で受信される。ＨＭＤ５０では、この部分画像データの受信の有無に基づき、図６のＳ３０６の判断が実行される。続けてＣＰＵ１２は、操作時処理を実行する（Ｓ１２０）。操作時処理については、後述する。Ｓ１２０を実行した後、ＣＰＵ１２は、処理をＳ１２２に移行する。

Ｓ１２２でＣＰＵ１２は、メイン処理の終了の指令が入力されているかについて判断する。終了の指令は、ユーザが操作部２４（操作キー２６及び／又はタッチパネル機能部２８）を操作することで、入力される。判断の結果、終了の指令が入力されていない場合（Ｓ１２２：Ｎｏ）、ＣＰＵ１２は、処理をＳ１００に戻し、上記各処理を繰り返して実行する。一方、終了の指令が入力されている場合（Ｓ１２２：Ｙｅｓ）、ＣＰＵ１２は、メイン処理を終了する。

（操作時処理）
図５に示される操作時処理は、上述した図４のＳ１１６又はＳ１２０において実行される。操作時処理を開始したＣＰＵ１２は、操作部２４に対する操作の状態として、操作部２４の操作が開始されたかについて判断する（Ｓ２００）。例えば、表示部２０で表示されている図１に示す全体画像及び画像表示部６８で表示されている図２に示す部分画像に含まれる「ＮＥＷＳ」タブのフレームに含まれる各ニュースをスクロールさせるために、タッチパネル機能部２８が操作された場合、ＣＰＵ１２は、操作部２４が操作されたと判断する。判断の結果、操作が開始されていない場合（Ｓ２００：Ｎｏ）、ＣＰＵ１２は、処理をＳ２０８に移行する。一方、操作が開始されている場合（Ｓ２００：Ｙｅｓ）、ＣＰＵ１２は、通信部２２を制御し、操作状態をＨＭＤ５０に送信する（Ｓ２０２）。操作状態は、操作部２４に対する操作の状態に関する情報であって、操作部２４に対する所定の指令の入力が開始され、入力されていることを示す操作情報である。なお、操作状態は、ＨＭＤ５０で受信される。ＨＭＤ５０では、この操作状態の受信の有無に基づき、図７のＳ４００の判断が実行される。

続けてＣＰＵ１２は、操作部２４に対する操作の状態として、操作部２４の操作が完了したかについて判断する（Ｓ２０４）。判断の対象となる操作は、Ｓ２００の判断が肯定（Ｓ２００：Ｙｅｓ）される原因となった操作である。例えば、タッチパネル機能部２８による「ＮＥＷＳ」タブのフレームに含まれる各ニュースのスクロールが停止された場合、ＣＰＵ１２は、このスクロールに関する操作が完了したと判断する。操作が継続している場合、ＣＰＵ１２は、操作が完了していないと判断する。判断の結果、操作が完了していない場合（Ｓ２０４：Ｎｏ）、ＣＰＵ１２は、操作が完了されるまで待機する。一方、操作が完了している場合（Ｓ２０４：Ｙｅｓ）、ＣＰＵ１２は、通信部２２を制御し、操作完了をＨＭＤ５０に送信する（Ｓ２０６）。操作完了は、操作部２４に対する操作の状態に関する情報であって、操作部２４に対する所定の指令の入力が完了し、入力されていないことを示す操作情報である。なお、操作完了は、ＨＭＤ５０で受信される。ＨＭＤ５０では、この操作完了の受信の有無に基づき、図７のＳ４０４の判断が実行される。

Ｓ２０６を実行した後、ＣＰＵ１２は、ＨＭＤ５０との通信状態、つまりＨＭＤ５０と通信できる状態であるか否かを判断する（Ｓ２０８）。Ｓ２０８の処理は、上述したＳ１００と同様である。従って、その説明は省略する。判断の結果、通信できる状態である場合（Ｓ２０８：Ｙｅｓ）、ＣＰＵ１２は、処理をＳ２００に戻し、上記各処理を繰り返して実行する。一方、通信できない状態である場合（Ｓ２０８：Ｎｏ）、ＣＰＵ１２は、選択されている一部領域をクリアする（Ｓ２１０）。なお、一部領域は、例えば図４のＳ１０２又はＳ１１２の判断に際し選択されている。Ｓ２１０を実行した後、ＣＰＵ１２は、操作時処理を終了する。そして、ＣＰＵ１２は、処理を図４のＳ１２２に移行する。

＜ＨＭＤで実行される処理＞
ＨＭＤ５０で実行される処理として、図６に示すメイン処理と、図７に示す表示状態変更処理とを説明する。

（メイン処理）
ＨＭＤ５０におけるメイン処理は、例えばＨＭＤ５０の電源が入れられた場合に開始される。なお、ユーザによって操作部７２が操作され、メイン処理の実行の開始を示す指令が入力された場合に開始されるようにしてもよい。メイン処理を開始したＣＰＵ５６は、携帯型情報処理装置１０との通信状態、つまり携帯型情報処理装置１０と通信できる状態であるか否かを判断する（Ｓ３００）。携帯型情報処理装置１０とＨＭＤ５０とが無線接続されている場合、Ｓ３００でＣＰＵ５６は、携帯型情報処理装置１０と無線通信可能か否かを判断する。なお、携帯型情報処理装置１０とＨＭＤ５０とが有線接続されている場合、Ｓ３００でＣＰＵ５６は、通信部７０に通信ケーブルが接続されているか否かを判断し、接続されている場合、さらに携帯型情報処理装置１０と有線通信可能であるか否かを判断する。判断の結果、通信できない状態である場合（Ｓ３００：Ｎｏ）、ＣＰＵ５６は、携帯型情報処理装置１０と通信できる状態となるまで待機する。

これに対し、通信できる状態である場合（Ｓ３００：Ｙｅｓ）、ＣＰＵ５６は、送信要求を受信したかについて判断する（Ｓ３０２）。送信要求は、図４のＳ１０６で携帯型情報処理装置１０から送信される。送信要求は、通信部７０によって受信される。判断の結果、送信要求が受信されていない場合（Ｓ３０２：Ｎｏ）、ＣＰＵ５６は、送信要求が受信されるまで待機する。一方、送信要求が受信されている場合（Ｓ３０２：Ｙｅｓ）、ＣＰＵ５６は、携帯型情報処理装置１０からの送信要求に応じた処理を実行する。つまり、ＣＰＵ５６は、通信部７０を制御し、画像表示部６８の表示可能領域に関する領域情報を携帯型情報処理装置１０に送信する（Ｓ３０４）。なお、この領域情報は、携帯型情報処理装置１０で受信される。携帯型情報処理装置１０では、この領域情報の受信の有無に基づき、図４のＳ１０８の判断が実行される。

続けてＣＰＵ５６は、画像データを受信したかについて判断する（Ｓ３０６）。Ｓ３０６においてＨＭＤ５０で受信される画像データは、全体画像データ及び部分画像データの何れかである。全体画像データは、図４のＳ１１４で携帯型情報処理装置１０から送信される。部分画像データは、図４のＳ１１８で携帯型情報処理装置１０から送信される。全体画像データ及び部分画像データの何れかの画像データは、通信部７０によって受信される。判断の結果、画像データが受信されていない場合（Ｓ３０６：Ｎｏ）、ＣＰＵ５６は、処理をＳ３１０に移行する。

これに対し、画像データが受信されている場合（Ｓ３０６：Ｙｅｓ）、ＣＰＵ５６は、受信された画像データによって示される画像を、画像表示部６８の表示可能領域（アスペクト比）に合わせて、画像表示部６８に表示する（Ｓ３０８）。つまり、全体画像データ及び部分画像データの何れか一方の画像データが受信された場合、ＣＰＵ５６からの指令に基づき画像処理部６２は、全体画像データ又は部分画像データを処理し、図１の表示部２０に表示されている態様の全体画像又は図２に示す部分画像を生成する。この際、画像処理部６２は、所定のアスペクト比である画像表示部６８の表示可能領域に合わせたサイズの全体画像又は部分画像を生成する。具体的には、ＧＰＵ６４は、全体画像データ又は部分画像データを対象として再生処理を実行し、画像表示部６８の表示可能領域に合わせられた全体画像又は部分画像を生成する。生成された全体画像又は部分画像はＶＲＡＭ６６に記憶される。

その後、Ｓ３０８でＣＰＵ５６は、画像表示部６８を制御し、画像処理部６２で生成され記憶されている全体画像又は部分画像を示す画像信号に応じた画像光を２次元方向に走査する。その走査された画像光は、ハーフミラー５４で反射し、ユーザの左眼に導かれ、網膜上に画像が形成される。このようにして、全体画像又は部分画像が、画像表示部６８で表示される。ユーザは、全体画像又は部分画像を視認する。なお、図４のＳ１１０が実行された後に図４のＳ１１８で送信された部分画像データが受信された場合、この部分画像データは、上述した通り、画像表示部６８の表示可能領域におけるアスペクト比に一致したアスペクト比の部分画像を示すデータである。携帯型情報処理装置１０では、図４のＳ１１０でアスペクト比が、Ｓ３０４で送信された領域情報に従って固定され、固定されたアスペクト比で一部領域が指定されて選択されるためである。

Ｓ３０８を実行した後、ＣＰＵ５６は、メイン処理の終了の指令が入力されているかについて判断する（Ｓ３１０）。終了の指令は、ユーザが操作部７２を操作することで入力される。なお、ＣＰＵ５６は、図３に示すＨＭＤ５０の各構成のうち、画像表示部６８の電源が切られた場合も、終了の指令が入力されたと判断する。判断の結果、終了の指令が入力されていない場合（Ｓ３１０：Ｎｏ）、ＣＰＵ５６は、処理をＳ３０６に戻し、上記各処理を繰り返して実行する。一方、終了の指令が入力されている場合（Ｓ３１０：Ｙｅｓ）、ＣＰＵ５６は、メイン処理を終了する。

（表示状態変更処理）
図７に示される表示状態変更処理は、図６を参照して上述したＨＭＤ５０におけるメイン処理に並行して実行される。表示状態変更処理を開始したＣＰＵ５６は、操作状態を受信したかについて判断する（Ｓ４００）。操作状態は、図５のＳ２０２で携帯型情報処理装置１０から送信される。操作状態は、通信部７０によって受信される。判断の結果、操作状態が受信されていない場合（Ｓ４００：Ｎｏ）、ＣＰＵ５６は、処理をＳ４０８に移行する。一方、操作状態が受信されている場合（Ｓ４００：Ｙｅｓ）、ＣＰＵ５６は、画像表示部６８で表示されている画像、具体的には全体画像又は部分画像の視認性を落とす。これによって、ユーザは、ハーフミラー５４を介して外界像を視認し易くなる。従って、ユーザは、携帯型情報処理装置１０の操作部２４を好適に視認し、操作することができる。ここで、視認性を落とす方法としては、種々の方法を採用することができる。例えば、表示されている全体画像又は部分画像の画像サイズを小さくする方法を採用することができる。また、表示されている全体画像又は部分画像に対して、色濃度を薄くしたり輝度を落としたりする方法を採用することができる。なお、全体画像又は部分画像は、図６のＳ３０８で表示されている。

続けてＣＰＵ５６は、操作完了を受信したかについて判断する（Ｓ４０４）。操作完了は、図５のＳ２０６で携帯型情報処理装置１０から送信される。操作完了は、通信部７０によって受信される。判断の結果、操作完了が受信されていない場合（Ｓ４０４：Ｎｏ）、ＣＰＵ５６は、操作完了が受信されるまで待機する。一方、操作完了が受信されている場合（Ｓ４０４：Ｙｅｓ）、ＣＰＵ５６は、Ｓ４０２で視認性を落とした画像（全体画像又は部分画像）の視認性を、Ｓ４０２の実行前の状態に戻す（Ｓ４０６）。これによって、ユーザは、全体画像又は部分画像を好適に視認することができる。

Ｓ４０６を実行した後、ＣＰＵ５６は、携帯型情報処理装置１０との通信状態、つまり携帯型情報処理装置１０と通信できる状態であるか否かを判断する（Ｓ４０８）。Ｓ４０８の処理は、上述したＳ３００と同様である。従って、その説明は省略する。判断の結果、通信できる状態である場合（Ｓ４０８：Ｙｅｓ）、ＣＰＵ５６は、処理をＳ４００に戻し、上記各処理を繰り返して実行する。一方、通信できない状態である場合（Ｓ４０８：Ｎｏ）、表示状態変更処理を終了する。

本実施形態の画像表示システム１では、ユーザは、上述した各処理によって、携帯型情報処理装置１０で表示されている全体画像と同一の画像又は同じく表示されている全体画像の一部領域である部分画像を、ＨＭＤ５０で視認することができる。特に、本実施形態１の画像表示システム１は、次の点において好適である。つまり、携帯型情報処理装置１０が備える表示部２０の表示可能領域は、装置の携帯性が考慮されたサイズに制限されており、例えば据置型のパーソナルコンピュータ等と比較すると小さい。そのため、表示させる画像によっては、画像に含まれる各種の情報等といった画像が示す内容を好適に視認し認識することが困難となる場合もある。画像表示システム１によれば、携帯型情報処理装置１０とＨＭＤ５０とが通信できる状態である場合（図４のＳ１００、図６Ｓ３００：Ｙｅｓ）、携帯型情報処理装置１０で表示されている全体画像のうち、一部領域を選択し（図４のＳ１１２：Ｙｅｓ）、全体画像の一部領域である部分画像をＨＭＤ５０で視認することができる（図４のＳ１２０、図６のＳ３０８）。そのため、画像表示システム１は、全体画像のうち、特にユーザが視認したい一部領域の部分画像に関し、好適な視認性を実現することができる。

上記では、携帯型情報処理装置１０の操作部２４の操作が開始された場合（図５のＳ２００：Ｙｅｓ）に、携帯型情報処理装置１０からＨＭＤ５０に向けて、操作状態が送信されるようにした（図５のＳ２０２）。そして、ＨＭＤ５０において操作状態が受信され、図７のＳ４００の判断が肯定された場合（図７のＳ４００：Ｙｅｓ）、画像表示部６８で表示されている全体画像又は部分画像の表示状態に関し、視認性を落とすようにした（図７のＳ４０２）。

このような構成は、次のようにすることもできる。ＨＭＤ５０は、外界の像を撮像可能な撮像部を備える。撮像部としては、ＣＣＤセンサが例示される。ＣＣＤセンサのような撮像部は、ユーザの視線方向における外界の像を撮像することが可能な、ＨＭＤ５０の所定の位置に取り付けられる。例えば、画像表示部６８の上面に取り付けられる。ユーザは、携帯型情報処理装置１０の操作部２４を操作する場合、操作する操作部２４を視認する。つまり、ユーザが操作部２４を操作する場合、撮像部は、操作部２４に対する操作の状態を撮像する。ＨＭＤ５０のＣＰＵ５６は、図７のＳ４００の判断に代えて、撮像された操作の状態を示す撮像データを画像解析し、操作部２４が操作されているか否かを判断する。判断の結果、操作部２４が操作されている場合、ＣＰＵ５６は、上記同様、図７のＳ４０２を実行する。なお、操作部２４が操作されておらず、この判断が否定される場合、ＣＰＵ５６は、開始と判断されるまで、画像解析を継続する。

また、ＣＰＵ５６は、Ｓ４０２を実行した後、再度、撮像部によって撮像されている操作部２４に対する操作の状態を撮像する。なお、撮像は、継続して行われる様にしてもよい。そして、ＣＰＵ５６は、図７のＳ４０４の判断に代えて、撮像された操作の状態を示す撮像データを画像解析し、操作部２４が操作されているか否かを判断する。判断の結果、操作部２４の操作が完了する等して、操作部２４が操作されていない場合、ＣＰＵ５６は、上記同様、図７のＳ４０６及びＳ４０８を順次実行する。なお、操作部２４が操作されている場合、ＣＰＵ５６は、完了と判断されるまで、画像解析を継続する。

このような構成によっても、上記同様、ユーザは、ハーフミラー５４を介して外界像を視認し易くなる。従って、ユーザは、携帯型情報処理装置１０の操作部２４を好適に視認し、操作することができる。この別の構成において、撮像データは、操作部２４に対する操作の状態に関する操作情報として機能する。なお、この別の構成によれば、図５のＳ２００〜Ｓ２０６は、省略される。つまり、図５に示す操作時処理でＣＰＵ１２は、ＨＭＤ５０との通信状態を判断し（Ｓ２０８）、通信できない状態である場合には（Ｓ２０８：Ｎｏ）、選択された一部領域をクリアする（Ｓ２１０）。

１画像表示システム
１０携帯型情報処理装置
１２ＣＰＵ
１４ＲＯＭ
１６ＲＡＭ
２０表示部
２２通信部
２４操作部
５０ＨＭＤ（ヘッドマウントディスプレイ）
５６ＣＰＵ
５８ＲＯＭ
６０ＲＡＭ
６２画像処理部
６８画像表示部
７０通信部
７２操作部

Claims

携帯型情報処理装置とヘッドマウントディスプレイとを含み、前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信する画像表示システムであって、
前記携帯型情報処理装置は、
前記ヘッドマウントディスプレイと通信する第一通信部と、
所定のデータによって示される画像を表示する第一表示部と、
前記携帯型情報処理装置に対する所定の指令を入力する操作部と、
前記携帯型情報処理装置と前記ヘッドマウントディスプレイとの通信状態を判断する通信状態判断手段と、
前記操作部によって入力された前記所定の指令の一つである特定の指令に従い、前記第一表示部に表示されている前記画像の少なくとも一部領域を選択する領域選択手段と、
前記通信状態判断手段によって前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信できる状態であると判断された場合、前記領域選択手段によって選択された前記画像の少なくとも一部領域である部分画像を示す部分画像データを、前記第一通信部から前記ヘッドマウントディスプレイに送信する第一通信制御手段と、を備え、
前記ヘッドマウントディスプレイは、
前記携帯型情報処理装置と通信する第二通信部と、
所定のデータによって示される画像を表示する第二表示部と、
前記第二表示部の表示可能領域に関する領域情報を、前記第二通信部から前記携帯型情報処理装置に送信する第二通信制御手段と、
前記第二通信部で受信された前記部分画像データによって示される前記部分画像を、表示状態が所定の視認性である第一種状態で前記第二表示部に表示する第二表示制御手段と、を備え、
前記領域選択手段は、前記第一通信部で受信された前記領域情報に従った領域を前記一部領域として選択する画像表示システム。
携帯型情報処理装置とヘッドマウントディスプレイとを含み、前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信する画像表示システムであって、
前記携帯型情報処理装置は、
前記ヘッドマウントディスプレイと通信する第一通信部と、
所定のデータによって示される画像を表示する第一表示部と、
前記携帯型情報処理装置に対する所定の指令を入力する操作部と、
前記携帯型情報処理装置と前記ヘッドマウントディスプレイとの通信状態を判断する通信状態判断手段と、
前記操作部によって入力された前記所定の指令の一つである特定の指令に従い、前記第一表示部に表示されている前記画像の少なくとも一部領域を選択する領域選択手段と、
前記通信状態判断手段によって前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信できる状態であると判断された場合、前記領域選択手段によって選択された前記画像の少なくとも一部領域である部分画像を示す部分画像データを、前記第一通信部から前記ヘッドマウントディスプレイに送信する第一通信制御手段と、
前記操作部に対する操作の状態に関する操作情報を取得する第一操作情報取得手段と、を備え、
前記ヘッドマウントディスプレイは、
前記携帯型情報処理装置と通信する第二通信部と、
所定のデータによって示される画像を表示する第二表示部と、
前記第二通信部で受信された前記部分画像データによって示される前記部分画像を、表示状態が所定の視認性である第一種状態で前記第二表示部に表示する第二表示制御手段と、を備えると共に、
前記第二表示部に表示されている前記画像を視認しているユーザが、前記ユーザが存する外界の像を前記画像と重ねて視認することができるシースルー型のヘッドマウントディスプレイであり、
前記第一通信制御手段は、前記第一操作情報取得手段によって取得された前記操作情報を、前記第一通信部から前記ヘッドマウントディスプレイに送信し、
前記第二表示制御手段は、
前記部分画像が前記第一種状態で前記第二表示部に表示されている状態において、前記第二通信部で受信された前記操作情報が、前記操作部が操作されている状態を示している場合、前記第二表示部での前記部分画像の表示状態を前記第一種状態と比較して前記外界の像を視認できる第二種状態とし、
前記部分画像が前記第二種状態で前記第二表示部に表示されている状態において、前記第二通信部で受信された前記操作情報が、前記操作部が操作されていない状態を示している場合、前記第二表示部での前記部分画像の表示状態を前記第一種状態とする画像表示システム。
携帯型情報処理装置とヘッドマウントディスプレイとを含み、前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信する画像表示システムであって、
前記携帯型情報処理装置は、
前記ヘッドマウントディスプレイと通信する第一通信部と、
所定のデータによって示される画像を表示する第一表示部と、
前記携帯型情報処理装置に対する所定の指令を入力する操作部と、
前記携帯型情報処理装置と前記ヘッドマウントディスプレイとの通信状態を判断する通信状態判断手段と、
前記操作部によって入力された前記所定の指令の一つである特定の指令に従い、前記第一表示部に表示されている前記画像の少なくとも一部領域を選択する領域選択手段と、
前記通信状態判断手段によって前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信できる状態であると判断された場合、前記領域選択手段によって選択された前記画像の少なくとも一部領域である部分画像を示す部分画像データを、前記第一通信部から前記ヘッドマウントディスプレイに送信する第一通信制御手段と、を備え、
前記ヘッドマウントディスプレイは、
前記携帯型情報処理装置と通信する第二通信部と、
所定のデータによって示される画像を表示する第二表示部と、
前記第二通信部で受信された前記部分画像データによって示される前記部分画像を、表示状態が所定の視認性である第一種状態で前記第二表示部に表示する第二表示制御手段と、
前記操作部に対する操作の状態に関する操作情報を取得する第二操作情報取得手段と、を備えると共に、
前記第二表示部に表示されている前記画像を視認しているユーザが、前記ユーザが存する外界の像を前記画像と重ねて視認することができるシースルー型のヘッドマウントディスプレイであり、
前記第二表示制御手段は、
前記部分画像が前記第一種状態で前記第二表示部に表示されている状態において、前記第二操作情報取得手段で取得された前記操作情報が、前記操作部が操作されている状態を示している場合、前記第二表示部での前記部分画像の表示状態を前記第一種状態と比較して前記外界の像を視認できる第二種状態とし、
前記部分画像が前記第二種状態で前記第二表示部に表示されている状態において、前記第二操作情報取得手段で取得された前記操作情報が、前記操作部が操作されていない状態を示している場合、前記第二表示部での前記部分画像の表示状態を前記第一種状態とする画像表示システム。
前記携帯型情報処理装置は、前記通信状態判断手段によって前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信できない状態であると判断された場合、前記部分画像を前記第一表示部に表示する第一表示制御手段を、さらに備える、請求項１から請求項３の何れか１項に記載の画像表示システム。
ヘッドマウントディスプレイを含む画像表示システムに含まれ、前記ヘッドマウントディスプレイと通信する第一通信部と、所定のデータによって示される画像を表示する第一表示部と、所定の指令を入力する操作部と、を備える携帯型情報処理装置を制御するコンピュータが読み取り可能なコンピュータプログラムであって、
前記コンピュータを、
前記携帯型情報処理装置と前記ヘッドマウントディスプレイとの通信状態を判断する通信状態判断手段と、
前記操作部によって入力された前記所定の指令の一つである特定の指令に従い、前記第一表示部に表示されている前記画像の少なくとも一部領域を選択する領域選択手段と、
前記通信状態判断手段によって前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信できる状態であると判断された場合、前記領域選択手段によって選択された前記画像の少なくとも一部領域である部分画像を示すデータであって、前記部分画像を前記ヘッドマウントディスプレイで表示させるための部分画像データを、前記第一通信部から前記ヘッドマウントディスプレイに送信する第一通信制御手段と、して機能させ、
前記領域選択手段は、前記第一通信部で受信された、前記ヘッドマウントディスプレイが備える第二表示部の表示可能領域に関する領域情報に従った領域を前記一部領域として選択する機能を含むコンピュータプログラム。
携帯型情報処理装置を含む画像表示システムに含まれるヘッドマウントディスプレイであって、
前記携帯型情報処理装置と通信する第二通信部と、
所定のデータによって示される画像を表示する第二表示部と、
前記第二表示部の表示可能領域に関する領域情報を、前記第二通信部から前記携帯型情報処理装置に送信する第二通信制御手段と、
前記第二通信部で受信された、前記携帯型情報処理装置で表示されている所定のデータによって示される画像の少なくとも一部領域であって前記領域情報に従った領域を示す部分画像データによって示される部分画像を、表示状態が所定の視認性である第一種状態で前記第二表示部に表示する第二表示制御手段と、を備えるヘッドマウントディスプレイ。
携帯型情報処理装置とヘッドマウントディスプレイとを含み、前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信する画像表示システムであって、
前記携帯型情報処理装置は、
前記ヘッドマウントディスプレイと通信する第一通信部と、
所定のデータによって示される画像を表示する第一表示部と、
前記携帯型情報処理装置に対する所定の指令を入力する操作部と、
前記携帯型情報処理装置と前記ヘッドマウントディスプレイとの通信状態を判断する通信状態判断手段と、
前記操作部によって入力された前記所定の指令の一つである特定の指令に従い、前記第一表示部に表示されている前記画像の少なくとも一部領域を選択する領域選択手段と、
前記通信状態判断手段によって前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信できる状態であると判断された場合、前記領域選択手段によって選択された前記画像の少なくとも一部領域である部分画像を示す部分画像データを、前記第一通信部から前記ヘッドマウントディスプレイに送信する第一通信制御手段と、を備え、
前記ヘッドマウントディスプレイは、
前記携帯型情報処理装置と通信する第二通信部と、
所定のデータによって示される画像を表示する第二表示部と、
前記第二通信部で受信された前記部分画像データによって示される前記部分画像を、表示状態が所定の視認性である第一種状態で前記第二表示部に表示する第二表示制御手段と、を備え、
前記携帯型情報処理装置は、前記第二表示部の表示可能領域に関する領域情報を取得する取得手段を、さらに備え、
前記領域選択手段は、前記取得手段で取得された前記領域情報に従った領域を前記一部領域として選択する画像表示システム。
前記ヘッドマウントディスプレイは、前記領域情報を、前記第二通信部から前記携帯型情報処理装置に送信する第二通信制御手段を、さらに備え、
前記取得手段は、前記ヘッドマウントディスプレイから前記領域情報を取得する、請求項７に記載の画像表示システム。
携帯型情報処理装置とヘッドマウントディスプレイとを含み、前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信する画像表示システムにおける画像表示方法であって、
前記携帯型情報処理装置と前記ヘッドマウントディスプレイとの通信状態を判断する通信状態判断ステップと、
前記ヘッドマウントディスプレイの第二表示部の表示可能領域に関する領域情報を取得する取得ステップと、
前記携帯型情報処理装置に対する所定の指令を入力する操作部によって入力された前記所定の指令の一つである特定の指令に従い、前記携帯型情報処理装置の第一表示部に表示されている画像の少なくとも一部領域を前記領域情報に従って選択する領域選択ステップと、
前記通信状態判断ステップによって前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信できる状態であると判断された場合、前記領域選択ステップによって選択された前記画像の少なくとも一部領域である部分画像を示す部分画像データを、前記ヘッドマウントディスプレイと通信する前記携帯型情報処理装置の第一通信部から前記ヘッドマウントディスプレイに送信する第一通信ステップと、
前記ヘッドマウントディスプレイの第二通信部で受信された前記部分画像データによって示される前記部分画像を、表示状態が所定の視認性である第一種状態で前記第二表示部に表示する第二表示制御ステップと、を含む画像表示方法。
携帯型情報処理装置とヘッドマウントディスプレイとを含み、前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信する画像表示システムであって、
前記携帯型情報処理装置は、
前記ヘッドマウントディスプレイと通信する第一通信部と、
所定のデータによって示される画像を表示する第一表示部と、
前記携帯型情報処理装置に対する所定の指令を入力する操作部と、
前記携帯型情報処理装置と前記ヘッドマウントディスプレイとの通信状態を判断する通信状態判断手段と、
前記操作部によって入力された前記所定の指令の一つである特定の指令に従い、前記第一表示部に表示されている前記画像の少なくとも一部領域を選択する領域選択手段と、
前記領域選択手段によって前記一部領域が選択されているか否かを判断する選択判断手段と、
前記通信状態判断手段によって前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信できる状態であると判断され、且つ、前記選択判断手段によって前記一部領域が選択されていると判断された場合、前記第一表示部に表示されている前記画像の表示が維持された状態で、前記領域選択手段によって選択された前記画像の少なくとも一部領域である部分画像を示す部分画像データを、前記第一通信部から前記ヘッドマウントディスプレイに送信し、前記通信状態判断手段によって前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信できる状態であると判断され、且つ、前記選択判断手段によって前記一部領域が選択されていないと判断された場合、前記第一表示部に表示されている前記画像の表示が維持された状態で、前記画像の全体を示す全体画像データを、前記第一通信部から前記ヘッドマウントディスプレイに送信する第一通信制御手段と、を備え、
前記ヘッドマウントディスプレイは、
前記携帯型情報処理装置と通信する第二通信部と、
所定のデータによって示される画像を表示する第二表示部と、
前記第二通信部で受信された、前記部分画像データによって示される前記部分画像又は前記全体画像データによって示される前記画像を、表示状態が所定の視認性である第一種状態で前記第二表示部に表示する第二表示制御手段と、を備える画像表示システム。