JP6351394B2 - 表示装置、通信システム、表示装置の制御方法及びプログラム - Google Patents

Description

本発明は、撮像装置等の電子機器との無線通信が可能な表示装置、電子機器と表示装置とを有する通信システム、表示装置の制御方法及びプログラムに関する。

近年、デジタルカメラ等の撮像装置に無線通信機能を搭載し、ワイヤレスで（無線通信で）画像を他の機器に送信する技術が知られている。また、無線通信機能や撮像機能を搭載したウエアラブルコンピュータが知られており、小型化が進むにつれて普及が急速に進む可能性がある。

このような撮像装置とウエアラブルコンピュータとからなるシステムとして、特許文献１には、カメラとヘッドマウントディスプレイ（以下「ＨＭＤ」と記す）からなるシステムが記載されている。特許文献１に記載された技術では、ＨＭＤは、カメラからの撮影像を受信すると、受信した撮影像をＨＭＤに表示し、カメラからの撮影像を受信していないときには、外部からの光に基づく像をユーザの目に導いている。また、引用文献１には、ＨＭＤをカメラのファインダとして利用する構成が記載されている。具体的には、ユーザが目の前にカメラを構えていないときには、カメラからＨＭＤへの撮影像の送信を禁止し、目の前にカメラを構えているときには、カメラからＨＭＤへの撮影像の送信を許可する構成が記載されている。

特開２０１０−１８３２７４号公報

しかしながら、上記特許文献１には、カメラの表示部が使用者の視野に存在せず、カメラの表示部に映し出された撮影像を確認しながら撮影することが困難な姿勢での撮影補助に関する開示がない。例えば、特許文献１に記載された技術では、ユーザが、人垣の後ろから撮影を行おうとしてカメラを頭上に構えたときに、撮影像を視認することができない場合には、ＨＭＤを撮影補助に用いることができない。

本発明は、表示装置を装着したユーザが撮影機能を有する電子機器を操作する際に、撮電子機器による撮影を自動的に補助することができる技術を提供することを目的とする。

本発明に係る表示装置は、撮像機能を有する電子機器と通信可能な表示装置であって、前記表示装置の使用者の視界方向を撮影して撮像データを生成する撮像手段と、画像を表示する表示手段と、前記表示手段に対する画像表示を制御する制御手段とを備え、前記電子機器との間で通信接続が確立した状態において前記制御手段は、前記撮像データに基づいて、前記使用者が前記電子機器を視認することができると判断した場合には前記電子機器による撮影像の撮像データを前記電子機器から取得せず、前記表示装置の使用者が前記電子機器を視認することができないと判断した場合には、前記撮像データを前記電子機器から前記通信接続を介して取得して前記表示手段に表示することを特徴とする。

本発明によれば、撮影機能を有する電子機器による撮影中に、被写体を表示する電子機器の表示部が使用者の視野から外れると、表示装置に撮影像が自動的に表示されるため、ユーザは、表示装置に表示される撮影像を確認しながら、撮影を継続することができる。また、電子機器の表示部がユーザの視野に入ったときには、表示装置での撮影像の表示が自動停止されるため、ユーザは視界を確保することができ、また、表示装置の消費電力を低減することが可能になる。

本発明の実施形態に係る通信システムを構成するデジタルカメラの外観構成を示す背面斜視図と、眼鏡型表示装置の概略構成を示す正面図である。 本発明の実施形態に係る通信システムの全体構成を示すブロック図である。 本発明の実施形態に係る通信システムでの通信動作の概要を示すシーケンス図である。 図３のシーケンス実行時に眼鏡型表示装置で行われる処理のフローチャートである。 図３のシーケンス実行時にデジタルカメラで行われる処理のフローチャートである。 第１実施形態に係る通信システムの使用例（撮影を行う際の状況）を示す図である。 第１実施形態に係る通信システムを構成するデジタルカメラの表示部に表示されるライブビュー画面の例を示す図である。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。ここでは、撮像機能を有する電子機器の一例としてデジタルカメラ（撮像装置）を、表示装置として眼鏡型表示装置（ＨＭＤ）とからなる通信システムを取り上げることとする。なお、撮像機能を有する電子機器としては、他に、カメラ付き携帯電話や、いわゆるカメラ付きタブレットデバイス、カメラ付きパソコン等を採用することができる。

＜第１実施形態＞
［通信システムの構成］
図１（ａ）は、本発明の実施形態に係る通信システムを構成するデジタルカメラ１００の外観構成を示す背面斜視図である。デジタルカメラ１００は、表示部１０１（第１の表示手段）、電源ボタン１０２、レリーズボタン１０３、再生ボタン１０４を備える。デジタルカメラ１００において、表示部１０１が設けられている背面の反対側となる正面側には、不図示のレンズ鏡筒が設けられている。表示部１０１には、レンズ鏡筒を通してデジタルカメラ１００の本体内に設けられた不図示のＣＭＯＳセンサ等の撮像素子に結像した被写体の光学像を撮影像として表示することができるようになっている。

なお、デジタルカメラ１００において、レンズ鏡筒と撮像素子は、図２を参照して説明する撮像部２０２（第１の撮像手段）の構成要素である。また、表示部１０１、電源ボタン１０２、レリーズボタン１０３及び再生ボタン１０４についは、図２についての説明と併せて後述することとする。

図１（ｂ）は、本発明の実施形態に係る通信システムを構成する眼鏡型表示装置１５０の概略構成を示す正面図である。眼鏡型表示装置１５０は、撮像部１５１（第２の撮像部）及び表示部１５２（第２の表示手段）を有する。眼鏡型表示装置１５０は、一般的な眼鏡と同様に、耳にかけて、表示部１５２が眼の前の位置にくるように装着可能な構造を有する。

表示部１５２は、左眼用と右眼用で構成されており、それぞれに、例えば、液晶パネルが用いられている。表示部１５２の液晶パネルは、透過率を制御して透明な状態と半透明な状態とを選択的に切り替えることができるようになっており、表示部１５２を透明な状態とすることにより、一般的な眼鏡のように周囲を直視、視認することが可能となる。

また、表示部１５２は、半透明な状態とした際に、画像や様々な情報を表示することができるようになっている。撮像部１５１は、眼鏡型表示装置１５０を装着したユーザ（使用者）の前方（つまり、視界方向）を撮像可能に配置されている。なお、撮像部１５１の光学系は、ユーザの視野をカバーする焦点距離に設計されている。

図２は、本発明の実施形態に係る通信システムの全体構成を示すブロック図である。デジタルカメラ１００は、表示部１０１、制御部２０１、撮像部２０２、不揮発性メモリ２０３、作業用メモリ２０４、操作部２０５、記憶媒体２０６、接続部２０７及び近距離無線通信部２０８を備える。

制御部２０１は、操作部２０５から入力された操作指示等に従って、デジタルカメラ１００の全体的な動作を制御する。なお、１つの制御部２０１がデジタルカメラ１００の全体的な動作制御を行う構成に代えて、複数のハードウェアが処理を分担することによってデジタルカメラ１００の全体的な動作が実現されるように構成してもよい。

撮像部２０２は、光学レンズや絞り、光学レンズを光軸方向に移動させることでズームやフォーカスを行う駆動系、光学レンズを通過した被写体からの光を電気信号に変換する撮像素子等を含む。なお、撮像素子としては、一般的に、ＣＭＯＳセンサやＣＣＤセンサ等が用いられる。撮像部２０２は、制御部２０１の制御下で、光学レンズを通して撮像素子に結像した被写体の光学像を撮像素子により電気信号に変換し、ノイズ低減処理等の所定の現像処理等の画像処理を行って、撮像データ（デジタルデータ）を生成する。

不揮発性メモリ２０３は、電気的に消去と記憶が可能なメモリであり、例えば、ＥＥＰＲＯＭ等が用いられる。不揮発性メモリ２０３には、制御部２０１が実行するプログラムや、プログラムの実行に必要なパラメータ等が格納される。なお、ここでのプログラムとは、後述する図３のシーケンス図や図５に示すフローチャートの処理を実行するためのプログラムを指す。作業用メモリ２０４は、例えば、ＲＡＭであり、撮像部２０２で撮影された撮像データを一時的に保持するバッファメモリや、表示部１０１の画像表示用メモリ、制御部２０１の作業領域等として使用される。

操作部２０５は、デジタルカメラ１００に対する指示をユーザから受け付け、受け付けた指示を制御部２０１へ通知する。操作部２０５は、図１（ａ）に示した電源ボタン１０２、レリーズボタン１０３及び再生ボタン１０４を含む。電源ボタン１０２は、デジタルカメラ１００の電源のオン／オフ（ＯＮ／ＯＦＦ）を切り替えるためのボタンである。レリーズボタン１０３は、撮影指示を行うためのボタンである。再生ボタン１０４は、撮像データの再生指示を行うためのボタンである。

なお、レリーズボタン１０３は、半押しでＯＮするスイッチＳＷ１と、全押しでＯＮするスイッチＳＷ２とを有する。スイッチＳＷ１がＯＮになると、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の撮影準備処理が実行される。スイッチＳＷ２がＯＮになると、撮像素子により被写体の光学像が電気信号へ変換され、電気信号は所定の処理によりデジタルデータからなる撮像データに変換されて、記憶媒体２０６に記憶される。

表示部１０１は、例えば、液晶ディスプレイや有機ＥＬディスプレイ等である。表示部１０１には、撮像準備段階でのライブビュー表示、記憶媒体２０６に記憶された画像の再生表示、対話的な操作のための文字表示（メニュー表示）等が行われる。記憶媒体２０６は、半導体メモリカードやハードディスク等であり、撮像部２０２から出力された撮像データを記憶する。記憶媒体２０６は、デジタルカメラ１００に内蔵されていてもよいし、着脱可能であってもよい。

接続部２０７は、外部機器と接続するためのインタフェースである。接続部２０７を介して、デジタルカメラ１００の制御部２０１と外部機器との間でデータのやりとりを行うことができる。例えば、接続部２０７は、ＩＥＥＥ８０２．１１の規格に従った、所謂、無線ＬＡＮにより外部機器と通信するためのインタフェースを含む。以下の説明では、ＩＥＥＥ８０２．１１の規格を採用した場合について述べるが、これに限られるものではない。他にも例えば携帯電話網やインターネット回線を介した通信を採用することも可能である。制御部２０１は、接続部２０７を制御することにより、外部機器との無線通信を実現する。

近距離無線通信部２０８は、例えば、近距離無線通信のためのアンテナと無線信号を処理するため変復調回路、通信コントローラ等から構成される。近距離無線通信部２０８は、変調した無線信号をアンテナから出力し、逆に、アンテナで受信した無線信号を復調することによりＩＥＥＥ８０２．１５の規格（所謂、Ｂｌｕｅｔｏｏｔｈ（登録商標））に従った近距離無線通信を実現する。

Ｂｌｕｅｔｏｏｔｈ（登録商標）通信には、低消費電力であるＢｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙのバージョン４．０が好適に採用される。Ｂｌｕｅｔｏｏｔｈ（登録商標）通信は、無線ＬＡＮ通信と比べると、通信可能な範囲が狭く（つまり、通信可能な距離が短く）、通信速度も速くはないが、一方で消費電力が小さいという特徴がある。そこで、本実施形態では、デジタルカメラ１００の近距離無線通信部２０８と眼鏡型表示装置１５０が備える後述の近距離無線通信部２１８とを近接させることにより、デジタルカメラ１００と眼鏡型表示装置１５０との間でＢｌｕｅｔｏｏｔｈ（登録商標）通信を行う。

なお、近距離無線通信部２０８と近距離無線通信部２１８とは、一定の距離範囲（以下「通信可能範囲」という）内であれば通信可能であるため、これらの間で通信を確立するために接触させる必要は必ずしもない。一方、近距離無線通信部２０８と近距離無線通信部２１８とが通信可能範囲外にある場合には、通信は開始されない。また、近距離無線通信部２０８と近距離無線通信部２１８とが通信可能範囲にあって通信が確立されている状態から、近距離無線通信部２０８と近距離無線通信部２１８とが通信可能範囲外にある状態へと変わったときには、通信は切断される。

眼鏡型表示装置１５０は、撮像部１５１、表示部１５２、制御部２１１、不揮発性メモリ２１２、作業用メモリ２１３、操作部２１４、記憶媒体２１５、眼部検出部２１６、接続部２１７及び近距離無線通信部２１８を備える。

制御部２１１は、操作部２１４から入力された操作指示等に従って、眼鏡型表示装置１５０の全体的な動作を制御する。なお、１つの制御部２１１が眼鏡型表示装置１５０の全体的な動作制御を行う構成に代えて、複数のハードウェアが処理を分担することによって眼鏡型表示装置１５０の全体的な動作が実現されるように構成してもよい。

撮像部１５１は、光学レンズユニットと、絞りやズーム・フォーカス等を制御する光学制御系と、光学レンズユニットを通過した被写体からの光を電気信号に変換する撮像素子等を含む。撮像素子としては、一般的に、ＣＭＯＳセンサやＣＣＤセンサ等が用いられる。撮像部１５１は、制御部２１１の制御下で、光学レンズユニットを通して撮像素子に結像した光学像を撮像素子により電気信号に変換し、ノイズ低減処理等の所定の現像処理を行って、撮像データ（デジタルデータ）を生成する。

不揮発性メモリ２１２は、電気的に消去と記憶が可能なメモリであり、例えば、ＥＥＰＲＯＭ等が用いられる。不揮発性メモリ２１２には、制御部２１１が実行するプログラムや、プログラムの実行に必要なパラメータ等が格納される。なお、ここでのプログラムとは、後述する図３のシーケンス図や図４に示すフローチャートの処理を実行するためのプログラムを指す。作業用メモリ２１３は、例えば、ＲＡＭであり、撮像部１５１で撮影された撮像データを一時的に保持するバッファメモリや、表示部１５２の画像表示用メモリ、制御部２１１の作業領域等として使用される。

操作部２１４は、眼鏡型表示装置１５０に対する指示をユーザから受け付け、受け付けた指示を制御部２１１へ通知する。操作部２１４は、眼鏡型表示装置１５０の電源のＯＮ／ＯＦＦを指示する電源ボタンや、画面遷移を指示するための操作ボタン等を含む。表示部１５２は、図１を参照して説明した通りの構成を有し、撮影した画像や接続部２１７を通して取得した画像を表示し、また、対話的な操作のためのＧＵＩ（Graphical User Interface）等の表示を行う。

記憶媒体２１５は、例えば、半導体メモリ等であり、撮像部１５１で撮影した画像の撮像データ等を記憶する。眼部検出部２１６は、ユーザの視野に関する情報、具体的には、ユーザの眼部の有無、即ち、ユーザが眼鏡型表示装置１５０を通常の使用方法で装着しており、ユーザの眼部が表示部１５２と対面していることを検出する。

接続部２１７及び近距離無線通信部２１８の構成や機能はそれぞれ、デジタルカメラ１００の接続部２０７及び近距離無線通信部２０８の構成及び機能と同様であるため、ここでの説明を省略する。制御部２１１は、接続部２１７及び近距離無線通信部２１８を制御することにより、外部機器との無線通信を実現する。

［通信システムでの通信動作の概要］
図３は、本実施形態に係る通信システムでの機器探索から画像送信までの処理の流れを示すシーケンス図である。図３において、破線矢印はＢｌｕｅｔｏｏｔｈ（登録商標）による通信であることを表しており、実線矢印は無線ＬＡＮによる通信であることを表している。

なお、デジタルカメラ１００の制御部２０１及び眼鏡型表示装置１５０の制御部２１１はそれぞれ、ユーザによる操作にしたがって、Ｂｌｕｅｔｏｏｔｈ（登録商標）と無線ＬＡＮの各機能の有効／無効を切り替える。図３のシーケンスは、デジタルカメラ１００及び眼鏡型表示装置１５０の双方において、Ｂｌｕｅｔｏｏｔｈ（登録商標）と無線ＬＡＮの各機能が有効に設定されている状態で開始されたものとする。また、デジタルカメラ１００は眼鏡型表示装置１５０の機器ＩＤを、眼鏡型表示装置１５０はデジタルカメラ１００の機器ＩＤをそれぞれ、予め内部（例えば、不揮発性メモリ２０３，２１２）に記憶しているものとする。

図３のシーケンス図の詳細について説明する前に、本実施形態に係る通信システムの使用例について（デジタルカメラ１００で撮影を行う際の状況）について、図６を参照して説明する。図６は、本実施形態に係る通信システムの使用例を示す図である。

図６（ａ）には、眼鏡型表示装置１５０を装着したユーザ６０１が、デジタルカメラ１００を右手で保持し、顔の前にデジタルカメラ１００を構えて、表示部１０１に表示されている撮影像を確認しながら撮影を行っている状態が示されている。また、図６（ｂ）には、眼鏡型表示装置１５０を装着したユーザ６０１が、デジタルカメラ１００を右手で保持し、頭上にデジタルカメラ１００を構えて、撮影を行っている状態が示されている。

図６（ａ）の状態では、ユーザ６０１の視界内にデジタルカメラ１００の表示部１０１が存在する。そのため、眼鏡型表示装置１５０の表示部１５２を透過状態とすることで、ユーザ６０１はデジタルカメラ１００の表示部１０１に表示されている撮影像を直視することができる。これに対して、図６（ｂ）の状態では、ユーザ６０１の視界内にデジタルカメラ１００の表示部１０１が存在しないため、ユーザ６０１は表示部１０１に表示された撮影像を直視することができない。また、図６（ａ）の状態では、眼鏡型表示装置１５０の撮像部１５１はデジタルカメラ１００の表示部１０１を撮影することができるが、図６（ｂ）の状態では、眼鏡型表示装置１５０の撮像部１５１は表示部１０１を撮影することができない。

つまり、ユーザ６０１がデジタルカメラ１００の表示部１０１を直視することができる状態では、眼鏡型表示装置１５０の撮像部１５１も表示部１０１を撮影することができる。逆に、ユーザ６０１がデジタルカメラ１００の表示部１０１を直視することができない状態では、眼鏡型表示装置１５０の撮像部１５１も表示部１０１を撮影することができない。そこで、デジタルカメラ１００の表示部１０１に特定パターンを表示し、眼鏡型表示装置１５０の撮像部１５１による撮影像にこの特定パターンがあるか否かを判断することで、ユーザ６０１が表示部１０１を直視可能な状態か否かを判断することができる。

以下に説明するように、眼鏡型表示装置１５０の撮像部１５１による撮影像にデジタルカメラ１００の表示部１０１に表示される特定パターンがない場合、表示部１０１に表示されている撮影像を眼鏡型表示装置１５０へ送信し、眼鏡型表示装置１５０の表示部１５２に表示させる。これにより、図６（ｂ）の状態であっても、ユーザ６０１は、デジタルカメラ１００の表示部１０１に表示されている撮影像を確認することができる。

図３のシーケンスの詳細について説明する。図３のシーケンスにおけるデジタルカメラ１００の動作と処理は、制御部２０１が不揮発性メモリ２０３に格納されたプログラムを作業用メモリ２０４に展開し、デジタルカメラ１００を構成する各部の動作を制御することにより実現される。同様に、眼鏡型表示装置１５０の動作と処理は、制御部２１１が不揮発性メモリ２１２に格納されたプログラムを作業用メモリ２１３に展開し、眼鏡型表示装置１５０を構成する各部の動作を制御することにより実現される。

デジタルカメラ１００の制御部２０１は、電源ボタン１０２の操作を受け付けると、図３のシーケンスを開始し、デジタルカメラ１００の表示部１０１にライブビュー画面を表示する。図７は、デジタルカメラ１００の表示部１０１に表示されるライブビュー画面の例を示す図である。図７（ａ）は、通常のライブビュー画面の例を示しており、撮像部２０２から順次入力される映像が表示される。なお、不図示であるが、表示部１０１には、各種情報やアイコン（例えば、フラッシュの設定状況やバッテリー残量、ズームの状態等）が映像に重畳表示される。また、各種情報やアイコンは、デジタルカメラ１００の操作部２０５の操作部材に対するユーザの操作に応じて、表示／非表示を切り替えることができる。ユーザは、ライブビュー画面を確認しながら、所望の画像を撮影することができ、撮影の指示はレリーズボタン１０３の全押しによってスイッチＳＷ２がＯＮすることによって受け付けられる。

デジタルカメラ１００の制御部２０１は、電源ボタン１０２の操作に応じて、上記のライブビュー表示を行うと共に、ステップＳ３１１において、Ｂｌｕｅｔｏｏｔｈ（登録商標）により、周囲の機器に対して探索要求（アドバタイズ）をブロードキャストする。その際、制御部２０１は、探索要求に自機を一意に特定可能な情報である機器ＩＤを付加する。

眼鏡型表示装置１５０の制御部２１１は、デジタルカメラ１００からの探索要求を受信すると、ステップＳ３１２において、デジタルカメラ１００に対してＢｌｕｅｔｏｏｔｈ（登録商標）により探索応答を送信する。その際、制御部２１１は、探索応答に自機を示す情報である機器ＩＤと、自機に設定されたユーザ名等を付加する。デジタルカメラ１００の制御部２０１が眼鏡型表示装置１５０の制御部２１１からの探索応答を受信すると、各機で通信確立処理が行われる。そして、デジタルカメラ１００と眼鏡型表示装置１５０との間の通信が確立すると、デジタルカメラ１００の表示部１０１のライブビュー画面に、図７（ｂ）を参照して後述する特定画像であるマーカ７０１が重畳して表示される。これ以降、デジタルカメラ１００と眼鏡型表示装置１５０とは、１対１の排他的な通信を行う。

図７（ｂ）は、デジタルカメラ１００と眼鏡型表示装置１５０との間で通信が確立した状態においてデジタルカメラ１００の表示部１０１に表示されるライブビュー画面の例を示す図であり、通信確立状態では、ライブビュー画面にマーカ７０１が表示される。なお、マーカ７０１の表示位置は表示部１０１の外周部とすることが好ましく、これにより、撮像部１５１が表示部１０１全体を撮影していることを正確に判断することができる。

ステップＳ３１３では、眼鏡型表示装置１５０の制御部２１１が、デジタルカメラ１００に対して状態要求を送信する。この状態要求とは、デジタルカメラ１００の状態を示す情報を要求するものであり、デジタルカメラ１００の状態を示す情報には、デジタルカメラ１００の表示部１０１にライブビュー画面が表示されているか否かを示す情報が含まれる。デジタルカメラ１００の制御部２０１は、ステップＳ３１３の状態要求を受信すると、ステップＳ３１４において、眼鏡型表示装置１５０へ状態応答を送信する。この状態応答とは、状態要求に対応するものであり、デジタルカメラ１００の状態を示す情報の送信処理である。ステップＳ３１４で送信される状態応答には、前述のライブビュー画面の表示状態を示す情報が含まれる。

眼鏡型表示装置１５０の制御部２１１は、ステップＳ３１４で受信した状態応答の情報からデジタルカメラ１００においてライブビュー画面が表示されていると判断すると、ステップＳ３１５においてマーカ検出を行う。このマーカ検出とは、制御部２１１が、デジタルカメラ１００の撮像部１５１によって撮影された撮像データを解析して、図７（ｂ）で説明したマーカ７０１を所定の周期で検出する処理である。マーカ７０１が検出されている間、ステップＳ３１５の処理は継続して実行される。よって、例えば、図６（ａ）に示す姿勢でユーザ６０１がデジタルカメラ１００を構えている場合には、ステップＳ３１５の処理が継続して実行されることになる。

眼鏡型表示装置１５０の制御部２１１は、ステップＳ３１５の処理中にマーカ７０１が検出されなくなると、ステップＳ３１６において、デジタルカメラ１００へ撮影像転送要求を送信する。なお、例えば、図６（ｂ）に示すように、デジタルカメラ１００の表示部１０１が撮像部１５１の撮影範囲から外れた状況となったときに、マーカ７０１が検出されなくなる。

デジタルカメラ１００の制御部２０１は、ステップＳ３１６の撮影像転送要求を受信すると、ステップＳ３１７において、撮影像転送応答を眼鏡型表示装置１５０へ送信する。そして、眼鏡型表示装置１５０がステップＳ３１７の撮影像転送応答を受信すると、デジタルカメラ１００の制御部２０１は、無線ＬＡＮ設定を眼鏡型表示装置１５０へ送信する。これにより、ステップＳ３１８において、デジタルカメラ１００と眼鏡型表示装置１５０は、無線ＬＡＮ接続に必要な通信パラメータをＢｌｕｅｔｏｏｔｈ（登録商標）による通信によって共有する。その結果、ステップＳ３１９において、デジタルカメラ１００の制御部２０１と眼鏡型表示装置１５０の制御部２１１は、共有した通信パラメータに基づき、無線ＬＡＮ接続を確立する。

そして、ステップＳ３２０においてデジタルカメラ１００の制御部２０１は、無線ＬＡＮによる通信によって撮影像を眼鏡型表示装置１５０へ転送（送信）する。この撮影像の転送は、所定周期で繰り返され、眼鏡型表示装置１５０の制御部２１１は、受信した撮影像を表示部１５２に表示する。このとき、制御部２１１は撮影像を所定周期で受信するため、表示部１５２に表示される撮影像は、デジタルカメラ１００の撮像部２０２によるリアルタイムな撮影像となる。よって、ユーザは、デジタルカメラ１００の撮影像を、表示部１５２でリアルタイムに視認することができる。なお、図６（ｂ）には、デジタルカメラ１００の撮影像の眼鏡型表示装置１５０における表示領域が、右眼側の表示部１５２に領域６０２として示されている。

ユーザが眼鏡型表示装置１５０の表示部１５２でデジタルカメラ１００の撮影像を確認している状態において、眼鏡型表示装置１５０の制御部２１１は、ステップＳ３２１において、マーカ非検出処理を行う。このマーカ非検出処理とは、眼鏡型表示装置１５０の撮像部１５１によって撮影された撮像データを制御部２１１によって解析し、マーカ７０１（図７（ｂ）参照）が存在しないことを所定周期で検出する処理である。マーカ７０１が検出されない間は、ステップＳ３２１の処理が継続される。例えば、図６（ｂ）に示す姿勢でユーザ６０１がデジタルカメラ１００を構えている間は、ステップＳ３２１の処理が継続されることになる。

眼鏡型表示装置１５０の制御部２１１は、ステップＳ３２１の処理中にマーカ７０１を検出すると、ステップＳ３２２において、デジタルカメラ１００へ撮影像転送終了要求を送信する。マーカ７０１が検出された場合とは、例えば、図６（ｂ）の状態から図６（ａ）の状態へと遷移することによって、デジタルカメラ１００の表示部１０１が、眼鏡型表示装置１５０の撮像部１５１の撮影範囲に入ってきたときである。

デジタルカメラ１００の制御部２０１は、眼鏡型表示装置１５０から送信されてきた撮影像転送終了要求を受信すると、ステップＳ３２３において、撮影像転送を停止すると共に、撮影像転送終了応答を眼鏡型表示装置１５０へ送信する。そして、続くステップＳ３２４においてデジタルカメラ１００の制御部２０１と眼鏡型表示装置１５０の制御部２１１は、互いに無線ＬＡＮによる通信を切断し、その後は、ステップＳ３１５の処理へ戻る。これにより、デジタルカメラ１００と眼鏡型表示装置１５０とがＢｌｕｅｔｏｏｔｈ（登録商標）により通信接続された状態で、眼鏡型表示装置１５０の制御部２１１は、ステップＳ３１５のマーカ検出を開始する。

このように、本実施形態では、デジタルカメラ１００での撮影中に表示部１０１がユーザの視野から外れると、眼鏡型表示装置１５０に撮影像を自動的に表示する。これにより、ユーザは、常に撮影像を確認しながら撮影を行うことができる。また、再びデジタルカメラ１００の表示部１０１がユーザの視野に戻ってきたとき（デジタルカメラ１００を眼前に構え直したとき）には、眼鏡型表示装置１５０での表示が自動的に停止される構成としている。これにより、眼鏡型表示装置１５０の消費電力を低減させることができる。更に、本実施形態では、通信相手の探索を、無線ＬＡＮではなくＢｌｕｅｔｏｏｔｈ（登録商標）により行うことで、消費電力の更なる低減を可能としている。一方で、撮影像の送信には、Ｂｌｕｅｔｏｏｔｈ（登録商標）よりも通信速度の速い無線ＬＡＮを利用するため、表示画像のフリーズや乱れが生じることのない、スムーズな画像送信を実現することができる。

［眼鏡型表示装置の動作］
図３のシーケンスが実行される際に、眼鏡型表示装置１５０において行われる処理について、図４を参照して説明する。図４は、眼鏡型表示装置１５０で行われる処理のフローチャートである。図４のフローチャートに示す各処理は、眼鏡型表示装置１５０の制御部２１１が、入力信号に従い、不揮発性メモリ２１２に格納されたプログラムを作業用メモリ２１３に展開して、眼鏡型表示装置１５０の各部を制御することにより実現される。

ステップＳ４０１において制御部２１１は、近距離無線通信部２１８を介して、外部機器から探索要求を受け付けたか否かを判断する。ここでは、外部機器は、デジタルカメラ１００であるとして、以下の説明を続ける。制御部２１１は、探索要求を受け付けていないと判断した場合（Ｓ４０１でＮＯ）、ステップＳ４０１の処理を繰り返し、探索要求を受け付けたと判断した場合（Ｓ４０１でＹＥＳ）、処理をステップＳ４０２へ進める。

ステップＳ４０２において制御部２１１は、近距離無線通信部２１８を介して、探索要求を受け付けたことを示す探索応答をデジタルカメラ１００に送信する。これにより、眼鏡型表示装置１５０とデジタルカメラとの間での無線接続（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）による無線通信）が確立される。続くステップＳ４０３において制御部２１１は、近距離無線通信部２１８を介して、デジタルカメラ１００へ状態要求を送信する。そして、ステップＳ４０４において制御部２１１は、近距離無線通信部２１８を介して、デジタルカメラ１００からの状態応答を受信したか否かを判断する。制御部２１１は、状態応答を受信していないと判断した場合（Ｓ４０４でＮＯ）、ステップＳ４０４の処理を繰り返し、状態応答を受信したと判断した場合（Ｓ４０４）、処理をステップＳ４０５へ進める。

ステップＳ４０５において制御部２１１は、ステップＳ４０４で受信した状態情報から、デジタルカメラ１００の表示部１０１にライブビュー画面が表示されているか否かを判断する。制御部２１１は、ライブビュー画面が表示されていないと判断した場合（Ｓ４０５でＮＯ）、処理をステップＳ４０３へ戻す。これは、デジタルカメラ１００の状態の変化を確認するために行われるため、所定時間の経過後にステップＳ４０３の処理に戻るようにしてもよい。制御部２１１は、ライブビュー画面が表示されてると判断した場合（Ｓ４０５でＹＥＳ）、処理をステップＳ４０６へ進める。

ステップＳ４０６において制御部２１１は、撮像部１５１による撮影像を解析し、撮影像にマーカ７０１が存在するか否かを判断する。制御部２１１は、マーカ７０１が存在すると判断した場合（Ｓ４０６でＹＥＳ）、ステップＳ４０６の処理を繰り返し、マーカ７０１が存在しない判断した場合（Ｓ４０６でＮＯ）、処理をステップＳ４０７へ進める。

ステップＳ４０７において制御部２１１は、近距離無線通信部２１８を介して、撮影像転送要求をデジタルカメラ１００へ送信する。続くステップＳ４０８において制御部２１１は、近距離無線通信部２１８を介して、撮影像転送要求に対するデジタルカメラ１００からの応答である撮影像転送応答を受信したか否かを判断する。制御部２１１は、撮影像転送応答を受信していないと判断した場合（Ｓ４０８でＮＯ）、ステップＳ４０８の処理を繰り返し、撮影像転送応答を受信したと判断した場合（Ｓ４０８でＹＥＳ）、処理をステップＳ４０９へ進める。

ステップＳ４０９において制御部２１１は、接続部２１７を介した無線ＬＡＮ通信に必要な通信パラメータを、近距離無線通信部２１８を介してデジタルカメラ１００との間で送受信する。そして、ステップＳ４１０において制御部２１１は、ステップＳ４０９で受信した通信パラメータに基づき、デジタルカメラ１００と接続部２１７を介して無線ＬＡＮ接続を確立する。続くステップＳ４１１において制御部２１１は、デジタルカメラ１００から接続部２１７を介して撮影像（撮像データ）を受信し、受信した撮影像の表示部１５２への表示を開始する。

ステップＳ４１２において制御部２１１は、撮像部１５１による撮影像を解析し、撮影像にマーカ７０１が存在するか否かを判断する。制御部２１１は、マーカ７０１が存在しないと判断した場合（Ｓ４１２でＮＯ）、ステップＳ４１２の処理を繰り返し、マーカ７０１が存在すると判断した場合（Ｓ４１２でＹＥＳ）、処理をステップＳ４１３へ進める。ステップＳ４１３において制御部２１１は、デジタルカメラ１００から取得した撮像データの表示部１５２への表示を停止する。そして、ステップＳ４１４において制御部２１１は、近距離無線通信部２１８を介して、撮影像転送終了要求をデジタルカメラ１００へ送信する。

続いて、ステップＳ４１５において制御部２１１は、近距離無線通信部２１８を介して、デジタルカメラ１００から撮影像転送終了応答を受信したか否かを判断する。制御部２１１は、撮影像転送終了応答を受信していないと判断した場合（Ｓ４１５でＮＯ）、ステップＳ４１５の処理を繰り返し、撮影像転送応答を受信したと判断した場合（Ｓ４１５でＹＥＳ）、処理をステップＳ４１６へ進める。ステップＳ４１６において制御部２１１は、デジタルカメラ１００との接続部２１７を介した通信である無線ＬＡＮ接続を切断する。制御部２１１は、ステップＳ４１６の処理の後、処理をステップＳ４０３へ戻す。

＜デジタルカメラの動作＞
図３のシーケンスが実行される際に、デジタルカメラ１００において行われる処理について、図５を参照して説明する。図５は、デジタルカメラ１００で行われる処理のフローチャートである。図５のフローチャートに示す各処理は、デジタルカメラ１００の制御部２０１が、入力信号に従い、不揮発性メモリ２０３に格納されたプログラムを作業用メモリ２０４に展開して、デジタルカメラ１００の各部を制御することにより実現される。

図５のフローチャートに示す処理は、操作部２０５に含まれる電源ボタン１０２をユーザが操作し、デジタルカメラ１００の電源をＯＮにしたことをトリガとして開始される。先ず、ステップＳ５０１において制御部２０１は、近距離無線通信部２０８を介して、探索要求をブロードキャストする。そして、ステップＳ５０２において制御部２０１は、近距離無線通信部２０８を介して、探索要求を受信した外部機器から送信された探索要求応答を受信したか否かを判断する。以下では、探索要求を受信した外部機器が眼鏡型表示装置１５０であるとして、説明を続けることとする。

制御部２０１は、探索要求応答を受信していないと判断した場合（Ｓ５０１でＮＯ）、ステップＳ５０２の処理を繰り返し、探索要求応答を受信したと判断した場合（Ｓ５０２でＹＥＳ）、処理をステップＳ５０３へ進める。なお、制御部２０１は、処理をステップＳ５０３へ進めるまでの間、図７（ｂ）に示したように、マーカ７０１を表示部１０１に表示する。

ステップＳ５０３において制御部２０１は、近距離無線通信部２０８を介して、眼鏡型表示装置１５０から状態要求を受信したか否かを判断する。制御部２０１は、状態要求を受信していないと判断した場合（Ｓ５０３でＮＯ）、ステップＳ５０３の処理を繰り返し、状態要求を受信したと判断した場合（Ｓ５０３でＹＥＳ）、処理をステップＳ５０４へ進める。ステップＳ５０４において制御部２０１は、近距離無線通信部２０８を介して、眼鏡型表示装置１５０へ状態応答を送信する。ここでは、デジタルカメラ１００は、表示部１０１にライブビュー画面を表示している状態にあるとする。

続いて、ステップＳ５０５において制御部２０１は、近距離無線通信部２０８を介して、眼鏡型表示装置１５０から撮影像転送要求を受信したか否かを判断する。制御部２０１は、撮影像転送要求を受信していないと判断した場合（Ｓ５０５でＮＯ）、ステップＳ５０５の処理を繰り返し、撮影像転送要求を受信したと判断した場合（Ｓ５０５でＹＥＳ）、処理をステップＳ５０６へ進める。

ステップＳ５０６において制御部２０１は、撮影像転送要求を受け付けたことを眼鏡型表示装置１５０へ通知するために、近距離無線通信部２０８を介して、眼鏡型表示装置１５０へ撮影像転送応答を送信する。続くステップＳ５０７において制御部２０１は、撮影像の送信先である眼鏡型表示装置１５０との間で、近距離無線通信部２０８を介して、接続部２０７を介した無線ＬＡＮ通信に必要な通信パラメータを送受信する。続いて、ステップＳ５０８において制御部２０１は、ステップＳ５０７で受信した通信パラメータに基づき、眼鏡型表示装置１５０との間で接続部２０７を介して無線ＬＡＮ接続を確立する。

続いて、ステップＳ５０９において制御部２０１は、接続部２０７を介して、撮影像の眼鏡型表示装置１５０への送信を開始し、この撮影像の送信を眼鏡型表示装置１５０からの撮影像転送終了要求があるまで継続する。このとき、撮影像の送信間隔は、例えば、表示部１０１に表示する撮影像の更新周期と同じか又はそれ以下とされる。

次いで、ステップＳ５１０において制御部２０１は、近距離無線通信部２０８を介して、眼鏡型表示装置１５０から撮影像転送終了要求を受信したか否かを判断する。制御部２０１は、撮影像転送終了要求を受信していないと判断した場合（Ｓ５１０でＮＯ）、ステップＳ５１０の処理を繰り返し、撮影像転送終了要求を受信したと判断した場合（Ｓ５１０でＹＥＳ）、処理をステップＳ５１１へ進める。

ステップＳ５１１において制御部２０１は、眼鏡型表示装置１５０への撮影像の送信を停止する。そして、ステップＳ５１２において制御部２０１は、接続部２１７を介した眼鏡型表示装置１５０との間の通信である無線ＬＡＮ接続を切断する。その後、制御部２０１は、処理をステップＳ５０３へ戻す。

＜第２実施形態＞
第１実施形態では、眼鏡型表示装置１５０が備える眼部検出部２１６の機能を用いていない形態について説明した。これに対して、第２実施形態では、眼部検出部２１６を用いて、ユーザの眼部が存在することを検出したことをトリガにして、図３のステップＳ３１３以降の処理を開始させる。つまり、ユーザが眼鏡型表示装置１５０を装着しているときにのみ、図３のステップＳ３１３以降の処理を開始させる。これにより、消費電力低減の効果をより顕著に得ることができる。この場合、眼部検出部２１６は、少なくともユーザの眼部が存在するか否かを判断する情報を検出することができていればよい。また、本実施形態の目的に鑑みれば、眼部検出部２１６以外の手段で、ユーザが眼鏡型表示装置１５０を装着しているか否かを判断してもよい。例えば、眼鏡型表示装置１５０のテンプル部に圧力検知部を設け、継続的な圧力が検知された場合に、眼鏡型表示装置１５０が装着されていると判断してもよい。または、電気的に接触を感知する検知部をテンプル部に設けて、接触の検知によって装着の判断を行ってもよい。あるいは、テンプル部とＨＭＤのレンズ部とをつなぐ蝶番部に物理的なスイッチを設けてテンプル部の開閉を検知し、テンプル部が開いていることを以て眼鏡型表示装置１５０を利用している状態と判断してもよい。

また、たとえ消費電力の少ない通信規格を採用したとしても、通信が行われる以上は、少なくとも消費電力がゼロになることはない。そこで、眼鏡型表示装置１５０が装着されていない、利用されていないと判断された場合には、Ｓ３１３以降の処理のみならず、Ｓ３１１の処理から実行しないようにしてもよい。

＜その他の実施形態＞
以上、本発明をその好適な実施形態に基づいて詳述してきたが、上記の実施形態は、本発明の技術的思想を具現化する手段の一例であり、本発明はこのような特定の実施形態に限られるものではない。つまり、本発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

例えば、上記実施形態では、デジタルカメラ１００の表示部１０１に、図７（ｂ）に示したマーカ７０１を表示し、マーカ７０１を眼鏡型表示装置１５０で検出することによって、ユーザの視野にデジタルカメラ１００が存在するか否かを判断した。これに加えて、マーカ７０１の判定に必要となる情報を、予め、デジタルカメラ１００から眼鏡型表示装置１５０へ送信しておく構成としてしてもよい。これにより、眼鏡型表示装置１５０と通信を行うデジタルカメラの製造メーカや型番の違いによってマーカの形状や色等が変わっても、正確にマーカを検出することができるようになる。なお、マーカに代えて、眼鏡型表示装置１５０との通信が確立されたデジタルカメラの形状的特徴を、予め、眼鏡型表示装置１５０に記憶させる構成としてもよい。

また、上記実施形態では、無線ＬＡＮ及びＢｌｕｅｔｏｏｔｈ（登録商標）の２つの通信手段を利用する形態について説明した。しかし、これに限定されず、撮影像を送信していない期間では消費電力を低減することが可能であり、且つ、撮影像の送信をスムーズに行うことができる通信速度の速い通信手段であれば、その１つの通信手段だけを利用する構成としてもよい。

更に、自機器を一意に特定可能な情報（機器ＩＤ）に関して、図３のステップＳ３１２以下のシーケンスを実行する外部機器を予め記憶させ、記憶している機器ＩＤに対してのみ、図３のステップＳ３１２以下のシーケンスを実行するように構成してもよい。これにより、ユーザは、例えば、ユーザ自身が所有する機器間においてのみ、図３のステップＳ３１２以下のシーケンスを実行させることが可能となる。

本発明は以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１００ デジタルカメラ
１０１ 表示部
１５０ 眼鏡型表示装置
１５１ 撮像部
１５２ 表示部
２０１ 制御部
２０７，２１７ 接続部
２０８，２１８ 近距離無線通信部
２１６ 眼部検出部

Claims (14)

1. 撮像機能を有する電子機器と通信可能な表示装置であって、
   前記表示装置の使用者の視界方向を撮影して撮像データを生成する撮像手段と、
   画像を表示する表示手段と、
   前記表示手段に対する画像表示を制御する制御手段とを備え、
   前記電子機器との間で通信接続が確立した状態において前記制御手段は、前記撮像データに基づいて、前記使用者が前記電子機器を視認することができると判断した場合には前記電子機器による撮影像の撮像データを前記電子機器から取得せず、前記表示装置の使用者が前記電子機器を視認することができないと判断した場合には、前記撮像データを前記電子機器から前記通信接続を介して取得して前記表示手段に表示することを特徴とする表示装置。
2. 前記制御手段は、前記撮像データの画像に特定画像が存在する場合に、前記使用者が前記電子機器を視認することができると判断し、前記撮像データの画像に前記特定画像が存在しない場合に、前記使用者が前記電子機器を視認することができないと判断することを特徴とする請求項１に記載の表示装置。
3. 前記特定画像とは、前記電子機器が備える表示部に前記撮影像に重畳されて表示されたマーカ、または、前記電子機器の形状的特徴であることを特徴とする請求項２に記載の表示装置。
4. 前記表示手段は、前記使用者の眼部の前方に位置するように配置され、
   前記制御手段は、前記電子機器から取得した前記撮像データの画像を表示しないときには、前記表示手段を透明な状態とすることを特徴とする請求項１乃至３のいずれか１項に記載の表示装置。
5. 前記使用者の眼部の有無を検出する視野検出手段をさらに備え、
   前記制御手段は、前記視野検出手段が前記使用者の眼部を検出しているときに、前記電子機器から前記撮像データを取得して前記撮像データの画像を前記表示手段に表示するか否かの制御を行うことを特徴とする請求項４に記載の表示装置。
6. 通信速度の異なる少なくとも２つの通信手段を有し、
   前記電子機器から前記撮像データを受信する際には、前記少なくとも２つの通信手段のうち通信速度の速い方の通信手段が用いられることを特徴とする請求項１乃至５のいずれか１項に記載の表示装置。
7. 撮像機能を有する電子機器と、前記電子機器と通信可能な表示装置とを有する通信システムであって、
   前記電子機器は、
   被写体を撮影して第１の撮像データを生成する第１の撮像手段と、
   前記第１の撮像手段により撮影される撮影像を表示する第１の表示手段と、
   前記表示装置との通信を行う第１の通信手段とを備え、
   前記表示装置は、
   使用者の視界方向を撮影して第２の撮像データを生成する第２の撮像手段と、
   前記第１の通信手段と通信する第２の通信手段と、
   画像を表示する第２の表示手段と、
   前記第２の表示手段における画像表示を制御する制御手段とを備え、
   前記第２の通信手段と前記第１の通信手段との間の通信接続が確立した状態において前記制御手段は、前記第２の撮像データに基づいて、前記使用者が前記第１の表示手段を視認することができると判断した場合には、前記第１の撮像データの撮影像を前記第２の表示手段に表示せず、前記第２の撮像データに基づいて前記使用者が前記第１の表示手段を視認することができないと判断した場合には、前記通信接続を介して前記第１の撮像データを前記電子機器から取得して前記第１の撮像データの撮影像を前記第２の表示手段に表示することを特徴とする通信システム。
8. 前記制御手段は、前記第２の撮像データの画像に特定画像が存在する場合に、前記使用者が前記第１の表示手段を視認することができると判断し、前記第２の撮像データの画像に前記特定画像が存在しない場合に、前記使用者が前記第１の表示手段を視認することができないと判断することを特徴とする請求項７に記載の通信システム。
9. 前記特定画像とは、前記第１の表示手段に表示されたマーカであることを特徴とする請求項８に記載の通信システム。
10. 前記第２の表示手段は、前記使用者の眼部の前方に位置するように配置され、
    前記制御手段は、前記第１の撮像データの画像を表示しないときには、前記第２の表示手段を透明な状態とすることを特徴とする請求項７乃至９のいずれか１項に記載の通信システム。
11. 前記表示装置は、前記使用者の眼部の有無を検出する視野検出手段を備え、
    前記制御手段は、前記視野検出手段が前記使用者の眼部を検出しているときに、前記第１の撮像データの撮影像を前記第２の表示手段に表示するか否かの制御を行うことを特徴とする請求項１０に記載の通信システム。
12. 前記第１の通信手段と前記第２の通信手段はそれぞれ、通信速度の異なる少なくとも２つの通信手段を有し、
    前記電子機器からの前記第１の撮像データの前記表示装置への送信には、前記少なくとも２つの通信手段のうち、通信速度の速い方の通信手段が用いられることを特徴とする請求項７乃至１１のいずれか１項に記載の通信システム。
13. 撮像機能を有する電子機器と通信可能な表示装置の制御方法であって、
    前記電子機器との間での通信接続を確立する通信ステップと、
    前記表示装置の使用者の視界方向を撮影して撮像データを生成する撮像ステップと、
    前記撮像ステップで撮影した撮像データを解析する解析ステップと、
    前記解析ステップによる解析の結果、前記撮像データの画像に前記電子機器が撮影されていない場合に、前記電子機器から前記電子機器による撮影像の撮像データを受信して前記表示装置が有する表示手段に受信した撮影像を表示し、前記撮像データの画像に前記電子機器が撮影されている場合に、前記電子機器から前記電子機器による撮影像の撮像データを受信しない制御ステップと、を有することを特徴とする表示装置の制御方法。
14. 撮像機能を有する電子機器と通信可能な表示装置が備えるコンピュータを、前記表示装置が有する表示手段における画像表示の制御と、前記電子機器との間の通信の制御とを行う制御手段として機能させるプログラムであって、
    前記表示装置の使用者の視界方向を撮影して得られる撮像データを解析して、前記撮像データの画像に前記電子機器が撮影されていない場合に、前記電子機器から前記電子機器による撮影像の撮像データを受信して前記表示装置が有する表示手段に受信した撮影像を表示し、前記撮像データの画像に前記電子機器が撮影されている場合に、前記電子機器から前記電子機器による撮影像の撮像データを受信しない制御手段として機能させることを特徴とするプログラム。