JP2024039718A - 電子機器、電子機器の制御方法、プログラム、および記憶媒体 - Google Patents

Abstract

【課題】視差を有する画像を表示する電子機器において、ユーザに適した拡大画像表示を提供する。【解決手段】本開示の電子機器は、第１の光学系を介して撮像された第１の画像と、第２の光学系を介して撮像された、前記第１の画像に対応する第２の画像とを取得する画像取得手段と、前記第１の画像と前記第２の画像を用いて、全体画像と、前記全体画像と視差の異なる拡大画像との少なくとも一方を生成する画像生成手段と、を有する。【選択図】図１

Description

本発明は、電子機器、電子機器の制御方法、プログラム、および記憶媒体に関するものである。

近年、リアルタイムに映像を撮影および表示して、人間の視覚情報を拡張可能な電子機器が普及している。特に、仮想現実（ＡＲ）を体感するためのヘッドマウントディスプレイ（ＨＭＤ）等において、ユーザは、大きさや距離感まで表現された仮想物体を、現実空間にあたかも存在しているかのような体験をすることができる。

また、特許文献１に開示の技術のように、人間は右眼と左眼で異なる視点で物を見て、左右の両眼で見た物の差（両眼視差）から奥行き感を感じ取って立体視をしている。両眼視差に相当する視差画像を表示することで、立体視が可能となる。

特開第２０１２－２０４９０４号公報 特開第２００９－４３００３号公報

ユーザの眼前の光景をリアルタイムに表示するＨＭＤにおいて、ユーザが表示されている画像を拡大して詳細を把握したい状況が存在する。この場合に、表示画面に拡大画像を単純に表示すると、通常画像で見ていた視野範囲が狭まるため、ユーザが周囲の状況が把握できなくなることがある。また、拡大画像において、視差の不一致から距離感を損ない、ユーザが不快感を受ける可能性がある。

画像の拡大表示に関しては、特許文献２のように、ユーザの視線を検知し、ユーザの注視している領域を拡大して、全体領域に重畳して表示する技術が知られている。しかしながら、特許文献２では、視差画像を用いた表示を行う電子機器における画像拡大は想定されていない。

本件開示の技術は、上記に鑑みて、視差を有する画像を表示する電子機器において、ユーザに適した拡大画像表示を提供することを目的とする。

上記目的を達成するために、本開示に係る電子機器は、
第１の光学系を介して撮像された第１の画像と、第２の光学系を介して撮像された、前記第１の画像に対応する第２の画像とを取得する画像取得手段と、
前記第１の画像と前記第２の画像を用いて、全体画像と、前記全体画像と視差の異なる拡大画像との少なくとも一方を生成する画像生成手段と、
を有することを特徴とする電子機器を含む。

また、本開示に係る電子機器の制御方法は、
第１の光学系を介して撮像された右眼用の第１の視差画像と、第２の光学系を介して撮像された左眼用の第２の視差画像とを取得する画像取得ステップと、
前記第１の視差画像と前記第２の視差画像の一方の画像を拡大した拡大画像を生成し、
前記第１の視差画像と前記第２の視差画像の他方を用いて全体画像を生成する画像生成ステップと、
前記拡大画像を、ユーザの右眼と左眼のうちの、前記拡大画像に対応する一方の眼に対して表示し、前記全体画像を、前記ユーザの右眼と左眼のうちの他方の眼に対して表示する表示ステップと、
を有することを特徴とする電子機器の制御方法を含む。
また、本開示に係るプログラムは、コンピュータに上記に記載の電子機器の制御方法を実行させるためのプログラムを含む。

本開示の技術によれば、視差を有する画像を表示する電子機器において、ユーザに適した拡大画像表示を提供することができる。

一実施形態に係るＨＭＤのシステム構成の一例を示す図。 一実施形態に係るＨＭＤの構成の一例を示す模式図。 ユーザと対象物との距離の違いによる輻輳角の違いを説明する図 一実施形態に係るＨＭＤにおける画像表示の例を示す図。 一実施形態に係るＨＭＤにおける画像表示の別の例を示す図。

以下、本開示の実施形態について図面を用いて説明する。なお、本開示は以下の実施形態に限定されるものではなく、その要旨を逸脱しない範囲において適宜変更可能である。また、以下で説明する図面において、同じ機能を有するものは同一の符号を付し、その説明を省略又は簡潔にすることもある。本実施形態では、電子機器がヘッドマウントディスプレイ（立体撮像装置）である場合を例にして説明する。

（第１の実施形態）
＜ヘッドマウントディスプレイの構成＞
図１は、ヘッドマウントディスプレイ１００の構成の一例を示す図である。ヘッドマウントディスプレイ１００は、右眼用の撮像処理部２５０Ｒと、と左眼用の撮像処理部２５０Ｌとを有する。なお、以下の説明では、撮像処理部２５０Ｒ、２５０Ｌをまとめて撮像処理部２５０と称する場合がある。

まず、撮像処理部２５０について説明する。撮像処理部２５０は、絞り２０１、レンズ２０２（右眼用のレンズ２０２は第１の光学系、左眼用のレンズ２０２は第２の光学系）を有する。また、撮像処理部２５０は、絞り駆動回路２０３、ＡＦ（オートフォーカス）駆動回路２０４、レンズシステム制御回路２０５、シャッタ２１０、撮像部２１１（右眼用の撮像部２１１は第１受光手段、左眼用の撮像部２１１は第２受光手段）を有する。また、撮像処理部２５０は、Ａ／Ｄ変換器２１２、メモリ制御部２１３、画像処理部２１４、メモリ２１５、Ｄ／Ａ変換器２１６、ＥＶＦ２１７を有する。

以下の説明では、撮像処理部２５０の画像撮影に用いられる絞り２０１、レンズ２０２、絞り駆動回路２０３、ＡＦ駆動回路２０４、レンズシステム制御回路２０５、シャッタ２１０、撮像部２１１を、画像撮影部２００と称する。

絞り２０１は、開口径が調整可能に構成されている。レンズ２０２は、複数枚のレンズから構成される。絞り駆動回路２０３は、絞り２０１の開口径を制御することで光量を調整する。ＡＦ駆動回路２０４は、レンズ２０２を駆動させて焦点を合わせる。レンズシステム制御回路２０５は、後述するシステム制御部２１８の指示に基づいて、絞り駆動回路
２０３、ＡＦ駆動回路２０４等を制御する。レンズシステム制御回路２０５は、絞り駆動回路２０３を介して絞り２０１の制御を行い、ＡＦ駆動回路２０４を介してレンズ２０２の位置を変位させることで焦点を合わせる。

また、シャッタ２１０は、システム制御部２１８の指示に基づいて撮像部２１１の露光時間を自由に制御できるフォーカルプレーンシャッタである。撮像部２１１は、光学像を電気信号に変換するＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal
Oxide Semiconductor）素子等で構成される撮像素子（イメージセンサ）である。撮像部２１１は、システム制御部２１８にデフォーカス量情報を出力する撮像面位相差センサを有していてもよい。Ａ／Ｄ変換器２１２は、撮像部２１１から出力されるアナログ信号をデジタル信号に変換する。画像処理部２１４は、Ａ／Ｄ変換器２１２からのデータまたはメモリ制御部２１３からのデータに対し所定の処理（画素補間、縮小等のリサイズ処理、色変換処理等）を行う。また、画像処理部２１４は、撮影した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部２１８が露光制御や測距制御を行う。この処理により、ＴＴＬ（Through-The-Lens）方式のＡＦ処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理等が行われる。さらに、画像処理部２１４は、撮影した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。なお、画像処理部２１４は、第１の光学系を介して撮像された第１の画像と、第２の光学系を介して撮像された、第１の画像に対応する第２の画像とを取得する画像取得手段の一例である。

Ａ／Ｄ変換器２１２からの画像データは、画像処理部２１４およびメモリ制御部２１３を介してメモリ２１５に書き込まれる。あるいは、Ａ／Ｄ変換器２１２からの画像データは、画像処理部２１４を介さずにメモリ制御部２１３を介してメモリ２１５に書き込まれる。メモリ２１５は、撮像部２１１によって得られ、Ａ／Ｄ変換器２１２によりデジタルデータに変換された画像データや、ＥＶＦ２１７に表示するための画像データを格納する。メモリ２１５は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。また、メモリ２１５は画像表示用のメモリ（ビデオメモリ）を兼ねている。

Ｄ／Ａ変換器２１６は、メモリ２１５に格納されている画像表示用のデータをアナログ信号に変換して表示部１０８やＥＶＦ２１７に供給する。したがって、メモリ２１５に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２１６を介してＥＶＦ２１７に表示される。ＥＶＦ２１７は、Ｄ／Ａ変換器２１６からのアナログ信号に応じた表示を行う。ＥＶＦ２１７は、例えば、ＬＣＤや有機ＥＬ等のディスプレイである。Ａ／Ｄ変換器２１２によってＡ／Ｄ変換されメモリ２１５に蓄積されたデジタル信号をＤ／Ａ変換器２１６でアナログ信号に変換し、ＥＶＦ２１７に逐次転送して表示することで、ライブビュー表示が行われる。以上が、撮像処理部２５０を構成する各部の説明である。

次に、システム制御部２１８は、少なくとも１つのプロセッサおよび／または少なくとも１つの回路からなる制御部である。すなわち、システム制御部２１８は、プロセッサであってもよく、回路であってもよく、プロセッサと回路の組み合わせであってもよい。システム制御部２１８は、ヘッドマウントディスプレイ１００全体を制御する。システム制御部２１８は、不揮発性メモリ２２０に記録されたプログラムを実行することで、後述するフローチャートの各処理を実現する。また、システム制御部２１８は、メモリ２１５、Ｄ／Ａ変換器２１６、ＥＶＦ２１７等を制御することにより表示制御も行う。

また、ヘッドマウントディスプレイ１００は、システムメモリ２１９、不揮発性メモリ２２０、システムタイマ２２１、通信部２２２、姿勢検知部２２３、接眼検知部１１８を有する。

システムメモリ２１９は、例えばＲＡＭ（Random-Access Memory）が用いられる。システムメモリ２１９には、システム制御部２１８の動作用の定数、変数、不揮発性メモリ２２０から読み出したプログラム等が展開される。不揮発性メモリ２２０は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable
Read-only Memory）が用いられる。不揮発性メモリ２２０には、システム制御部２１８
の動作用の定数、プログラム等が記録される。なお、ここでプログラムとは、後述するフローチャートを実行するためのプログラムである。

システムタイマ２２１は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。通信部２２２は、無線または有線ケーブルによって接続された外部機器との間で、映像信号や音声信号の送受信を行う。通信部２２２は無線ＬＡＮ（Local Area Network）やインターネットとも接続可能である。また、通信部２２２は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙでも外部機器と通信可能である。通信部２２２は、撮像部２１１で撮影した画像（ライブ画像を含む）や、記録媒体２２８に記録された画像を送信可能であり、外部機器から画像データやその他の各種情報を受信することができる。

また、姿勢検知部２２３は、重力方向に対するヘッドマウントディスプレイ１００の姿勢を検知する。システム制御部２１８は、姿勢検知部２２３で検知された姿勢に基づいて、撮像部２１１で撮影された画像が、ヘッドマウントディスプレイ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別できる。システム制御部２１８は、姿勢検知部２２３で検知された姿勢に応じた向き情報を撮像部２１１で撮影された画像の画像ファイルに付加したり、画像を回転して記録したりすることができる。姿勢検知部２２３は、例えば、加速度センサやジャイロセンサ等を用いることができる。姿勢検知部２２３を用いて、ヘッドマウントディスプレイ１００の動き（パン、チルト、持ち上げ、静止しているか否か等）を検知することも可能である。

接眼検知部１１８は、ＥＶＦ２１７を内蔵する接眼ファインダ１１７の接眼部１１６に対する何らかの物体の接近を検知する。接眼検知部１１８は、例えば、赤外線近接センサを用いることができる。物体が接近した場合、接眼検知部１１８の投光部から投光した赤外線が物体で反射して赤外線近接センサの受光部で受光される。受光された赤外線の量によって接眼部１１６から物体までの距離を判別することができる。このように、接眼検知部１１８は、接眼部１１６に対する物体の近接距離を検知する接眼検知を行う。接眼検知部１１８は、接眼ファインダ１１７の接眼部１１６に対する眼（物体）の接近（接眼）および離反（離眼）を検知する接眼検知センサである。

接眼検知部１１８は、非接眼状態（非接近状態）から、接眼部１１６に対して所定距離以内に近づく物体が検知された場合に、接眼されたと検知する。一方、接眼検知部１１８は、接眼状態（接近状態）から、接近を検知していた物体が所定距離以上離れた場合に、離眼されたと検知する。接眼を検知する閾値と、離眼を検知する閾値は例えばヒステリシスを設ける等して異なっていてもよい。また、接眼検知部１１８は、接眼を検知した後は、離眼を検知するまでは接眼状態であるものとみなす。また、接眼検知部１１８は、離眼を検知した後は、接眼を検知するまでは非接眼状態であるものとみなす。システム制御部２１８は、接眼検知部１１８で検知された状態に応じて、ＥＶＦ２１７の表示（表示状態）／非表示（非表示状態）を切り替える。具体的には、システム制御部２１８は、少なくとも撮影待機状態であって、かつ、表示先の切替設定が自動切替である場合に、ＥＶＦ２１７を非表示状態とする。

また、システム制御部２１８は、接眼中は表示先をＥＶＦ２１７として表示をオンとす
る。なお、接眼検知部１１８は、赤外線近接センサに限らず、接眼とみなせる状態を検知できるものであれば他のセンサであってもよい。

さらに、ヘッドマウントディスプレイ１００は、ファインダ外表示部１０７、ファインダ外表示駆動回路２２４、電源制御部２２５、電源部２２６、記録媒体Ｉ／Ｆ２２７、操作部２２９を有する。

ファインダ外表示部１０７は、シャッタ速度、絞り数値、ＩＳＯ感度等の設定値を表示する。ファインダ外表示部１０４は、例えば、液晶表示パネルであって、表示手段の一例に対応する。また、ファインダ外表示駆動回路２２４がシステム制御部２１８の指示に基づいてファインダ外表示部１０４の表示制御を行う。

電源制御部２２５は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出等を行う。また、電源制御部２２５は、その検出結果およびシステム制御部２１８の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２２８を含む各部へ供給する。電源部２２６は、アルカリ電池およびリチウム電池等の一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池およびＬｉ電池等の二次電池、ＡＣアダプタ等である。

記録媒体Ｉ／Ｆ２２７は、メモリカードやハードディスク等の記録媒体２２８とのインターフェースである。記録媒体２２８は、撮影された画像を記録するためのメモリカード等であり、半導体メモリや磁気ディスク等から構成される。記録媒体２２８は、着脱可能であってもよく、内蔵されていてもよい。

操作部２２９は、ユーザからの操作（ユーザ操作）を受け付ける入力部であり、システム制御部２１８に各種の指示を入力するために用いられる。操作部２２９は、シャッタボタン１０１、電源スイッチ１０２、モード切替スイッチ１０３、他の操作部２３０等が含まれる。他の操作部２３０には、電子ダイヤル、方向キー、メニューボタン等が含まれる。

シャッタボタン１０１は、第１シャッタスイッチ１１１と第２シャッタスイッチ１２１を有する。第１シャッタスイッチ１１１は、シャッタボタン１０１の操作途中、いわゆる半押し（撮影準備指示）でオンとなり、第１シャッタスイッチ信号ＳＷ１を発生させる。システム制御部２１８は、第１シャッタスイッチ信号ＳＷ１により、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の撮影準備処理を開始する。

第２シャッタスイッチ１２１は、シャッタボタン１０１の操作完了、いわゆる全押しでオンとなり、第２シャッタスイッチ信号ＳＷ２（撮影指示）を発生する。システム制御部２１８は、第２シャッタスイッチ信号ＳＷ２により、撮像部２１１からの信号読み出しから、撮影された画像を含む画像ファイルを生成して記録媒体２２８に書き込むまでの一連の撮影処理を開始する。

モード切替スイッチ１０３は、システム制御部２１８の動作モードを撮影・表示モード、再生モード、ＡＲ表示モード等の何れかに切り替える。ユーザは、モード切替スイッチ１０３により、上述した撮影モードの何れかに直接、切り替えることができる。あるいは、ユーザは、モード切替スイッチ１０３により動作モードの一覧画面に一旦切り替えた後に、表示された複数のモードの何れかに操作部２２９を用いて選択的に切り替えることができる。

＜ヘッドマウントディスプレイの構成＞
図２は、ヘッドマウントディスプレイ１００をユーザが装着した場合の一例を示す模式図である。なお、図２に示すヘッドマウントディスプレイ１００のうち図１で説明した構成と同一の構成は、同一符号を付して適宜、説明を省略する。

図２に示すように、ヘッドマウントディスプレイ１００は、画像撮影部２００Ｒ／Ｌのそれぞれに対応する回転調節部２３１Ｒ／Ｌ（輻輳角調整手段）を有する。画像撮影部２００Ｒ／Ｌが回転調節部２３１Ｒ／ＬをそれぞれＺ軸周りでＹａｗ方向に回転することで、撮影画像の輻輳角を調整する。

また、図２には、ヘッドマウントディスプレイ１００を装着したユーザをＺ軸方向に見たときの右眼用の撮像処理部２５０Ｒと左眼用の撮像処理部２５０Ｌの光軸間隔２３２を示す。光軸間隔２３２は、不図示の調整機構によって調整することができる。

また、図２には、ヘッドマウントディスプレイ１００を装着したユーザをＺ軸方向に見たときのユーザの眼球間隔２３４を示す。また、図２には、ヘッドマウントディスプレイ１００を装着したユーザをＺ軸方向に見たときの右眼用のＥＶＦ２１７Ｒと左眼用のＥＶＦ２１７Ｌの距離であるＥＶＦ間隔２３３を示す。人間の眼球間隔２３４は個人差があるため、ヘッドマウントディスプレイ１００においてＥＶＦ間隔２３３も、調整出来ることが好ましい。そこで、以下の説明では、不図示の調整機構にてＥＶＦ間隔２３３を変更できることを前提とする。

＜被写体距離に応じた輻輳角変化＞
図３Ａは、ユーザの眼球から対象物までの距離の違いによる輻輳角の違いを示す図である。図３Ａには、ユーザの眼球間隔２３４、ユーザがより近くの対象物を見ているときの輻輳角３０１、ユーザがより遠くの対象物を見ているときの輻輳角３０２の一例を示す。図３Ａに示すように、輻輳角３０１、３０２を比較すると、より遠くの対象物を見ているときより、より近い対象物を見ているときの方が、輻輳角は大きくなることがわかる。そして、人間は、距離の変化によるこの輻輳角の違いを距離感として感じ取っている。

ＡＲを用いた映像では、仮想的なオブジェクトとユーザまでの距離に応じて表示を変化させる場合もある。特に、ＡＲにおいてユーザがスポーツ体験や観光体験を行う際には、ユーザから物体までの距離感も再現できる方が、ユーザにより没入感を与え、違和感の少ない体験をユーザに提供できる。したがって、ヘッドマウントディスプレイ１００においても、ユーザの距離感に近い３Ｄ映像を提供できることが望ましい。

そして、ユーザと物体との距離感を再現した３Ｄ映像を提供するためには、図２で示した、眼球間隔２３４と光軸間隔２３２との距離を合わせた上で、ユーザと物体との距離に応じた輻輳角を用いた表示制御を行うことが望ましい。なお、ヘッドマウントディスプレイ１００における各種の距離情報の取得に関しては、従来知られている一般的な手法（例えばＬｉａｄｒ等）を用いることができる。なお、ヘッドマウントディスプレイ１００において、光軸間隔２３２は、ユーザの眼球間隔２３４に合うように手動調節する他、左右の眼の視線位置情報を取得することで、視線位置情報から眼球間隔を算出して自動調節してもよい。

＜視差画像＞
ヘッドマウントディスプレイ１００を装着している場合のユーザの距離感は、右眼用のＥＶＦ２１７Ｒと左眼用のＥＶＦ２１７Ｌに表示される画像から決定される。図３Ｂには、ユーザが無限遠を見ているときに、比較的遠くにある対象物の左眼用画像３０２Ｌと右眼用画像３０２Ｒの例を示す。また、図３Ｃには、ユーザが無限遠を見ているときに、比較的近くにある対象物の左眼用画像３０１Ｌと右眼用画像３０１Ｒの例を示す。図３Ｂお
よび図３Ｃから分かるように、対象物が遠距離にあるほど視差は小さく、対象物が近距離にあるほど視差が大きくなり、ユーザは視差の違いを基に対象物までの距離を知覚する。

＜拡大画像の表示＞
リアルタイムに眼前の光景を表示するヘッドマウントディスプレイ１００において、ユーザが表示中の画像を拡大して詳細を把握することを望む場合がある。図４Ａ～図４Ｄにユーザと対象物との距離と左眼用画像と右眼用画像の表示例を示す。図４Ａおよび図４Ｂに示すように、ユーザと対象物との距離が比較的遠い場合は、視差が小さく、画像において表示される対象物も小さくなりやすい。このときに、表示画像を単に拡大した画像を表示すると、拡大前の表示に比べて視野範囲が狭まるため、ユーザが表示画像からは周囲の状況が把握できなくなる可能性がある。また、表示画像を単に拡大した画像では、拡大前後における視差の不一致から、ユーザが拡大後の表示画像を見たときに距離感を損ない、気分が悪くなる可能性もある。

そこで、本実施形態のヘッドマウントディスプレイ１００では、図４Ｃに示すように、ＥＶＦ２１７に全体画像と拡大画像を同時に表示し、全体画像と拡大画像で視差を異ならせることで、ユーザが全体画像と拡大画像とを区別しやすくなる。図４Ｃの表示例では、全体を把握するための全体画像４０１を左眼用画像と右眼用画像のそれぞれに表示する。このとき、左眼用に表示される全体画像４０１Ｌと、右眼用に表示される全体画像４０１Ｒとは、同一画像であり視差がない状態であるため、ユーザには全体画像４０１Ｌ、４０１Ｒが無限遠側に配置されているように認識される。ＥＶＦ２１７に全体画像を表示することでユーザの視野範囲を確保し、さらに、全体画像内に拡大画像の領域を示す指標４０３を表示することで、ユーザによる全体画像における画像の拡大箇所の認識を支援する。なお、拡大画像の表示時に表示される全体画像は、左眼用と右眼用のそれぞれの通常画像３０１Ｌと通常画像３０１Ｒから作成することが好適である。拡大画像の表示時に表示される全体画像には、例えば、通常画像３０１Ｌ、３０２Ｒから作成した１枚のパノラマ画像、もしくは、通常画像３０１Ｌ、３０２Ｒの一方の画像を用いることができる。左眼の画像と右眼の画像とでは、ユーザが見ている範囲が異なる、すなわち左眼は右側の範囲が、右眼は左側の範囲が相対的に欠けている。このため、通常画像３０１Ｌ、３０２Ｒを合成したパノラマ画像を全体画像とすることで、通常画像３０１Ｌ、３０２Ｒの互いに相補的な画像が得られる。

また、ＥＶＦ２１７には、拡大画像として、左眼用の拡大画像４０２Ｌと右眼用の拡大画像４０２Ｒとが表示される。拡大画像４０２Ｌ、４０２Ｒでは、全体画像に対する拡大率に応じた位置４０４に対象物が存在するものとして、全体画像よりも視差を大きくする。例えば、システム制御部２１８が、ヘッドマウントディスプレイ１００の各部を制御して、全体画像における視差と全体画像に対する拡大画像の拡大率とに基づいて、拡大画像における視差を決定し、決定した視差を用いて拡大画像４０２Ｌ、４０２Ｒを生成する。これにより、ユーザにとっては対象物をより近距離で見ていることになる。

なお、上記の拡大画像の表示では、全体画像を拡大した分だけ近距離に対象物が存在するものとして、拡大画像の視差が設定される。ただし、拡大画像の別の表示方法として、全体画像と拡大画像との間でユーザから対象物までの距離を変えずに、拡大画像において対象物が拡大したように表示させてもよい。これにより、ＥＶＦ２１７では、全体画像を表示しつつ、拡大画像については左右の視差を変えずに左眼用と右眼用にそれぞれ拡大画像を表示する。図４Ｄにそのような拡大画像の別の表示方法による拡大画像の表示例を示す。図４Ｄでは、左眼用の拡大画像４０３Ｌ、右眼用の拡大画像４０３Ｒの視差は通常画像の表示における視差と同一のままであるため、ユーザにおける対象物までの距離感は全体画像と拡大画像とで維持された表示となる。

なお、本実施形態において、拡大画像の用途によっては全体画像における対象物の方が拡大画像における対象物よりも近距離にあるとユーザに認識させる方が好適な場合もある。この場合は、システム制御部２１８はヘッドマウントディスプレイ１００の各部を制御して、拡大画像の視差を通常画像の視差と同一に維持したまま、全体画像の視差を拡大画像の視差よりも大きくする。なお、システム制御部２１８は、第１の画像と第２の画像を用いて、全体画像と、全体画像と視差の異なる拡大画像との少なくとも一方を生成する画像生成手段の一例である。

＜拡大画像の表示形態＞
本実施形態のヘッドマウントディスプレイ１００では、ＥＶＦ２１７における拡大画像の表示形態の一例として、以下の表示形態が挙げられる。
・常に全体画像の中央の領域を拡大
・全体画像において被写体の検出位置を含む領域を拡大
・全体画像においてユーザが指定した位置を含む領域を拡大

本実施形態では、ＥＶＦ２１７やファインダ外表示部１０４にヘッドマウントディスプレイ１００において実行可能な表示形態に関する情報を表示し、ユーザが操作部２２９を操作して表示形態を選択することで、上記表示形態による拡大画像の表示が実現する。また、ヘッドマウントディスプレイ１００では、上記のいずれの表示形態においても、図４Ｃおよび図４Ｄの例のように全体画像に拡大画像の領域を示す指標４０３が表示される。これにより、ユーザは全体画像における対象物の位置を把握しながら拡大画像を確認することができる。

また、ヘッドマウントディスプレイ１００では、全体画像における被写体の検出位置を用いて拡大画像を表示する場合は、システム制御部２１８が各部を制御して、全体画像内の人の顔や動物等の特定の被写体を検出する。さらに、検出した被写体が動く場合は、システム制御部２１８が各部を制御して、拡大画像の中央に被写体が位置するように、拡大画像を表示し続けてもよい。また、ヘッドマウントディスプレイ１００では、ユーザ指定位置の方法は、ユーザの視線を検知し見ている箇所を拡大する方法や、十字キー等の部材を用いて拡大位置を指定する方法がある。

＜画像の表示方法＞
上記の通り、本実施形態のヘッドマウントディスプレイ１００では、ユーザが拡大画像の対象物を全体画像の対象物よりも近距離にあると認識するように視差が設定される。これにより、ＥＶＦ２１７において拡大画像の対象物が全体画像の対象物よりも強調されて表示される。なお、拡大画像の対象物を全体画像の対象物よりも強調する表示形態の一例として、以下の表示形態が挙げられる。
・全体画像の対象物の輝度よりも拡大画像の対象物の輝度を高く設定する
・全体画像の対象物よりも拡大画像の対象物を大きく表示する
・全体画像をＥＶＦ２１７の表示領域のいずれかの隅に表示する

例えば、図４Ｃの表示例では、拡大画像の視差が全体画像の視差よりも大きくように設定され、かつ、全体画像がＥＶＦ２１７の矩形の表示領域の左上隅に配置される。これにより、ユーザは、全体画像により対象物の周囲の状況を確認しつつ、全体画像の対象物より強調された拡大画像の対象物を確認することができる。

また、ヘッドマウントディスプレイ１００では、使用するユーザごとに画像表示の設定の好みが分かれる可能性がある。このような表示装置では、例えば、以下に挙げる設定の選択肢を設けておき、ＥＶＦ２１７に設定内容を表示してユーザが好みの設定を選択するようにしてもよい。これにより、ヘッドマウントディスプレイ１００のユーザビリティが
向上する。
・拡大画像の視差、全体画像の視差をユーザが選択可能
・拡大画像の輝度、全体画像の輝度をユーザが設定可能
・拡大画像と全体画像の表示位置／サイズをユーザが選択可能

＜その他の表示方法＞
全体画像と拡大画像の別の表示方法を図５に示す。図５においては左眼用画像５０２Ｌに全体画像５０１を、右眼用画像５０２Ｒに拡大画像５０３を表示している。この場合、画像処理部２１４は、画像取得手段として、第１の光学系を介して撮像された右眼用の第１の視差画像と、第２の光学系を介して撮像された左眼用の第２の視差画像とを取得する。そして、システム制御部２１８は、画像生成手段として、第１の視差画像と第２の視差画像の一方の画像を拡大した拡大画像を生成し、第１の視差画像と第２の視差画像の他方を用いて全体画像を生成する。図５に示すようにＥＶＦ２１７において一方の眼に拡大画像を表示し、他方の眼に全体画像を表示することで、拡大画像表示時も全体の把握をしながら、注目箇所を拡大してみることが可能となる。拡大画像の選択方法に関しては、先述した方法が考えられるが、従来一般的な方法で拡大画像の選択を行ってよい。

以上説明したように、本実施形態によれば、投影するスポットライト画像において黒浮きの発生とスポットライト領域の階調段差の発生を抑制することができる。

以上、本開示の投影装置について、その好適な実施形態に基づいて詳述してきたが、本開示はこれら特定の実施形態に限られるものではなく、本開示の技術の要旨を逸脱しない範囲の様々な形態も本開示に含まれる。また、上記の複数の実施形態は適宜組み合わせて実施することもできる。例えば、上記の実施形態では、ＨＭＤ１００を電子機器としたが、ＨＭＤ１００に接続され、ＨＭＤ１００の少なくとも一部の機能を有するＰＣ（パーソナルコンピュータ）等を電子機器としてもよい。

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。したがって、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

なお、上記の各実施形態（各変形例）の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ＡＳＩＣ、ＦＰＧＡ、ＤＳＰなどのハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリ（記憶媒体）とを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。

（その他の実施形態）
本発明は、上記の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本実施形態の開示は、以下の構成および方法を含む。
（構成１）
第１の光学系を介して撮像された第１の画像と、第２の光学系を介して撮像された、前記第１の画像に対応する第２の画像とを取得する画像取得手段と、
前記第１の画像と前記第２の画像を用いて、全体画像と、前記全体画像と視差の異なる拡大画像との少なくとも一方を生成する画像生成手段と、
を有することを特徴とする電子機器。
（構成２）
前記第１の画像は、右眼用の視差画像であり、前記第２の画像は、左眼用の視差画像である
ことを特徴とする構成１に記載の電子機器。
（構成３）
前記画像生成手段は、前記第１の画像および前記第２の画像から１枚の画像を前記全体画像として生成することを特徴とする構成１または２に記載の電子機器。
（構成４）
前記拡大画像の視差は、前記全体画像の視差よりも大きいことを特徴とする構成１から３のいずれか１項に記載の電子機器。
（構成５）
前記拡大画像の視差は、前記全体画像の視差よりも小さいことを特徴とする構成１から４のいずれか１項に記載の電子機器。
（構成６）
前記全体画像内に、前記拡大画像の領域を示す指標を表示するように制御する表示制御手段をさらに有することを特徴とする構成１から５のいずれか１項に記載の電子機器。
（構成７）
前記画像生成手段は、前記拡大画像の拡大率に応じて、前記拡大画像の視差を変更することを特徴とする構成１から６のいずれか１項に記載の電子機器。
（構成８）
第１の光学系を介して撮像された右眼用の第１の視差画像と、第２の光学系を介して撮像された左眼用の第２の視差画像とを取得する画像取得手段と、
前記第１の視差画像と前記第２の視差画像の一方の画像を拡大した拡大画像を生成し、前記第１の視差画像と前記第２の視差画像の他方を用いて全体画像を生成する画像生成手段と、
前記拡大画像を、ユーザの右眼と左眼のうちの、前記拡大画像に対応する一方の眼に対して表示し、前記全体画像を、前記ユーザの右眼と左眼のうちの他方の眼に対して表示する表示手段と、
を有することを特徴とする電子機器。
（方法１）
第１の光学系を介して撮像された第１の画像と、第２の光学系を介して撮像された、前記第１の画像に対応する第２の画像とを取得する画像取得ステップと、
前記第１の画像と前記第２の画像を用いて、全体画像と、前記全体画像と視差の異なる拡大画像との少なくとも一方を生成する画像生成ステップと、
を有することを特徴とする電子機器の制御方法。
（方法２）
第１の光学系を介して撮像された右眼用の第１の視差画像と、第２の光学系を介して撮像された左眼用の第２の視差画像とを取得する画像取得ステップと、
前記第１の視差画像と前記第２の視差画像の一方の画像を拡大した拡大画像を生成し、前記第１の視差画像と前記第２の視差画像の他方を用いて全体画像を生成する画像生成ステップと、
前記拡大画像を、ユーザの右眼と左眼のうちの、前記拡大画像に対応する一方の眼に対して表示し、前記全体画像を、前記ユーザの右眼と左眼のうちの他方の眼に対して表示する表示ステップと、
を有することを特徴とする電子機器の制御方法。
（プログラム１）
コンピュータを、請求項１から８のいずれか１項に記載の電子機器の各手段として機能させるためのプログラム。
（媒体１）
コンピュータを、請求項１から８のいずれか１項に記載の電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

１００ ヘッドマウントディスプレイ、２１１ 撮像部、２１４ 画像処理部

Claims (12)

1. 第１の光学系を介して撮像された第１の画像と、第２の光学系を介して撮像された、前記第１の画像に対応する第２の画像とを取得する画像取得手段と、
   前記第１の画像と前記第２の画像を用いて、全体画像と、前記全体画像と視差の異なる拡大画像との少なくとも一方を生成する画像生成手段と、
   を有することを特徴とする電子機器。
2. 前記第１の画像は、右眼用の視差画像であり、前記第２の画像は、左眼用の視差画像である
   ことを特徴とする請求項１に記載の電子機器。
3. 前記画像生成手段は、前記第１の画像および前記第２の画像から１枚の画像を前記全体画像として生成することを特徴とする請求項２に記載の電子機器。
4. 前記拡大画像の視差は、前記全体画像の視差よりも大きいことを特徴とする請求項１に記載の電子機器。
5. 前記拡大画像の視差は、前記全体画像の視差よりも小さいことを特徴とする請求項１に記載の電子機器。
6. 前記全体画像内に、前記拡大画像の領域を示す指標を表示するように制御する表示制御手段をさらに有することを特徴とする請求項１に記載の電子機器。
7. 前記画像生成手段は、前記拡大画像の拡大率に応じて、前記拡大画像の視差を変更することを特徴とする請求項１に記載の電子機器。
8. 第１の光学系を介して撮像された右眼用の第１の視差画像と、第２の光学系を介して撮像された左眼用の第２の視差画像とを取得する画像取得手段と、
   前記第１の視差画像と前記第２の視差画像の一方の画像を拡大した拡大画像を生成し、前記第１の視差画像と前記第２の視差画像の他方を用いて全体画像を生成する画像生成手段と、
   前記拡大画像を、ユーザの右眼と左眼のうちの、前記拡大画像に対応する一方の眼に対して表示し、前記全体画像を、前記ユーザの右眼と左眼のうちの他方の眼に対して表示する表示手段と、
   を有することを特徴とする電子機器。
9. 第１の光学系を介して撮像された第１の画像と、第２の光学系を介して撮像された、前記第１の画像に対応する第２の画像とを取得する画像取得ステップと、
   前記第１の画像と前記第２の画像を用いて、全体画像と、前記全体画像と視差の異なる拡大画像との少なくとも一方を生成する画像生成ステップと、
   を有することを特徴とする電子機器の制御方法。
10. 第１の光学系を介して撮像された右眼用の第１の視差画像と、第２の光学系を介して撮像された左眼用の第２の視差画像とを取得する画像取得ステップと、
    前記第１の視差画像と前記第２の視差画像の一方の画像を拡大した拡大画像を生成し、前記第１の視差画像と前記第２の視差画像の他方を用いて全体画像を生成する画像生成ステップと、
    前記拡大画像を、ユーザの右眼と左眼のうちの、前記拡大画像に対応する一方の眼に対して表示し、前記全体画像を、前記ユーザの右眼と左眼のうちの他方の眼に対して表示す
    る表示ステップと、
    を有することを特徴とする電子機器の制御方法。
11. コンピュータを、請求項１から８のいずれか１項に記載の電子機器の各手段として機能させるためのプログラム。
12. コンピュータを、請求項１から８のいずれか１項に記載の電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images