JP7427739B2 - 表示装置 - Google Patents

Description

本発明は、表示装置に関し、特に、仮想現実画像に仮想オブジェクトを重畳表示させる画像処理に有効な技術に関する。

近年、ＭＲ(Mixed Reality)、ＶＲ（Virtual Reality）、あるいはＡＲ（Article Reality）技術に代表される画像処理技術の進展や画像処理した結果を表示するＨＭＤ（Head Mount Display）、タブレット端末、スマートフォン端末などの表示装置を含む電子端末の高性能化に伴い、実空間や仮想現実映像の画像に仮想オブジェクトを重畳表示させるコンテンツやその装置などが多数開発されている。

この主の画像表示技術としては、例えばカメラで撮影した画像を表示させながら電子機器に対する操作を受け付けることによって撮影した画像を見ながら電子機器の操作をするもの（例えば特許文献１参照）がある。

その他の画像表示技術としては、表示画面にて撮影者の視界が遮られる領域をカメラで撮像し、表示画面にて撮影者の視界が遮られる領域を表示画面に表示するもの（例えば特許文献２参照）あるいは画面を見る視認者の視線方向に応じた画像を表示することにより、リアリティに富んだ画像表示を実現するもの（例えば特許文献３参照）などが知られている。

特開２００６－２３８０３３号公報 特開２０１２－０８０１９３号公報 特開２０１２－１９０２３０号公報

上述した特許文献１～３の技術では、表示部に撮像画像を表示する際に端末の向きや角度の変化やユーザの視線の変化などに対する補正については行われているが、補正した後に表示される画像のサイズなどに対する配慮についてはなされていない。

つまり、電子端末を手持ちした場合などに利用者の視線方向や視距離がずれることによる表示画面の見え方の変化、あるいは電子端末に設けられるカメラの取り付け位置による影響による表示画面のずれなどについては考慮されていない。

その結果、実空間に重畳表示される仮想オブジェクトなどの画像に違和感などが生じてしまうという問題がある。

本発明の目的は、仮想空間が実空間と等価となるように表示することにより、違和感のない仮想空間を提供することのできる技術を提供することにある。

本発明の前記ならびにその他の目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。

すなわち、代表的な表示装置は、第１の撮像部、第１の距離検出部、第２の撮像部、第２の距離検出部、画像処理部、および表示部を有する。第１の撮像部は、第１の面に設けられ、利用者を撮像する。第１の距離検出部は、第１の撮像部が撮像する利用者の目を識別して、識別した目から第１の撮像部までの距離である第１の距離を計測する。

第２の撮像部は、第１の面に対向する第２の面に設けられ、対象物を撮像する。第２の距離検出部は、第２の撮像部から第２の撮像部が撮像する対象物までの距離である第２の距離を計測する。

画像処理部は、第１の撮像部および第２の撮像部が撮像した画像を画像処理する。表示部は、画像処理部が画像処理した画像を表示する。

また、画像処理部は、第１の距離検出部が計測した第１の距離、第２の距離検出部が計測した第２の距離、および表示部の高さに基づいて、表示部に表示する表示撮像範囲を算出して、算出した表示撮像範囲を第２の撮像部が撮像する画像から抽出して表示部に表示させる。

そして、画像処理部が算出する表示撮像範囲は、表示部に表示される対象物と利用者の視点から見る表示部にて遮蔽されない外界の景色とが同じサイズとなる範囲である。

特に、画像処理部は、表示撮像範囲に応じて、表示サイズを調整した仮想映像を生成して表示部に表示させる。

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。

表示装置に表示される画像の違和感を低減することができる。

実施の形態１による表示装置における構成の一例を示す説明図である。 図１の表示装置における制御遷移の一例を示す説明図である。 図１の表示装置による表示調整の一例を示す模式図である。 図１の表示装置が有するアウトカメラによる撮像範囲および表示範囲の一例を示す説明図である。 図１の表示装置が有するアウトカメラの取り付け位置による表示範囲の補正の一例を示す説明図である。 図１の表示装置が有する表示部に表示される画像の一例を示す説明図である。 図１の表示装置を移動させた際の表示の一例を示す説明図である。 図７の他の例を示す説明図である。 図９は、図１の表示装置における外観の一例を示す説明図である。 実施の形態２による表示装置における利用の一例を示す説明図である。

実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。

（実施の形態１）
以下、実施の形態を詳細に説明する。

〈表示装置の構成例〉
図１は、本実施の形態１による表示装置１０における構成の一例を示す説明図である。

表示装置１０は、例えばスマートフォンやタブレット端末などの携帯端末からなる。表示装置１０は、図１に示すように、ＣＰＵ（Central Processing Unit）１０１、カメラ処理部１０２、画像処理部１０３、メモリ部１０４、通信制御部１０５、センサ処理部１０６、表示部１０７、および音声入出力部１０８などから構成されている。

ＣＰＵ１０１は、メモリ部１０４に格納されているＯＳ（Operating System）やアプリケーション、あるいは表示装置１０の動作を制御する制御プログラムなどを実行することによって、各機能ブロックを制御する。

カメラ処理部１０２は、インカメラ１０２１、ＡＦセンサ１０２２、アウトカメラ１０２３、およびＡＦセンサ１０２４から構成されている。第１の撮像部であるインカメラ１０２１は、表示装置１０の正面側、すなわち表示部１０７側である第１の面に設けられるカメラである。第１の距離検出部であるＡＦセンサ１０２２は、インカメラ１０２１と表示装置１０の利用者との距離を測り、焦点調整を行う。

第２の撮像部であるアウトカメラ１０２３は、インカメラ１０２１とは反対側、すなわち第２の面である表示装置１０の背面側に備わるカメラである。第２の距離検出部であるＡＦセンサ１０２４は、アウトカメラ１０２３とその撮像対象との距離を測り、焦点調整を行う。

センサ処理部１０６は、距離センサ１０６１、ジャイロセンサ１０６２、加速度センサ１０６３、および磁気センサ１０６４などのセンサ群から構成されている。距離センサ１０６１は、表示装置１０の姿勢や位置などの状態を監視するセンサである。

ジャイロセンサ１０６２は、表示装置１０の回転方向の角速度を検出するセンサである。加速度センサ１０６３は、加速度を検出するセンサであり、重力を検出することができる。この加速度センサ部１０６３による重力の検出によって表示装置１０の傾きなどを検出する。磁気センサ１０６４は、地磁気を検出するセンサであり、方角を検知することができる。

画像処理部１０３は、いわゆるＧＰＵ（Graphic Processing Unit）と呼ばれる画像処理装置であり、例えばＭＲ、ＶＲ、あるいはＡＲなどの画像処理を行う。表示部１０７は、表示デバイスおよび該表示デバイスを駆動制御する駆動制御部から構成されており、画像処理部１０３が画像処理した画像などを表示する。表示デバイスは、例えば液晶表示デバイスや有機ＥＬ（Electro Luminescence）デバイスなどである。

メモリ部１０４は、例えばフラッシュメモリなどに例示される半導体メモリなどからなり、上述したアプリケーション、ＯＳおよび制御プログラム、および設定情報などの様々な情報を格納する。

上述したメモリ部１０４に格納されるアプリケーションは、仮想オブジェクトなどを取り扱うアプリケーションであるＡＲアプリケーション、ＶＲアプリケーション、およびＭＲアプリケーションなどである。

通信制御部１０５は、無線ＬＡＮ（Local Area Network）によりルータなどと無線通信を行う通信インターフェースであり、該ルータなどを介して外部ネットワークに接続して情報の送受信を行う。

あるいは、通信制御部１０５は、Ｗ－ＣＤＭＡ（Wideband Code Division Multiple Access）やＧＳＭ（Global System for Mobile Communications）（登録商標）などの基地局と遠距離の無線通信を行う通信インターフェースであってもよい。

音声入出力部１０８は、外部の音声を入力するマイクや外部に対して音声を出力するスピーカなどからなる。

〈表示装置の表示処理例〉
続いて、表示装置１０による表示方法について、図２および図３を用いて説明する。

図２は、図１の表示装置１０における制御遷移の一例を示す説明図である。図３は、図１の表示装置１０による表示調整の一例を示す模式図である。図２に示す遷移処理については、メモリ部１０４に格納されるＡＲアプリケーションなどが起動された際に行われるものである。

図２において、センサ処理である状態Ｊ２０７では、画像処理部１０３が、センサ処理部１０６が検出するセンサ情報を取り込む。状態Ｊ２１では、表示装置１０と該表示装置１０の操作を行う利用者までの距離（図３の距離Ｌ１）、および表示装置１０と利用者が注視する対象物３２までの距離（図３の距離Ｌ２）を測定する。

この状態Ｊ２１は、カメラ処理部１０２が実行するものであり、インカメラ用ＡＦ処理である状態Ｊ２０１とインカメラ処理である状態Ｊ２０３、およびアウトカメラ用ＡＦ処理である状態Ｊ２０２とアウトカメラ処理である状態Ｊ２０４が、それぞれ行われる。

状態Ｊ２１では、表示装置１０から利用者の目３１までの距離をインカメラ１０２１およびＡＦセンサ１０２２を用いて測定する。また、表示装置１０から対象物３２までの距離をアウトカメラ１０２３およびＡＦセンサ１０２４を用いて測定する。

インカメラ用ＡＦ処理である状態Ｊ２０１では、ＡＦセンサ１０２２が表示装置１０から利用者の目３１までの距離情報を抽出する。続いて、インカメラ処理である状態Ｊ２０３では、ＡＦセンサ１０２２がインカメラ１０２１の撮像する利用者の顔を抽出して、該利用者の目３１を認識することによって目の位置情報を抽出する。

これにより、画像処理部１０３は、上述した距離情報および目の位置情報に基づいて、図３に示す表示装置１０から利用者の目３１までの距離情報Ｌ１を得る。

同様にして、アウトカメラ用ＡＦ処理である状態Ｊ２０２およびアウトカメラ処理である状態Ｊ２０４では、表示装置１０から対象物３２までの距離情報を抽出することになるが、この場合、ＡＦセンサ１０２４は、アウトカメラ１０２３で撮像する対象物３２のフォーカスが合致する合焦点を決定することにより、画像処理部１０３が、図３に示す表示装置１０から対象物３２までの距離である距離情報Ｌ２を得る。

ここで、図３に示す範囲Ａ～Ａ’は、利用者の視野の範囲を示しており、範囲Ｂ～Ｂ’は、視野が表示装置１０によって遮られる範囲を示している。また、範囲Ｃ～Ｃ’は、アウトカメラ１０２３の撮影範囲を示しており、範囲Ｄ～Ｄ’は、アウトカメラ１０２３が取り込む画像の範囲を示している。

アウトカメラ１０２３にて撮像する対象の設定に関しては、利用者が表示装置１０を見る際の注視点として表示部１０７の表示画面の中心付近として、該表示画面の中心付近に存する物体にフォーカスするように動作させる。

これら状態Ｊ２０１，Ｊ２０３と状態Ｊ２０２，Ｊ２０４とは、異なるタイミングにて実行してもよいし、あるいは状態Ｊ２０１，Ｊ２０３と状態Ｊ２０２，Ｊ２０４とをほぼ同じタイミングにて実行するようにしてもよい。

次に、画像処理を行う状態Ｊ２０５では、画像処理部１０３が状態Ｊ２０３にて取得した距離情報Ｌ１、状態Ｊ２０４にて取得した距離情報Ｌ２、および状態Ｊ２０７にて取り込んだセンサ情報に基づいて、アウトカメラ１０２３が撮像する範囲から実際に表示部１０７に表示する部分の切り出しや拡大あるいは縮小などの処理を行う。

ここで、表示装置１０と利用者が注視する対象物３２までの距離である距離Ｌ２については、ＡＦセンサ１０２４による測定を行わずに無限遠としてもよい。表示制御処理である状態Ｊ２０６では、表示部１０７が状態Ｊ２０５において画像処理部１０３が生成した画像を表示する。

このように、表示装置１０は、画像処理部１０３が表示部１０７に表示させる画像と利用者が目３１で見ている対象物との大きさを概ね統一させて表示部１０７に表示させることによって、実世界と画面上に表示させる画像で、すなわち仮想空間とが概ね同じように見えるように表示制御を行う。

以下では、アウトカメラ１０２３の撮像映像から上述した表示制御の主旨に沿って表示部１０７に表示するまでの方法について記す。

図３に示す表示装置１０にて表示すべき範囲の高さを示す高さＨ２は、図２の制御遷移にて述べた距離Ｌ１、距離Ｌ２、および表示装置１０における表示部１０７の表示画面の高さＨ１から下記の式にて求めることができる。

Ｈ２＝（Ｌ１＋Ｌ２）／Ｌ１×Ｈ１
また、アウトカメラ１０２３の撮像範囲を示す画角θ１は、利用者の目３１が捉えるよりも十分に広く設定することによって、アウトカメラ１０２３にて撮像する範囲から物体３２の位置で高さＨ２の撮像範囲を抽出して表示部１０７に表示すれば利用者１から見て周囲の景色と概ね同等のサイズ感によって表示することができる。言い換えれば、アウトカメラ１０２３にて撮像する範囲から表示撮像範囲となる高さＨ２の撮像範囲をトリミングして表示部１０７に表示する。

よって、アウトカメラ１０２３に設けられるレンズは、広い画角を有するレンズ、いわゆる広角レンズであることが望ましい。広角レンズが魚眼レンズである場合には、上下左右方向のほぼ１８０度にわたる範囲の光景を取り込むことができる。これによって、前面側全景を広角に撮影することが可能となる。

抽出する撮像範囲の求め方は、図３に示す画角θ２を以下の式で算出する。

θ２＝２×ｔａｎ^－１（（Ｈ２／２）／Ｌ２）
以上より、表示部１０７が表示する画像は、拡大率Ｍ＝θ２／θ１にて表示され、利用者からの見た目は、表示部１０７に隠される部分に存する物体と概ね同様の大きさとなる。

ところで、撮像範囲の画像の取得および表示の方法として、アウトカメラ１０２３による外部画像の取得および表示は、不要とすることもできる。この場合、例えば表示装置１０を、それ自体が透明なガラス板のようなパネル、いわゆる透明液晶ディスプレイなどに構成する。

この透明液晶ディスプレイは、液晶パネルの偏光フィルムを特殊フィルムに変更することによって、ガラスのように背景を透過させるディスプレイである。この透明液晶ディスプレイに所定の信号を与えることにより、任意の位置に任意の濃さにて画像が表示される。

これにより、背景を透過したディスプレイ越しに見みることができるので、該透明液晶ディスプレイには、仮想オブジェクトのみを表示させればよい。なお、表示される画像の濃さについては、予め設定される透明度を設定するようにしてもよい。

仮想オブジェクトは、インカメラ１０２１によるユーザの目３１の位置の検出、およびその位置とパネルとの角度などの情報から、外界イメージとリンクした座標位置に表示することも可能である。

〈撮像範囲および表示範囲の例〉
図４は、図１の表示装置１０が有するアウトカメラ１０２３による撮像範囲および表示範囲の一例を示す説明図である。

この図４は、先述の式により求められるアウトカメラ１０２３による撮像範囲と表示範囲との関係を示したものである。

図４（ａ）は、アウトカメラ１０２３の撮像範囲４１から表示範囲４２の部分を切り出して表示する例を示している。この場合、撮像範囲４１の解像度を縦方向Ｙ１、横方向Ｘ１とすると、表示範囲は、図４（ａ）に示すように、縦横を１／Ｍ倍したＹ１／Ｍ，Ｘ１／Ｍの撮像範囲４２を表示部１０７にＭ倍拡大して表示される。

一方、図４（ｂ）は、アウトカメラ１０２３の初期設定画角θ１を画角θ２となるようにアウトカメラ１０２３のレンズ光学系による拡大処理によって、Ｍ倍の拡大表示を行って表示する例を示している。この時、表示倍率Ｍは、Ｍ＝θ１／θ２となり、撮像範囲４２には変わりはない。

以上の説明では、アウトカメラ１０２３が利用者の視線方向と合致する略表示部１０７の中央付近に取り付けられていることを前提に説明しているが、該アウトカメラ１０２３の取り付け位置については、表示画面の中央付近に限る必要はない。

先述したように、図４では、視線の先が表示装置１０の画面中央を向いている例について説明した。この場合、両目のうち、効き目を対象に表示することによって、より現実の世界を目視している状態を作りだせる。

そのためには、距離測定の際に効き目側を起点として距離Ｌ１を測定して表示調整を行えばよい。効き目の設定は、例えばＭＲアプリケーション、ＶＲアプリケーション、あるいはＡＲアプリケーションなどのソフトウェアにより設定され、該設定された設定情報は、メモリ部１０４に格納される。ＣＰＵ１０１は、メモリ部１０４に格納される設定情報を読み出すことにより、設定された効き目を認識する。

効き目の設定は、例えばソフトウェアの起動時に設定するようにしてよいし、あるいはソフトウェアの初期設定項目にて、効き目の設定を行ってもよい。これらの設定は、例えば表示部１０７に表示されるメニューなどから設定される。

〈表示補正例〉
図５は、図１の表示装置１０が有するアウトカメラ１０２３の取り付け位置による表示範囲の補正の一例を示す説明図である。

図５（ａ）は、表示装置１０と点線にて示す表示部１０７の表示画面部分の中心点Ｃｔとアウトカメラ１０２３の取り付け位置Ｐとの関係を示したものである。また、図５（ｂ）は、アウトカメラ１０２３の撮像範囲４１および表示範囲４２の関係を示したものである。

図５（ａ）において、それぞれの位置関係をＸ軸、Ｙ軸方向の座標にて表すと、アウトカメラ１０２３の取付位置Ｐ（Ｘ１，Ｙ１）、表示部１０７の画面中心点Ｃｔ（０，０）であるとする。

このとき、画像処理部１０３は、図５（ｂ）に示すように、撮像範囲４１の中から抽出する表示範囲を補正前の表示範囲４２ｂからそれぞれ位置－Ｘ１、位置－Ｙ１だけ位置をずらした表示範囲４２ａとなるように補正する。これにより、アウトカメラ１０２３の取り付け位置による表示ずれの影響を軽減することができる。

なお、前述した方法は、撮像範囲＞表示範囲の関係であれば、図４（ａ）および図４（ｂ）のどちらの場合にも適用可能である。

以上の補正により、表示装置１０を利用者が手持ちなどにより、実空間上にて様々な方向に向けて表示するような使い方の場合であっても、利用者の目線と概ね同じようにアウトカメラ１０２３にて撮像される対象物を表示した画像を見ることができる。

図５に示した補正による表示状態について、図６を用いて説明する。

図６は、図１の表示装置１０が有する表示部に表示される画像の一例を示す説明図である。

表示部１０７に表示される画像３２１は、図６に示すように、表示装置１０によって隠れる実空間上の物体３２を上述のサイズ調整などを行うことによって、利用者から見て該物体３２と概ね同じサイズとなって表示される。

これにより、現実の世界と表示装置１０にて構築される仮想空間との連携を違和感なく、自然に楽しむことができる。

なお、図６において、仮想画像６２は、撮像されて表示するものではなく、上述したＶＲアプリケーション、ＭＲアプリケーション、あるいはＡＲアプリケーションなどのソフトウェアによって構築される仮想オブジェクトである。

この仮想画像６２は、画像処理部１０３が表示倍率Ｍに応じて、その表示サイズを調整して描画することにより、撮像画像との大きさの整合性を取ることができる。この例のように、仮想画像６２は、実写映像の空間に対して任意に配することができる。

なお、本実施の形態１では、撮像画像上に仮想オブジェクトを重畳する例について示しているが、上述したように表示部１０７に透過型の表示デバイスを用いることもできる。その場合、仮想オブジェクトは、撮像画像を表示せずに実空間を透過して眺められるようにして、上述の通りにサイズ調整した仮想オブジェクトを表示する。

仮想オブジェクトの表示サイズ調整は、実空間の撮像エリアのサイズを上述の通り算出可能であるため、仮想オブジェクトの基準サイズを決定しておけば表示拡大率Ｍに合わせて表示サイズを調整することができる。

〈ＸＹＺ軸方向の動き補正〉
続いて、利用者が手持ちしている表示装置１０を動かしたり、見ている方向を変える動作を行った場合について、図７を用いて説明する。

図７は、図１の表示装置１０を移動させた際の表示の一例を示す説明図である。

図７（ａ）は、表示装置１０を水平方向あるいは垂直方向にそれぞれ動かした例を示している。図７（ａ）に示すΔＸは、水平方向における表示装置１０の移動量であり、ΔＹは、垂直方向の表示装置１０の移動量である。

この場合、表示部１０７に表示される物体３２は、図６に示す状態から図７（ａ）に示す表示３２１のように変化する。これは、表示位置が単に移動した状態であるので、アウトカメラ１０２３にて撮像画像の抽出位置を図５（ｂ）の説明と同様に移動させることで調整が可能である。

図７（ｂ）は、図７（ａ）の場合に加えて、画面鉛直方向であるΔＺに移動している例を示している。図７（ｂ）に示すΔＺは、画面鉛直方向、すなわち前後方向における表示装置１０の移動量である。

この図７（ｂ）では、図３に示した拡大率の計算における表示装置１０から利用者までの距離Ｌ１、および表示装置１０から物体３２までの距離Ｌ２に対して移動量ΔＺを反映させることによって、移動後の拡大率を算出することができる。なお、移動量ΔＸ，ΔＹ，ΔＺは、図１の加速度センサ１０６３などを用いることによって測定可能である。

また、表示装置１０が加速度センサ１０６３などの測定値が設定された動き量である移動量しきい値を越えたとＣＰＵ１０１が判断した場合にのみ、再度表示調整を行うようにする。これにより、消費電力の増大や表示画面の頻繁な変更を抑えることができる。

また、利用者の手持に伴う微小な変位は、図１のカメラ処理部１０２に図示しない手振れ補正機能を備えることによって抑制することができる。これにより、表示部１０７に表示される表示画面が手振れで見難くなることを軽減することができる。

また、表示装置１０から利用者や物体３２までの距離は、カメラ処理部１０２のオートフォーカス機能を用いて計測するのではなく、例えば図１の距離センサ１０６１を用いて測定するようにしてもよい。その場合、距離センサ１０６１は、例えば赤外線や超音波などを用いたセンサが用いられる。

さらに、表示装置１０は、拡大率Ｍによって仮想オブジェクトが実空間上の見え方とほぼ同様に見えるように拡大縮小を制御しているが、該拡大率Ｍを操作して、仮想オブジェクトを実空間の見え方よりも僅かに小さくしたり、あるいは逆に僅かに大きくして表示するようにしてもよい。

これによって、表示装置１０の利用者にとって実空間との関係性を把握しやすくすることができる。この場合、拡大、縮小、あるいは等倍といった表示に関する倍率設定項目を表示部１０７に表示して、利用者が好みの表示を選択可能としてもよい。

〈動き補正の他の例〉
図８は、図７の他の例を示す説明図である。

この図８では、手持ちの表示装置１０が垂直の状態から傾いて俯角となるように動いた状態を示している。

表示装置１０が垂直の状態では、図示するように、アウトカメラ１０２３の撮像範囲が範囲Ｃ～Ｃ’までとなる。図８の点線にて示すように表示装置１０が垂直の状態から俯角に傾くと、アウトカメラ１０２３の撮像範囲は、範囲Ｃ１～Ｃ１’までとなる。

表示装置１０の傾きが変化することによって撮像範囲が変化しても、画像処理部１０３は、利用者の目３１からみて表示装置１０に遮られる範囲の画像を維持して表示部１０７に表示する。

この場合、表示装置１０に遮られる範囲の画像は、表示装置１０の傾きにより多少変わるが、図８では、ハッチングにて示す略範囲Ｂ～範囲Ｂ’の範囲となる。よって、画像処理部１０３は、表示装置１０の傾きが変化することによって撮像範囲が変化しても、略範囲Ｂ～範囲Ｂ’の範囲の画像を表示部１０７に表示させる。

これにより、手持ちなどによって表示装置１０の傾きが変わっても、使用者が表示部１０７の表示画面で見る表示対象物が該表示装置１０に遮られない部分の外界に対して動かなくなり、あるいは動きが低減して、臨場感があふれる画像を提供することができる。

〈表示装置の他の構成例〉
図９は、図１の表示装置１０における外観の一例を示す説明図である。

図９に示す表示装置１０では、表示部１０７にソフトウェアボタンである切り替えボタン２０００が表示されている。

この切り替えボタン２０００は、例えばアウトカメラ１０２３が撮像した画像を表示する表示モード（以下、カメラ表示モードという）と仮想オブジェクトを取り扱うＡＲアプリケーションなどのソフトウェアによって表示される表示モード（以下、透過モードという）とを切り替えるボタンである。

利用者が切り替えボタン２０００をタッチすることによって、カメラ表示モードと透過モードとの切り替えが行われる。この切り替えの処理は、例えばＣＰＵ１０１がボタン２０００から入力される信号に基づいて実行する。

カメラ表示モードになっているか、あるいは透過モードになっているかは、切り替えボタン２０００の表示の色を変える、あるいは文字を変えるなどにて表示することにより、いずれのモードであるかを利用者が容易に把握することができる。

さらに、ＡＲアプリケーションなどにおいて、透過モードに対応しないものもある場合は、アプリアイコンに透過モード非対応のマークを重畳表示してもよい。

また、図３～図８に示す各例では、表示装置１０を縦長の状態にて保持する例を示しているが、該表示装置１０は、横長の状態にて保持するようにしてもよい。

以上により、実世界と画面上に表示させる画像とが略同じに見えるように連携を保ちながら表示させることにより、利用者が感じる違和感を低減することができる。

（実施の形態２）
〈複数人での利用例〉
本実施の形態２においては、表示装置１０を多人数によって利用する場合の例について説明する。

図１０は、本実施の形態２による表示装置１０における利用の一例を示す説明図である。

この図１０では、図１の表示装置１０を複数の人物によって利用する際の例を示したものであり、ここでは、表示装置１０の持ち主である人物８１以外に、人物８２，８３によって表示装置１０を利用するものとする。

以下、図１０において、距離Ｌ１を判定する方法をについて述べる。以下の処理は、画像処理部１０３が主体となって行うものである。

まず、画像処理部１０３は、表示装置１０に備わるインカメラ１０２１にて撮像される利用者側の人物の顔判定を行う。この際、人物８１、人物８２、および人物８３が人物として判定される。これにより、画像処理部１０３は、利用者が複数であることを認識する。

利用者が複数であることを認識した画像処理部１０３は、顔判定の結果に基づいて、距離Ｌ１を決定する。この場合、距離Ｌ１の決定方法としては、例えば以下に示す第１の決定方法、第２の決定方法、第３の決定方法、第４の決定方法、あるいは第５の決定方法のいずれかを用いる。

第１の決定方法は、表示装置１０に最も近い人物、あるいは表示装置１０のインカメラ１０２３にて撮像される面積の最も大きな人物までを距離Ｌ１とする方法である。ＣＰＵ１０１は、撮像される人物のうち、最も面積の最も大きな人物を特定し、ＡＦセンサ１０２２が計測した特定した人物までの距離を距離Ｌ１として取得して画像処理部１０３に出力する。

第２の決定方法は、インカメラ１０２１による撮像範囲のうち、最も中央部にいる人物までの距離を距離Ｌ１とする方法である。この場合においても、ＣＰＵ１０１は、撮像される人物のうち、最も中央部にいる人物を特定して、ＡＦセンサ１０２２が計測した特定した人物までの距離を距離Ｌ１として取得して画像処理部１０３に出力する。

第３の決定方法は、インカメラ１０２１により撮像されている人物８０，８１，８２までのそれぞれの距離の平均値を距離Ｌ１とする方法である。この場合、ＣＰＵ１０１は、ＡＦセンサ１０２２が計測した人物８０，８１，８２までの距離を取得して、取得した距離の平均を算出する。そして、算出した距離を距離Ｌ１として取得して画像処理部１０３に出力する。

第４の決定方法は、表示装置１０を持ち手している人物から表示装置１０までの距離を距離Ｌ１とする方式である。画像処理部１０３、表示装置１０の手持による揺れから当該揺れ方向と揺れ幅との解析結果および撮像される人物の揺れ方との相関を取り、表示装置１０の持ち手である人物を判定する。そして、その判定結果に基づいて、表示装置１０の持ち手との距離を距離Ｌ１とする。

第５の決定方法は、予め登録した利用者から表示装置１０までの距離を距離Ｌ１する方法である。この場合、インカメラ１０２１などによって予め利用者の顔を撮影して登録する。その登録結果は、例えばメモリ部１０４に格納される。画像処理部１０３は、ＡＲアプリケーションなどが起動した際にインカメラ１０２１の画像がとらえた顔を画像認識して、登録された顔と一致した顔を利用者と判断する。

また、第５の決定方法としては、例えばＡＲアプリケーションなどが起動した際にＣＰＵ１０１がインカメラ１０２１によって最初にとらえられた顔を利用者と認識して登録するようにしてもよい。登録した顔が予め設定した時間写っていない場合には、登録済みの顔を消去して、新たに現在写っている顔を利用者として登録するようにしてもよい。

どの決定方法を選択するかについては、表示装置１０の設定により選択可能とすることようにしてもよいし、予め判定方式を設定しておき、その設定を設定情報としてメモリ部１０４に格納して、ＡＲアプリケーションなどの起動時などに選択可能としてもよい。

続いて、ＣＰＵ１０１は、対象物８０１までの距離Ｌ２を、図３に示した例と同様に計測して撮像高さＨ２、その時の撮像画角θ２を求めて、表示拡大率Ｍを算出する。これによって、実世界の一部分を抽出したような感覚で表示装置１０に仮想オブジェクトなどの画像を表示することができる。

この時に、多人数によって表示装置１０を見る場合には、複数人から見る表示装置１０の表示画像とそれぞれの人物が目視する視野の実像とが視線方向の多少のズレによって異なってくる可能性がある。

そこで、画像処理部１０３は、表示拡大率Ｍの値よりも拡大率を小さく設定して、表示装置１０により隠れるエリアよりも広い範囲を表示する。それにより、表示装置１０を見ている利用者の誰からでも視線方向の画像を見ることができる。その結果、表示装置１０の使い勝手を向上することができる。

例えば、表示拡大率Ｍは、インカメラ１０２１にて認識する人物の数に応じて変更させることもできる。インカメラ１０２１が捉える撮像人物が１人の場合は、表示拡大率Ｍ１とし、２人の時は拡大率Ｍ２、３人の場合は拡大率Ｍ３となるように設定すれば、表示装置１０を見る人数に応じて表示調整が実施されるので使い勝手がよくなる。ここでＭ１＞Ｍ２＞Ｍ３・・・とする。

また、前記実施の形態１と同様に、上述した拡大率に合わせて、仮想オブジェクトを構築することによって表示画像上に適切な大きさで仮想オブジェクトを配置することが可能となる。

なお、表示装置１０は、例えばスマートフォンやタブレット端末などの携帯端末ではなく、プロジェクタなどの機器により投影板に投射することによってＡＲ画像を構築するようにしてもよい。

この場合は、画面が大きいため、より多くの人が同時に閲覧するという状況が発生するが、図９にて説明したように、視聴している各々の人や、全員が見るときに可能な限り違和感が最小になるように照射を行う。

これらにより、多人数の利用者にて表示装置１０を利用する際においても、画面上に表示させる画像を実世界との連携を保ちながら表示させることができるで、利用者が感じる違和感を低減することができる。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

前記実施の形態１、２においては、表示装置１０を縦長の状態にて保持する例を示しているが、該表示装置１０は、横長の状態にて保持するようにしてもよい。

なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加、削除、置換をすることが可能である。

１０ 表示装置
１０１ ＣＰＵ
１０２ カメラ処理部
１０３ 画像処理部
１０４ メモリ部
１０５ 通信制御部
１０６ センサ処理部
１０７ 表示部
１０８ 音声入出力部
１０２１ インカメラ
１０２２ ＡＦセンサ
１０２３ アウトカメラ
１０２４ ＡＦセンサ
１０６１ 距離センサ
１０６２ ジャイロセンサ
１０６３ 加速度センサ
１０６４ 磁気センサ

Claims (7)

1. 表示装置であって、
   第１の面に設けられ、利用者を撮像する第１の撮像部と、
   前記第１の撮像部が撮像する前記利用者の目を識別して、識別した前記目から前記第１の撮像部までの距離である第１の距離を計測する第１の距離検出部と、
   前記第１の面に対向する第２の面に設けられ、対象物を撮像する第２の撮像部と、
   前記第２の撮像部から前記第２の撮像部が撮像する前記対象物までの距離である第２の距離を計測する第２の距離検出部と、
   前記第１の撮像部および前記第２の撮像部が撮像した画像を画像処理する画像処理部と、
   前記画像処理部が画像処理した画像を表示する表示部と、
   を有し、
   前記画像処理部は、前記第１の距離検出部が計測した前記第１の距離、前記第２の距離検出部が計測した前記第２の距離、および前記表示部の高さ方向の長さに基づいて、前記表示部に表示する表示撮像範囲を算出して、算出した前記表示撮像範囲を前記第２の撮像部が撮像する画像から抽出して前記表示部に表示させ、
   前記画像処理部が算出する前記表示撮像範囲は、前記表示部に表示される前記対象物と前記利用者の視点から見る前記表示部にて遮蔽されない外界の景色とが同じサイズとなる範囲であり、
   前記画像処理部は、前記第１の撮像部が撮像した前記利用者の画像から前記利用者が複数であるか否かを判定し、前記利用者が複数であると判定した場合、複数の前記利用者のうち、前記表示装置を手に持っている利用者の目から前記表示装置までの距離を前記第１の距離とする、表示装置。
2. 表示装置であって、
   第１の面に設けられ、利用者を撮像する第１の撮像部と、
   前記第１の撮像部が撮像する前記利用者の目を識別して、識別した前記目から前記第１の撮像部までの距離である第１の距離を計測する第１の距離検出部と、
   前記第１の面に対向する第２の面に設けられ、対象物を撮像する第２の撮像部と、
   前記第２の撮像部から前記第２の撮像部が撮像する前記対象物までの距離である第２の距離を計測する第２の距離検出部と、
   前記第１の撮像部および前記第２の撮像部が撮像した画像を画像処理する画像処理部と、
   前記画像処理部が画像処理した画像を表示する表示部と、
   を有し、
   前記画像処理部は、前記第１の距離検出部が計測した前記第１の距離、前記第２の距離検出部が計測した前記第２の距離、および前記表示部の高さ方向の長さに基づいて、前記表示部に表示する表示撮像範囲を算出して、算出した前記表示撮像範囲を前記第２の撮像部が撮像する画像から抽出して前記表示部に表示させ、
   前記画像処理部が算出する前記表示撮像範囲は、前記表示部に表示される前記対象物と前記利用者の視点から見る前記表示部にて遮蔽されない外界の景色とが同じサイズとなる範囲であり、
   前記画像処理部は、前記第１の撮像部が撮像した前記利用者の画像から前記利用者が複数であるか否かを判定し、前記利用者が複数であると判定した場合、複数の前記利用者のうち、予め登録した利用者から前記表示装置までの距離を前記第１の距離とする、表示装置。
3. 請求項１または請求項２に記載の表示装置において、
   前記画像処理部は、前記表示撮像範囲に応じて、表示サイズを調整した仮想画像を生成して前記表示部に表示させる、表示装置。
4. 請求項１または請求項２に記載の表示装置において、
   前記表示装置の移動量を検出する検出部を有し、
   前記画像処理部は、前記検出部が検出した検出結果に基づいて、前記表示装置の移動後の前記表示撮像範囲を算出して、算出した前記表示撮像範囲を前記第２の撮像部が撮像する画像から抽出して前記表示部に表示させる、表示装置。
5. 請求項４記載の表示装置において、
   前記検出部は、前記表示装置の水平方向の移動量および前記表示装置の垂直方向の移動量を検出する、表示装置。
6. 請求項４記載の表示装置において、
   前記検出部は、前記表示装置の水平方向の移動量、前記表示装置の垂直方向の移動量、および前記表示装置の前後方向の移動量を検出する、表示装置。
7. 請求項４記載の表示装置において、
   前記画像処理部は、前記検出部が検出した移動量が予め設定されている移動量しきい値を超えた際に前記表示撮像範囲を算出する、表示装置。

Images