WO2018020661A1

WO2018020661A1 - 表示装置、表示制御装置および表示制御方法

Info

Publication number: WO2018020661A1
Application number: PCT/JP2016/072317
Authority: WO
Inventors: 博彦樋口; 相川　勇之
Original assignee: 三菱電機株式会社
Priority date: 2016-07-29
Filing date: 2016-07-29
Publication date: 2018-02-01
Also published as: TW201804787A; JPWO2018020661A1; US20190221184A1; DE112016007015T5; CN109478339A; JP6440910B2

Abstract

表示装置（１）は、ユーザの眼前に配される透過型の表示部（５）と、表示部（５）の表示画角より大きい撮影画角で実世界を撮影する撮影部（２）と、撮影部（２）が撮影した実世界の映像の中から、付加情報を表示する対象を認識するＡＲ認識部（６１）と、現物重畳モードか映像重畳モードかを判定するモード判定部（６２）と、現物重畳モードの場合、ＡＲ認識部（６１）が認識した対象の付加情報を、表示部（５）を透過した実世界に重畳表示させ、映像重畳モードの場合、ＡＲ認識部（６１）が認識した対象の付加情報を、撮影部（２）が撮影した実世界の映像に重畳表示させる表示制御部（６５）とを備える。

Description

表示装置、表示制御装置および表示制御方法

　この発明は、拡張現実（ＡＲ；Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）技術を利用した表示装置、表示装置の表示を制御する表示制御装置、および表示装置の表示を制御する表示制御方法に関するものである。

　グラス型の表示装置（いわゆるスマートグラス）には、ディスプレイが不透明であって実世界が見渡せない不透過型と、ディスプレイが透明であって実世界と表示情報を同時に見渡せる透過型とがある。透過型グラスは、ユーザの視界を覆わないため、移動を伴い安全性が重視される場所での利用が期待される。ＡＲ技術によって、透過型グラスのディスプレイに、現物に関する付加的な情報を表示することで、透過型グラスを装着したユーザには、眼前の現物に情報が浮かんでいるように見える。

　透過型グラスにはカメラが搭載されており、カメラで撮影できる範囲が、実世界に情報を付加できるＡＲの範囲である。従来の透過型グラスにおいては、ディスプレイの表示画角が、人の視野およびカメラの撮影画角より狭いため、情報が付加された世界を箱メガネで覗くような表示になり、情報が付加された実世界の全体像を把握しにくかった。全体像を把握するには、ユーザが頭部を頻繁に動かし、頭の中で、実世界と付加された情報との関係性を補間する必要があった。

　例えば、特許文献１に係る発明では、ディスプレイの表示画角外にＡＲの対象物が存在する場合、対象物の方向を示すアノテーションをディスプレイに表示する方法が提案されている。これにより、表示画角外に対象物が存在しても、その対象物の方向が分かるようになっている。

特開２００５－１７４０２１号公報

　しかしながら、特許文献１に係る発明によればディスプレイの表示画角外に対象物があることは分かるが、表示画角より広い範囲のＡＲの全体像を把握することはできないという課題があった。つまり、ＡＲの世界を箱メガネで覗く感覚は緩和されるが、解消はされていない。そのため、ユーザは、頭の中で、対象物の位置関係を意識する必要があった。また、表示画角外にある対象物が多い場合、ディスプレイに多くのアノテーションが表示され、ユーザの視界が遮られる。

　この発明は、上記のような課題を解決するためになされたもので、カメラの撮影画角が、ディスプレイの表示画角および人の視野より大きくても、カメラの撮影画角に収まっている全ての認識対象を表示することを目的とする。

　この発明に係る表示装置は、ユーザの眼前に配される透過型の表示部と、表示部の表示画角より大きい撮影画角で実世界を撮影する撮影部と、撮影部が撮影した実世界の映像の中から、付加情報を表示する対象を認識するＡＲ認識部と、現物重畳モードか映像重畳モードかを判定するモード判定部と、現物重畳モードの場合、ＡＲ認識部が認識した対象の付加情報を、表示部を透過した実世界に重畳表示させ、映像重畳モードの場合、ＡＲ認識部が認識した対象の付加情報を、撮影部が撮影した実世界の映像に重畳表示させる表示制御部とを備えるものである。

　この発明によれば、対象の付加情報を、表示部を透過した実世界に重畳表示させる現物重畳モードと、ＡＲ認識部が認識した対象の付加情報を、撮影部が撮影した実世界の映像に重畳表示させる映像重畳モードとを切り替え可能にしたので、撮影部の撮影画角が、表示部の表示画角および人の視野より大きくても、撮影部の撮影画角に収まっている全ての認識対象を表示することができる。これにより、ユーザは、表示部の表示画角内外にある全ての認識対象の位置関係が捉えやすくなり、現物重畳モードにおいて認識対象を探し回る必要がなくなる。

この発明の実施の形態１に係る表示装置の構成例を示すブロック図である。図２Ａおよび図２Ｂは、実施の形態１に係る表示装置のハードウェア構成例を示すハードウェア構成図である。実施の形態１に係る表示装置における現物重畳モードを説明する図である。実施の形態１に係る表示装置における映像重畳モードを説明する図である。実施の形態１に係る表示装置の動作を示すフローチャートである。図６Ａは、実施の形態１に係る表示装置における範囲算出部の動作を説明する図であり、図６Ｂ、図６Ｃおよび図６Ｄは、モードの切り替え例を説明する図である。図７Ａおよび図７Ｂは、実施の形態１に係る表示装置における表示制御部の傾き補正を説明する図である。実施の形態１に係る表示装置における現物重畳モードを説明する図であり、撮影画角が広い例を示す。実施の形態１に係る表示装置における映像重畳モードを説明する図であり、撮影画角が広い例を示す。

　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、この発明の実施の形態１に係る表示装置１の構成例を示すブロック図である。ここでは、表示装置１がスマートグラスであるものとして説明する。なお、表示装置１は、ユーザの身体に装着可能なウェアラブル端末であればよく、グラス形状に限定されるものではない。

　実施の形態１に係る表示装置１は、撮影部２、入力部３、認識対象登録部４、表示部５、および表示制御装置６を備えている。表示制御装置６は、ＡＲ認識部６１、モード判定部６２、範囲算出部６３、範囲判定部６４、および表示制御部６５を備えている。

　図２Ａおよび図２Ｂは、実施の形態１に係る表示装置１のハードウェア構成図の例である。
　表示装置１における撮影部２は、カメラ１０４である。カメラ１０４は、例えば、スマートグラスのフレーム部分等に設置され、ユーザの視点に近い位置から実世界の映像を撮影する。

　表示装置１における入力部３は、入力装置１０３またはセンサ１０６の少なくとも一方である。入力装置１０３は、スマートグラスのフレーム部分等に設置されたボタンであり、ユーザのボタン押下によるコマンド入力を受け付ける。または、入力装置１０３は、スマートグラス等に設置されたマイクと、このマイクを使用する音声認識装置とであり、ユーザの音声によるコマンド入力を受け付ける。
　センサ１０６は、例えば、スマートグラスに設置された加速度センサまたは傾きセンサ等であり、ユーザの頭部の動きを検出する。

　表示装置１における表示部５は、ディスプレイ１０５である。ディスプレイ１０５は、スマートグラスのレンズの一部または全部に設置され、ユーザがスマートグラスを装着したときにディスプレイ１０５が眼前に配される。このディスプレイ１０５は、透過型であり、ユーザは、ディスプレイ１０５に表示される情報と実世界とを同時に見渡すことができる。

　表示装置１における認識対象登録部４は、メモリ１０２である。
　なお、この認識対象登録部４および下記の表示制御装置６は、スマートグラスに設置されている構成でもよく、スマートグラスとは別体の装置として構成されていてもよい。別体の場合、別装置である認識対象登録部４および表示制御装置６と、スマートグラス上の撮影部２、入力部３および表示部５とは、無線通信または有線通信により情報の授受が可能であるものとする。

　表示装置１における表示制御装置６は、図２Ａに示すような、メモリ１０２に格納されているプログラムを実行するプロセッサ１０１、または図２Ｂに示すような、専用のハードウェアである処理回路１１１である。

　図２Ａに示すように、表示制御装置６がプロセッサ１０１である場合、ＡＲ認識部６１、モード判定部６２、範囲算出部６３、範囲判定部６４、および表示制御部６５の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ１０２に格納される。プロセッサ１０１は、メモリ１０２に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。即ち、表示制御装置６は、プロセッサ１０１により実行されるときに、後述する図５に示すステップが結果的に実行されることになるプログラムを格納するためのメモリ１０２を備える。また、このプログラムは、表示制御装置６の手順または方法をコンピュータに実行させるものであるともいえる。

　ここで、プロセッサ１０１とは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、またはＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）等のことである。
　メモリ１０２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、フラッシュメモリ、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等の光ディスクであってもよい。

　図２Ｂに示すように、表示装置１が専用のハードウェアである場合、処理回路１１１は、例えば単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。表示制御装置６の各部の機能を複数の処理回路１１１で実現してもよいし、各部の機能をまとめて１つの処理回路１１１で実現してもよい。

　なお、表示制御装置６の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、表示装置１における表示制御装置６は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって実現することができる。

　次に、実施の形態１に係る表示装置１における現物重畳モードと、映像重畳モードとを説明する。
　現物重畳モードとは、ＡＲの認識対象となる実世界の現物に関する付加情報が、表示部５に表示されることによって、表示部５を透過した実世界に付加情報が重畳表示されるモードである。現物重畳モードでは、ユーザは、表示部５を介して実世界を見渡すことができる。
　映像重畳モードとは、実世界を撮影した映像が表示部５に表示され、認識対象に関する付加情報が、この映像に重畳表示されるモードである。映像重畳モードでは、表示部５に表示される映像によりユーザの視界が覆われるため、ユーザは、表示部５を透過して実世界を見渡すことができない。

　図３は、現物重畳モードを説明する図である。
　ユーザ８は、表示装置１であるスマートグラスを装着している。図３において、実世界７１ｚは、ユーザ８の視野７１ｊ外も含めた実世界を表現している。視野範囲７１ｄは、ユーザ８の視野７１ｊと対応した、ユーザ８が肉眼で見ることができる範囲である。図３において、ユーザ８の視野７１ｊ内には３つの家が収まっている。よって、ユーザ８には、実世界７１ｚにある家７１ｐ，７１ｑ，７１ｒが、視野範囲７１ｄに家７１ａ，７１ｂ，７１ｃとして見えている。

　表示範囲７１ｅは、表示部５の表示画角７１ｉで表示できる範囲である。図３において、表示範囲７１ｅには１つの家が収まっている。つまり、実世界７１ｚにある家７１ｐが、表示範囲７１ｅに家７１ａとして収まっている。

　撮影画角７１ｋは、撮影部２の画角を表している。図３において、撮影画角７１ｋ内には５つの家が収まっている。つまり、撮影部２は、実世界７１ｚにある家７１ｐ，７１ｑ，７１ｒ，７１ｓ，７１ｔを撮影している。

　撮影部２が撮影している５つの家７１ｐ，７１ｑ，７１ｒ，７１ｓ，７１ｔは、ＡＲの認識対象であるものとする。これらの５つの家のうち、家７１ｐは、表示画角７１ｉに収まっており、表示範囲７１ｅには、実世界７１ｚの家７１ｐに対応した家７１ａに関する付加情報７１ｆが表示されている。付加情報７１ｆは、例えば、家７１ａを囲む丸印と、家７１ａの名称「ＨｏｕｓｅＡ」である。一方、表示画角７１ｉに収まらなかった４つの家７１ｑ，７１ｒ，７１ｓ，７１ｔについては、表示範囲７１ｅに簡略化された４つの付加情報７１ｇが表示されている。付加情報７１ｇは、付加情報７１ｆより簡略化された記号であり、表示範囲７１ｅにおいて実世界７１ｚの家７１ｑ，７１ｒ，７１ｓ，７１ｔの方向を表す位置に表示されている。図３の例では、表示範囲７１ｅの左端に２つの簡略化された付加情報７１ｇ、右端に２つの簡略化された付加情報７１ｇが表示され、ユーザ８の左側に２つの認識対象、左側に２つの認識対象が存在していることが表現されている。

　図４は、映像重畳モードを説明する図である。
　実世界７１ｚの構成は、図３と同様である。
　映像範囲７２ｙは、表示部５に表示している、撮影部２の映像の範囲である。図４において、実世界７１ｚにある５つの家７１ｐ，７１ｑ，７１ｒ，７１ｓ，７１ｔが、映像範囲７２ｙに家７２ａ，７２ｂ，７２ｃ，７２ｄ，７２ｅとして表示されている。

　表示範囲７２ｘは、表示部５の表示画角７１ｉで表示できる範囲であり、現物重畳モードの表示範囲７１ｅに相当する。表示部５の表示画角７１ｉより撮影部２の撮影画角７１ｋのほうが広いため、映像範囲７２ｙの中に表示範囲７２ｘが内包された状態となる。
　表示装置１のモードを、映像重畳モードから現物重畳モードに切り替えると、映像重畳モードの表示範囲７２ｘは、現物重畳モードの表示範囲７１ｅに等しくなる。
　なお、表示部５は、表示範囲７２ｘに相当する枠を表示してもよい。この枠の形状は、表示範囲７２ｘの形状に相当する形状であればよく、図４では矩形枠である。

　現物重畳モードと同様に、映像重畳モードにおいても、撮影部２が撮影している５つの家７１ｐ，７１ｑ，７１ｒ，７１ｓ，７１ｔは、ＡＲの認識対象である。映像重畳モードにおいて、映像範囲７２ｙには、これらの５つの家７２ａ，７２ｂ，７２ｃ，７２ｄ，７２ｅに関する付加情報７２ｇが表示されている。付加情報７２ｇは、例えば、家を囲む丸印である。さらに、表示部５の表示画角７１ｉに表示できる範囲である表示範囲７２ｘのうち、中心に最も近い家７２ａに対し、この家７２ａの映像を拡大した付加情報７２ｆが表示されている。

　次に、図５のフローチャートを用いて、表示装置１の動作を説明する。
　ステップＳＴ１において、ＡＲ認識部６１は、撮影部２が撮影した実世界の映像の中から、付加情報を表示する対象を認識する。具体的には、ＡＲ認識部６１は、認識対象登録部４に登録されている情報を用いて、撮影部２が撮影した映像の中から情報に一致する対象を認識する。対象の認識方法は、周知の技術を用いて行えばよいため、説明を省略する。
　図３の例では、認識対象登録部４に家を認識するための情報が登録してあり、ＡＲ認識部６１は、その情報を用いて、撮影部２の撮影画角７１ｋに収まっている５つの家７１ｐ，７１ｑ，７１ｒ，７１ｓ，７１ｔを認識する。
　ＡＲ認識部６１は、認識した対象の情報を、モード判定部６２および範囲判定部６４へ出力する。撮影部２が撮影した映像は、ＡＲ認識部６１および範囲判定部６４を経由して、表示制御部６５へ入力される。

　ステップＳＴ２において、モード判定部６２は、現物重畳モードか映像重畳モードかを判定する。モード判定部６２は、モードの判定結果を、範囲算出部６３および範囲判定部６４へ出力する。また、モード判定部６２は、ＡＲ認識部６１が認識した対象の情報を、範囲算出部６３へ出力する。

　モードは、例えば、入力部３からの信号によって決まる。モード判定部６２は、加速度センサまたは傾きセンサ等、センサ１０６の信号を用いて頭部の動きを算出し、算出した頭部の動きに基づいてユーザが何かを探している状態であると推定した場合に映像重畳モードと判定する。一方、モード判定部６２は、算出した頭部の動きに基づいてユーザが何かを注視している状態であると推定した場合に現物重畳モードと判定する。または、モード判定部６２は、音声認識によるコマンド入力またはボタン押下によるコマンド入力等、入力装置１０３の信号を用いて、モードを切り替えてもよい。
　あるいは、モードは、ＡＲ認識部６１からの認識した対象の情報によって決まってもよい。モード判定部６２は、表示部５の表示画角で表示できる表示範囲７２ｘ内に対象が存在する場合、もしくは、ＡＲ認識部６１で何も認識できなかった場合に現物重畳モードと判定し、ＡＲ認識部６１で少なくとも１つの対象を認識し、かつ、表示部５の表示画角で表示できる表示範囲７２ｘ外に対象が存在する場合に映像重畳モードと判定する。

　ステップＳＴ３において、表示制御装置６は、現物重畳モードと判定した場合（ステップＳＴ３“ＹＥＳ”）、ステップＳＴ４へ進み、映像重畳モードと判定した場合（ステップＳＴ３“ＮＯ”）、ステップＳＴ７へ進む。ステップＳＴ４～ＳＴ６では、現物重畳モードとして、図３に示したように、ＡＲ認識部６１が認識した対象の付加情報が、表示部５を透過した実世界に重畳表示されることになる。他方、ステップＳＴ７～ＳＴ１１では、映像重畳モードとして、図４に示したように、ＡＲ認識部６１が認識した対象の付加情報が、撮影部２が撮影した実世界の映像に重畳表示されることになる。

　以下では、ステップＳＴ４～ＳＴ６の現物重畳モードおよびステップＳＴ７～ＳＴ１１の映像重畳モードのより詳細な例として、認識された対象がどの位置に存在するかによって付加情報の表示様態を変更する動作を説明する。

　ステップＳＴ４において、範囲判定部６４は、ＡＲ認識部６１が認識した対象が、表示部５の表示画角で表示できる範囲内に位置するか否かを判定する。範囲判定部６４は、各々の対象に対してこの判定を行い、判定結果を表示制御部６５へ出力する。

　表示制御部６５は、現物重畳モードの場合、範囲判定部６４の判定結果に基づき、対象が、表示部５の表示画角で表示できる範囲内に位置する場合と位置しない場合とで、対象の付加情報の表示様態を変更する。具体的には、表示制御部６５は、範囲判定部６４の判定結果に基づき、表示部５の表示画角で表示できる範囲内に位置する対象について（ステップＳＴ４“ＹＥＳ”）、ステップＳＴ５の処理を行う。一方、表示制御部６５は、表示部５の表示画角で表示できる範囲内に位置しない対象について（ステップＳＴ４“ＮＯ”）、ステップＳＴ６の処理を行う。

　ステップＳＴ５において、表示制御部６５は、表示部５の表示画角で表示できる範囲内に位置する対象に対して、詳細な付加情報を表示させるよう、表示部５の表示を制御する。
　図３の例では、表示部５の表示画角７１ｉで表示できる表示範囲７１ｅ内に位置する家７１ａに対して、丸印と吹き出しによる家の名称とが、詳細な付加情報７１ｆとして表示される。

　ステップＳＴ６において、表示制御部６５は、表示部５の表示画角で表示できる範囲内に位置していない対象に対して、簡略化した付加情報を表示させるよう、表示部５の表示を制御する。
　図３の例では、表示部５の表示画角７１ｉで表示できる表示範囲７１ｅ外に位置する家７１ｑ，７１ｒ，７１ｓ，７１ｔの方向に、丸記号が、簡略化した付加情報７１ｇとして表示される。

　なお、現物重畳モードにおける付加情報７１ｆ，７１ｇは、図３に示した情報に限定されるものではなく、認識対象に関する情報であれば何でもよい。表示制御部６５は、例えば、認識対象登録部４に登録されている情報を用いて、付加情報７１ｆ，７１ｇを生成する。

　ステップＳＴ７において、モード判定部６２は、映像重畳モードであることを範囲算出部６３へ通知する。範囲算出部６３は、映像重畳モードにおいて表示部５の表示画角で表示できる範囲を算出する。具体的には、範囲算出部６３は、以下の式（１）を用いて、表示部５の表示画角で表示できる表示範囲Ｗ２を算出する。また、図６Ａは、範囲算出部６３の動作を説明する図である。
　範囲算出部６３は、式（１）を用いて算出した、表示部５の表示画角で表示できる範囲の情報を、範囲判定部６４および表示制御部６５へ出力する。

　　Ｗ２＝α／β×Ｗ１　　　（１）
　ここで、Ｗ１は、撮影部２の撮影画角βで撮影できる映像範囲７２ｙであり、Ｗ２は、表示部５の表示画角αで表示できる表示範囲７２ｘである。Ｗ２、つまり図４に示した映像重畳モードにおける表示範囲７２ｘに収まる風景は、図３に示した現物重畳モードにおける表示範囲７１ｅに収まる風景と同じである。

　なお、範囲判定部６４に対して予めＷ２の値を登録しておく場合には、表示制御装置６が範囲算出部６３を備える必要はなく、ステップＳＴ７の処理もスキップする。

　ステップＳＴ８において、表示制御部６５は、撮影部２が撮影した実世界の映像を、表示部５に表示させる。なお、表示制御部６５は、撮影部２が撮影した実世界の映像上に、表示範囲７２ｘに相当する矩形枠を重畳させた映像を、表示部５に表示させてもよい。表示部５の表示画角で表示できる表示範囲７２ｘに相当する矩形枠を表示することで、映像重畳モードから現物重畳モードへの切り替え前に、どの範囲が現物重畳モードで見える範囲であるかが明確になる。

　このとき、表示制御部６５は、現物重畳モードと映像重畳モードとを切り替える際、映像重畳モードにおいて表示部５に表示させる映像をズームアウトまたはズームインして、現物重畳モードにおいて表示部５の表示画角で表示できる範囲に一致させるようにしてもよい。この動作例を、図６Ｂ、図６Ｃおよび図６Ｄを用いて説明する。図６Ｂは現物重畳モード、図６Ｃは現物重畳モードと映像重畳モードとの切り替え途中、図６Ｄは映像重畳モードを示す。
　具体的には、現物重畳モードから映像重畳モードへ切り替える際、まず、表示制御部６５は、範囲算出部６３からの範囲の情報を用いて、撮影部２が撮影した実世界の映像のうちの、表示部５の表示画角で表示できる範囲の映像を表示部５に表示させる。続いて表示制御部６５は、表示中の映像を徐々にズームアウトさせていき、最終的に、撮影部２が撮影した実世界の映像全体を表示部５に表示させる。これにより、現物重畳モードから映像重畳モードへの切り替わりが滑らかになり、表示部５の表示画角内外の認識対象の位置関係を容易に把握可能となる。

　反対に、映像重畳モードから現物重畳モードへ切り替える際、表示制御部６５は、表示部５に表示させている実世界の映像を消す制御を行う。そのとき、表示制御部６５は、範囲算出部６３からの範囲の情報を用いて、表示部５に表示させている実世界の映像を徐々にズームインさせていく。そして表示制御部６５は、最終的に、撮影部２が撮影した実世界の映像のうちの、表示部５の表示画角で表示できる範囲の映像を表示部５に表示させた後、映像を消す。これにより、映像重畳モードから現物重畳モードへ切り替わった際、ユーザ８が注視している対象が円滑に現物に変化する。

　ステップＳＴ９において、範囲判定部６４は、ＡＲ認識部６１が認識した対象が、表示部５の表示画角で表示できる範囲内に位置するか否かを判定する。範囲判定部６４は、各々の対象に対してこの判定を行い、判定結果を表示制御部６５へ出力する。

　表示制御部６５は、現物重畳モードと同様に、映像重畳モードの場合も、範囲判定部６４の判定結果に基づき、対象が、表示部５の表示画角で表示できる範囲内に位置する場合と位置しない場合とで、対象の付加情報の表示様態を変更する。具体的には、表示制御部６５は、範囲判定部６４の判定結果に基づき、表示部５の表示画角で表示できる範囲内に位置する対象について（ステップＳＴ９“ＹＥＳ”）、ステップＳＴ１０の処理を行う。一方、表示制御部６５は、表示部５の表示画角で表示できる範囲内に位置しない対象について（ステップＳＴ９“ＮＯ”）、ステップＳＴ１１の処理を行う。

　ステップＳＴ１０において、表示制御部６５は、表示部５の表示画角で表示できる範囲内に位置する対象のうち、その範囲の中心に最も近い対象に対して、この対象の映像を抽出し拡大した付加情報を表示させるよう、表示部５の表示を制御する。
　図４の例では、表示部５の表示画角７１ｉで表示できる表示範囲７２ｘの中心に最も近い家７２ａに対して、この家７２ａの映像を拡大した吹き出しが、付加情報７２ｆとして表示される。

　なお、表示制御部６５は、ステップＳＴ１０において吹き出し状の付加情報７２ｆを表示させる際に、傾き補正を行ってもよい。図７Ａおよび図７Ｂに、表示制御部６５の傾き補正を説明する図を示す。表示制御部６５は、入力部３であるセンサ１０６からの信号に基づいて、ユーザ８の頭部の傾き角度θを算出する。そして、表示制御部６５は、撮影部２が撮影した実世界の映像の中から対象の映像を切り出して吹き出し状の付加情報７２ｆを生成し、さらにその付加情報７２ｆを角度－θだけ回転させることによって傾き補正し、表示部５に表示させる。吹き出し内の対象の傾き角度が実世界の対象の傾き角度に一致することにより、映像重畳モードから現物重畳モードへ切り替わった際、ユーザ８が注視している対象が円滑に現物に変化する。

　ステップＳＴ１１において、表示制御部６５は、表示部５の表示画角で表示できる範囲内に位置していない対象に対して、付加情報を表示させるよう、表示部５の表示を制御する。
　図４の例では、表示部５の表示画角７１ｉで表示できる表示範囲７２ｘ外に位置する家７２ｂ，７２ｃ，７２ｄ，７２ｅに対して、これらの家を囲む丸印が、付加情報７２ｇとして表示される。なお、図４の例では、表示範囲７２ｘ内に位置する家７２ａに対しても、丸印が付加情報７２ｇとして表示されている。

　なお、映像重畳モードにおける付加情報７２ｆ，７２ｇは、図４に示した情報に限定されるものではなく、認識対象に関する情報であれば何でもよい。表示制御部６５は、例えば、認識対象登録部４に登録されている情報を用いて、付加情報７２ｆ，７２ｇを生成する。

　このように、実施の形態１に係る表示装置１は、ユーザの眼前に配される透過型の表示部５と、表示部５の表示画角より大きい撮影画角で実世界を撮影する撮影部２と、撮影部２が撮影した実世界の映像の中から、付加情報を表示する対象を認識するＡＲ認識部６１と、現物重畳モードか映像重畳モードかを判定するモード判定部６２と、現物重畳モードの場合、ＡＲ認識部６１が認識した対象の付加情報を、表示部５を透過した実世界に重畳表示させ、映像重畳モードの場合、ＡＲ認識部６１が認識した対象の付加情報を、撮影部２が撮影した実世界の映像に重畳表示させる表示制御部６５とを備える構成である。この構成により、撮影部２の撮影画角が、表示部５の表示画角およびユーザの視野より大きくても、現物重畳モードと映像重畳モードとを切り替えることで、撮影部２の撮影画角に収まっている全ての認識対象を表示することができる。その結果、ユーザは、表示部５の表示画角内外にある全ての認識対象の位置関係が捉えやすくなり、現物重畳モードにおいて認識対象を探し回る必要がなくなる。

　上記説明では、１台のカメラを撮影部２として用いる構成を説明したが、複数台のカメラを撮影部２として用いる構成であってもよい。ここで、図８は、３台のカメラを撮影部２として用いた場合の現物重畳モードを説明する図である。図９は、３台のカメラを撮影部２として用いた場合の映像重畳モードを説明する図である。複数台のカメラを用いることにより撮影画角７１ｋが広がり、より多くの対象が認識可能となる。そのため、現物重畳モードにおいて、図３に比べて図８の方が、表示画角外にある認識対象の存在を示す付加情報７１ｇの表示数が多い。映像重畳モードにおいて、図４に比べて図９の方が、付加情報７２ｇが付与される認識対象の数が多い。このように、表示部５の表示画角に比べて撮影部２の撮影画角が極端に広い場合でも、実施の形態１に係る表示制御方法を用いると、全体像を捉えつつ、現物確認が容易になる。

　また、実施の形態１に係る表示装置１における表示制御部６５は、現物重畳モードおよび映像重畳モードにおいて、ＡＲ認識部６１が認識した対象が、表示部５の表示画角で表示できる範囲内に位置する場合と当該範囲外に位置する場合とで、付加情報の表示様態を変更する構成である。この構成により、表示部５の表示画角内の認識対象と表示画角外の認識対象とを区別して表示することができる。
　なお、実施の形態１では、現物重畳モードおよび映像重畳モードの両方において付加情報の表示様態を変更する構成にしたが、現物重畳モードまたは映像重畳モードのいずれか一方のみにおいて付加情報の表示様態を変更する構成にしてもよい。

　また、実施の形態１に係る表示装置１における表示制御部６５は、現物重畳モードと映像重畳モードとを切り替える際、映像重畳モードにおいて表示部５に表示させる映像をズームアウトまたはズームインして、現物重畳モードにおいて表示部５の表示画角で表示できる範囲に一致させる構成である。この構成により、現物重畳モードと映像重畳モードとが滑らかに切り替わるようになり、モード切り替え時にユーザが認識対象を探し回る必要がない。

　また、実施の形態１に係る表示装置１における表示制御部６５は、映像重畳モードの場合、表示部５の表示画角で表示できる範囲内の中心に最も近い対象の映像を、撮影部２が撮影した実世界の映像から抽出し拡大表示する構成である。この構成により、表示部５に表示された対象が小さく見にくい場合でも、現物確認が容易になる。

　また、実施の形態１に係る表示装置１における表示制御部６５は、映像重畳モードの場合、表示部５の表示画角で表示できる範囲に相当する枠を、撮影部２が撮影した実世界の映像に重畳表示させる構成である。この構成により、映像重畳モードから現物重畳モードへの切り替え前に、どの範囲が現物重畳モードで見える範囲であるかが明確になる。

　なお、本発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、または実施の形態の任意の構成要素の省略が可能である。

　この発明に係る表示装置は、カメラで捉えている全てのＡＲの認識対象をディスプレイに表示するようにしたので、スマートグラスなどの表示装置に用いるのに適している。

　１　表示装置、２　撮影部、３　入力部、４　認識対象登録部、５　表示部、６　表示制御装置、８　ユーザ、６１　ＡＲ認識部、６２　モード判定部、６３　範囲算出部、６４　範囲判定部、６５　表示制御部、７１ａ～７１ｃ，７１ｐ～７１ｔ，７２ａ～７２ｅ　家、７１ｄ　視野範囲、７１ｅ，７２ｘ　表示範囲、７１ｆ，７１ｇ，７２ｆ，７２ｇ　付加情報、７１ｉ　表示画角、７１ｊ　視野、７１ｋ　撮影画角、７１ｚ　実世界、７２ｙ　映像範囲、１０１　プロセッサ、１０２　メモリ、１０３　入力装置、１０４　カメラ、１０５　ディスプレイ、１０６　センサ、１１１　処理回路。

Claims

　ユーザの眼前に配される透過型の表示部と、
　前記表示部の表示画角より大きい撮影画角で実世界を撮影する撮影部と、
　前記撮影部が撮影した前記実世界の映像の中から、付加情報を表示する対象を認識するＡＲ認識部と、
　現物重畳モードか映像重畳モードかを判定するモード判定部と、
　前記現物重畳モードの場合、前記ＡＲ認識部が認識した前記対象の付加情報を、前記表示部を透過した前記実世界に重畳表示させ、前記映像重畳モードの場合、前記ＡＲ認識部が認識した前記対象の付加情報を、前記撮影部が撮影した前記実世界の映像に重畳表示させる表示制御部とを備える表示装置。
　前記表示制御部は、前記現物重畳モードまたは前記映像重畳モードの少なくとも一方において、前記ＡＲ認識部が認識した前記対象が、前記表示部の表示画角で表示できる範囲内に位置する場合と当該範囲外に位置する場合とで、付加情報の表示様態を変更することを特徴とする請求項１記載の表示装置。
　前記表示制御部は、前記現物重畳モードと前記映像重畳モードとを切り替える際、前記映像重畳モードにおいて前記表示部に表示させる映像をズームアウトまたはズームインして、前記現物重畳モードにおいて前記表示部の表示画角で表示できる範囲に一致させることを特徴とする請求項１記載の表示装置。
　前記表示制御部は、前記映像重畳モードの場合、前記表示部の表示画角で表示できる範囲内の中心に最も近い対象の映像を、前記撮影部が撮影した前記実世界の映像から抽出し拡大表示することを特徴とする請求項１記載の表示装置。
　前記表示制御部は、前記映像重畳モードの場合、前記表示部の表示画角で表示できる範囲に相当する枠を、前記撮像部が撮影した前記実世界の映像に重畳表示させることを特徴とする請求項１記載の表示装置。
　ユーザの眼前に配される透過型の表示部および実世界を撮影する撮影部を備える表示装置の表示を制御する表示制御装置であって、
　前記撮影部が撮影した前記実世界の映像の中から、付加情報を表示する対象を認識するＡＲ認識部と、
　現物重畳モードか映像重畳モードかを判定するモード判定部と、
　前記現物重畳モードの場合、前記ＡＲ認識部が認識した前記対象の付加情報を、前記表示部を透過した前記実世界に重畳表示させ、前記映像重畳モードの場合、前記ＡＲ認識部が認識した前記対象の付加情報を、前記撮影部が撮影した前記実世界の映像に重畳表示させる表示制御部とを備えることを特徴とする表示制御装置。
　ユーザの眼前に配される透過型の表示部および実世界を撮影する撮影部を備える表示装置の表示を制御する表示制御方法であって、
　ＡＲ認識部が、前記撮影部が撮影した前記実世界の映像の中から、付加情報を表示する対象を認識するステップと、
　モード判定部が、現物重畳モードか映像重畳モードかを判定するステップと、
　表示制御部が、前記現物重畳モードの場合、前記ＡＲ認識部が認識した前記対象の付加情報を、前記表示部を透過した前記実世界に重畳表示させ、前記映像重畳モードの場合、前記ＡＲ認識部が認識した前記対象の付加情報を、前記撮影部が撮影した前記実世界の映像に重畳表示させるステップとを備えることを特徴とする表示制御方法。