JP6673567B2 - 情報表示装置、情報表示システム及び情報表示方法 - Google Patents

Description

本発明は、情報表示装置、情報表示システム及び情報表示方法に関する。

近年、カーナビゲーション装置等の電子機器は、多機能化、高機能化が進展し、その操作手法は増々複雑化している。例えば、操作画面が階層化され、所望の操作画面に到るには、複数回に渡る操作を必要とする。さらに、タッチパネル等の採用により、物理的なボタンに制約されず、様々な態様で操作が行われるようになっている。このような電子機器において、操作に習熟していない利用者は、所望の操作を容易に行うことができない。

このため、利用者の所持する携帯端末に電子機器の操作マニュアルを表示させ、所望の機能が選択された場合に、当該機能を実現するための操作手順に従って複数のコマンドを間欠的に電子機器へ送信することにより、電子機器の状態を操作手順に従って遷移させる技術が提案されている（特許文献１）。これにより、所望の操作が達成されると共に、どのような操作手順を経て実行されるのかを利用者が認識できるようにしている。

特開２０１５−６９４２８号公報 特開２０１４−６１４７号公報

前述のように操作対象の電子機器とは別の携帯端末に操作マニュアルを表示させる方式では、利用者が携帯端末に対して入力を行い、携帯端末から電子機器へコマンドを送信して操作を実行することになるので、利用者が操作を直感的に把握しにくいという問題があった。

そこで、処理対象の物体と当該物体に関する情報とを重ねて表示する技術、いわゆる拡張現実（ＡＲ： Augmented Reality）の技術を用いて、電子機器に関する操作手順等の情報を表示することも考えられる。

例えば、特許文献２には、利用者の視界内に含まれる実空間上の施設に関する情報を、当該実空間の風景と重ねて表示する拡張現実システムが開示されている。

しかしながら、対象の電子機器と情報とを重ねて表示したのでは、電子機器の視認性が悪くなり、電子機器に対する操作がしにくいという問題が生じてしまう。

そこで本発明は、対象物体の視認性を損なうことなく、対象物体に関する情報を利用者の視界内に表示する技術の提供を課題とする。

本発明の情報表示装置は、上述した課題を解決するため、
利用者の視界に対応した撮像画像を取得する撮像部と、
前記撮像画像から、処理対象とする対象物体を認識する認識部と、
前記撮像画像から、前記対象物体の輪郭を抽出する輪郭抽出部と、
前記対象物体に関する関連情報を記憶部から取得する関連情報取得部と、
前記利用者の視界と重畳させて情報を表示させる表示部と、
前記利用者の視界内であって、前記対象物体の輪郭より外側となるように前記表示部に前記関連情報を表示させる表示制御部とを備える。

また、本発明の情報表示システムは、上述した課題を解決するため、
情報表示装置と、前記情報表示装置と通信可能なサーバ装置とを含み、
前記情報表示装置が、
利用者の視界に対応した撮像画像を取得する撮像部と、
前記撮像画像から、処理対象とする対象物体を認識する認識部と、
前記撮像画像から、前記対象物体の輪郭を抽出する輪郭抽出部と、
前記対象物体に関する関連情報を記憶部から取得する関連情報取得部と、
前記利用者の視界と重畳させて情報を表示させる表示部と、
前記利用者の視界内であって、前記対象物体の輪郭より外側となるように前記表示部に前記関連情報を表示させる表示制御部と、を備え、
前記サーバ装置が、
前記関連情報取得部から前記関連情報の要求を受信する要求受信部と、
前記要求に応じた前記関連情報を前記記憶部から読み出して前記情報表示装置へ送信する情報送信部と、を備える。

また、本発明の情報表示方法は、上述した課題を解決するため、
利用者の視界に対応した撮像画像を撮像部によって取得するステップと、
前記撮像画像から、処理対象とする対象物体を認識するステップと、
前記撮像画像から、前記対象物体の輪郭を抽出する輪郭抽出部と、
前記対象物体に関する関連情報を記憶部から取得するステップと、
前記利用者の視界と重畳させて情報を表示させる表示部に対し、前記利用者の視界内であって、前記対象物体の輪郭より外側となるように前記関連情報を表示させるステップと、
をコンピュータが実行する。

なお、本発明は、上述したコンピュータで実行される処理を実現させるプログラムであってもよい。更に、本発明は、そのようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この場合、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行することにより、その機能を提供させることができる。なお、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、又は化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。

本発明によれば、対象物体の視認性を損なうことなく、対象物体に関する情報を利用者の視界内に表示する技術を提供することができる。

図１は、情報表示装置及び管理サーバを有した情報表示システムの概略構成を示す図である。 図２は、情報表示装置の構成を示す図である。 図３は、処理部の機能ブロック図である。 図４は、処理部のハードウェア構成を示す図である。 図５は、管理サーバの機能ブロック図である。 図６は、管理サーバのハードウェア構成を示す図である。 図７は、車載機器の構成を示す。 図８は、情報表示方法の処理手順を示す図である。 図９は、撮像画像の例を示す図である。 図１０は、表示領域の例を示す図である。 図１１は、車載機器の状態を情報表示装置から管理サーバへ送信する例を示す図である。 図１２は、管理サーバが、車載機器の状態を判別する処理手順を示す図である。 図１３は、選択された言語で表示する処理の例を示す図である。 図１４は、車載機器について吹き出しにより関連情報を表示した例を示す図である。 図１５は、ＡＶ機能の実行時に再生している歌の歌詞を関連情報として表示する例を示す図である。 図１６は、関連情報として車載機器の説明を行う動画像を表示する例を示す図である。 図１７は、車載機器の表示部に表示されている以外の画面を関連情報として表示した例を示す図である。 図１８は、関連情報の操作例を示す図である。 図１９は、車載機器の表示を補う画面を関連情報として表示する例を示す図である。 図２０は、車載機器を三次元的に拡張して表示した例を示す図である。

以下、図面を参照して本発明の実施形態について説明する。以下の実施形態の構成は例示であり、本発明は実施形態の構成に限定されない。
＜１．システム構成＞
図１は、本実施形態における情報表示装置１及び管理サーバ３を有した情報表示システム１０の概略構成を示す図である。情報表示装置１は、利用者の頭部に装着する表示装置、いわゆるヘッドマウントディスプレイ（ＨＭＤ）である。管理サーバ３は、ネットワークを介して情報表示装置１と通信可能なコンピュータであり、様々な対象物体に関する関連情報を記憶部に記憶し、通信回線４を介して情報表示装置１へ提供する。管理サーバ３は、本実施形態におけるサーバ装置の一形態である。

対象物体は、特に限定されるものではないが、本実施形態では、車載機器２の例を示している。車載機器２は、車両に搭載される電子装置であり、例えば、カーナビゲーション装置、カーオーディオ装置、エアコンの操作部、自動運転の設定部等、又はこれらを組み合わせた装置である。

情報表示システム１０では、情報表示装置１が対象物体に関する関連情報を管理サーバ３から取得し、実空間の風景に前記関連情報を重畳して表示する拡張現実（ＡＲ：Augmented Reality）システムである。本実施形態の情報表示システム１０では、対象物体に関
する関連情報を当該対象物体の外側に表示することにより、対象物体の視認性を損なうことなく、対象物体に関する情報を利用者に提示でき、拡張現実感が得られるようにしている。

＜２．装置構成＞
次に、情報表示装置１、車載機器２、管理サーバ３の構成について、詳細に説明する。まず、情報表示装置１の構成を説明する。図２は、情報表示装置１の構成を示す図であり、図２（ａ）は情報表示装置１の正面図、図２（ｂ）は情報表示装置１を向かって左側から見た側面図、図２（ｃ）は情報表示装置１の一部を切り欠いて表示部の断面を示した図である。

情報表示装置１は、当該情報表示装置１を利用者の頭部に装着する装着部１０１と、利用者の視界に対応した撮像画像を取得する撮像部１０２と、利用者の視界と重畳させて情報を表示させる表示部１０３と、スピーカ１０４と、当該表示部１０３に表示させる情報やスピーカから出力させる情報を処理する処理部１０５と、を備えている。

装着部１０１は、本実施形態の情報表示装置１を利用者の頭部に装着させる環状の部材であり、長さ調整部１１１を備えている。情報表示装置１を頭部に装着するには、まず、長さ調整部１１１を緩めた状態で利用者が情報表示装置１を頭にかぶり、長さ調整部１１１を締めて、利用者の眼の直前に表示部１０３が位置するように固定する。

情報表示装置１を正面側から見て右側、即ち利用者の左目側には左撮像部１０２Ｌが備えられ、情報表示装置１を正面側から見て左側、即ち利用者の右目側には右撮像部１０２Ｒが備えられ、この左撮像部１０２Ｌと右撮像部１０２Ｒが撮像部１０２を構成している。

右撮像部１０２Ｒは、図２（ｂ）に示したように撮像光学系１２１Ｒと、撮像センサー１２２Ｒとを備えている。なお、左撮像部１０２Ｌについても右撮像部１０２Ｒと同様に撮像光学系１２１Ｌと、撮像センサー１２２Ｌとを備え、右撮像部１０２Ｒと左右対称となっているため図示を省略し、左右対称の部材に括弧書きで撮像光学系１２１Ｌ，撮像センサー１２２Ｌの符号を付している。

撮像部１０２は、撮像光学系１２１Ｌ，１２１Ｒが、撮像センサー１２２Ｌ，１２２Ｒの受光面上に被写体像を形成し、この被写体像を撮像センサー１２２Ｌ，１２２Ｒが光電変換して撮像画像とする、即ち撮像を行う。本実施形態の撮像部１０２は、情報表示装置１を頭部に装着した利用者の頭部が向く方向と略同方向を撮像する、換言すると、利用者の視界に相当する範囲を撮像範囲とする。

また、情報表示装置１を正面側から見て右側、即ち利用者の左目側には左表示部１０３Ｌが備えられ、情報表示装置１を正面側から見て左側、即ち利用者の右目側には右表示部１０３Ｒが備えられ、この左表示部１０３Ｌと右表示部１０３Ｒが表示部１０３を構成している。

右表示部１０３Ｒは、図２（ｃ）に示したように反射部材１３０Ｒと、結像光学系１３１Ｒと、ディスプレイ１３２Ｒとを備えている。なお、左表示部１０３Ｌについても右表示部１０３Ｒと同様に反射部材１３０Ｌと、結像光学系１３１Ｌと、ディスプレイ１３２Ｌとを備え、右表示部１０３Ｒと左右対称となっているため図示を省略し、左右対称の部材に括弧書きで反射部材１３０Ｌ、結像光学系１３１Ｌ、ディスプレイ１３２Ｌの符号を付している。

反射部材１３０Ｌ，１３０Ｒは、ディスプレイ１３２Ｌ，１３２Ｒからの光束を利用者の眼へ導光する光学部材であり、本実施形態では、利用者側（観察側）に向かって凹面状に湾曲したミラーである。反射部材１３０Ｌ，１３０Ｒは、ディスプレイ１３２Ｌ，１３２Ｒからの光束を利用者の眼へ導光できれば、ミラーに限らず、プリズムや、これらの組み合わせであっても良い。なお、反射部材１３０Ｌ，１３０Ｒは凹面に限らず、平面であっても良い。

結像光学系１３１Ｌ，１３１Ｒは、ディスプレイ１３２Ｌ，１３２Ｒに表示した情報の像を形成し、利用者の眼で観察できるように、焦点距離を調整するレンズ等の光学部材である。本実施形態では、反射部材１３０Ｌ，１３０Ｒが凹面鏡であり、ディスプレイ１３
２Ｌ，１３２Ｒからの光束を集光させるため、結像光学系１３１Ｌ，１３１Ｒは、この反射部材１３０Ｌ，１３０Ｒによる集光作用や利用者の眼による集光作用も含めて、ディスプレイ１３２Ｌ，１３２Ｒに表示した情報の像が利用者の眼の網膜上に形成されるように焦点距離を調整する。

ディスプレイ１３２Ｌ，１３２Ｒは、処理部１０５から入力される映像信号（電気信号）に基づいて画像を表示する素子であり、例えば、液晶ディスプレイ、プラズマディスプレイ、ＥＬディスプレイ等である。

表示部１０３は、ディスプレイ１３２Ｌ，１３２Ｒに情報を表示し、この表示に伴うディスプレイ１３２Ｌ，１３２Ｒからの光が結像光学系１３１Ｌ，１３１Ｒを介して、反射部材１３０Ｌ，１３０Ｒで反射され、利用者の眼に導光されて利用者の網膜上にディスプレイ１３２Ｌ，１３２Ｒに表示した情報の像を形成させる。このように利用者の眼に前方から入射した光によって前記情報の像が形成されるため、利用者は、前記情報を前方に存在する被写体のように視認できる。

本実施形態の表示部１０３は、実空間の光景と対象物体に関する関連情報とを重畳して表示する。ここで、実空間の光景と関連情報とを重畳する方式としては、ビデオシースルー方式とグラスシースルー方式がある。ビデオシースルー方式は、電気的に重畳する方式であり、画像処理によって、撮像部１０２で撮像した実空間の撮像画像に関連情報を合成し、合成した画像をディスプレイ１３２Ｌ，１３２Ｒに表示し、利用者が、この合成した画像を視認できるようにする。グラスシースルー方式は、反射部材１３０Ｌ，１３０Ｒをハーフミラーとして、利用者前方の実空間からの光が反射部材１３０Ｌ，１３０Ｒを透過して利用者の眼に達するとともに、ディスプレイ１３２Ｌ，１３２Ｒに関連情報を表示し、このディスプレイ１３２Ｌ，１３２Ｒからの光が、反射部材１３０Ｌ，１３０Ｒで反射されて利用者の眼視導光される。これにより実空間からの光とディスプレイ１３２Ｌ，１３２Ｒからの光が反射部材１３０Ｌ，１３０Ｒの位置で合成され、実空間の光景と関連情報とが光学的に重畳される。

スピーカ１０４は、関連情報に含まれる音情報に基づいて、音声メッセージや、警告音、ＢＧＭなどの音を出力する音出力部の一形態である。音出力部はイヤホンであっても良い。

図３は、処理部１０５の機能ブロック図である。処理部１０５は、認識部５１や、輪郭抽出部５２、関連情報取得部５３、表示制御部５４、状態取得部５５、言語受付部５６、操作検出部５７、操作実行部５８を有している。

認識部５１は、撮像画像から、処理対象とする対象物体を認識する。例えば、撮像部１０２による撮像画像を管理サーバ３へ送信し、この撮像画像から管理サーバ３が対象物体を画像認識し、認識部５１は、管理サーバ３の認識結果に基づいて対象物体を認識する。なお、具体的な認識の処理については後述する。

輪郭抽出部５２は、撮像画像から、対象物体の輪郭を抽出する。例えば、撮像画像のうち、認識部５１で認識した対象物体の部分において、色が閾値以上に変化する箇所を輪郭（エッジ）として抽出し、この対象装置の最も外側の部分、即ち背景との境界を対象装置の輪郭として抽出する。なお、対象装置の最も外側の輪郭だけでなく、操作ボタンの輪郭やディスプレイの輪郭など、特定の部位の輪郭を抽出しても良い。また、輪郭の抽出は、ソーベルフィルタやラプラスフィルタ等の公知の処理を用いても良い。

関連情報取得部５３は、対象物体に関する関連情報を管理サーバ３の記憶部から取得す
る。なお、この関連情報の取得は、管理サーバ３の記憶部に限らず、処理部１０５の記憶部や対象物体の記憶部、その他の記憶部から取得しても良い。

表示制御部５４は、利用者の視界内であって、対象物体の輪郭より外側に関連情報が表示されるように映像データを生成し、表示部１０３に表示させる。

状態取得部５５は、対象物体の状態を示す情報を取得する。対象物体の状態は、例えば、利用者の操作によって選択された状態や、利用者による操作の契機となる状態である。具体的には、対象物体が電子機器の場合、実行中の機能や、設定情報、エラー情報等である。

言語受付部５６は、表示部１０３に表示する関連情報やスピーカ１０４から出力する関連情報の言語の指定を受け付ける。

操作検出部５７は、関連情報に対する選択や移動、拡大、縮小などの操作を検出する。

操作実行部５８は、操作検出部５７により関連情報に対する操作を検出した場合に、当該操作に応じて、関連情報が示す機能の実行や、表示位置の移動、拡大、縮小を行う。

図４は、処理部１０５のハードウェア構成を示す図である。処理部１０５は、ＣＰＵ１５１、メモリ１５２、通信制御部１５３、記憶装置１５４、入出力インタフェース１５５を有する所謂コンピュータである。

ＣＰＵ１５１は、メモリ１５２に実行可能に展開されたプログラムを実行する。これにより、処理部１０５のＣＰＵ１５１は、前述の認識部５１や、輪郭抽出部５２、関連情報取得部５３、表示制御部５４、状態取得部５５、言語受付部５６、操作検出部５７、操作実行部５８の機能を提供する。

メモリ１５２は、主記憶装置ということもできる。メモリ１５２は、例えば、ＣＰＵ１５１が実行するプログラムや、通信制御部１５３を介して受信したデータ、記憶装置１５４から読み出したデータ、その他のデータ等を記憶する。

通信制御部１５３は、通信回線を介して他の装置と接続し、当該装置との通信を制御する。例えば、通信制御部１５３は、無線通信回線を介して管理サーバ３と接続し、当該管理サーバ３との通信を制御する。また、通信制御部１５３は、小電力無線通信を利用した通信機能を備え、車載機器２等の対象物体との通信を行う。例えば、Ｗｉ−Ｆｉ（Wireless Fidelity）等の無線ＬＡＮ技術やブルートゥース（Bluetooth（登録商標））等の近距離無線通信規格を利用した情報通信を行う。

入出力インタフェース１５５は、表示部１０３やスピーカ１０４等の出力手段や、キーボード等の入力手段、ドライブ装置等の入出力手段が適宜接続される。ドライブ装置は、着脱可能な記憶媒体（リムーバブルメディア）の読み書き装置であり、例えば、フラッシュメモリカードの入出力装置、ＵＳＢメモリを接続するＵＳＢのアダプタ等である。

記憶装置１５４は、外部記憶装置ということもできる。記憶装置１５４としては、ＳＳＤ（Solid State Drive）やＨＤＤ等であってもよい。記憶装置１５４は、ドライブ装置
との間で、データを授受する。例えば、記憶装置１５４は、ドライブ装置からインストールされる情報処理プログラム等を記憶する。また、記憶装置１５４は、プログラムを読み出し、メモリ１５２に引き渡す。本実施形態では、管理サーバ３から受信した関連情報を記憶装置１５４が記憶しても良い。

図５は、管理サーバ３の機能ブロック図である。管理サーバ３は、要求受信部３１や、情報送信部３２、対象物体管理部３３、表示装置管理部３４、画像認識部３５を有している。

要求受信部３１は、情報表示装置１の関連情報取得部５３から関連情報の要求を受信する。情報送信部３２は、前記要求に応じた関連情報を記憶装置から読み出して情報表示装置１へ送信する。

対象物体管理部３３は、接続した対象物体から識別情報を取得し、この識別情報に基づいて当該対象物体をユニークに識別すると共に、当該対象物体の機種や製品名、形状等を特定する。

表示装置管理部３４は、接続した情報表示装置１から識別情報を取得し、この識別情報に基づいて対応する対象物体を特定する。例えば、予め情報表示装置１の識別情報毎に、対応する対象物体の識別情報を記憶しておき、この識別情報が一致する場合に対応する対象物体と特定し、当該対象物体の状態を示す情報等の提供を可能にする。

画像認識部３５は、情報表示装置１から受信した撮像画像に含まれる対象物体を認識する。例えば、画像認識部３５は、対象物体の画像パターンを予め記憶し、パターンマッチングにより、この画像パターンと合致した物体を対象物体と認識する。

図６は管理サーバ３のハードウェア構成を示す図である。管理サーバ３は、ＣＰＵ１３１、メモリ１３２、通信制御部１３３、記憶装置１３４、入出力インタフェース１３５を有する所謂コンピュータである。

ＣＰＵ１３１は、メモリ１３２に実行可能に展開されたプログラムを実行する。これにより、管理サーバ３のＣＰＵ１３１は、前述の要求受信部３１や、情報送信部３２、対象物体管理部３３、表示装置管理部３４、画像認識部３５の機能を提供する。

メモリ１３２は、主記憶装置ということもできる。メモリ１３２は、例えば、ＣＰＵ１３１が実行するプログラムや、通信制御部１３３を介して受信したデータ、記憶装置１３４から読み出したデータ、その他のデータ等を記憶する。

通信制御部１３３は、ネットワークを介して他の装置と接続し、当該装置との通信を制御する。入出力インタフェース１３５は、表示装置やプリンタ等の出力手段や、キーボードやポインティングデバイス等の入力手段、ドライブ装置等の入出力手段が適宜接続される。ドライブ装置は、着脱可能な記憶媒体の読み書き装置であり、例えば、フラッシュメモリカードの入出力装置、ＵＳＢメモリを接続するＵＳＢのアダプタ等である。また、着脱可能な記憶媒体は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）等のディスク媒体であってもよい。ドライブ装置は、着脱可能な記憶媒体からプログラムを読み出し、記憶装置１３４に格納する。

記憶装置１３４は、外部記憶装置ということもできる。記憶装置１３４としては、ＳＳＤ（Solid State Drive）やＨＤＤ等であってもよい。記憶装置１３４は、ドライブ装置
との間で、データを授受する。例えば、記憶装置１３４は、ドライブ装置からインストールされる情報処理プログラム等を記憶する。また、記憶装置１３４は、プログラムを読み出し、メモリ１３２に引き渡す。記憶装置１３４は、各対象物体の関連情報を記憶している。

次に、車載機器２の構成を説明する。車載機器２は、車両に搭載される電子装置である。例えば、カーナビゲーション装置やカーオーディオ装置等である。また、車載機器２は、利用者の操作に応じてディスプレイに操作画面を表示し、所定の操作手順に従った複数の操作を受け付けると、所定の機能のための操作画面を表示する。なお、車載機器２は、車両に固定的に設置される機器のほか、利用の度に車両に持ち込まれて使用される可搬性の機器でもよい。図７は、車載機器２の構成を示す。車載機器２は、機器全体を制御する制御部２２１、通信制御部２２２、スイッチ２２３、ディスプレイ２２４、及び記憶部２２５を備える。

制御部２２１は、ＣＰＵ、ＲＡＭ、及びＲＯＭを備えたマイクロコンピュータである。制御部２２１は、情報表示装置１が備える他の構成と接続され、機器全体を制御する。

通信制御部２２２は、通信回線を介して他の装置と接続し、当該装置との通信を制御する。例えば、通信制御部２２２は、無線通信回線を介して管理サーバ３と接続し、当該管理サーバ３との通信を制御する。また、通信制御部２２２は、小電力無線通信を利用した通信機能を備え、情報表示装置１との通信を行う。例えば、Ｗｉ−Ｆｉ（Wireless Fidelity）等の無線ＬＡＮ技術やブルートゥース（Bluetooth）等の近距離無線通信規格を利用した情報通信を行う。

スイッチ２２３は、利用者により押下され、機械的に作動する押しボタンである。すなわち、ハードウェア型のスイッチ機構である。スイッチ２２３は、利用者により押下されると、入力信号を制御部２２１に送信する。

ディスプレイ２２４は、文字や図形等の各種情報を表示し、利用者に情報を視覚的に提示する。例えば、液晶ディスプレイや、プラズマディスプレイ、有機ＥＬディスプレイ等の表示装置である。ディスプレイ２２４は、タッチパネル２２４ａを備える。

タッチパネル２２４ａは、ディスプレイ２２４に表示されたコマンドボタンへの利用者の接触を感知し、感知した位置情報を制御部２２１へ送信する。

記憶部２２５は、データを記憶するメモリである。例えば、ＥＥＰＲＯＭ（Electrical
Erasable Programmable Read-Only memory）や、フラッシュメモリ、磁気ディスクを備
えたハードディスクドライブ等の不揮発性の記憶媒体である。

＜３．処理＞
次に、情報表示装置１、車載機器２、及び管理サーバ３における情報表示方法の処理手順を説明する。図８は、この情報表示方法の処理手順を示す図である。なお、情報表示装置１と車載機器２は、図８の情報表示処理に先立ち、通信回線を介して管理サーバ３と接続し、識別情報を送信することで、管理サーバ３に対してログインする。管理サーバ３は、この識別情報に基づき、情報表示装置１と車載機器２との対応付けを行う。

先ず、利用者が情報表示装置１を操作し、関連情報の表示を開始させると、情報表示装置１は、撮像部１０２による撮像を開始し(ステップＳ１０)、この撮像画像を管理サーバ３へ送信する(ステップＳ２０)。

管理サーバ３は、受信した撮像画像から対象物体である車載機器２を画像認識し、認識結果を情報表示装置１に通知する(ステップＳ３０)。例えば、パターンマッチングにより対象とする画像パターンと合致した場合に車載機器２を対象物体として認識し、情報表示装置１に通知する。

情報表示装置１は、前記認識結果に基づき、車載機器２の輪郭を抽出し、その外側を表示領域として定義する(ステップＳ４０)。例えば、図９に示すように撮像画像に対象の車載機器２が含まれている場合、図１０の点線２０１のように車載機器２の輪郭を抽出し、その外側（図１０の網掛け部分）を表示領域として定義する。

一方、車載機器２は、実行中の機能やエラー等、車載機器２の状態を示す情報を管理サーバ３へ通知すると(ステップＳ５０)、管理サーバ３は、車載機器２の状態に応じた関連情報の内容を決定し、この関連情報を情報表示装置１へ通知する(ステップＳ６０)。例えば、ＡＶ機能を実行している状態であれば、ＡＶ機能に関する関連情報を通知し、エラーが生じていれば、エラーに関する関連情報を通知する。

情報表示装置１は、この関連情報を管理サーバ３から取得し(ステップＳ７０)、表示領域に表示すると共に関連情報に基づく音を出力する(ステップＳ８０)。即ち、図１０のように車載機器２の外側に定めた表示領域に関連情報が表示されるように映像データを生成して表示部１０３に表示させる。また、関連情報に音声メッセージや警告音、ＢＧＭなどの音の情報が含まれていた場合には、この音を出力する。

そして、情報表示装置１は、利用者による操作を検出する(ステップＳ９０)。例えば、撮像部１０２で撮像した撮像画像から、利用者の指の動きを検出し、選択動作や、ピンチイン、ピンチアウトの動作を検出する。この検出した動作が、関連情報に対する動作の場合、この動作に応じた表示を行う(ステップＳ１００)。例えば、ピンチインの動作であれば関連情報を縮小表示し、ピンチアウトの動作であれば関連情報を拡大表示する。なお、検出した動作に関連情報に対する動作がなければ、関連情報に対する処理を実行せずに次のステップに移行する。

また、検出した動作が車載機器２に対する動作の場合、この動作に応じた操作を管理サーバ３へ通知する(ステップＳ１１０)。そして、管理サーバ３は、この操作を車載機器２へ通知し(ステップＳ１２０)、車載機器２に実行させる(ステップＳ１３０)。なお、情報表示装置１から管理サーバ３を介して車載機器２へ操作を通知することに限らず、情報表示装置１から車載機器２へ操作を通知して実行させても良い。

このように、関連情報を対象物体である車載機器２の外側に表示することにより、車載機器２の視認性を損なうことなく、関連情報を利用者の視界内に表示することができる。なお、図８の例では、機器の状態を車載機器２から管理サーバ３へ通知したが、これに限らず、情報表示装置１が、車載機器２と通信して車載機器２から車載機器２の状態や車載機器２の情報を取得し、管理サーバ３へ送信しても良い。この場合、管理サーバ３側での対応付けが不要なので、情報表示装置１及び車載機器２が事前に管理サーバ３に識別情報を送信してログインすることを省略しても良い。図１１は、この機器間通信により車載機器２の状態を取得して情報表示装置１から管理サーバへ送信する例を示す図である。

図１１において、ステップＳ１０〜４０は、図８と同じであり、情報表示装置１は、車載機器２に、車載機器２の状態や車載機器２の情報を要求し(ステップＳ５２)、この情報を車載機器２から情報表示装置１へ送信する(ステップＳ５４)。情報表示装置１は、受信した車載機器２の状態や車載機器２の情報を管理サーバ３へ送信する(ステップＳ５７)。

そして、管理サーバ３が、この車載機器２の状態や車載機器２の情報に応じて関連情報の内容を決定して情報表示装置１へ送信するステップＳ６０以降の処理は、図８と同じである。

また、対象物体である車載機器２の状態は、管理サーバ３が判別しても良い。図１２は
、管理サーバ３が、車載機器２の状態を判別する処理手順を示す。

図１２において、ステップＳ１０〜４０は、図１１と同じであり、管理サーバ３は、受信した撮像画像から車載機器２の状態や車載機器２の情報を判別する。例えば、撮像画像中の車載機器２の形状や型番の識別して、車載機器２の機種や型番等の情報を判別し、車載機器２に表示されている画面を識別して車載機器２の状態を判別する。即ち、ＡＶ機能の画面が表示されていればＡＶ機能の実行中と判別し、エラー画面が表示されていればエラーが発生している状態と判別する。

そして、管理サーバ３が、この車載機器２の状態や車載機器２の情報に応じて関連情報の内容を決定して情報表示装置１へ送信するステップＳ６０以降の処理は、図８と同じである。

また、複数の言語の関連情報を記憶しておき、選択された言語の関連情報を表示させても良い。図１３は、選択された言語で表示する処理の例を示す図である。なお、図１３の処理に先だって、利用者が情報表示装置１を操作し、複数の言語のうち、表示させる言語を選択しておく。

先ず、利用者が情報表示装置１を操作し、関連情報の表示を開始させると、情報表示装置１は、選択された言語を管理サーバ３へ通知する(ステップＳ５)。なお、図１３において、ステップＳ１０〜５０は、図８と同じであり、管理サーバ３は、受信した撮像画像から車載機器２の状態や車載機器２の情報に応じた関連情報であって、選択された言語が用いられた関連情報を読み出して情報表示装置１へ送信する(ステップＳ６５)。なお、以降のステップＳ７０〜Ｓ１３０については図８と同じである。

これにより車載機器２が外国語で表示されるような場合でも、関連情報を利用者が選択した言語で表示させることができる。

＜４．表示内容＞
次に具体的な表示内容について表示する。図１４は、車載機器２について吹き出し６１による静的表現で関連情報を表示する例を示す。図１４では、利用者の両眼に対して表示する例を示したが、片眼にのみ表示してもよい。また、関連情報の形状は、吹き出しに限らず、付箋の形や、楕円、矩形など他の形状であってもよい。

図１５は、ＡＶ機能の実行時に再生している歌の歌詞６２を関連情報として表示する例を示している。なお、左右の眼にほぼ同一の画像を表示するので図１５では、一方の画像を省略して示した。以下の表示例についても同様である。この場合、歌の進行に応じて歌詞６２をスクロールさせて表示させる。また、歌詞をなぞるように歌の再生箇所の色を変えて表示しても良い。この関連情報は、歌詞に限らず、映画の字幕や、テレビの文字放送であっても良い。

また、関連情報は、車載機器２の操作に関する説明情報であってもよい。情報表示装置１は、車載機器２の操作に関する説明情報を車載機器２の外側となる表示領域に表示する。このため、情報表示装置１が利用者の視界と重畳して表示する操作に関する説明情報が、車載機器２に表示された画面の視認性を損なうことがない。したがって、利用者は、操作に関する説明情報を参照しつつ、車載機器２に表示された画面に含まれるコマンドボタンなどを適切に操作することが可能となる。

また、利用者が車載機器２へ操作することにより車載機器２の状態（表示される画面に含まれる情報やコマンドボタン等）が遷移した場合には、情報表示装置１は、遷移後の車
載機器２の状態に応じた操作に関する説明情報を表示する。したがって、利用者は、遷移後の車載機器２の状態に応じた適切な操作方法を把握できる。したがって、複数回の操作を含む複雑な操作手順が必要な場合であっても、利用者は、その操作手順を直感的に把握することができる。

このような操作に関する説明情報は、静止画像のみならず、動画像で表示してもよい。図１６は、関連情報として車載機器２の操作に関する説明情報を示す動画像６３を表示する例を示している。これにより、車載機器２の操作に関する説明情報を分かりやすく動的に示すことができる。

図１７は、車載機器２の表示部に表示されている以外の画面を関連情報６４として表示した例を示している。これにより表示部に表示さていない画面（例えば、マルチタスクにより、表示部に表示された機能と同時実行中の他の機能に関する画面）を二次元的に拡張して表示させることができる。

この関連情報６４は、利用者の操作に応じてスクロールなどの移動が可能である。例えば図１８に示すように利用者の指６５を関連情報６４に重ねて移動させた場合、情報表示装置１は、この関連情報６４の位置を指６５の移動に伴って変更した映像データを作成し、表示部１０３に表示させる。これにより、関連情報６４の位置を車載機器２の位置に対して相対的に移動させることができる。これにより、表示領域を有効に利用して表示を行うことができる。

また、この関連情報６４が車載機器２と重なるように移動させた場合、当該関連情報に表示されている機能を選択する操作として検出して当該機能への切替を管理サーバ３又は車載機器２へ通知する。例えば、テレビ画面を車載機器２と重なるように移動させた場合、テレビ機能に切り替え、ＡＶ機能の画面を車載機器２と重なるように移動させた場合、ＡＶ機能に切り替える。

図１９は、車載機器２の表示を補う画面を関連情報６６として表示する例を示している。例えば車載機器２の表示部に地図が表示されている場合に、表示されていない部分の地図を表示させる。これにより表示部を二次元的に拡張し、表示部に表示しきれない部分を表示させることができる。

図２０は、車載機器２を三次元的に拡張して表示した例を示している。例えば、車載機器２に問題が生じた場合に、車載機器２の内部の問題の箇所６７を特定するための三次元画像を車載機器２の位置に重ねて表示するとともに、当該箇所６７の問題に対処するための関連情報６８を車載機器２の輪郭より外側へ表示する。これにより、問題の箇所が三次元的に拡張して示されるため、利用者が直感的に問題の箇所を把握できる。

このように上記の実施形態によれば、関連情報を対象物体である車載機器２と同じ視界内に表示できるので、情報が把握し易く、且つ操作対象である車載機器２と重ならないため、視認性が低下することがなく、操作を妨げることがない。

また、車載機器２の状態に応じた関連情報を表示させるので、状況に応じた適切な情報を利用者に提示できる。特に、車載機器２の状態に応じた操作に関する関連情報を表示させることで、利用者は、操作手順を直感的に把握することができる。また、利用者による言語の指定を受け付けた場合は、操作に関する関連情報を当該言語で表示させることができる。

更に、関連情報に基づく音情報も出力することで、視覚だけでなく、聴覚も用いて、分
かり易く情報を伝達することができる。

また、関連情報に対する操作を検出し、この操作に応じた処理を行うことで、インタラクティブに操作を行うことができ、操作性を向上できる。

１ 情報表示装置
２ 車載機器
３ 管理サーバ
４ 通信回線
１０ 情報表示システム
３１ 要求受信部
３２ 情報送信部
３３ 対象物体管理部
３４ 表示装置管理部
３５ 画像認識部
５１ 認識部
５２ 輪郭抽出部
５３ 関連情報取得部
５４ 表示制御部
５５ 状態取得部
５６ 言語受付部
５７ 操作検出部
５８ 操作実行部
１０１ 装着部
１０２ 撮像部
１０３ 表示部
１０４ スピーカ
１０５ 処理部

Claims (9)

1. 利用者の視界に対応した撮像画像を取得する撮像部と、
   前記撮像画像から、処理対象とする対象物体を認識する認識部と、
   前記撮像画像から、前記対象物体の輪郭を抽出する輪郭抽出部と、
   前記対象物体に関する関連情報を記憶部から取得する関連情報取得部と、
   前記利用者の視界と重畳させて情報を表示させる表示部と、
   前記利用者の視界内であって、前記対象物体の輪郭より外側となるように前記表示部に前記関連情報を表示させる表示制御部と、
   前記対象物体の状態を取得する状態取得部と、を備え、
   前記状態取得部が、前記対象物体の状態として前記対象物体にエラーが生じたことを取得した場合に、前記関連情報取得部が、前記エラーに応じて決定された関連情報を取得し、前記表示制御部が、前記エラーに応じて決定された関連情報を前記表示部に表示させると共に、前記対象物体の少なくとも一部を特定するための画像を前記対象物体の前記エラーが発生した箇所に重ねて前記表示部に表示させることを特徴とする情報表示装置。
2. 前記対象物体の輪郭より外側に表示された関連情報が、前記エラーが発生した個所から吹き出されたように表示された吹き出し形状であることを特徴とする請求項１に記載の情報表示装置。
3. 前記関連情報取得部が、前記対象物体の状態に応じた操作に関する関連情報を取得することを特徴とする請求項１又は２に記載の情報表示装置。
4. 前記表示制御部が、前記関連情報を、利用者の操作に応じて前記対象物体の位置に対して移動可能に表示することを特徴とする請求項１〜３の何れか１項に記載の情報表示装置。
5. 前記関連情報に含まれる音情報を出力する音出力部を更に備えることを特徴とする請求項１〜４の何れか１項に記載の情報表示装置。
6. 前記利用者による言語の指定を受け付ける言語受付部を備え、
   前記関連情報取得部が、前記記憶部に記憶された複数の言語による前記関連情報のうち、前記利用者による指定を受けた言語による前記関連情報を取得することを特徴とする請求項１〜５の何れか１項に記載の情報表示装置。
7. 前記関連情報に対する操作を検出する操作検出部と、
   前記関連情報に対する前記操作に基づいて処理を実行する操作実行部とを更に備えた請求項１〜６の何れか１項に記載の情報表示装置。
8. 情報表示装置と、前記情報表示装置と通信可能なサーバ装置とを含む情報表示システムであって、
   前記情報表示装置が、
   利用者の視界に対応した撮像画像を取得する撮像部と、
   前記撮像画像から、処理対象とする対象物体を認識する認識部と、
   前記撮像画像から、前記対象物体の輪郭を抽出する輪郭抽出部と、
   前記対象物体に関する関連情報を記憶部から取得する関連情報取得部と、
   前記利用者の視界と重畳させて情報を表示させる表示部と、
   前記利用者の視界内であって、前記対象物体の輪郭より外側となるように前記表示部に前記関連情報を表示させる表示制御部と、
   前記対象物体の状態を取得する状態取得部と、を備え、
   前記状態取得部が、前記対象物体の状態として前記対象物体にエラーが生じたことを取得した場合に、前記関連情報取得部が、前記エラーに応じて決定された関連情報を取得し、前記表示制御部が、前記エラーに応じて決定された関連情報を前記表示部に表示させると共に、前記対象物体の少なくとも一部を特定するための画像を前記対象物体の前記エラーが発生した箇所に重ねて前記表示部に表示させ、
   前記サーバ装置が、
   前記関連情報取得部から前記関連情報の要求を受信する要求受信部と、
   前記要求に応じた前記関連情報を前記記憶部から読み出して前記情報表示装置へ送信する情報送信部と、
   を備えることを特徴とする情報表示システム。
9. コンピュータが、
   利用者の視界に対応した撮像画像を撮像部によって取得する撮像ステップと、
   前記撮像画像から、処理対象とする対象物体を認識する認識ステップと、
   前記撮像画像から、前記対象物体の輪郭を抽出する抽出ステップと、
   前記対象物体の状態を取得する状態取得ステップと、
   前記対象物体に関する関連情報を記憶部から取得する情報取得ステップと、
   前記利用者の視界と重畳させて情報を表示させる表示部に対し、前記利用者の視界内であって、前記対象物体の輪郭より外側となるように前記関連情報を表示させる表示ステップと、
   を実行する情報表示方法であり、
   前記状態取得ステップで、前記対象物体の状態として前記対象物体にエラーが生じたことを取得した場合に、前記情報取得ステップで、前記エラーに応じて決定された関連情報を取得し、前記表示ステップで、前記エラーに応じて決定された関連情報を前記表示部に表示させると共に、前記対象物体の少なくとも一部を特定するための画像を前記対象物体の前記エラーが発生した箇所に重ねて前記表示部に表示させることを特徴とする情報表示方法。

Images