WO2025009043A1

WO2025009043A1 - 映像表示方法、映像情報作成装置、及び映像情報表示システム

Info

Publication number: WO2025009043A1
Application number: PCT/JP2023/024700
Authority: WO
Inventors: 眞弓中出; 康宣橋本; 和彦吉澤; 尚久高見澤; 英男西島
Original assignee: Maxell Ltd
Current assignee: Maxell Ltd
Priority date: 2023-07-04
Filing date: 2023-07-04
Publication date: 2025-01-09
Anticipated expiration: 2026-01-04
Also published as: JPWO2025009043A1; CN121420350A

Abstract

映像表示方法であって、プロセッサが、ユーザの位置を取得するユーザ位置取得ステップと、前記ユーザに対して注目すべき対象物として案内を行う特定対象物の位置情報を取得する特定対象物位置取得ステップと、前記ユーザの位置と前記特定対象物の位置とを結ぶ仮想線がディスプレイに交わる領域を算出する領域算出ステップと、前記ユーザを識別する識別オブジェクトを生成する識別オブジェクト生成ステップと、前記特定対象物の位置を示す案内情報に前記識別オブジェクトを付加して、前記仮想線がディスプレイに交わる領域に表示する表示ステップと、を含む。

Description

映像表示方法、映像情報作成装置、及び映像情報表示システム

　本技術は、映像表示方法、映像表示装置、及び映像情報表示システムに関し、特に、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）を用いて目的とする対象物を見つける為の案内をする映像情報作成装置、映像情報表示システム、情報端末装置に関する。

　特許文献１は「情報処理装置は、複数のユーザの視界に重ね合わせて表示する視覚情報の表示方法を設定する表示方法設定部と、設定された前記表示方法により前記視覚情報の表示を制御する表示制御部とを備え、前記表示方法は、ユーザ毎に個別に前記視覚情報を表示する個別表示、及び、複数のユーザに対する前記視覚情報を統合して表示する統合表示を含む。本技術は、例えば、ＡＲを用いて視覚情報を表示する車両に適用することができる（要約抜粋）。」との記載を開示している。

特開２０２１－１６５７６６号公報

　特許文献１に記載の発明は、車載用のＨＵＤ（ヘッドアップディスプレイ）において、ステレオカメラで対象物までの距離を測定し、対象物と同じ位置に映像（視覚情報）の焦点を合わせることにより、運転者の視点が横にずれても、視覚情報と対象物の位置をずれにくくする技術である。従って車両の運転者は一人であることから、特許文献１では、複数のユーザが、様々な位置から見ることは考慮されていない。

　従って、例えば展望室等の観光案内などで、見どころである対象物が視認できる案内情報を複数のユーザに同時に提供したい状況に特許文献１を適用しようとしても、複数のユーザは異なる視点位置から対象物を探そうとしているため、各ユーザから見て適切な案内が行えず誤った方向に視線を誘導したり、各ユーザに対する案内を同時に行うと誰に対する案内なのかが不明になったりするという課題が残る。

　本発明は上記課題を解決するためになされたものであり、複数のユーザの其々からみた対象物の存在する方向を同時に案内することを目的とする。

　上記課題を解決するために、本発明は請求の範囲に記載の構成を備える。

　本発明によれば、複数のユーザの其々からみた対象物の存在する方向を同時に案内することができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

第一実施形態の映像情報作成装置のハードウェア構成図である。第一実施形態の映像情報作成装置の機能ブロック構成を示す図である。第一実施形態の映像情報作成装置の視覚情報を説明するための第一例を示す図である。第一実施形態の映像情報作成装置の第一例の主な処理フローを示す図である。第一実施形態の映像情報作成装置の視覚情報を説明するための第二例を示す図である。第一実施形態の映像情報作成装置の第二例の主な処理フローを示す図である。第一実施形態の映像情報作成装置のオブジェクトの作成の第一例を示す図である。第一実施形態の映像情報作成装置のオブジェクトの作成の第二例を示す図である。第一実施形態の映像情報作成装置のオブジェクトの作成の第三例を示す図である。第一実施形態の映像情報作成装置の視覚情報を説明するための第三例を示す図である。第一実施形態の映像情報作成装置の第三例の主な処理フローを示す図である。第一実施形態の映像情報作成装置の視覚情報を説明するための第四Ａ例を示す図である。第一実施形態の映像情報作成装置の視覚情報を説明するための第四Ｂ例を示す図である。第一実施形態の映像情報作成装置の視覚情報を説明するための第四Ｃ例を示す図である。第一実施形態の映像情報作成装置の第四Ａ例、第四Ｂ例、第四Ｃ例の主な処理フローを示す図である。第一実施形態の映像情報作成装置の視覚情報を説明するための第五例を示す図である。第一実施形態の映像情報作成装置の第五例の主な処理フローを示す図である。第一実施形態の映像情報作成装置の視覚情報を説明するための第六例を示す図である。第一実施形態の映像情報作成装置の第六例の主な処理フローを示す図である。第二実施形態の映像情報表示システムの機能ブロック構成を示す図である。第二実施形態の映像情報表示システムの視覚情報を説明するための第一例を示す図である。第二実施形態の映像情報表示システムの第一例の主な処理フローを示す図である。第二実施形態の映像情報表示システムの第一例の主な処理フローを示す図である。第二実施形態の映像情報表示システムの第一例の主な処理フローを示す図である。第二実施形態の映像情報表示システムの視覚情報を説明するための第二例を示す図である。第二実施形態の映像情報表示システムの第二例の主な処理フローを示す図である。第二実施形態の映像情報表示システムの第二例の主な処理フローを示す図である。第三実施形態の情報端末装置の機能ブロック構成を示す図である。第三実施形態の情報端末装置の視覚情報を説明するための第一例を示す図である。第三実施形態の情報端末装置の視覚情報を説明するための第一例を示す図である。第三実施形態の情報端末装置の第一例の主な処理フローを示す図である。第三実施形態の情報端末装置の第一例の主な処理フローを示す図である。第三実施形態の情報端末装置の第一例の主要な送受信処理フローを示す図である。第三実施形態の情報端末装置の第一例の主要な送受信処理フローを示す図である。第三実施形態の情報端末装置の視覚情報を説明するための第二例を示す図である。第三実施形態の情報端末装置の視覚情報を説明するための第二例の別例を示す図である。第三実施形態の情報端末装置の第二例の主な処理フローを示す図である。第三実施形態の情報端末装置の第二例のサーバとの送受信処理フローを示す図である。第三実施形態の情報端末装置の視覚情報を説明するための第三例を示す図である。第三実施形態の情報端末装置の視覚情報を説明するための第三例の別例を示す図である。第三実施形態の情報端末装置の視覚情報を説明するための第四例を示す図である。

　本発明は、仮想現実オブジェクトを表示して同一空間にいる複数のユーザに対して同時に観賞を進める特定対象物の案内を行うことで、労働集約型の産業に対して仮想現実表示のより効果的な利用を創出のための技術の向上が見込めることから、国連の提唱する持続可能な開発目標（ＳＤＧｓ：Ｓｕｓｔａｉｎａｂｌｅ　Ｄｅｖｅｌｏｐｍｅｎｔ　Ｇｏａｌｓ）の８．２（商品やサービスの価値をより高める産業や、労働集約型の産業を中心に、多様化、技術の向上、イノベーションを通じて、経済の生産性をあげる）に貢献することが期待できる。

　以下、図面等を用いて、本発明の一実施形態及び各種実施例について説明する。以下の説明は本発明の内容の具体例を示すものであり、本発明がこれらの説明に限定されるものではなく、本明細書に開示される技術的思想の範囲内において当業者による様々な変更および修正が可能である。また、本発明を説明するための全図において、同一の機能を有するものは、同一の符号を付け、その繰り返しの説明は省略する場合がある。以下、全実施形態に共通する事項について説明し、続いて各実施形態の特徴について説明する。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。

　本実施の形態における映像情報作成装置１００は、大中小規模の展望室や、ビルの窓、学校の窓、列車や観光バス等の車の窓、ＨＵＤ、水槽内に見える特定対象物の方向を複数のユーザ毎に同時に案内を表示する。

　（第一実施形態）
　図１Ａは本発明の第一実施形態の映像情報作成装置のハードウェア構成図である。図１Ｂは本発明の第一実施形態の映像情報作成装置の機能ブロック構成を示す図である。

　本実施の形態における映像情報作成装置１００は、例えば透過ディスプレイ、ヘッドアップディスプレイ、スマートフォン、タブレット端末、パソコン等である。

　図１Ａに示すように、映像情報作成装置１００は、メインプロセッサ１０１、メモリ１１０、入出力インターフェイス１２０、ディスプレイ１３４、センサ群１５０、通信インターフェイス（Ｉ／Ｆ）１６０、音声処理部１７０を備えている。これらの構成要素はバス１０２を介して互いに接続されている。

　メモリ１１０は、ＲＡＭ１１１、ＲＯＭ１１２、フラシュメモリ１１３等を含む。

　入出力インターフェイス１２０は、各種のボタンスイッチ１２１、タッチパネル１２２等を含む。

　ディスプレイ１３４は背後が透けて見える透過ディスプレイ（透過型有機ＥＬディスプレイ、透過型無機ＥＬディスプレイ、透過型ＬＣＤディスプレイ等の他、投影された情報を反射表示できるガラスを含む）等で構成される。

　センサ群１５０は、衛星測位センサ１５１、地磁気センサ１５２、距離センサ１５３、インカメラ１５４、アウトカメラ１５５、その他センサ１５６等を含む。

　通信インターフェイス１６０は、無線通信インターフェイス１６１、ユーザ情報通信インターフェイス１６２、近距離無線通信インターフェイス１６３等を含む。

　音声処理部１７０は、音声出力装置としてのスピーカ１７１、及び音声入力装置としてのマイク１７２を備えている。

　メモリ１１０は、映像情報作成装置１００全体をメインプロセッサ１０１にて制御するためのプログラム等を記憶する。各構成要件で処理される各種データ等がバス１０２経由で一時記憶される。

　入出力インターフェイス１２０の動作は以下のとおりである。各種のボタンスイッチ１２１は例えば本機能の動作をオン又はオフにするスイッチである。

　タッチパネル１２２はディスプレイ１３４上に表示させたボタン等をタッチさせて入力する手段などで構成される。

　センサ群１５０の動作は以下のとおりである。衛星測位センサ１５１はＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）に代表される衛星測位システムで位置を測定するためのセンサで、複数のＧＰＳ衛星からの信号を受信して高精度な三次元の現在地情報を得る。なお、ＧＰＳで行う測位精度の向上のために収集データの補強・補正することを目的に利用されているＳＢＡＳ（補強衛星群）としてのＲＮＳＳ（地域広報衛星システム）を利用してもよい。

　地磁気センサ１５２は地球の磁力を検出し二次元や三次元の方向を計測する。

　距離センサ１５３は超音波やレーザ光をパルス発光させ対象物にあたって戻ってくるまでの時間を計測する方法等にて距離を測定する。

　インカメラ１５４はディスプレイ１３４を見ているユーザ側を撮影する撮像機である。

　アウトカメラ１５５はユーザから見てディスプレイ１３４の先にあるものを撮影する撮像機である。

　その他センサ１５６は周辺環境（明るさ、温度、騒音等）等の必要な情報を得るための検出器である。

　通信インターフェイス１６０の動作は以下のとおりである。無線通信インターフェイス１６１は４Ｇ／５Ｇ等の移動体通信に用いられる無線通信の送受信機能を有するインターフェイスである。

　無線通信インターフェイス１６１は外部ネットワーク上のサーバとの間で必要な情報を取得することができる。

　ユーザ情報通信インターフェイス１６２はＷｉＦｉ（登録商標）等に代表される中距離無線通信の送受信機能を有するインターフェイスである。

　近距離無線通信インターフェイス１６３はＢｌｕｅｔｏｏｔｈ（登録商標）やＮＦＣ（Ｎｅａｒ　Ｆｉｅｌｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）等の近距離無線通信の送受信機能を有するインターフェイスである。

　図１Ｂを示すように、映像情報作成装置１００は、主な機能ブロックとして映像情報処理部１８０及び視覚情報生成部１９０を含む。

　映像情報処理部１８０は、オブジェクト重畳部１８１、位置情報作成部１８２、表示方法設定部１８３を含む。

　視覚情報生成部１９０には、オブジェクト生成部１９１、表示方法変更部１９２、ユーザ認識部１９３、及び視線位置検出部１９４を含む。

　映像情報処理部１８０の動作は以下のとおりである。

　位置情報作成部１８２はオブジェクト生成部１９１または表示方法変更部１９２にて作成されたユーザ毎のオブジェクトをディスプレイ１３４上のどの位置に配置するかを演算処理して求める。

　表示方法設定部１８３は映像情報の表示方法を設定する。

　オブジェクト重畳部１８１はオブジェクト生成部１９１または表示方法変更部１９２にて作成されたユーザ毎のオブジェクトを位置情報作成部１８２にて求められた配置位置に重畳表示する。

　視覚情報生成部１９０の動作は以下のとおりである。

　ユーザ認識部１９３はインカメラ１５４等にてユーザを検出して認識する。

　オブジェクト生成部１９１はユーザ認識部１９３にて認識したユーザ毎の識別を可能にするオブジェクトを作成する。

　視線位置検出部１９４は、ユーザ毎にディスプレイ１３４のどの部分が見えているか否かを検出する。

　表示方法変更部１９２はユーザ毎の識別オブジェクトの表示が互いに重なり合ったりする等で上手く表示できないときにその表示方法を適宜変更する。

　上記映像情報処理部１８０及び視覚情報生成部１９０に含まれる各部は、メモリ１１０に格納された本実施形態に係る映像表示プログラムをメインプロセッサ１０１が実行することによりハードウェアとプログラムとが協働して構成され、各部の機能が実現する。

（第一実施形態の第一例）
　第一例は、ユーザに対してみる方向を案内する対象物である特定対象物が静止物である点に特徴がある。図２は第一実施形態の映像情報作成装置の視覚情報を説明するための第一例を示す図である。図３は第一実施形態の映像情報作成装置の第一例の主な処理フローを示す図である。

　図２において、映像情報作成装置１００は、ディスプレイ１３４として展望室内からの景色を眺めるための透過ディスプレイ２０１、インカメラ１５４として透過ディスプレイ２０１の四隅の内側に配置されたセンサカメラ２０２ａ、２０２ｂ、２０２ｃ、２０２ｄの４個、アウトカメラ１５５として透過ディスプレイ２０１の四隅の外側に配置されたセンサカメラ２０３ａ、２０３ｂ、２０３ｃ、２０３ｄの４個を備える。なお、インカメラ１５４およびアウトカメラ１５５として配置するカメラの数や位置は一例であり、所望の映像が撮影できるのでれば、図２と異なる個数、異なる位置でも良い。また、他の図面においても同様である。

　展望室内からの見どころとなる少なくとも一つ以上の対象物２０４ａとして、富士山や夕日等が表示される。それら見どころとなる対象物２０４ａのうち、ユーザに対してみる方向を案内するものとして選択された対象物が特定対象物である。特定対象物は少なくとも一つの対象物２０４ａの中から所定時間間隔で一つずつ順次選択される。図２では、特定対象物２０５ａ（富士山）が選択されているとする。特定対象物の選択処理は、オブジェクト生成部１９１が行ってもよいし、ユーザが例えば案内を希望する特定対象物の名称を口頭で発話すると、マイク１７２が集音し、オブジェクト生成部１９１が音声解析を行って特定対象物の選択を行ってもよい。

　オブジェクト重畳部１８１はユーザＡ２０６ａが特定対象物２０５ａ（富士山）を見た視線上にある透過ディスプレイ２０１上の領域にＡ用の識別オブジェクト２０７ａを付加した案内情報を表示する。なお、ここでいう「ユーザＡ２０６ａが特定対象物２０５ａ（富士山）を見た視線上にある透過ディスプレイ２０１上の領域」とはユーザが現在いる位置から特定対象物２０５ａを視認した際の視線であり、ユーザが特定対象物を見ていないときの視線でない。よって、より正確にはオブジェクト重畳部１８１は、ユーザの位置と前記特定対象物の位置とを結ぶ仮想線がディスプレイに交わる領域を求め、この領域をＡ用の識別オブジェクト２０７ａを表示する領域として用いる。以下の説明においても同様である。案内情報は、特定対象物の一部又は全部を包含する図形であり、識別オブジェクトを付加することで、どのユーザに対する案内情報であるかがわかる。

　さらにオブジェクト重畳部１８１はユーザＢ２０８ａが特定対象物２０５ａ（富士山）を見た視線上にある透過ディスプレイ２０１上の領域にＢ用の識別オブジェクト２０９ａを付加した案内情報を表示する。この時、オブジェクト重畳部１８１は、透過ディスプレイ２０１上の左上に「富士山が見えます」などの文字情報２１０を表示する。なお、対象物２０４ａや文字情報２１０は予め映像情報作成装置１００の設置場所に応じてメモリ１１０に記憶される。

　次に図３を参照して、第一実施形態の第一例の処理の流れを説明する。

　図３に示すように、映像情報作成装置１００が起動（開始）すると（Ｓ８０１）、透過ディスプレイ２０１の四隅の内側に配置されたセンサカメラ２０２ａ、２０２ｂ、２０２ｃ、２０２ｄの４個から得た撮像データに基づいて、ユーザ認識部１９３が透過ディスプレイ２０１を通して室外の景色を見ているユーザ（ユーザＡ２０６ａやユーザＢ２０８ａ）を認識する（Ｓ８０２）。

　またステップ８０２では、位置情報作成部１８２が予め把握している特定対象物２０５ａ（富士山）と透過ディスプレイ２０１の三次元配置情報と新たに得られたユーザＡ２０６ａやユーザＢ２０８ａの三次元位置情報を把握する。より正確には位置情報作成部１８２はユーザＡ２０６ａやユーザＢ２０８ａの位置情報として各ユーザの目の位置情報を検出する。

　続いてオブジェクト生成部１９１は、検出したユーザＡ２０６ａとユーザＢ２０８ａを個別に識別できるように異なるＡ用の識別オブジェクト２０７ａとＢ用の識別オブジェクト２０９ａを作成する（Ｓ８０３）。

　次に位置情報作成部１８２は、ユーザＡ２０６ａ及びユーザＢ２０８ａが透過ディスプレイ２０１を透過して特定対象物２０５ａ（富士山）が見える位置にいるか否かを判断する（Ｓ８０４）。ステップ８０４にてユーザＡ２０６ａ及びユーザＢ２０８ａが特定対象物２０５ａ（富士山）を見える位置にいないと判断（Ｓ８０４：Ｎｏ）した場合はＡ用の識別オブジェクト２０７ａとＢ用の識別オブジェクト２０９ａを出力せず、そのままステップ８０８に進んでその他の案内情報表示処理を行いステップ８０９にて終了する。

　一方、位置情報作成部１８２がユーザＡ２０６ａ及びユーザＢ２０８ａが特定対象物２０５ａ（富士山）を見える位置にいると判断（Ｓ８０４：Ｙｅｓ）した場合はステップ８０５にて特定対象物２０５ａ（富士山）とユーザＡ２０６ａ及びユーザＢ２０８ａを結ぶ透過ディスプレイ２０１上にＡ用の識別オブジェクト２０７ａとＢ用の識別オブジェクト２０９ａを表示する位置を算出する（Ｓ８０５）。なお、特定対象物と透過ディスプレイ間の距離が透過ディスプレイとユーザ間の距離及びユーザ同士の距離より十分遠い場合は、ユーザが特定対象物を見ている方向はほぼ等しいと考えられる。このため、ユーザ毎のオブジェクト表示位置の算出は、予め透過ディスプレイに対する特定対象物への３次元の方向ベクトルを算出しておき、ユーザの位置に応じて方向ベクトルを平行移動することにより識別オブジェクトの位置を簡易的に算出し、演算処理量を低減してもよい。他の実施形態でも同様である。

　そして位置情報作成部１８２が透過ディスプレイ２０１上にてユーザ毎の複数の識別オブジェクトが隣接または重なるか否かを判断する（Ｓ８０６）。ユーザ毎の複数の識別オブジェクトが隣接または重なると判断（Ｓ８０６：Ｙｅｓ）した複数の識別オブジェクトは、表示方法変更部１９２が後で述べる統合オブジェクトに変更したものを出力し（Ｓ８０７）、オブジェクト重畳部１８１が透過ディスプレイ２０１上に統合オブジェクトを表示し（Ｓ８０８）、特定対象物２０５ａ（富士山）が見える位置を案内する。そしてステップ８０９にて終了とする。

　一方、そして位置情報作成部１８２がユーザ毎の複数の識別オブジェクトが隣接または重ならないと判断（Ｓ８０６：Ｎｏ）した場合はオブジェクト生成部１９１がＡ用の識別オブジェクト２０７ａとＢ用の識別オブジェクト２０９ａを出力し、オブジェクト重畳部１８１が透過ディスプレイ２０１上に識別オブジェクト（Ａ用の識別オブジェクト２０７ａとＢ用の識別オブジェクト２０９ａ）を付加した案内情報を表示し（Ｓ８０８）、特定対象物２０５ａ（富士山）が見える位置を案内する。そしてステップ８０９にて終了とする。

　図３の処理はセンサカメラ２０２ａ、２０２ｂ、２０２ｃ、２０２ｄまたは透過ディスプレイ２０１に一枚の映像を検出または表示するサイクル（例えば、毎秒６０、１２０、２４０枚など）にて繰り返し行う。

　なお、図３の処理ステップでは説明していないが、メインプロセッサ１０１は文字情報２１０をスピーカ１７１から音声案内情報として出力してもよい。

　また、透過ディスプレイ２０１上には現実の世界を透過して見る例にて説明したが、センサカメラ２０３ａ～ｄを用いた現実の世界を撮影した映像を表示することもできる。これにより、特定対象物が天候や昼夜などの影響で見えないときに過去の撮影した映像を表示することができるなどの効果もある。

（第一実施形態の第二例）
　第二例は、特定対象物が動体である点に特徴がある。以下では、特定対象物として夕日を例に挙げる。夕日のユーザに対する位置は時々刻々動く。図４は第一実施形態の映像情報作成装置の視覚情報を説明するための第二例を示す図である。図５は第一実施形態の映像情報作成装置の第二例の主な処理フローを示す図である。第二例は第一例に対して特定対象物２０５ｅ（夕日）が時々刻々動いている例を示す。図４において、図２と同じまたは同じ機能を有するものには同じ符号を付し、その説明は省略する。

　映像情報作成装置１００は、透過ディスプレイ２０１、センサカメラ２０２ａ～ｄ、２０３ａ～ｄを備える。展望室内からの見どころとなる対象物２０４ｅの例として夕日が表示され、特定対象物２０５ｅ（夕日）の案内情報が表示されている。

　オブジェクト重畳部１８１はユーザＡ２０６ｅが特定対象物２０５ｅ（夕日）を見た視線上にある透過ディスプレイ２０１上の領域にＡ用の識別オブジェクト２０７ｅを表示する。同じくオブジェクト重畳部１８１はユーザＢ２０８ｅが特定対象物２０５ｅ（夕日）を見た視線上にある透過ディスプレイ２０１上の領域にＢ用の識別オブジェクト２０９ｅを表示する。この時、透過ディスプレイ２０１上の左上に「夕日が見えます」などの文字情報２１０ｅを表示する。

　次に図５を参照して、第一実施形態の第二例の処理の流れを説明する。図５において、図３と同じ処理または同じ機能を処理するステップには同じ符号を付し、その説明は省略する。

　図５に示すように、映像情報作成装置１００が起動（開始）すると（Ｓ８０１）、透過ディスプレイ２０１の四隅の外側に配置されたセンサカメラ２０３ａ、２０３ｂ、２０３ｃ、２０３ｄの４個から得た撮像データに基づいて位置情報作成部１８２が特定対象物２０５ｅ（夕日）を検出する（Ｓ８１２）。

　位置情報作成部１８２が特定対象物２０５ｅ（夕日）を検出できない場合は（Ｓ８１３：Ｎｏ）した場合は、オブジェクト生成部１９１は識別オブジェクトを出力せず、そのままステップ８０８に進んでその他の案内情報表示処理を行いステップ８０９にて終了とする。

　一方、位置情報作成部１８２が特定対象物２０５ｅ（夕日）を検出できていると判断（Ｓ８１３：Ｙｅｓ）した場合は、位置情報作成部１８２は特定対象物２０５ｅ（夕日）の位置をセンサカメラ２０３ａ、２０３ｂ、２０３ｃ、２０３ｄの出力から算出する（Ｓ８１４）。

　特定対象物２０５ｅ（夕日）が太陽のような天体の場合は、位置情報作成部１８２は映像情報作成装置１００の世界座標系における位置情報を衛星測位センサ１５１等にて算出すし、無線通信インターフェイス１６１から外部ネットワーク上のサーバとの間で通信を行い、当該映像情報作成装置１００の位置におけるその時刻がわかれば天体の位置情報を取得してもよい。

　またセンサカメラ２０３ａ～ｄには距離センサ１５３の機能を設けておく。そして位置情報作成部１８２は特定対象物がより近い飛行機や鳥や水槽の魚などの場合はセンサカメラ２０３ａ～ｄのうち少なくとも２つ以上の出力を用いた三角測量などで逐次特定対象物の動きを算出してもよい。以下、ステップ８０２～Ｓ８０９は図３と同様の処理を行う。

　図５の処理はセンサカメラ２０２ａ～ｄ、センサカメラ２０３ａ～ｄまたは透過ディスプレイ２０１に一枚の映像を検出または表示するサイクル（例えば、毎秒６０、１２０、２４０枚など）にて繰り返し行う。

　本第二例では、特定対象物２０５ｅ（夕日）が逐次動く例を説明したが、同様に映像情報作成装置１００が列車や観光バス等の窓につけられた場合に映像情報作成装置１００の位置も逐次動くために、ステップ８１４にて映像情報作成装置１００の位置を衛星測位センサ１５１等にて算出して相対的な位置を逐次算出することで実現する。

（識別オブジェクト生成例）
　図６は第一実施形態の映像情報作成装置のオブジェクト生成部１９１及びステップ８０３における識別オブジェクトの作成の第一例を示す図である。図７は第一実施形態の映像情報作成装置のオブジェクトの作成の第二例を示す図である。図８は第一実施形態の映像情報作成装置のオブジェクトの作成の第三例を示す図である。

　図６はユーザ２２１とステップ８０３においてオブジェクト生成部１９１が生成する識別オブジェクト２２２とを示す。

　オブジェクト生成部１９１はユーザ２２１の識別情報としてユーザ２２１の外見的特徴的をインカメラ１５４にて撮影し、ユーザ２２１の顔または全身の特徴的な部分（顔形、髪型、眉毛、目、鼻、口、眼鏡、帽子、体形、洋服）を強調して識別する識別オブジェクト２２２を生成し、表示する。本実施例ではオブジェクト生成部１９１が特に顔の特徴を抽出して、躯体部は丸い円形として、この円形の中に特定対象物２０５ａ、２０５ｅが見えるように案内する識別オブジェクト２２２を作成する。

　図７は統合された識別オブジェクトの例を示す。図７では二人のユーザに対する識別オブジェクト２２３と識別オブジェクト２２４が隣接または重なる場合にそれぞれの識別オブジェクトの一部を統合して統合オブジェクト２２５とする。

　透過ディスプレイ２０１上にてユーザ毎の複数の識別オブジェクトが隣接または重なる場合に、表示方法変更部１９２はステップ８０７において躯体部の丸い円形を共通に使った統合オブジェクト２２５を作成する。これにより、二つの識別オブジェクトを重ねて表示するよりも、より見やすくなるように改良している。

　図８は統合オブジェクトの他例であり四人のユーザの識別オブジェクト２２６、２２７、２２８、２２９を統合した統合オブジェクト２３０を示す。

（第一実施形態の第三例）
　第三例はディスプレイ１３４に近いユーザと遠いユーザの識別オブジェクトが見分けられやすいように改良した技術である。図９は第一実施形態の映像情報作成装置の視覚情報を説明するための第三例を示す図である。図１０は第一実施形態の映像情報作成装置の第三例の主な処理フローを示す図である。図９において、図２、図４と同じまたは同じ機能のものには同じ符号を付し、その説明は省略する。

　映像情報作成装置１００は、透過ディスプレイ２０１、センサカメラ２０２ａ～ｄ、２０３ａ～ｄを備える。展望室内からの見どころとなる対象物２０４ａとして富士山が選択され、特定対象物２０５ａ（富士山）の案内情報が表示されている。

　オブジェクト重畳部１８１はユーザＡ２０６ｆが特定対象物２０５ａ（富士山）を見た視線上にある透過ディスプレイ２０１上の領域にＡ用の識別オブジェクト２０７ｆを表示する。同じくオブジェクト重畳部１８１はユーザＢ２０８ｆが特定対象物２０５ａ（富士山）を見た視線上にある透過ディスプレイ２０１上の領域にＢ用の識別オブジェクト２０９ｅを表示する。この時、透過ディスプレイ２０１上の左上に「富士山が見えます」などの文字情報２１０ａを表示する。

　第三例では映像情報作成装置１００により近いユーザの識別オブジェクトと映像情報作成装置１００により遠いユーザの識別オブジェクトとでは、識別オブジェクトの表示態様を変える。表示態様の変更例として、識別オブジェクトの一部または全部のサイズ、解像度、輝度、彩度のうち少なくとも一つ以上を変えてもよい。これにより、各ユーザが自分の識別オブジェクトを見つけやすいように改良している。

　次に図１０を参照して、第一実施形態の第三例の処理の流れを説明する。図１０において、図３、図５と同じ処理または同じ機能を処理するステップには同じ符号を付し、その説明は省略する。

　図１０に示すステップ８３１、Ｓ８３２は、表示方法変更部１９２が処理を実行する。ステップ８３１において、表示方法変更部１９２は検出された各ユーザ毎（ユーザＡ２０６ｆ及びユーザＢ２０８ｆ）に透過ディスプレイ２０１からの距離を算出する。算出方法は透過ディスプレイ２０１の四隅の内側に配置されたセンサカメラ２０２ａ～ｄの４個のうち少なくとも２つ以上の出力を用いた三角測量などで算出する。また、センサカメラ２０２ａ～ｄには距離センサ１５３の機能を設けて距離を算出してもよい。

　ステップ８３２において、表示方法変更部１９２は各ユーザ毎（ユーザＡ２０６ｆ及びユーザＢ２０８ｆ）にステップ８０３にて作成された識別オブジェクトをステップ８３１で算出した距離に応じて識別オブジェクトの一部または全部のサイズ、解像度、輝度、彩度のうち少なくとも一つ以上を変える。本実施例では距離の近い方のＢ用の識別オブジェクト２０９ｆをＢ用の識別オブジェクト２０９ｆに対して顔の特徴のサイズは変えず全身の丸い円形のサイズを小さくして表示する。

　本実施例によれば透過ディスプレイ２０１に近づいたユーザＢ２０８ｆはより正確な特定対象物２０５ａの見える位置の範囲を絞り込んで案内情報表示することができる。また、他のユーザＡ２０６ｆとの位置関係で自分のＢ用の識別オブジェクト２０９ｆと他のＡ用の識別オブジェクト２０７ｆをより区別しやすくでき透過ディスプレイ２０１上で自分のオブジェクトを見つけやすくなる。この区別しやすくするためには本実施例のオブジェクトの一部のサイズを変更する以外に解像度、輝度、彩度などを距離に応じて変更しても同様の効果が得られる。

（第一実施形態の第四Ａ例、第四Ｂ例、第四Ｃ例）
　第四Ａ例、第四Ｂ例、第四Ｃ例はディスプレイ１３４に近いユーザと遠いユーザの識別オブジェクトが重なった場合には近いユーザの識別オブジェクトを優先的に表示する例である。合わせて遠いユーザの識別オブジェクトを近いユーザの識別オブジェクトの邪魔にならないように表示す方法を視覚情報生成部１９０と映像情報処理部１８０にて行う例を示す。図１１Ａ、図１１Ｂ、図１１Ｃは第一実施形態の映像情報作成装置の視覚情報を説明するための第四Ａ例、第四Ｂ例、第四Ｃ例を示す図である。図１２は第一実施形態の映像情報作成装置の第四Ａ例、第四Ｂ例、第四Ｃ例の主な処理フローを示す図である。図１１Ａ、図１１Ｂ、図１１Ｃにおいて、図２、図４、図９と同じまたは同じ機能のものには同じ符号を付し、その説明は省略する。

　映像情報作成装置１００は、透過ディスプレイ２０１、センサカメラ２０２ａ～ｄ、２０３ａ～ｄを備える。展望室内からの見どころとなる対象物２０４ａの富士山が選択され、特定対象物２０５ａ（富士山）の案内情報が表示されている。

　図１１Ａに示す映像情報作成装置の第四Ａ例はディスプレイ１３４に近いユーザと遠いユーザの識別オブジェクトが重なった場合に近いユーザの識別オブジェクトを優先的に表示する一例である。ユーザＡ２０６ｇ及びユーザＢ２０８ｇが特定対象物２０５ａ（富士山）を見た視線上にある透過ディスプレイ２０１上の領域にＡ用の識別オブジェクト２０７ｇ（図示せず）及びＢ用の識別オブジェクト２０９ｇの表示が隣接または重なる場合に、オブジェクト重畳部１８１はディスプレイ１３４により近いユーザＢ２０８ｇのＢ用の識別オブジェクト２０９ｇを優先的に表示し、ディスプレイ１３４により遠いユーザＡ２０６ｇのＡ用の識別オブジェクト２０７ｇ（図示せず）の一部または全部を表示せず透過ディスプレイ２０１上の見やすさを向上する。

　図１２を参照して映像情報作成装置の第四Ａ例の処理の流れを説明する。図１２において、図３、図５、図１０と同じ処理または同じ機能を処理するステップには同じ符号を付し、その説明は省略する。

　ステップ８４１において表示方法変更部１９２は、各ユーザ毎（ユーザＡ２０６ｇ及びユーザＢ２０８ｇ）にステップ８０６にてＡ用の識別オブジェクト２０７ｇ（図示せず）及びＢ用の識別オブジェクト２０９ｇの表示が重なる場合に近いユーザＢ２０８ｇのＢ用の識別オブジェクト２０９ｇを優先的に表示し、遠いユーザＡ２０６ｇのＡ用の識別オブジェクト２０７ｇ（図示せず）の一部または全部を出力しない。

　なお第一実施形態の第三例の一実施例（図９、図１０）を併用すれば、遠いユーザＡ２０６ｇのＡ用の識別オブジェクト２０７ｇは近いユーザＢ２０８ｇのＢ用の識別オブジェクト２０９ｇよりサイズが大きくなることもあり、その場合には優位的に表示したＢ用の識別オブジェクト２０９ｇの背後にＡ用の識別オブジェクト２０７ｇがはみ出して表示されることで遠いユーザＡ２０６ｇも同時にステップ８０８にて案内情報を表示する。

　図１１Ｂに示す映像情報作成装置の第四Ｂ例は遠いユーザＡ２０６ｇのＡ用の識別オブジェクト２０７ｇ１の表示例の一つである。第四Ｂ例ではより近いユーザを優先的に表示する領域外に遠いユーザの識別オブジェクトを表示する。

　第四Ｂ例では、図１２のステップ８０２において、ユーザ認識部１９３が各ユーザ（ユーザＡ２０６ｇとユーザＢ２０８ｇ）を検出して認識し、位置情報作成部１８２が各ユーザの配置を演算処理して求める。そしてステップ８４１おいて、表示方法変更部１９２は上記ユーザの識別結果及びユーザの配置の演算結果に基づいて遠いユーザＡ２０６ｇから見て近いユーザＢ２０８ｇの陰になって透過ディスプレイ２０１上が見えない領域に重なるＡ用の識別オブジェクト２０７ｇ１を表示しないようにする（図１１Ｂの破線部）。

　これにより近いユーザのオブジェクト表示をより見やすくできる。なお、遠いユーザのオブジェクトは遠くからも見えやすいように拡大表示してもよい。

　図１１Ｃに示す映像情報作成装置の第四Ｃ例は遠いユーザＡ２０６ｇのＡ用の識別オブジェクト２０７ｇ２の異なる表示例の一つである。第四Ｃ例は近いユーザを優先的に表示する領域外であって、遠いユーザの識別オブジェクトをより積極的に拡大表示して遠くからも見やすく表示する。

　第四Ｃ例では、図１２のステップ８３２において、表示方法変更部１９２は遠いユーザＡのＡ用の識別オブジェクトを近いユーザＢのＢ用の識別オブジェクトより積極的に大きいサイズにて変更する。

　これにより、ユーザＢ２０８ｇがＢ用の識別オブジェクト２０９ｇ（及びその先に見える特定対象物２０５ａ）を眺めるのに邪魔にならないようにより大きくユーザＡ２０６ｇのＡ用の識別オブジェクト２０７ｇ２を表示する（図１１Ｃに示す）。

　第四Ａ例、第四Ｂ例、及び第四Ｃ例によれば、ディスプレイにより遠いユーザの識別オブジェクトの表示が、ディスプレイにより近いユーザの識別オブジェクト及び特定対象物を遮らないので、より近いユーザが特定対象物を見やすくなる。加えてより遠いユーザは、遠くからでも見やすい大きなサイズの識別オブジェクトを表示することができる。

（第一実施形態の第五例）
　第五例はディスプレイ１３４を見ているユーザと見ていないユーザを識別し、ディスプレイ１３４上に見ているユーザのみの識別オブジェクトを表示する方法を視線位置検出部１９４と表示方法変更部１９２にて行う例である。図１３は第一実施形態の映像情報作成装置の視覚情報を説明するための第五例を示す図である。図１４は第一実施形態の映像情報作成装置の第五例の主な処理フローを示す図である。図１３において、図２、図４、図９、図１１Ａ、図１１Ｂ、図１１Ｃと同じまたは同じ機能のものには同じ符号を付し、その説明は省略する。

　ユーザＡ２０６ｈ及びユーザＢ２０８ｈが特定対象物２０５ａ（富士山）を見た視線上にある透過ディスプレイ２０１上の領域にＡ用の識別オブジェクト２０７ｈ（図示せず）及びＢ用の識別オブジェクト２０９ｈの表示をする際に、ユーザＡ２０６ｈが透過ディスプレイ２０１の方向を見ていない場合にはＡ用の識別オブジェクト２０７ｈ（図示せず）を表示せず透過ディスプレイ２０１上の見やすさを向上する。

　図１４を参照して映像情報作成装置の第五例の処理の流れを説明する。図１４において、図３、図５、図１０、図１２と同じ処理または同じ機能を処理するステップには符号を付し、その説明は省略する。

　ステップ８５１にて透過ディスプレイ２０１の四隅の内側に配置されたセンサカメラ２０２ａ～ｄの４個で得られたユーザの顔画像から視線位置検出部１９４は各ユーザの目を検出して各ユーザの視線を検出して視線情報を生成する。

　より正確には視線位置検出部１９４は目頭等を基準点として虹彩の位置に基づいて視線を検出する（例えば、左目の虹彩が目頭から離れていればユーザは左側を見ており、左目の目頭と虹彩が近ければユーザは右側を見ている）。また、視野は例えば視線の中心を基準に概略６０度程度に設定する。

　ステップ８５２にて視線位置検出部１９４がユーザの視線情報に基づいてユーザの視野内に透過ディスプレイ２０１を介して特定対象物２０５ａ（富士山）があると判断した場合（Ｓ８５２：Ｙｅｓ）にはステップ８０５へ進み必要なＢ用の識別オブジェクト２０９ｈを表示する。

　一方、視線位置検出部１９４がユーザ視野内に特定対象物ａ（富士山）がないと判断した場合（Ｓ８５２：Ｎｏ）にはステップ８０８へ進み識別オブジェクトによる案内情報を表示しない。

　第五例によれば、ディスプレイ１３４を向いていないユーザの識別オブジェクトは表示しないことにより、ディスプレイ１３４に表示する識別オブジェクト数を減らし、ディスプレイ１３４を見ているユーザの鑑賞の妨げとなることを防止できる。

（第一実施形態の第六例）
　第六例は第五例の透過ディスプレイ２０１の方向を見ていないユーザが透過ディスプレイ２０１の方向を向き始めた場合の案内情報の表示方法の一例である。図１５は第一実施形態の映像情報作成装置の視覚情報を説明するための第六例を示す図である。図１６は第一実施形態の映像情報作成装置の第六例の主な処理フローを示す図である。図１５において、図２、図４、図９、図１１Ａ、図１１Ｂ、図１１Ｃ、図１３と同じまたは同じ機能を有するものには同じ符号を付し、その説明は省略する。

　映像情報作成装置１００は、透過ディスプレイ２０１、センサカメラ２０２ａ～ｄ、２０３ａ～ｄを備える。展望室内からの見どころとなる対象物２０４ａの夕日と富士山が表示され、特定対象物２０５ａ（富士山）の案内情報が表示されている。

　ユーザＡ２０６ｉが透過ディスプレイ２０１の右下の方から視線が透過ディスプレイ２０１上に入ったとき、Ａ用の識別オブジェクト２０７ｔ１（２０７ｔ２、２０７ｔ３）に示すように、識別オブジェクトの一部を特定対象物２０５ａ（富士山）が見える方向を示す情報（本実施形態では矢印マーク）を付加して表示する。これによりユーザが特定対象物２０５ａがある位置とは違う方向を見ている場合に、特定対象物２０５ａに向かって視線を誘導することができる。

　図１６を参照して映像情報作成装置の第六例の処理の流れを説明する。図１６において、図３、図５、図１０、図１２、図１４と同じ処理または同じ機能を処理するステップには同じ符号を付し、その説明は省略する。

　ステップ８６１、Ｓ８６２、Ｓ８６３において、視線位置検出部１９４は検出センサ１５７にて処理され、ステップ８６４は図１の表示方法変更部１９２にて処理される。

　視線位置検出部１９４は、ユーザの視線情報に基づいて視野内に透過ディスプレイ２０１を介して特定対象物２０５ａ（富士山）があると判断した場合（Ｓ８６１：Ｙｅｓ）にはステップ８０８へ進み、オブジェクト重畳部１８１が必要なＢ用の識別オブジェクト２０９ｉを表示する（図示しないが、図１６のステップ８０５～Ｓ８０７を設けてもよい）。

　一方、視線位置検出部１９４がユーザ視野内に特定対象物ａ（富士山）がないと判断した場合（Ｓ８６１：Ｎｏ）には、視線位置検出部１９４はユーザ視線内に透過ディスプレイ２０１の一部があるか否かを判断する（Ｓ８６２）。

　視線位置検出部１９４は、ユーザがユーザの視線内に透過ディスプレイ２０１のすべてが見えない位置にいると判断した場合（Ｓ８６２：Ｎｏ）にはＡ用の識別オブジェクト２０７ｉを表示せず、ステップ８０８へ進み、オブジェクト重畳部１８１がその他の案内情報を表示する。

　一方、視線位置検出部１９４は、ユーザがユーザの視線内に透過ディスプレイ２０１の一部が見える位置にいると判断した場合（Ｓ８６２：Ｙｅｓ）には、透過ディスプレイ２０１内のユーザ視野内で特定対象物ａ（富士山）が見える位置に近い位置を算出し（Ｓ８６３）、オブジェクト重畳部１８１がＡ用の識別オブジェクト２０７ｔ１に示すように識別オブジェクトの一部に特定対象物２０５ａ（富士山）が見える方向を示す情報を付加して案内情報を表示する（Ｓ８６４）。

　ユーザＡ２０６ｉがこの案内情報のＡ用の識別オブジェクト２０７ｔ１の方向の情報を見て視線を左上の方向に動かすと、繰り返し行われる次の図１６の処理ステップではユーザの視線情報が左上の方向に動きＡ用の識別オブジェクト２０７ｔ２、２０７ｔ３と移動表示され、最終的にＡ用の識別オブジェクト２０７ｉまで案内表示する。

　ここで、ユーザの視線の中心に表示していないためユーザの注意を引きやすくできるように、表示するＡ用の識別オブジェクト２０７ｔ１～２０７ｔ３及びＡ用の識別オブジェクト２０７ｉを所定時間点滅、ズームアウト、フェードイン等の動画エフェクト効果を用いて強調表示する。この処理は例えば表示方法変更部１９２が行う。

　第一実施形態の映像情報作成装置の第一例から第六例はそれぞれの特徴を説明するために分けて記載したが、技術的な矛盾がない範囲で組み合わせて利用できる。

（第二実施形態）
　本第二実施形態は第一実施形態の映像情報作成装置３００（１００）に情報端末装置４００を組み合わせた映像情報表示システムに係り、ユーザが所持する情報端末装置に映像情報作成装置が生成、表示した案内情報を送信する実施形態である。図１７は第二実施形態の映像情報表示システムの機能ブロック構成を示す図である。

　本第二実施形態の映像情報作成装置３００は、図１～図１６にて説明した例えば透過ディスプレイ、ヘッドアップディスプレイ、スマートフォン、タブレット端末、パソコン等である。情報端末装置４００は、例えば携帯可能はスマートフォン、タブレット端末、パソコン、ヘッドアップディスプレイ等である。

　本実施の形態における映像情報作成装置３００は、メインプロセッサ３０１、メモリ３１０、入出力インターフェイス３２０、センサ群３５０、通信インターフェイス３６０、音声処理部３７０等を備えている。これらの構成要素はバス３０２を介して互いに接続されている。各部の詳細は第一実施形態の図１～図１６で説明した通りである。

　また映像情報作成装置３００は、メインプロセッサ３０１が本実施形態に係る映像表示処理プログラムを実行することにより映像情報処理部３８０及び視覚情報生成部３９０が構成される。なお、図１７では説明の便宜のため、ハードウェアとソフトウェアとが協働して構成される機能ブロックである映像情報処理部３８０及び視覚情報生成部３９０も映像情報作成装置３００を構成するハードウェア要素と同一の図１７に図示しているが、映像情報処理部３８０及び視覚情報生成部３９０は図１Ｂで説明した映像情報処理部１８０及び視覚情報生成部１９０と同一の要素である。

　情報端末装置４００はメインプロセッサ４０１、メモリ４１０、入出力インターフェイス４２０、ディスプレイ４３４、映像情報処理部４８０、センサ群４５０、通信インターフェイス４６０、音声処理部４７０等を備えている。これらの構成要素はバス４０２を介して互いに接続されている。

　メモリ４１０は、ＲＡＭ４１１、ＲＯＭ４１２、フラシュメモリ４１３等を含む。

　入出力インターフェイス４２０は、各種のボタンスイッチ４２１、タッチパネル４２２等を含む。

　映像情報処理部４８０は、オブジェクト重畳部４８１、位置情報作成部４８２、表示方法設定部４８３を含む。

　センサ群４５０は、衛星測位センサ４５１、地磁気センサ４５２、距離センサ４５３、インカメラ４５４、アウトカメラ４５５、その他センサ４５６、加速度センサ４５７、ジャイロセンサ４５８、生体情報取得センサ４５９等を含む。

　通信インターフェイス４６０は、無線通信インターフェイス４６１、ユーザ情報通信インターフェイス４６２、近距離無線通信インターフェイス４６３を含む。

　音声処理部４７０はスピーカ４７１、マイク４７２等を含む。

　メモリ４１０は、情報端末装置４００全体をメインプロセッサ４０１にて制御するためのプログラム等を記憶する。各構成要件で処理される各種データ等がバス４０２経由で一時記憶される。

　各種のボタンスイッチ４２１は例えば本機能の動作をオン又はオフに切り替えるスイッチである。タッチパネル４２２はディスプレイ４３４上に表示させたボタン等をタッチさせて入力する手段などで構成される。

　ディスプレイ４３４は通信インターフェイス４６０と通信インターフェイス３６０との間で直接または通信回線５０１を介して映像情報を受信して表示する。

　衛星測位センサ４５１はＧＰＳに代表される衛星測位システムで位置を測定するためのセンサで、複数のＧＰＳ衛星からの信号を受信して高精度な三次元の現在地情報を得る。なお、ＧＰＳで行う測位精度の向上のために収集データの補強・補正することを目的に利用されているＳＢＡＳ（補強衛星群）としてのＲＮＳＳ（地域広報衛星システム）を利用してもよい。

　地磁気センサ４５２は地球の磁力を検出し二次元や三次元の方向を計測する。

　距離センサ４５３は超音波やレーザ光をパルス発光させ対象物にあたって戻ってくるまでの時間を計測する方法等にて距離を測定する。

　インカメラ４５４はディスプレイ４３４を見ているユーザ側を撮影する撮像機である。

　アウトカメラ４５５はユーザから見てディスプレイ４３４の先にあるものを撮影する撮像機である。

　その他センサ４５６は周辺環境（明るさ、温度、騒音等）等の必要な情報を得るための検出器である。

　加速度センサ４５７は情報端末装置４００の動きの速度変化を検出する。

　ジャイロセンサ４５８は情報端末装置４００の回転の速度を検出する。

　生体情報取得センサ４５９はユーザの指紋、掌紋、静脈、顔、声紋、虹彩などを取得して情報端末装置の所有者の認証などを行う。

　無線通信インターフェイス４６１は４Ｇ／５Ｇ等の移動体通信に用いられる無線通信の送受信機能を有するインターフェイスである。無線通信インターフェイス４６１は外部ネットワークを介して映像情報作成装置３００の通信インターフェイス３６０や外部ネットワーク上のサーバとの間で必要な情報を取得することができる。

　ユーザ情報通信インターフェイス４６２はＷｉＦｉ（登録商標）等に代表される中距離無線通信の送受信機能を有するインターフェイスで、映像情報作成装置３００の通信インターフェイス３６０と直接通信することができる。

　近距離無線通信インターフェイス４６３はＢｌｕｅｔｏｏｔｈ（登録商標）やＮＦＣ等の近距離無線通信の送受信機能で、映像情報作成装置３００の通信インターフェイス３６０と情報量が少ない情報を直接通信することができる。

　スピーカ４７１は映像情報処理部４８０で作成される案内情報を音声情報として出力する。マイク４７２は入出力インターフェイス４２０にて入力する情報を音声にて入力する。

（第二実施形態の第一例）
　第一例はユーザが所有する情報端末装置に、展望台などに設置されたディスプレイに表示された案内情報の一部又は全部を送信案内情報として転送する技術について説明する。

　図１８は第二実施形態の映像情報表示システムの視覚情報を説明するための第一例を示す図である。図１９、図２０、図２１は第二実施形態の映像情報表示システムの第一例の主な処理フローを示す図である。

　図１８において、映像情報作成装置３００は、ディスプレイ３３４として展望室内からの景色を眺めるための透過ディスプレイ２０１、展望室内からの見どころとなる少なくとも一つ以上の対象物２０４ａとして、富士山や夕日等が表示される。それら見どころとなる対象物２０４ａのうち、ユーザに対してみる方向を案内するものとして選択された対象物が特定対象物である。図１８では、特定対象物２０５ａ（富士山）が選択され、強調して表示される。

　ユーザＡ２０６ａが情報端末装置４００を所有し、情報端末装置４００は図１８に示すスマートフォン４９２の形をしている。ディスプレイ４３４は有機ＥＬディスプレイや液晶ディスプレイ４７３で構成される。ここで、スマートフォン４９２上の液晶ディスプレイ４７３は、透過ディスプレイ２０１の一部または全部の表示画面を含む送信案内情報４９３（破線で示す）として表示する。

　次に図１９、図２０、図２１を参照して、第二実施形態の映像情報表示システムの第一例の処理の流れを説明する。本第二実施形態における映像情報作成装置３００は、第一実施形態の映像情報作成装置１００と同じまたは同じ機能を有する。情報端末装置４００は透過ディスプレイ２０１を直接見ることが難しい状況などで、ユーザが手元にあるスマートフォン４９２などで自由に見ることができる。

　図１９は映像情報作成装置３００の処理ステップを示す。図１９において、図３、図５、図１０、図１２、図１４、図１６と同じ処理または同じ機能を処理するステップには同じ符号を付し、その説明は省略する。

　ステップ８７１では透過ディスプレイ２０１に透過された現実の世界またはアウトカメラ１５５にて現実の世界を撮影した映像を表示すると同時にユーザＡ２０６ａにＡ用の識別オブジェクト２０７ａを付加した案内情報をユーザの位置と特定対象物と結ぶ線上にある透過ディスプレイ２０１上に重畳表示する。そして、透過ディスプレイ２０１の表示内容のうち、少なくともＡ用の識別オブジェクト２０７ａを含む案内情報の一部または全部を含む送信案内情報４９３を生成し、通信インターフェイス３６０から直接または通信回線５０１を介して情報端末装置４００へ送信する。

　図１９の処理はセンサカメラ２０２ａ～ｄまたは透過ディスプレイ２０１に一枚の映像を検出または表示するサイクル（例えば、毎秒６０、１２０、２４０枚など）にて繰り返し行う。

　情報端末装置４００は液晶ディスプレイ４７３を内蔵したスマートフォン４９２である。図２０，図２１は情報端末装置４００の処理ステップを示す。

　図２０のステップ９０１において情報端末装置４００が起動（開始）すると（Ｓ９０１）、アウトカメラ４５５の撮像部が起動し（Ｓ９０２）、映像情報作成装置３００との接続情報を示す２次元コードが映像情報作成装置３００の周辺部や透過ディスプレイ２０１の一部に表示されているものを撮影して２次元コードを読み取る（Ｓ９０３）。

　情報端末装置４００は読み取った２次元コードで接続情報が得られたか否かを判断し、接続情報が得られなかった場合（Ｓ９０４：Ｎｏ）はステップ９０６へ進み終了する。

　一方、情報端末装置４００は接続情報が得られた場合（Ｓ９０４：Ｙｅｓ）は情報端末装置４００の通信インターフェイス４６０と映像情報作成装置３００の通信インターフェイス３６０の接続を行い、ステップ９０６へ進み終了する。

　そしての通信インターフェイス４６０と映像情報作成装置３００の通信インターフェイス３６０の接続が完了すると、図２１の処理が起動（開始）する。

　情報端末装置４００は映像情報作成装置３００のステップ８７１から送信する現実の世界を撮影した映像とユーザＡ２０６ａのＡ用の識別オブジェクト２０７ａが付加されたた送信案内情報４９３を通信インターフェイス３６０にて受信する（Ｓ９０７）。

　表示方法設定部４８３は予め入出力インターフェイス４２０で設定された表示選択モードを検出し（Ｓ９０８）、表示選択モードに従った表示の可否を判断する。

　表示方法設定部４８３が表示選択モードに従った表示はできないと判断した場合（Ｓ９０９：Ｎｏ）はステップ９１１に進みＡ用の識別オブジェクト２０７ａなどを表示せず、その他（例えば、現実の世界を撮影した映像）の案内情報表示処理を行う（Ｓ９１１）。

　一方、表示方法設定部４８３が表示選択モードに従った表示はできると判断した場合（Ｓ９０９：Ｙｅｓ）は、オブジェクト重畳部４８１は映像情報作成装置３００から受信した現実の世界を撮影した映像にユーザＡ２０６ａのＡ用の識別オブジェクト２０７ａが付加された案内情報を含む送信案内情報４９３を重畳し（Ｓ９１０）、表示する（Ｓ９１１）。そして、処理を終了する。

　なお、表示選択モードの表示選択には案内情報を表示するか否かだけでなく、特定のユーザＡのみを表示するか否か等を含む。

　図２１の処理は液晶ディスプレイ４７３に一枚の映像を表示するサイクル（例えば、毎秒６０、１２０、２４０枚など）にて繰り返し行う。

　本実施例によれば、透過ディスプレイにユーザ毎の識別オブジェクトが付加された案内情報が表示されているものの、ユーザが手元でしっかり見たいと思う場合は、自分の識別オブジェクトを含む透過ディスプレイの表示内容を送信案内情報として手元の携帯情報端末に表示することができる。これにより、ユーザは自分向けの案内情報及び特定対象物を手元の情報端末装置４００で視認でき、使い勝手が向上する。

（第二実施形態の第二例）
　第二例は第一例に追加して、映像情報作成装置３００に表示される複数の識別オブジェクトの中から自分の識別オブジェクトを見つけやすくなる技術について説明する。

　図２２は第二実施形態の映像情報表示システムの視覚情報を説明するための第二例を示す図である。

　図２２に示すように情報端末装置４００にはユーザ自身が予め登録したユーザのプロフィール映像や自分の分身としてアバター４７５を有することがある。そこで第二例では、情報端末装置４００が有するアバター４７５を映像情報作成装置３００に送信し、アバター４７５を用いた識別オブジェクト４７６を生成して表示することにより、他のユーザの識別オブジェクトの中から見慣れた自分の識別オブジェクト４７６を見つけやすくする。

　次に図２３、図２４を参照して、第二実施形態の映像情報表示システムの第二例の処理の流れについて説明する。図２３、図２４は第二実施形態の映像情報表示システムの第二例の主な処理フローを示す図である。本実施例における映像情報作成装置３００は、第一例の映像情報作成装置３００と同じまたは同じ機能を有する。図２３は情報端末装置４００の処理ステップを示す。図２３において、図２０、図２１と同じ処理または同じ機能を処理するステップには同じ符号を付し、その説明は省略する。

　ステップ９２１にて情報端末装置４００は通信インターフェイス４６０から映像情報作成装置３００の通信インターフェイス３６０を介して、スマートフォン４９２内に予め登録されたアバター４７５の画像を含むアバター情報を送信する。

　図２４は映像情報作成装置３００の処理ステップを示す。図２４において、図３、図５、図１０、図１２、図１４、図１６、図１９と同じ処理または同じ機能を処理するステップには同じ符号を付し、その説明は省略する。

　ステップ８７５にて映像情報作成装置３００はスマートフォン４９２内に予め登録されたアバター４７５を受信する。

　映像情報作成装置３００がアバター４７５を受信した場合（Ｓ８７６：Ｙｅｓ）は視覚情報生成部３９０（表示方法変更部３９２図示せず）がステップ８０３で作成した識別オブジェクトをアバター４７５に変更し、ステップ８０５以降の処理にて案内表示する。

　一方、映像情報作成装置３００がアバター４７５を受信しなかった場合（Ｓ８７６：Ｎｏ）は視覚情報生成部３９０（表示方法変更部３９２図示せず）がステップ８０３で作成した識別オブジェクトを変更することなく、ステップ８０５以降の処理にて案内表示する。

　図２４の処理はセンサカメラ２０２ａ、２０２ｂ、２０２ｃ、２０２ｄまたは透過ディスプレイ２０１に一枚の映像を検出または表示するサイクル（例えば、毎秒６０、１２０、２４０枚など）にて繰り返し行う。

　本実施例によれば、案内情報に付加される識別オブジェクトとしてユーザが用いるアバターを使用できるので、ユーザが自分に対する案内情報を見つけやすくなる。

（第三実施形態の第一例）
　本第三実施形態は第二実施形態を拡張したものであり、ユーザが直接的に映像情報作成装置３００を見えない位置にいる場合に情報端末装置４００を用いて映像情報作成装置３００が見える位置に案内する実施形態である。本第三実施形態の情報端末装置４００は、図１７～図２４にて説明した例えば携帯可能はスマートフォン、タブレット端末、パソコン、ヘッドアップディスプレイ等である。

　図２５は第三実施形態の情報端末装置の機能ブロック構成を示す図である。図２６、図２７は第三実施形態の情報端末装置の視覚情報を説明するための第一例を示す図である。図２８、図２９は第三実施形態の情報端末装置の第一例の主な処理フローを示す図である。図３０、図３１は第三実施形態の情報端末装置の第一例の主要な送受信処理フローを示す図である。

　本実施の形態における情報端末装置４００はメインプロセッサ４０１、メモリ４１０、入出力インターフェイス４２０、映像情報処理部４８０、センサ群４５０、通信インターフェイス４６０、音声処理部４７０等を備えている。これらの構成要素はバス４０２を介して互いに接続されている。各部の詳細は第二実施形態の図１７～図２４で説明した通りである。

　通信インターフェイス４６０は直接または通信回線５０１を経由して映像情報作成装置３００や関連のサーバ５０２と接続し情報を送受信する。

　図２６、図２７において、図１８、図２２と同じまたは同じ機能を有するものには同じ符号を付し、その説明は省略する。

　図２６では映像情報作成装置３００は展望室内の壁５１１に取り付けられている。そしてユーザＡ２０６ａの位置からは展望室内の壁５１１に阻まれて特定対象物２０５ａ（富士山）が見えない。そこで、映像情報作成装置３００が情報端末装置４００に送信案内情報を送信し、ユーザに対して映像情報作成装置３００の透過型ディスプレイを介して特定対象物２０５ａが見えることを案内する。

　図２６では、スマートフォン４９２と液晶ディスプレイ４７３上にはアウトカメラ４５５にて撮像された映像と展望室内からの見どころとなる対象物５１２としての富士山や夕日等が表示される。

　ユーザＡ２０６ａはスマートフォン４９２の液晶ディスプレイ４７３上の映像情報５１４から特定対象物２０５ａ（富士山）を映像情報作成装置３００から見えることが分かる。

　そこで、その方向に移動することを案内（図２６においては左側へ移動する）される。図２７は図２６の案内に従い移動して、映像情報作成装置３００の透過ディスプレイを介して特定対象物２０５ａ（富士山）を眺めることができた位置にある場合を示す。

　図２６ではインカメラ４５４の画角内にユーザＡが存在しており、ユーザＡ２０６ａとアウトカメラ４５５で撮影した特定対象物２０５ａ（富士山）とを結ぶ仮想視線上の映像を情報端末装置４００のアウトカメラ４５５にて撮像された映像上に有る場合に、液晶ディスプレイ４７３上のその映像に特定対象物２０５ａ（富士山）の方向を示す案内情報５１３と映像情報作成装置３００から見える特定対象物２０５ａ（富士山）の映像情報５１４を表示する。なお、上記仮想視線とは壁５１１があるのでユーザの視線ではなく、映像情報作成装置３００が演算して得られたユーザの仮想視線であり、もし壁５１１が透過物であればユーザが特定対象物２０５ａを見たときの線である。

　なお、映像情報作成装置３００からユーザＡ２０６ａが見えないため、案内情報５１３は図２２の第二実施形態の映像情報表示システムの第二例にて説明したようにスマートフォン４９２に登録されたアバター４７５を用いる。

　図２８、図２９を参照して第三実施形態の情報端末装置の第一例の処理の流れを説明する。本実施の形態におけるユーザ２０６ａからは特定対象物２０５ａ（富士山）が見えない位置にいても手元に所有する情報端末装置４００上に特定対象物２０５ａ（富士山）が見える展望室の映像情報作成装置３００の位置に案内する案内情報５１３を提供する。合わせて映像情報作成装置３００から見える特定対象物２０５ａ（富士山）の映像情報５１４を提供する。図２８において、図２０、図２３と同じ処理または同じ機能を処理するステップには同じ符号を付し、その説明は省略する。

　ステップ９３１はアウトカメラ４５５にて撮像された映像と周辺の見どころとなる対象物５１２を液晶ディスプレイ４７３上に表示して終了する。

　図２９において、図２０、図２３と同じ処理または同じ機能を処理するステップには同じ符号を付し、その説明は省略する。

　ユーザ２０６ａは図２８のステップ９３１で例示された対象物５１２の中から選択するか液晶ディスプレイ４７３上にタッチパネル４２２を使って特定対象物２０５の名称を自由に設定する（Ｓ９３２）。

　特定対象物２０５が設定されていない場合（Ｓ９３３：Ｎｏ）にはステップ９１１に進みオブジェクト重畳部４８１は案内情報５１３を重畳表示せず終了する。

　一方、オブジェクト重畳部４８１は、特定対象物２０５が設定されていると判断した場合（Ｓ９３３：Ｙｅｓ）、オブジェクト重畳部４８１は、衛星測位センサ４５１等を利用して情報端末装置４００の位置情報を取得する（Ｓ９３４）。

　そして情報端末装置４００はアウトカメラ４５５が撮像した撮像映像と、特定対象物２０５の位置情報と端末位置情報を映像情報作成装置３００へ送信する（Ｓ９３５）。

　映像情報作成装置３００は第一実施形態にて説明したように受信した撮像映像内にユーザ２０６ａ（所有する端末位置情報を利用）と特定対象物２０５ａを結ぶ線上がある場合に案内情報５１３を作成する。

　情報端末装置４００は映像情報作成装置３００のアウトカメラ１５５にて現実の世界を撮影した映像と案内情報５１３を受信して（Ｓ９３６）、案内情報を表示処理して（Ｓ９１１）終了する。

　図２８、図２９の処理はアウトカメラ４５５またはディスプレイ４３４に一枚の映像を撮影または表示するサイクル（例えば、毎秒６０、１２０、２４０枚など）にて繰り返し行う。

　次に、図３０、図３１を用いて、ステップ９３５とステップ９３６の情報端末装置４００と映像情報作成装置３００の送受信動作のより具体的な主要な処理の一例を説明する。図３０、図３１のステップ９３５、Ｓ９３６は図２９、図３０と同じ処理である。

　図３０は情報端末装置４００内の処理について説明する。

　情報端末装置４００は撮像映像と特定対象物と端末位置情報を送信すると（Ｓ９３５）、映像情報作成装置３００が受信し（Ｓ９５１）、映像情報作成装置３００が受信した端末位置情報を基に、受信した撮像映像と予め本建物の詳細な撮影映像や距離センサ等により室内マップを生成し世界座標系に対応付け映像計測可能なＶＰＳ（Ｖｉｓｕａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）の３次元地図情報と比較してより正確な端末位置を特定する（Ｓ９５２）。

　映像情報作成装置３００はこのより正確な端末位置情報と特定対象物２０５ａ（富士山）を結ぶ線と受信した撮像映像上の位置情報を算出し、特定対象物表示位置情報を算出する（Ｓ９５３）。

　映像情報作成装置３００は受信した撮像映像内に映像情報作成装置３００のディスプレイ３３４（１３４）の映像がある場合にはその映像を映像情報作成装置３００のアウトカメラ３５５（１５５）にて現実の世界を撮影した映像に置き換えて映像と特定対象物表示位置情報を送信する（Ｓ９５４）。

　情報端末装置４００はこれらの情報を受信して（Ｓ９３６）、案内情報表示処理を実行して表示する（Ｓ９１１）。

　このように衛星測位センサより撮像映像を使った高精度なＶＰＳ技術を用いた高精度な案内情報を提供できる。

　また、図３１を参照して情報端末装置４００内の位置情報作成部４８２での位置を算出する処理について説明する。

　情報端末装置４００は室内マップ情報要求を送信し（Ｓ９３５ａ）、映像情報作成装置３００がこれを受信する（Ｓ９６１）。映像情報作成装置３００は室内マップ情報を作成して送信し（Ｓ９６２）、情報端末装置４００が受信する（Ｓ９３６ａ）。

　情報端末装置４００は特定対象物情報要求を送信し（Ｓ９３５ｂ）、映像情報作成装置３００が特定対象物情報要求を受信する（Ｓ９６３）。映像情報作成装置３００は特定対象物情報を送信し（Ｓ９６４）、情報端末装置４００がそれを受信する（Ｓ９３６ｂ）。

　情報端末装置４００は映像情報作成装置３００の映像情報要求を送信し（Ｓ９３５ｃ）、映像情報作成装置３００が受信する（Ｓ９６５）。映像情報作成装置３００は映像情報作成装置３００のアウトカメラ１５５が撮像した映像情報を送信し（Ｓ９６６）、情報端末装置４００が受信する（Ｓ９３６ｃ）。情報端末装置４００の位置情報作成部４８２は案内情報の位置を算出し、オブジェクト重畳部４８１にて案内情報５１３を重畳する。以上のごとくステップ９１１にて表示する案内情報を情報端末装置４００にて作成する。

（第三実施形態の第二例）
　第二例は第一例に比較してより離れた位置から特定対象物２０５ａ（富士山）が見える展望室の映像情報作成装置３００の位置に案内する方法を提供する。

　図３２、図３３は第三実施形態の情報端末装置の視覚情報を説明するための第二例及び別例を示す図である。図３４は第三実施形態の情報端末装置の第二例の主な処理フローを示す図である。図３５は第三実施形態の情報端末装置の第二例のサーバ５０２との送受信処理フローを示す図である。図３２と図３３において、図２６と図２７と同じまたは同じ機能を有するものには同じ符号を付し、その説明は省略する。

　スマートフォン４９２は液晶ディスプレイ４７３上にアウトカメラ４５５にて撮像された映像と現在地から近い特定対象物２０５ａ（富士山）が見られる複数の展望室等の窓（映像情報作成装置３００）の位置と、その位置から見える特定対象物２０５ａ（富士山）の映像情報４８８、４８９を表示する。更にスマートフォン４９２は液晶ディスプレイ４７３にその地点までの地図情報４９８と案内情報（建物までの道案内４８４、４８５と建物内の室内案内４８６、４８７）を表示する。

　次に図３４を参照して、第三実施形態の第二例の処理の流れを説明する。図３４において、図２０、図２１、図２３、図２８、図２９と同じ処理または同じ機能を処理するステップには同じ符号を付し、その説明は省略する。

　ステップ９７１において情報端末装置４００（スマートフォン４９２）はステップ９３６にて受信した特定対象物２０５ａ（富士山）が見える場所が複数ある否かを判断し、複数ない場合（Ｓ９７１：Ｎｏ）にはその案内情報を表示する（Ｓ９１１）。

　一方、複数ある場合（Ｓ９７１：Ｙｅｓ）は図３２に示すようにその複数の箇所を表示し、ユーザがその内から一つを指定する（Ｓ９７２）。この指定のための情報として複数の場所からそれぞれ見える特定対象物２０５ａ（富士山）の映像情報４８８、４８９を表示する。このとき表示される映像情報４８８、４８９は現在のその場所（映像情報作成装置３００）の映像をサーバ５０２経由して受信しても良いし、現在位置からその場所にたどり着く時間を予測しその時間に見える映像を過去の映像から表示しても良い。特に、特定対象物２０５ｅ（夕日）が時々刻々動いているような場合にはより有効な効果が得られる。

　情報端末装置４００は指定場所の情報をサーバ５０２へ送信し（Ｓ９７３）、サーバ５０２から指定した場所への案内情報（図３３）を受信して（Ｓ９７４）、特定対象物２０５ａ（富士山）が見える場所へ案内する（Ｓ９１１）。

　ここで、情報端末装置４００とサーバ５０２（または映像情報作成装置３００）の送受信の詳細な処理フローを図３５にて説明する。図３５のステップ９３５（ｄ、ｅ）とＳ９３６（ｄ、ｅ）、Ｓ９５１（ｄ、ｅ）～Ｓ９５４（ｄ、ｅ）は図２９、図３０、図３１と同じ処理である。

　情報端末装置４００は撮像映像と特定対象物と端末位置情報を送信すると（Ｓ９３５ｄ）、サーバ５０２は受信し（Ｓ９５１ｄ）、受信した端末位置情報を基に、受信した撮像映像と予め衛星映像や車道や歩道を走り回って撮影した映像や建物内の撮影した情報から特徴的な部分を抽出して作成されたＶＰＳの３次元地図情報と比較してより正確な端末位置を特定する（Ｓ９５２）。

　サーバ５０２は特定対象物表示位置情報を算出し（Ｓ９５３）、受信した撮像映像内に特定対象物が見える映像情報作成装置３００が複数ある場合に、サーバ５０２は各映像情報作成装置３００から見える現実の世界を撮影した映像を入手してこれらの情報を送信し（Ｓ９５４ｄ）、情報端末装置４００が受信する（Ｓ９３６ｄ）。

　情報端末装置４００は図３３に示すように複数の場所を表示し、ユーザが複数の場所から見たい場所を指定する（Ｓ９８１）。情報端末装置４００は指定場所の情報を送信し（Ｓ９８２）、サーバ５０２が指定場所の情報を受信する（Ｓ９８３）。

　サーバ５０２が改めて指定場所のみの特定対象物位置案内情報と映像情報作成装置の映像とを送信（Ｓ９５４ｅ）、情報端末装置４００が受信して（Ｓ９３６ｅ）、案内情報の表示処理を実行する（Ｓ９１１）。

　図３４の処理はアウトカメラ４５５またはディスプレイ４３４に一枚の映像を撮影または表示するサイクル（例えば、毎秒６０、１２０、２４０枚など）にて繰り返し行う。

　本実施例によれば、第三実施形態の第一例と比較してより離れた位置から特定対象物２０５ａ（富士山）が見える展望室の映像情報作成装置３００の位置に、ユーザを案内することができる。

（第三実施形態の第三例）
　第三例では、例えば水族館の水槽などで小さな魚などなかなか見付け辛い特定対象物をスマートフォン４９２にて案内表示している場合に、スマートフォン４９２を所有していないユーザＣに対してもこの案内情報を提供する。

　図３６、図３７は第三実施形態の情報端末装置の視覚情報を説明するための第三例及び別例を示す図である。図３６のスマートフォン４９２の液晶ディスプレイには、水族館の水槽などで小さな魚を特定対象物とし、この特定対象物が見えることを示すメッセージ２１０ｊが表示される。

　またスマートフォン４９２の液晶ディスプレイには、第一例の図２７の状況でユーザＡ２０６ａの案内情報を提供するＡ用の識別オブジェクト５２３と、近くにスマートフォンを所有しないユーザＣがいると案内情報のＣ用の識別オブジェクト４９１も表示される。

　ここで、ユーザＡがスマートフォン４９２上のＣ用の識別オブジェクト４９１を選択し、ユーザＣにスマートフォン４９２を貸し与えることでスマートフォンを所有しない（または本発明を利用していない）ユーザＣにも同様の案内情報（図３７）を提供できる。なお、この表示モード変更は図２１のステップ９０８～Ｓ９１０に示した処理で行う。

（第三実施形態の第四例）
　図３８は第三実施形態の情報端末装置の視覚情報を説明するための第四例を示す図である。第四例では、本実施例の一つとして眼鏡型のスマートグラス４９５を示す。スマートグラスはハンズフリーという使い勝手があり、本発明の案内情報を提供する目的には適している。図２５に示した情報端末装置４００のすべての構成要件を内蔵しても良いが、少なくともアウトカメラ４９６とディスプレイ４９７と通信インターフェイス４６０の一部を内蔵し、その他の構成要件を別途所有するスマートフォン４９２と無線通信にて実現しても良い。

　以上、本実施形態の実施形態について説明したが、言うまでもなく、本実施形態の技術を実現する構成は上記実施形態に限られるものではなく、様々な変形例が考えられる。例えば、前述した実施の形態は、本実施形態を分かり易く説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成と置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。これらは全て本実施形態の範疇に属するものである。また、文中や図中に現れる数値やメッセージ等もあくまでも一例であり、異なるものを用いても本実施形態の効果を損なうことはない。

　また、各処理例で説明したプログラムは、それぞれ独立したプログラムでもよく、複数のプログラムが一つのアプリケーションプログラムを構成していてもよい。また、各処理を行う順番を入れ替えて実行するようにしてもよい。

　前述した本実施形態の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、マイクロプロセッサユニット、ＣＰＵ等がそれぞれの機能等を実現する動作プログラムを解釈して実行することによりソフトウェアで実現してもよい。また、ソフトウェアの実装範囲を限定するものでなく、ハードウェアとソフトウェアを併用してもよい。また、各機能の一部または全部をサーバで実現してもよい。なお、サーバは、通信を介して他の構成部分と連携し機能の実行が出来ればよく、例えば、ローカルサーバ、クラウドサーバ、エッジサーバ、ネットサービス等であり、その形態は問わない。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納されてもよいし、通信網上の装置に格納されてもよい。

　また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、必ずしも製品上の全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

　上記実施形態には下記の発明が含まれる。
（付記１）
　映像表示方法であって、
　プロセッサが、
　　ユーザの位置を取得するユーザ位置取得ステップと、
　　前記ユーザに対して注目すべき対象物として案内を行う特定対象物の位置情報を取得する特定対象物位置取得ステップと、
　　前記ユーザの位置と前記特定対象物の位置とを結ぶ仮想線がディスプレイに交わる領域を算出する領域算出ステップと、
　　前記ユーザを識別する識別オブジェクトを生成する識別オブジェクト生成ステップと、
　　前記特定対象物の位置を示す案内情報に前記識別オブジェクトを付加して、前記仮想線がディスプレイに交わる領域に表示する表示ステップと、を含む、
　　映像表示方法。
（付記２）
　映像情報作成装置であって、
　プロセッサと、
　インカメラと、
　アウトカメラと、
　ディスプレイと、を備え、
　前記プロセッサは、
　　前記インカメラの映像に基づいて、ユーザの位置を取得し、
　　前記アウトカメラが撮像した映像に基づいて、前記ユーザに対して注目すべき対象物として案内を行う特定対象物の位置情報を取得し、
　　前記ユーザの位置と前記特定対象物の位置とを結ぶ仮想線が前記ディスプレイに交わる領域を算出し、
　　前記ユーザを識別する識別オブジェクトを生成し、
　　前記特定対象物の位置を示す案内情報に前記識別オブジェクトを付加して、前記仮想線が前記ディスプレイに交わる領域に表示する、
　映像情報作成装置。
（付記３）
　映像情報作成装置と情報端末装置とを通信接続した映像情報表示システムであって、
　映像情報作成装置は、
　第１プロセッサと、
　インカメラと、
　アウトカメラと、
　第１ディスプレイと、
　第１通信機と、を備え、
　前記第１プロセッサは、
　　前記インカメラの映像に基づいて、ユーザの位置を取得し、
　　前記アウトカメラが撮像した映像に基づいて、前記ユーザに対して注目すべき対象物として案内を行う特定対象物の位置情報を取得し、
　　前記ユーザの位置と前記特定対象物の位置とを結ぶ仮想線が前記第１ディスプレイに交わる領域を算出し、
　　前記ユーザを識別する識別オブジェクトを生成し、
　　前記特定対象物の位置を示す案内情報に前記識別オブジェクトを付加して、前記仮想線が前記第１ディスプレイに交わる領域に表示し、
　　前記第１ディスプレイに前記識別オブジェクト及び前記案内情報が表示された表示画面を送信案内情報として前記第１通信機から情報端末装置に送信し、
　前記情報端末装置は、
　第２プロセッサと、
　第２ディスプレイと、
　第２通信機と、を備え、
　前記第２プロセッサは、
　前記第２通信機が受信した前記送信案内情報を前記第２ディスプレイに表示する、
　映像情報表示システム。

１００　　　：映像情報作成装置
１０１　　　：メインプロセッサ
１０２　　　：バス
１１０　　　：メモリ
１１１　　　：ＲＡＭ
１１２　　　：ＲＯＭ
１１３　　　：フラシュメモリ
１２０　　　：入出力インターフェイス
１２１　　　：ボタンスイッチ
１２２　　　：タッチパネル
１３４　　　：ディスプレイ
１５０　　　：センサ群
１５１　　　：衛星測位センサ
１５２　　　：地磁気センサ
１５３　　　：距離センサ
１５４　　　：インカメラ
１５５　　　：アウトカメラ
１５６　　　：他センサ
１５７　　　：検出センサ
１６０　　　：通信インターフェイス
１６１　　　：無線通信インターフェイス
１６２　　　：ユーザ情報通信インターフェイス
１６３　　　：近距離無線通信インターフェイス
１７０　　　：音声処理部
１７１　　　：スピーカ
１７２　　　：マイク
１８０　　　：映像情報処理部
１８１　　　：オブジェクト重畳部
１８２　　　：位置情報作成部
１８３　　　：表示方法設定部
１９０　　　：視覚情報生成部
１９１　　　：オブジェクト生成部
１９２　　　：表示方法変更部
１９３　　　：ユーザ認識部
１９４　　　：視線位置検出部
２０１　　　：透過ディスプレイ
２０２ａ　　：センサカメラ
２０２ｂ　　：センサカメラ
２０２ｃ　　：センサカメラ
２０２ｄ　　：センサカメラ
２０３ａ　　：センサカメラ
２０３ｂ　　：センサカメラ
２０３ｃ　　：センサカメラ
２０３ｄ　　：センサカメラ
２０４ａ　　：対象物
２０４ｅ　　：対象物
２０５　　　：特定対象物
２０５ａ　　：特定対象物
２０５ｅ　　：特定対象物
２０６ａ　　：ユーザ
２０６ｅ　　：ユーザ
２０６ｆ　　：ユーザ
２０６ｇ　　：ユーザ
２０６ｈ　　：ユーザ
２０６ｉ　　：ユーザ
２０７ａ　　：識別オブジェクト
２０７ｅ　　：識別オブジェクト
２０７ｆ　　：識別オブジェクト
２０７ｇ　　：識別オブジェクト
２０７ｇ１　：識別オブジェクト
２０７ｇ２　：識別オブジェクト
２０７ｈ　　：識別オブジェクト
２０７ｉ　　：識別オブジェクト
２０７ｔ１　：識別オブジェクト
２０７ｔ２　：識別オブジェクト
２０７ｔ３　：識別オブジェクト
２０８ａ　　：ユーザ
２０８ｅ　　：ユーザ
２０８ｆ　　：ユーザ
２０８ｇ　　：ユーザ
２０８ｈ　　：ユーザ
２０９ａ　　：識別オブジェクト
２０９ｅ　　：識別オブジェクト
２０９ｆ　　：識別オブジェクト
２０９ｇ　　：識別オブジェクト
２０９ｈ　　：識別オブジェクト
２０９ｉ　　：識別オブジェクト
２１０　　　：文字情報
２１０ａ　　：文字情報
２１０ｅ　　：文字情報
２１０ｊ　　：メッセージ
２２１　　　：ユーザ
２２２　　　：識別オブジェクト
２２３　　　：識別オブジェクト
２２４　　　：識別オブジェクト
２２５　　　：統合オブジェクト
２２６　　　：識別オブジェクト
２２７　　　：識別オブジェクト
２２８　　　：識別オブジェクト
２２９　　　：識別オブジェクト
２３０　　　：統合オブジェクト
３００　　　：映像情報作成装置
３０１　　　：メインプロセッサ
３０２　　　：バス
３１０　　　：メモリ
３２０　　　：入出力インターフェイス
３３４　　　：ディスプレイ
３５０　　　：センサ群
３５５　　　：アウトカメラ
３６０　　　：通信インターフェイス
３７０　　　：音声処理部
３８０　　　：映像情報処理部
３９０　　　：視覚情報生成部
３９２　　　：表示方法変更部
４００　　　：情報端末装置
４０１　　　：メインプロセッサ
４０２　　　：バス
４１０　　　：メモリ
４１１　　　：ＲＡＭ
４１２　　　：ＲＯＭ
４１３　　　：フラシュメモリ
４２０　　　：入出力インターフェイス
４２１　　　：ボタンスイッチ
４２２　　　：タッチパネル
４３４　　　：ディスプレイ
４５０　　　：センサ群
４５１　　　：衛星測位センサ
４５２　　　：地磁気センサ
４５３　　　：距離センサ
４５４　　　：インカメラ
４５５　　　：アウトカメラ
４５６　　　：その他センサ
４５７　　　：加速度センサ
４５８　　　：ジャイロセンサ
４５９　　　：生体情報取得センサ
４６０　　　：通信インターフェイス
４６１　　　：無線通信インターフェイス
４６２　　　：ユーザ情報通信インターフェイス
４６３　　　：近距離無線通信インターフェイス
４７０　　　：音声処理部
４７１　　　：スピーカ
４７２　　　：マイク
４７３　　　：液晶ディスプレイ
４７５　　　：アバター
４７６　　　：識別オブジェクト
４８０　　　：映像情報処理部
４８１　　　：オブジェクト重畳部
４８２　　　：位置情報作成部
４８３　　　：表示方法設定部
４８４　　　：道案内
４８５　　　：道案内
４８６　　　：室内案内
４８７　　　：室内案内
４８８　　　：映像情報
４８９　　　：映像情報
４９１　　　：識別オブジェクト
４９２　　　：スマートフォン
４９３　　　：送信案内情報
４９５　　　：スマートグラス
４９６　　　：アウトカメラ
４９７　　　：ディスプレイ
４９８　　　：地図情報
５０１　　　：通信回線
５０２　　　：サーバ
５１１　　　：壁
５１２　　　：対象物
５１３　　　：案内情報
５１４　　　：映像情報
５２３　　　：識別オブジェクト

Claims

　映像表示方法であって、
　プロセッサが、
　　ユーザの位置を取得するユーザ位置取得ステップと、
　　前記ユーザに対して注目すべき対象物として案内を行う特定対象物の位置情報を取得する特定対象物位置取得ステップと、
　　前記ユーザの位置と前記特定対象物の位置とを結ぶ仮想線がディスプレイに交わる領域を算出する領域算出ステップと、
　　前記ユーザを識別する識別オブジェクトを生成する識別オブジェクト生成ステップと、
　　前記特定対象物の位置を示す案内情報に前記識別オブジェクトを付加して、前記仮想線がディスプレイに交わる領域に表示する表示ステップと、を含む、
　　映像表示方法。
　請求項１に記載の映像表示方法であって、
　前記プロセッサは、前記識別オブジェクト生成ステップにおいて、前記ユーザを撮像した映像に基づいて前記ユーザの顔の特徴を示す前記識別オブジェクトを生成する、
　　映像表示方法。
　請求項２に記載の映像表示方法であって、
　前記プロセッサは、前記表示ステップにおいて、前記特定対象物の一部又は全部を包含する図形に前記識別オブジェクトを付加した前記案内情報を表示する、
　　映像表示方法。
　請求項３に記載の映像表示方法であって、
　前記ディスプレイは透過型ディスプレイであり、
　前記プロセッサが、
　　前記特定対象物位置取得ステップにおいて、前記透過型ディスプレイからみた屋外の実景を撮像した映像に基づいて前記特定対象物の位置情報を取得し、
　　前記領域算出ステップにおいて、屋内にいる前記ユーザの位置と前記特定対象物の位置とを結ぶ前記仮想線が前記透過型ディスプレイに交わる領域を算出し、
　　前記表示ステップにおいて、前記透過型ディスプレイを介して前記ユーザが視認した前記屋外の実景に前記案内情報を重ねて表示する、
　　映像表示方法。
　請求項１に記載の映像表示方法であって、
　第１ユーザ及び第２ユーザがいる場合に、前記プロセッサが、
　　前記領域算出ステップにおいて、前記第１ユーザの位置と前記特定対象物とを結ぶ仮想線が前記ディスプレイに交わる第１領域、及び前記第２ユーザの位置と前記特定対象物とを結ぶ仮想線が前記ディスプレイに交わる第２領域を算出し、
　　前記識別オブジェクト生成ステップにおいて、前記第１ユーザを識別する第１識別オブジェクト、及び前記第２ユーザを識別する第２識別オブジェクトを生成し、
　前記表示ステップにおいて、前記第１領域に前記第１識別オブジェクトを付加した前記案内情報を表示し、前記第２領域に前記第２識別オブジェクトを付加した前記案内情報を表示する、
　　映像表示方法。
　請求項１に記載の映像表示方法であって、
　第１ユーザ及び第２ユーザがいる場合に、前記プロセッサが、
　　前記領域算出ステップにおいて、前記第１ユーザの位置と前記特定対象物とを結ぶ仮想線が前記ディスプレイに交わる第１領域、及び前記第２ユーザの位置と前記特定対象物とを結ぶ仮想線が前記ディスプレイに交わる第２領域を算出し、
　　前記識別オブジェクト生成ステップにおいて、前記第１ユーザを識別する第１識別オブジェクト及び前記第２ユーザを識別する第２識別オブジェクトを生成し、前記第１領域及び前記第２領域が予め定めた所定距離離れていない場合は、前記第１識別オブジェクト及び前記第２識別オブジェクトを一つの案内情報に付加した統合オブジェクトを生成し、
　　前記表示ステップにおいて、前記第１領域又は前記第２領域の一部又は全部を含む領域に前記統合オブジェクトを表示し、
　　前記識別オブジェクト生成ステップにおいて、前記第１領域及び前記第２領域が予め定めた所定距離離れている場合は、前記第１ユーザを識別する第１識別オブジェクト、及び及び前記第２ユーザを識別する第２識別オブジェクトを生成し、
　前記表示ステップにおいて、前記第１領域に前記第１識別オブジェクトを付加した前記案内情報を表示し、前記第２領域に前記第２識別オブジェクトを付加した前記案内情報を表示する、
　　映像表示方法。
　請求項５に記載の映像表示方法であって、
　前記プロセッサが、
　　前記表示ステップにおいて、前記ディスプレイに対して前記第１ユーザの位置が前記第２ユーザの位置よりも近い場合は、前記第１領域に前記第１識別オブジェクトを相対的に小さく表示し、前記第２領域に前記第２識別オブジェクトを相対的に大きく表示する、
　　映像表示方法。
　請求項５に記載の映像表示方法であって、
　前記プロセッサが
　　前記ディスプレイに対して前記第１ユーザの位置が前記第２ユーザの位置と前記特定対象物との間にある場合は、前記表示ステップにおいて、前記第２領域のうち前記第２ユーザからみて前記第１ユーザに視線が遮られる領域内の前記第２識別オブジェクト及び前記第２識別オブジェクトが付加される前記案内情報は非表示にし、前記第２領域のうち前記第２ユーザからみて前記第１ユーザに視線が遮られない領域内の前記第２識別オブジェクト及び前記第２識別オブジェクトが付加される前記案内情報のみを表示する、
　　映像表示方法。
　請求項１に記載の映像表示方法であって、
　前記プロセッサが、
　　前記ユーザの視線が前記ディスプレイに向いているかを判断する視線判断ステップを更に実行し、
　　前記表示ステップにおいて、前記ユーザの視線が前記ディスプレイに向いている場合は前記ディスプレイの領域に前記識別オブジェクト及び前記識別オブジェクトが付加された案内情報を表示し、前記ユーザの視線が前記ディスプレイに向いていない場合は前記ディスプレイの領域に前記識別オブジェクト及びそれが付加された前記案内情報を表示しない、
　　映像表示方法。
　請求項１に記載の映像表示方法であって、
　前記プロセッサが、
　　前記ユーザの視線が前記ディスプレイに向いているかを判断する視線判断ステップを更に実行し、
　　前記表示ステップにおいて、前記ユーザの視線が前記仮想線からずれている場合は、前記ユーザの視線と前記ディスプレイとが交わる領域に前記識別オブジェクト及び前記識別オブジェクトが付加された前記案内情報を表示し、前記仮想線が前記ディスプレイとが交わる領域に向かって前記識別オブジェクト及び前記識別オブジェクトが付加された前記案内情報を移動して表示する、
　　映像表示方法。
　映像情報作成装置であって、
　プロセッサと、
　インカメラと、
　アウトカメラと、
　ディスプレイと、を備え、
　前記プロセッサは、
　　前記インカメラの映像に基づいて、ユーザの位置を取得し、
　　前記アウトカメラが撮像した映像に基づいて、前記ユーザに対して注目すべき対象物として案内を行う特定対象物の位置情報を取得し、
　　前記ユーザの位置と前記特定対象物の位置とを結ぶ仮想線が前記ディスプレイに交わる領域を算出し、
　　前記ユーザを識別する識別オブジェクトを生成し、
　　前記特定対象物の位置を示す案内情報に前記識別オブジェクトを付加して、前記仮想線が前記ディスプレイに交わる領域に表示する、
　映像情報作成装置。
　映像情報作成装置と情報端末装置とを通信接続した映像情報表示システムであって、
　映像情報作成装置は、
　第１プロセッサと、
　インカメラと、
　アウトカメラと、
　第１ディスプレイと、
　第１通信機と、を備え、
　前記第１プロセッサは、
　　前記インカメラの映像に基づいて、ユーザの位置を取得し、
　　前記アウトカメラが撮像した映像に基づいて、前記ユーザに対して注目すべき対象物として案内を行う特定対象物の位置情報を取得し、
　　前記ユーザの位置と前記特定対象物の位置とを結ぶ仮想線が前記第１ディスプレイに交わる領域を算出し、
　　前記ユーザを識別する識別オブジェクトを生成し、
　　前記特定対象物の位置を示す案内情報に前記識別オブジェクトを付加して、前記仮想線が前記第１ディスプレイに交わる領域に表示し、
　　前記第１ディスプレイに前記識別オブジェクト及び前記案内情報が表示された表示画面を送信案内情報として前記第１通信機から情報端末装置に送信し、
　前記情報端末装置は、
　第２プロセッサと、
　第２ディスプレイと、
　第２通信機と、を備え、
　前記第２プロセッサは、
　前記第２通信機が受信した前記送信案内情報を前記第２ディスプレイに表示する、
　映像情報表示システム。
　請求項１２に記載の映像情報表示システムであって、
　前記情報端末装置から前記映像情報作成装置に前記ユーザの分身を示すアバター情報を送信し、
　前記第１プロセッサは、前記識別オブジェクトとして前記アバター情報が示すアバター画像を用いる、
　映像情報表示システム。