WO2025257929A1

WO2025257929A1 - 映像表示システム、映像表示方法、及び頭部装着型映像表示装置

Info

Publication number: WO2025257929A1
Application number: PCT/JP2024/021179
Authority: WO
Inventors: 展明甲; 淳司塩川; 仁秋山; 和彦吉澤
Original assignee: Maxell Ltd
Current assignee: Maxell Ltd
Priority date: 2024-06-11
Filing date: 2024-06-11
Publication date: 2025-12-18
Anticipated expiration: 2026-12-11

Abstract

映像表示システムは、傘の開閉状態を検知する傘開閉検出器と、傘を構成する傘布の外側の実空間内に存在する物体の位置を検知して周辺空間情報を出力する空間センサと、画像表示装置と、傘のユーザの視点で撮像した視界画像を生成するユーザ視点カメラと、プロセッサと、を備え、プロセッサは、傘開閉検出器が傘の開き状態を検知している間は、視界画像から前記傘布が撮像された傘布領域を抽出し、空間センサと視界画像の基準点の相対位置及び方向情報を用いて、周辺空間情報をユーザ視点に変換し、変換後のユーザ視点周辺空間情報から、傘布領域に撮像された傘布がユーザの視界を遮ることでユーザが見えなくなっている物体を示す拡張現実映像を生成して画像表示装置に表示する。

Description

映像表示システム、映像表示方法、及び頭部装着型映像表示装置

　本発明は、映像表示システム、映像表示方法、及び頭部装着型映像表示装置に関する。

　近年、コンピュータやコンピュータネットワークの中に構築されたサービスの提供が普及してきており、これに関連した技術開発が盛んに行われている。これらのサービスをユーザが利用する際の装置としては、ＰＣをはじめとする情報端末としての種々の製品が世の中に出回っている。中でも、代表的なデバイスとして、頭部装着型映像表示装置や、携帯電話、タブレット型端末などがある。上記頭部装着型映像表示装置においては、コンピュータによる拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）の映像を、眼鏡のレンズを透過した風景に重畳させて表示する光学シースルー型や、カメラで撮像した映像に重畳させて表示するビデオシースルー型がある。

　本技術分野の背景技術として、特許文献１には、「傘を差している人が、傘フィルムに映し出された映像を、楽しんだり、参考にしたり、周囲の実際の状況・画像・風景と比較したり重ね合わせたりできる傘を提供する」ために、「該傘フィルムは透明であり、該傘フィルムの内側に向かって透明有機ＥＬディスプレイ」を設置することが記載されている。

特開２０２３－１１８５１２号公報

　上記の傘は、傘生地の内側にディスプレイを配置しているが、傘の前方は透明生地を通して見ることができる。しかしながら日傘やファッション性の高い傘は不透明な生地を用いるので、傘の前方にある障害物が見えづらいという課題があった。

　本発明は、不透明な生地を用いた傘をさしたまま移動する際に、ユーザが現実物体と干渉することを抑止するための映像表示システム、映像表示方法、及び頭部装着型映像表示装置を提供することである。

　上記課題を解決するために、特許請求の範囲に記載の構成を採用する。その一例を挙げるならば、本発明は、映像表示システムであって、傘の開閉状態を検知する傘開閉検出器と、前記傘を構成する傘布の外側の実空間内に存在する物体の位置を検知して周辺空間情報を出力する空間センサと、画像表示装置と、前記傘のユーザの視点で撮像した視界画像を生成するユーザ視点カメラと、プロセッサと、を備え、前記プロセッサは、前記傘開閉検出器が前記傘の開き状態を検知している間は、前記視界画像から前記傘布が撮像された傘布領域を抽出し、前記空間センサと前記視界画像の基準点の相対位置及び方向情報を用いて、前記周辺空間情報をユーザ視点に変換し、前記変換後のユーザ視点周辺空間情報から、前記傘布領域に撮像された前記傘布が前記ユーザの視界を遮ることで前記ユーザが見えなくなっている前記物体を示す拡張現実映像を生成し、前記画像表示装置に前記拡張現実映像を表示するための制御を実行する。

　本発明によれば、不透明な生地を用いた傘をさしたまま移動する際にユーザが現実物体と干渉することを抑止する映像表示システムを提供することができる。なお、上記以外の目的、構成、効果については、以下の実施の形態において、明らかにされる。

ＡＲグラスの外観図である。ＡＲグラスの機能ブロック図である。傘に取り付ける傘カメラの模式図である。傘の開閉を検出する傘開閉検出器の動作説明図である。傘を差して歩く人と、前方の電柱や人を外観模式的に示した図である。ＡＲグラスを通して見える光景を示す図である。傘カメラの動作を説明したフローチャートである。ＡＲグラスの動作を説明したフローチャートである。ＡＲグラスの映像処理を説明したサブルーチンである。ＡＲグラスを通して見える光景の他の例を示す図である。ＡＲグラスの映像処理の他の例を説明したサブルーチンである。傘を突き上げて撮像する場合を外観模式的に示した図である。スマートフォンの構成を示した図である。スマートフォンを胸ポケットに入れ、傘を差して歩くユーザと、前方の人を示した側面図である。ＡＲグラスを通して見える光景を示す図である。スマートフォンの動作を説明したフローチャートである。ＡＲグラスの動作を説明したフローチャートである。ＡＲグラスを通して見える光景を示す図である。スマートウォッチを着けて、傘を差して歩く人と、前方の人を示した側面図である。傘を差して歩く人と、先方の人を示した側面図である。ＡＲグラスを通して見える光景を示す図である。ＡＲグラスの動作を説明したフローチャートである。

　以下、本発明形態の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。

《第１の実施の形態》
　図１は、頭部装着型映像表示装置の一例である光学シースルー型のＡＲグラスの外観図である。

　同図において、ＡＲグラスＧ１は、眼鏡状の筐体Ｇ１０に、主制御装置２（プロセッサに相当する。）、撮像センサ７１、空間センサ７４、他の各種センサを含むセンサ装置５、通信処理装置６、更に、表示面を含む左ディスプレイ７３Ｌ、右ディスプレイ７３Ｒを備える画像表示装置である。

　左ディスプレイ７３Ｌと右ディスプレイ７３Ｒは、例えば反射型体積位相ホログラフィック光学素子（ＨＯＥ：Ｈｏｌｏｇｒａｐｈｉｃ　Ｏｐｔｉｃａｌ　Ｅｌｅｍｅｎｔ）を用いた透過型のディスプレイであり、表示面には外界の実像が透過され、その実像上に撮像センサ７１で撮像した映像やデータとして記憶された映像等が拡張現実映像（以下「ＡＲ映像」と記載する）として重畳表示される。

　撮像センサ７１はユーザの前方を撮像する。ＡＲグラスＧ１を装着したユーザの視点からみた視界画像は、ユーザの眼球位置に撮像センサを置いて撮像した画像に相当する。ユーザの眼球位置は、視界画像の基準点の一例である。ユーザの眼球と撮像センサ７１の位置が近い場合、撮像センサ７１が撮像した撮像画像を、ユーザの視界画像と近似してもよい。より正確には、ユーザの左右それぞれの眼球と撮像センサ７１の相対位置と方向をもとに、撮像画像をユーザの左右の眼球に対する視界画像に変換する。視点変換では、撮像される物体までの距離情報が必要となる。複数の撮像センサ７１を用いてその視差をもとに物体までの距離情報を得たり、空間センサを更に配置して距離情報を得たりしてもよい。また、撮像画像を解析して距離情報を推定してもよい。後述する傘布検出では、傘布までの距離を約１ｍと仮定して視点変換してもよい。撮像センサ７１とユーザ視点変換処理との組み合わせ、又は撮像センサ７１単独でユーザの視界画像を生成するユーザ視点カメラに相当する。

　また、ＡＲグラスＧ１は、傘をさしたユーザが傘布で視線を遮られた外界に存在する物体の存在を示す拡張現実映像を生成して表示する画像表示装置の一例であり、特にユーザの頭部に装着する頭部装着型画像表示装置の一例である。

　図２は、本実施の形態に係るＡＲグラスＧ１の機能ブロック図である。

　同図において、ＡＲグラスＧ１は、主制御装置２、システムバス３、記憶装置４、センサ装置５、通信処理装置６、映像処理装置７、音声処理装置８、操作入力装置９、視線検出装置１０、及び図示しないバッテリーと充電回路を含んで構成される。

　主制御装置２は、所定の動作プログラムに従ってＡＲグラスＧ１全体を制御するマイクロプロセッサユニットであり、主にＡＲグラスＧ１のユーザからの入力、それに応じてＡＲグラスＧ１の外部の管理サーバとの情報の送受信、該情報をもとに映像表示システムの処理を行うためのシステム制御、及び表示する映像の生成、及び表示制御を行う。

　システムバス３は、主制御装置２とＡＲグラスＧ１内の各構成ブロックとの間で各種コマンドやデータなどの送受信を行うためのデータ通信路である。

　記憶装置４は、ＡＲグラスＧ１の動作を制御するためのプログラムなどを記憶するプログラム記憶領域４１、動作設定値やセンサ装置５の検出値や表示のための映像、文字などを含む各種データを記憶するデータ記憶領域４２、各種プログラムをロードして実行する際に使用するワークエリアなどの書き替え可能なワークエリア４３を含む。

　また、記憶装置４は、ネットワーク上からダウンロードした動作プログラムや前記動作プログラムで作成した各種データ等を記憶してもよい。また、ネットワーク上からダウンロードした動画や静止画や音声等のコンテンツを記憶してもよい。また、撮像機能を使用して撮像した動画や静止画等のデータを記憶してもよい。

　センサ装置５は、ＡＲグラスＧ１の状態を検出するための各種センサからなる。センサ装置５は、世界座標での位置を計測する、例えばＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）を利用する測位センサ５１、動きを検出するいわゆるモーションセンサを構成する地磁気センサ５２、加速度センサ５３、及びジャイロセンサ５４を含む。これらのセンサにより、ＡＲグラスＧ１の位置、傾き、方角、動き等を検出することが可能となる。また、ＡＲグラスＧ１が、照度センサ、近接センサ等、生体認証用センサなど、他のセンサを更に備えていても良い。

　通信処理装置６は、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）通信機６１、移動体無線通信機６２、近接無線通信機６３を含む。

　ＬＡＮ通信機６１は、アクセスポイントや無線ルータ等を介してインターネット等のネットワークと接続され、ネットワーク上のサーバとデータの送受信を行う。アクセスポイントや無線ルータ等との接続はＷｉ－Ｆｉ（登録商標）等の無線接続で行われて良い。

　移動体無線通信機６２は、移動体無線通信網の基地局との無線通信により、電話通信（通話）及びデータの送受信を行う。基地局等との通信はＷ－ＣＤＭＡ（Ｗｉｄｅｂａｎｄ　Ｃｏｄｅ　Ｄｉｖｉｓｉｏｎ　Ｍｕｌｔｉｐｌｅ　Ａｃｃｅｓｓ）（登録商標）方式やＧＳＭ（登録商標）（Ｇｌｏｂａｌ　Ｓｙｓｔｅｍ　ｆｏｒ　Ｍｏｂｉｌｅ　ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）方式、或いは５Ｇ（第５世代移動通信システム）等、その他の通信方式によって行われても良い。

　ＬＡＮ通信機６１と移動体無線通信機６２は、それぞれ符号化回路、復号化回路、アンテナ等を備える。

　近接無線通信機６３は、一例としてＢｌｕｅＴｏｏｔｈ（登録商標）方式や人を媒体とする人体無線などの通信機能を持つものであるが、特にこれらに制限するものではなく、赤外線通信等、他の通信方式でも良い。ＬＡＮ通信機６１が提供するＷｉ－Ｆｉ（登録商標）を兼用してもよい。

　映像処理装置７は、撮像センサ７１、ビデオプロセッサ７２、右ディスプレイ７３Ｒ、左ディスプレイ７３Ｌ、空間センサ７４で構成される。

　撮像センサ７１は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の電子デバイスを用いてレンズから入力した可視光を電気信号に変換することにより、周囲や対象物の可視映像データを取得する。

　ビデオプロセッサ７２は、右ディスプレイ７３Ｒ、左ディスプレイ７３Ｌに撮像センサ７１が生成した可視映像、及び空間センサ７４が生成した距離画像の表示制御を行う。更にビデオプロセッサ７２は、後述する傘布検知や傘の開閉検知なども行う。また、ビデオプロセッサ７２の機能を主制御装置１が代行してもよい。

　右ディスプレイ７３Ｒ及び左ディスプレイ７３Ｌは、例えばＨＯＥを用いた透過型のディスプレイであり、右ディスプレイ７３Ｒ及び左ディスプレイ７３Ｌの表示面に照射して映像を表示する。右ディスプレイ７３Ｒ及び左ディスプレイ７３Ｌは図示を省略したビデオＲＡＭを備える。そして、ビデオＲＡＭに入力された映像データに基づいて表示面上に映像が表示される。

　ユーザがＡＲグラスＧ１の前に手をかざしてジェスチャーをすると、撮像センサ７１がジェスチャーを撮像する。そのジェスチャーをビデオプロセッサ７２、及び主制御装置２で検知して表示制御の指示や表示位置の指定などの操作を行うことができる。撮像センサ７１から得られる可視映像に加えて、空間センサ７４を用いて３次元空間を把握して距離映像を取得してもよい。この場合、距離映像と撮像センサ７１の可視映像とを併用することにより、ジェスチャー検知性能を高めることができる。

　上記ジェスチャー操作において、ドラッグ操作は、例えば右ディスプレイ７３Ｒ及び左ディスプレイ７３Ｌに表示されている映像やメニューといった任意のオブジェクトを指でタッチした状態にて移動する操作であり、フリック操作は、画面上において指をはじくようにして動かす操作である。

　空間センサ７４は、外界を撮像する可視光カメラ、赤外線カメラ（これらを総称して外界撮像カメラという）だけでなく、電波や音波を照射するレーダーセンサで構成してもよい。また、ＴＯＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）センサを用いて距離映像を取得する方式でもよい。

　また、撮像センサ７１をいわゆるステレオカメラ構成としてもよい。ステレオ撮像レンズ間の視差から対象点までの距離を取得できる。このステレオカメラ構成で空間センサ７４を兼ねることもできる。

　音声処理装置８は、音声入出力部８１、音声認識部８２、音声デコーダ８３、音声イコライザー８４を含んで構成される。

　音声入出力部８１の音声入力装置として、例えばマイクを用いてもよい。マイクは、ユーザの声や周囲の音などを音声データに変換して入力する。また、音声入出力部８１の音声出力装置として、例えばステレオのスピーカやイヤホンにより実現される。これらの音声出力装置は、ユーザに必要な音声情報等を出力する。

　音声認識部８２は、入力された音声情報を解析し、指示コマンド等の抽出処理を行う。音声認識専用のプロセッサを搭載してもよいし、主制御装置２が実行する一機能として実現してもよい。

　音声デコーダ８３は、必要に応じて、符号化音声信号の復号処理（音声合成処理）等を行う機能や、音声の伝達特性に応じた立体三次元音声処理機能を有する。

　音声イコライザー８４は、イコライズ処理や、音声の伝達特性に応じた立体三次元音声処理を行い、処理された音声は、音声入出力部８１より出力される。

　また、音声処理装置８の音声認識部８２を利用して、操作指示の音声コマンドによりＡＲグラスＧ１の操作を行なっても良い。

　操作入力装置９は、ＡＲグラスＧ１に対する操作指示の入力を行う指示入力部である。操作入力装置９は、図示しないボタンスイッチ等を並べて構成してもよいし、その他の操作デバイスを更に備えても良い。また、通信処理装置６を利用し、有線通信又は無線通信により接続された別体の端末機器を用いてＡＲグラスＧ１の操作を行っても良い。

　視線検出装置１０は、ＡＲグラスＧ１を装着したユーザの視線方向を検出する。右視線検出器１００１Ｒ、左視線検出器１００１Ｌの視線検出の手法としては、非可視光（赤外線など）をユーザの目に照射して、その撮像映像から得られる瞳孔映像を映像処理によって得る等の方式があるが、特に検出手法について制限するものではない。

　なお、図２に示したＡＲグラスＧ１の構成例は、本実施の形態に必須ではない構成も多数含んでいるが、これらが備えられていない構成であっても本実施の形態の効果を損なうことはない。また、デジタル放送受信機能や電子マネー決済機能等、図示していない構成が更に加えられていても良い。

　図３は、本実施の形態に係る映像表示システムの一部を構成する映像装置の一例である傘カメラの模式図である。

　図３に示すように、傘カメラＫ１は、主制御装置２Ｋ、システムバス３Ｋ、記憶装置４Ｋ、通信処理装置６Ｋ（カメラ側通信装置に相当する）、映像処理装置７Ｋ、及び傘開閉検出器１１を備える。傘カメラＫ１は、傘をさしたユーザの周辺の現実世界を撮像して周辺画像を生成する。この周辺画像に映った被写体のうち、傘をさしたユーザが傘布により視線で遮られてみることができない物体をＡＲグラスＧ１にＡＲ表示する点が、本実施の形態に係る映像表示システムの特徴の一つである。

　主制御装置２Ｋやシステムバス３Ｋ、記憶装置４Ｋ、図示しないバッテリーと充電回路は、図２の主制御装置２やシステムバス３、記憶装置４などと同様である。記憶装置４Ｋは、傘カメラＫ１の動作を制御するためのプログラムなどを記憶するプログラム記憶領域４１Ｋ、動作設定値などを含む各種データを記憶するデータ記憶領域４２Ｋ、各種プログラム動作で使用するワークエリアなどの書き替え可能なワークエリア４３Ｋを含む。

　通信処理装置６Ｋは、通信処理装置６（図２）と同様に構成してもよいが、省電力化のために、近接無線通信機６３Ｋのみとしてもよい。例えばＢｌｕｅｔｏｏｔｈ（登録商標）や人体通信、Ｗｉ－Ｆｉ（登録商標）を用いた近接無線通信機６３Ｋは、ＡＲグラスＧ１と同期制御の通信を行い、更に映像処理装置７Ｋが撮像又は処理した撮像データをＡＲグラスＧ１に送信する。

　映像処理装置７Ｋは、撮像センサ７１Ｋとビデオプロセッサ７２Ｋを備える。撮像センサ７１Ｋは、前方映像を撮像する。更に撮像センサ７１Ｋをステレオカメラで構成し、撮像した映像の距離情報も同時に取得して空間センサの機能を持たせてもよい。

　ステレオカメラ構成としなくても、ユーザの歩行と共に傘カメラＫ１も移動するので、傘カメラＫ１の移動情報と時系列撮像データをもとに、対象物までの距離情報を取得することもできる。ユーザが歩行を停止した時は、距離情報が更新できなくなる。しかし、対象物が移動していれば、その対象物の大きさの変化で距離情報を更新できる。

　撮像センサ７１Ｋが前方映像にとどまらず、全周３６０度など、より広範囲に撮像するものであれば、後方映像もＡＲグラスＧ１に表示することができる利点がある。ビデオプロセッサ７２Ｋが、ＡＲグラスＧ１から入手したユーザの視線方向やユーザの進行方向情報を用いて、全周囲３６０度映像からユーザ正面の領域や、傘にじゃまされてユーザが視認できない領域、注目すべき後方映像の領域などを切り出して、ＡＲグラスＧ１に送り、通信容量を抑えてもよい。ビデオプロセッサ７２Ｋが撮像センサ７１Ｋの映像のうちどの領域を切り出すかを判断する処理については後述する。

　ビデオプロセッサ７２Ｋは、ＡＲグラスＧ１のビデオプロセッサ７２と協調して（あるいはどちらか一方が）、撮像センサ７１Ｋが撮像した映像をユーザ視点映像へ変換してユーザ視点周辺映像を生成する。そして、ビデオプロセッサ７２Ｋは、ユーザ視点周辺映像の内、ユーザの視点で撮像した視界画像の傘布領域に撮像された傘布が、ユーザの視界を遮ることでユーザが見えなくなっている物体を示す拡張現実映像を生成して、ＡＲグラスＧ１の右ディスプレイ７３Ｒと左ディスプレイ７３Ｌへ表示する。拡張現実映像を表示する右ディスプレイ７３Ｒと左ディスプレイ７３Ｌにおける各位置（表示領域）は、ユーザの視点で撮像した視界画像の傘布領域に撮像された傘布を、ユーザが右ディスプレイ７３Ｒと左ディスプレイ７３Ｌの其々を透過して視認する表示領域であることが望ましい。これにより、傘布の外側にある物体とユーザの位置とをより正確に再現することができる。

　傘開閉検出器１１は傘の開閉を検知する装置であり、この検知結果に基づいて傘カメラＫ１の起動と待機の制御を行い、撮像センサ７１Ｋの電源をＯＮ又はＯＦＦに切り替える。詳細は、図４を用いて後で説明する。

　図４は、傘の開閉を検出する傘開閉検出器の動作説明図である。

　図４において、傘ＡＭ１は、先端の石突２０１、中心にある中棒２０２、持ち手（ハンドル）２０３、全体を覆う傘布２０４、傘布を支える傘布骨２０５を備える。

　傘ＡＭ１は、閉じた状態ＡＭ１Ｓと、開いた状態ＡＭ１Ｏとの状態変化がある。そして、図４上部に傘ＡＭ１の先端部分の拡大図を示している。傘ＡＭ１の先端の石突２０１に取り付けられた傘カメラＫ１の底部に、傘開閉検出器１１を備える。

　傘ＡＭ１が閉じている状態ＡＭ１Ｓでは、傘開閉検出器１１に圧力が加わらず、傘カメラＫ１の電源はＯＦＦになる。傘ＡＭ１が開いている状態ＡＭ１Ｏでは、傘布２０４が傘開閉検出器１１を押し上げるので、傘開閉検出器１１が圧力を受けて、傘カメラＫ１の電源をＯＮにする。このような機械的なスイッチのほか、近接センサで傘開閉検出器１１に傘布２０４が接近したことを検出して傘の開閉を検知してもよい。

　傘ＡＭ１を開いて乾かす時には、障害物のＡＲ表示が不要である。そこで、傘開閉検出器１１が傘ＡＭ１の開きを検知していても、ＡＲグラスＧ１と通信していない時やＡＲグラスＧ１が傘ＡＭ１を検知していない時などは、傘カメラＫ１を待機状態になるようにすると電力消費を抑えることができる。

　図４では、傘カメラＫ１を傘ＡＭ１の石突部分に取り付けているが、傘布２０４や傘布骨２０５の開本端側の先端部（所謂露先ともいう）、又は持ち手２０３に取り付けてもよい。また、傘カメラＫ１を傘ＡＭ１から取り外し可能としてもよい。

　図５は、傘ＡＭ１をさして歩くユーザＭ１と、前方の電柱ＤＥＮ１や人Ｍ２を外観模式的に示した図である。

　同図において、ユーザＭ１は、ＡＲグラスＧ１を装着して傘ＡＭ１を持って歩いている。傘ＡＭ１は、傘カメラＫ１が備えられている。ユーザＭ１の前方には、人Ｍ２、電柱ＤＥＮ１がある。

　傘カメラＫ１は、無線伝送でＡＲグラスＧ１へ撮像した撮像データを送っている。ＡＲグラスＧ１は、撮像データを受信し、ユーザ視点に変換後、傘ＡＭ１が邪魔になって見えない部分の障害物の映像を抽出してＡＲ映像を生成する。ＡＲグラスＧ１は、そのＡＲ映像を左ディスプレイ７３Ｌ、右ディスプレイ７３Ｒに表示する。ユーザＭ１が障害物を直視できる領域へのＡＲ表示は、ユーザの視認性へ影響が出る場合を考慮して、避けている。

　図６は、本発明に係る、ＡＲグラスを通して見える光景を示す図である。

　図６は、ユーザＭ１の視野Ｎ１及びＡＲグラスＧ１のＡＲ表示領域Ｎ２を示す。ユーザＭ１は、傘ＡＭ１と、人Ｍ２のうち傘ＡＭ１に隠れていない部分（黒塗り領域）と、を直視することができる。電柱ＤＥＮ１と人Ｍ２が傘ＡＭ１に隠れて見えない部分（破線や斜線で示す）を、ＡＲグラスＧ１が、人Ｍ２のＡＲ映像であるＭ２１、及び電柱ＤＥＮ１のＡＲ映像であるＤＥＮ１１としてＡＲ表示する。このように、傘ＡＭ１に視野を遮られた領域の障害物をＡＲ表示させることで、ファッション性に優れた傘や、ＵＶ遮蔽効果の高い日傘であっても、視野を確保することができ、ユーザＭ１の歩行安全性を高める効果がある。なお、図６では傘カメラＫ１が撮像した映像をユーザ視点に変換したＡＲ表示例を示しているが、より簡略化して、障害物があると判断される領域を示すＡＲ表示や文字・ロゴ等によるＡＲ表示としてもよい。例えば、主制御装置２が傘カメラＫ１から受信した撮像データに映った被写体の物体認識処理を行い、その種別を示す文字情報を生成したり、ロゴを構成する文字情報を抽出したり、ロゴマークの文字情報、図形情報を抽出してＡＲ表示することにより実現できる。

　図７は、傘カメラＫ１の動作フローを示したフローチャートである。主制御装置２Ｋが各ステップの動作を制御する。

　Ｓ１０１：傘が開いたことを傘開閉検出器１１が検知して傘カメラＫ１の電源が入り、主制御装置２Ｋをはじめ、全システムが起動する。

　Ｓ１０２：傘カメラＫ１内のワークエリア４３Ｋの確保など、各構成要素を初期化する。

　Ｓ１０３：近接無線通信機６３ＫがＡＲグラスＧ１とＢｌｕｅｔｏｏｔｈ（登録商標）や人体通信、Ｗｉ－Ｆｉ（登録商標）などの近接無線通信を確立する。近接無線確立に当たって、事前にペアリング設定された相手のみに限定すると、傘カメラＫ１や傘ＡＭ１の盗難防止にもつながる。もし、近接無線確立できない場合や、無線電波が弱い場合など、対応するＡＲグラスＧ１が近くにない場合は、アラーム表示や音を発してユーザに知らせて待機状態となる。所定期間、例えば３０秒たってもユーザの指示が無い場合（Ｓ１０３：Ｎ）はアプリケーションを終了させてもよい。近接無線通信が確立すると（Ｓ１０３：Ｙ）、Ｓ１０４へと進む。

　Ｓ１０４：撮像センサ７１Ｋが撮像開始する。そして、ＡＲグラスＧ１からの要求に基づき、その撮像データ及び傘開閉検出器１１の示す傘開閉情報をＡＲグラスＧ１に伝送する。

　Ｓ１０５：傘開閉検出器１１が傘開き状態を検知中（Ｓ１０５：開）は、処理Ｓ１０４に戻って処理を繰り返す。所定時間、例えば１０秒程度傘閉じ状態を検知したら（Ｓ１０５：閉）、障害物のＡＲ表示動作は不要になったと判断して傘カメラＫ１の動作を終了させる。

　狭い道を通るなど、ユーザが傘を少し閉じて（すなわち半開き状態）通行する場合を想定し、第１の所定時間、例えば３０秒程度は傘カメラＫ１を動作終了させないで、撮像と撮像データの伝送などを継続、又は傘が開かれた際に直ちに起動できる第１の待機状態にしておくと、ユーザが再び傘を開いたときに障害物のＡＲ表示動作を直ちに復活できる。

　また、上記第１の所定時間経過後、更に第２の所定期間、例えば５分程度は、第２の待機状態としてもよい。第２の待機状態中は第１の待機状態より電力消費低減を優先させるため、撮像と撮像データの伝送再開に要する時間は第１の待機状態よりも多少長くなる。ユーザがコンビニなどに立ち寄る場合に便利である。第２の所定期間経過後に傘カメラＫ１の動作を停止させるとよい。

　なお、傘を閉じて傘骨を固定する傘骨ストッパーのロック状態を検出するストッパーロック検知装置を更に備えてもよい。そして、傘開閉検出器１１が傘閉じ状態と判断しても、傘骨ストッパーがロック状態でなければ半開き状態と判断してもよい。

　図８は、ＡＲグラスＧ１の動作フローを示すフローチャートである。主制御装置２Ｋが図８の各ステップの動作を制御する。まず図８の各ステップを以下に説明する。

　Ｓ２０１：ワークエリア領域の確保や各センサ状態の把握など、本アプリケーション関連の初期化を行う。

　Ｓ２０２：近接無線通信機６３Ｋが傘カメラＫ１と近接無線通信を確立する。確立できない場合は、ユーザＭ１へその旨をアラーム表示や音メッセージで伝え、ユーザＭ１の指示を待つ。

　Ｓ２０３：撮像センサ７１を起動し撮像データを生成する。そして、撮像データに基づいて撮像センサ７１が撮像した画像において傘布２０４が撮像された傘布領域を検出する。更に、傘カメラＫ１の撮像センサ７１ＫとＡＲグラスＧ１の相対位置と方向情報を取得する。

　相対位置と方向情報の取得は、例えば測位センサ５１Ｋから得た世界座標上での撮像センサ７１Ｋの位置と方向と、測位センサ５１から得た世界座標上でのＡＲグラスＧ１の位置と方向の差分から求められる。また、撮像センサ７１と撮像センサ７１Ｋの撮像データから共通特徴点を検出して算出することもできる。通信処理装置６Ｋと通信処理装置６の通信を通じて相対位置と方向情報を算出してもよい。例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格に定められた無線電波の送受信方向や距離測定方法を用いて近接無線通信機６３と近接無線通信機６３Ｋから取得できる。これらの相対位置と方向情報算出手段を組み合わせて算出してもよい。

　ＡＲグラスＧ１の基準点ＰＧに対する、ユーザの右眼球ＰＭＲと左眼球ＰＭＬの相対位置と方向を記憶装置４のデータ記憶領域４２に記憶させておけば、前述の撮像センサ７１ＫとＡＲグラスＧ１の相対位置と方向から、Ｓ２０５映像処理内の視点変換に必要となる、撮像センサ７１Ｋとユーザ眼球の相対位置と方向を算出できる。この相対方向は、撮像センサ７１Ｋの撮像方向とユーザ眼球の視線方向の方向差分である。なお、ＡＲグラスＧ１の基準点ＰＧとして、ＡＲグラスＧ１に固定された撮像センサ７１の位置とその撮像方向としてもよい。

　例えば、ユーザＭがＡＲグラスＧ１を装着した際に、右視線検出器１００１Ｒ、左視線検出器１００１Ｌから、ＡＲグラスＧ１の基準点ＰＧに対する右眼球ＰＭＲと左眼球ＰＭＬの相対位置と右視線方向パラメータＰＧＭＲ、左視線方向パラメータＰＧＭＬを予め求めておく。

　傘カメラＫ１の使用開始時に、ＡＲグラスＧ１の基準点ＰＧの位置及びその正面方向（例えば撮像センサ７１の位置と中心撮像方向）と、傘カメラＫ１の基準点ＰＫの位置及びその正面方向（例えば撮像センサ７１Ｋの位置と中心撮像方向）とを合わせる。この状態を初期キャリブレーション姿勢という。初期キャリブレーション姿勢の設定は、後述する図７のフローチャートのステップＳ１０２の傘カメラを初期化し（Ｓ１０２）、近接無線通信の確立後（Ｓ１０３）に行ってもよい。傘カメラＫ１が全周囲カメラでない場合は、傘カメラＫ１の撮像方向がユーザＭの前方を撮像できる向きに向いている必要があるので、傘カメラＫ１の画像をＡＲグラスＧ１に表示し、ユーザＭの正面と傘カメラＫ１の向きとが一致すると、そのときの傘カメラＫ１の位置と向きを初期キャリブレーション姿勢として設定してもよい。この設定は、ユーザの操作入力により行ってもよいし、ＡＲグラスＧ１が撮像した前方画像の映像と傘カメラＫ１が撮像した映像との被写体特徴量の一致とを基に、ＡＲグラスＧ１のプロセッサが行ってもよい。そして、正面の位置合わせが完了した時点の傘カメラＫ１の基準点ＰＫの位置及び向きとＡＲグラスＧ１の基準点ＰＧの位置及び向きに基づいて、傘カメラＫ１の基準点ＰＫに対するＡＲグラスＧ１の基準点ＰＧの相対位置と方向を示す相対位置方向パラメータＰＫＧを求める。

　相対位置方向パラメータＰＫＧと右視線方向パラメータＰＧＭＲの差分から右差分パラメータＰＫＭＲを算出し、これを用いて、傘カメラＫ１の座標系で示される被写体の座標をユーザＭの右眼球の座標系に変換することができる。ユーザの左眼球についても同様に相対位置方向パラメータＰＫＧと左視線方向パラメータＰＧＭＬの差分から左差分パラメータＰＫＭＬを算出し、傘カメラＫ１の座標系で示される撮像物体の座標をユーザＭの左眼球の座標系に変換することができる。

　傘カメラＫ１と被写体（前方に位置する人など）までの距離は、撮像センサ７１Ｋがステレオカメラであれば距離情報を取得することで傘カメラＫ１に対する被写体の相対位置を、傘カメラＫ１の座標系で示される被写体の座標として取得できる。よって、傘カメラＫ１からみた被写体の座標を、右差分パラメータＰＫＭＲ、左差分パラメータＰＫＭＬを用いてユーザの左右眼球の座標系に変換し、視界画像を生成することができる。被写体までの距離情報は、図３では不図示であるが、測距センサを傘カメラＫ１に別途備えて取得してもよい。なお、距離情報が得られなくても、被写体が傘の向こう側にあるとして約１ｍ以上、歩行に特に注意すべきは約５ｍ以内で、データ記憶領域に初期設定された所定距離にあるものとして処理してもよい。

　更に、傘ＡＭ１を使用中に、ユーザＭが手を動かしたり、傘ＡＭ１の中棒２０２を回転させたりして、傘カメラＫ１が初期キャリブレーション姿勢からずれた場合は、傘カメラＫ１に姿勢センサ（加速度センサ、地磁気センサ、ジャイロセンサ等）を搭載していれば、その姿勢センサが検出した初期キャリブレーション姿勢からの変化量をオフセットするための補正をユーザ視点変換処理として行ってもよい。このように、ＡＲグラスＧ１がユーザの左右眼球の動きを監視して位置を測定し、その動きに合わせて、撮像センサ７１Ｋの画角にユーザ眼球の相対位置および方向を反映させると、更に高精度に視点変換を行うことができる。上記したユーザ視点変換処理は一例に過ぎず、他の処理でも傘カメラＫ１の視点をユーザの視点に変換する処理であれば、本実施の形態に適用可能である。また、上記したユーザ視点変換処理は、本明細書に際した全ての実施の形態において適用できる。

　Ｓ２０４：ＡＲグラスＧ１は、近接無線通信機６３Ｋが受信した傘カメラＫ１からの撮像データと、傘開閉情報を受信し、ワークエリア４３へ格納する。

　Ｓ２０５：ビデオプロセッサ７２が、受信した撮像データを処理してＡＲ映像を作成して、左ディスプレイ７３Ｌと右ディスプレイ７３Ｒに表示する。

　Ｓ２０６：傘カメラＫ１からの撮像データが受信できなくなると傘カメラＫ１の動作停止を検知して、動作を終了する（Ｓ２０６：Ｙ）が、それまでは（Ｓ２０６：Ｎ）Ｓ２０３～Ｓ２０５の処理を繰り返す。

　先に図７のＳ１０５で説明した傘カメラＫ１の動作に合わせて、例えば、傘カメラＫ１が傘閉じ状態を検出してから第１の所定時間はＡＲグラスＧ１が撮像データの受信を継続し、第２の所定時間経過までは撮像データの受信を停止するが、近接無線通信は確立したまま待機状態としてもよい。第２の所定期間経過後に傘カメラＫ１が動作を停止するのに合わせて、ＡＲグラスＧ１はＡＲ表示の動作を停止する。このように、ＡＲグラスＧ１は傘カメラＫ１状態に同期して動作することが好ましい。

　さらなる応用として、ＡＲグラスＧ１の撮像センサ７１が撮像した映像から、半開き状態の傘ＡＭ１を検出して、傘カメラＫ１に伝え、半開き状態である間は撮像データの伝送を継続するようにしてもよい。即ち、上記第１の所定時間を延長する実装としてもよい。

　このように、ＡＲグラスＧ１の撮像データから得られる傘開閉状態と傘カメラＫ１の傘開閉検出器１１から得られる傘開閉情報を組み合わせることによって、ユーザの使い勝手を向上させることができる。

　また、強風下では傘ＡＭ１を半開き状態にさして歩行することもあるので、半開き状態でも障害物のＡＲ表示を継続してもよい。強風下であるかどうかは、傘の持ち手につけたスイッチでユーザが示してもよいし、傘布２０４や傘布骨２０５のたわみを予め傘ＡＭ１に取り付けたゲージセンサや撮像データの解析結果から判断してもよい。

　図９は、図８のステップＳ２０５の映像処理を詳細に示したサブルーチンを示すフローチャートである。

　Ｓ２１１：傘カメラＫ１の撮像データを撮像センサ７１ＫとＡＲグラスＧ１の相対位置と方向情報に基づいて、ユーザＭ１視点へ変換し、それらをワークエリア４３に格納する。

　Ｓ２１２：ユーザＭ１の視点で、Ｓ２０３で検出した傘布領域の向こう側、換言すると傘布領域で検出された傘布２０４を挟んで、ユーザＭ１とは反対側の外側に見える障害物映像を抽出して、それに基づくＡＲ映像を生成してワークエリア４３に格納する。ＡＲ映像は、Ｓ２０３で検出された傘布領域にのみ表示する。傘布が無い領域、すなわちユーザが直接、障害物を視認できる領域へはＡＲ映像を表示させない。特に、傘布に重畳させて表示するＡＲ映像の輪郭と、傘布領域外で直視できる障害物の輪郭が、傘布の境界部分でほぼ一致するようにＡＲ映像位置を調整すると、ユーザは障害物を認識しやすくなる。

　Ｓ２１３：生成された障害物のＡＲ映像を、右ディスプレイ７３Ｒと左ディスプレイ７３Ｌに表示する。

　このようにすることで、傘カメラＫ１が撮像した前方の映像からユーザＭ１の視界の内傘布２０４により視界が遮られた領域に相当する映像をＡＲ映像としてＡＲグラスＧ１に表示してユーザＭ１に提供できる。ＡＲグラスＧ１を使うことで、左右視差や左右焦点の差異なども表現することができ、ＡＲ表示された障害物までの遠近感を的確に表示できる。傘布２０４にディスプレイを貼り付ける場合は遠近感の表現が難しいが、ＡＲグラスＧ１では遠近感の表現が容易である。

　また、Ｓ１０１やＳ２０１の初期化において、人体通信、もしくはＮＦＣ（Ｎｅａｒ　Ｆｉｅｌｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）等で認証を行って、傘カメラＫ１とＡＲグラスＧ１のペアリングの信頼性を向上させてもよい。こうすることで、例えば家族で傘カメラＫ１をシェアリングして使うことができるようにした上で、家族以外の第３者の使用を防ぐことができる。

　図１０は、ＡＲグラスＧ１を通して見える光景の他の例を示す図である。特に夕暮れや夜などの直視でも視認しにくい状況におけるＡＲ表示例である。

　同図において、人Ｍ２２と電柱ＤＥＮ１２は、傘布部分へのＡＲ表示（斜線ハッチング）と傘布部分以外も含む輪郭ＡＲ表示（白線）との両方をさす。

　図６では、夕暮れになると障害物が視認しづらくなってきても、ＡＲ表示されたＤＥＮ１１や人Ｍ２の表示輝度を直視した時の輝度より上げて視認性を確保することができる。しかし、直視できる障害物との輝度差が生じて、逆に視認性を低下させる要因となりかねない。

　これを解消するため、図１０では、電柱ＤＥＮ１２と人Ｍ２２の輪郭をＡＲで強調表示（図１０では太い白線）して、見やすさを確保している。輪郭のＡＲ強調表示は、傘布部分だけでなく、ユーザが直接見える領域まで表示する。輪郭以外のＡＲ表示は、傘布部分に限定し、ユーザが直接見える障害物にＡＲ映像の重畳表示をできるだけ避けることによって、ユーザの障害物判断への影響を小さくするとよい。

　図１０のＡＲ表示を実現するため、図９に示した映像処理フローにＳ２２１～Ｓ２２４のステップを加えた図１１に示す映像処理フローを用いるとよい。図７と図８の説明は前述の通りなので省略し、図１１に示す主制御装置２又はビデオプロセッサ７２の動作フローを以下に説明する。Ｓ２１１とＳ２１２、Ｓ２１３は図９と同様であり、省略する。

　Ｓ２２１：ユーザＭ１の周辺が暗い、及び障害物が黒っぽいなど、傘ＡＭ１の向こう側（ユーザＭ１から見て傘布２０４の外側）の障害物を視認しづらい状況かどうかを判定する。例えば、傘カメラＫ１の撮像データの明度や周囲輝度センサが検出した周囲の明度が、ユーザの視認性の低下を判断するための明度閾値以上である場合、ＡＲグラスＧ１が視認に支障なしと判定し（Ｓ２２１：Ｎ）、Ｓ２１３へと進み、図９の動作フローと同じ処理を行う。一方、傘カメラＫ１の撮像データの明度や周囲輝度センサが検出した周囲の明度が、明度閾値未満の場合は、ＡＲグラスＧ１が視認に支障ありと判定し（Ｓ２２１：Ｙ）、処理Ｓ２２２へと進む。

　Ｓ２２２：ＡＲグラスＧ１は、Ｓ２１１でユーザ視点へ変換された撮像データから障害物の輪郭を抽出する。

　Ｓ２２３：ＡＲグラスＧ１は、障害物の輪郭に対応した輪郭ＡＲ映像を生成する。

　Ｓ２２４：ＡＲグラスＧ１は、Ｓ２２３で生成した輪郭ＡＲ映像と、Ｓ２１２で生成した障害物ＡＲ映像を合成する。こうすることで、周りが暗い状況においても、障害物を視認しやすくすることができる。

　図１２は、傘カメラＫ１の応用例として、傘を突き上げて撮像する場合を模式的に示した図である。

　普通にカメラを構えると、人Ｍ３は人Ｍ２に隠れてしまうが、傘カメラＫ１を突き上げることで、人Ｍ２の頭越しに別の人Ｍ３を撮像することを目的とする。

　図１２において、傘ＡＭ１は閉じているので傘開閉検出器１１によって傘カメラＫ１の電源は切られている。そこで傘開閉検出器１１とは別のスイッチを、例えば傘ＡＭ１の持ち手２０３などに設けて傘カメラＫ１を起動させてもよい。また、ＡＲグラスＧ１がユーザＭ１のジェスチャー動作を検知して、傘カメラＫ１を起動する命令を出せるようにしてもよい。

　傘ＡＭ１をカメラ支持棒代わりに使用するためのカメラ起動手段を設けることで、傘ＡＭ１をさしている時は傘布２０４に隠れた障害物をＡＲ表示し、傘ＡＭ１を閉じている時は人Ｍ２の頭越しに別の人Ｍ３を撮像できる傘カメラＫ１を提供できる利点がある。カメラ起動手段は、傘ＡＭ１が閉じた状態を傘開閉検出器１１が検知している間に、傘カメラＫ１を起動して撮像させる強制撮像指示の入力手段に相当する。

　また、傘カメラＫ１の内蔵のバッテリーに充電できるよう、傘置き場に充電用接点、又は無線給電装置を用意しておくと、便利である。充電台から傘ＡＭ１を持ち出す際に、傘カメラＫ１を待機状態（ＡＲグラスＧ１と通信確立するが撮像データ伝送はしない）とすると、傘ＡＭ１を開いてすぐに障害物のＡＲ表示を開始できる。

　また、出先の傘置き場では、所定距離及び所定時間が経過するとアラームを通知して忘れ物防止対策を行ってもよい。更に、自宅の傘置き場では、忘れ物防止アラームは不要なので、自宅又は自宅の傘置き場を検知してアラームを解除すると、余計なアラームを防止できて便利である。

　更に傘干しのために開いて置く場合は、ユーザＭ１の手を離れるので、障害物のＡＲ表示動作を停止させ、傘カメラＫ１の電源をＯＦＦにするとよい。ユーザＭ１の手が離れたことは、撮像センサ７１の撮像データを解析して検出しても良いし、傘ＡＭ１の持ち手２０３に接触センサを設けて判定してもよい。

　また、スマートフォン等からの無線電力伝送を、傘カメラＫ１で受けてもよい。

　また、傘布２０４をペロプスカイト電池で構成すれば、雨天でも発電できるので、それを傘カメラＫ１の電源として使用、充電することで、他の外部電源を用意する必要が無いので、便利である。

　また、傘カメラＫ１の撮像センサ７１Ｋを保護するために、撮像センサ７１Ｋの前にメカニカルシャッタを設けておくと、撮像センサ７１に物が当たった時に故障しにくくできる。例えば、傘ＡＭ１の開閉を検知する傘開閉検出器１１に同期させて傘が閉じている間はメカニカルシャッタを閉じるとよい。また、傘ＡＭ１を開いていても、ＡＲグラスＧ１が障害物のＡＲ表示動作をしていない時は、メカニカルシャッタを閉じるようにすると、撮像センサ７１Ｋの保護が強化できる。

　図１２に示したように、閉じた傘を支持棒代わりに使う場合は、傘開閉検出器１１だけでなく、傘が下向きであることを重力センサなどで判定してメカニカルシャッタを閉じるとよい。

《第２の実施の形態》
　第２の実施の形態は、傘ＡＭ１に傘カメラＫ１を装着する代わりにスマートフォンを用いた、第２の実施の形態を示す。

　図１３は、スマートフォンの構成を示した図である。

　図１３に示すスマートフォンＰ１は、主制御装置２Ｐ、システムバス３Ｐ、記憶装置４Ｐ、センサ装置５Ｐ、通信処理装置６Ｐ（携帯情報装置側通信装置に相当する）、映像処理装置７Ｐ、音声処理装置８Ｐ、及び操作入力装置９Ｐを備える。

　記憶装置４Ｐは、プログラム記憶領域４１Ｐ、データ記憶領域４２Ｐ、ワークエリア４３Ｐを含む。

　センサ装置５Ｐは、測位センサ５１Ｐ、地磁気センサ５２Ｐ、加速度センサ５３Ｐ、及びジャイロセンサ５４Ｐを含む。

　通信処理装置６Ｐは、ＬＡＮ通信機６１Ｐ、移動体無線通信機６２Ｐ、近接無線通信機６３Ｐを含む。

　映像処理装置７Ｐは、撮像センサ７１Ｐ、ビデオプロセッサ７２Ｐ、ディスプレイ７３Ｐ、空間センサ７４Ｐで構成される。

　音声処理装置８Ｐは、音声入出力部８１Ｐ、音声認識部８２Ｐ、音声デコーダ８３Ｐ、音声イコライザー８４Ｐを含む。

　これらの構成は図２に示したＡＲグラスＧ１の主制御装置２、システムバス３、記憶装置４、センサ装置５、映像処理装置７、音声処理装置８、操作入力装置９と同様の機能を有するものであり、それらの内部構成要素も同様であり、説明を省略する。スマートフォンＰ１及び後述するスマートウォッチＷ１は、携帯情報装置の一例である。

　差異があるのは、ＡＲグラスＧ１の映像処理装置７内の左ディスプレイ７３Ｌと右ディスプレイで左右両眼向けのＡＲ表示を行うことに対し、映像処理装置７Ｐ内のディスプレイ７３Ｐは非立体表示が多用される点である。

　図１４は、スマートフォンを胸ポケットに入れ、傘を差して歩くユーザＭ１と、前方の人を示した側面図である。

　傘ＡＭ２には撮像センサが装着されておらず、その代わりに、スマートフォンＰ１がユーザＭ１の胸ポケットに入っている。図１４が図５と異なる点は、傘カメラＫ１の撮像センサ７１Ｋに代えてスマートフォンＰ１の撮像センサ７１Ｐが前方を撮像している点である。スマートフォンＰ１で撮像した撮像データをＡＲグラスＧ１で受信し、傘ＡＭ２に隠れた人Ｍ２をＡＲ映像としてＡＲグラスＧ１に表示する点は同様である。

　傘ＡＭ２に遮られて、ユーザＭ１が人Ｍ２を直接視認できる範囲はＧ１００と狭い。それに対して、スマートフォンＰ１の撮像センサ７１Ｐから撮像できる範囲は（Ｇ１００＋Ｇ１０１）であり、Ｇ１００よりも広くなる。そこで、撮像センサ７１Ｐで撮像した、少なくとも範囲Ｇ１０１を含む撮像データを、通信処理装置６ＰでＡＲグラスＧ１へ伝送する。

　ＡＲグラスＧ１が、通信処理装置６Ｇを介して受信した撮像データは、ワークエリア４３に入る。ワークエリア４３に入った撮像データは、ビデオプロセッサ７２が視点変換などを行って障害物のＡＲ映像を生成する。ＡＲグラスＧ１は、そのＡＲ映像を右ディスプレイ７３Ｒと左ディスプレイ７３Ｌに表示する。

　よって、スマートフォンＰ１からの映像を、ＡＲグラスＧ１でＡＲ映像として見ることができ、ファッション性が高い、又は日焼け防止用にＵＶ遮蔽効果の高い不透明な傘であっても、傘で遮られた領域の障害物を視認しやすい映像表示システムを提供できる。

　図１５は、ＡＲグラスＧ１を通して見える光景を示す図である。

　図１５は、人Ｍ２のうち傘ＡＭ１で視認が遮られた一部領域をＡＲ表示したＡＲ映像Ｍ２３を図示しており、そのほかは図６と同じである。ＡＲ映像Ｍ２３は、撮像センサ７１Ｐの位置や方向によっては図６のＡＲ映像Ｍ２１よりも限定される。図１５において、直視できる人Ｍ２は図１４の範囲Ｇ１００に相当し、ＡＲ映像Ｍ２３は範囲Ｇ１０１に相当する。ユーザＭ１は、直視できる人Ｍ２と、ＡＲ映像Ｍ２３とを同時に見ることによって、傘ＡＭ１をさした状況でも人Ｍ２を認識しやすくなる。

　図１６は、スマートフォンＰ１の動作を説明するフローチャートである。主制御装置２Ｐが各ステップの動作を制御する。

　Ｓ３０１：スマートフォンＰ１のアプリケーションを立ち上げ、各種センサの状況把握や近接無線通信機６３ＰによるＡＲグラスＧ１との通信確立、ワークエリア４３Ｐの確保などの初期化を行う。

　Ｓ３０２：スマートフォンＰ１は、センサ装置５Ｐや近接無線通信機６３Ｐなどを活用して撮像センサ７１ＰとＡＲグラスＧ１との相対位置及び方向を検出する。相対位置及び方向の検知手段は、他にもＡＲグラスＧ１の撮像映像とスマートフォンＰ１の撮像映像の比較などでも検出可能であり、その手段は問わない。

　Ｓ３０３：スマートフォンＰ１は、相対位置及び方向の検出結果から、ＡＲグラスＧ１（すなわちユーザ）の前方、特に傘布がユーザの視界を遮っている領域を含む撮像ができるように調整する。例えば、スマートフォンＰ１がいわゆるインカメラとアウトカメラなど複数の撮像センサを持つ場合、前方でユーザの視界が遮られる領域を撮像できる撮像センサを選択する。撮像センサの方向が前方を撮像できる場合でも、撮像データが全領域にわたって黒画面であればカバン等に入れられて撮像できないと判断する。

　Ｓ３０４：スマートフォンＰ１は、前方を撮像可能か、ＡＲグラスＧ１へ知らせる。もし撮像不可なら、撮像不可能な状態をＡＲグラスＧ１に通知し、ＡＲグラスＧ１がユーザＭ１に警告メッセージを出して、ユーザＭ１がスマートフォンＰ１を前方撮像できる位置に移動するまで待つ。

　Ｓ３０５：前方を撮像できる撮像センサ７１Ｐが撮像を開始する。

　Ｓ３０６：Ｓ３０２と同様に、近接無線通信機６３Ｐの活用や、センサ装置５ＰとＡＲグラスＧ１のセンサ装置５、撮像映像の特徴点マッチングなどから、スマートフォンＰ１とＡＲグラスＧ１の相対位置及び方向を検出する。

　Ｓ３０７：撮像センサ７１Ｐが撮像した撮像データ、及びＳ３０６で検出したスマートフォンＰ１とＡＲグラスＧ１の相対位置と方向に関する情報（例えば６ＤｏＦセンサのセンサ情報がある）を、通信処理装置６Ｐにより伝送する。

　Ｓ３０８：ＡＲグラスＧ１が撮像終了指示を受けたか確認する。撮像終了指示があれば（Ｓ３０８：Ｙ）終了する。撮像終了指示がなければ（Ｓ３０８：Ｎ）、処理Ｓ３０９へ処理を移す。

　Ｓ３０９：ユーザＭ１がスマートフォンＰ１の操作入力装置９Ｐに撮像終了を入力したかどうかを判断する。撮像終了指示がなければ（Ｓ３０９：Ｎ）なら処理Ｓ３０６へ移り、処理Ｓ３０６以降の処理を続ける。撮像終了指示があれば（Ｓ３０９：Ｙ）エンドで処理を終える。

　図１７は、ＡＲグラスＧ１の動作を説明するフローチャートである。主制御装置２が各ステップの動作を制御する。

　Ｓ４０１：アプリケーションを初期化して、各種センサの状況把握や近接無線通信機６３によるスマートフォンＰ１との通信確立、ワークエリア４３の確保などを行う。

　Ｓ４０２：ＡＲグラスＧ１の撮像センサ７１が撮像した撮像データを解析して、ユーザＭ１が傘ＡＭ２（図１４参照）を開いたことを検知するまで待機する。

　Ｓ４０３：センサ装置５や近接無線通信機６３などを活用してＡＲグラスＧ１とスマートフォンＰ１の撮像センサ７１Ｐとの相対位置及び方向を検出する。相対位置及び方向の検知手段は、他にもＡＲグラスＧ１の撮像映像とスマートフォンＰ１の撮像映像比較などでもよいし、ＡＲグラスＧ１及びスマートフォンＰ１の其々の測位センサ５１、５１Ｐが世界座標系で示された座標を検出して位置情報のずれを算出して相対位置を算出し、更にＡＲグラスＧ１及びスマートフォンＰ１の其々の地磁気センサ５２、５２ＰがＡＲグラスＧ１、スマートフォンＰ１が向いている方向を検出して向いている方向のずれを検出してもよく、その手段は問わない。また、相対位置及び方向検出はＡＲグラスＧ１かスマートフォンＰ１のどちらかで実施してその結果を通知してもよいし、両者で機能を分担して協調処理としてもよい。

　Ｓ４０４：スマートフォンＰ１の撮像センサ７１ＰがユーザＭ１（すなわちＡＲグラスＧ１）の前方を撮像できるか調べる。前方撮像できない状態なら、ユーザＭ１にスマートフォン位置調整要などを警告し、指示を待つ。撮像できないと判断する例としては、以下がある。

（１）ＡＲグラスＧ１がスマートフォンＰ１から送られてきた撮像データに、ＡＲグラスＧ１の撮像センサ７１の撮像データ（例えば図１４の範囲Ｇ１００）と一致する映像が含まれるかで判断する。また、スマートフォンＰ１から送られてきた撮像データが全黒であればポケット内やカバン内にスマートフォンがあると判断して、ユーザにスマートフォン位置の調整を依頼する。
（２）スマートフォンＰ１が映像を撮像できるかを判断し、撮像できれば映像をＡＲグラスＧ１へ伝達する。撮像不可なら、ＡＲグラスＧ１へ撮像不可を伝達する。
（３）ＡＲグラスＧ１とスマートフォンＰ１の相対位置及び方向検出結果から前方映像の撮像可否を判断する。

　前方を撮像できない時の警告表示や音のメッセージとしては、
（１）前方映像を撮像できるスマホが見当たりません。
（２）スマホのカメラで前方を撮像できる位置に取り出してください。
等がある。

　Ｓ４０５：ＡＲグラスＧ１は、スマートフォンＰ１へ撮像データ伝送開始を要求する。

　Ｓ４０６：撮像センサ７１Ｐの撮像データと、相対位置及び方向情報を受信し、ワークエリア４３に格納する。なお、ＡＲグラスＧ１とスマートフォンＰ１の相対位置及び方向をＳ４０３で示したようにＡＲグラスＧ１側で検知できれば、相対位置及び方向情報の受信は必要ではなくなる。

　Ｓ４０７：ビデオプロセッサ７２が、スマートフォンＰ１から受信した撮像データを、ユーザＭ１の視点へ視点変換処理を行う。

　Ｓ４０８：ビデオプロセッサ７２が、視点変換された映像から、ＡＲグラスＧ１の撮像センサ７１が撮像して認識された傘布部分と重なる障害物を抽出してそのＡＲ映像を生成する。

　Ｓ４０９：その生成されたＡＲ映像を、右ディスプレイ７３Ｒと、左ディスプレイ７３Ｌに表示する。

　Ｓ４１０：撮像センサ７１が撮像した映像を解析して、傘ＡＭ２が閉じているかを調べる。傘ＡＭ２が閉じていれば（Ｓ４１０：Ｙ）、処理Ｓ４１３へと進む。傘ＡＭ２が開いていれば（Ｓ４１０：Ｎ）、処理Ｓ４１１へ進む。

　Ｓ４１１：ユーザＭ１が操作入力装置９に動作終了を指示したか調べる。動作終了指示があれば（Ｓ４１１：Ｙ）、処理Ｓ４１３へと進む。動作終了指示がなければ（Ｓ４１１：Ｎ）、処理Ｓ４１２へ進む。

　Ｓ４１２：スマートフォンＰ１から動作終了の通知があるか調べる。動作終了指示がなければ（Ｓ４１１：Ｎ）、処理Ｓ４０６へ戻って、以下処理Ｓ４０６～Ｓ４１２を繰り返す。動作終了指示があれば（Ｓ４１２：Ｙ）、エンドで処理を終える。

　Ｓ４１３：ＡＲグラスＧ１からスマートフォンＰ１に撮像データ伝送停止を指示する。その後、エンドで処理を終える。

　本実施の形態によれば、傘カメラＫ１がなくても、手持ちのスマートフォンＰ１とＡＲグラスＧ１で前方の障害物をＡＲ表示し、ファッション性や日傘用ＵＶ遮蔽効果に効果のある映像表示システムを提供できる。

　また、スマートフォンＰ１を首からぶら下げたり、腰やカバンに挿し込んだスマートフォンＰ１を代用したりしてもよい。また、スマートフォンＰ１の撮像センサ７１Ｐが前方を向いていない場合は、ユーザにアラーム音や通知表示をさせてもよい。

　また、スマートフォンＰ１のカメラは、傘布２０４を通して前方障害物を検知できるミリ波レーダーを併用又は代用しても良い。ミリ波レーダーは反射物までの距離と方角を示す点群データを取得する。点群データから、ユーザ視点で傘布２０４を見込む角度範囲であって、更に傘布２０４より遠い反射点のデータを抽出してＡＲグラスＧ１上に距離映像としてＡＲ表示することにより、ユーザＭ１に障害物の存在を知らせることができる。傘布２０４より近い反射点のデータは、傘ＡＭ１、ＡＭ２の傘布骨２０５や中棒２０２での反射等であり、傘ＡＭ１、ＡＭ２の向こう側の障害物のＡＲ表示に対して雑音となるため、ＡＲ表示はしない。

　点群データの取得にあたり、ＡＲグラスＧ１の撮像センサ７１が撮像した映像を解析して、ユーザＭ１の視界に障害となる傘布領域を抽出し、その障害領域を優先的に、点群データを取得すると取得効率がよくなる。

　可視光撮像センサである撮像センサ７１とミリ波レーダーを併用する場合は、可視光撮像センサでとらえられる領域は、ミリ波レーダーによる点群データの表示を省略すると、障害物をより見やすくすることができる。

　図１８は、スマートフォンの撮像センサとミリ波レーダーを併用した場合における、ＡＲグラスＧ１を通して見える光景を示す図である。

　図１８では、図１５に加え、ミリ波レーダーで検出して生成した電柱のＡＲ表示ＤＥＮ１４及び人のＡＲ表示２４を点群として表している。

　前述したように、ミリ波レーダーは反射点までの距離と方角を検知した点群データを出力する。ユーザ視点への映像変換と同様に、スマートフォンＰ１とＡＲグラスＧ１の相対位置及び方向情報を用いて、ユーザ視点から見た点群データへの変換が可能である。ユーザ視点へ変換された点群データから障害物のＡＲ映像を生成して右ディスプレイ７３Ｒ、左ディスプレイ７３Ｌに表示する。

　図１９に、第２の実施の形態の変形例を示す。

　図１９は、図１４のスマートフォンＰ１を、撮像センサ又は空間センサを有するスマートウォッチＷ１に置き換えたものである。

　図１９は、スマートウォッチＷ１とＡＲグラスＧ１を組み合わせて、スマートウォッチＷ１からＡＲグラスＧ１へ撮像データを伝送している。

　この組み合わせにおいても、スマートウォッチＷ１とＡＲグラスＧ１で、前方の障害物を傘布２０４の領域へＡＲ表示できるので、ファッション性が高い、又は日焼け防止用にＵＶ遮蔽効果の高い不透明な傘であっても、傘ＡＭ２で遮られた領域の障害物を視認しやすい映像表示システムを提供できる。

　なお、スマートウォッチＷ１の基本的なハードウェアは、スマートフォンＰ１とほぼ同じであるため、詳細を省略する。

　また、スマートフォンＰ１とスマートウォッチＷ１を併用して、お互いに撮像の死角となる領域を補完して、障害物のＡＲ表示できる領域を広げてもよい。

　上記したスマートウォッチＷ１に限らず、撮像センサ又は空間センサと通信処理装置を備え、ＡＲグラスとの相対位置と方向をＡＲグラスＧ１で取得できるものであれば、本願発明に適用できる。

《第３の実施の形態》
　第３の実施の形態は、ＡＲグラスに空間センサを搭載し、ＡＲグラス単体で傘布２０４により視線が遮られた領域に存在する障害物をＡＲ表示する実施の形態である。

　図２０は、傘を差して歩く人と、先方の人を示した側面図である。

　この図が他の図と異なる点は、ＡＲグラスＧ１以外の、例えばスマートフォンＰ１や、傘カメラＫ１などを有さない点である。この場合、例えばＡＲグラスＧ１にミリ波レーダーなどの空間センサ７４を装着しておき、傘布２０４を通り越して人Ｍ２を検知できれば、図６等と同じように見ることができる。

　図２１は、ＡＲグラスＧ１を通して見える光景を示す図である。

　図２１は、電柱ＤＥＮ１のＡＲ映像ＤＥＮ１５、人Ｍ２のＡＲ映像Ｍ２５を示す。空間センサ７４が発したミリ波を電柱ＤＥＮ１や人Ｍ２が反射し、空間センサ７４がそれらの反射波を受信して、反射点の方向と反射点までの距離データを取得する。取得した点群データから、ユーザ視点での障害物ＡＲ映像を生成して、右ディスプレイ７３Ｒ、左ディスプレイ７３Ｌに表示する。これによって、傘で遮られた、傘の向こう側の障害物をユーザが視認しやすくなる効果がある。また、ＡＲグラスＧ１に搭載した空間センサ７４からユーザＭ１の眼球位置までの相対位置、方向のずれ量は、傘カメラＫ１からユーザＭ１の眼球位置までの相対位置、方向のずれ量、及びスマートフォンＰ１又はスマートウォッチＷ１からユーザＭ１の眼球位置までの相対位置、方向のずれ量よりも小さいので、ＡＲ映像をユーザからみた視界により近づけて表示させることができる。更に空間センサ７４の検知方向とユーザＭ１の視界とをほぼ同義とみなして、空間センサ７４の検出結果をユーザの視点に変換する処理を省略し、ＡＲグラスＧ１の処理負荷を下げてもよい。

　図２２は、第３の実施の形態における、ＡＲグラスの動作を説明するフローチャートである。主制御装置２が各ステップの動作を制御する。

　Ｓ５０１：本アプリケーションを初期化する。

　Ｓ５０２：ＡＲグラスＧ１の撮像センサ７１が傘布を検知する。

　Ｓ５０３：ユーザが傘布で前方が見えない領域を、空間センサ７４が重点的に探索して、空間センサ７４を基準点として、反射点の方向（θ、φ）と距離（ｒ）からなる点群データを取得する。

　Ｓ５０４：ビデオプロセッサ７２はユーザ視点の点群データを生成する。具体的には、極座標（ｒ，θ，φ）の点群データを直交座標（ｘ，ｙ，ｚ）に変換し、ユーザの眼球位置と空間センサ７４の相対位置を減算して基準位置に合わせる。続いて相対方向だけ座標軸を回転して、ユーザ視点の直交座標系点群データを生成する。各点の中で、ユーザ視点で見た傘布２０４より遠方にある点を抽出して、ＡＲ映像を生成する。ＡＲ映像は抽出した点群であってもよいし、点群が検知される物体の領域を示すものや標識、文字による警告表示であってもよい。その生成されたＡＲ映像を、右ディスプレイ７３Ｒと左ディスプレイ７３Ｌに表示する。

　傘布２０４より手前の点群は直視できる領域であること、更には傘骨や中棒による反射点であることを考慮してＡＲ表示の対象とはしない。

　また、ＡＲグラスＧ１は、視界画像に撮像された前記傘布よりも外側、かつ予め定めた距離範囲の点群データのみを抽出してＡＲ表示を行ってもよい。例えば、所定距離以上、例えば５ｍ以上離れた静止障害物は、歩行上の障害になる可能性が低いので、薄くＡＲ表示するか又はＡＲ表示を省略してもよい。但し、遠くても近づいてくる車などの移動障害物はＡＲ表示した方がよい。所定の速度以上、例えば、秒速２ｍ以上で近づく点群は距離に関係なくＡＲ表示し、それ以外は５ｍ以内の点群のみＡＲ表示としてもよい。これによって、危険な接近物を優先的に表示することができる。

　Ｓ５０５：傘ＡＭ１が閉じられていることを検出したら待機し、操作入力装置９やジェスチャー入力でアプリケーションＯＦＦのユーザ指示があれば（Ｓ５０５：Ｙ）、エンドへ進む。アプリケーションＯＦＦのユーザ指示は無い状態で、傘ＡＭ２が開いていることを検出している間（Ｓ５０５：Ｎ）は処理Ｓ５０３へ飛び、以降障害物のＡＲ表示動作を継続する。

　本実施の形態によれば、ファッション性を高めるためや日焼け防止用ＵＶ遮蔽効果を高めるために不透明な傘布２０４を用いた傘ＡＭ２の使用中であっても、ＡＲグラスＧ１で前方の障害物をＡＲ表示することができ、傘使用中の前方視認性を確保することができる。

　更に、本実施の形態では、ＡＲグラス単体で、不透明な傘布２０４を使用中の前方視認性の確保が実現できるので、傘が異なっても、更には、スマートフォンＰ１やスマートウォッチＷ１を用いる必要がなく、ＡＲグラスとスマートフォンＰ１やスマートウォッチＷ１との近接通信が不要となり、通信に必要な電力を削減することができる。

　また、周囲が暗く視認環境の悪い状況では、図１０に示した、電柱ＤＥＮ１２と人Ｍ２２の丸印の所をＡＲで強調表示（図１０では太い白線）して、見やすさを確保することは、図１８のＡＲグラス単独の映像表示システムにも適用できる。

　また、第１の実施の形態から第３の実施の形態は、光学シースルー型のＡＲグラスを例にとって説明してきたが、ビデオシースルー型のＶＲゴーグルにも同様に適用可能である。よって、不透明な生地を用いた傘を使用しても、前方映像を取得する撮像センサ又は３次元空間を把握できる空間センサを配置し、撮像された撮像データや３次元空間把握情報を処理して、ユーザが装着したＨＭＤに、前方の障害物をＡＲ表示する映像表示システムを提供できる。

　なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

　また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

　本実施の形態は、以下の発明を含む。
（付記１）
　映像表示システムであって、
　傘の開閉状態を検知する傘開閉検出器と、
　前記傘を構成する傘布の外側の実空間内に存在する物体の位置を検知して周辺空間情報を出力する空間センサと、
　画像表示装置と、
　前記傘のユーザの視点で撮像した視界画像を生成するユーザ視点カメラと、
　プロセッサと、を備え、
　前記プロセッサは、
　　前記傘開閉検出器が前記傘の開き状態を検知している間は、前記視界画像から前記傘布が撮像された傘布領域を抽出し、
　前記空間センサと前記視界画像の基準点の相対位置及び方向情報を用いて、前記周辺空間情報をユーザ視点に変換し、
　前記変換後のユーザ視点周辺空間情報から、前記傘布領域に撮像された前記傘布が前記ユーザの視界を遮ることで前記ユーザが見えなくなっている前記物体を示す拡張現実映像を生成し、
　前記画像表示装置に前記拡張現実映像を表示するための制御を実行する、
　映像表示システム。
（付記２）
　映像表示方法であって、
　プロセッサが、
　傘の傘開閉検出器から、前記傘が開いたことを示す情報を取得するステップと、
　空間センサから、前記傘を構成する傘布の外側の実空間内に存在する物体の位置を検知して周辺空間情報を取得するステップと、
　前記傘開閉検出器が前記傘の開き状態を検知している間は、前記周辺空間情報のうち、前記傘のユーザの前記傘布に視界を遮られた領域にある前記周辺空間情報を抽出し、前記物体の形状及び位置を示す拡張現実映像を生成し、ディスプレイに表示するステップと、
を実行する、
　映像表示方法。
（付記３）
　ユーザが頭部に装着する頭部装着型映像表示装置であって、
　　頭部装着型映像表示装置は、
　　プロセッサと、
　　ディスプレイと、
　　ユーザの視点で撮像した視界画像を生成する視点カメラと、
　　前方の空間情報を出力するレーダーセンサと、を備え、
　前記プロセッサは、
　　前記視界画像を解析してユーザが傘を開いたことを検知して前記レーダーセンサを起動させ、
　　前記視界画像から傘布領域を検出し、
　　前記レーダーセンサが出力する空間情報から、前記傘布領域に撮像された前記傘布よりも外側に位置する物体を検出した空間情報を抽出し、
　　前記抽出した空間情報に含まれる物体を示す拡張現実映像を生成し、
　　前記ディスプレイにおいて前記傘布領域に撮像された前記傘が透過して見える領域に、前記拡張現実映像を表示する、
　頭部装着型映像表示装置。

１：主制御装置、２：主制御装置、２Ｋ：主制御装置、２Ｐ：主制御装置、２ｍ：秒速、３：システムバス、３Ｋ：システムバス、３Ｐ：システムバス、４：記憶装置、４Ｋ：記憶装置、４Ｐ：記憶装置、５：センサ装置、５Ｐ：センサ装置、６：通信処理装置、６Ｇ：通信処理装置、６Ｋ：通信処理装置、６Ｐ：通信処理装置、７：映像処理装置、７Ｋ：映像処理装置、７Ｐ：映像処理装置、８：音声処理装置、８Ｐ：音声処理装置、９：操作入力装置、９Ｐ：操作入力装置、１０：視線検出装置、１１：傘開閉検出器、２４：ＡＲ表示、４１：プログラム記憶領域、４１Ｋ：プログラム記憶領域、４１Ｐ：プログラム記憶領域、４２：データ記憶領域、４２Ｋ：データ記憶領域、４２Ｐ：データ記憶領域、４３：ワークエリア、４３Ｋ：ワークエリア、４３Ｐ：ワークエリア、５１：測位センサ、５１Ｋ：測位センサ、５１Ｐ：測位センサ、５２：地磁気センサ、５２Ｐ：地磁気センサ、５３：加速度センサ、５３Ｐ：加速度センサ、５４：ジャイロセンサ、５４Ｐ：ジャイロセンサ、６１：ＬＡＮ通信機、６１Ｐ：ＬＡＮ通信機、６２：移動体無線通信機、６２Ｐ：移動体無線通信機、６３：近接無線通信機、６３Ｋ：近接無線通信機、６３Ｐ：近接無線通信機、７１：撮像センサ、７１Ｋ：撮像センサ、７１Ｐ：撮像センサ、７２：ビデオプロセッサ、７２Ｋ：ビデオプロセッサ、７２Ｐ：ビデオプロセッサ、７３Ｌ：左ディスプレイ、７３Ｐ：ディスプレイ、７３Ｒ：右ディスプレイ、７４：空間センサ、７４Ｐ：空間センサ、８１：音声入出力部、８１Ｐ：音声入出力部、８２：音声認識部、８２Ｐ：音声認識部、８３：音声デコーダ、８３Ｐ：音声デコーダ、８４：音声イコライザー、８４Ｐ：音声イコライザー、２０１：石突、２０２：中棒、２０３：持ち手、２０４：傘布、２０５：傘布骨、１００１Ｌ：左視線検出器、１００１Ｒ：右視線検出器、ＡＭ１：傘、ＡＭ１Ｏ：状態、ＡＭ１Ｓ：状態、ＡＭ２：傘、ＤＥＮ１：電柱、ＤＥＮ１２：電柱、ＤＥＮ１４：ＡＲ表示、ＤＥＮ１５：ＡＲ映像、Ｇ１：ＡＲグラス、Ｇ１０：筐体、Ｇ１００：範囲、Ｇ１０１：範囲、Ｋ１：傘カメラ、Ｍ：ユーザ、Ｍ１：ユーザ、Ｍ２：人、Ｍ２１：ＡＲ映像、Ｍ２２：人、Ｍ２３：ＡＲ映像、Ｍ２５：ＡＲ映像、Ｍ３：人、Ｎ１：視野、Ｎ２：ＡＲ表示領域、Ｐ１：スマートフォン、Ｗ１：スマートウォッチ

Claims

　映像表示システムであって、
　傘の開閉状態を検知する傘開閉検出器と、
　前記傘を構成する傘布の外側の実空間内に存在する物体の位置を検知して周辺空間情報を出力する空間センサと、
　画像表示装置と、
　前記傘のユーザの視点で撮像した視界画像を生成するユーザ視点カメラと、
　プロセッサと、を備え、
　前記プロセッサは、
　　前記傘開閉検出器が前記傘の開き状態を検知している間は、前記視界画像から前記傘布が撮像された傘布領域を抽出し、
　前記空間センサと前記視界画像の基準点の相対位置及び方向情報を用いて、前記周辺空間情報をユーザ視点に変換し、
　前記変換後のユーザ視点周辺空間情報から、前記傘布領域に撮像された前記傘布が前記ユーザの視界を遮ることで前記ユーザが見えなくなっている前記物体を示す拡張現実映像を生成し、
　前記画像表示装置に前記拡張現実映像を表示するための制御を実行する、
　映像表示システム。
　請求項１に記載の映像表示システムにおいて、
　前記画像表示装置は、前記ユーザが頭部に装着する頭部装着型映像表示装置であり、
　前記頭部装着型映像表示装置は、
　　前記プロセッサと、
　　ディスプレイと、
　　前記ユーザ視点カメラと、を備える、
　映像表示システム。
　請求項２に記載の映像表示システムにおいて、
　前記空間センサは、前記傘布の外側に備えられた傘カメラであり、
　前記傘カメラは、前記傘カメラが撮像した周辺画像を送信するカメラ側通信装置を備え、
　前記頭部装着型映像表示装置は、前記傘カメラから前記周辺画像を受信する装置側通信装置を備え、
　前記プロセッサは、
　　前記周辺画像を前記ユーザの視点に変換してユーザ視点周辺映像を生成し、
　　前記ユーザ視点周辺映像における前記視界画像の前記傘布領域に相当する領域に撮像された前記物体を示す前記拡張現実映像を生成する、
　映像表示システム。
　請求項３に記載の映像表示システムにおいて、
　前記傘カメラは、前記傘の先端部分に設置され、
　前記プロセッサは、前記傘が閉じた状態を前記傘開閉検出器が検知している間に、前記傘カメラを起動して撮像させる強制撮像指示の入力を受け付けると、前記傘カメラを起動して前記周辺画像を撮像する、
　映像表示システム。
　請求項２に記載の映像表示システムにおいて、
　前記空間センサは、前記ユーザが携帯する携帯情報装置であり、
　前記携帯情報装置は、
　　外界撮像カメラと、
　　前記外界撮像カメラが撮像した周辺画像を送信する携帯情報装置側通信装置を備え、
　前記頭部装着型映像表示装置は、前記携帯情報装置から前記周辺画像を受信する装置側通信装置を備え、
　前記プロセッサは、
　　前記ユーザの視点に変換した前記周辺画像から、前記傘布領域に相当する領域を抽出し、
　　抽出した前記周辺画像に撮像された前記物体を示す前記拡張現実映像を生成する、
　映像表示システム。
　請求項１に記載の映像表示システムにおいて、
　前記画像表示装置は、前記ユーザが頭部に装着する頭部装着型映像表示装置であり、
　前記頭部装着型映像表示装置は、
　　前記プロセッサと、
　　ディスプレイと、
　　前記ユーザ視点カメラと、
　　前記空間センサとしてのレーダーセンサと、を備え、
　前記プロセッサは、
　　前記レーダーセンサが出力した点群データを前記相対位置及び方向情報を用いて変換し、
　　前記変換後の点群データから、前記傘布領域よりも外側に位置する前記物体の点群データを抽出し、
　　前記抽出した点群データに含まれる前記物体を示す拡張現実映像を生成する、
　映像表示システム。
　請求項６に記載の映像表示システムにおいて、
　前記プロセッサは、前記視界画像に撮像された前記傘布よりも外側、かつ予め定めた距離範囲内の前記点群データを抽出して前記拡張現実映像を生成する、
　映像表示システム。
　請求項１に記載の映像表示システムにおいて、
　前記傘開閉検出器が前記傘を開いた状態を検知すると前記空間センサ及び前記画像表示装置が起動し、前記傘開閉検出器が前記傘を閉じた状態を検知すると前記空間センサ及び前記画像表示装置を停止する、
　映像表示システム。
　請求項１に記載の映像表示システムにおいて、
　前記プロセッサは、前記視界画像の明度が前記ユーザの視認性の低下を判断するための明度閾値未満であると判断すると、前記拡張現実映像で示す前記物体のうち、前記傘布よりはみ出て前記ユーザが直接視認する前記物体の部分の輪郭を追加して拡張現実表示する、
　映像表示システム。
　映像表示方法であって、
　プロセッサが、
　傘の傘開閉検出器から、前記傘が開いたことを示す情報を取得するステップと、
　空間センサから、前記傘を構成する傘布の外側の実空間内に存在する物体の位置を検知して周辺空間情報を取得するステップと、
　前記傘開閉検出器が前記傘の開き状態を検知している間は、前記周辺空間情報のうち、前記傘のユーザの前記傘布に視界を遮られた領域にある前記周辺空間情報を抽出し、前記物体の形状及び位置を示す拡張現実映像を生成し、ディスプレイに表示するステップと、
を実行する、
　映像表示方法。
　ユーザが頭部に装着する頭部装着型映像表示装置であって、
　　頭部装着型映像表示装置は、
　　プロセッサと、
　　ディスプレイと、
　　ユーザの視点で撮像した視界画像を生成する視点カメラと、
　　前方の空間情報を出力するレーダーセンサと、を備え、
　前記プロセッサは、
　　前記視界画像を解析してユーザが傘を開いたことを検知して前記レーダーセンサを起動させ、
　　前記視界画像から傘布領域を検出し、
　　前記レーダーセンサが出力する空間情報から、前記傘布領域に撮像された前記傘布よりも外側に位置する物体を検出した空間情報を抽出し、
　　前記抽出した空間情報に含まれる物体を示す拡張現実映像を生成し、
　　前記ディスプレイにおいて前記傘布領域に撮像された前記傘が透過して見える領域に、前記拡張現実映像を表示する、
　頭部装着型映像表示装置。
　請求項１１に記載の頭部装着型映像表示装置であって、
　前記レーダーセンサは、ミリ波レーダーであって、
　周囲が暗いときは、前記拡張現実映像による表示を行う前記物体のうち、前記傘布領域に撮像された前記傘布よりはみ出た部分も拡張現実映像を表示する、
　頭部装着型映像表示装置。