WO2022239206A1

WO2022239206A1 - 画像表示装置および画像表示システム

Info

Publication number: WO2022239206A1
Application number: PCT/JP2021/018292
Authority: WO
Inventors: 智則平林; 眞弓中出; 治川前; 宏司中森; 万寿男奥
Original assignee: マクセル株式会社
Priority date: 2021-05-13
Filing date: 2021-05-13
Publication date: 2022-11-17
Also published as: JPWO2022239206A1; CN117296307A

Abstract

本開示の画像表示装置は、カメラ、測距センサ、照度センサ、明暗判定装置、画像生成装置、画像保存装置、画像検索装置、視認画像決定装置、および表示装置を備える。カメラは、ユーザの前方にある現実物体を撮像しカメラ画像を得る。画像生成装置は、測距センサのデータを基に、カメラ画像に対応しておりこの現実物体の各位置までの距離を表す距離画像を生成する。明暗判定装置は、照度センサのデータを基にユーザの居る場所が明所か暗所かを判定する。画像保存装置は、明所で得られたカメラ画像および距離画像をセットで保存する。画像検索装置は、暗所において、既に保存されている明所の距離画像の中から、得られた暗所の距離画像に対応した距離画像を検索し特定する。視認画像決定装置は、特定された距離画像と同じセットに含まれるカメラ画像を基礎にして視認画像を決定する。表示装置は、その視認画像をユーザに視認させるべく表示する。

Description

画像表示装置および画像表示システム

　本発明は、暗所での視認を支援する画像表示装置および画像表示システムに関する。

　現実空間もしくは背景画像にＣＧ（Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ）で作成したＡＲ（Ａｒｇｕｍｅｎｔ　Ｒｅａｌｉｔｙ）オブジェクトを付与する拡張現実の技術が、ゲーム、あるいは保守作業等のコンテンツに用いられている。ユーザはヘッドマウントディスプレイ（以下、ＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）ともいう）、携帯型情報端末等を使用して、表示面に合成されるコンテンツ画像を観ることにより、拡張現実を体感する。

　特許文献１では、背景を撮像するカメラと、背景にある現実物体までの距離を計測する測距デバイスとを備えたＨＭＤが開示されている。さらに、カメラで得られた画像から現実オブジェクトを抽出する処理を実行し、現実オブジェクトに対応付けてＡＲオブジェクトを付与する技術が開示されている。

　特許文献２では、測距センサの例が開示されている。特許文献２では、車の自動運転の分野において、レーザ光をスキャンし、その反射光の到達時間または位相差を計測することで、正面方向の物体までの距離を表すデータを得る測距センサ（ＬｉＤＡＲ：Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）が開示されている。

国際公開第２０２０／１１５７８４号国際公開第２０１９／０８２９２６号

　しかしながら、特許文献１に記載の技術では、暗所での利用は考慮されていない。例えば、停電等により消灯している場所、周囲環境への配慮のため照明が使えない夜間の工事現場または保守現場、照明が点灯していない建屋内など、カメラ撮像が不得手な暗所においては、ユーザの前方の視認が悪く、当該技術の利用は難しい。

　このような事情により、暗所においてユーザの前方の視認性を向上させることが望まれている。

　本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。

　本発明の代表的な実施の形態による画像表示装置は、ユーザに視認させる視認画像を表示する画像表示装置であって、前記ユーザの前方を撮像しカメラ画像を得るカメラと、前記ユーザから前記カメラの視野領域に含まれる現実物体における各位置までの距離を表すデータを得る測距センサと、前記ユーザが居る場所の明るさを表すデータを得る照度センサと、前記測距センサにより得られるデータを基に、前記視野領域に対応し各画素が前記各位置までの距離を表す距離画像を生成する生成装置と、前記照度センサにより得られるデータを基に、前記ユーザの居る場所が明所か暗所かを判定する判定装置と、前記判定装置により明所であると判定された場合に、前記カメラにより得られるカメラ画像と前記生成装置により得られる距離画像とを、明所カメラ画像と明所距離画像とを含む画像セットとして保存する保存装置と、前記判定装置により暗所であると判定された場合に、前記生成装置により得られる距離画像を暗所距離画像として認識する認識装置と、前記保存装置により保存されている明所距離画像と前記認識装置により認識された暗所距離画像とを比較することにより、前記認識された暗所距離画像に対応する明所距離画像を特定する検索装置と、前記検索装置により特定された明所距離画像と同じ前記画像セットに含まれる明所カメラ画像に基づいて、前記ユーザに視認させる視認画像を決定する決定装置と、前記視認画像を表示する表示装置と、を備える画像表示装置である。

　本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。

　本発明の代表的な実施の形態によれば、暗所においてユーザの前方の視認性を向上させることができる。

実施形態１に係るＨＭＤの外観図である。実施形態１に係るＨＭＤのハードウェア的な構成を示すブロック図である。実施形態１に係るＨＭＤの機能的な構成を示す機能ブロック図である。実施形態１に係るＨＭＤによる暗所ガイドプログラムの処理フロー図である。実施形態１に係るＨＭＤによる画像セット保存・管理の処理フロー図である。実施形態１に係るＨＭＤにより得られる画像の例を示す図である。実施形態２に係るＨＭＤシステムの第１の構成例を示す図である。実施形態２に係るＨＭＤシステムの第２の構成例を示す図である。画像保存サービスサーバのハードウェア的な構成を示すブロック図である。画像セットのデータ構成の例を示す図である。実施形態３に係るＨＭＤの機能的な構成を示す機能ブロック図である。実施形態３による視認画像の決定処理のフロー図である。実施形態３による視認画像の決定処理のフロー図である。実施形態３に係るＨＭＤにより視認画像を決定する処理の第１例を説明するための図である。実施形態３に係るＨＭＤにより視認画像を決定する処理の第２例を説明するための図である。実施形態３に係るＨＭＤにより視認画像を決定する処理の第３例を説明するための図である。実施形態４による距離画像間の比較および一致判定の処理のフロー図である。実施形態３における平行移動処理を説明するための図である。実施形態３におけるスケーリング処理を説明するための図である。実施形態３における複数の距離画像を利用した組合せ処理を説明するための図である。実施形態５に係るＨＭＤの外観図である。実施形態５に係るＨＭＤの機能ブロック図である。実施形態５による視認画像の生成・編集処理のフロー図である。実施形態５により得られるカメラ画像と視認画像の例を示す図である。実施形態６に係るＨＭＤの外観の第１例を示す図である。実施形態６に係るＨＭＤの外観の第１例を示す図である。実施形態６に係るＨＭＤの外観の第２例を示す図である。実施形態６に係るＨＭＤの外観の第２例を示す図である。ユーザの手指によるジェスチャ操作領域を示す図である。ＨＭＤにおけるユーザインタフェース画面の一例を示した図である。実施形態８に係るＨＭＤの外観図である。携帯型情報端末のカメラの画角および測距センサの測定範囲の例を示す図である。携帯型情報端末に暗所距離画像が表示された状態の例を示す図である。携帯型情報端末に明所カメラ画像が表示された状態の例を示す図である。

　これより、本発明の実施形態について説明する。以下の各実施形態に示すような技術を提供することにより、高精度な距離測定に基づき暗所での安全を確保することが可能となる。この測距技術により、国連の提唱する持続可能な開発目標（ＳＤＧｓ：Ｓｕｓｔａｉｎａｂｌｅ　Ｄｅｖｅｌｏｐｍｅｎｔ　Ｇｏａｌｓ）の「９．産業と技術革新の基盤をつくろう」及び「１１．住み続けられるまちづくりを」に貢献する。

　なお、以下で説明する各実施形態は、本発明を実現するための一例であり、本発明の技術範囲を限定するものではない。

　また、以下の各実施形態において、同一の機能を有する構成要素には同一の符号を付し、その繰り返しの説明は、特に必要な場合を除き省略する。

　また、以下の各実施形態の説明において、「画像の一致」あるいは「同一の画像」などの表現が含まれているが、ここでの一致あるいは同一とは、１００％完全一致あるいは完全同一を意味するものではない。ここでの一致あるいは同一とは、実用上問題にならない範囲内において、画像の直線方向、回転方向、および拡縮方向のずれ、色の差異、濃淡（明暗）の差異などを許容するものである。

　また、以下の各実施形態の説明において、「暗所距離画像に対応した明所距離画像」あるいは「明所距離画像に対応した他の明所距離画像」は、一部の明らかな差異領域を除いて、像が実質的に一致する画像のことを意味する。ここで、「実質的に一致」とは、実用上問題にならない範囲内において、画像の直線方向、回転方向、および拡縮方向のずれ、色の差異、濃淡（明暗）の差異などを許容するものである。例えば、画像の一致度または類似度が、ある閾値以上もしくは閾値を超える場合に、一致すると判定される。

（実施形態１）
　本発明の実施形態１であるＨＭＤについて説明する。

　〈実施形態１の概略〉
　実施形態１であるＨＭＤは、明所では、カメラによる明所カメラ画像と、このカメラ画像に対応し測距センサの出力に基づく明所距離画像とを得て、これらの画像をセットで保存し蓄積する。一方、暗所では、測距センサの出力に基づく暗所距離画像を得て、この暗所距離画像に対応する（実質的に一致する）明所距離画像を検索して特定する。そして、その明所距離画像と同じセットに含まれる明所カメラ画像に基づき、ユーザに視認させる視認画像を決定し表示する。これにより、暗所において、過去に得られた同じ場所の明所での画像をユーザに視認させることができ、ユーザの視認性を向上させることができる。

　〈ＨＭＤのハードウェア構成〉
　図１は、実施形態１に係るＨＭＤの外観図である。図１に示すように、本実施形態に係るＨＭＤ１は、カメラ１１、測距センサ１２、右目用プロジェクタ１３、左目用プロジェクタ１４、画像スクリーン（画像表示面）１５、ノーズパッド１６、コントローラ１７、マイク１８、スピーカ１９、およびフレーム筐体２０ａ～２０ｃを備えている。ユーザは、フレーム筐体２０ａ、２０ｂとノーズパッド１６で、ＨＭＤ１を自身の顔部に装着する。

　右目用プロジェクタ１３、左目用プロジェクタ１４、および画像スクリーン１５により、ＨＭＤ１の表示デバイスを構成している。なお、右目用プロジェクタ１３および左目用プロジェクタ１４を、以下、プロジェクタ１３，１４ともいう。

　本実施形態において、画像スクリーン１５は、ユーザの前方からの光を透過する半透過型スクリーンである。しかしながら、後述するように、画像スクリーン１５は、光を透過しない非透過型ディスプレイであってもよい。

　半透過型スクリーンでは、ユーザは前方の状況を、半透過型スクリーンを通して視認するが、非透過型ディスプレイでは、前方を撮像して得たカメラ画像を非透過型ＨＭＤ内のディスプレイに表示することにより確認する。

　カメラ１１は、ユーザ前方の現実空間を撮像するように取り付けられている。カメラ１１は、いわゆるデジタルカメラであり、自身の視野領域を撮像してその視野領域に対応した画像データを得る。本実施形態では、この画像データが表す画像をカメラ画像という。カメラ１１は、コントローラ１７の制御を受けて、所定のタイミングで撮像を繰り返す。なお、この撮像は、手動で行ってもよいし、自動で行ってもよい。自動で撮像する場合には、例えば、一定のフレームレートで撮像することとし、フレームレートはコントローラ１７の処理速度やメモリ容量に応じて適宜調整するとよい。フレームレートとしては、例えば、１～３０ｆｐｓ（ｆｒａｍｅ　ｐｅｒ　ｓｅｃｏｎｄ）程度を考えることができる。

　測距センサ１２は、センサ自身からカメラ１１の視野領域における各位置に対応する現実物体までの距離をそれぞれ測定し、それらの距離を表す距離データを得る。なお、ユーザがＨＭＤ１を装着することにより、測距センサ１２は、ユーザから上記各位置に対応する現実物体までの距離を表す距離データを得ることと実質的に等価となる。測距センサ１２は、暗所においても測距が可能なものであり、例えば、前述したＬｉＤＡＲのように、赤外光を照射して現実物体からの反射光を受光するもので構成される。

　プロジェクタ１３，１４は、ＣＧ画像やカメラ画像などを画像スクリーン１５に投影し、画像スクリーン１５を透過して視認される背景に重畳する。ＣＧ画像を投影する場合は、プロジェクタ１３，１４が、視差を考慮して生成された左目用画像と右目用画像をそれぞれ画像スクリーン１５に投影する。これにより、ＣＧ画像があたかも現実空間の所定の距離にあるかのように立体的に表示することが可能となる。

　コントローラ１７は、カメラ１１で得られた画像データと、測距センサ１２で得られた距離データとを取り込み、これらのデータを内部のメモリあるいはプロセッサに供給する。また、コントローラ１７は、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）センサ、照度センサ、加速度センサ、ジャイロセンサ、方位（磁気）センサ等のセンサ群を内蔵する。さらに、コントローラ１７は、プロジェクタ１３，１４に投影させる画像、スピーカ１９に出力させる音等を作成する。コントローラ１７、カメラ１１、測距センサ１２、マイク１８、およびスピーカ１９は、フレーム筐体２０ａ～２０ｃに配置される。なお、図１にて示すこれらの配置場所は一例であり、この通りでなくてもよい。

　図２は、実施形態１に係るＨＭＤのハードウェア的な構成を示すブロック図である。なお、図２では、図１にて示したものと同一のものに対しては、同一の番号を付している。図２に示すように、本実施形態に係るＨＭＤ１のコントローラ１７は、内部バス３０、ＧＰＳセンサ３１、照度センサ３２、加速度センサ３３、ジャイロセンサ３４、方位センサ３５、プロセッサ３６、メモリ３７、画像メモリ３８、不揮発性記憶装置３９、および通信装置４０を内部に備えている。また、各ブロック３１～４０は、内部バス３０を介して接続されており、互いに連携して動作する。

　プロセッサ３６は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）あるいはＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）で構成される。

　メモリ３７および画像メモリ３８は、例えば、半導体記憶装置であるＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等により構成されている。

　不揮発性記憶装置３９は、単一または複数の不揮発性メモリ媒体により構成される。不揮発性メモリ媒体としては、例えば、プログラマブルＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）を考えることができる。プログラマブルＲＯＭは、例えば、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｏｎｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　ａｎｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、あるいはＦＲＯＭ（Ｆｌａｓｈ　ＲＯＭ）等により構成される。不揮発性記憶装置３９には、処理プログラムとして、基本動作プログラム４１、および暗所ガイドプログラム４２が格納されている。また、不揮発性記憶装置３９には、保存データエリア４３が割り当てられている。保存データエリア４３には、処理プロブラムを実行するために必要なデータおよび画像データが格納される。

　通信装置４０は、４Ｇ（Ｇｅｎｅｒａｔｉｏｎ）あるいは５Ｇ等のモバイル通信機、ワイヤレスＬＡＮ通信機等を備えている。通信装置４０は、必要に応じて、通信処理の中から適切な処理を選択し、ＨＭＤ１をネットワークに接続する。

　プロジェクタ１３、１４に送出する画像データは、画像メモリ３８に格納され、読み出される。

　なお、プロセッサ３６は、不揮発性記憶装置３９に記憶されている基本動作プログラム４１および暗所ガイドプログラム４２を、メモリ３７に展開して実行することにより、基本動作を制御・管理したり、暗所ガイド機能を実現させたりする。

　〈ＨＭＤの機能ブロック構成〉
　図３は、実施形態１に係るＨＭＤの機能的な構成を示す機能ブロック図である。図３に示す各機能ブロックは、プロセッサ３６が暗所ガイドプログラムをメモリ３７に展開して実行し、ＨＭＤ１が備える各種センサおよび各種デバイスと連携することにより実現される。

　図３に示すように、本実施形態に係るＨＭＤ１は、機能ブロックとして、位置情報取得装置５１、時間情報取得装置５２、方位情報取得装置５３、姿勢情報取得装置５４、カメラ画像取得装置５５、距離画像生成装置（生成装置）５６、明所暗所判定装置（判定装置）５７、明所画像保存管理装置（保存装置）５８、明所画像記憶装置５９、暗所距離画像認識装置（認識装置）６０、比較画像絞込装置６１、明所画像検索装置６２、視認画像決定装置６３、および視認画像表示装置（表示装置）６４を備えている。

　位置情報取得装置５１は、ＧＰＳセンサ３１にて得られる座標データを取得し、当該データを基に、ユーザが居る場所を表す位置情報を生成する。時間情報取得装置５２は、プロセッサ３６が有する電子時計から日付と時刻を含む時計データを取得し、画像が得られた日時を表す時間情報を生成する。方位情報取得装置５３は、方位センサ３５にて得られる方位データを取得し、当該データを基に、ユーザの顔の水平方向における向きすなわち方位を表す方位情報を生成する。姿勢情報取得装置５４は、加速度センサ３３およびジャイロセンサ３４にて得られるデータを取得し、当該データを基に、ユーザの顔の鉛直方向における向きを表す姿勢情報を生成する。

　カメラ画像取得装置５５は、カメラ１１にて得られた画像データを取得し、必要に応じて当該データにノイズ除去、補間、サイズ調整などの画像処理を施して、カメラ画像を生成する。カメラ画像取得装置５５は、画像データを、時間間隔をおいて連続的に繰り返し取得し、カメラ画像を時系列的に生成する。

　距離画像生成装置５６は、測距センサ１２にて得られた距離データを取得し、当該データを基に、距離画像を生成する。距離画像は、カメラ画像の視野領域に対応した領域を有する画像である。また、距離画像は、測距センサ１２から上記視野領域における各位置に対応した現実物体までの距離を、その各位置に対応した画素の画素値（色または濃淡）に反映させた画像である。距離画像生成装置５６は、後述する明所暗所判定装置５７によりユーザの居る場所が明所であると判定された場合には、生成されたカメラ画像毎に、そのカメラ画像に対応した距離画像を生成する。距離画像生成装置５６は、ユーザの居る場所が暗所であると判定された場合には、カメラ画像の有無に関わらず、距離画像を生成する。

　明所暗所判定装置５７は、照度センサ３２にて得られる照度データを取得し、当該データを基に、ユーザの居る場所が明所であるか暗所であるかを判定する。明所暗所判定装置５７は、例えば、照度データが表す照度の閾値判定により明所暗所の判定を行う。

　なお、明所暗所の判定は、取得されたカメラ画像の明るさに基づいて行ってもよいし、照度データとカメラ画像の明るさとを併用して行ってもよい。

　また、明所暗所の判定は、位置情報および時間情報を補助的に用いて行ってもよい。例えば、明所暗所判定装置５７は、照度データが表す照度が明所と暗所のちょうど中間あたりである場合には、位置情報および時間情報を参照する。そして、これらの情報に基づいてユーザの居る場所と日時を検知し、場所ごとに予め設定された夕方時刻以降であるか否かを判定する。夕方時刻前であれば明所と判定し、夕方時刻以降であれば暗所と判定する。

　明所画像保存管理装置５８は、明所暗所判定装置５７によりユーザの居る場所が明所であると判定されたときに得られたカメラ画像および距離画像を、明所カメラ画像および明所距離画像を含む画像セットとして保存する。明所画像保存管理装置５８は、画像セットを保存する際に、当該画像セットが得られたときの位置情報、時間情報、方位情報、および姿勢情報をメタデータとして、当該画像セットと対応付けて保存する。画像セットおよびメタデータの保存先は、後述する明所画像記憶装置５９である。ここで、画像セットは明所と判定されたときに保存するように説明したが、明所と暗所を判別するフラグを付加して、明所、暗所どちらの画像セットを保存するようにしてもよい。この場合、暗所のカメラ画像に何も撮影されていなければ、時間情報だけを保存して、カメラ画像は保存しなくてもよい。

　明所画像記憶装置５９は、明所画像保存管理装置５８により保存される画像セットおよびメタデータを記憶する。すなわち、明所画像記憶装置５９には、ユーザが居た各場所およびユーザの各向き（方位）・姿勢について、画像セットが逐次保存され、蓄積される。

　暗所距離画像認識装置６０は、明所暗所判定装置５７によりユーザの居る場所が暗所であると判定されたときに得られた距離画像を、暗所距離画像として認識する。

　比較画像絞込装置６１は、暗所距離画像が認識された場合に、その暗所距離画像と比較する対象となる明所距離画像を、明所画像記憶装置５９に記憶されている明所距離画像の中から絞込む。明所距離画像の絞込みは、対応付けされたメタデータを用いて行われる。すなわち、認識された暗所距離画像が得られたときの位置情報、時間情報、方位情報、および姿勢情報を基に、ユーザが居る場所、ユーザの居た日付、ユーザの向き、およびユーザの姿勢が所定の範囲内で近似している明所距離画像を検索して絞り込む。なお、本実施形態では、位置情報、時間情報、方位情報、および姿勢情報を基に絞り込んでいるが、位置情報のみ、位置情報および方位情報のみ、あるいは、位置情報、方位情報および姿勢情報のみで絞込みを行ってもよい。あるいは、比較画像絞込装置６１による絞込みそのものを省いてもよい。

　明所画像検索装置６２は、認識された暗所距離画像の比較対象である明所距離画像を順次読み出し、その暗所距離画像と読み出された明所距離画像とを比較する。そして、この比較の結果に基づき、当該暗所距離画像に対応した明所距離画像、すなわち許容範囲内で一致する明所距離画像を検索し特定する。暗所距離画像と明所距離画像との比較は、少なくとも一方の距離画像を、平行移動、回転（傾き）移動、拡縮、画素値調整などを含めて行われる。

　許容範囲内で一致するか否かの判定には、例えば、認識された暗所距離画像と読み出された明所距離画像との一致度を算出し、その一致度が閾値以上である場合に一致すると判定し、その一致度が閾値未満である場合に一致しないと判定する方法を用いることができる。

　具体例としては、距離画像における位置または領域ごとに、対応する画素同士または画素群同士の画素値レベル、例えば画素値の平均値の差分を取得し、それら差分の大きさを総合的に評価して一致度を算出し、その一致度の閾値判定により行う。上記の一致度としては、例えば、各位置または各領域における画素値レベルの差分に対する分散値あるいは偏差値に負の係数を乗算した値、当該分散値あるいは偏差値の逆数などが考えられる。

　なお、距離画像同士の比較において、画像領域全体における一部の領域のみに差異があると認められる場合には、許容範囲内で一致するとみなす。つまり、後述する差異領域等は除いて一致判定を行う。

　また、許容範囲内で一致するか否かの判定には、例えば、人工知能を用いてもよい。この人工知能は、現実空間に存在し得る物体を表す画像の一致に対して学習させたものであってもよい。

　視認画像決定装置６３は、明所画像検索装置６２による距離画像同士の比較の結果に基づいて、ユーザに視認させる視認画像を決定する。視認画像決定装置６３は、暗所距離画像に実質的に一致する明所距離画像が特定された場合には、その明所距離画像と同じ画像セットに含まれる明所カメラ画像に基づいて、視認画像を決定する。いくつかの一致する距離画像が特定された場合には、最も新しいものを選んだり、最も明るいものを選んだり、ユーザが選択できるようにしてもよい。一方、暗所距離画像に実質的に一致する明所距離画像が特定されなかった場合には、その暗所距離画像に基づいて、視認画像を決定する。視認画像は、明所カメラ画像そのものまたは暗所距離画像そのものであってもよいし、場合によっては、明所カメラ画像または暗所距離画像を基礎に、加工や合成などの画像処理を施して求めてもよい。

　視認画像表示装置６４は、決定された視認画像をユーザに視認させるべく、プロジェクタ１３、１４により画像を画像スクリーン１５に投影して表示する。ここで、ユーザが移動している場合には、位置を検出しながら同じ位置の明所カメラ画像を遅延なく動画で表示することが困難な場合がある。そのような場合には、ユーザの移動位置に合わせて静止画で表示するようにしてもよい。

　〈暗所ガイドプログラム処理のフロー〉
　これより、暗所ガイドプログラム処理について説明する。

　図４は、実施形態１に係るＨＭＤによる暗所ガイドプログラムの処理フロー図である。

　ステップＳ１では、カメラ画像を取得する処理が行われる。具体的には、カメラ画像取得装置５５が、カメラ１１にて得られた画像データを取得することにより行う。カメラ画像の取得は、カメラ撮像のタイミングと同期して行ってもよいし、画像撮像を連続的に行いながら、任意のタイミングで撮像して得られた画像を取得するようにしてもよい。画像撮像を連続的に行う場合には、例えば、１０～６０ｆｐｓ（ｆｒａｍｅ　ｐｅｒ　ｓｅｃｏｎｄ）程度のフレームレートで行う。

　ステップＳ２では、距離データを取得する処理が行われる。具体的には、距離画像生成装置５６が、測距センサからカメラ１１の視野領域に含まれる現実物体までの距離を表す距離データを取得する。

　ステップＳ３では、距離画像を生成する処理が行われる。具体的には、距離画像生成装置５６が、取得された距離データに基づいて、カメラ１１の視野領域に対応した距離画像を生成する。

　ステップＳ４では、明所か暗所かを判定する処理が行われる。具体的には、明所暗所判定装置５７が、照度センサ３２から照度データを取得し、その照度データに基づいてユーザの居る場所が明所であるか暗所であるかを判定する。なお、この判定は、前述したように、取得されたカメラ画像の明るさに基づいて行ってもよいし、位置情報および時間情報等を補助的に用いて行ってもよい。この判定において、明所であると判定された場合には（Ｓ４，Ｙｅｓ）、ステップＳ５に進む。一方、暗所であると判定された場合には（Ｓ４，Ｎｏ）、ステップＳ７に進む。

　ステップＳ５では、メタデータを取得する処理が行われる。具体的には、明所画像保存管理装置５８が、時間情報、位置情報、方位情報、および姿勢情報を、画像セットに対応付けるメタデータとして取得する。

　ステップＳ６では、画像セットを保存、更新、および管理する処理が行われる。具体的には、明所画像保存管理装置５８が、得られたカメラ画像および距離画像を、明所カメラ画像および明所距離画像とする。そして、これらの画像を含む画像セットと、取得されたメタデータとを対応付けて、明所画像記憶装置５９に保存する。その後、ステップＳ１７に進む。

　なお、画像セットを保存する際に、保存しようとする明所距離画像に対応した明所距離画像が既に保存されている場合には、上書き保存をするようにしてもよい。あるいは、取得された日時が近いものについては、記録日時だけを追記して画像は上書きしないようにしてもよい。

　また、取得された日時が一定時間（第１の時間）以上前である画像セット、いわゆる古い画像セットについては、明所画像記憶装置５９から消去（削除）するようにしてもよい。一定時間としては、例えば、１ヶ月間～１年間程度を考えることができる。

　なお、このステップＳ６における画像セットの保存・管理処理の詳細については改めて後述する。

　ステップＳ７では、暗所距離画像を認識する処理が行われる。具体的には、暗所距離画像認識装置６０が、ユーザの居る場所が暗所であるとの判定を受けると、得られた距離画像を暗所距離画像として認識する。

　ステップＳ８では、比較対象となる明所距離画像を絞り込む処理が行われる。具体的には、比較画像絞込装置６１が、認識された暗所距離画像と比較する対象となる明所距離画像を、明所画像記憶装置５９に記憶されている過去の明所距離画像の中から絞り込む。明所距離画像の絞込みは、対応付けされたメタデータを用いて行われる。すなわち、認識された暗所距離画像が得られたときの位置情報を基に、ユーザの居る場所が所定の範囲内で一致または類似している明所距離画像を検索して絞り込む。なお、位置情報だけでなく、方位情報、あるいは姿勢情報も利用して、更に、ユーザが向いている方位、ユーザの姿勢（上下方向における顔の傾き）、あるいは、これら両方が所定の範囲内で一致または類似している明所距離画像を検索して絞り込んでもよい。

　ステップＳ９では、明所距離画像を読み出す処理が行われる。具体的には、明所画像検索装置６２が、絞り込まれた明所距離画像の中から１つの明所距離画像を読み出す。

　ステップＳ１０では、暗所距離画像と明所距離画像とを比較する処理が行われる。具体的には、明所画像検索装置６２が、認識された暗所距離画像と読み出された明所距離画像とを比較し、距離画像同士の一致度が反映された評価値を算出する。ここで、明所の距離画像が保存されておらず、カメラ画像のみの場合には、暗所の距離画像の特徴と、明所のカメラ画像の特徴をそれぞれ抽出して、比較してもよい。

　ステップＳ１１では、比較した距離画像同士が対応関係にあるか、すなわち実質的に一致するかを判定する処理が行われる。具体的には、明所画像検索装置６２が、算出された評価値の閾値判定により、認識された暗所距離画像と読み出された明所距離画像とが実質的に一致するか否かを判定する。この判定において、一致すると判定された場合には（Ｓ１１，Ｙｅｓ）、ステップＳ１２に進む。一方、一致しないと判定された場合には（Ｓ１１，Ｎｏ）、ステップＳ１３に進む。

　ステップＳ１２では、明所カメラ画像を視認画像の基礎とする処理が行われる。具体的には、視認画像決定装置６３が、ステップＳ１１にて一致すると判定された明所距離画像と同じ画像セットに含まれる明所カメラ画像を、ユーザに視認させる視認画像の基礎に設定する。その後、ステップＳ１５に進む。

　ステップＳ１３では、絞り込まれた明所距離画像に対する全ての比較が終了したかを判定する処理が行われる。具体的には、明所画像検索装置６２が、絞り込まれた明所距離画像のすべてについて比較が行われ、次に比較すべき明所距離画像が残っていないかを判定する。すべての比較が終了したと判定された場合には（Ｓ１３，Ｙｅｓ）、ステップＳ１４に進む。一方、すべての比較が終了していないと判定された場合には（Ｓ１３，Ｎｏ）、ステップＳ９に戻り、次に比較すべき明所距離画像の読出しが行われる。

　ステップＳ１４では、暗所距離画像を視認画像の基礎とする処理が行われる。具体的には、視認画像決定装置６３が、認識された暗所距離画像を、ユーザに視認させる視認画像の基礎に設定する。

　ステップＳ１５では、視認画像を生成および編集する処理が行われる。具体的には、視認画像決定装置６３が、基礎に設定された明所カメラ画像または暗所距離画像を基に、視認画像を生成し決定する。この際、必要に応じて、ＣＧ画像あるいはＡＲオブジェクト画像を、基礎に設定された画像に貼り付けたり、基礎に設定された画像の一部を強調したりといった編集が行われる。

　ステップＳ１６では、視認画像を表示する処理が行われる。具体的には、視認画像表示装置６４が、決定された視認画像がユーザによって視認されるように、視認画像を画像スクリーン１５に投影して表示する。

　ステップＳ１７では、暗所ガイドプログラムを継続するか否かを判定する処理が行われる。例えば、暗所から明所に移動した場合、暗所ガイドプログラムの実施が不要と思われるような環境に移行した場合、ユーザにより暗所ガイドプログラムを停止または終了する指令が入力された場合、内部処理エラーあるいは通信エラーが発生した場合に、継続しないと判定され（Ｓ１７，Ｎｏ）、暗所ガイドプログラムは終了となる。一方、特に終了する事情がない場合には、継続すると判定され（Ｓ１７，Ｙｅｓ）、ステップＳ１に戻り、暗所ガイドプログラムによる処理が継続される。

　〈画像セット保存・管理処理〉
　ここで、上記のステップＳ６における画像セット保存・管理処理のフローについて、詳しく説明する。

　図５は、実施形態１に係るＨＭＤによる画像セット保存・管理の処理フロー図である。

　ステップＳ６１では、比較する過去の画像セットを絞り込む処理が行われる。具体的には、明所画像保存管理装置５８が、明所画像記憶装置５９に保存されている過去の明所距離画像の中から、現時点で取得されたメタデータを基に、取得された現時点での画像セットの撮像場所、ユーザの向き（方位）、および姿勢が所定範囲内で一致する明所距離画像を、比較対象として絞り込む。なお、この絞込みは、撮像時の方位および姿勢を考慮せずに、撮像場所のみに基づいて行ってもよい。

　ステップＳ６２では、１つの過去の明所距離画像を読み出す処理が行われる。具体的には、明所画像保存管理装置５８が、ステップＳ６１にて絞り込まれた過去の明所距離画像の中から１つを読み出す。このとき、メタデータに含まれる位置情報によって認識される場所が、現時点での場所、方位に近いものから順に読み出すようにしてもよい。これにより、後述する画像セットの新規保存、上書き保存、記録日時の追記、古い画像セットの消去などの必要な処理が、相対的に早い段階で終わる可能性がある。その結果、画像セット保存・管理処理を何らかの事情で中断する場合であっても、悪影響が発生するリスクを低減できる。

　ステップＳ６３は、現時点の明所距離画像と過去の明所距離画像とを比較する処理が行われる。具体的には、明所画像保存管理装置５８が、取得された現時点の明所距離画像と、ステップＳ６２において読み出された過去の明所距離画像とを比較する。

　ステップＳ６４では、比較する明所距離画像同士が同一であるかを判定する処理が行われる。具体的には、明所画像保存管理装置５８が、取得された現時点の明所距離画像と、ステップＳ６２において読み出された過去の明所距離画像とが許容範囲内で一致しているか、すなわち実質的に同一であるかを判定する。距離画像同士が全く異なるか、所定レベル以上ずれている場合には、同一ではないと判定される。この判定において、同一であると判定された場合には（Ｓ６４，Ｙｅｓ）、ステップＳ６５に進む。一方、この判定において、同一でないと判定された場合には（Ｓ６４，Ｎｏ）、ステップＳ６２に戻り、次に比較すべき明所距離画像を読み出し、処理を続ける。

　ステップＳ６５では、過去の明所距離画像の記録日時を認識する処理が行われる。具体的には、明所画像保存管理装置５８が、ステップＳ６２において読み出された過去の明所距離画像のメタデータに含まれる記録日時を読み出して認識する。

　ステップＳ６６では、読み出された過去の明所距離画像が古いか否かを判定する処理が行われる。具体的には、明所画像保存管理装置５８が、ステップＳ６５において認識された記録日時が現時点より一定期間以上前であるか否か、すなわち古いか否かを判定する。この判定において、古いと判定された場合には（Ｓ６６，Ｙｅｓ）、ステップＳ６７に進む。一方、この判定において、古くないと判定された場合には（Ｓ６６，Ｎｏ）、ステップＳ６８に進む。

　ステップＳ６７では、過去の画像セットを消去する処理が行われる。具体的には、明所画像保存管理装置５８が、ステップＳ６２において読み出された過去の明所距離画像が含まれる画像セットを消去する。そして、ステップＳ７０に進む。

　ステップＳ６８では、認識された記録日時が、現時点の日時とほぼ同じであるかを判定する処理が行われる。具体的には、明所画像保存管理装置５８が、ステップＳ６５において認識された記録日時と現時点での日時との時間差が、予め設定された比較的短い時間内であるか否か、すなわち、実質的にほぼ同じ日時であるか否かを判定する。予め設定された時間としては、例えば、１時間～１日間程度を考えることができるが、これに限定されない。この判定において、ほぼ同じ日時であると判定された場合には（Ｓ６８，Ｙｅｓ）、ステップＳ６９に進む。一方、この判定において、同じ日時ではないと判定された場合には（Ｓ６８，Ｎｏ）、ステップＳ７０に進む。

　ステップＳ６９では、上書き保存または記録日時の追記をする処理が行われる。具体的には、明所画像保存管理装置５８が、ステップＳ６２において読み出された過去の明所距離画像が含まれる画像セットに対し、取得された明所距離画像および明所カメラ画像による新たな画像セットを上書き保存する。もしくは、ステップＳ６２において読み出された過去の明所距離画像が含まれる画像セットに対し、メタデータである記録日時のみを現時点の日時に更新する。この場合、画像そのものに実質的な違いはないので、記録日時だけを更新しても問題はなく、これにより処理を簡略化することができる。

　ただし、読み出された過去の明所距離画像が含まれる過去の画像セットの方が、有利な点あるいは利用しやすい点がある場合には、上書き保存をせずに、記録日時の更新をする方が好ましい。例えば、過去の画像セットに含まれる明所距離画像または明所カメラ画像の方が、現時点の画像よりも相対的に高い解像度を有する場合、あるいは画像の縦横比のバランスが良い場合には、記録日時の更新を選択する。ステップＳ６９の処理が終了した後、ステップＳ７０に進む。

　ステップＳ７０では、比較する過去の明所距離画像がまだあるかを判定する処理が行われる。具体的には、明所画像保存管理装置５８が、ステップＳ６１において絞り込まれ比較対象となった過去の明所距離画像について、比較がすべて終わり、比較すべき過去の明所距離画像が残っていないか否かを判定する。この判定において、残っていないと判定された場合には（Ｓ７０，Ｙｅｓ）、ステップＳ７１に進む。一方、この判定において、残っていると判定された場合には（Ｓ７０，Ｎｏ）、ステップＳ６２に戻り、次の過去の明所距離画像を読み出して処理を続ける。

　ステップＳ７１では、画像セットの上書き保存等が済んでいるかを判定する処理が行われる。具体的には、明所画像保存管理装置５８が、ステップＳ６９の処理、すなわち、現時点で取得された画像セットの上書き保存または記録日時の追記が既に行われているか否かを判定する。この判定において、上書き保存等が既に行われていると判定された場合には（Ｓ７１，Ｙｅｓ）、画像セット保存・管理処理を終了する。一方、上書き保存等が行われていないと判定された場合には（Ｓ７１，Ｎｏ）、ステップＳ７２に進む。

　ステップＳ７２では、画像セットの新規保存をする処理が行われる。具体的には、明所画像保存管理装置５８が、取得された画像セットを、現時点で得られたメタデータと対応付けて、明所画像記憶装置５９に新規に保存する。そして、画像セット保存・管理処理を終了する。

　このような画像セット保存・管理処理によれば、取得された画像セットと実質的に同一である過去の画像セットを検索して特定する。そして、特定された画像セットに対し、古いものは消去し、古くはないが記録日時が一定時間以上異なるものは残し、記録日時が実質的に同じものについては、上書き保存、または、記録日時の追記すなわち更新をする。また、過去の画像セットと比較して、記録日時または時間帯が異なる場合、あるいは、画像の少なくとも一部が一定レベル以上異なっている場合には、取得された画像セットを新規に保存する。これにより、必要な画像セットを必要な期間だけ保持しておくことができ、その結果、画像セットの保存容量の無尽蔵な増大を抑え、保存容量を適切に保つことができる。

　〈カメラ画像、距離画像、および視認画像の例〉
　図６は、実施形態１に係るＨＭＤにより得られる画像の例を示す図である。図６では、明所と暗所で得られたカメラ画像と距離画像、および視認画像の例を示している。図６において、上段が過去に記録された明所での画像であり、中段が現時点における暗所での画像である。また、左側がカメラ画像であり、右側が距離画像である。一般的に、距離画像は距離の遠近により、異なる色で示されるが、ここでは白黒（グレースケール）で疑似的に示している。

　図６において、８０Ａは、鮮明に撮像された明所カメラ画像であり、８１Ａは、この明所カメラ画像８０Ａに対応する明所距離画像である。８２Ｂは、現時点にて得られた暗所カメラ画像であり、周囲が暗いため不鮮明である。一方、８３Ｂは、暗所カメラ画像８２Ｂに対応し、暗所カメラ画像とほぼ同時に取得された暗所距離画像であるが、明所距離画像８１Ａと遜色のない鮮明さで得られている。

　ユーザは、ＨＭＤの半透明の画像スクリーン越しに正面の風景を観るが、暗所では暗所カメラ画像８２Ｂと同様に、前方の状況を確認することは困難である。そこで、図６下段に示すように、距離画像が一致した明所でのカメラ画像を、ユーザに視認させる視認画像８４Ｂとして決定する。そして、その視認画像をＨＭＤの表示面に表示させる。これにより、暗所において、ユーザが現場での様子を確認することができる。

　また、８３Ｂの暗所距離画像から例えば物体の輪郭を抽出し、８１Ａの明所距離画像もしくは８０Ａの明所カメラ画像から抽出した物体の輪郭と比較することで、同一の位置からの視野の画像であることを確認することができる。このような場合でも、明所でのカメラ画像をＨＭＤに表示させることにより、暗所において、ユーザが現場での様子を確認することができる。

　このような実施形態１によれば、前方の視認が困難となる暗所において、過去に保存された同じ視野の明所でのカメラ画像を表示することで、ユーザに対して前方の視認を支援することが可能となる。例えば、暗くて視認性の乏しい作業現場において、暗所で撮像されるカメラ画像に代えて、明所で得られた鮮明なカメラ画像を提供することにより、ユーザは、障害物等の物体の存在を確認することができ、より安全に作業をすることができるようになる。

　また、実施形態１では、画像セットを保存する際に、対応する画像すなわち実質的に一致する明所距離画像が既に保存されている場合において、次のような処理を行っている。すなわち、既に保存されている対応画像の取得日時が、保存しようとする画像の取得日時より一定期間内であり比較的新しい場合には、対応画像に対して上書き保存をせず、その対応画像の日時だけを現在の日時に追記する。また、対応画像の取得日時が、保存しようとする画像の取得日時より一定期間以上前であり古い場合には、対応画像を消去する。このようにすることで、処理を簡略化して処理の高速化、エネルギ消費の低減、保存エリアの効率のよい使用などを図ることができる。

　また、実施形態１では、ＧＰＳ等で現在のユーザの居る場所を特定し、その場所に絞り込んだ明所距離画像から探索している。これにより、画像探索の時間を短縮することができる。

　また、実施形態１では、画像表示面である画像スクリーンとして、ユーザの前方からの光を透過する半透過型スクリーンを用いている。これにより、ユーザは、ＨＭＤを装着した状態で前方の現実物体を直接的に視認することができ、まるで眼鏡をかけているような自然な感覚でいることができる。

　なお、実施形態１では、ステップＳ１０，Ｓ１１において、暗所距離画像と明所距離画像とを比較して一致判定を行っている。しかしながら、何らかの事情で明所距離画像が記録されていない場合も考えられる。このような場合には、暗所距離画像と明所カメラ画像とを比較して一致判定を行ってもよい。例えば、暗所距離画像から物体の輪郭を抽出し、明所カメラ画像から物体の輪郭を抽出し、双方の輪郭同士を比較して一致判定を行ってもよい。これにより、明所距離画像がなく明所カメラ画像が保存されている場合にも、視認性の良い画像をユーザに提供することができる。

　また、実施形態１において、ユーザの居る場所が限定的であり、比較する明所距離画像が少ない場合、あるいは処理スピードが高速である場合には、比較の対象となる明所距離画像を絞り込む処理を省いてもよい。これにより、暗所ガイドプログラムのアルゴリズムを簡略化することができ、開発コストの低減を図ることができる。

　また、実施形態１において、ユーザの居る場所が屋内等でＧＰＳによる位置情報が得られず、画像セットのメタデータがネットワークのアクセスポイントやＵＷＢ（Ｕｌｔｒａ　Ｗｉｄｅ　Ｂａｎｄ）等による位置情報や方位データを含む場合は、これらを利用してもよい。すなわち、ユーザの居る場所においてアクセスポイント等で得られた位置情報および方位センサで検出された方位情報と、ほぼ同じ位置情報および方位情報をメタデータとして有する明所距離画像を優先して探索してもよい。これにより、ＧＰＳによる位置情報が利用できない場合でも、明所距離画像の探索時間を短縮することができる。

　また、実施形態１において、ＧＰＳあるいはワイヤレス通信のアクセスポイントで、ユーザの初期位置を確定できる場合には、その後、歩行者自立航法いわゆるＰＤＲ（Ｐｅｄｅｓｔｒｉａｎ　Ｄｅａｄ　Ｒｅｃｋｏｎｉｎｇ）などの方法を利用して、移動後のユーザの居る場所を特定し、その位置からの視線方向に応じた明所距離画像を探索してもよい。これにより、外から屋内に移動した場合にも、暗所ガイドプログラムを継続して実行することができる。

　また、実施形態１において、特定された明所カメラ画像をそのまま視認画像としているが、特定された明所カメラ画像に対して、明るさや色を変えたり、画像処理によって加工したりして得られた画像を視認画像としてもよい。例えば、特定された明所カメラ画像の色を、白黒やセピア色に変換したり、ＣＧやアニメーションで用いるような極彩色にアレンジしたりしてもよい。ユーザの居る場所、ユーザの向く方位、およびユーザの姿勢に対応した仮想現実空間を表示させ、その上に、特定された明所カメラ画像に基づいて人工的に作られたＣＧ画像を重ね合わせて表示してもよい。

（実施形態２）
　本発明の実施形態２について説明する。

　〈実施形態２の概要〉
　実施形態２は、ＨＭＤとサーバとがネットワークを介して接続されるＨＭＤシステムである。本実施形態では、ＨＭＤとサーバとの連携により、ユーザに対して、暗所ガイド機能を含む画像保存サービスを提供する。

　〈ＨＭＤシステムの構成〉
　実施形態２に係るＨＭＤシステムの構成について説明する。

　図７Ａは、実施形態２に係るＨＭＤシステムの第１の構成例を示す図である。図７Ａでは、単一のＨＭＤとサーバとがネットワークを介して接続されるＨＭＤシステム１００の構成を示している。

　図７Ａに示すように、本実施形態に係るＨＭＤシステム１００は、ＨＭＤ１、ユーザ７０、電磁波等による無線通信信号７１ａ，７１ｂ、アクセスポイント７２、ネットワーク７３、および画像保存サービスサーバ（サーバ）７４を含んでいる。ネットワーク７３は、例えば、広域通信ネットワークであり、具体的には、インターネット、イーサネット、産業用通信ネットワークなどを考えることができる。

　〈画像保存サービスサーバの構成〉
　図８は、画像保存サービスサーバのハードウェア的な構成を示すブロック図である。図８に示すように、画像保存サービスサーバ７４は、内部バス７４０、ネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）７４１、プロセッサ７４２、メモリ７４３、およびストレージ７４４を備えている。ストレージ７４４には、基本動作プログラム７４５が格納されており、画像データ保存エリア７４６が設けられている。ストレージ７４４は、例えば、ハードディスクあるいは半導体メモリ等で構成される。

　ＨＭＤ１からの距離画像を含む画像セットは、ネットワークＩ／Ｆ７４１、プロセッサ７４２等を介して、ストレージ７４４に格納される。基本動作プログラム７４５は、プロセッサ７４２およびメモリ７４３を用いて実行され、複数のユーザの管理処理が行われる。

　〈画像保存サービスのしくみ〉
　ユーザ７０は、ＨＭＤ１を頭部に装着し、前方を観ている。ＨＭＤ１は通信信号７１ａと７１ｂ、およびアクセスポイント７２を介して、ネットワーク７３に繋がり、ネットワーク７３には、画像保存サービスサーバ７４が繋がっている。

　ＨＭＤ１は暗所ガイドプログラムを実行するが、明所距離画像および明所カメラ画像による画像セットとメタデータとは、ＨＭＤ１内ではなく、画像保存サービスサーバ７４の画像データ保存エリア７４６に保存され、必要に応じて読み出される。あるいは、事前に画像保存サービスサーバ７４からその場所に対応した必要な画像セット群がＨＭＤ１にダウンロードされ利用される。これが画像保存サービスである。

　つまり、このＨＭＤシステムは、ネットワーク７３に接続される画像保存サービスサーバ７４と、ネットワーク７３に接続され画像保存サービスサーバ７４と通信するＨＭＤ１と、を備えている。

　また、ＨＭＤ１は、ユーザ７０の前方を撮像してカメラ画像を得るカメラと、ユーザ７０からカメラの視野領域における各位置に対応した現実物体までの距離を表すデータを得る測距センサと、ユーザ７０が居る場所の明るさを表すデータを得る照度センサと、ユーザ７０に視認させる視認画像を表示する表示装置とを備えている。

　そして、画像保存サービスサーバ７４とＨＭＤ１との連携によって、次に示すような各種処理が実行される。

　〔処理１―１〕測距センサにより得られるデータを基に、カメラの視野領域に対応し各画素が上記の各位置までの距離を表す距離画像を生成する生成処理

　〔処理１－２〕照度センサにより得られるデータを基に、ユーザ７０の居る場所が明所か暗所かを判定する判定処理

　〔処理１－３〕当該判定処理により明所であると判定された場合に、カメラにより得られるカメラ画像と上記生成処理により得られる距離画像とを、明所カメラ画像と明所距離画像とによる画像セットとして保存する保存処理

　〔処理１－４〕上記判定処理により暗所であると判定された場合に、上記生成処理により得られる距離画像を暗所距離画像として認識する認識処理

　〔処理１－５〕上記保存処理により保存されている明所距離画像と上記認識処理により認識された暗所距離画像とを比較することにより、前記認識された暗所距離画像に対応した明所距離画像を特定する検索処理

　〔処理１－６〕当該特定処理により特定された明所距離画像と同じ画像セットに含まれる明所カメラ画像に基づいて、視認画像を決定する決定処理

　〔処理１－７〕当該決定処理により決定された視認画像を、ユーザが視認できるように表示する表示処理

　このような処理を実行することにより、大容量に成りがちな画像セットおよびメタデータを、ＨＭＤ１の内部ではなく、画像保存サービスサーバ７４に保存しておくことができ、ＨＭＤ１の記憶容量を小さくすることができる。

　また、負荷の大きい処理を、ＨＭＤ１側ではなく、画像保存サービスサーバ７４側で行わせ、その処理の結果だけをＨＭＤ１に送ることができ、ＨＭＤ１の処理スペックを下げるとともに高速な処理を実現できる。

　図７Ｂは、実施形態２に係るＨＭＤシステムの第２の構成例を示す図である。図７Ｂでは、複数のＨＭＤとサーバとがネットワークを介して同時に接続されるＨＭＤシステム１０１の構成を示している。図７Ｂに示す例では、複数の場所においてＨＭＤを装着したユーザがそれぞれ存在している場合の例である。複数の場所の各々において複数のユーザが存在していてもよい。複数のユーザは、画像保存サービスサーバ７４が提供する画像保存サービスを共有する。

　図７Ｂにおいて、１ａ、１ｂはＨＭＤ、７０ａ、７０ｂはユーザ、７１ｃ、７１ｄ、７１ｅは通信信号、７２はアクセスポイント、７３はネットワーク、７４が画像保存サービスサーバである。ユーザ７０ａは、Ｓｉｔｅ　ａｂｃ（７５ａ）の現場に居て、画像保存サービスを利用し、ユーザ７０ｂは、Ｓｉｔｅ　ａａａ（７５ｂ）の現場に居て、画像保存サービスを利用している。それぞれのユーザが、明所で得られた明所カメラ画像と明所距離画像とをそれぞれの位置と向きに応じた画像セットとして、メタデータとともに画像保存サービスサーバ７４に保存する。また、保存された画像セットは、種々の場所から、それぞれのユーザがアクセスして、最新の必要な画像セットを呼び出すことができる。

　つまり、このシステムは、ネットワーク７３に接続される画像保存サービスサーバ（サーバ）７４と、ネットワーク７３に接続され画像保存サービスサーバ７４と通信する複数のＨＭＤ（モバイル画像表示装置）１ａ，１ｂと、を備えている。

　また、複数のＨＭＤ１ａ，１ｂは、それぞれ、ユーザ７０ａ，７０ｂの前方を撮像してカメラ画像を得るカメラと、自身からカメラの視野領域における各位置に対応した現実物体までの距離を表すデータを得る測距センサと、ユーザ７０ａ，７０ｂが居る場所の明るさを表すデータを得る照度センサと、ユーザ７０ａ，７０ｂに視認させる視認画像を表示する表示装置と、ＨＭＤ１ａ，１ｂの位置情報を取得する位置情報取得装置と、を備えている。

　そして、複数のＨＭＤ１ａ，１ｂの各々において、画像保存サービスサーバ７４とＨＭＤとの連携によって、次に示すような各種処理が実行される。

　〔処理２－１〕測距センサにより得られるデータを基に、カメラの視野領域に対応し各画素が上記各位置までの距離を表す距離画像を生成する第１の生成処理

　〔処理２－２〕照度センサにより得られるデータを基に、ユーザの居る場所が明所か暗所かを判定する第１の判定処理

　〔処理２－３〕当該第１の判定処理により明所であると判定された場合に、カメラにより得られるカメラ画像と上記第１の生成処理により得られる距離画像とを、明所カメラ画像と明所距離画像の画像セットとし、画像セットと位置情報取得装置により取得された位置情報とを対応付けて画像保存サービスサーバ７４に保存する保存処理

　また、画像保存サービスサーバ７４と複数のＨＭＤ１ａ，１ｂのうちの１つのＨＭＤとの連携により、次に示すような各種処理を実行する。

　〔処理２－４〕測距センサにより得られるデータを基に、上記視野領域に対応し上記各位置までの距離を表す距離画像を生成する第の２生成処理

　〔処理２－５〕照度センサにより得られるデータを基に、ユーザの居る場所が明所か暗所かを判定する第２の判定処理

　〔処理２－６〕当該第２の判定処理により暗所であると判定された場合に、上記第２の生成処理により得られる距離画像を暗所距離画像として認識する認識処理

　〔処理２－７〕画像保存サービスサーバ７４に保存されている明所距離画像のうち、対応付けされた位置情報が表す位置が、上記１つのＨＭＤの上記位置情報取得装置により取得された位置情報が表す位置と対応する明所距離画像を識別する識別処理

　〔処理２－８〕上記識別処理により識別された明所距離画像と、上記認識処理により認識された暗所距離画像とを比較することにより、上記認識された暗所距離画像との一致度が閾値以上である明所距離画像を特定する検索処理

　〔処理２－９〕当該検索処理により特定された明所距離画像と同じ画像セットに含まれる明所カメラ画像を画像保存サービスサーバ７４から読み出し、読み出された明所カメラ画像に基づいて、上記１つのＨＭＤが表示する視認画像を決定する決定処理

　〔処理２－１０〕決定された視認画像をユーザが視認できるように表示する表示処理

　このような処理を実行することにより、複数のユーザによって、画像セットが次々と蓄積され、蓄積された画像セットが共用される。

　なお、本実施形態では、ＨＭＤとネットワークとの接続を無線接続としているが、有線接続としてもよい。

　〈画像セットのデータ構成例〉
　ここで、画像セットのデータ構成の例を示す。

　図９は、画像セットのデータ構成の例を示す図である。図９に示すように、カメラ画像および距離画像を含む画像セットとそのメタデータとは、互いに対応付けされてデータセットＴ１０を構成する。

　データセットＴ１０は、画像保存サービスのサービスＩＤＴ１１、位置情報（特定できる場合にはサイト情報（場所情報）も含む）Ｔ１２ａ，Ｔ１２ｂを有する。位置情報は、ＧＰＳセンサより得られたＧＰＳ座標であり、サイト情報は、そのＧＰＳ座標から特定された敷地、建物などの名称である。画像セットのデータは、このように場所あるいは位置情報毎に分類される。

　データセットＴ１０は、画像セットが取得された日時Ｔ１３ａ，Ｔ１３ｂを有している。データセットＴ１０は、ユーザが向いている方位を表す方位データを有する場合もある。データセット１０は、さらに、カメラ画像のデータＴ１４ａ，Ｔ１４ｂ、距離画像のデータＴ１５ａ，Ｔ１５ｂを有する。カメラ画像と距離画像は一対のデータとして管理される。

　なお、図９に示す例では、サイト（場所）は、建物の室内を例に示しているが、ＧＰＳ等から検出する屋外の位置情報でも構わない。

　また、スマートフォンで撮像したカメラ画像のように、距離画像を含まない画像データを登録することによって、幅広くカメラ画像を収集して保存することが可能である。この場合、距離画像を保存しているカメラ画像と比較して場所の一致の度合いを推測するようにしてもよい。例えば、カメラ画像と距離画像の輪郭成分を用いて、比較を行ってもよい。

　このような実施形態２によれば、実施形態１のＨＭＤと同様の効果を持つＨＭＤシステムが実現できるとともに、画像データの保存をサーバで行うことにより、ＨＭＤの実装コストを低減することができる。また、複数のユーザが保存した画像を複数のユーザで共有して利用することができ、相乗効果が生じ、本システムの利用できる場所の範囲、あるいはユーザ層の範囲を広げることができる。

（実施形態３）
　本発明の実施形態３について説明する。

　〈実施形態３の概略〉
　実施形態３は、暗所距離画像とこれに対応する明所距離画像との間の差異領域を検出し、その検出結果に応じて視認画像を決定するＨＭＤである。すなわち、本実施形態に係るＨＭＤは、現時点の暗所距離画像と、当該暗所距離画像に対応する明所距離画像との間に差異領域がある場合に、その発生要因がどちらの距離画像にあるかを突き止め、その結果に応じた処理を実行し、より相応しい視認画像を決定する。

　なお、実施形態３に係るＨＭＤのハードウェア的な構成は、実施形態１に係るＨＭＤと同様であるため、説明を省略する。

　〈ＨＭＤの機能的な構成〉
　図１０は、実施形態３に係るＨＭＤの機能的な構成を示す機能ブロック図である。

　図１０に示すように、実施形態３に係るＨＭＤ１ｃは、実施形態１によるＨＭＤ１の機能的な構成を基礎に、差異領域検出装置（検出装置）６５、差異要因判別装置（判別装置）６６、および明所距離画像選定装置（選定装置）６７をさらに備えた構成を有している。

　差異領域検出装置６５は、現時点の暗所距離画像と特定された過去の明所距離画像との間の差異領域を検出する。

　差異要因判別装置６６は、現時点の暗所距離画像と特定された過去の明所距離画像との間の差異領域が検出された場合に、両距離画像を比較して解析を行い、その差異の発生要因が、暗所距離画像の側にあるのか明所距離画像の側にあるのかを判別する。

　明所距離画像選定装置６７は、現時点の暗所距離画像と対応しており、先に特定された明所距離画像よりも取得時点がさらに過去に遡った明所距離画像が保存されているか否かを判定する。そして、そのような明所距離画像を更なる過去の明所距離画像として選定し読み出す。

　視認画像決定装置６３は、暗所距離画像と明所距離画像との間における差異の有無、差異がある場合の発生要因、更なる過去の明所距離画像の有無等に応じて、視認画像を編集し決定する。

　〈視認画像の決定処理フロー）
　実施形態３による暗所ガイドプログラムの処理フローは、基本的な部分においては、実施形態１と同様であるが、視認画像の決定処理の部分のみ異なっている。そこで、ここでは、その視認画像の決定処理のフローについてのみ説明し、他のフローについては説明を省略する。

　図１１Ａおよび図１１Ｂは、実施形態３による視認画像の決定処理のフロー図である。このフロー図は、図４に示す実施形態１による処理フローにおけるステップＳ１２に対応している。

　ステップＳ１２１では、明所距離画像と暗所距離画像とを比較する処理が行われる。具体的には、差異領域検出装置６５が、明所距離画像と暗所距離画像とを比較する。

　ステップＳ１２２では、ステップＳ１２１での比較結果に基づいて、比較された両距離画像の間に差異があるかを判定する処理が行われる。具体的には、差異領域検出装置６５が、上記の比較結果から、過去の明所距離画像と現時点の暗所距離画像との間に差異があるか否かを判定する。ここで、差異がない、すなわち２つの距離画像が画像領域全体でほぼ一致すると判定された場合には（Ｓ１２２，Ｎｏ）、ステップＳ１２３に進む。一方、差異があると判定された場合には（Ｓ１２２，Ｙｅｓ）、ステップＳ１２４に進む。

　ステップＳ１２３では、明所カメラ画像をそのまま視認画像に決定する処理が行われる。具体的には、視認画像決定装置６３が、この明所カメラ画像を視認画像として決定する。これは、図６を参照して説明した視認画像の決定例に相当する。これにて、視認画像の決定処理は終了となる。

　ステップＳ１２４では、差異領域の特徴を解析し、その発生要因を認識する処理が行われる。具体的には、差異要因判別装置６６が、両距離画像における差異領域の特徴をそれぞれ解析する。そして、その解析結果に基づいて、差異領域の発生要因が、暗所距離画像の側にあるのか、明所距離画像の側にあるのかを判別する。

　例えば、暗所距離画像の領域で、不連続な距離データの出現が見られるときには、暗所距離画像に突然の変位があったと判断することができる。逆に、明所距離画像の領域で、不連続な距離データの出現が見られるときには、明所距離画像に突然の変位があったと判断することができる。

　また例えば、差異領域に含まれる物体が、人物、移動可能な物体、人工物などの場合、差異領域は、それらが移動したことによる違いで生じた可能性があると考えることできる。

　なお、その差異の発生要因が、現在にあるのか過去にあるのか、また、その差異領域に含まれる物体が何であるかによって、その後の処理が異なってくる。

　ステップＳ１２５では、暗所距離画像に差異の発生要因があるか否かを判別する処理が行われる。具体的には、差異要因判別装置６６が、上記の解析結果に基づいて、暗所距離画像と明所距離画像のどちらに差異の発生要因があるかを判別する。この判別において、暗所距離画像に差異の発生要因があると判別された場合には（Ｓ１２５，Ｙｅｓ）、ステップＳ１２６に進む。一方、この判別において、明所距離画像に差異の発生要因があると判別された場合には（Ｓ１２５，Ｎｏ）、ステップＳ１２７に進む。

　ステップＳ１２６では、明所カメラ画像の差異領域にマスク画像あるいはＡＲオブジェクトを挿入することにより視認画像を得る処理が行われる。具体的には、視認画像決定装置６３が、特定された明所カメラ画像における差異領域に対応した領域に対して強調処理を施すことにより視認画像を得る。例えば、明所カメラ画像の差異領域に対応する領域に対して、マスク画像あるいはＡＲオブジェクトを挿入する。差異領域に含まれる物体が認識できる場合には、その物体に相当するＡＲオブジェクトをはめ込む。差異領域に含まれる物体が認識できない場合、あるいは、そのようなＡＲオブジェクトが準備されていない場合には、明所カメラ画像の差異領域に対応する領域に対して、マスク画像を重畳するなど強調処理を施すことにより、視認画像を得る。これにて、視認画像の決定処理は終了する。

　ここで、このステップＳ１２６による視認画像の決定例について、図を参照して説明する。

　図１２は、実施形態３に係るＨＭＤにより視認画像を決定する処理の第１例を説明するための図である。図１２では、明所カメラ画像にマスク画像またはＡＲオブジェクトを重畳して視認画像を決定する例を示している。この例は、距離画像間の差異が現時点の暗所距離画像に起因している場合である。

　現時点の暗所距離画像８３Ｅには、差異領域８７として人物の存在がある。対応する明所距離画像８１Ｂには人物は存在していない。明所カメラ画像８０Ｂ全域を引用して視認画像とすると、ユーザが実空間において行動する時、人物と衝突する可能性があり適切でない。そこで、明所カメラ画像８０Ｂを基礎としつつ、その差異領域の対応領域８７Ｃに対して、例えば強調したマスク８８Ａを付加する。この実施例によれば、ユーザに注意喚起をすることができる。

　あるいは、差異領域８７の特徴を解析して差異領域８７が人物であることを認識できた場合、明所カメラ画像８０Ｂを基礎としつつ、その差異領域の対応領域８７Ｃに対して、人物のＡＲオブジェクト８８Ｂを付加する。この実施例によれば、差異の詳細をユーザに伝えることが可能となる。

　ステップＳ１２７では、現時点の暗所距離画像と対応しており、さらに過去に遡った時点で取得された明所距離画像が有るかを判断する処理が行われる。具体的には、明所距離画像選定装置６７が、現時点の暗所距離画像と対応しており、先に特定された明所距離画像よりも取得時点がさらに過去に遡った明所距離画像が保存されているか否かを判定する。この判定において、そのようなさらに過去の明所距離画像がないと判定された場合には（Ｓ１２７，Ｎｏ）、ステップＳ１２８に進む。一方、この判定において、そのようなさらに過去に遡った明所距離画像があると判定された場合には（Ｓ１２７，Ｙｅｓ）、ステップＳ１２９に進む。

　ステップＳ１２８では、明所カメラ画像の差異領域に暗所距離画像の差異領域の画像部分を挿入して視認画像を決定する処理が行われる。具体的には、視認画像決定装置６３が、過去の明所カメラ画像を取得し、その差異領域に対して、暗所距離画像の差異領域の画像部分を挿入しまたは貼り付けて得られた画像を、視認画像として決定する。

　ここで、このステップＳ１２８による視認画像の決定例について、図を参照して説明する。

　図１３Ａは、実施形態３に係るＨＭＤにより視認画像を決定する処理の第２例を説明するための図である。図１３Ａでは、明所カメラ画像に暗所距離画像の一部を張り付けて視認画像を得る例を示している。図１３Ａにおいて、８１Ｃは保存されている明所距離画像、８０Ｃは保存されている明所カメラ画像、８３Ｃは暗所距離画像、８４Ｃはユーザに視認させる視認画像である。８１Ｃと８３Ｃの距離画像では、一部差異がある。暗所距離画像８３Ｃの領域ＲＡが差異領域であり、明所距離画像８１Ｃにおける上記差異領域に対応する領域には人物がいる。このとき、視認画像として明所カメラ画像８０Ｃを全域適用すると、現在はいない人物が存在しているように、ユーザに誤解を与えてしまう。

　そこで、暗所距離画像８３Ｃにおける差異領域ＲＡの画像部分を明所カメラ画像８０Ｃにおける対応領域に重畳して、視認画像８４Ｃを得る。

　ステップＳ１２９では、更に過去に遡った明所距離画像を読み出す処理が行われる。具体的には、明所距離画像選定装置６７が、現時点の暗所距離画像に対応した、更に過去に遡った明所距離画像を読み出す。

　ステップＳ１３０では、暗所距離画像と更なる過去の明所距離画像とを比較し解析する処理が行われる。具体的には、視認画像決定装置６３が、現時点の暗所距離画像と読み出された更なる過去の明所距離画像とを比較する。そして、これら両距離画像の間に差異があるかを判定するのに必要な解析を行う。

　ステップＳ１３１では、暗所距離画像と更なる過去の明所距離画像との間に差異がないかを判定する。具体的には、視認画像決定装置６３が、ステップＳ１３０での比較・解析結果に基づいて、現時点の暗所距離画像と、読み出された更なる過去の明所距離画像との間に、差異がないかを判定する。この判定において、差異があると判定された場合には（Ｓ１３１，Ｎｏ）、ステップＳ１２８に進む。一方、この判定において、差異が無いと判定された場合には（Ｓ１３１，Ｙｅｓ）、ステップＳ１３２に進む。

　ステップＳ１３２では、更なる過去の明所カメラ画像を読み出す処理が行われる。具体的には、視認画像決定装置６３が、更なる過去の明所距離画像と同じ画像セットに含まれる更なる過去の明所カメラ画像を、明所画像記憶装置５９から読み出す。

　ステップＳ１３３では、明所カメラ画像の差異領域に更なる過去の明所カメラ画像の差異領域の画像部分を挿入して視認画像を決定する処理が行われる。具体的には、視認画像決定装置６３が、特定された過去の明所カメラ画像の差異領域に対して、更なる過去の明所カメラ画像における差異領域の画像部分を挿入しまたは貼り付けて得られた画像を、視認画像として決定する。

　ここで、このステップＳ１３３による視認画像の決定例について、図を参照して説明する。

　図１３Ｂは、実施形態３に係るＨＭＤにより視認画像を決定する処理の第３例を説明するための図である。図１３Ｂでは、過去の明所カメラ画像に更なる過去の明所カメラ画像の一部を張り付けて視認画像を決定する例を示している。図１３Ｂにおいて、状況は図１３Ａに示す例と同じであるが、過去の明所カメラ画像８０Ｃよりもさらに時間を遡った時刻に保存された、更なる過去の明所カメラ画像８０Ｄを参照して、視認画像を決定する。すなわち、過去の明所カメラ画像８０Ｃに、更なる過去の明所カメラ画像８０Ｄの領域ＲＢに対応する画像部分をはめ込んで、視認画像８４Ｄを得ている。更なる過去の明所カメラ画像８０Ｄは、人物の居ない時に撮像して得られたカメラ画像である。この更なる過去の明所カメラ画像８０Ｄにおける、領域ＲＡに対応する領域ＲＢの画像部分を、明所カメラ画像８０Ｃの対応領域に重ねて、視認画像８４Ｄを得る。

　なお、ここで、過去の明所カメラ画像８０Ｄの全体画像をそのまま視認画像としても構わないが、保存されたカメラ画像の中から鮮明な方を全体画像として採用し、部分的に異なる領域だけを他の過去明所カメラ画像からはめ込むようにすると、より鮮明な画像を得ることができる。

　また、別の方法として、ユーザが望む時間帯の明所画像を選んで、全域画像として用いるようにしてもよい。例えば、夕方の画像を全域画像として用いてもよい。

　なお、本実施形態では、差異領域として人物を例に説明したが、実際には人物のみとは限らない。例えば、差異領域として、動物などの生物や、自動車、自転車、自動二輪車、台車、リヤカーなどの移動体、新たに設置された設備、置かれた部材等を考えることができる。移動しないものとしては、建築物、道路標識などが考えられる。さらにこれらを認識するために、機械学習の技術を用いて、差異の物体の判別を行ってもよい。

　また、過去の明所カメラ画像に対して、新たに障害物が生じた場合には、それらに注意が行くように、強調した表示を行ってもよい。

　また、物体が何であるかを判別できる場合には、その代替となるＣＧ画像やサイン、テキストデータを表示するようにしてもよい。

　このような処理を行うことで、暗所でも障害物にぶつかったりつまずいたりすることなく、安全な進路が確保することができる。

　また、距離画像間の差異が現在の距離画像に起因する要因は、現在の暗所距離画像に物体が新たに出現する以外の場合もある。例えば、災害現場などにおいて、道路の陥没や橋の落下等、あるべきものが無くなってしまった場合がある。このような場合でも、図１１Ａ，図１１Ｂで説明したように、差異領域８７に合わせて特徴を処理して、差異領域が何であるかを認識し、それに対応するＡＲオブジェクトを重畳して、差異の詳細をユーザに伝えることが可能である。

　このような実施形態３によれば、差異領域の発生状況に合わせた視認画像の決定が可能となり、暗所ガイド機能の視認画像の生成において高性能化が実現できる。

（実施形態４）
　本発明の実施形態４について説明する。

　〈実施形態４の概要〉
　実施形態４は、距離画像間の比較および一致判定の処理において、距離画像の平行移動、回転移動、スケーリング（拡縮）等の処理を含むＨＭＤである。なお、実施形態４に係るＨＭＤのハードウェア的な構成は、実施形態１に係るＨＭＤと同様であるため、説明を省略する。

　〈距離画像間の比較および一致判定の処理フロー〉
　実施形態４による暗所ガイドプログラムの処理フローは、基本的な部分においては、実施形態１と同様であるが、距離画像間の比較および一致判定の処理の部分のみ異なっている。そこで、ここでは、その距離画像間の比較および一致判定の処理のフローについてのみ説明し、他のフローについては説明を省略する。

　図１４は、実施形態４による距離画像間の比較および一致判定の処理のフロー図である。このフロー図は、図１４において破線で囲んで示した、図４の全体処理フローの中のステップＳ９～Ｓ１１およびＳ１３に対応している。また、図１５Ａ～１５Ｃは、実施形態４による距離画像間の比較および一致判定に用いる処理の例を説明するための図である。

　ステップＳ２１では、暗所距離画像の特徴を抽出する処理が行われる。具体的には、明所画像検索装置６２が、認識された暗所距離画像の特徴を抽出する。

　ステップＳ２２では、明所距離画像を取得する処理が行われる。具体的には、明所画像検索装置６２が、絞り込まれた明所距離画像の中から１つを読み出す。

　ステップＳ２３では、明所距離画像の特徴を抽出する処理が行われる。具体的には、距離画像検索装置６２が、読み出された明所距離画像の特徴を抽出する。

　ステップＳ２４では、抽出された特徴同士を比較し、距離画像の移動量およびスケーリング倍率を計算する処理が行われる。具体的には、距離画像検索装置６２が、暗所距離画像の特徴と明所距離画像の特徴とを比較し、同じ特徴に注目して、距離画像の移動量、および距離画像のスケーリング倍率を計算する。

　ステップＳ２５では、暗所距離画像を移動・拡縮する処理が行われる。具体的には、距離画像検索装置６２が、算出された移動量、スケーリング倍率にて暗所距離画像を移動・拡縮する。ここで、ステップＳ２４、ステップＳ２５において、スケーリングによって撮影位置からの距離が変化する場合、距離画像の遠近を示す色彩を、スケーリング倍率に合わせて色変化させると距離画像同士の比較を行いやすい。

　ステップＳ２６では、距離画像同士を比較する処理が行われる。具体的には、距離画像検索装置６２が、移動・拡縮処理された暗所距離画像と明所距離画像とを比較する。

　ステップＳ２８では、距離画像同士が一致するかを判定する処理が行われる。具体的には、距離画像検索装置６２が、上記の比較結果に基づき、暗所距離画像と明所距離画像とが一致するか否かを判定する。この判定において、一致すると判定された場合には（Ｓ２８，Ｙｅｓ）、ステップＳ２９に進む。一方、この判定において、一致しないと判定された場合には（Ｓ２８，Ｎｏ）、ステップＳ３０に進む。

　ステップＳ２９では、一致領域が十分であるかを判定する処理が行われる。具体的には、距離画像検索装置６２が、認識された暗所距離画像と読み出された明所距離画像とが一致する領域の全領域に対するカバー率が、規定値より大きいか否かを判定する。この判定において、規定値より大きいと判定された場合には（Ｓ２９，Ｙｅｓ）、ステップＳ１２に進む。一方、規定値以下であると判定された場合には（Ｓ２９，Ｎｏ）、ステップＳ３０に進む。

　ステップＳ３０では、絞り込まれた明所距離画像に対する全ての比較が終了したかを判定する処理が行われる。具体的には、距離画像検索装置６２が、すべての比較が終了し次に比較すべき明所距離画像が残っていないかを判定する。ここで、すべての比較が終了した、すなわち比較すべき明所距離画像はもう残っていないと判定された場合には（Ｓ３０，Ｙｅｓ）、ステップＳ１４に進む。一方、すべての比較が終了していない、すなわち比較すべき明所距離画像がまだ残っていると判定された場合には（Ｓ３０，Ｎｏ）、ステップＳ２２に戻り、次に比較すべき明所距離画像の読出しが行われる。

　図１５Ａは、実施形態３における平行移動処理を説明するための図である。図１５Ｂは、実施形態３におけるスケーリング処理を説明するための図である。図１５Ｃは、実施形態３における複数の距離画像を利用した組合せ処理を説明するための図である。

　図１５Ａにおいて、８１Ｆで示す太枠は暗所距離画像、８３Ｆで示す細枠は明所距離画像である。図１５Ａにおいて、暗所距離画像を距離“ａ”だけシフトしたときに、ハッチングした領域で２つの距離画像の一致が見られる場合には、ハッチングした領域の明所カメラ画像を用いて視認画像を決定する。

　図１５Ｂにおいて、暗所距離画像８１Ｆを“ｚ”倍したときに、２つの距離画像の一致が見られる場合には、明所カメラ画像を“１／ｚ”倍して用いて視認画像を決定する。

　図１５Ａおよび図１５Ｂにおいて、余白が生じる領域については、例えば、暗所距離画像を埋めるようにしてもよいし、別の過去のカメラ画像を埋めるようにしてもよい。

　図１５Ｃは、複数の明所距離画像８３Ｊ，８３Ｋ，８３Ｌと暗所距離画像８１Ｆとを比較する場合である。この例は、上記フローでは説明していないが、このような処理を組み入れてもよい。この例では、暗所距離画像８１Ｆと明所距離画像８３Ｊ，８３Ｋ，８３Ｌのそれぞれとが部分的に一致する場合に、一致する領域に対応する明所カメラ画像を切り出して合成し視認画像を生成する。

　このとき、明所距離画像８３Ｊ，８３Ｋ，８３Ｌの重なりについては、より鮮明な画像を優先するよう、すなわち、より鮮明な画像がより上位（手前）に位置するよう重ね合わせてもよい。あるいは、取得日時がより新しい画像を優先するよう、すなわち、取得日時がより新しい画像がより上位に位置するよう重ね合わせてもよい。図１５Ｃに示す例では、鮮明度が、明所距離画像８３Ｊ＞明所距離画像８３Ｋ＞明所距離画像８３Ｌの順になっており、より鮮明な画像を優先して、上から明所距離画像８３Ｊ，明所距離画像８３Ｋ，明所距離画像８３Ｌの順に重なるように配置している。

　なお、本実施形態では、平行移動、回転移動、スケーリングなどの処理を施す対象を暗所距離画像としているが、当該処理を明所距離画像に適用して距離画像間の比較処理を行ってもよい。また、撮影時に３６０度カメラのような広角な画像を撮影している場合には、ユーザのＨＭＤの正面方向の画像を、ＨＭＤの位置と方向に基づいて所定の画角で切り出して保存するようにしてもよい。さらに、複数の撮影画像を記録する場合には、予め同じ位置の撮影画像の方向を合わせて、位置と方向がほぼ同じものを関連付けて記録するようにしてもよい。

　このような実施形態４によれば、暗所距離画像に実質的に一致する明所での画像を見つけやすくすることができる。

（実施形態５）
　本発明の実施形態５について説明する。

　〈実施形態５の概要〉
　実施形態５は、ユーザの居る場所が暗所であるものの、ユーザの前方の一部領域が光源により照らされているような場合に適した処理を行うＨＭＤである。

　〈実施形態５に係るＨＭＤの構成〉

　図１６は、実施形態５に係るＨＭＤの外観図である。図１に示すＨＭＤ１と同一の構成要素には同一の番号を付与しており、重複する説明は省く。図１６に示すＨＭＤ１ｄは、図１に示すＨＭＤ１に対して、補助光源としてのヘッドライト２２を追加した構成を有している。

　図１７は、実施形態５に係るＨＭＤ１ｄの機能ブロック図である。図３に示す機能ブロック図と同一のブロックには同一の番号を付与しており、重複する説明は省く。図１７に示す機能ブロック図では、図３に示す機能ブロック図に対して、照射領域検知装置（検知装置）６８が追加された構成を有している。

　照射領域検知装置６８は、カメラにて得られた暗所カメラ画像において、光源により照射されて明るくなっている一部領域であるスポット照射領域を検知する。

　視認画像決定装置６３は、視認画像の基礎として決定された明所カメラ画像もしくは暗所距離画像において、検知されたスポット照射領域の対応領域に対し、暗所カメラ画像におけるスポット照射領域の画像部分を張り付ける。これにより、視認画像を決定する。

　なお、この照射領域検知装置６８は、プロセッサ３６がメモリ３７等を用いて、暗所ガイドプログラム４２を実行することにより実現される。

　また、本実施形態では、ＨＭＤ１ｄが備えるヘッドライト２２により、ユーザの前方の一部領域が照らされる場合を想定している。しかしながら、ユーザが保持する懐中電灯あるいは遠方の照明光が、ユーザの前方の一部領域を照らしているような場合でも、同じ環境とみなすことができる。したがって、実施形態５は、これらの場合であっても、同様に適用することが可能である。

　図１８は、実施形態５による視認画像の生成・編集処理のフロー図である。この処理フローは、図４に示す実施形態１による全体処理フローの中のステップＳ１５に対応する処理フローであり、実施形態１からの変形例である。

　ステップＳ３１では、スポット照射領域があるかを判定する処理が行われる。具体的には、視認画像決定装置６３が、得られた暗所カメラ画像においてスポット照射領域があるか否かを判定する。この判定において、スポット照射領域があると判定された場合には（Ｓ３１，Ｙｅｓ）、ステップＳ３２に進む。一方、この判定において、スポット照射領域がないと判定された場合には（Ｓ３１，Ｎｏ）、ステップＳ３４に進む。

　ステップＳ３２では、スポット照射領域の画像部分を切り出す処理が行われる。具体的には、視認画像決定装置６３が、暗所カメラ画像の中からヘッドライト等の光源により照射されているスポット照射領域の画像部分を切り出す。

　ステップＳ３３では、切り出された画像部分を合成する処理が行われる。具体的には、視認画像決定装置６３が、視認画像の基礎として設定された画像におけるスポット照射領域に対応する領域に対して、切り出された画像部分を張り付けることにより、視認画像を決定する。このとき、基礎に設定された画像と切り出された画像部分とが滑らかにつながり自然に見えるよう、切り出された画像部分の張付け位置およびサイズを調整する。その後、視認画像の生成・編集処理は終了し、図４に示すステップＳ１６に進む。

　ステップＳ３４では、上記実施形態１～４による方法にて視認画像の決定が行われる。その後、視認画像の生成・編集処理は終了し、図４に示すステップＳ１６に進む。

　図１９は、実施形態５により得られるカメラ画像と視認画像の例を示す図である。図１９において、８２Ｇが暗所カメラ画像、８４Ｇが視認画像をそれぞれ示している。暗所カメラ画像８２Ｇにおいて、ヘッドライト２２で照射されたスポット照射領域８９では、前方の状況が映し出されている。

　視認画像８４Ｇは、明所カメラ画像におけるスポット照射領域８９の対応領域に、暗所カメラ画像におけるスポット照射領域８９の画像部分を貼り付けて得られた画像である。

　例えば、視認画像８４Ｇに不明な差異領域があり、その差異領域にマスク表示がされている場合について考える。このとき、ユーザは、マスク表示領域に対応する実空間領域にヘッドライト２２を向けて照らすことにより、カメラ画像として差異領域に何があるかをカメラ画像と直接目視にて確認することができる。ここで、この例では一つのスポット領域を張り付けて表示しているが、ユーザがスポット照射方向を変化させて照射領域を移動させることによって、広い面積の照射領域の画像を得ることができる。このような広いスポット照射領域の画像を張り付けてもよい。

　このような実施形態５によれば、暗所においてユーザの前方に過去の明所カメラ画像には写っていない差異がある場合に、その差異領域を光源によって照らすことにより、その差異を視認画像によって確認することができる。これは、後述するような、視認画像の表示面が光非透過性を有する場合に、特に有効である。

（実施形態６）
　本発明の実施形態６について説明する。
　実施形態６は、ユーザのジェスチャにより操作を可能にするＨＭＤである。

　図２０Ａおよび図２０Ｂは、実施形態６に係るＨＭＤの外観の第１例を示す図である。図２０Ａおよび図２０Ｂに示すＨＭＤ１ｅは、近距離の測距に適した測距センサ（以下、近距離用測距センサという）２３と中距離もしくは長距離の測距に適した測距センサ（以下、中長距離用測距センサという）２４と、を備えている。これらの測距センサは、コントローラ１７と接続されており、コントローラ１７は、これらの測距センサにて得られた距離データを取得する。

　中長距離用測距センサ２４は、ユーザの視線前方の現実空間に対する距離データを得るためのものである。近距離用測距センサ２３は、ユーザの手指によるジェスチャを検出するためのものである。コントローラ１７内の保存データエリアには、ジェスチャの種類に対応した距離データと操作の種類とが対応付けられたテーブルが保存されている。コントローラ１７は、この近距離用測距センサ２３にて得られた距離データに基づき、上記テーブルを参照して、ユーザのジェスチャの種類を認識し、それに対応した操作を受け付ける。操作としては、例えば、暗所ガイドプログラムのオンオフ、表示する視認画像の切替えなどを考えることができる。

　中長距離用測距センサ２４は、例えば、図２０Ａに示すように、ＨＭＤ１ｅのレンズ（ディスプレイ）の上部フレームにおける幅方向の端部に設置される。また、近距離用測距センサ２３は、上部フレームの中央に設置される。この場合、中長距離用測距センサ２４の測距中心軸方向２４ｃと、近距離用測距センサ２３の測距中心軸方向２３ｃとはほぼ同じになる。ユーザは、手指を目の前に出してジェスチャ操作を行う。近距離用測距センサ２３は、ユーザのジェスチャ操作に対応した距離データを得る。

　ところで、ユーザがユーザ正面の自身に近い場所を見る場合、ユーザの視線方向は、前方の物体を視認するときよりも下方となることが多い。また、ユーザは、手指によりジェスチャを行う場合、その手指を目視するのが自然である。そこで、近距離用測距センサ２３は、その測距中心軸方向２３ｃが、例えば、図２０Ｂに示すように、中長距離用測距センサ２４の測距中心軸方向２４ｃから所定角度（例えば３０°）だけ下方に傾くように設置してもよい。これにより、ユーザは、自身の手指によるジェスチャ操作を自然な視線方向で確認しながら行うことができ、より自然でストレスの少ない操作が可能になる。

　なお、近距離用測距センサ２３および中長距離用測距センサ２４の配置は、上記の例に限定されず、設計の思想あるいは仕様等に応じて、種々考えることができる。

　図２１Ａおよび図２１Ｂは、実施形態６に係るＨＭＤの外観の第２例を示す図である。また、図２１Ｃは、ユーザの手指によるジェスチャ操作領域を示す図である。

　図２１Ａおよび図２１Ｂでは、先の第１例に対して、近距離用測距センサの配置を変えた変形例を示している。

　本変形例によるＨＭＤ１ｆは、近距離用測距センサ２３が、フレーム筐体２０における眼鏡のツル（テンプル）のような形状部分に配置された例である。中長距離用測距センサ２４の測距中心軸方向２４ｃは先の例と同じであるが、近距離用測距センサ２３の測距中心軸方向２３ｃは、ユーザの頭部の側面側に伸びた方向となる。この場合、ユーザは、手指によるジェスチャ操作を、ユーザの頭部の側面側にて行うことになる。

　例えば、図２１Ｃに示すように、ジェスチャ操作空間領域をｘｙｚ座標系によって定義し、そのジェスチャ操作空間領域を複数の部分領域に細分化する。近距離用測距センサ２３は、細分化された各部分領域における測距値を得、コントローラ１７は、その測距値の分布状態あるいはその時間変化に基づいてジェスチャ操作を検出する。ジェスチャ操作の例としては、手指をｘ方向に動かすことで表示画面の前後の移動指示、ｙ方向に動かすことで上下方向の移動指示、ｚ方向に動かすことで、表示画面の拡大縮小に割り当てるなどの方法がある。

　これにより、ユーザの手指によるジェスチャ操作を、頭部の側面付近で行うことができ、ジェスチャにより視野を妨げることなく、操作を行うことができる。

　このような実施形態６によれば、暗所ガイドプログラムのオンオフ、表示画像の切替えなどを、ユーザのジェスチャ操作によって画像表示装置の操作を行うことができ、より使いやすい画像表示装置を実現できる。例えば、ユーザが、現場において手袋をはめて作業するような場合であっても、比較的繊細な操作が必要なボタン式あるいはタッチ式の操作部を操作することなく、画像表示装置の操作を行うことができる。

（実施形態７）
　本発明の実施形態７について説明する。
　実施形態７は、ユーザインタフェース画面が表示されるように構成されたＨＭＤの例である。

　ＨＭＤのコントローラ１７は、表示面にユーザインタフェース画面を表示するよう表示装置を制御するとともに、例えば実施形態６にて示したジェスチャ操作などの所定の操作を受け付ける。

　図２２は、ＨＭＤにおけるユーザインタフェース画面の一例を示した図である。例えば、ＨＭＤのコントローラ１７は、照度センサによりユーザの視界が暗くなったことを検出すると、表示装置を制御して画面表示の切替え選択画面９０を表示する。例えば、図２２に示すような選択画面を表示し、ユーザが、表示画面を明るい映像モードに切り替えるか否かを選択できるようにする。

　ユーザが画面の切替えをしない、すなわち“いいえ”を選択した場合には、例えば測距画像が表示される。一方、ユーザが画面の切替えをする、すなわち“はい”を選択した場合には、さらにいくつかの画面表示の仕方を選択するための選択画面を表示する。例えば、図２２の下段に示すような選択画面を表示し、ユーザが、表示する画像を、“昼間の画像”、“画像一部補間”、および“アレンジ画像”の中から選択できるようにする。

　これにより、明所にて撮像して得られた明るい映像（画像）を表示することもできるし、視野の一部分が暗い場合には、その暗い部分だけを、明るい時に撮像して得られた画像に置き換えることもできる。また、アレンジ画像を選択することにより、画像処理によって画像を加工して表示するようにしてもよい。例えば、あえて白黒やセピア色に変換した画像を表示したり、ＣＧやアニメーションで用いるような極彩色でアレンジした画像を表示したりしてもよい。

　このような実施形態７によれば、ユーザの意図や好みに応じて映像を切り替えることができる。

（実施形態８）
　本発明の実施形態８について説明する。
　実施形態１～７は、画像表示装置として、ユーザ前方からの光を通す、光透過性を有する画像表示面を備えるＨＭＤを用いた例であった。本実施形態は、画像表示装置として、ユーザ前方からの光を通さない、光非透過性を有する画像表示面を備えるＨＭＤを用いた例である。

　図２３は、実施形態１～７の画像表示装置としての実施形態８に係るＨＭＤの外観図である。図２３では、ユーザの前方からの光に対して非透過性を有する表示面を備えたゴーグル型ＨＭＤの例を示す図である。カメラで撮影した画像を左右ディスプレイに表示するビデオシースルーモードという使い方である。図２３に示すＨＭＤ１ｚは、ユーザの視野を覆うように成型された筐体２０ｄと、筐体２０ｄをユーザの視野を覆うように固定するための固定具２０ｅとを備えている。筐体２０ｄにおけるユーザの目を覆う面には、左目用ディスプレイ２５と右目用ディスプレイ２６とが設けられている。また、筐体２０ｄには、右カメラ１１ａ、左カメラ１１ｂ、測距センサ１２、コントローラ１７、マイク１８、スピーカ１９、バッテリ２１、ヘッドライト２２、および近距離用測距センサ２３が搭載されている。照度センサはコントローラ１７に内蔵されているが、筐体２０ｄの上部に設けられていてもよい。

　左目用ディスプレイ２５および右目用ディスプレイ２６は、例えば、液晶パネル、有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネル、あるいはプラズマディスプレイなどで構成されている。もちろん、これらの左目用および右目用ディスプレイ２５、２６は、それぞれ、プロジェクタによる画像投影装置により構成されていてもよい。

　ユーザは、ＨＭＤ１ｚを頭部に装着して、左目で左目用ディスプレイに表示される画像を見、右目で右目用ディスプレイに表示される画像を見ることにより、前方のカメラ画像、距離画像、あるいは視認画像などを立体的に視認することができる。

　このような実施形態８によれば、画像表示装置として、より堅牢で顔に密着したＨＭＤを用いることができ、現場に存在する可能性がある危険な障害物あるいは気体もしくは液体から、ユーザの目を保護することができる。また、表示装置をプロジェクタ型に限定する必要がなくなるので、画像表示装置に対する設計の自由度が増す。

（実施形態９）
　本発明の実施形態９について説明する。
　実施形態１～８は、画像表示装置としてＨＭＤを用いた例であった。実施形態９は、画像表示装置として携帯型情報端末を用いた例である。携帯型情報端末としては、例えば、スマートフォン、タブレット端末装置、またはノートパソコンなどを考えることができる。

　携帯型情報端末の中には、ディスプレイ画面が設置された側とは反対の側（裏側）に、カメラおよび測距センサを搭載したモデルが数多く存在している。測距センサは後付けされたものであってもよい。このような携帯型情報端末であれば、これまで説明したようなＨＭＤと同様の動作をさせることが可能である。

　図２４Ａは、携帯型情報端末のカメラの画角および測距センサの測定範囲の例を示す図である。図２４Ｂは、携帯型情報端末に暗所距離画像が表示された状態の例を示す図である。また、図２４Ｃは、携帯型情報端末に明所カメラ画像が表示された状態の例を示す図である。

　携帯型情報端末１ｓは、例えば、図２４Ａにおいて一点破線にて示すようなｘｙ座標軸を定義し、破線にて示すようなカメラの画角９１および測距センサの測定範囲９２を有するように構成される。また、携帯型情報端末１ｓは、例えば、図２４Ｂに示すように、ディスプレイ画面に、暗所距離画像を表示させたり、図２４Ｃに示すように、暗所距離画像に対応した明所カメラ画像を表示させたりすることも可能である。

　このような実施形態９によれば、ＨＭＤのような特別に製作された画像表示装置を用いずとも、汎用性が高く、広く普及している携帯型情報端末を用いて、実施形態１～８によるＨＭＤと同様の動作を行わせることができる。これにより、画像表示装置の開発コストあるいは装置そのもののコストを低減することができる。また、ユーザを既に携帯型情報端末を所有している者にまで広げることができ、あらゆる場所での画像セットを効率よく蓄積することができる。また、ユーザもあらゆる場所において、明所カメラ画像等の視認画像を得ることができる。

　以上、本発明の各種実施形態について説明したが、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、距離センサによる距離画像の生成を、赤外線カメラによる赤外線カメラ画像の生成に置き換えても同様の効果が得られる。また、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。これらは全て本発明の範疇に属するものである。さらに文中や図中に含まれる数値やメッセージ等もあくまで一例であり、異なるものを用いても本発明の効果を損なうものではない。

　また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、ＭＰＵ、ＣＰＵ等のプロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。また、ソフトウェアにより実現される機能の範囲は限定されるものでなく、ハードウェアとソフトウェアを併用してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

　以下、本発明の考えられる態様について付記する。

　［付記１］
　ユーザに視認させる視認画像を表示する画像表示装置であって、
　前記ユーザの前方を撮像しカメラ画像を得るカメラと、
　前記ユーザから前記カメラの視野領域に含まれる現実物体における各位置までの距離を表すデータを得る測距センサと、
　前記ユーザが居る場所の明るさを表すデータを得る照度センサと、
　前記測距センサにより得られるデータを基に、前記視野領域に対応し各画素が前記各位置までの距離を表す距離画像を生成する生成装置と、
　前記照度センサにより得られるデータを基に、前記ユーザの居る場所が明所か暗所かを判定する判定装置と、
　前記判定装置により明所であると判定された場合に、前記カメラにより得られるカメラ画像と前記生成装置により得られる距離画像とを、明所カメラ画像と明所距離画像とを含む画像セットとして保存する保存装置と、
　前記判定装置により暗所であると判定された場合に、前記生成装置により得られる距離画像を暗所距離画像として認識する認識装置と、
　前記保存装置により保存されている明所距離画像と前記認識装置により認識された暗所距離画像とを比較することにより、前記認識された暗所距離画像に対応する明所距離画像を特定する検索装置と、
　前記検索装置により特定された明所距離画像と同じ前記画像セットに含まれる明所カメラ画像に基づいて、前記ユーザに視認させる視認画像を決定する決定装置と、
　前記視認画像を表示する表示装置と、
　を備える画像表示装置。

　［付記２］
　コンピュータを、［付記１］に記載の画像表示装置における、生成装置、判定装置、保存装置、認識装置、検索装置、および決定装置として機能させるためのプログラム。

　［付記３］
　コンピュータを、［付記１］に記載の画像表示装置における、生成装置、判定装置、保存装置、認識装置、検索装置、および決定装置として機能させるためのプログラムが記録された、コンピュータ読み取り可能な記録媒体。

　［付記４］
　付記１に記載の画像表示装置において、暗所距離画像と明所距離画像を比較する処理は、前記暗所距離画像および前記明所距離画像のうち少なくとも一方に対して、平行移動、回転移動、および拡縮のうち少なくとも１つの処理を適用する、画像表示装置。

　［付記５］
　付記１に記載の画像表示装置において、
　当該画像表示装置として、スマートフォン、タブレット端末装置、またはノートパソコンを用いる、画像表示装置。

　［付記６］
　付記１に記載の画像表示装置において、
　前記カメラは、前記照度センサを兼ねる、画像表示装置。

　［付記７］
　付記１に記載の画像表示装置において、
　前記検索装置は、前記認識された暗所距離画像および前記特定された明所距離画像のうち少なくとも１つに対して、平行移動、回転移動、および拡縮のうち少なくとも１つを行って比較する、画像表示装置。

　［付記８］
　付記１に記載の画像表示装置において、
　前記表示装置は、前記視認画像が投影されるスクリーンを備える、画像表示装置。

　［付記９］
　付記１に記載の画像表示装置において、
　前記表示装置は、前記視認画像を表示するディスプレイ装置を備える、画像表示装置。

　［付記１０］
　付記１に記載の画像表示装置において、
　前記検索装置は、前記暗所距離画像に対応する明所距離画像として、暗所距離画像との間の類似度または一致度が閾値以上である明所距離画像を特定する、画像表示装置。

　［付記１１］
　付記１に記載の画像表示装置において、
　前記検索装置は、前記暗所距離画像に対応する明所距離画像として、前記暗所距離画像に一致または近似もしくは類似すると人工知能により認識された明所距離画像を特定する、画像表示装置。

　［付記１２］
　付記１に記載の画像表示装置において、
　時間情報取得装置を備え、
　前記時間情報取得装置は、少なくとも日付を含む時間情報を取得し、
　前記保存装置は、
　前記保存されている明所距離画像の中から、前記保存装置による保存の対象となる明所距離画像に対応する明所距離画像を抽出する処理と、
　前記画像セットを保存する際に、前記時間情報取得装置により取得された時間情報を対応付けて保存する処理と、
　前記画像セットを保存する際に、前記抽出する処理により抽出された明所距離画像を含む前記画像セットを上書きする処理、または、前記抽出された明所距離画像に対応付けされた時間情報が表す時間が、前記保存の対象となる明所距離画像に対応付けされる時間情報が表す時間より第１の時間以上前である場合に、前記抽出された明所距離画像を含む画像セットを消去する処理、を実行する、画像表示装置。

　［付記１３］
　付記１２に記載の画像表示装置において、
　前記抽出する処理は、前記保存の対象となる明所距離画像に対応する明所距離画像として、前記保存の対象となる明所距離画像との間の類似度または一致度が閾値以上である明所距離画像を抽出する処理である、画像表示装置。

　［付記１４］
　付記１２に記載の画像表示装置において、
　前記抽出する処理は、前記保存の対象となる明所距離画像に対応する明所距離画像として、前記保存の対象となる明所距離画像に一致するまたは近似するもしくは類似すると人工知能により認識された明所距離画像を抽出する処理である、画像表示装置。

１，１ａ，１ｂ，１ｈ…透過型ヘッドマウントディスプレイ、１ｚ…非透過型ヘッドマウントディスプレイ、１ｓ…携帯型情報端末、１１…カメラ、１２…測距センサ、１３…右目用プロジェクタ、１４…左目用プロジェクタ、１５…画像スクリーン、１６…ノーズパッド、１７…コントローラ、１８…マイク、１９…スピーカ、２０，２０ａ～２０ｃ…フレーム筐体、２１…バッテリ、２２…ヘッドライト、２３…近距離用測距センサ、２４…中長距離用測距センサ、３０…内部バス、３１…ＧＰＳセンサ、３２…照度センサ、３３…加速度センサ、３４…ジャイロセンサ、３５…方位センサ、３６…プロセッサ、３７…メモリ、３８…画像メモリ、３９…不揮発性記憶装置、４０…通信装置、４１…基本動作プログラム、４２…暗所ガイドプログラム、４３…保存データエリア、５１…位置情報取得装置、５２…時間情報取得装置、５３…方位情報取得装置、５４…姿勢情報取得装置、５５…カメラ画像取得装置、５６…距離画像生成装置、５７…明所暗所判定装置、５８…明所画像保存管理装置、５９…明所画像記憶装置、６０…暗所距離画像認識装置、６１…比較画像絞込装置、６２…明所画像検索装置、６３…視認画像決定装置、６４…視認画像表示装置、６５…差異領域検出装置、６６…差異要因判別装置、６７…明所距離画像選定装置、６８…照射領域検知装置、７０…ユーザ、７２…アクセスポイント、７３…ネットワーク、７４…画像保存サービスサーバ、１００，１０１…ＨＭＤシステム。

Claims

　ユーザに視認させる視認画像を表示する画像表示装置であって、
　前記ユーザの前方を撮像しカメラ画像を得るカメラと、
　前記ユーザから前記カメラの視野領域に含まれる現実物体における各位置までの距離を表すデータを得る測距センサと、
　前記ユーザが居る場所の明るさを表すデータを得る照度センサと、
　前記測距センサにより得られるデータを基に、前記視野領域に対応し各画素が前記各位置までの距離を表す距離画像を生成する生成装置と、
　前記照度センサにより得られるデータを基に、前記ユーザの居る場所が明所か暗所かを判定する判定装置と、
　前記判定装置により明所であると判定された場合に、前記カメラにより得られるカメラ画像と前記生成装置により得られる距離画像とを、明所カメラ画像と明所距離画像とを含む画像セットとして保存する保存装置と、
　前記判定装置により暗所であると判定された場合に、前記生成装置により得られる距離画像を暗所距離画像として認識する認識装置と、
　前記保存装置により保存されている明所距離画像と前記認識装置により認識された暗所距離画像とを比較することにより、前記認識された暗所距離画像に対応する明所距離画像を特定する検索装置と、
　前記検索装置により特定された明所距離画像と同じ前記画像セットに含まれる明所カメラ画像に基づいて、前記ユーザに視認させる視認画像を決定する決定装置と、
　前記視認画像を表示する表示装置と、
　を備える画像表示装置。
　請求項１に記載の画像表示装置において、
　位置情報取得装置と、絞込装置と、を備え、
　前記位置情報取得装置は、前記ユーザの位置情報を取得し、
　前記保存装置は、前記画像セットを保存する際に、前記画像セットと、前記位置情報取得装置により取得された位置情報とを対応付けて保存し、
　前記絞込装置は、前記画像セットに対応付けされた位置情報を基に、前記検索装置が比較する明所距離画像を絞り込む、画像表示装置。
　請求項１に記載の画像表示装置において、
　時間情報取得装置を備え、
　前記時間情報取得装置は、少なくとも日付を含む時間情報を取得し、
　前記保存装置は、
　保存されている明所距離画像の中から、保存の対象となる明所距離画像に対応する明所距離画像を抽出する抽出処理と、
　前記画像セットを保存する際に、前記時間情報取得装置により取得された時間情報を対応付けて保存する保存処理と、
　前記画像セットを保存する際に、前記抽出処理により抽出された明所距離画像を含む前記画像セットを上書きする上書き処理、または、前記抽出された明所距離画像に対応付けされた時間情報が表す時間が、前記保存の対象となる明所距離画像に対応付けされる時間情報が表す時間より第１の時間以上前である場合に、前記抽出された明所距離画像を含む前記画像セットを消去する消去処理、を実行する、画像表示装置。
　請求項１に記載の画像表示装置において、
　検出装置を備え、
　前記検出装置は、前記認識された暗所距離画像と前記特定された明所距離画像との差異領域を検出し、
　前記決定装置は、前記特定された明所距離画像と同じ前記画像セットに含まれる明所カメラ画像における前記差異領域の対応領域に、前記認識された暗所距離画像における前記差異領域の対応画像を挿入する挿入処理を実行することにより、前記視認画像を決定する、画像表示装置。
　請求項４に記載の画像表示装置において、
　判別装置を備え、
　前記判別装置は、前記差異領域の発生要因が前記認識された暗所距離画像と前記特定された明所距離画像のどちらにあるかを判別し、
　前記決定装置は、前記判別装置により前記発生要因が前記特定された明所距離画像にあると判別された場合に、前記挿入処理を実行する、画像表示装置。
　請求項１に記載の画像表示装置において、
　検出装置と、選定装置と、を備え、
　前記検出装置は、前記認識された暗所距離画像と前記特定された明所距離画像との差異領域を検出し、
　前記選定装置は、前記保存装置により保存されている明所距離画像と前記認識された暗所距離画像とを比較することにより、前記認識された暗所距離画像に対応しており前記特定された明所距離画像とは異なる明所距離画像を選定し、
　前記決定装置は、前記特定された明所距離画像と同じ前記画像セットに含まれる明所カメラ画像における前記検出された差異領域の対応領域に、前記選定装置により選定された明所距離画像と同じ前記画像セットに含まれる明所カメラ画像における前記検出された差異領域の対応画像を挿入する挿入処理を実行することにより、前記視認画像を決定する、画像表示装置。
　請求項１に記載の画像表示装置において、
　検出装置と、判別装置と、を備え、
　前記検出装置は、前記認識された暗所距離画像と前記特定された明所距離画像との差異領域を検出し、
　前記判別装置は、前記検出装置により検出された差異領域の発生要因が前記認識された暗所距離画像と前記特定された明所距離画像のどちらにあるかを判別し、
　前記決定装置は、前記判別装置により前記発生要因が前記認識された暗所距離画像にあると判別された場合に、前記特定された明所距離画像と同じ前記画像セットに含まれる明所カメラ画像における前記検出された差異領域の対応領域を強調する強調処理を実行することにより、前記視認画像を決定する、画像表示装置。
　請求項１に記載の画像表示装置において、
　検出装置と、判別装置と、を備え、
　前記検出装置は、前記認識された暗所距離画像と前記特定された明所距離画像との差異領域を検出し、
　前記判別装置は、前記検出装置により検出された差異領域の発生要因が前記認識された暗所距離画像と前記特定された明所距離画像のどちらにあるかを判別し、
　前記決定装置は、前記判別装置により前記発生要因が前記認識された暗所距離画像にあると判別された場合に、前記特定された明所距離画像と同じ前記画像セットに含まれる明所カメラ画像における前記検出された差異領域の対応領域に前記差異領域の特徴に応じた人工画像を挿入する挿入処理を実行することにより、前記視認画像を決定する、画像表示装置。
　請求項１に記載の画像表示装置において、
　前記検索装置は、複数の明所距離画像を特定し、
　前記決定装置は、前記検索装置により特定された複数の明所距離画像を基に、前記視認画像を決定する、画像表示装置。
　請求項１に記載の画像表示装置において、
　光源と、検知装置と、を備え、
　前記光源は、前記視野領域における一部を照らし、
　前記検知装置は、暗所にて前記カメラにより得られる暗所カメラ画像における前記光源の照射領域を検知し、
　前記決定装置は、前記特定された明所距離画像と同じ前記画像セットに含まれる明所カメラ画像における前記検知装置により検知された照射領域の対応領域に、前記認識された暗所距離画像と同じ前記画像セットに含まれる暗所カメラ画像における前記検知された照射領域の対応画像を挿入する挿入処理を実行することにより、前記視認画像を決定する、画像表示装置。
　請求項１に記載の画像表示装置において、
　ヘッドマウントディスプレイを含み、
　前記ヘッドマウントディスプレイは、前記カメラ、前記測距センサ、前記照度センサ、および前記表示装置を有する、画像表示装置。
　ネットワークに接続されるサーバと、前記ネットワークに接続され前記サーバと通信する携帯型の画像表示装置と、を備える画像表示システムであって、
　前記画像表示装置は、
　ユーザの前方を撮像してカメラ画像を得るカメラと、
　前記ユーザから前記カメラの視野領域に含まれる現実物体における各位置までの距離を表すデータを得る測距センサと、
　前記ユーザが居る場所の明るさを表すデータを得る照度センサと、
　前記ユーザに視認させる視認画像を表示する表示装置と、を備え、
　前記サーバと前記画像表示装置との連携により、
　前記測距センサにより得られるデータを基に、前記視野領域に対応し各画素が前記各位置までの距離を表す距離画像を生成する生成処理と、
　前記照度センサにより得られるデータを基に、前記ユーザの居る場所が明所か暗所かを判定する判定処理と、
　前記判定処理により明所であると判定された場合に、前記カメラにより得られるカメラ画像と前記生成処理により得られる距離画像とを、明所カメラ画像と明所距離画像とによる画像セットとして保存する保存処理と、
　前記判定処理により暗所であると判定された場合に、前記生成処理により得られる距離画像を暗所距離画像として認識する認識処理と、
　前記保存処理により保存されている明所距離画像と前記認識処理により認識された暗所距離画像とを比較することにより、前記認識された暗所距離画像に対応した明所距離画像を特定する検索処理と、
　前記検索処理により特定された明所距離画像と同じ前記画像セットに含まれる明所カメラ画像に基づいて、前記視認画像を決定する決定処理と、
　を実行する、画像表示システム。
　ネットワークに接続されるサーバと、前記ネットワークに接続され前記サーバと通信する携帯型の複数の画像表示装置と、を備える画像表示システムであって、
　前記複数の画像表示装置は、それぞれ、
　ユーザの前方を撮像してカメラ画像を得るカメラと、
　前記ユーザから前記カメラの視野領域に含まれる現実物体における各位置までの距離を表すデータを得る測距センサと、
　前記ユーザが居る場所の明るさを表すデータを得る照度センサと、
　前記ユーザに視認させる視認画像を表示する表示装置と、
　前記ユーザの位置情報を取得する位置情報取得装置と、を備え、
　前記複数の画像表示装置の各々において、前記サーバと画像表示装置との連携により、
　前記測距センサにより得られるデータを基に、前記視野領域に対応し各画素が前記各位置までの距離を表す距離画像を生成する第１の生成処理と、
　前記照度センサにより得られるデータを基に、前記ユーザの居る場所が明所か暗所かを判定する第１の判定処理と、
　前記第１の判定処理により明所であると判定された場合に、前記カメラにより得られるカメラ画像と前記第１の生成処理により得られる距離画像とを、明所カメラ画像と明所距離画像とを含む画像セットとし、前記画像セットと前記位置情報取得装置により取得された位置情報とを対応付けて前記サーバに保存する保存処理と、を実行し、
　前記サーバと前記複数の画像表示装置のうちの１つの画像表示装置との連携により、
　前記測距センサにより得られるデータを基に、前記視野領域に対応し前記各位置までの距離を表す距離画像を生成する第２の生成処理と、
　前記照度センサにより得られるデータを基に、前記ユーザの居る場所が明所か暗所かを判定する第２の判定処理と、
　前記第２の判定処理により暗所であると判定された場合に、前記第２の生成処理により得られる距離画像を暗所距離画像として認識する認識処理と、
　前記サーバに保存されている明所距離画像のうち、対応付けされた位置情報が表す位置が、前記１つの画像表示装置の前記位置情報取得装置により取得された位置情報が表す位置と対応する明所距離画像を識別する識別処理と、
　前記識別処理により識別された明所距離画像と、前記認識処理により認識された暗所距離画像とを比較することにより、前記認識された暗所距離画像に対応した明所距離画像を特定する検索処理と、
　前記検索処理により特定された明所距離画像と同じ前記画像セットに含まれる明所カメラ画像を前記サーバから読み出し、読み出された明所カメラ画像に基づいて、前記１つの画像表示装置が表示する前記視認画像を決定する決定処理と、を実行する、画像表示システム。
　請求項１２に記載の画像表示システムにおいて、
　前記画像表示装置は、ヘッドマウントディスプレイ形状を有し、
　前記表示装置は、前記ユーザの視野の一部または全部を覆い、前記ユーザの前方からの光に対して透過性を有する画像表示面を備える、画像表示システム。
　請求項１２に記載の画像表示システムにおいて、
　前記画像表示装置は、ヘッドマウントディスプレイ形状を有し、
　前記表示装置は、前記ユーザの視野の一部または全部を覆い、前記ユーザの前方からの光に対して非透過性を有する画像表示面を備える、画像表示システム。
　ネットワークに接続されたサーバと通信する携帯型の画像表示装置であって、
　前記画像表示装置は、
　ユーザの前方を撮像してカメラ画像を得るカメラと、
　前記ユーザから前記カメラの視野領域に含まれる現実物体における各位置までの距離を表すデータを得る測距センサと、
　前記ユーザが居る場所の明るさを表すデータを得る照度センサと、
　前記ユーザに視認させる視認画像を表示する表示装置と、を備え、
　前記サーバと前記画像表示装置との連携により、
　前記測距センサにより得られるデータを基に、前記視野領域に対応し各画素が前記各位置までの距離を表す距離画像を生成する生成装置と、
　前記照度センサにより得られるデータを基に、前記ユーザの居る場所が明所か暗所かを判定する判定装置と、
　前記判定装置により明所であると判定された場合に、前記カメラにより得られるカメラ画像と前記生成処理により得られる距離画像とを、明所カメラ画像と明所距離画像とによる画像セットとして前記サーバに保存するために出力する通信装置と、
　前記判定装置により暗所であると判定された場合に、前記生成装置により得られる距離画像を暗所距離画像として認識する認識装置と、
　前記サーバにて保存されている明所距離画像と前記認識処理により認識された暗所距離画像とを比較することにより、前記認識された暗所距離画像に対応した明所距離画像を特定し、
　前記特定された明所距離画像と同じ前記画像セットに含まれる明所カメラ画像に基づいて処理された前記視認画像を前記通信装置にて受信し、
　受信した前記視認画像を表示する、画像表示装置。