JP7420441B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

例えば夜間屋外で歩行やランニングで移動する場合、特に外灯が少ない場所では、予期せぬ障害物や段差等、また見落としによる交通事故や怪我につながるケースが考えられる。また、夜間は、視界が限られ、見通しが悪いことから悪意をもつ第三者から狙われての事件など昼に比べて多くの危険性がある。例えば、特許文献１には、眼鏡のつるの部分にセンサ部を設け、携帯機器が有するＧＰＳ（Global Positioning System）演算機能部によって演算された眼鏡の装着者の位置情報及び移動経路を、眼鏡の表示装置部に表示させるセンサ装置が記載されている。

特開２００４－３６４１９７号公報

しかしながら、特許文献１に記載の技術では、眼鏡の表示装置部に装着者の位置情報及び移動経路が表示されるのみで、夜間等の見通しの悪さが改善できない。

本発明の目的の一例は、上記の課題を解決する情報処理装置、情報処理方法及びプログラムを提供することである。

本発明の第１の態様によれば、情報処理装置は、利用者が移動を行う歩行路が所定照度未満の場合、赤外線を用いて前記利用者の進行方向の画像を撮影する撮影部と、前記赤外線を用いて撮影された夜間画像データと教師データを用いて学習済みのモデルを用いて、前記夜間画像データの色と明るさを変換して提示部に提示させる画像処理部と、を備える情報処理装置である。

本発明の第２の態様によれば、情報処理方法は、情報処理装置が、利用者が移動を行う歩行路が所定照度未満の場合、赤外線を用いて前記利用者の進行方向の画像を撮影し前記赤外線を用いて撮影された夜間画像データと教師データを用いて学習済みのモデルを用いて、前記夜間画像データの色と明るさを変換して提示部に提示する、情報処理方法である。

本発明の第３の態様によれば、プログラムは、情報処理装置のコンピュータに、利用者が移動を行う歩行路が所定照度未満の場合、赤外線を用いて前記利用者の進行方向の画像を撮影させ、前記赤外線を用いて撮影された夜間画像データと教師データを用いて学習済みのモデルを用いて、前記夜間画像データの色と明るさを変換して提示部に提示させる、プログラムである。

本発明によれば、夜間等の見通しの悪さを改善できる。

実施形態による情報処理装置の概略構成例を示す図である。 第１実施形態に係る情報処理装置の構成例を示す図である。 第１実施形態に係る情報処理装置の外形例と各部が設置される位置例を示す図である。 第１情報処理装置の利用シーンの例を示す図である。 利用者が視覚する画像例を示す図である。 第１実施形態に係る昼間画像データの一例を示す図である。 モデルの学習時の入出力例を示す図である。 モデルの認識時の入出力例を示す図である。 第１実施形態に係る撮影、画像処理、画像構築等の処理例を示すフローチャートである。 第２実施形態に係る情報処理装置の構成例を示す図である。 第２実施形態に係る情報処理装置の外形例と各部が設置される位置例を示す図である。 第２施形態に係る利用者にとってリアルタイムの視覚画像とするための画像処理方法を説明するための図である。 第２実施形態に係るリアルタイムの視覚画像とするための画像処理手順のフローチャートである。

以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

［情報処理装置の概略構成例］
図１は、本実施形態による情報処理装置の概略構成例を示す図である。図１のように、情報処理装置１は、撮影部２と、画像処理部４と、提示部５を備える。

情報処理装置１は、例えば眼鏡型の装置である。情報処理装置１は、例えば、所定照度より低い場所で歩行やランニングを利用者が行う際に、撮影部２が撮影した画像に対して画像処理を行って色や明るさ等を変換し、変換した画像を利用者に提示する。

撮影部２は、例えば、赤外線を用いたカメラ、高感度カメラ等である。

画像処理部４は、例えば学習済みのモデルを用いて、撮影部２によって撮影された画像に対して色や明るさ等を変換する。画像処理部４は、例えば、赤外線を用いたカメラである撮影部２が撮影した画像を、昼間の画像の色に変換する。画像処理部４は、例えば、撮影部２が夜間に撮影した画像を、昼間の画像の明るさに変換する。

提示部５は、例えば、眼鏡のレンズ部に導光板に画像を提示させる投影装置等である。
なお、提示部５は、例えば透過型の液晶画像表示装置、透過型のＥＬ（Electro Luminescence）画像表示装置等であってもよい。または、提示部５は、光スキャナーであってもよい。この場合、は、眼鏡のレンズ部に埋め込まれているホログラフィック光学素子をスキャンし、光線を利用者の網膜上に投影するようにしてもよい。なお、提示部５は、上記のような投影部等と、眼鏡型のレンズ部に相当する表示部とを備える。また、後述するように、提示部５は、眼鏡型の情報処理装置１において、例えば、左側に第１の提示部５を備え、右側に第２の提示部５を備える。

＜第１実施形態＞
図２は、本実施形態に係る情報処理装置の構成例を示す図である。図２のように、情報処理装置１Ａは、例えば、撮影部２Ａと、位置認識部３と、画像処理部４Ａと、提示部５と、電源部８を備える。なお、図２に示した構成は一例であり、これに限らない。

撮影部２Ａは、第１撮影部２１を備える。
画像処理部４Ａは、データ保管部４１と、画像変換部４２を備える。

第１撮影部２１は、例えば赤外線を用いて撮影することができる撮影装置である。なお、第１撮影部２１は、赤外線を用いずに撮影を行うこともできる。第１撮影部２１は、例えば所定の照度以上の場合（例えば日中）、赤外線を用いずに撮影する。

位置認識部３は、例えばＧＰＳ受信装置を備える。位置認識部３は、情報処理装置１Ａを装着している利用者の位置を取得または検出することで、利用者の位置を認識する。なお、第１撮影部２１によって撮影される昼間画像データおよび夜間画像データには、位置認識部３によって認識された撮影された位置情報が含まれる。

データ保管部４１は、歩行路の昼間画像データを位置情報と関連付けて格納する。なお、歩行路の昼間画像データは、情報処理装置１Ａを装着した利用者が日中に移動した場合、第１撮影部２１が日中に予め撮影した画像であってもよい。

画像変換部４２は、モデル４３を備える。
画像変換部４２は、例えば夜間に赤外線を用いて撮影される夜間画像データから、昼間と同等の画像データに例えば学習済みモデル４３を用いて変換する。

提示部５は、画像補正部４５が補正した画像を、処理時間考慮して構築した前方位置の通過タイミングに合致させて提示することで、夜間でも昼間色にリアルタイムに提示する。

電源部８は、情報処理装置１Ａの各部に電力を供給する。電源部８は、例えば充電式電池と、充電回路と、電源回路を備える。

［情報処理装置の外形例］
次に、情報処理装置１Ａの外形例と各部が設置される位置例を説明する。図３は、本実施形態に係る情報処理装置の外形例と各部が設置される位置例を示す図である。また、図３は、情報処理装置１Ａを前から見た状態の画像である。

図３のように、情報処理装置１Ａは、例えば、リムｇ１２に第１撮影部２１を備える。情報処理装置１Ａは、例えば、右側の智（ヨロイ）ｇ１３に、位置認識部３と画像処理部４Ａと提示部５を備える。情報処理装置１Ａは、例えば、左側の智（ヨロイ）ｇ１３に、提示部５と電源部８を備える。

なお、図３に示した情報処理装置１Ａの外形は一例であり、また各部の設置位置等も一例であり、これに限らない。

［利用者に視覚される画像例］
次に、情報処理装置１Ａの利用者に視覚される画像例を説明する。情報処理装置１Ａは、例えば図３に示したように眼鏡型であり、図４のように利用者が例えば夜間に歩行やランニングを行っているとする。図４は、情報処理装置の利用シーンの例を示す図である。

図５は、利用者が視覚する画像例を示す図である。画像ｇ３０は、赤外線を用いて撮影された画像例である。画像ｇ３０において、符号ｇ３１は道路、符号ｇ３２は歩行やランニングを行っている歩道、符号ｇ３３は歩道脇のオブジェ（障害物）、符号ｇ３４は道路を利用者方向に向かって走行する車両。画像ｇ３５は遠方にある建物である。なお、赤外線を用いて撮影された画像は、可視光がカットされ赤外線を反射する物体が明るく写り、赤外線を吸収する物体が暗く写るが、色彩が無い。

画像ｇ３０のような夜間画像データを、仮に利用者にそのまま提示した場合は、肉眼よりは障害物等を認識できても、配色がモノクロに近く不明瞭であり、さらに反射物や光、遠方の物体や背景を検出しにくい。

このような赤外線を用いて撮影された画像に対して、画像の配色変換処理を単純に行う場合は、例えば機械学習を単純に活用すると処理が重く、リアルタイム変換処理に課題がある。
このため、本実施形態では、画像ｇ４０のように昼間の明るい画像をそのまま使用する箇所と学習済みモデルを用いて昼間の明るい配色に色変換する箇所を判定し色変換後、双方を合成することで昼間の明るい画像を構築して提示する。

［画像処理の説明］
まず、画像処理部４Ａが行う処理の概要を説明する。
第１撮影部２１は、昼間の明るい視界の環境下で、利用者が夜間歩行する歩行路の視界画像を、赤外線を使用せずに事前撮影する。データ保管部４１は、撮影された昼間画像データを保存する。なお、昼間画像データは、動画、静止画、連続する静止画のいずれかである。また、昼間画像データには、図６のように、撮影された橋余の位置情報が関連付けられている。なお、位置情報は、例えば位置認識部３が備えるＧＰＳ受信装置の受信情報に基づいて取得する。図６は、本実施形態に係る昼間画像データの一例を示す図である。なお、データ保管部４１は、撮影された時刻を示す情報も関連付けて保管するようにしてもよい。

夜間歩行の際、利用者前記眼鏡型の情報処理装置１Ａを装着して歩行やランニングを行う。第１撮影部２１は、赤外線を用いて歩行路を撮影する。なお、撮影された夜間画像データにも位置情報が対応付けられる。
画像処理部４Ａは、撮影された夜間画像データに対して学習済みのモデルを用いて、物体検出する。画像処理部４Ａは、学習済みのモデルを用いて統計的に検出した昼間の明るい配色に色変換する箇所を判定し色変換する。画像処理部４Ａは、例えば、自動車や歩行者、ペットなどの移動体、静止体であっても昼画像と夜画像で位置の異なるもの、背景等に分類して、昼間の明るい画像をそのまま使用する箇所と、色変換した画像とを合成することで、夜間でも昼間の明るい画像を構築する。

図７は、モデルの学習時入出力例を示す図である。画像ｇ１００は第１モデルの学習時の入出力を示している。画像ｇ１１０は第２モデルの学習時の入出力を示している。画像ｇ１３０は第３モデルの学習時の入出力を示している。

画像ｇ１００のように、学習時、第１モデル４３１には、夜間画像データと教師データが入力され、物体認識結果と色変換した画像が出力される。なお、物体認識結果には、静止体と移動体の分類結果が含まれる。教師データは、例えば、昼間画像データ、画像に含まれる物体が静止体であるか移動体であるかを示す情報が含まれる。

画像ｇ１１０のように、学習時、第２モデル４３２には、色変換した画像と教師データが入力され、合成に用いる昼間画像データが出力される。

画像ｇ１２０のように、学習時、第３モデル４３３には、色変換した画像と合成に用いる昼間画像データと教師データが入力され、合成した画像が出力される。

なお、図７に示した各モデル、各モデルへの入出力は一例であり、これに限らない。例えば、モデルが１つであり、夜間画像データと昼間画像データと教師データを入力し、合成した画像を出力するように学習させてもよい。

図８は、モデルの認識時の入出力例を示す図である。画像５は第１モデルの認識時の入出力を示している。画像ｇ１６０は第２モデルの認識時の入出力を示している。画像ｇ１７０は第３モデルの認識時の入出力を示している。

画像ｇ１５０のように、認識時、第１モデル４３１には、夜間画像データが入力され、物体認識結果と色変換した画像が出力される。

画像ｇ１６０のように、認識時、第２モデル４３２には、色変換した画像が入力され、合成に用いる昼間画像データが出力される。

画像ｇ１７０のように、認識時、第３モデル４３３には、色変換した画像と合成に用いる昼間画像データが入力され、合成した画像が出力される。

なお、図８に示した各モデル、各モデルへの入出力は一例であり、これに限らない。例えば、モデルが１つであり、夜間画像データと昼間画像データを入力し、合成した画像を出力するようにしてもよい。

次に、赤外線を用いて撮影された画像に対する処理を説明する。
図９は、本実施形態に係る撮影、画像処理、画像構築等の処理例を示すフローチャートである。

（ステップＳ１１）第１撮影部２１は、利用者が昼間の歩行路が明るい状況下で歩行路の画像を撮影し、撮影した昼間画像データをデータ保管部４１に格納する。なお、昼間画像データには、撮影された位置情報が関連付けられて保管される。また、第１撮影部２１は、昼間で歩行路が明るい状況の場合、赤外線を照射せずに撮影する。また、同一歩行路で昼間画像データが追加保管された場合、データ保管部４１は、随時新しいデータに上書きし置き換えする。

（ステップＳ１２）利用者が夜間歩行またはランニング等を行っている場合、第１撮影部２１は、の赤外線を用いて歩行路の画像を撮影する。

（ステップＳ１３）画像変換部４２は、モデル４３を用いて、夜間画像データに対して画像内の物体やそれぞれのエリアを個別認識する。

（ステップＳ１４）画像変換部４２は、モデル４３を用いて、同じ位置で撮影された昼間画像データに対して画像内の物体やそれぞれのエリアを個別認識する。画像変換部４２は、夜間画像データに対して個別認識した物体画像やエリア画像と、昼間画像データに対して個別認識した物体画像やエリア画像を比較する。なお、画像変換部４２は、夜間画像データと昼間画像データとの比較を、学習済みのモデル４３を用いて行うようにしてもよい。この場合、学習時、例えば、モデル４３に夜間画像データと昼間画像データと教師データを入力し、静止体、移動体、背景などの個別情報を出力するように学習させてもよい。

（ステップＳ１５）画像変換部４２は、個別認識と比較した結果、夜間画像データと昼間画像データで一致または背景と認識された画像領域に対して、ステップＳ１６の処理を行う。画像変換部４２は、その他の画像領域に対して、ステップＳ１７の処理を行う。

（ステップＳ１６）画像変換部４２は、静止体で同一位置のものや背景、赤外線が届かない遠方の領域について、昼間画像データの色や明るさ形状を利用する。画像変換部４２は、処理後、ステップＳ１８の処理に進める。

（ステップＳ１７）画像変換部４２は、画像静止体でも昼間画像データと夜間画像データで位置が異なると判断されたもの、また人や車両や、ペットなど移動物と認識された領域に対して、例えば統計的な確率で配色する。画像変換部４２は、処理後、ステップS１８の処理に進める。

（ステップＳ１８）画像変換部４２は、ステップＳ１６の画像と、ステップＳ１７の画像を合成する。画像処理部４Ａは、合成した画像を提示部５に提示させる。

なお、画像変換部４２は、ステップＳ１３～Ｓ１８の処理を、学習済みのモデル４３を用いて行うようにしてもよい。

なお、上述した例では、夜間画像データの色や明るさの変換の際に、昼間画像データを用いる例を説明したが、昼間画像データを用いずに、学習済みモデル４３を用いて色や明るさを昼間の画像のように変換するようにしてもよい。この場合は、モデル４３の学習時、夜間画像データと、教師データとして昼間画像データを入力し、明るさと色を変換した画像データを出力させるように学習させるようにしてもよい。

以上のように、本実施形態では、利用者が装着する眼鏡型の情報処理装置１Ａにおいて、撮影部２が赤外線を用いて利用者の進行方向の例えば夜間の所定照度未満の画像を撮影する。情報処理装置１Ａは、画像処理部４が学習済みモデル４３を用いて、赤外線を用いて撮影された夜間画像データの色と明るさを変換して提示部５に提示させる。

これにより本実施形態によれば、学習済みモデル４３で色や明るさを変換することで、夜間の屋外での歩行においても昼間と同様に明るく明瞭な視界を確保できる。

以上のように、本実施形態では、利用者が装着する眼鏡型の情報処理装置１Ａにおいて、所定照度以上の際（例えば日中）、撮影部２が赤外線を用いずに、利用者が徒歩またはランニング等を行う歩行路の画像を撮影する。情報処理装置１Ａは、撮影部２が赤外線を用いて利用者の進行方向の例えば夜間の所定照度未満の画像を撮影し、位置認識部３が利用者の現在位置を認識する。情報処理装置は、画像処理部４が学習済みモデル４３と昼間撮影された昼間画像データを用いて、赤外線を用いて撮影された夜間画像データの色と明るさを変換して提示部５に提示させる。

これにより本実施形態によれば、夜間画像データと一致する画像や背景の昼間画像データを利用し、その他の領域を学習済みモデル４３で変換することで、夜間の屋外での歩行においても昼間と同様に明るく明瞭な視界を確保できる。

なお、上述した実施形態では、情報処理装置１（または１Ａ）が眼鏡型であり、色や明るさを変換した画像を両眼に提示するようにしたが、これに限らない。例えば、一方の第１の提示部５が変換された画像を提示し、他方の第２の提示部５が、夜間画像データまたは半透過性の表示部を介して見える画像をそのまま提示するようにしてもよい。

これにより、本実施形態によれば、利用者は、肉眼で見える画像を視覚しつつ、明るさを補正された画像も視覚することができる。

＜第２実施形態＞
情報処理装置は、第１実施形態の処理に加えて、以下のような機能を備えていてもよい。
Ｉ．利用者の目線（視線）を撮影
情報処理装置は、利用者の目線を認識するための第２撮影部２２（第２の撮影部、図１０）を、片目もしくは両目に対応するように備えるようにしてもよい。これにより、本実施形態によれば、画像の認識や補正等の計算処理量を削減できる。

ＩＩ．昼間画像データを外部から取得
情報処理装置は、例えば、他の歩利用者が利用する情報処理装置が撮影した昼間画像データ、外部装置に保管されている昼間画像データ、屋外に既設されている監視カメラが撮影した画像、車両に取り付けられているカメラが撮影した画像、地図検索アプリケーション等の衛星画像を例えば上位サーバ側で収集し、個々の利用者のＧＰＳ受信装置等による位置認識部３の位置情報を基に利用者以外の歩行路の昼間画像データを、通信部７（図１０）を介して収集するようにしてもよい。これにより、本実施形態によれば、昼間画像データを収集していない歩行路であっても、夜間歩行やランニング中に画像を提供できる。

ＩIＩ．分散処理
通信部７を介して上位サーバ、クラウド、携帯端末、パーソナルコンピュータ等で負荷分散処理し、例えば画像処理等の処理を行わせるようにしてもよい。これにより、本実施形態によれば、情報処理装置を小型化でき、計算量を削減できる。この場合、例えば通信部７が、夜間画像データを外部装置（上位サーバ、クラウド、携帯端末、パーソナルコンピュータ等）へ送信する。そして、外部装置は、画像処理部４Ｂが行う処理の少なくとも一部を行い、処理した画像を情報処理装置１Ｂへ送信するようにしてもよい。

ＩＶ．利用者が歩行時、道を曲がることの検出
眼鏡型の情報処理装置において、左右の智（ヨロイ）等にタッチセンサ、または、利用者の曲がる方向の音声の認識機能、もしくは第１撮影部２１に対して利用者が手または指で曲がる方向を指さす画像を認識するジェスチャー認識機能のうちのいずれかを備える方向検出部９（図１０）を備えていてもよい。これにより、本実施形態によれば、利用者が道を曲がる場合に事前に曲がる方向を認識でき、認識した結果に応じて、曲がる方向の画像に追従させることができる。

Ｖ．利用者の目の高さ、傾き等の検出
利用者の目の高さや、傾き角度をセンサで把握する距離傾斜検出部１０（図１０）を備えていてもよい。これにより、本実施形態によれば、この情報を基に提示させる画像を補正し、実際の目視での視界に近づけることができる。

ＶＩ．利用者の移動速度の検出
画像処理時間を考慮し、提供する画像を補正する。これにより、本実施形態によれば、利用者に、よりリアルタイムの視覚画像を提供できる。

[情報処理装置の構成例]
ここで、情報処理装置が、上述した機能のうち、第２撮影部、通信部、方向検出部、距離傾斜検出部を備える構成例を説明する。
図１０は、本実施形態に係る情報処理装置の構成例を示す図である。図１０のように、情報処理装置１Ｂは、例えば、撮影部２Ｂと、位置認識部３と、画像処理部４Ｂと、提示部５と、センサ６と、通信部７と、電源部８と、方向検出部９と、距離傾斜検出部１０を備える。なお、図１０に示した構成は一例であり、これに限らない。

撮影部２Ｂは、第１撮影部２１と、第２撮影部２２を備える。
画像処理部４Ｂは、データ保管部４１と、画像変換部４２と、移動状態認識部４４と、画像補正部４５と、視線検出部４６を備える。
センサ６は、第１センサ６１と、第２センサ６２を備える。

第２撮影部２２は、利用者の目線（視線）を撮影する撮影装置である。なお、画像処理部４Ｂは、第２撮影部２２が撮影した利用者の眼を含む画像に対して、周知の手法（画像処理、追跡処理等）によって、利用者の目線（視線）を検出する。

第１センサ６１は、例えば地磁気センサである。
第２センサ６２は、例えば加速度センサである。

移動状態認識部４４は、利用者の移動方向や移動速度等を、センサ６が検出した検出値に基づいて認識する。移動状態認識部４４は、例えば地磁気センサである第１センサ６１が検出した検出値に基づいて利用者の移動方向を認識する。移動状態認識部４４は、例えば加速度センサである第１センサ６１が検出した検出値に基づいて利用者の移動速度を認識する。

画像補正部４５は、第１撮影部２１が撮影後に、画像変換部４２が色変換した画像を、処理時間を考慮して歩行前方位置の画像に補正処理する。また、画像補正部４５は、視線検出部４６が検出した結果に基づいて、利用者の目線の方向に合わせて画像の精細度を調節する。なお、画像の精細度の調整とは、例えば、高精細な画質をキープしながら処理時間を短縮させるために、目線の必要部分のみ高精細（高画素数表示）として、視線以外の周囲は画素数を落とす。または、画像の精細度の調整とは、例えば、例えば利用者が足下を見ている場合、足下の部分を拡大し、利用者が電柱等に視線を向けている場合、電柱等の表示を拡大する等である。また、画像補正部４５は、方向検出部９が検出した結果に基づいて、利用者が道を曲がった後の方向の昼間画像を事前に準備する。また、画像補正部４５は、距離傾斜検出部１０が検出した結果に基づいて、提示部５に提示させる画像を補正する。

視線検出部４６は、第２撮影部２２が撮影した画像に基づいて利用者の目線情報を常時監視する。

通信部７は、例えば、ネットワークを介して外部装置と情報の送受信を行う。

方向検出部９は、歩行時またはランニング時等において、利用者が道を曲がる方向を検出する。方向検出部９は、利用者がタッチしたことを検出するタッチセンサを、例えば眼鏡型の情報処理装置の左右の智（ヨロイ）付近に備えるようにしてもよい。方向検出部９は、左右のタッチセンサのいずれかがタッチされたこと基づいて、利用者が曲がる方向を検出するようにしてもよい。または、方向検出部９は、利用者が指または手で行ったジェスチャーを第１撮影部２１で撮影した画像に基づいて、利用者が曲がる方向を検出するようにしてもよい。あるいは、方向検出部９は、マイクロホン、音声認識部を備え、収音した音声信号に対して周知の音声認識処理（音源分離、音源同定、音源認識）を行うことで、利用者が曲がる方向を検出するようにしてもよい。

距離傾斜検出部１０は、利用者の目の高さや、傾き角度を検出する。距離傾斜検出部１０は、例えば目線（視線）を撮影する第２撮影部２２が撮影した画像に基づいて検出してもよい。または、距離傾斜検出部１０は、例えば光学センサ、傾斜センサ、加速度センサ、ジャイロセンサ等のうちの少なくとも１つを備え、眼鏡型の情報処理装置を装着した利用者の頭部の傾きを検出するようにしてもよい。

［情報処理装置の外形例］
次に、情報処理装置１Ｂの外形例と各部が設置される位置例を説明する。図１１は、本実施形態に係る情報処理装置の外形例と各部が設置される位置例を示す図である。また、図３は、情報処理装置１Ｂを前から見た状態の画像である。

図１１のように、情報処理装置１Ｂは、例えば、左右のリムｇ１２の上部に第２撮影部２２を備える。情報処理装置１Ｂは、例えば、左右の智（ヨロイ）ｇ１３の内側に方向検出部９が備えるタッチセンサ等を備える。情報処理装置１Ｂは、例えば、左側の智（ヨロイ）ｇ１３の内側に通信部７を備える。

なお、図１１に示した情報処理装置１Ｂの外形は一例であり、また各部の設置位置等も一例であり、これに限らない。

［リアルタイムの視覚画像とするための画像処理方法］
次に、利用者にとってリアルタイムの視覚画像とするための画像処理方法を説明する。図１２は、本実施形態に係る利用者にとってリアルタイムの視覚画像とするための画像処理方法を説明するための図である。図１２において、横軸は時刻である。
時刻Ｔ_０のとき、第１撮影部２１は、赤外線を用いて撮影した夜間画像データｇ２１１を収集する。

期間ｔ２１（＝時刻Ｔ_１－Ｔ_０）は、時刻Ｔ_０時点で収集した画像を昼間色合成画像ｇ２１２に変更構築するために必要な時間である。すなわち、時刻Ｔ_１は、時刻Ｔ_０に撮影された画像を再構築して色や明るさを変更した画像が提示可能な時刻である。

利用者が移動している場合、時刻Ｔ_３の特定位置では、時刻Ｔ_０のとき撮影された位置に対して、例えば進行方向に一定距離進んでいる。
このため、本実施形態では、利用者が進んだ距離に適応して画像サイズを変更し（ｇ２１３）、さらに進んだ距離分の手前部分の画像を削除するトリミング補正を行う。

ここで、画像補正に要する期間をｔ２２（＝時刻Ｔ_２－Ｔ_１）とする。
時刻Ｔ_３は、時刻Ｔ_０で撮影された画像に対して明るさや色を変換し、さらに大きさを補正した画像を提示するタイミングである。本実施形態では、時刻Ｔ_３の位置を「特定位置」といい、特定位置で提示する画像を「特定位置画像」ｇ２１４という。なお、時刻Ｔ_３は、時刻Ｔ_２の完了後の時刻に設定される。
なお、図１２のように、情報処理装置１Ｂは、色や明るさが変換された夜間画像データを拡大変換し、さらに移動ポイント手前部の画像をトリミングする。

なお、情報処理装置１Ｂは、位置認識部３が認識した位置情報、移動状態認識部４４が認識する利用者の移動速度、移動方向を用いて、上記の提示時刻Ｔ_３を設定する。なお、色や明るさの変換処理時間と、特定画像への補正処理時間は、既知であり、例えば移動状態認識部４４が記憶するようにしてもよい。

［リアルタイムの視覚画像とするための画像処理手順］
次に、リアルタイムの視覚画像とするための画像処理手順例を説明する。図１３は、本実施形態に係るリアルタイムの視覚画像とするための画像処理手順のフローチャートである。

（ステップＳ３１）画像補正部４５は、センサ等の検出値を用いて、利用者の歩行速度と画像の構築時間を加味して、利用者の進行方向の特定位置を算出する。

（ステップＳ３２）画像補正部４５は、算出した特定位置での視界の画像を、色や明るさが変換された画像に対して例えば拡大処理等の補正を行って特定位置画像を生成する。なお、画像補正部４５は、特定位置前の画像を排除して、生成した特定位置画像を構築する。

（ステップＳ３３）画像補正部４５は、利用者が特定位置に達した際、生成した特定位置画像を提示部５に提示させる。

（ステップＳ３４）画像補正部４５は、特定位置画像を、所定時間間隔で連続して提示させることで、昼間と同等の画像を動画のように提示させる。

なお、図１３を用いて説明した処理は一例であり、これに限らない。ステップＳ３４の処理において、例えば、画像補正部４５は、時刻Ｔ３の特定位置の算出のみではなく、時刻Ｔ３以後の特定位置も継続して算出し、算出した特定位置毎の特定位置画像を構築して提示するようにしてもよい。

以上のように、本実施形態では、画像処理部４Ｂが、利用者の移動方向かつ利用者の移動速度と処理時間と補正時間を加味して、夜間画像データを撮影した位置から一定時間後の移動ポイントでの画像を新たに構築するようにした。なお、画像補正部４５は、夜間画像データを撮影した位置から一定時間後の特定位置での提示に合わせて、色や明るさが変換された夜間画像データを拡大変換し、また移動ポイント手前部の画像をトリミングするようにした。そして、情報処理装置１Ｂは、このように変換と補正した特定画像を一定時間経過後の移動ポイントを通過するタイミングに合わせて提示させるようにした。

また本実施形態では、第２撮影部２２が利用者の目線（視線）を撮影し、視線検出部４６が第２撮影部２２によって撮影された画像に基づいて利用者の目線情報を常時監視し、画像補正部４５が利用者の目線の方向に合わせて画像の精細度を調節する。

これにより、本実施形態によれば、目線方向外の画像精細度を低減可能とし、モデル４３を用いた処理等の計算処理量を削減させ、レイテンシを縮小することができる。

以上のように、本実施形態では、方向検出部９が、利用者が交差点等で曲がる際の指示を検出し、画像補正部４５が、利用者が道を曲がった後の方向の昼間画像を事前準備する。なお、方向検出部９は、上述したように眼鏡型の情報処理装置１Ｂが備えるタッチセンサ、または第１撮影部２１が撮影した利用者の手または指のジェスチャー等、あるいは利用者の音声を認識して、利用者が道を曲がることを検出する。

これにより、本実施形態によれば、利用者の道の曲がり部においても直線部の歩行と同等にレイテンシを低減することができる。

以上のように、本実施形態では、通信部７が例えば第５世代通信規格等の高速無線通信機能を備え、モデル４３を用いた処理や、画像の精細度コントロール等の計算資源を多く使う処理について、スマートフォンやクラウドや上位サーバ側で行う等で処理させるようにした。

これにより、本実施形態によれば、情報処理装置１Ｂの処理負荷を軽減でき、装置を小型化することができる。

以上のように、本実施形態では、距離傾斜検出部１０が、利用者の例えば地面からの目の高さや頭部角度を相対的に把握するために、提示部５の地面から高さ及び傾斜を計測する。なお、距離傾斜検出部１０は、例えば光学センサ、傾斜センサ、加速度センサ、ジャイロセンサのうちの少なくとも１つを備え、センサ検出値を用いて提示部５の地面から高さ及び傾斜を計測する。画像補正部４５は、距離傾斜検出部１０が検出した結果に基づいて、提示部５に提示させる画像を補正する。

これにより、本実施形態によれば、提示部５に提示させる画像を、利用者の目の高さや傾斜角度の変化に随時対応可能である。

以上のように、本実施形態では、昼間画像データを通信部７を介して、外部から取得するようにした。外部の昼間画像データは、例えば、屋外の各所に設置されている監視カメラが撮影した画像、社会インフラとしての屋外カメラが撮影した画像、車載カメラが撮影した画像、衛星カメラが撮影した画像の画像である。

これにより、本実施形態によれば、事前の昼間画像データを必ずしも栄養者自身がトレースせずにすむ。また、本実施形態によれば、利用者が昼間画像を撮影する前の道を、夜間に歩行したりランニングする際にも対応できる。

以上のように、各実施形態によれば、上述した一連の処理を一定間隔で繰り返し行うことで、夜間の歩行路の景色を昼間色で明るい画像を歩行者の速度に合わせてリアルタイムに表示することが可能となる。そして、本実施形態によれば、夜間の歩行やランニングにおいて、例えば眼鏡型の情報処理装置１（または１Ａ、１Ｂ）を装着して歩行またはランニング等を行うことで、昼間と同等の明るさの視界を得ることが可能となる。

また、第２実施形態によれば、例えば事前に収集した同一歩行路の昼間時の画像と組み合わせることで、赤外線を用いたカメラだけでは物体やエリア判定できない部位についても昼間時と同等の明るい画像での視界を確保できる。

また、第２実施形態によれば、前記画像収集を、GPS受信装置等の機能を有する撮影位置の位置情報とセットとする機能を有することで、前記昼間時の事前収集データとの組み合わせ合成を実現すると共に、自動化可能となる。
また、第２実施形態によれば、夜間収集画像を昼間時と同等の配色画像に変換する処理負荷が大きいことに伴う表示の遅れ課題について、画像収集した位置と画像表示する前方方向への位置のずれ量を事前把握し、位置ずれ量に合わせた画像を構築し、当該位置にて表示する機能を有する。

また、第２実施形態によれば、目線カメラを用いて目線以外の画像部位の解像度を低減する機能を有することで、画像処理の処理負荷の軽減できる。
また、第２実施形態によれば、事前収集の昼間時画像について、通信部７を持ち上位サーバから、他の歩行者による収集画像や、監視カメラの収集画像や、車載カメラの収集画像や、衛星カメラの収集画像を活用することが可能となる。
また、第２実施形態によれば、通信部７を備えることで、処理負荷の大きな処理を、スマートフォンや上位サーバやクラウドに負荷分散すること負荷軽減することが可能となる。

また、第２実施形態では、歩行者が歩行路を曲がる場合の処理遅れによる表示画像のずれの対処方として、タッチセンサ、もしくは歩行者の音声認識機能、もしくは歩行者が手によるジェスチャーの赤外線を用いたカメラでの認識機能を備えるようにしても良い。これにより、第２実施形態によれば、事前に曲がる方向を上位に通知し、比較する昼間画像を事前準備する事で、レイテンシ低減が可能となる。

また、第２実施形態では、歩行者目線高さ、頭部の角度に画像表示内容を補正するために、距離センサや、傾斜センサ、加速度センサを備えるようにしてもよい。

なお、情報処理装置１（または１Ａ、１Ｂ）は、上述した利用者が道を曲がる際の検出と補正、利用者の視線位置や傾き検出と補正、特定位置の算出と特定位置での特定位置画像の提供、クラウド等での画像処理、昼間画像データの外部装置からの取得のうちの少なくとも１つを行うようにしてもよく、２つ以上を行うようにしてもよい。

なお、上述した情報処理装置１（または１Ａ、１Ｂ）は、ランニング、ウォーキング以外にも、例えば同構成を車両に搭載することで、ライトに頼ることなく明瞭な視界の確保が期待でき、夜間の見通しの悪い場所での事故低減効果を見込める。

上述の情報処理装置１（または１Ａ、１Ｂ）は内部に、コンピュータシステムを有していてもよい。そして、情報処理装置１（または１Ａ、１Ｂ）に上述した各処理を行わせるためのプログラムは、当該情報処理装置１（または１Ａ、１Ｂ）のコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをのコンピュータが読み出して実行することによって、上記処理が行われるようにしてもよい。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
また、上記プログラムは、前述した各処理部の機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

情報処理装置１（または１Ａ、１Ｂ）のコンピュータシステムは、例えば、ＣＰＵ（中央演算装置）と、主記憶装置と、補助記憶装置と、インタフェースと、不揮発性記録媒体とを備えるようにしてもよい。ＣＰＵは、プログラムに従って、情報処理装置１（または１Ａ、１Ｂ）が行う処理を行うようにしてもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

＜付記＞
（付記１）
利用者が移動を行う歩行路が所定照度未満の場合、赤外線を用いて前記利用者の進行方向の画像を撮影する撮影部と、
前記赤外線を用いて撮影された夜間画像データと教師データを用いて学習済みのモデルを用いて、前記夜間画像データの色と明るさを変換して提示部に提示させる画像処理部と、
を備える情報処理装置。
（付記２）
前記利用者の現在位置を認識する位置認識部、を備え、
前記撮影部は、前記利用者が移動を行う歩行路が所定照度以上の際、赤外線を用いずに前記利用者が移動を行う歩行路において昼間画像データの撮影を行い、
前記昼間画像データには、撮影された位置情報が含まれ、
前記夜間画像データには、撮影された位置情報が含まれ、
前記画像処理部が、前記学習済みモデルと前記昼間画像データを用いて、前記夜間画像データの色と明るさを変換して前記提示部に提示させる、
付記１に記載の情報処理装置。
（付記３）
前記画像処理部は、
前記利用者の移動方向かつ利用者の移動速度と処理時間と補正時間を用いて、前記夜間画像データを撮影した位置から一定時間後の特定位置を算出し、
前記色と明るさが変換された前記夜間画像データを、前記特定位置での提示に合わせてサイズを変更する、
付記１または付記２に記載の情報処理装置。
（付記４）
前記撮影部は、前記利用者の視線を撮影する第２の撮影部を備え、
前記第２の撮影部によって撮影された画像に基づいて前記利用者の視線情報を検出する視線検出部、を備え、
前記画像処理部は、前記検出された前記利用者の視線に基づいて、前記利用者の目線の方向に合わせて画像の精細度を調節する、
付記１から付記３のうちのいずれか１つに記載の情報処理装置。
（付記５）
前記利用者が進行方向に対して曲がる際の指示を検出する方向検出部、を備え、
前記画像処理部は、前記利用者が道を曲がった後の方向の前記明るさと色を変更した画像を事前に準備する、
付記１から付記４のうちのいずれか１つに記載の情報処理装置。
（付記６）
外部装置と情報の送受信を行う通信部、と備え、
前記通信部は、前記夜間画像データを前記外部装置へ送信し、
前記外部装置は、前記画像処理部が行う処理の少なくとも一部を行い、処理した画像を前記情報処理装置へ送信する、
付記１から付記５のうちのいずれか１つに記載の情報処理装置。
（付記７）
前記提示部の地面から高さ及び傾斜を計測する距離傾斜検出部、を備え、
前記画像処理部は、前記距離傾斜検出部が検出した結果に基づいて、前記提示部に提示させる画像を補正する、
付記１から付記６のうちのいずれか１つに記載の情報処理装置。
（付記８）
外部装置と情報の送受信を行う通信部、と備え、
前記通信部は、前記昼間画像データを前記外部装置から取得する、
付記２に記載の情報処理装置。
（付記９）
前記情報処理装置は、第１の提示部と第２の提示部とを備え、
前記画像処理部は、前記夜間画像データの明るさと色を補正した画像を、前記第１の提示部と前記第２の提示部のうちの片方に提示させる、
付記１から付記８のうちのいずれか１つに記載の情報処理装置。
（付記１０）
情報処理装置が、
利用者が移動を行う歩行路が所定照度未満の場合、赤外線を用いて前記利用者の進行方向の画像を撮影し
前記赤外線を用いて撮影された夜間画像データと教師データを用いて学習済みのモデルを用いて、前記夜間画像データの色と明るさを変換して提示部に提示する、
情報処理方法。
（付記１１）
情報処理装置のコンピュータに、
利用者が移動を行う歩行路が所定照度未満の場合、赤外線を用いて前記利用者の進行方向の画像を撮影させ、
前記赤外線を用いて撮影された夜間画像データと教師データを用いて学習済みのモデルを用いて、前記夜間画像データの色と明るさを変換して提示部に提示させる、
プログラム。

１，１Ａ，１Ｂ…情報処理装置、
２，２Ａ…撮影部、
３…位置認識部、
４，４Ａ，４Ｂ…画像処理部、
５…提示部、
６…センサ、
７…通信部、
８…電源部、
９…方向検出部、
１０…距離傾斜検出部、
２１…第１撮影部、
２２…第２撮影部、
４１…データ保管部、
４２…画像変換部、
４３…モデル、
４４…移動状態認識部、
４５…画像補正部、
４６…視線検出部、
６１…第１センサ、
６２…第２センサ

Claims (10)

1. 利用者が移動を行う歩行路が所定照度未満の場合、赤外線を用いて前記利用者の進行方向の画像を撮影する撮影部と、
   前記赤外線を用いて撮影された夜間画像データと教師データを用いて学習済みのモデルを用いて、前記夜間画像データの色と明るさを変換して提示部に提示させる画像処理部と、
   前記利用者の現在位置を認識する位置認識部と、
   を備え、
   前記撮影部は、前記利用者が移動を行う歩行路が所定照度以上の際、赤外線を用いずに前記利用者が移動を行う歩行路において昼間画像データの撮影を行い、
   前記昼間画像データには、撮影された位置情報が含まれ、
   前記画像処理部が、前記学習済みモデルと前記昼間画像データを用いて、前記夜間画像データの色と明るさを変換して前記提示部に提示させる、
   情報処理装置。
2. 利用者が移動を行う歩行路が所定照度未満の場合、赤外線を用いて前記利用者の進行方向の画像を撮影する撮影部と、
   前記赤外線を用いて撮影された夜間画像データと教師データを用いて学習済みのモデルを用いて、前記夜間画像データの色と明るさを変換して提示部に提示させる画像処理部と、
   前記画像処理部は、
   前記利用者の移動方向かつ利用者の移動速度と処理時間と補正時間を用いて、前記夜間画像データを撮影した位置から一定時間後の特定位置を算出し、
   前記色と明るさが変換された前記夜間画像データを、前記特定位置での提示に合わせてサイズを変更する、
   情報処理装置。
3. 前記撮影部は、前記利用者の視線を撮影する第２の撮影部を備え、
   前記第２の撮影部によって撮影された画像に基づいて前記利用者の視線情報を検出する視線検出部、を備え、
   前記画像処理部は、前記検出された前記利用者の視線に基づいて、前記利用者の目線の方向に合わせて画像の精細度を調節する、
   請求項１または請求項２に記載の情報処理装置。
4. 前記利用者が進行方向に対して曲がる際の指示を検出する方向検出部、を備え、
   前記画像処理部は、前記利用者が道を曲がった後の方向の昼間画像を事前に準備する、
   請求項１または請求項２に記載の情報処理装置。
5. 外部装置と情報の送受信を行う通信部、と備え、
   前記通信部は、前記夜間画像データを前記外部装置へ送信し、
   前記外部装置は、前記画像処理部が行う処理の少なくとも一部を行い、処理した画像を前記情報処理装置へ送信する、
   請求項１または請求項２に記載の情報処理装置。
6. 前記提示部の地面から高さ及び傾斜を計測する距離傾斜検出部、を備え、
   前記画像処理部は、前記距離傾斜検出部が検出した結果に基づいて、前記提示部に提示させる画像を補正する、
   請求項１または請求項２に記載の情報処理装置。
7. 外部装置と情報の送受信を行う通信部、と備え、
   前記通信部は、前記昼間画像データを前記外部装置から取得する、
   請求項１に記載の情報処理装置。
8. 情報処理装置が、
   利用者が移動を行う歩行路が所定照度未満の場合、赤外線を用いて前記利用者の進行方向の画像を撮影し、
   前記赤外線を用いて撮影された夜間画像データと教師データを用いて学習済みのモデルを用いて、前記夜間画像データの色と明るさを変換して提示部に提示し、
   前記利用者の現在位置を認識し、
   前記利用者が移動を行う歩行路が所定照度以上の際、赤外線を用いずに前記利用者が移動を行う歩行路において昼間画像データの撮影を行い、
   前記昼間画像データには、撮影された位置情報が含まれ、
   前記学習済みモデルと前記昼間画像データを用いて、前記夜間画像データの色と明るさを変換して前記提示部に提示させる、
   情報処理方法。
9. 情報処理装置が、
   利用者が移動を行う歩行路が所定照度未満の場合、赤外線を用いて前記利用者の進行方向の画像を撮影し、
   前記赤外線を用いて撮影された夜間画像データと教師データを用いて学習済みのモデルを用いて、前記夜間画像データの色と明るさを変換して提示部に提示し、
   前記利用者の移動方向かつ利用者の移動速度と処理時間と補正時間を用いて、前記夜間画像データを撮影した位置から一定時間後の特定位置を算出し、
   前記色と明るさが変換された前記夜間画像データを、前記特定位置での提示に合わせてサイズを変更する、
   情報処理方法。
10. 情報処理装置のコンピュータに、
    利用者が移動を行う歩行路が所定照度未満の場合、赤外線を用いて前記利用者の進行方向の画像を撮影させ、
    前記赤外線を用いて撮影された夜間画像データと教師データを用いて学習済みのモデルを用いて、前記夜間画像データの色と明るさを変換して提示部に提示させ、
    前記利用者の現在位置を認識させ、
    前記利用者が移動を行う歩行路が所定照度以上の際、赤外線を用いずに前記利用者が移動を行う歩行路において昼間画像データの撮影を行わせ、
    前記昼間画像データには、撮影された位置情報が含まれ、
    前記学習済みモデルと前記昼間画像データを用いて、前記夜間画像データの色と明るさを変換して前記提示部に提示させる、
    プログラム。

Images