JPWO2019021973A1 - 端末装置、危険予測方法、プログラム - Google Patents

Abstract

より高い危険の予測が可能な端末装置を提供するよう、ユーザが歩行しながら自装置を操作しているかを判定し、周囲の音を収集し、ユーザが歩行しながら自装置を操作していると判定された場合に、端末装置に備わるカメラから得た画像データに写る危険物候補に基づいてユーザの危険を予測する。そして、音収集装置から得た音信号に基づいて音の発生源の方向を算出する。

Description

本発明は、端末装置、危険予測方法、記録媒体に関する。

歩行しながら端末装置を利用するユーザの危険回避に関する技術が特許文献１に開示されている。特許文献１の技術では、端末装置の移動速度を導出し、表示画面の起動状態を判定する。また当該技術は、表示画面側に設けられた第１撮影手段を備え、第１撮影手段から取得した撮影画像に基づいてユーザの顔の方向を判定し、端末装置の移動速度、起動状態及び顔の方向に基づいて、ユーザが端末装置を目視した状態で歩行しているか否かを判定する。また特許文献１の技術ではユーザが端末装置を目視した状態で歩行している場合に、集音した音の周波数又は音量に基づいて、ユーザが危険な状況にあるか否かを判定する。

特開２０１４-２３２４１１号公報

上述のような技術における歩行者の危険予測においてより高い危険の予測が可能な技術が求められている。

そこでこの発明は、上述の課題を解決する端末装置、危険予測方法、プログラムを提供することを目的としている。

本発明の第１の態様によれば、端末装置は、ユーザが歩行しながら自装置を操作しているかを判定する歩行中操作判定部と、周囲の音を収集する音収集装置と、前記ユーザが歩行しながら自装置を操作していると判定された場合に、自装置に備わるカメラから得た画像データに写る危険物候補に基づいて前記ユーザの危険を予測する危険予測部と、を備え、前記危険予測部は前記音収集装置から得た音信号に基づいて前記音の発生源の方向を算出することを特徴とする。

本発明の第２の態様によれば、危険予測方法は、ユーザが歩行しながら自装置を操作しているかを判定し、周囲の音を収集し、前記ユーザが歩行しながら自装置を操作していると判定された場合に、端末装置に備わるカメラから得た画像データに写る危険物候補に基づいて前記ユーザの危険を予測するとともに、前記収集した音の信号に基づいて前記音の発生源の方向を算出することを特徴とする。

本発明の第３の態様によれば、記録媒体は、端末装置のコンピュータを、ユーザが歩行しながら自装置を操作しているかを判定する歩行中操作判定手段、周囲の音を収集する音収集手段、前記ユーザが歩行しながら自装置を操作していると判定された場合に、前記端末装置に備わるカメラから得た画像データに写る危険物候補に基づいてユーザの危険を予測するとともに、前記収集した音の信号に基づいて前記音の発生源の方向を算出する危険予測手段、として機能させることを特徴とするプログラムを記録する。

本発明によれば、端末装置を保持しながら歩行する歩行者の危険予測においてより高い危険の予測が可能な技術を提供することができる。

本発明の一実施形態による端末装置を図面を参照して説明する。 本発明の一実施形態による端末装置の機能ブロック図である。 本発明の一実施形態による端末装置の処理フローを示す図である。

以下、本発明の一実施形態による端末装置を図面を参照して説明する。
図１は同実施形態による端末装置の構成を示すブロック図である。
端末装置１はスマートフォン、携帯電話、ＰＤＡ、タブレット端末などの携帯型の端末である。端末装置１はＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ１０４、通信モジュール１０５、タッチパネル１０６、入出力部１０７、カメラ１０８、加速度センサ１０９、マイク１１０、ＧＰＳ１１１、スピーカ１１２、バイブレータ１１３、ライト１１４などの各ハードウェアが備わる。

本実施形態による端末装置１は歩行中に自端末を操作しながら歩いているユーザの危険を予測し、または検出し、当該ユーザにその危険を通知する。これにより端末装置１は、歩行中操作を行っているユーザへの危険に対する回避を支援する。

図２は端末装置の機能ブロック図である。
端末装置１は起動して制御プログラムを実行することにより、制御部１１、歩行中操作判定部１２、危険予測部１３、通知部１４、データ送信部１５の各機能部を少なくとも有する。端末装置１はその他、電話機能等の公知の機能を有している。
制御部１１は端末装置１に備わる各機能部を制御する。
歩行中操作判定部１２はユーザが歩行しながら端末装置１を操作しているか否かを判定する。
危険予測部１３は端末装置１の歩行中操作を行っているユーザに対する危険を予測または検知する。
通知部１４は端末装置１のタッチパネル１０６などの表示機能に危険を通知する。
データ送信部１５は通信接続している装置にデータを送信する。

次に端末装置１の各機能の詳細を説明する。
歩行中操作判定部１２は加速度センサ１０９などの図１で示した各種ハードウェアから得た情報を組み合わせてユーザが歩行中操作を行っているかを判定する。例えば歩行中操作判定部１２はタッチパネル１０６により構成される画面がＯＮになっているかの判定、加速度センサ１０９の検出パターンが歩行パターンと一致しているかの判定、カメラ１０８から得た画像において検出した特徴物が移動しているかの判定などに基づいて歩行中操作であるかを判定する。より具体的には歩行中操作判定部１２は、画面がＯＮであり、加速度センサ１０９による加速度の検出パターンと歩行パターンとが一致し、画像において特徴物が移動していると判定した場合、歩行中操作を行っていると判定する。

危険予測部１３は、端末装置１に内蔵されているカメラ１０８、マイク１１０、加速度センサ１０９、ＧＰＳ１１１など各種機能を組み合わせてリアルタイムでユーザにかかる危険を予測する。危険予測部１３は、危険の予測において、ＧＰＳ１１１から得られる端末装置１の位置情報、加速度センサ１０９から得られる加速度に基づく端末装置１の向きなどの姿勢情報、カメラ１０８の撮影により得られた画像データ、マイク１１０から得られる音信号などを利用する。カメラ１０８は、インカメラ１０８ａ、アウトカメラ１０８ｂなどの複数のカメラで構成され、これらカメラ１０８は全天カメラであってよい。マイク１１０も複数が端末装置１に備わっていてもよい。

本実施形態において示す端末装置１は、板状の筐体の主面に液晶画面とタッチセンサとが積層されたタッチパネル１０６が設けられている。主面のタッチパネル１０６の上部にはインカメラ１０８ａが設けられる。また主面の裏面の上部にはアウトカメラ１０８ｂが設けられている。インカメラ１０８ａとはユーザが端末装置のタッチパネル１０６を自身に正対させて向けた場合に自身に撮影方向が向くカメラである。ユーザがタッチパネルの設けられた端末装置１の筐体の主面を自身に向けることで必然的にインカメラ１０８ａはユーザ自身の方向を撮影する位置となる。他方、アウトカメラ１０８ｂはユーザが端末装置１のタッチパネル１０６を自身に正対させて向けた場合に自身側とは反対方向、つまりユーザの進行方向に撮影方向が向くカメラである。

危険予測部１３は、複数のマイク１１０を利用することで音の方向を認識する。また危険予測部１３はカメラ１０８の撮影により取得した画像データを用いて端末の向きを検出し、または当該画像データに写る基準となる目印に基づいて画像データの歪みなどを補正しながら画像データに写る情報に基づいてユーザの危険を予測してもよい。

通知部１４は、端末装置１の画面に危険を通知するほか、スピーカ１１２やバイブレータ１１３、ライト１１４など端末装置１に備わる各種機能を利用してユーザに危険を知らせて危険回避行動を促す。通知部１４は、危険を検出した場合に限らず、障害物などの情報をリアルタイムに画面表示してもよい。

なお、本発明において端末装置１は歩行中操作判定部１２の処理を行わずに、常に危険予測部１３が危険を予測する構成としてもよい。また端末装置１はデータ送信部１５を具備し、危険予測部１３による予測結果を通信接続された専用サーバに送信してもよい。専用サーバは端末装置１による危険の予測結果の情報を蓄積して、端末装置１における危険検出精度を向上させるための基礎データを算出し、端末装置１に利用させる処理を行うようにしてもよい。

図３は端末装置の処理フローを示す図である。
次に、図３を用いて端末装置１の動作を説明する。
当該端末装置１の処理は、端末装置１がユーザの歩行中操作を行っていると検出した場合に、危険を予測し、その予測結果をユーザに通知する処理でありその一例を示す。
端末装置１は専用サーバ２と通信接続される。専用サーバ２は端末装置１の危険の予測や危険検出の結果を受信して、危険を検出するために利用した画像データなどのデータの特徴や、全ユーザからのフィードバック情報などを収集、分析する機能を有するものとする。

まず端末装置１の歩行中操作判定部１２はユーザが歩行中操作を行っているかの判定処理を開始する（ステップＳ１）。そして歩行中操作判定部１２は、加速度センサ１０９などの各種機能を組み合わせて端末装置１を操作するユーザが歩行中操作を行っているかどうかを判定する（ステップＳ２）。例えば、タッチパネルを構成する画面がＯＮになっており操作されているか、加速度センサ１０９で検出した動きのパターンが歩行のパターンと一致しているか、カメラ１０８から取得した画像データにおいて特定した特徴点が移動しているかを判定する。歩行中操作判定部１２は、画面がＯＮになっており、加速度センサ１０９から加速度パターンが歩行パターンと一致している場合にはユーザが歩行中であると判定してよい。またカメラ１０８から得た画像データにユーザの顔の特徴が映っており、この特徴点の位置が連続して取得した画像データ中において移動している場合には、端末装置１の歩行中操作を行っていると判定してよい。この歩行中操作の判定例は一例であって、他の手法により歩行中操作と判定してもよい。

危険予測部１３はカメラや各種センサを利用してユーザの危険を予測、検出の処理を開始する（ステップＳ３）。そして危険予測部１３は危険を検出したかどうかを判定する（ステップＳ４）。
危険予測部１３は、加速度センサ１０９などを利用して端末装置１を携帯するユーザの進行方向を特定する。また危険予測部１３は端末装置１の傾きを加速度センサ１０９から得た情報に基づいて検出する。例えば危険予測部１３は端末装置１が板状の形状を成している場合には、板状の端末装置１を垂直に立てた状態を基準とした面垂直方向の傾き（前傾角）、当該面垂直方向に直交する方向の傾き（横傾角）を検出する。なお前傾角は端末装置１が地面と垂直状態からどの程度面垂直方向（ユーザの進行方向に一致）に傾いているか（前傾角が９０°の場合は端末が水平状態となる）を表す。横傾角は端末装置１が進行方向からどの程度右手に向いているか（横傾角が９０°の場合は端末装置１の上部が右手側に向いており進行方向に対して完全に横向き状態となる）を表す。

インカメラ１０８ａやアウトカメラ１０８ｂは歩行中操作を行っていると判定された場合には制御部１１の制御によって１秒間に数枚から数十枚などの画像を取得して危険予測部１３へ出力する。危険予測部１３は、インカメラ１０８ａ（またはアウトカメラ１０８ｂ）から画像データを取得する。危険予測部１３はインカメラ１０８ａ（またはアウトカメラ１０８ｂから一定時間内で取得した画像データのうち、インカメラ１０８ａ（またはアウトカメラ１０８ｂ）で新たに撮影により得られた画像データと、直前の撮影により得られた複数枚数の画像データの画像の差分を検出する。危険予測部１３はこの差分において、前傾角および横傾角を基に今回の画像データにおける手ぶれや歩行時の振動により画像に現れた物体を除く補正を行い、除かれない部分の画像において危険物候補が映るかを判定する。

ユーザがタッチパネル１０６を歩きながら視認している場合には、アウトカメラ１０８ｂは基本的にユーザの前方を撮影することになるが、ユーザが端末装置１のタッチパネル１０６を天空方向に向けて水平に把持していると、前傾角が９０°に近くなる。この場合、端末装置１に設けられたアウトカメラ１０８ｂは水平に近い状態で地面を撮影することになり前方の撮影が困難となるためインカメラ１０８ａや全天カメラなどの外付けカメラで補完した画像を用いて危険予測を行うことができる。

インカメラ１０８ａから取得した画像データの解析においては、ユーザの後方や頭上の対象物を検出することができるため危険予測部１３は危険探索範囲を広げることができる。これにより危険予測部１３はユーザ後方からの接近物・危険物や頭上の落下物等の検出が可能となる。また、インカメラ１０８ａではユーザの視線方向も認識でき、この視線方向の検出により危険を予測することができる。例えば危険予測部１３はアウトカメラ１０８ｂの撮影により得られた画像データに基づいて車のユーザ方向への接近を検出する。また危険予測部１３はインカメラ１０８ａの撮影により得られた画像データに基づいてユーザの視線方向を検出する。危険予測部１３は車がユーザ方向へ接近しているにもかかわらず、視線方向が当該車の方向を視認していないと判定した場合には危険であると予測する。

この具体的な処理の一例を説明すると、危険予測部１３はアウトカメラ１０８ｂから得た複数の連続する画像データにおいて写る車をパターン認識により検出する。危険予測部１３は車の画像データ中に映る位置と加速度センサ１０９から得た加速度に基づく端末装置１の裏面の向きとに基づいて、３次元空間座標系における端末装置１から車へ向く方向ベクトルを算出する。危険予測部１３はまたインカメラ１０８ａから取得した連続する画像データにおいて写るユーザの目の結膜領域が示す白色領域と、虹彩や瞳孔領域が示す黒色領域との位置関係と、予め記憶する白色領域と黒色領域の位置関係それぞれに対応する視線方向の情報とに基づいて、現在のユーザの視線方向を検出する。危険予測部１３は３次元空間座標系における視線方向が示す視線ベクトルを算出する。危険予測部１３は、端末装置１から車へ向く第一方向ベクトルと、視線ベクトルとの成す角度を算出する。危険予測部１３は第一方向ベクトルと視線ベクトルとの成す角度が所定の角度以上である場合には、ユーザの視線方向が車方向を向いていないと判定する。

危険予測部１３は撮影した画像の差分から、移動している危険物候補を推定してもよい。この場合に危険予測部１３は、例えば予めＧＰＳ１１１の測定した位置情報を取得してユーザの移動速度を推定する。さらに危険予測部１３は、移動している危険物候補の画像中のサイズ変化から、その危険物候補自体が移動しているかを判定する。当該移動はユーザが保持する端末装置１から近づいているか遠ざかっているかを判定する。または危険予測部１３は、ユーザのみが移動していることにより危険物候補が移動したように見えるだけなのかを判定する。

この場合の処理の具体例としては、例えば危険予測部１３は、ＧＰＳ１１１から得た時刻の経過に応じた位置情報に基づいて端末装置１を保持するユーザの歩行速度や歩行方向を算出する。また危険予測部１３は画像中に映る危険物候補の単位時間当たりの大きさの変化割合などを歩行速度に応じて記憶しておき、その変化割合の情報を取得する。危険予測部１３は、連続してインカメラ１０８ａやアウトカメラ１０８ｂから取得した画像データに写る危険物候補の大きさの単位時間当たりの変化割合が、ユーザの歩行速度に応じた変化割合よりも高いか否かを判定する。危険予測部１３は画像データに写る危険物候補の大きさの単位時間当たりの変化割合が、ユーザの歩行速度に応じた変化割合よりも高い場合には、危険物候補が接近していると判定する。

また危険予測部１３は、取得した画像データに写る基準となる目印を抽出しておき、その目印を示す情報の単位時間当たりの大きさの変化割合から危険物候補のサイズを推定し、その推定した危険物候補のサイズを利用することで危険物候補の移動速度を算出してもよい。ここで、基準となる目印は標識やポストなど比較的サイズが固定されているものである。

危険予測部１３は、信号機やポストなど街中に一定間隔で設置されており比較的サイズが決まっているものを基準となる目印として、その相対サイズから自転車に乗っている人のサイズを推定することができる。危険予測部１３は、このような手法により画像中の危険物候補のサイズを算出し、例えば自転車に乗っている人とユーザとの距離および接近速度を推定し、また衝突予想時刻を算出してもよい。

危険予測部１３による危険物候補の判定においては他の手法により危険物候補であることを判定してもよい。
例えば危険予測部１３は、危険物候補として横断歩道や信号機、駅のホームや道路上にある視覚障害者用の点字・線状ブロック、歩行者や自転車、段差、路面異常、電柱、看板、露店、小動物などの形状を記憶している。危険予測部１３はそれら記憶している形状情報と撮影画像から得た物体とのパターンマッチングを行い、それら記憶するいずれの形状と一致するかを判定する。危険予測部１３は当該パターンマッチングにより形状が一致したと判定した場合にはその画像中に写る物体を危険物候補と認識する。危険予測部１３はこれら危険物候補に接近しているか否かを前後の画像データを比較して判定する。

危険予測部１３はあらかじめユーザの移動速度をＧＰＳ１１１から得た位置情報に基づく単位時間当たりの移動量などを用いて推測し、その移動速度と画像中の危険物候補の単位時間当たりの大きさの変化割合との比較に基づいて接近しているかどうかを判定してもよい。

危険予測部１３は順次取得した画像データを数秒分繋ぎあわせて合成してもよい。この場合、危険予測部１３は、カメラで撮影できる一瞬の範囲を超えて、より広い視点での危険物候補の判別が可能となる。

また危険予測部１３は、端末装置１に付属のインカメラ１０８ａやアウトカメラ１０８ｂのほか、ウェアラブル端末のカメラや３６０度カメラ（全天カメラ）など外付けのカメラから画像データを取得してもよい。端末装置１は複数のカメラが搭載されていてもよい。

危険予測部１３が危険物候補の接近を検出する方法としては、その他、画像データから自転車に乗っている人を危険物候補として検出する。危険予測部１３は、その時点での画像フレームＦｔとその直前（直前１フレームに限らず、直前の複数フレームでもよい）の画像フレームＦｔ−１との差分からカメラ画像上の変化画素を抽出する。危険予測部１３は、その危険物候補を示す画素の領域が大きくなっていることが判断できれば、危険物候補が近づいてきていると判定する。

危険予測部１３は、自転車に乗っている人の進行方向を推定して端末装置１を保持するユーザの左側に近づいてきていると判断した場合、ユーザは右側に避ければ自転車に乗っている人との衝突を避けられる。したがって危険予測部１３は右側に避けることを促すための情報を画面に表示してユーザに通知する。例えば、危険予測部１３は、危険回避行動をする方向を矢印で出力する。このとき危険予測部１３は、危険回避行動をする方向にユーザの避けられる幅があるかどうかを画像データから検出しておいてもよい。

危険予測部１３はマイク１１０から取得した音信号に基づいて危険を予測してもよい。
例えばマイク１１０から取得した音信号を解析して特徴的な音を検出する。例えば特徴的な音はサイレン、信号機の横断期間を通知する音、踏切遮断時の音、自転車のベルなどである。このような人に対して発せられる人工的な警告音は規則的な繰り返しであることが多いことから、危険予測部１３は、音の波形パターンとして事前に記憶しておき、取得した音信号から得た音の波形パターンが予め記憶する警告音のパターンと一致した場合には危険であると予測する。危険予測部１３は人工的な警告音に限定せず、「危ない」や「逃げろ」など人の声を音声認識して、音声認識結果で得られた言葉が予め記憶する警告を示す言葉と一致すると判定した場合には、危険物候補が迫っていると判定してもよい。

端末装置１が複数のマイク１１０を設けており、危険予測部１３がそれら各マイク１１０から取得した音信号と端末装置１の姿勢とに基づいて音の発生源の方向を特定するようにしてもよい。より具体的には、危険予測部１３は各マイク１１０から得た音信号を解析して音の強度を算出する。危険予測部１３は各マイク１１０から得た音の強度に基づいて端末装置１を基準とした音の発生源の方向を推定する。危険予測部１３は現在の端末装置１の姿勢に基づく基準となる直交する３軸による３次元空間座標系において、音の発生源の方向ベクトルを特定する。危険予測部１３は、特定した発生源の方向ベクトルが示す方向に対応する撮影画像中の物体を検出する。危険予測部１３その物体が形状などのパターン認識により、危険物候補と特定できる場合には、その危険物候補と発生源の方向ベクトルとの関係を結びつける。危険予測部１３は、危険物候補と発生源の方向ベクトルが一致する場合には、例えば音声などにより危険物候補の方向をスピーカから出力するようにしてもよい。

次に通知部が危険情報を通知する（ステップＳ５）。
具体的に通知部１４の処理について説明する。通知部１４は検出した危険情報をユーザに通知する。例えば通知部１４は、検出した危険物候補およびそれに関連する情報を危険情報として端末装置１の画面に表示する。この時、通知部１４は、危険が迫っているかを示す危険接近レベルに基づいて衝突予想時刻も併せて表示してもよい。通知部１４は端末装置１の向き（姿勢）や危険物候補の接近方向に基づいて、ユーザの危険回避行動を補助するための情報も併せて表示してもよい。なお、ユーザへの危険情報の通知は危険を予測した時に限定せず、カメラ１０８の撮影により得られた画像データにおいて危険の可能性がある旨や、マイク１１０で特徴的な音である可能性がある旨の情報をリアルタイムに画面の一部に表示してもよい。

通知部１４は、端末装置１の向き（姿勢）やユーザの視線方向に基づいて、画面表示の他、スピーカ１１２、バイブレータ１１３、ライト１１４など端末装置１に具備された各種出力機能を使い分けてユーザに通知してよい。

ステップＳ５の危険情報の通知処理について補足説明する。
なお危険情報を画面に表示する際は危険接近レベルをレベル１〜レベル３の何れかに設定して出力する。一例としては、危険接近レベル３を衝突予想時刻まで３秒と設定しているが、危険回避行動はユーザの年齢や身体能力による部分もあるため固定値ではなくユーザに応じて設定してもよい。

（危険接近レベル１）
危険予測部１３は、検出した危険物候補と端末装置１との距離を算出し、その距離が閾値以上であると判定した場合には危険接近レベル１と判定する。そして危険予測部１３は危険物候補との距離が閾値以上であり、かつ、危険物候補の接近速度が閾値未満または危険物候補が停止していると判定した場合には危険接近レベル１と判定する。一例として危険予測部１３は、距離が閾値以上であり接近速度が閾値未満であることにより、ユーザとの衝突までの予想時間が８秒以上であると算出した場合には、危険接近レベル１と判定する。

（危険接近レベル２）
危険予測部１３は、危険物候補との距離が閾値以上であり、かつ、危険物候補の接近速度が閾値以上と判定した場合には危険接近レベル２と判定する。一例として危険予測部１３は、距離が閾値以上であるが接近速度が閾値以上であることにより、ユーザとの衝突までの予想時間が８秒〜３秒と算出した場合には、危険接近レベル２と判定する。

（危険接近レベル３）
危険予測部１３は、危険物候補との距離が閾値未満であり、かつ、危険物候補の接近速度が閾値以上と判定した場合には危険接近レベル３と判定する。一例として危険予測部１３は、距離が閾値未満でありさらに接近速度が閾値以上であることにより、ユーザとの衝突までの予想時間が３秒未満と算出した場合には、危険接近レベル３と判定する。

危険予測部１３は、危険接近レベルの決定において、画像データから判定した危険物候補の位置、そのサイズ、危険物候補が単位時間においてユーザに近づく際の変化量、ユーザとの接近距離、衝突予想時間など何れか一つまたは複数の情報を用いて決定してよい。
衝突予測時刻を算出する際には危険予測部１３は、取得した一定時間毎に画像データのフレーム差分を検出することで変化領域を算出し、その変化領域に基づいて危険物候補の移動距離や移動速度（接近速度）を推定することができる。

危険予測部１３は、危険物候補の進行方向、およびマイク１１０から検出した音の方向を基に危険回避行動のためにどこに逃げればよいかなどの補助情報を音声や画面などで出力するようにしてもよい。危険予測部１３は、例えばユーザが回避する方向を矢印で画面上に表現する。

なお危険予測部１３は、危険物候補が必ずしも音を発するとは限らない為、入力情報であるマイク１１０から得た音信号と、カメラ１０８から得た画像データはそれぞれ独立して処理し、何れかの情報に優先順位や重み付け設定してもよい。また、上記において触れたが、カメラ１０８からの画像データの解析には加速度センサ１０９から得た加速度により端末の傾き（前傾角・横傾角）などの姿勢を算出して、進行方向を認識し、端末のぶれや動きによる画像の歪みを補完することができる。

上記ステップＳ５における危険情報の通知手段について補足する。
端末装置１の危険予測部１３は、傾き情報を基に端末装置１の画面部分が地面方向に向いておりユーザが視認できない状態だと検知する。そして危険予測部１３は、画面への通知だけではユーザが認識できない可能性が高いと判断できるため、バイブレータ１１３やスピーカ１１２、ライト１１４など別の通知手段を選択してユーザへ危険を通知する。また危険予測部１３はユーザの視線情報を基に、ユーザが画面を見ていないと検知した場合も通知部１４は通知手段を選択してユーザへ危険を通知してよい。

データ送信部１５は、検知した危険に関するデータを専用サーバに送信する（ステップＳ６）。なお専用サーバは、全ユーザからのフィードバックや危険予測結果を収集し、多角的に分析、蓄積することで本端末装置１に限らず他の端末装置１も含めた全ての端末装置１に対して危険予測精度を向上させる処理を行ってもよい。端末装置１は専用サーバ２から得られたデータ分析に基づいて危険予測を行うようにしてもよい。

また、実際に危険だった場合はユーザの操作でその旨をフィードバックする他、危険回避後に警察や病院へ発呼する、証拠写真を撮影する、ＳＮＳ（social networking service）に検出結果を送信して登録する場合がある。専用サーバは危険個所においてユーザがそれらの動作をする可能性が高いと仮定し、それらの動作をしたかどうかをフィードバックとして受け取るようにしてもよい。

上述の端末装置１の処理によれば、ユーザが端末装置１を歩行中操作している時における危険検知について、アウトカメラ１０８ｂだけでなく必要に応じてインカメラ１０８ａも利用して障害物、接近物などの危険物候補を検知する仕組みを提供することができる。
これにより端末装置１は詳細な危険予測を行うことができる。さらに端末装置１は加速度センサ１０９からの傾きなどの情報や、複数のマイク１１０からの音や方向などの情報も材料とすることで、カメラ１０８には映っていない危険も予測とすることが可能となる。

端末装置１は例えば時計型端末や眼鏡型端末など、ウェアラブル端末と連携して得られるデータを危険予測に利用してもよい。

上述の端末装置１は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

この出願は、２０１７年７月２８日に出願された日本出願特願２０１７−１４６９６０を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１・・・端末装置
２・・・専用サーバ
１１・・・制御部
１２・・・歩行中操作判定部
１３・・・危険予測部
１４・・・通知部
１５・・・データ送信部
１０１・・・ＣＰＵ
１０２・・・ＲＯＭ
１０３・・・ＲＡＭ
１０４・・・ＨＤＤ
１０５・・・通信モジュール
１０６・・・タッチパネル
１０７・・・入出力部
１０８・・・カメラ
１０９・・・加速度センサ
１１０・・・マイク
１１１・・・ＧＰＳ
１１２・・・スピーカ
１１３・・・バイブレータ
１１４・・・ライト

Claims (5)

1. ユーザが歩行しながら自装置を操作しているかを判定する歩行中操作判定手段と、
   周囲の音を収集する音収集装置と、
   前記ユーザが歩行しながら自装置を操作していると判定された場合に、自装置に備わるカメラから得た画像データに写る危険物候補に基づいて前記ユーザの危険を予測する危険予測手段と、を備え、
   前記危険予測手段は前記音収集装置から得た音信号に基づいて前記音の発生源の方向を算出する
   端末装置。
2. 前記危険予測手段は、前記端末装置の姿勢を検出し、前記ユーザの危険を予測した場合に当該姿勢に基づいて危険の通知に利用する通知手段を選択する
   請求項１に記載の端末装置。
3. 前記カメラとして前記端末装置の板状筺体に主面に設けられたインカメラと、
   前記主面の裏面に設けられたアウトカメラと、を備え、
   前記危険予測手段は前記インカメラと前記アウトカメラの両方から得た画像に基づいて前記ユーザの危険を予測する
   請求項１または請求項２に記載の端末装置。
4. ユーザが歩行しながら自装置を操作しているかを判定し、
   周囲の音を収集し、
   前記ユーザが歩行しながら自装置を操作していると判定された場合に、端末装置に備わるカメラから得た画像データに写る危険物候補に基づいて前記ユーザの危険を予測するとともに、前記収集した音の信号に基づいて前記音の発生源の方向を算出する
   危険予測方法。
5. 端末装置のコンピュータを、
   ユーザが歩行しながら自装置を操作しているかを判定する歩行中操作判定手段、
   周囲の音を収集する音収集手段、
   前記ユーザが歩行しながら自装置を操作していると判定された場合に、前記端末装置に備わるカメラから得た画像データに写る危険物候補に基づいて前記ユーザの危険を予測するとともに、前記収集した音の信号に基づいて前記音の発生源の方向を算出する危険予測手段、
   として機能させるプログラムを記録する記録媒体。

Images