以下に、本願に係る情報処理装置、情報処理方法、及び情報処理プログラムを実施するための形態(以下、「実施形態」と呼ぶ)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法、及び情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
(実施形態)
〔1.情報処理〕
まず、図1及び図2を用いて、実施形態に係る情報処理の一例について説明する。図1は、実施形態に係る情報処理の一例を示す図である。図2は、実施形態に係る推定処理の一例を示す図である。図1及び図2に示す例において、情報処理装置100は、ユーザU1が装着する装備品AS11を利用してユーザU1にナビゲーションサービス(以下、「ナビサービス」ともいう)を提供する。装備品AS11には、構成装置10として、右イヤホンCP11と左イヤホンCP12とが含まれる。なお、以下では、右イヤホンCP11と左イヤホンCP12とを併せて「イヤホンCP11、CP12」と記載する場合がある。図1及び図2に示す例では、情報処理装置100は、ユーザU1が耳に装着したイヤホンCP11、CP12を利用して、ユーザU1の視線の向きを推定し、ユーザU1にナビサービスを提供する。すなわち、図1の例では、ユーザU1が装着する装備品AS11がイヤホンCP11、CP12である場合を示す。
情報処理装置100は、ナビゲーションに関するアプリケーションがインストールされた構成装置10にナビサービスを提供する。以下では、徒歩で移動するユーザをナビゲーション(歩行ナビ)であるナビアプリAが構成装置10にインストールされている場合を例に説明する。また、以下では、ナビゲーションを単に「ナビ」と記載する場合がある。なお、情報処理装置100がナビサービスを提供可能であれば、構成装置10はナビアプリAが未インストールであってもよい。また、以下では、歩行ナビアプリであるナビアプリAを一例として示すが、ナビゲーションサービスであれば、歩行ナビに限らず、自転車ナビ等の種々のサービスを対象としてもよい。
図1及び図2の説明に先立って、図3に示すように、情報処理システム1には、構成装置10と、携帯端末50と、情報処理装置100とが含まれる。具体的には、情報処理システム1には、装備品AS11の構成装置10である右イヤホンCP11及び左イヤホンCP12と、携帯端末50と、情報処理装置100とが含まれる。装備品AS11の右イヤホンCP11及び左イヤホンCP12のように、具体的に構成装置10を区別しない場合、単に構成装置10と記載する。構成装置10と、携帯端末50と、情報処理装置100とは図示しない所定の通信網を介して、有線または無線により通信可能に接続される。なお、図3に示した情報処理システム1には、複数台の構成装置10や、複数台の携帯端末50や、複数台の情報処理装置100が含まれてもよい。また、ユーザが携帯端末50を利用しない場合、情報処理システム1には、携帯端末50が含まれなくてもよい。また、図3の例では、構成装置10の一例として、装備品AS11に含まれる右イヤホンCP11と左イヤホンCP12とを示すが、構成装置10は種々の装備品に含まれる装置であってもよい。
構成装置10は、ユーザが装着する装備品に含まれる情報処理装置である。構成装置10は、例えば、イヤホンや、イヤリングや、コンタクトレンズ等、ユーザが装着するものにより実現される。なお、構成装置10は、後述するナビサービスを提供可能であれば、例えばどのようなもの(機器)であってもよい。図1及び図2の例では、構成装置10は、ユーザU1が装着するイヤホンCP11、CP12である場合を示す。
構成装置10は、種々の情報を収集する。また、構成装置10は、収集した情報を情報処理装置100へ送信する。例えば、構成装置10は、後述する各種のセンサ部13(図9参照)により検知されるセンサ情報を収集する。例えば、構成装置10は、GPS(Global Positioning System)センサを含むセンサ部13により検知される位置情報をセンサ情報として収集する。例えば、構成装置10は、センサ部13により検知される位置情報、加速度情報、角速度情報、地磁気情報、圧力情報、音声情報、振動に関する情報、気温に関する情報、気圧に関する情報、湿度に関する情報、照度に関する情報等をセンサ情報として収集してもよい。
また、ユーザが装着する装備品に含まれる各構成装置10は、所定の通信技術により通信を行ってもよい。構成装置10は、近距離無線通信技術により、ユーザが装着する装備品に含まれる他の構成装置10と通信を行う。例えば、構成装置10は、NFC(Near Field Communication)に関する種々の従来技術を適宜用いて、他の構成装置10と通信を行う機能を有する。例えば、携帯端末50は、Bluetooth(登録商標)やWiFi(登録商標)(Wireless Fidelity)等の種々の従来の無線通信に関する技術を適宜用いて、他の構成装置10と通信を行ってもよい。すなわち、構成装置10は、他の構成装置10との間で情報の送受信が可能であれば、どのような機能により他の構成装置10と通信を行ってもよい。
例えば、ナビアプリAは、ナビアプリAがインストールされた構成装置10を装着したユーザを目的地まで案内するナビサービスを提供する。例えば、ナビアプリAがインストールされた構成装置10は、ユーザから目的地の入力を受け付けると、ユーザを目的地まで誘導するための地図情報や道路情報やPOI(Point of Interest)情報等を含むナビゲーションに関する情報に基づいてナビサービスを提供する。以下では、このような地図情報や道路情報やPOI情報等を含むナビゲーションに関する情報等を「ナビ情報」と記載する場合がある。
携帯端末50は、ユーザによって利用される情報処理装置である。携帯端末50は、例えば、スマートフォンや、タブレット型端末や、ノート型PC(Personal Computer)や、デスクトップPCや、携帯電話機や、PDA(Personal Digital Assistant)等により実現される。例えば、携帯端末50がスマートフォンであってもよい。例えば、携帯端末50は、ナビアプリAがインストールされたスマートフォンであってもよい。
情報処理装置100は、構成装置10を装着したユーザにナビサービスを提供する情報処理装置である。情報処理装置100は、ナビアプリAがインストールされた構成装置10を装着したユーザにナビサービスを提供する情報処理装置である。また、情報処理装置100は、ユーザが装着した装備品に設けられた複数のセンサの各々が検知した複数のセンサ情報を取得する。情報処理装置100は、構成装置10からセンサ情報を取得する。情報処理装置100は、取得した複数のセンサ情報に基づいて、ユーザの視線の向きに関する向きを推定する。情報処理装置100は、取得した複数のセンサ情報に基づいて、ユーザの向きを推定する。情報処理装置100は、取得した複数のセンサ情報に基づいて、ユーザの顔の向きを推定する。情報処理装置100は、取得した複数のセンサ情報に基づいて、ユーザの視認方向を推定する。情報処理装置100は、取得した複数のセンサ情報に基づいて、ユーザが見ている方向を推定する。情報処理装置100は、推定したユーザの視線の向きに関する向き情報に基づいて、ユーザにナビゲーションサービスを提供する。
ここから、図1及び図2を用いてユーザU1の視線の向きに基づくナビサービスの提供について説明する。図1及び図2では、構成装置10として、右イヤホンCP11と左イヤホンCP12とが含まれる装備品AS11を用いて、ユーザU1にナビサービスが提供される場合を一例に説明する。図1に示す装備品AS11は、独立型のイヤホンであり、物理的に分離された右イヤホンCP11と左イヤホンCP12が含まれる。また、図1中の地図MP11は、ユーザU1やユーザU1が移動する際に目印となるPOI(以下、「ランドマーク」ともいう)等の位置関係を模式的に示す。
右イヤホンCP11と左イヤホンCP12とは、図1に示すように、各耳に対応する形状を有する。例えば、右イヤホンCP11と左イヤホンCP12とは、同形状ではなく、鏡面対称となるような形状を有する。具体的には、右イヤホンCP11は、人間の右耳に装着されるのに適した形状を有する。すなわち、右イヤホンCP11は、異なる耳、すなわち左耳に装着するのに適さない形状を有する。言い換えると、右イヤホンCP11は、人間の左耳に装着される可能性が極めて低い形状を有する。また、左イヤホンCP12は、人間の左耳に装着されるのに適した形状を有する。すなわち、左イヤホンCP12は、異なる耳、すなわち右耳に装着するのに適さない形状を有する。言い換えると、左イヤホンCP12は、人間の右耳に装着される可能性が極めて低い形状を有する。情報処理システム1において、装備品AS11のように、物理的に分離された各構成装置10が装着される部位が定められているような装備品を用いることにより、装備品をユーザが装着した場合、ユーザの体の部位と各構成装置10との対応が特定可能になる。
図1及び図2では、装備品AS11の構成装置10である右イヤホンCP11は、ユーザU1の右耳RE1に装着される。右イヤホンCP11は、GPSセンサを含むセンサ部13(図9参照)によりその位置を示す位置情報が検知される。すなわち、右イヤホンCP11のセンサ部13は、右イヤホンCP11がユーザU1の右耳RE1に装着された場合、ユーザU1の右耳RE1の位置を示す位置情報を検知する。
図1及び図2では、装備品AS11の構成装置10である左イヤホンCP12は、ユーザU1の左耳LE1に装着される。左イヤホンCP12は、GPSセンサを含むセンサ部13(図9参照)によりその位置を示す位置情報が検知される。すなわち、左イヤホンCP12のセンサ部13は、左イヤホンCP12がユーザU1の左耳LE1に装着された場合、ユーザU1の左耳LE1の位置を示す位置情報を検知する。
まず、ユーザU1は、装備品AS11の構成装置10を装着する(ステップS11)。図1に示すように、ユーザU1は、イヤホンCP11、CP12を装着する。具体的には、ユーザU1は、右イヤホンCP11を右耳RE1に装着する。また、ユーザU1は、左イヤホンCP12を左耳LE1に装着する。また、イヤホンCP11、CP12は、ユーザU1に装着されたことを示す情報を情報処理装置100(図3参照)に送信してもよい。なお、ユーザU1がイヤホンCP11、CP12を装着したかどうかをイヤホンCP11、CP12のセンサ部13により検知されるセンサ情報を用いて判定してもよいが、詳細は後述する。
そして、情報処理装置100は、ナビを開始する(ステップS12)。情報処理装置100は、ユーザU1がイヤホンCP11、CP12を装着した後において、ナビを開始する。情報処理装置100は、ユーザU1からのナビの要求に応じて、ナビを開始する。例えば、情報処理装置100は、ユーザU1からの目的地の指定に応じて、指定された目的地までのナビを開始する。情報処理装置100は、ナビゲーションに関する種々の従来技術を適宜用いて、指定された目的地までユーザU1を案内する。情報処理装置100は、ユーザU1の視線の向きに基づいて、ナビゲーションに用いる情報を決定するが、詳細は後述する。
また、ユーザU1は、「××まで案内して」などの音声入力により、情報処理装置100に「××」が位置する地点までのナビを要求してもよい。情報処理システム1は、音声認識に関する種々の従来技術を適宜用いて、情報処理装置100に「××」が位置する地点までのナビを要求してもよい。
この場合、構成装置10である右イヤホンCP11または左イヤホンCP12は、音声認識の機能を有してもよい。また、情報処理装置100は、音声認識の機能を有してもよい。図1及び図2の例では、右イヤホンCP11が音声認識の機能を有するものとする。なお、情報処理システム1には、音声認識サービスを提供する音声認識サーバが含まれて、構成装置10や情報処理装置100は、音声認識サーバにユーザの音声入力の情報を送信し、音声認識サーバから情報を取得してもよい。なお、ユーザU1による目的地の指定は、音声に限らず、種々の手段により行われてもよい。例えば、ユーザU1が、携帯端末50を用いて、ナビの開始や目的地の指定を行ってもよい。例えば、ユーザU1が、ナビアプリAがインストールされた携帯端末50において、ナビアプリAを起動することにより、ナビを開始してもよい。例えば、ユーザU1が、ナビアプリAがインストールされた携帯端末50に表示された目的地を指定する画面を操作することにより、目的地の指定を行ってもよい。
また、ユーザU1に装着されたイヤホンCP11、CP12は、センサ部13によりセンサ情報を検知する。イヤホンCP11、CP12は、所定のタイミングでセンサ部13によりセンサ情報を検知する。イヤホンCP11、CP12は、ナビの開始後において、センサ部13によりセンサ情報を検知してもよい。また、イヤホンCP11、CP12は、所定の間隔でセンサ部13によりセンサ情報を検知する。イヤホンCP11、CP12は、数秒(1秒や5秒など)おきにセンサ部13によりセンサ情報を検知してもよい。
図1及び図2の例では、イヤホンCP11、CP12は、センサ部13に含まれるGPSセンサにより位置情報をセンサ情報として検知する。イヤホンCP11、CP12は、検知したセンサ情報を情報処理装置100へ送信する。これにより、情報処理装置100は、イヤホンCP11、CP12である装備品AS11に設けられた複数のセンサの各々が検知した複数のセンサ情報を取得する。なお、情報処理装置100は、GPSセンサに限らず、装備品に設けられた種々のセンサが検知したセンサ情報を取得してもよいが、詳細は後述する。
そして、情報処理装置100は、イヤホンCP11、CP12から取得したセンサ情報に基づいて、ユーザの視線の向きを推定する(ステップS13)。例えば、情報処理装置100は、図2の示すような処理により、ユーザU1の視線の向きを推定する。例えば、情報処理装置100は、同じ日時DT11にイヤホンCP11、CP12が検知したセンサ情報LC1−1、LC2−1間の差に基づいて、向き情報を推定する。
まず、情報処理装置100は、右イヤホンCP11が検知したセンサ情報LC1−1が示す位置を、ユーザU1の右耳RE1の位置と推定する。情報処理装置100は、左イヤホンCP12が検知したセンサ情報LC2−1が示す位置を、ユーザU1の左耳LE1の位置を推定する。なお、図2では位置情報をセンサ情報LC1−1やセンサ情報LC2−1といった抽象的な符号で図示するが、実際には、「35度3X分XX.XXX秒(35.xxxxxx)、139度4Y分YYYYYYY秒(139.yyyyyy)」等の具体的な緯度経度情報であるものとする。
そして、情報処理装置100は、ユーザU1の右耳RE1の位置とユーザU1の左耳LE1の位置とに基づいて、ユーザU1の左右方向を推定する。まず、情報処理装置100は、右耳RE1の位置と左耳LE1の位置とを通る直線LN11を導出(算出)する。
例えば、情報処理装置100は、座標変換に関する種々の従来技術を適宜用いて、センサ情報を種々の形式に変換してもよい。例えば、情報処理装置100は、緯度経度情報を平面直角座標の情報に変換してもよい。この場合、情報処理装置100は、座標中の2点を通る直線を導出する処理と同様に、右耳RE1の位置と左耳LE1の位置とを通る直線LN11を導出する。なお、上記は一例であり、情報処理装置100は、種々の情報を適宜用いて、右耳RE1の位置と左耳LE1の位置とを通る直線LN11を導出してもよい。例えば、情報処理装置100は、平面直角座標系に限らず、種々の座標系を用いて、右耳RE1の位置と左耳LE1の位置とを通る直線LN11を導出してもよい。また、情報処理装置100は、緯度経度情報を用いて、右耳RE1の位置と左耳LE1の位置とを通る直線LN11を導出してもよい。
以下では、一例として、センサ情報LC1−1に基づく右耳RE1の座標を(x1,y1)とし、センサ情報LC2−1に基づく左耳LE1の座標を(x2,y2)とした場合を説明する。この場合、情報処理装置100は、例えば下記の式(1)により直線LN11を算出する。
y−y1 = (y2−y1)/(x2−x1)×(x−x1) … (1)
なお、上記式(1)は一例であり、情報処理装置100は、種々の情報を適宜用いて直線LN11を算出してもよい。
そして、情報処理装置100は、右耳RE1の位置を始点として、直線LN11に沿って左耳LE1から離れる方向をユーザU1の右方向と推定する(ステップS13−1)。図2においては、情報処理装置100は、図2の左斜め下の方向をユーザU1の右方向と推定する。
また、情報処理装置100は、左耳LE1の位置を始点として、直線LN11に沿って右耳RE1から離れる方向をユーザU1の左方向と推定する(ステップS13−2)。図2においては、情報処理装置100は、図2の右斜め上の方向をユーザU1の左方向と推定する。
また、情報処理装置100は、右耳RE1の位置と左耳LE1の位置との中心点(中点)を推定する(ステップS13−3)。例えば、情報処理装置100は、座標中の2点の中点を導出する処理と同様に、右耳RE1の位置と左耳LE1の位置との中心点CN1を導出する。このように、情報処理装置100は、右耳RE1と左耳LE1との間の中心、すなわちユーザU1の顔の左右方向の中心を導出してもよい。
図2の例では、情報処理装置100は、例えば下記の式(2)により中心点CN1の座標を(x3,y3)を算出する。
(x3,y3) = ((x1+x2)/2,(y1+y2)/2) … (2)
なお、上記式(2)は一例であり、情報処理装置100は、種々の情報を適宜用いて中心点CN1の座標を算出してもよい。
また、情報処理装置100は、右耳RE1の位置と左耳LE1の位置との間の距離を導出してもよい。例えば、情報処理装置100は、座標中の2点間の距離を導出する処理と同様に、右耳RE1の位置と左耳LE1の位置との間の距離を導出してもよい。このように、情報処理装置100は、右耳RE1と左耳LE1との間の幅、すなわちユーザU1の顔の幅を導出してもよい。
そして、情報処理装置100は、ユーザU1の左右方向を示す直線LN11と、ユーザU1の顔の左右方向の中心CN1とに基づいて、ユーザU1の前後方向を推定する。まず、情報処理装置100は、中心CN1を通り直線LN11に交差する直線LN12を導出(算出)する。例えば、情報処理装置100は、中心CN1を通り直線LN11に直交する直線LN12を導出する。例えば、情報処理装置100は、座標中の直線上の1点を通り、その直線に直交する他の直線を導出する処理と同様に、中心CN1を通り直線LN11に直交する直線LN12を導出する。
例えば、直線LN11の式が、「ax+by+c=0」である場合、情報処理装置100は、例えば下記の式(3)により直線LN12を算出する。なお、「a」、「b」、「c」は、上記式(1)により導出(算出)される数値であり、中心点CN1の座標は、(x3,y3)とする。
b(x−x3)−a(y−y3) = 0 … (3)
なお、上記式(3)は一例であり、情報処理装置100は、種々の情報を適宜用いて直線LN12を算出してもよい。
そして、情報処理装置100は、中心CN1の位置において、右耳RE1の位置を右側として、左耳LE1の位置を左側として臨む向きをユーザU1の前方向と推定する(ステップS13−4)。図2においては、情報処理装置100は、図2の右斜め下の方向をユーザU1の前方向と推定する。これにより、情報処理装置100は、推定したユーザU1の前方向に基づいて、ユーザU1の視線の向きを示す向き情報DR11を推定する。例えば、情報処理装置100は、直線LN12のうち、ユーザU1の前方向に伸びる部分をユーザU1の視線の向きを示す向き情報DR11として推定する。なお、上記は一例であり、情報処理装置100は、種々の情報を適宜用いて、ユーザU1の視線の向きを推定してもよい。
そして、情報処理装置100は、推定したユーザU1の視線の向きに基づいて、ナビゲーションサービスを提供する(ステップS14)。ここで、図1中の地図MP11に示すように、ユーザU1は歩行により移動する。図1の例では、地図MP11中を上から下に移動する場合を示す。図1の地図MP11に示すように、ユーザU1が移動する前方には、Aコンビニ(ランドマークFC11)やBタワー(ランドマークFC12)やCビル(ランドマークFC21)やDカフェ(ランドマークFC22)等が位置する。
例えば、情報処理装置100は、ランドマークFC11、FC12、FC21、FC22等の位置を示す緯度経度情報を平面直角座標の情報に変換してもよい。また、情報処理装置100は、向き情報DR11に対応する線を平面直角座標の情報に変換してもよい。そして、情報処理装置100は、ランドマークFC11、FC12、FC21、FC22等のうち、座標中において向き情報DR11に対応する線が交わるランドマークをユーザU1に情報提供するランドマークと決定する。例えば、情報処理装置100は、向き情報DR11に対応する緯度経度の一覧情報(リスト)と、ランドマークFC11、FC12、FC21、FC22等の所在地の緯度経度情報とを比較することにより、ユーザU1に情報提供するランドマークを決定する。例えば、情報処理装置100は、向き情報DR11に対応する緯度経度の一覧情報(リスト)と、一のランドマークの所在地の緯度経度情報が向き情報DR11に対応する緯度経度の一覧情報(リスト)に含まれる場合、その一のランドマークがユーザU1の視線の向きに位置すると判定し、その一のランドマークの情報を提供すると決定する。
図1中の地図MP11に示すように、ユーザU1の視線上には、複数のランドマークのうち、Aコンビニ(ランドマークFC11)とBタワー(ランドマークFC12)とが位置する。そのため、情報処理装置100は、Aコンビニ(ランドマークFC11)やBタワー(ランドマークFC12)をユーザU1に情報提供するランドマークと決定する。そして、情報処理装置100は、Aコンビニ(ランドマークFC11)やBタワー(ランドマークFC12)の情報をナビ情報として提供する。例えば、情報処理装置100は、「目の前に見えるAコンビニやBタワーの方向に向かって歩いてください」等のユーザU1の視線の先にあるランドマークを示す情報を含んだナビ情報をユーザU1に提供する。
例えば、情報処理装置100は、「目の前に見えるAコンビニやBタワーの方向に向かって歩いてください」といった音声を出力するための情報(「出力用情報」とする)を、イヤホンCP11、CP12に送信する。情報処理装置100から出力用情報を受信したイヤホンCP11、CP12は、「目の前に見えるAコンビニやBタワーの方向に向かって歩いてください」といった音声をナビ情報として出力する。これにより、ユーザU1は、自身が視認している情報とナビ情報との整合性を確認し、目的地へ向かっていることを確認することができる。
ここで、図1中の地図MP11に示すように、ユーザU1との位置関係では、Cビル(ランドマークFC21)やDカフェ(ランドマークFC22)の方が近い。しかし、CビルやDカフェは、ユーザU1の視線の向きに位置しないため、情報処理装置100は、CビルやDカフェではなく、ユーザU1の視線の向きに位置するAコンビニやBタワーの情報をナビ情報として提供する。
なお、視線の中心から所定の領域に位置するランドマークをナビ情報として用いてもよい。例えば、情報処理装置100は、図2中の中心CN1を始点として、直線LN12のうち、ユーザU1の前方向に伸びる部分を中心とする所定の角度(例えば15°や30°等)の範囲に含まれるランドマークの情報をユーザU1に情報提供してもよい。
上述したように、情報処理装置100は、構成装置10から取得したセンサ情報に基づいてユーザU1の視線の向きを推定する。そして、情報処理装置100は、推定したユーザの視線の向きに基づいて、決定したランドマークを含むナビ情報をユーザU1に提供する。これにより、情報処理装置100は、ナビゲーションサービスを適切に提供することができる。
〔1−1.システム構成について〕
なお、上記情報処理を実現するシステム構成については、上述したユーザの視線の向きに基づくナビゲーションサービスが提供可能であれば、どのようなシステム構成であってもよい。すなわち、情報処理システムは、図3に示す情報処理システム1に限らず種々の態様であってもよい。
〔1−1−1.構成装置=情報処理装置〕
図3の情報処理システム1は、サーバとしての情報処理装置100とクライアントとしての構成装置10とを備える構成であり、情報処理装置100と構成装置10とは別体(別装置)であったが、情報処理装置100と構成装置10とは一体であってもよい。すなわち、情報処理システムにおいて、ユーザが装着する装備品に含まれる構成装置10が、上述した情報処理を行う情報処理装置100であってもよい。
図1の例では、装備品AS11に含まれる構成装置10のうち一の構成装置10が、情報処理装置100と一体であってもよい。具体的には、装備品AS11に含まれる右イヤホンCP11と左イヤホンCP12との2つの構成装置10のいずれかが、情報処理装置100と一体であってもよい。また、図1の例では、装備品AS11に含まれるイヤホンCP11、CP12とのうち、一方のみがセンサ情報を検知する機能を有してもよい。例えば、右イヤホンCP11のみがセンサ情報を検知する機能を有する場合、センサ情報を検知する機能を有しない左イヤホンCP12は、ナビ情報の出力のみを行ってもよい。
例えば、左イヤホンCP12が情報処理装置100と一体であってもよい。この場合、左イヤホンCP12が上述した情報処理を行う。例えば、左イヤホンCP12は、右イヤホンCP11からセンサ情報を取得する。そして、左イヤホンCP12は、自装置が検知したセンサ情報と、右イヤホンCP11から取得したセンサ情報とに基づいて、ユーザの視線の向きを推定する。そして、左イヤホンCP12は、推定したユーザの視線の向きに基づいて、ナビゲーションサービスを提供する。例えば、左イヤホンCP12は、ナビゲーションに関する情報を音声で出力したり、右イヤホンCP11に音声出力されるナビゲーションに関する情報を右イヤホンCP11へ送信したりする。
情報処理システムは、ユーザが利用する構成装置10が上述した情報処理を行う情報処理装置100であっても、ナビゲーションサービス(ナビアプリA)の提供元が利用するサーバ装置(ナビサーバ)を備えてもよい。この場合、情報処理装置100である構成装置10は、ナビサーバから最新のナビアプリAの情報を取得したり、ナビゲーションの履歴情報をナビサーバへ提供したりしてもよい。例えば、構成装置10は、最新の地図情報やPOI情報等をサーバ装置から取得したりしてもよい。
〔1−1−2.情報処理装置⇒携帯端末⇒構成装置〕
また、図1の例では、情報処理装置100が構成装置10と通信してナビゲーションサービスを提供する場合を示したが、情報処理装置100は、ユーザが利用する携帯端末50を介して、構成装置10と通信してもよい。例えば、情報処理装置100は、ナビアプリAがインストールされた携帯端末50と通信してもよい。この場合、携帯端末50は、情報処理装置100から受信したナビゲーションに関する情報を構成装置10へ送信し、構成装置10から受信したセンサ情報を情報処理装置100へ送信してもよい。
携帯端末50は、近距離無線通信技術により、構成装置10と通信を行う。例えば、携帯端末50は、NFCに関する種々の従来技術を適宜用いて、構成装置10と通信を行う機能を有する。例えば、携帯端末50は、Bluetooth(登録商標)やWiFi(登録商標)等の種々の従来の無線通信に関する技術を適宜用いて、構成装置10と通信を行ってもよい。すなわち、携帯端末50は、構成装置10との間で情報の送受信が可能であれば、どのような機能により構成装置10と通信を行ってもよい。
例えば、携帯端末50は、構成装置10が検知したセンサ情報を情報処理装置100へ送信する。また、携帯端末50は、情報処理装置100からナビゲーションに関する情報を受信した場合、受信したナビゲーションに関する情報を構成装置10へ送信する。
〔1−1−3.携帯端末=情報処理装置〕
また、情報処理装置100と携帯端末50とは一体であってもよい。すなわち、情報処理システムにおいて、ユーザが利用する携帯端末50が、上述した情報処理を行う情報処理装置100であってもよい。
情報処理システムは、ユーザが利用する携帯端末50が上述した情報処理を行う情報処理装置100であっても、ナビゲーションサービス(ナビアプリA)の提供元が利用するサーバ装置(ナビサーバ)を備えてもよい。この場合、情報処理装置100である携帯端末50は、ナビサーバから最新のナビアプリAの情報を取得したり、ナビゲーションの履歴情報をナビサーバへ提供したりしてもよい。例えば、携帯端末50は、最新の地図情報やPOI情報等をサーバ装置から取得したりしてもよい。
なお、上記は例示であり、情報処理システムは、ナビゲーションサービスが提供可能であれば、どのような構成により実現されてもよい。
〔1−2.向き推定について〕
情報処理装置100は、ユーザが装備品を装着している場合のみにユーザの視線の向きを推定してもよい。すなわち、情報処理装置100は、ユーザが装備品を装着していない場合、ユーザの視線の向きを推定できないと判定してもよい。この場合、装備品の各構成装置10は、センサ部13によりユーザの装着の推定に用いるセンサ情報を検知してもよい。
例えば、構成装置10であるイヤホンCP11、CP12は、圧力センサをセンサ部13に含んでもよい。そして、イヤホンCP11、CP12は、センサ部13に含まれる圧力センサにより検知された圧力情報を情報処理装置100に送信してもよい。
例えば、情報処理装置100は、イヤホンCP11、CP12が検知する圧力情報に基づくイヤホンCP11、CP12に加わる圧力が、人間の耳に挿入された場合の圧力の範囲から外れる場合、イヤホンCP11、CP12が耳に装着されていないと判定して、ユーザU1の視線の向きを推定できないと判定してもよい。
例えば、情報処理装置100は、イヤホンCP11、CP12に加わる圧力が、人間の耳に挿入された場合の圧力の範囲内である場合、イヤホンCP11、CP12が耳に装着されていると判定して、ユーザU1の視線の向きを推定してもよい。
また、図1の例に示すようにGPSセンサ等のセンサにより検知される位置情報には誤差が含まれる場合がある。そのため、情報処理装置100は、ユーザU1がイヤホンCP11、CP12を装着している場合であっても、イヤホンCP11、CP12が検知する位置情報に応じて、ユーザU1の視線の向きを推定できないと判定してもよい。例えば、情報処理装置100は、イヤホンCP11、CP12が検知する位置情報に基づくイヤホンCP11、CP12間の距離に基づいて、ユーザU1の視線の向きを推定できるかどうかを判定してもよい。例えば、情報処理装置100は、イヤホンCP11、CP12間の距離、すなわちユーザU1の顔の幅が、人間の顔の横幅に基づく閾値から外れる場合、位置情報に誤差が含まれると判定して、ユーザU1の視線の向きを推定できないと判定してもよい。
例えば、情報処理装置100は、各構成装置10が検知する位置情報に基づいて推定される各構成装置10間の距離が所定の条件を満たす場合、ユーザの視線の向きを推定できないと判定してもよい。情報処理装置100は、イヤホンCP11、CP12間の距離の距離が所定の条件を満たす場合、ユーザの視線の向きを推定できないと判定してもよい。
例えば、情報処理装置100は、右イヤホンCP11が検知する位置情報と左イヤホンCP12が検知する位置情報とに基づいて推定されるイヤホンCP11、CP12間の距離が所定の閾値(第1閾値)以上である場合、ユーザの視線の向きを推定できないと判定してもよい。情報処理装置100は、推定されるイヤホンCP11、CP12間の距離、すなわちユーザの右耳と左耳との間の距離が第1閾値(例えば「30cm」等)以上である場合、ユーザの視線の向きを推定できないと判定してもよい。
また、情報処理装置100は、右イヤホンCP11が検知する位置情報と左イヤホンCP12が検知する位置情報とに基づいて推定されるイヤホンCP11、CP12間の距離が所定の閾値(第2閾値)未満である場合、ユーザの視線の向きを推定できないと判定してもよい。情報処理装置100は、推定されるイヤホンCP11、CP12間の距離、すなわちユーザの右耳と左耳との間の距離が第2閾値(例えば「5cm」等)未満である場合、ユーザの視線の向きを推定できないと判定してもよい。
なお、上記は例示であり、情報処理装置100は、種々のセンサ情報を適宜用いて、装備品の装着を判定したり、ユーザの視線の向きの推定可否を判定したりしてもよい。
〔1−3.センサ情報について〕
なお、図1の例では、各構成装置10が検知した位置情報をセンサ情報として、ユーザの視線の向きを推定したが、情報処理装置100は、種々のセンサ情報を用いて、ユーザの視線の向きを推定してもよい。例えば、情報処理装置100は、種々のセンサ情報を用いて、ユーザの視線の向きを推定してもよい。また、1つの構成装置10に複数種別のセンサが搭載される場合、装備品に含まれる構成装置10は1つであってもよい。例えば、位置情報を検知するセンサや角速度情報を検知するセンサ等の複数種別のセンサが構成装置10に搭載される場合、装備品に含まれる構成装置10は1つであってもよい。例えば、構成装置10は、1つのイヤホンであってもよい。例えば、装備品の構成装置10は、GPSセンサやジャイロセンサ(角速度センサ)等が搭載された1つのイヤホンであってもよい。この場合、構成装置10のセンサ部13には、GPSセンサやジャイロセンサ等が含まれる。
例えば、情報処理装置100は、ジャイロセンサにより検知される角速度情報に基づいて、ユーザの視線の向きを推定してもよい。例えば、ユーザの耳に装着されるイヤホンである構成装置10のセンサ部13には、ジャイロセンサが含まれ、構成装置10は、ジャイロセンサにより角速度情報を検知する。そして、ジャイロセンサにより角速度情報を検知した構成装置10は、角速度情報をセンサ情報として情報処理装置100に送信する。情報処理装置100は、構成装置10が検知した角速度情報をセンサ情報として、ユーザの視線の向きを推定する。
例えば、情報処理装置100は、種々の方法により起点となるユーザの視線の向き(以下、「初期向き」)と推定し、その初期向きからの視線の変化を角速度情報に基づいて算出し、その変化後のユーザの視線の向きを推定してもよい。すなわち、情報処理装置100は、初期向きと、角速度情報とに基づいて、ユーザの視線の向きを推定してもよい。例えば、情報処理装置100は、初期向きからの向きの変化を角速度情報に基づいて算出し、初期向きよりも後のユーザの視線の向きを推定してもよい。
例えば、情報処理装置100は、ユーザの移動時におけるユーザの進行方向を初期向きと推定してもよい。そして、情報処理装置100は、初期向きと、角速度情報とに基づいて、初期向きよりも後のユーザの視線の向きを推定してもよい。この場合、情報処理装置100は、位置情報の履歴により初期向きを推定し、推定した初期向きと、初期向き推定時よりも後の角速度情報とに基づいて、初期向き推定時よりも後のユーザの視線の向きを推定してもよい。例えば、情報処理装置100は、初期向きを推定するまでの間はGPSセンサにより位置情報を検知し、初期向き推定後においてはジャイロセンサにより角速度を検知してもよい。このように、情報処理装置100は、初期向きを推定する第1センサであるGPSセンサと、初期向き推定後におけるユーザの視線の向きを推定する第2センサであるジャイロセンサとを用いて、ユーザの視線の向きを推定してもよい。
例えば、情報処理装置100は、第1センサが検知した第1センサ情報による推定から、第2センサが検知した第2センサ情報による推定への切替え直前に推定されたユーザの視線の向きを初期向きとして、ユーザの視線の向きを推定してもよい。例えば、情報処理装置100は、第1センサ情報による推定から第2センサ情報による推定への切替え直前に推定された初期向きと、切換え後に第2センサが検知した第2センサ情報とを用いて、ユーザの視線の向きを推定してもよい。具体的には、情報処理装置100は、ジャイロセンサが検知した第2センサ情報による推定への切換え直前の初期向きと、ジャイロセンサが検知した第2センサ情報とに基づく、初期向きからの相対的な向きの推定により、初期向きよりも後のユーザの視線の向きを推定してもよい。
また、情報処理装置100は、ユーザの初期向きを種々の方法により推定してもよい。例えば、情報処理装置100は、ユーザが通常歩いているときの視線の向きを初期向きとして推定してもよい。例えば、情報処理装置100は、ユーザの過去の移動履歴における視線の向きを初期向きとして推定してもよい。例えば、情報処理装置100は、移動中のユーザの進行方向を初期向きとして推定してもよい。例えば、情報処理装置100は、移動中のユーザの進行方向であって地表面(図11等参照)に平行な向きを初期向きとして推定してもよい。
また、情報処理装置100は、地表面との交差する方向、すなわち高さ方向のユーザの視線の向きに基づいて、ナビサービスを提供してもよい。例えば、情報処理装置100は、地表面(水平面)と視線の向きがなす角(仰角)に基づいて、ナビサービスを提供してもよい。例えば、情報処理装置100は、地表面との交差する方向の視線の変化に基づいて、ナビサービスを提供してもよい。例えば、情報処理装置100は、初期向きの情報と、角速度情報とを用いることにより、地表面からの高さ方向を加味したユーザの視線の向きを推定する。例えば、情報処理装置100は、初期向きの情報と、角速度情報とを用いることにより、ユーザの3次元方向の視線の向きを推定する。
情報処理装置100は、ユーザの移動の変化と地表面との交差する方向の視線の変化とに基づいて、ナビサービスを提供してもよい。例えば、情報処理装置100は、歩いていたユーザが立ち止まって、上方向を見たことを示す視線の向きの変化を捕捉した場合、ユーザが見上げた方向に基づくナビサービスを提供してもよい。例えば、情報処理装置100は、歩いていたユーザが、立ち止まってビルの上階を見ていることなどを検知して、その視点に基づいた情報提供を行ってもよい。
図11の例において、情報処理装置100は、地図MP51中のユーザU51が立ち止まって、視線の向き情報DR51が上方に変化したことを検知した場合、ユーザU51が見上げた方向に位置するBタワーに関するナビ情報を提供してもよい。この場合、情報処理装置100は、ユーザU51が立ち止まったことをユーザU51の位置情報の変化から推定する。また、情報処理装置100は、ユーザU51の初期向きを示す視線の向き情報DR51からの変化を角速度情報から推定する。
図11の例では、情報処理装置100は、地表面GR51に平行(仰角が0度)である向き情報DR51から、ユーザU51が左斜め上を見上げた方向(例えば仰角が15度等)への変化を角速度情報に基づいて推定する。これにより、情報処理装置100は、歩いていたユーザU51が、立ち止まって構造物の上側を見ていることなどを検知して、その視点に基づいた情報提供が可能となる。
例えば、情報処理装置100は、地磁気センサにより検知される地磁気情報に基づいて、ユーザの視線の向きを推定してもよい。この場合、構成装置10のセンサ部13には、地磁気センサが含まれてもよい。情報処理装置100は、構成装置10が検知した地磁気情報をセンサ情報として、ユーザの視線の向きを推定してもよい。
例えば、情報処理装置100は、加速度センサにより検知される加速度情報に基づいて、ユーザの視線の向きを推定してもよい。この場合、構成装置10のセンサ部13には、加速度センサが含まれてもよい。情報処理装置100は、構成装置10が検知した加速度情報をセンサ情報として、ユーザの視線の向きを推定してもよい。なお、上記は例示であり、情報処理装置100は、ユーザの視線の向きを推定可能であれば、どのような種別のセンサ情報を用いてもよい。
〔1−4.ナビゲーションについて〕
なお、情報処理装置100は、種々の態様によりナビゲーションサービスをユーザに提供してもよい。情報処理装置100は、ユーザの視線の向きの変化の頻度に基づいて、ナビゲーションサービスをユーザに提供してもよい。例えば、情報処理装置100は、ユーザの視線の向きの変化の頻度を測定し、頻度に応じてユーザにナビゲーションサービスを提供してもよい。
この場合、情報処理装置100は、ユーザの視線の向きの変化量が所定量以上である場合、ユーザの視線の向きが変化したとして、その頻度を測定してもよい。そして、情報処理装置100は、測定した頻度に応じてユーザにナビゲーションサービスを提供してもよい。情報処理装置100は、推定時ユーザの視線の向き(以下、「第1向き」とする)と、その推定時の直前に推定されたユーザの視線の向き(以下、「第2向き」とする)との変化量が所定量以上である場合、視線の向きが変化したとして、その頻度をカウント(計数)する。例えば、情報処理装置100は、初期向きを第1向きとした場合、初期向き推定の後最初に推定されたユーザの視線の第2向きが初期向きから所定量以上変化している場合、視線の向きが変化したとして頻度をカウントする。例えば、情報処理装置100は、第1向きと第2向きとの差が所定量以上である場合、視線の向きが変化したとして頻度をカウントする。
また、この場合、情報処理装置100は、所定の期間における頻度が所定の閾値(変化頻度閾値)以上である場合、ユーザにナビゲーションサービスを提供してもよい。例えば、情報処理装置100は、1分間におけるユーザの向きの変化の頻度が変化頻度閾値「5」回以上である場合、ユーザにナビゲーションサービスを提供してもよい。例えば、情報処理装置100は、所定の期間における頻度が変化頻度閾値以上である場合、案内ルート等に関する詳細なナビゲーション情報を提供してもよい。
例えば、情報処理装置100は、所定の期間における頻度が変化頻度閾値以上である場合、ユーザが迷っていると推定してもよい。また、例えば、情報処理装置100は、所定の期間における頻度が変化頻度閾値以上である場合、ユーザが確認を求めていると推定してもよい。そして、情報処理装置100は、ユーザが迷っている、または、ユーザが確認を求めていると推定した場合、案内ルート等に関する詳細なナビゲーション情報を提供してもよい。なお、上記は例示であり、情報処理装置100は、種々の方法によりユーザの視線の変化の頻度をカウントし、ユーザの視線の変化の頻度に基づいて、ナビサービスを提供してもよい。
例えば、情報処理装置100は、種々のタイミングでナビ情報を出力してもよい。例えば、情報処理装置100は、ユーザからの要求があったタイミングで、ユーザの要求に対応するナビ情報を出力してもよい。例えば、情報処理装置100は、ユーザの移動が所定の条件を満たした場合に、ユーザの移動に対応するナビ情報を出力してもよい。
例えば、情報処理装置100は、ユーザの移動に関する情報を取得し、ユーザの移動が所定の条件を満たす場合、ユーザにナビゲーションサービスを提供してもよい。例えば、情報処理装置100は、ユーザの位置情報の履歴を取得し、ユーザの移動が目的地へのルートから外れている場合、ユーザにルートから外れていることを示すナビ情報を提供してもよい。
例えば、情報処理装置100は、ユーザの移動が停止した際に、ユーザにナビゲーションサービスを提供してもよい。例えば、情報処理装置100は、ユーザの位置情報に基づいて、ユーザの信号待ち等により移動を停止したタイミングで、ユーザにナビゲーションサービスを提供してもよい。
例えば、情報処理装置100は、ナビゲーションサービスの提供時におけるユーザの要求情報を取得し、ユーザの移動が所定の条件を満たす場合、ユーザの要求情報に応じて、ユーザにナビゲーションサービスを提供してもよい。例えば、情報処理装置100は、ユーザの移動ルートと、ナビゲーションサービスが案内する案内ルートの確認に関する要求情報を取得し、ユーザの移動ルートが案内ルートに沿うかどうかを示す情報を提供してもよい。
例えば、情報処理装置100は、ナビ開始後にユーザが「このルートで合っている?」などのルートの確認をする発話を行った場合、ユーザの位置情報の履歴に基づいて推定されるユーザの移動ルートが、案内ルートにあっているかを示すナビ情報を提供してもよい。例えば、情報処理装置100は、ユーザの移動ルートが案内ルートに沿っている場合、「この移動ルートで合っています」等のユーザの移動ルートが正しいことを示すナビ情報をユーザに提供する。また、例えば、情報処理装置100は、ユーザの移動ルートが案内ルートに沿っていない場合、「この移動ルートは案内ルートから逸脱しています」等のユーザの移動ルートが正しくないことを示すナビ情報をユーザに提供する。
例えば、情報処理装置100は、ユーザの移動ルートが案内ルートに沿っている場合、所定の音声を出力してもよい。例えば、情報処理装置100は、ユーザの移動ルートが案内ルートに沿っている場合、定期的(例えば5秒おき等)に、「ピン」等の所定の音声を出力するナビ情報を提供してもよい。また、例えば、情報処理装置100は、案内ルートの向きとユーザの視線の向きとの差を示す情報をナビ情報としてユーザに提供する。例えば、情報処理装置100は、案内ルートの向きとユーザの視線の向きとが真逆である場合、「案内ルートは後ろの方向です」等のナビ情報をユーザに提供する。例えば、情報処理装置100は、案内ルートの向きとユーザの視線の向きのなす角が180°である場合、「案内ルートは後ろの方向です」等のナビ情報をユーザに提供してもよい。
〔1−4−1.高さに基づくナビゲーション〕
また、情報処理装置100は、各ランドマークの高さ情報に基づいて、ユーザに提供するナビ情報を決定してもよい。この点について、図11を用いて説明する。図11は、実施形態に係るナビサービスの提供の一例を示す図である。なお、図1及び図2と同様の点については適宜説明を省略する。
まず、図11中の地図MP51の場合を説明する。図11中の地図MP51に示例では、ユーザU51の視線の向きを示す向き情報DR51を推定する(ステップS51)。図11中の地図MP51に示すように、ユーザU51の視線上には、Aコンビニ(ランドマークFC11)とBタワー(ランドマークFC12)とが位置する。そのため、情報処理装置100は、推定したユーザU51の視線の向きに基づいて、ナビゲーションサービスを提供する(ステップS52)。
ここで、ユーザU51との位置関係では、Aコンビニ(ランドマークFC11)の方がBタワー(ランドマークFC12)よりも近接した位置にある。また、Bタワーの高さHT12は、Aコンビニの高さHT11よりも高い。そのため、情報処理装置100は、AコンビニとBタワーの両方をユーザU51が視認可能であると推定する。これにより、情報処理装置100は、AコンビニとBタワーの両方をユーザU51に情報提供するランドマークと決定する。そして、情報処理装置100は、Aコンビニ(ランドマークFC11)やBタワー(ランドマークFC12)の情報をナビ情報として提供する。例えば、情報処理装置100は、「目の前に見えるAコンビニやBタワーの方向に向かって歩いてください」等のユーザU51の視線の先にあるランドマークを示す情報を含んだナビ情報をユーザU51に提供する。
なお、情報処理装置100は、種々の情報を基にユーザの視線の高さを決定してもよい。情報処理装置100は、種々の情報を基にユーザU51の視線の向きを示す向き情報DR51の地表面GR51からの距離を決定してもよい。情報処理装置100は、ユーザ情報記憶部123(図6参照)に記憶されたユーザの視線の高さを示す情報を用いてもよい。また、情報処理装置100は、ユーザ情報記憶部123(図6参照)に記憶されたユーザの身長を示す情報を基に、ユーザの視線の高さを推定してもよい。また、情報処理装置100は、人間の目線の高さの平均をユーザの視線の高さとして用いてもよい。
また、情報処理装置100は、視線の角度を推定可能であれば、その情報を用いて提供するナビ情報を決定してもよい。例えば、情報処理装置100は、地表面GR51とユーザの視線の向きを示す向き情報DR51がなす角(仰角)と、ユーザとランドマークとの位置関係に基づいて、ユーザが視認できるランドマークを推定してもよい。この場合、情報処理装置100は、ユーザが視認できると推定したランドマークの情報をナビ情報としてもよい。例えば、情報処理装置100は、地図MP51においてユーザU51がAコンビニにさらに近接し、ユーザU51の視線上にBタワーが含まれなくなった場合、Bタワーをナビ情報として提供してもよい。
次に、図11中の地図MP61の場合を説明する。図11中の地図MP61に示例では、ユーザU61の視線の向きを示す向き情報DR61を推定する(ステップS61)。図11中の地図MP61に示すように、ユーザU61の視線上には、Cビル(ランドマークFC21)やDカフェ(ランドマークFC22)が位置する。そのため、情報処理装置100は、推定したユーザU61の視線の向きに基づいて、ナビゲーションサービスを提供する(ステップS62)。
ここで、ユーザU61との位置関係では、Cビル(ランドマークFC21)の方がDカフェ(ランドマークFC22)よりも近接した位置にある。また、Dカフェの高さHT22は、Cビルの高さHT21よりも低い。そのため、情報処理装置100は、DカフをユーザU61が視認不可能であると推定する。これにより、情報処理装置100は、CビルのみをユーザU61に情報提供するランドマークと決定する。そして、情報処理装置100は、Cビル(ランドマークFC21)の情報をナビ情報として提供する。例えば、情報処理装置100は、「目の前に見えるCビルの方向に向かって歩いてください」等のユーザU61の視線の先にあるランドマークを示す情報を含んだナビ情報をユーザU61に提供する。
〔2.情報処理装置の構成〕
次に、図4を用いて、実施形態に係る情報処理装置100の構成について説明する。図4は、実施形態に係る情報処理装置100の構成例を示す図である。図4に示すように、情報処理装置100は、通信部110と、記憶部120と、制御部130とを有する。なお、情報処理装置100は、情報処理装置100の管理者等から各種操作を受け付ける入力部(例えば、キーボードやマウス等)や、各種情報を表示するための表示部(例えば、液晶ディスプレイ等)を有してもよい。
(通信部110)
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部110は、ネットワークと有線または無線で接続され、外部の情報処理装置との間で情報の送受信を行う。通信部110は、携帯端末50や構成装置10との間で情報の送受信を行う。
(記憶部120)
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。実施形態に係る記憶部120は、図4に示すように、地図情報記憶部121と、POI情報記憶部122と、ユーザ情報記憶部123と、センサ履歴記憶部124と、推定情報記憶部125とを有する。なお、地図情報記憶部121は、図示を省略するが、ナビアプリAが出力する地図情報や道路情報等、ナビサービスを提供するために用いる各種情報を記憶する。また、地図情報記憶部121は、ナビアプリAのサービスを提供可能であれば、どのような情報を記憶してもよい。例えば、地図情報記憶部121は、ナビアプリAのサービスに用いるノードの識別ID等のノードに関する情報やリンクの識別ID等のリンクに関する情報を記憶してもよい。
(POI情報記憶部122)
実施形態に係るPOI情報記憶部122は、端末関連情報を記憶する。図5は、実施形態に係るPOI情報記憶部の一例を示す図である。図5に示すPOI情報記憶部122には、地図上に位置する各種の施設等のPOI(関心地点)に関する情報が記憶される。図5に示すPOI情報記憶部122には、「POI_ID」、「POI」、「位置情報」、「高さ情報」といった項目が含まれる。
「POI_ID」は、各種のPOIを識別する情報を示す。「POI」は、POIの具体的な名称等を示す。また、「位置情報」は、対応するPOIが所在する位置を示す。図5では「位置情報」に「LC11」といった概念的な情報が格納される例を示したが、実際には、「35度3X分XX.XXX秒(35.xxxxxx)、139度4Y分YYYYYYY秒(139.yyyyyy)」等の具体的な緯度経度情報であってもよい。また、「位置情報」は、POIの具体的な位置を示す住所であってもよい。また、「高さ情報」は、対応するPOIの高さを示す。図5では「高さ情報」に「HT11」といった概念的な情報が格納される例を示したが、実際には、「10m」や「300m」等のPOIの高さを示す具体的な数値であってもよい。
図5に示す例では、POI_ID「FC1」により識別されるPOIは、「Aコンビニ」であり、位置LC11に位置することを示す。また、Aコンビニの高さは、高さ「HT11」であることを示す。
なお、POI情報記憶部122は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、POI情報記憶部122には、営業時間等のそのPOIが利用可能な日時を示す情報が記憶されてもよい。
(ユーザ情報記憶部123)
実施形態に係るユーザ情報記憶部123は、ユーザに関する各種情報を記憶する。例えば、ユーザ情報記憶部123は、ユーザ属性に関する各種情報を記憶する。図6は、実施形態に係るユーザ情報記憶部の一例を示す図である。図6に示すユーザ情報記憶部123は、「ユーザID」、「性別」、「年齢」、「装備品情報」といった項目が含まれる。
「ユーザID」は、ユーザを識別するための識別情報を示す。また、「性別」は、ユーザIDにより識別されるユーザの性別を示す。また、「年齢」は、ユーザIDにより識別されるユーザの年齢を示す。なお、「年齢」は、例えば35歳など、ユーザIDにより識別されるユーザの具体的な年齢であってもよい。また、「装備品情報」は、ユーザIDにより識別されるユーザの装備品に関する情報を示す。
「装備品情報」には、「装備品ID」、「装備品」、「構成装置ID」、「構成装置」、「装着部位」、「センサID」、「センサ」、「検知対象」といった項目が含まれる。「装備品ID」は、ユーザに利用される各装備品を識別するための識別情報を示す。「装備品」は、対応する装備品IDにより識別される装備品の名称や種別等の具体的な内容等を示す。「構成装置ID」は、対応する装備品の各構成装置を識別するための識別情報を示す。「構成装置」は、対応する構成装置IDにより識別される構成装置の名称や種別等の具体的な内容等を示す。「装着部位」は、対応する構成装置IDにより識別される構成装置が装着されるユーザの体の部位を示す。
「センサID」は、対応する構成装置に搭載される各センサを識別するための識別情報を示す。「センサ」は、対応するセンサIDにより識別されるセンサの名称や種別等の具体的な内容等を示す。「検知対象」は、対応するセンサが検知する対象を示す。例えば、「検知対象」は、対応するセンサによりどのような情報が検知されるかを示す。
図6に示す例では、ユーザID「U1」により識別されるユーザ(図1中のユーザU1に対応)の性別は「男性」であり、年齢は「20代」であることを示す。また、ユーザU1は、装備品ID「AS11」により識別される装備品(装備品AS11)を装着する物品として利用していることを示す。装備品AS11は、イヤホンであることを示す。装備品AS11の構成装置10は、構成装置ID「CP11」により識別される右イヤホン(右イヤホンCP11)と、構成装置ID「CP12」により識別される左イヤホン(右イヤホンCP11)との2つであることを示す。
また、右イヤホンCP11の装着部位は、右耳であることを示す。また、左イヤホンCP12の装着部位は、左耳であることを示す。すなわち、右イヤホンCP11は、ユーザU1の右耳RE1に装着される構成装置10であり、左イヤホンCP12は、ユーザU1の左耳LE1に装着される構成装置10であることを示す。
右イヤホンCP11には、センサID「SN11」により識別されるセンサ(センサSN11)が搭載されていることを示す。センサSN11は、GPSセンサであり、検知対象が位置であることを示す。すなわち、構成装置10である右イヤホンCP11のセンサ部13には、位置を検知するGPSセンサであるセンサSN11が含まれることを示す。
左イヤホンCP12には、センサID「SN12」により識別されるセンサ(センサSN12)が搭載されていることを示す。センサSN12は、GPSセンサであり、検知対象が位置であることを示す。すなわち、構成装置10である左イヤホンCP12のセンサ部13には、位置を検知するGPSセンサであるセンサSN12が含まれることを示す。
なお、ユーザ情報記憶部123は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、ユーザ情報記憶部123は、氏名、居住地、興味、家族構成、収入、ライフスタイル等の情報を記憶してもよい。
(センサ履歴情報記憶部124)
実施形態に係るセンサ履歴情報記憶部124は、検知に関する各種情報を記憶する。例えば、センサ履歴情報記憶部124は、検知を行った装置やセンサや検知されたセンサ情報等の各種情報を記憶する。図7は、実施形態に係るセンサ履歴情報記憶部の一例を示す図である。図7に示すセンサ履歴情報記憶部124は、「ユーザID」、「ログ情報」といった項目が含まれる。
「ユーザID」は、ユーザを識別するための識別情報を示す。「ログ情報」には、「日時」、「検知ID」、「対象」、「検知構成装置」、「検知センサ」、「センサ情報」といった項目が含まれる。
「日時」は、センサ情報が検知された日時を示す。なお、図7の例では、「日時」に記憶される情報を「DT11」等の符号で図示するが、「日時」には、「2018年3月14日23時18分49秒」等の具体的な日時が記憶されるものとする。「検知ID」は、センサによるセンサ情報の各検知を識別するための識別情報を示す。「対象」は、対応する検知IDにより識別される検知において検知されたセンサ情報の対象を示す。
「検知構成装置」は、対応するセンサ情報を検知した構成装置を示す。すなわち、「検知構成装置」は、対応するセンサ情報を検知したセンサが搭載される構成装置を示す。「検知センサ」は、対応するセンサ情報を検知したセンサを示す。「センサ情報」は、検知されたセンサ情報を示す。図7では「センサ情報」に「LC11−1」、「LC12−2」といった概念的な情報が格納される例を示したが、実際には、「35度3X分XX.XXX秒(35.xxxxxx)、139度4Y分YYYYYYY秒(139.yyyyyy)」等の具体的な緯度経度情報であってもよい。
図7に示す例では、ユーザID「U1」により識別されるユーザ(図1中のユーザU1に対応)については、日時DT11において、検知ID「LG11−1」により識別される検知(検知LG11−1)と、検知ID「LG11−2」により識別される検知(検知LG11−2)とが行われたことを示す。また、ユーザU1については、日時DT12において、検知ID「LG12−1」により識別される検知(検知LG12−1)と、検知ID「LG12−2」により識別される検知(検知LG12−2)とが行われたことを示す。また、検知LG11−1、LG11−2、LG12−1、LG12−2において検知されたセンサ情報の対象は「位置」であることを示す。
また、検知LG11−1、LG11−2は、右イヤホンCP11に搭載されたセンサSN11より検知されたことを示す。また、検知LG12−1、LG12−2は、左イヤホンCP12に搭載されたセンサSN12より検知されたことを示す。
また、日時DT11の検知LG11−1において検知された位置情報は、センサ情報LC11−1であることを示す。日時DT12の検知LG11−2において検知された位置情報は、センサ情報LC11−2であることを示す。日時DT11の検知LG12−1において検知された位置情報は、センサ情報LC12−1であることを示す。日時DT12の検知LG12−2において検知された位置情報は、センサ情報LC12−2であることを示す。
なお、センサ履歴情報記憶部124は、上記に限らず、目的に応じて種々の情報を記憶してもよい。
(推定情報記憶部125)
実施形態に係る推定情報記憶部125は、推定した各種情報を記憶する。例えば、推定情報記憶部125は、推定したユーザの向きに関する各種情報を記憶する。図8は、実施形態に係る推定情報記憶部の一例を示す図である。図8に示す推定情報記憶部125は、「ユーザID」、「推定情報」といった項目が含まれる。
「ユーザID」は、ユーザを識別するための識別情報を示す。「推定情報」には、「日時」、「推定ID」、「向き情報」、「視認エリア」、「対応POI1」、「対応POI2」といった項目が含まれる。
「日時」は、推定されたユーザの視線の向き情報に対応する日時を示す。例えば、「日時」は、ユーザの視線の向き情報の推定に用いられたセンサ情報が検知された日時を示す。なお、図8の例では、「日時」に記憶される情報を「DT11」等の符号で図示するが、「日時」には、「2018年3月14日23時18分49秒」等の具体的な日時が記憶されるものとする。「推定ID」は、各推定を識別するための識別情報を示す。「向き情報」は、対応する推定IDにより識別される推定において推定されたユーザの視線の向きを示す情報を示す。
「視認エリア」は、対応する日時においてユーザが視認できる範囲を示す。「視認エリア」は、向き情報に基づいて推定されるユーザが視認できる範囲を示す。図8では「視認エリア」に「AR11」といった概念的な情報が格納される例を示したが、実際には、緯度経度のリストや「○○町○○番地」等の具体的な範囲を示すであってもよい。例えば、「視認エリア」は、ユーザの視線が通る緯度経度の一覧情報(リスト)が格納されてもよい。
「対応POI1」は、対応する日時においてユーザが視認できるPOI範囲を示す。「対応POI1」は、向き情報に基づいて推定されるユーザが視認できるPOIを示す。「対応POI2」は、対応する日時においてユーザが視認できるPOI範囲を示す。「対応POI2」は、向き情報に基づいて推定されるユーザが視認できるPOIを示す。なお、図8の例では、「対応POI1」、「対応POI2」の2つのみを図示するが、「対応POI1」、「対応POI2」に限らず、ユーザが視認可能なPOIの数に対応して「対応POI3」、「対応POI4」等の多数のPOIを示す情報が含まれてもよい。
図8に示す例では、ユーザID「U1」により識別されるユーザ(図1中のユーザU1に対応)については、日時DT11において、推定ID「ES11」により識別される推定(推定ES11)が行われたことを示す。また、ユーザU1については、日時DT11において、視線の向きが向き情報DR11であると推定されることを示す。また、日時DT11において、ユーザU1が視認可能なエリアは視認エリアAR11であると推定されることを示す。また、日時DT11において、ユーザU1が視認可能なPOIは、POI_ID「FC11」により識別されるPOIであるAコンビニや、POI_ID「FC12」により識別されるPOIであるBタワーであることを示す。
なお、推定情報記憶部125は、上記に限らず、目的に応じて種々の情報を記憶してもよい。
(制御部130)
図4の説明に戻って、制御部130は、コントローラ(controller)であり、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、情報処理装置100内部の記憶装置に記憶されている各種プログラム(情報処理プログラムの一例に相当)がRAMを作業領域として実行されることにより実現される。また、制御部130は、コントローラであり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
図4に示すように、制御部130は、取得部131と、推定部132と、決定部133と、提供部134とを有し、以下に説明する情報処理等を含む各種情報処理の機能や作用を実現または実行する。なお、制御部130の内部構成は、図4に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
(取得部131)
取得部131は、各種情報を取得する。例えば、取得部131は、記憶部120から各種情報を取得する。例えば、取得部131は、地図情報記憶部121やPOI情報記憶部122やユーザ情報記憶部123やセンサ履歴記憶部124や推定情報記憶部125から各種情報を取得する。
例えば、取得部131は、外部の情報処理装置から各種情報を取得する。例えば、取得部131は、ユーザが利用する構成装置10から各種情報を取得する。例えば、取得部131は、ユーザが利用する各構成装置10からセンサ情報を取得する。例えば、取得部131は、ナビアプリAがインストールされた各構成装置10からセンサ情報を取得する。
取得部131は、ユーザが利用する構成装置10が収集したセンサ情報を取得する。例えば、取得部131は、ナビゲーションに関するアプリケーションがインストールされた構成装置10が収集したセンサ情報を取得する。例えば、取得部131は、構成装置10のセンサ部13が検知した位置情報を取得する。
取得部131は、ユーザが装着した装備品AS11に設けられた複数のセンサの各々が検知した複数のセンサ情報を取得する。取得部131は、ユーザの頭部に装着される装備品AS11に設けられた複数のセンサの各々が検知した複数のセンサ情報を取得する。取得部131は、ユーザの耳に装着される装備品AS11に設けられた複数のセンサの各々が検知した複数のセンサ情報を取得する。
取得部131は、分離した複数の構成装置10からなる装備品AS11に設けられた複数のセンサの各々が検知した複数のセンサ情報を取得する。取得部131は、装備品AS11の複数の構成装置10の各々に設けられた複数のセンサの各々が検知した複数のセンサ情報を取得する。取得部131は、複数の構成装置である一対のイヤホンCP11、CP12の各々に設けられた複数のセンサの各々が検知した複数のセンサ情報を取得する。
取得部131は、ナビゲーションサービスの提供時におけるユーザの要求情報を取得する。取得部131は、ユーザの移動に関する情報を取得する。取得部131は、ユーザの移動ルートと、ナビゲーションサービスが案内する案内ルートの確認に関する要求情報を取得する。取得部131は、位置情報を検知する複数のセンサの各々が検知した複数の位置情報を複数のセンサ情報として取得する。
取得部131は、イヤホンである装備品に設けられた複数のセンサの各々が検知した複数のセンサ情報を取得する。取得部131は、角速度情報を検知するジャイロセンサを含む複数のセンサの各々が検知した複数のセンサ情報を取得する。取得部131は、位置情報を検知するGPSセンサを含む複数のセンサの各々が検知した複数のセンサ情報を取得する。
図1及び図2の例では、取得部131は、ユーザU1の頭部HD1に装着される装備品AS11に設けられた複数のセンサの各々が検知した複数のセンサ情報を取得する。取得部131は、ユーザU1の頭部HD1に装着される装備品AS11の複数の構成装置10の各々に設けられた複数のセンサ(センサ部13)の各々が検知した複数のセンサ情報を取得する。取得部131は、ユーザU1の右耳RE1に装着される右イヤホンCP11に設けられたセンサ部13が検知した位置情報であるセンサ情報LC11−1を取得する。また、取得部131は、ユーザU1の左耳LE1に装着される右イヤホンCP12に設けられたセンサ部13が検知した位置情報であるセンサ情報LC11−2を取得する。
(推定部132)
推定部132は、種々の情報を推定する。推定部132は、取得部131により取得された各種情報に基づいて種々の情報を推定する。推定部132は、記憶部120に記憶された各種情報に基づいて種々の情報を推定する。例えば、推定部132は、各構成装置10から取得されるセンサ情報に基づいて、種々の情報を推定する。
推定部132は、取得部131により取得された複数のセンサ情報に基づいて、向き情報を推定する。推定部132は、複数のセンサの各々が検知した複数のセンサ情報間の差に基づいて、向き情報を推定する。推定部132は、一のタイミングで複数のセンサの各々が検知した複数のセンサ情報間の差に基づいて、向き情報を推定する。推定部132は、複数のセンサ情報検知時のユーザの移動に関する情報と、ユーザの移動履歴に関する情報との差に基づいて、向き情報を推定する。推定部132は、複数のセンサ情報検知時のユーザの移動に関する情報と、ユーザの移動履歴から推定されるユーザの通常移動に関する情報との差に基づいて、向き情報を推定する。推定部132は、複数のセンサ情報から推定されるユーザの移動と、ユーザの移動履歴から推定されるユーザの通常時の移動との差に基づいて、向き情報を推定する。
図1及び図2の例では、推定部132は、イヤホンCP11、CP12から取得したセンサ情報に基づいて、ユーザの視線の向きを推定する。例えば、推定部132は、図2の示すような処理により、ユーザU1の視線の向きを推定する。推定部132は、右イヤホンCP11が検知したセンサ情報LC1−1が示す位置を、ユーザU1の右耳RE1の位置と推定する。推定部132は、左イヤホンCP12が検知したセンサ情報LC2−1が示す位置を、ユーザU1の左耳LE1の位置を推定する。
推定部132は、ユーザU1の右耳RE1の位置とユーザU1の左耳LE1の位置とに基づいて、ユーザU1の左右方向を推定する。まず、推定部132は、右耳RE1の位置と左耳LE1の位置とを通る直線LN11を導出(算出)する。例えば、推定部132は、座標変換に関する種々の従来技術を適宜用いて、センサ情報を種々の形式に変換してもよい。例えば、推定部132は、緯度経度情報を平面直角座標の情報に変換してもよい。この場合、推定部132は、座標中の2点を通る直線を導出する処理と同様に、右耳RE1の位置と左耳LE1の位置とを通る直線LN11を導出する。
推定部132は、右耳RE1の位置を始点として、直線LN11に沿って左耳LE1から離れる方向をユーザU1の右方向と推定する。図2においては、推定部132は、図2の左斜め下の方向をユーザU1の右方向と推定する。推定部132は、左耳LE1の位置を始点として、直線LN11に沿って右耳RE1から離れる方向をユーザU1の左方向と推定する。図2においては、推定部132は、図2の右斜め上の方向をユーザU1の左方向と推定する。
推定部132は、右耳RE1の位置と左耳LE1の位置との中心点(中点)を推定する。例えば、推定部132は、座標中の2点の中点を導出する処理と同様に、右耳RE1の位置と左耳LE1の位置との中心点CN1を導出する。また、推定部132は、右耳RE1の位置と左耳LE1の位置との間の距離を導出してもよい。例えば、推定部132は、座標中の2点間の距離を導出する処理と同様に、右耳RE1の位置と左耳LE1の位置との間の距離を導出してもよい。
推定部132は、ユーザU1の左右方向を示す直線LN11と、ユーザU1の顔の左右方向の中心CN1とに基づいて、ユーザU1の前後方向を推定する。推定部132は、中心CN1を通り直線LN11に交差する直線LN12を導出(算出)する。例えば、推定部132は、中心CN1を通り直線LN11に直交する直線LN12を導出(算出)する。例えば、推定部132は、座標中の直線上の1点を通り、その直線に直交する他の直線を導出する処理と同様に、中心CN1を通り直線LN11に直交する直線LN12を導出する。
推定部132は、中心CN1の位置において、右耳RE1の位置を右側として、左耳LE1の位置を左側として臨む向きをユーザU1の右方向と推定する。図2においては、推定部132は、図2の右斜め下の方向をユーザU1の前方向と推定する。推定部132は、推定したユーザU1の前方向に基づいて、ユーザU1の視線の向きを示す向き情報DR11を推定する。例えば、推定部132は、直線LN12のうち、ユーザU1の前方向に伸びる部分をユーザU1の視線の向きを示す向き情報DR11として推定する。
(決定部133)
決定部133は、種々の情報を決定する。決定部133は、取得部131により取得された各種情報に基づいて種々の情報を決定する。決定部133は、記憶部120に記憶された各種情報に基づいて種々の情報を決定する。例えば、決定部133は、取得部131により取得された情報に基づいて、ナビゲーションに関する情報を決定する。例えば、決定部133は、取得部131により取得されたセンサ情報に基づいて、ナビゲーションに関する情報を決定する。例えば、決定部133は、センサ情報に基づいて、ユーザに提供する移動ルートに関する情報を決定する。例えば、決定部133は、センサ情報に基づいて、ユーザに提供するPOIに関する情報を決定する。
決定部133は、推定部132により推定されたユーザの視線の向きに関する向き情報に基づいて、ユーザに提供する情報を決定する。例えば、決定部133は、推定部132により推定されたユーザの視線の向きに位置するPOIを示す情報をユーザに提供すると決定する。
図1及び図2の例では、決定部133は、ランドマークFC11、FC12、FC21、FC22等のうち、座標中において向き情報DR11に対応する線が交わるランドマークをユーザU1に情報提供するランドマークと決定する。決定部133は、Aコンビニ(ランドマークFC11)やBタワー(ランドマークFC12)をユーザU1に情報提供するランドマークと決定する。
(提供部134)
提供部134は、各種サービスを提供する。提供部134は、記憶部120に記憶された各種情報に基づいて各種サービスを提供する。提供部134は、外部の情報処理装置に各種情報を提供する。提供部134は、外部の情報処理装置に各種情報を送信する。提供部134は、外部の情報処理装置に各種情報を配信する。例えば、提供部134は、構成装置10に各種情報を提供する。また、提供部134は、構成装置10を装着したユーザに対して、ナビゲーションサービスを提供する。
提供部134は、取得部131により取得された複数のセンサ情報により推定されるユーザの視線の向きに関する向き情報に基づいて、ユーザにナビゲーションサービスを提供する。提供部134は、装備品からの所定の出力により、ユーザにナビゲーションサービスを提供する。提供部134は、装備品からの音声出力により、ユーザにナビゲーションサービスを提供する。
提供部134は、ユーザの視線の向きの変化の頻度を測定し、頻度に応じてユーザにナビゲーションサービスを提供する。提供部134は、ユーザの視線の向きの変化量が所定量以上である場合、変化として頻度を測定し、頻度に応じてユーザにナビゲーションサービスを提供する。提供部134は、所定の期間における頻度が所定の閾値以上である場合、ユーザにナビゲーションサービスを提供する。
提供部134は、ユーザの移動が所定の条件を満たす場合、ユーザにナビゲーションサービスを提供する。提供部134は、ユーザの移動が停止した際に、ユーザにナビゲーションサービスを提供する。提供部134は、ユーザの要求情報に応じて、ユーザにナビゲーションサービスを提供する。提供部134は、ユーザの移動ルートが案内ルートに沿うかどうかを示す情報を提供する。提供部134は、複数のセンサ情報により推定されるユーザの顔の向きを示す向き情報に基づいて、ユーザにナビゲーションサービスを提供する。
例えば、提供部134は、ナビアプリAに関する情報を構成装置10に提供し、ナビアプリAを構成装置10にインストールさせることにより、ナビサービスを提供する。例えば、提供部134は、ナビアプリAにより、構成装置10を利用するユーザが徒歩等による目的地までの移動を案内するナビサービスを提供する。
図1及び図2の例では、提供部134は、推定したユーザU1の視線の向きに基づいて、ナビゲーションサービスを提供する。提供部134は、「目の前に見えるAコンビニやBタワーの方向に向かって歩いてください」等のユーザU1の視線の先にあるランドマークを示す情報を含んだナビ情報をユーザU1に提供する。
〔3.端末装置の構成〕
次に、図9を用いて、実施形態に係る構成装置10の構成について説明する。図9は、実施形態に係る端末装置の構成例を示す図である。図9に示すように、構成装置10は、通信部11と、入力部12と、センサ部13と、記憶部14と、制御部15とを有する。構成装置10は、音声出力を含むナビサービスの出力形態に対応可能な種々の出力手段を有する。
(通信部11)
通信部11は、例えば、通信回路等によって実現される。そして、通信部11は、図示しない所定の通信網と有線または無線で接続され、外部の情報処理装置との間で情報の送受信を行う。例えば、通信部11は、図示しない所定の通信網と有線または無線で接続され、情報処理装置100や携帯端末50や他の構成装置10との間で情報の送受信を行う。
(入力部12)
入力部12は、ユーザから各種操作が入力される。例えば、入力部12は、構成装置10に設けられたマイク等の音性によるユーザ入力を受け付ける機能により、ユーザの各種操作を受け付ける。また、入力部12は、構成装置10に設けられたボタンやスイッチからの各種操作を受け付けてもよい。例えば、ナビアプリAがインストールされた構成装置10において、入力部12は、ユーザからナビアプリAを起動させる操作を受け付ける。また、例えば、ナビアプリAがインストールされた構成装置10において、入力部12は、ユーザから目的地の入力を受け付ける。例えば、ナビアプリAがインストールされた構成装置10において、入力部12は、ユーザから目的地の入力を受け付ける。例えば、ナビアプリAがインストールされた構成装置10において、入力部12は、ユーザによる目的地を指定する音声情報を受け付ける。例えば、入力部12は、ユーザU1により「××まで案内して」などの発話を入力情報として受け付ける。
なお、図1及び図2中の右イヤホンCP11や左イヤホンCP12等のように複数の構成装置10である場合、複数の構成装置10のうち、主となる構成装置10のみがユーザの入力を受付けてもよい。例えば、右イヤホンCP11のみがユーザの入力を受付けてもよい。この場合、左イヤホンCP12は、センサ部13による位置情報であるセンサ情報の検知や音声出力のみを行ってもよい。また、この場合、右イヤホンCP11のみが情報処理装置100との間での通信を行い、左イヤホンCP12は、右イヤホンCP11との通信を行ってもよい。そして、右イヤホンCP11は情報処理装置100から受信した情報を左イヤホンCP12へ送信しは、左イヤホンCP12は、右イヤホンCP11から受信した情報を出力してもよい。
(センサ部13)
センサ部13は、所定の情報を検知する。例えば、センサ部13は、構成装置10外の情報を検知する。なお、図9では、1つのセンサ部13を図示するが、センサ部13は複数であってもよい。例えば、センサ部13は、検知の対象となる情報の数だけ設けられてもよい。例えば、センサ部13は、収集対象とする情報を検知可能であれば、どのようなセンサであってもよい。
センサ部13は、GPSセンサ等の位置情報センサを含む。また、センサ部13は、ジャイロセンサ等の角速度情報を検知するセンサを含んでもよい。例えば、構成装置10は、カメラ機能により撮像された画像情報を用いる場合、センサ部13としてカメラを有してもよい。また、構成装置10の位置情報をユーザ情報として取得する場合、通信を行っている基地局の位置情報や、WiFi(登録商標)(Wireless Fidelity)の電波を用いて推定された構成装置10の位置情報を取得してもよい。また、例えば、構成装置10の位置情報は、第3世代移動通信システムや第4世代移動通信システム等の構成装置10の通信規格による通信に関する情報から推定される位置情報であってもよい。また、センサ部13は、加速度センサや照度センサ等の種々のセンサを含んでもよい。例えば、構成装置10が音声情報を収集する場合、センサ部13は、マイクロフォン等の音声センサを含む。
図1及び図2の例では、構成装置10が右イヤホンCP11である場合、センサ部13は、位置情報であるセンサ情報LC11−1を検知する。また、構成装置10が左イヤホンCP12である場合、センサ部13は、位置情報であるセンサ情報LC11−2を検知する。
センサ部13は、所定のタイミングでセンサ情報を検知する。センサ部13は、ナビの開始後において、センサ情報を検知してもよい。また、センサ部13は、所定の間隔でセンサ情報を検知する。センサ部13は、数秒(1秒や5秒など)おきにセンサ情報を検知してもよい。
(記憶部14)
記憶部14は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部14は、例えば、構成装置10にインストールされているアプリケーションに関する情報、例えばプログラム等を記憶する。また、実施形態に係る記憶部14は、ナビサービスの提供に関する各種情報が記憶される。例えば、記憶部14は、図示を省略するが、ユーザが設定した目的地までのナビゲーションサービスを提供するために用いる各種情報を記憶する。例えば、記憶部14は、ナビアプリAにより音声出力される地図情報や道路情報等、ナビサービスを提供するために用いる各種情報を記憶する。
(制御部15)
制御部15は、コントローラであり、例えば、CPUやMPU等によって、構成装置10内部の記憶部14などの記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。例えば、この各種プログラムは、出力処理等を含む各種情報処理を行うアプリケーションのプログラムが含まれる。また、制御部15は、コントローラであり、例えば、ASICやFPGA等の集積回路により実現される。
図9に示すように、制御部15は、受信部151と、収集部152と、送信部153とを有し、以下に説明する出力処理等を含む各種情報処理の機能や作用を実現または実行する。なお、制御部15の内部構成は、図9に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
(受信部151)
受信部151は、各種情報を受信する。例えば、受信部151は、外部の情報処理装置から種々の情報を受信してもよい。例えば、受信部151は、情報処理装置100からナビアプリAに関する各種情報を受信する。例えば、受信部151は、情報処理装置100からナビアプリAのナビ情報を受信する。また、例えば、受信部151は、ナビ情報を情報処理装置100から受信する。例えば、受信部151は、情報処理装置100から音声出力するための情報を受信する。
図1及び図2の例では、受信部151は、「目の前に見えるAコンビニやBタワーの方向に向かって歩いてください」等のユーザU1の視線の先にあるランドマークを示す情報を含んだナビ情報を、情報処理装置100から受信する。受信部151は、「目の前に見えるAコンビニやBタワーの方向に向かって歩いてください」といった音声を出力するための情報を、情報処理装置100から受信する。
(収集部152)
収集部152は、各種情報を収集する。例えば、収集部152は、構成装置10が検知するセンサ情報を収集する。例えば、収集部152は、構成装置10により検知された音声情報を含むセンサ情報を収集する。例えば、収集部152は、構成装置10により検知された位置情報、加速度情報、振動に関する情報、気温に関する情報、気圧に関する情報、湿度に関する情報、照度に関する情報の少なくとも1つを含むセンサ情報を収集する。
例えば、収集部152は、センサ部13により検知された各種情報をログ情報として収集する。例えば、収集部152は、位置情報を収集する。例えば、収集部152は、センサ部13により検知された位置情報を収集する。例えば、収集部152は、音声情報を収集する。例えば、収集部152は、センサ部13により検知された音声情報を収集する。
図1及び図2の例では、収集部152は、右イヤホンCP11により検知されたセンサ情報LC11−1や左イヤホンCP12により検知されたセンサ情報LC11−2を収集する。
収集部152は、センサ部13により所定のタイミングで検知されたセンサ情報を収集する。収集部152は、ナビの開始後において、センサ部13により検知されたセンサ情報を収集する。また、収集部152は、所定の間隔でセンサ部13により検知されたセンサ情報を収集する。センサ部13は、数秒(1秒や5秒など)おきにセンサ部13により検知されたセンサ情報を収集する。
(出力部153)
出力部153は、各種の出力手段を介して各種情報を出力する。また、例えば、出力部153は、音出手段を介して各種情報を音声として出力する。例えば、出力部153は、構成装置10のスピーカ16に各種情報を音声として出力させる。例えば、出力部153は、ナビアプリAに関する各種情報を出力する。例えば、出力部153は、構成装置10の光出力手段により、光を出力する。例えば、出力部153は、LED(Light Emitting Diode)等の可視光を出力する手段により、可視光を出力する。例えば、出力部153は、構成装置10の振動手段により、振動を出力する。例えば、出力部153は、構成装置10のバイブレーション手段により、構成装置10を振動させる。なお、構成装置10が表示手段を有する場合、出力部153は、表示手段を介して各種情報を表示してもよい。
例えば、出力部153は、情報処理装置100から提供される情報に基づいて、ナビゲーションに関する情報を出力する。例えば、出力部153は、情報処理装置100から受信した情報を出力する。例えば、出力部153は、情報処理装置100から受信した情報に基づいて、ユーザの移動に関する情報を出力する。例えば、出力部153は、情報処理装置100から受信した情報に基づいて、ユーザの視線の向きに位置するPOIに関する情報を出力する。例えば、出力部153は、上記のような情報をスピーカ16により音声出力する。
図1及び図2の例では、ユーザU1が装着した構成装置10であるイヤホンCP11、CP12において、出力部153は、音量で音声を出力する。出力部153は、「目の前に見えるAコンビニやBタワーの方向に向かって歩いてください」といった音声をナビ情報として出力する。出力部153は、「目の前に見えるAコンビニやBタワーの方向に向かって歩いてください」といった音声をスピーカ16に出力させる。
(送信部153)
送信部153は、外部の情報処理装置へ種々の情報を送信する。送信部153は、収集部152により収集された情報を情報処理装置100へ送信する。例えば、送信部153は、センサ部13により検知されたセンサ情報を情報処理装置100へ送信する。例えば、送信部153は、記憶部14に記憶された情報を情報処理装置100へ送信する。なお、送信部153は、入力部12により入力されたユーザ操作に従って、外部の情報処理装置へ種々の情報を送信してもよい。送信部153は、センサ部13により検知されたセンサ情報を情報処理装置100へ送信する。
なお、上述した制御部15による出力処理等の処理は、所定のアプリケーション(例えば、ナビアプリA等)により行われる場合、制御部15の各部は、例えば、所定のアプリケーションにより実現されてもよい。例えば、制御部15による出力処理等を含む各種情報処理は、外部の情報処理装置から受信した制御情報により実現されてもよい。
〔4.情報処理のフロー〕
次に、図10を用いて、実施形態に係る情報処理システム1による情報処理の手順について説明する。図10は、実施形態に係る情報処理の一例を示すフローチャートである。
図10に示すように、情報処理装置100は、ユーザの装備品に設けられた複数のセンサの各々が検知した複数のセンサ情報を取得する(ステップS101)。例えば、情報処理装置100は、ユーザU1の右耳RE1に装着される右イヤホンCP11に設けられたセンサ部13が検知した位置情報であるセンサ情報LC11−1を取得する。また、情報処理装置100は、ユーザU1の左耳LE1に装着される右イヤホンCP12に設けられたセンサ部13が検知した位置情報であるセンサ情報LC11−2を取得する。
その後、情報処理装置100は、複数のセンサ情報に基づいて、ユーザの視線に関する向きを推定する(ステップS102)。図2の例では、情報処理装置100は、中心CN1の位置において、右耳RE1の位置を右側として、左耳LE1の位置を左側として臨む向きをユーザU1の右方向と推定する。図2においては、情報処理装置100は、図2の右斜め下の方向をユーザU1の前方向と推定する。例えば、情報処理装置100は、直線LN12のうち、ユーザU1の前方向に伸びる部分をユーザU1の視線の向きを示す向き情報DR11として推定する。
その後、情報処理装置100は、ユーザの視線の向き情報に基づいて、ユーザにナビゲーションサービスを提供する(ステップS103)。図1の例では、情報処理装置100は、ユーザU1の視線の先にあるAコンビニやBタワーを示す情報を含んだナビ情報をユーザU1に提供する。
〔5.効果〕
上述してきたように、実施形態に係る情報処理装置100は、取得部131と、提供部134とを有する。取得部131は、ユーザが装着した装備品(実施形態では、「装備品AS11」。以下同じ)に設けられた複数のセンサの各々が検知した複数のセンサ情報を取得する。また、提供部134は、取得部131により取得された複数のセンサ情報により推定されるユーザの視線の向きに関する向き情報に基づいて、ユーザにナビゲーションサービスを提供する。
これにより、実施形態に係る情報処理装置100は、ユーザが装着した装備品AS11に設けられた複数のセンサの各々が検知した複数のセンサ情報により推定されるユーザの視線の向きに関する向き情報に基づいて、ナビゲーションサービスを適切に提供することができる。
また、実施形態に係る情報処理装置100において、取得部131は、ユーザの頭部に装着される装備品に設けられた複数のセンサの各々が検知した複数のセンサ情報を取得する。
これにより、実施形態に係る情報処理装置100は、ユーザの頭部に装着される装備品に設けられた複数のセンサの各々が検知した複数のセンサ情報を取得することにより、ナビゲーションサービスを適切に提供することができる。
また、実施形態に係る情報処理装置100において、取得部131は、ユーザの耳に装着される装備品に設けられた複数のセンサの各々が検知した複数のセンサ情報を取得する。
これにより、実施形態に係る情報処理装置100は、ユーザの耳に装着される装備品に設けられた複数のセンサの各々が検知した複数のセンサ情報を取得することにより、ナビゲーションサービスを適切に提供することができる。
また、実施形態に係る情報処理装置100において、取得部131は、イヤホンである装備品に設けられた複数のセンサの各々が検知した複数のセンサ情報を取得する。
これにより、実施形態に係る情報処理装置100は、イヤホンCP11、CP12である装備品に設けられた複数のセンサの各々が検知した複数のセンサ情報を取得することにより、ナビゲーションサービスを適切に提供することができる。
また、実施形態に係る情報処理装置100において、提供部134は、装備品からの所定の出力により、ユーザにナビゲーションサービスを提供する。
これにより、実施形態に係る情報処理装置100は、装備品からの所定の出力により、ユーザにナビゲーションサービスを提供することにより、ナビゲーションサービスを適切に提供することができる。
また、実施形態に係る情報処理装置100において、提供部134は、装備品からの音声出力により、ユーザにナビゲーションサービスを提供する。
これにより、実施形態に係る情報処理装置100は、装備品からの音声出力により、ユーザにナビゲーションサービスを提供することにより、ナビゲーションサービスを適切に提供することができる。
また、実施形態に係る情報処理装置100は、推定部132を有する。推定部132は、取得部131により取得された複数のセンサ情報に基づいて、向き情報を推定する。
これにより、実施形態に係る情報処理装置100は、複数のセンサ情報に基づいて、向き情報を推定することにより、ナビゲーションサービスを適切に提供することができる。
また、実施形態に係る情報処理装置100において、推定部132は、複数のセンサの各々が検知した複数のセンサ情報間の差に基づいて、向き情報を推定する。
これにより、実施形態に係る情報処理装置100は、複数のセンサの各々が検知した複数のセンサ情報間の差に基づいて、向き情報を推定することにより、ナビゲーションサービスを適切に提供することができる。
また、実施形態に係る情報処理装置100において、推定部132は、一のタイミングで複数のセンサの各々が検知した複数のセンサ情報間の差に基づいて、向き情報を推定する。
これにより、実施形態に係る情報処理装置100は、一のタイミングで複数のセンサの各々が検知した複数のセンサ情報間の差に基づいて、向き情報を推定することにより、ナビゲーションサービスを適切に提供することができる。
また、実施形態に係る情報処理装置100において、推定部132は、複数のセンサ情報検知時のユーザの移動に関する情報と、ユーザの移動履歴から推定されるユーザの通常移動に関する情報との差に基づいて、向き情報を推定する。
これにより、実施形態に係る情報処理装置100は、複数のセンサ情報検知時のユーザの移動に関する情報と、ユーザの移動履歴から推定されるユーザの通常移動に関する情報との差に基づいて、向き情報を推定することにより、ナビゲーションサービスを適切に提供することができる。
また、実施形態に係る情報処理装置100において、提供部134は、ユーザの視線の向きの変化の頻度を測定し、頻度に応じてユーザにナビゲーションサービスを提供する。
これにより、実施形態に係る情報処理装置100は、ユーザの視線の向きの変化の頻度を測定し、頻度に応じてユーザにナビゲーションサービスを提供することにより、ナビゲーションサービスを適切に提供することができる。
また、実施形態に係る情報処理装置100において、提供部134は、ユーザの視線の向きの変化量が所定量以上である場合、変化として頻度を測定し、頻度に応じてユーザにナビゲーションサービスを提供する。
これにより、実施形態に係る情報処理装置100は、ユーザの視線の向きの変化量が所定量以上である場合、変化として頻度を測定し、頻度に応じてユーザにナビゲーションサービスを提供することにより、ナビゲーションサービスを適切に提供することができる。
また、実施形態に係る情報処理装置100において、提供部134は、所定の期間における頻度が所定の閾値以上である場合、ユーザにナビゲーションサービスを提供する。
これにより、実施形態に係る情報処理装置100は、所定の期間における頻度が所定の閾値以上である場合、ユーザにナビゲーションサービスを提供することにより、ナビゲーションサービスを適切に提供することができる。
また、実施形態に係る情報処理装置100において、取得部131は、ユーザの移動に関する情報を取得する。提供部134は、ユーザの移動が所定の条件を満たす場合、ユーザにナビゲーションサービスを提供する。
これにより、実施形態に係る情報処理装置100は、ユーザの移動が所定の条件を満たす場合、ユーザにナビゲーションサービスを提供することにより、ナビゲーションサービスを適切に提供することができる。
また、実施形態に係る情報処理装置100において、提供部134は、ユーザの移動が停止した際に、ユーザにナビゲーションサービスを提供する。
これにより、実施形態に係る情報処理装置100は、ユーザの移動が停止した際に、ユーザにナビゲーションサービスを提供することにより、ナビゲーションサービスを適切に提供することができる。
また、実施形態に係る情報処理装置100において、取得部131は、ナビゲーションサービスの提供時におけるユーザの要求情報を取得する。提供部134は、ユーザの要求情報に応じて、ユーザにナビゲーションサービスを提供する。
これにより、実施形態に係る情報処理装置100は、ナビゲーションサービスの提供時におけるユーザの要求情報に応じて、ユーザにナビゲーションサービスを提供することにより、ナビゲーションサービスを適切に提供することができる。
また、実施形態に係る情報処理装置100において、取得部131は、ユーザの移動ルートと、ナビゲーションサービスが案内する案内ルートの確認に関する要求情報を取得する。提供部134は、ユーザの移動ルートが案内ルートに沿うかどうかを示す情報を提供する。
これにより、実施形態に係る情報処理装置100は、ユーザの移動ルートと、ナビゲーションサービスが案内する案内ルートの確認に関する要求情報を取得し、ユーザの移動ルートが案内ルートに沿うかどうかを示す情報を提供することにより、ナビゲーションサービスを適切に提供することができる。
また、実施形態に係る情報処理装置100において、取得部131は、角速度情報を検知するジャイロセンサを含む複数のセンサの各々が検知した複数のセンサ情報を取得する。
これにより、実施形態に係る情報処理装置100は、角速度情報を検知するジャイロセンサを含む複数のセンサの各々が検知した複数のセンサ情報を取得することにより、ナビゲーションサービスを適切に提供することができる。
また、実施形態に係る情報処理装置100において、取得部131は、位置情報を検知するGPSセンサを含む複数のセンサの各々が検知した複数のセンサ情報を取得する。
これにより、実施形態に係る情報処理装置100は、位置情報を検知する複数のセンサの各々が検知した複数の位置情報を複数のセンサ情報として取得することにより、ナビゲーションサービスを適切に提供することができる。
また、実施形態に係る情報処理装置100において、提供部134は、複数のセンサ情報により推定されるユーザの顔の向きを示す向き情報に基づいて、ユーザにナビゲーションサービスを提供する。
これにより、実施形態に係る情報処理装置100は、複数のセンサ情報により推定されるユーザの顔の向きを示す向き情報に基づいて、ユーザにナビゲーションサービスを提供することにより、ナビゲーションサービスを適切に提供することができる。
また、実施形態に係る情報処理装置100において、取得部131は、分離した複数の構成装置10からなる装備品に設けられた複数のセンサの各々が検知した複数のセンサ情報を取得する。
これにより、実施形態に係る情報処理装置100は、分離した複数の構成装置10からなる装備品に設けられた複数のセンサの各々が検知した複数のセンサ情報を取得することにより、ナビゲーションサービスを適切に提供することができる。
また、実施形態に係る情報処理装置100において、取得部131は、装備品の複数の構成装置10の各々に設けられた複数のセンサの各々が検知した複数のセンサ情報を取得する。
これにより、実施形態に係る情報処理装置100は、装備品の複数の構成装置10の各々に設けられた複数のセンサの各々が検知した複数のセンサ情報を取得することにより、ナビゲーションサービスを適切に提供することができる。
〔6.ハードウェア構成〕
上述してきた実施形態に係る情報処理装置100は、例えば図12に示すような構成のコンピュータ1000によって実現される。図12は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM1300、HDD1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、及びメディアインターフェイス(I/F)1700を有する。
CPU1100は、ROM1300またはHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス1500は、ネットワークNを介して他の機器からデータを受信してCPU1100へ送り、CPU1100が推定したデータをネットワークNを介して他の機器へ送信する。
CPU1100は、入出力インターフェイス1600を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。CPU1100は、入出力インターフェイス1600を介して、入力装置からデータを取得する。また、CPU1100は、推定したデータを入出力インターフェイス1600を介して出力装置へ出力する。
メディアインターフェイス1700は、記録媒体1800に格納されたプログラムまたはデータを読み取り、RAM1200を介してCPU1100に提供する。CPU1100は、かかるプログラムを、メディアインターフェイス1700を介して記録媒体1800からRAM1200上にロードし、ロードしたプログラムを実行する。記録媒体1800は、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
例えば、コンピュータ1000が実施形態に係る情報処理装置100として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされたプログラムを実行することにより、制御部130の機能を実現する。コンピュータ1000のCPU1100は、これらのプログラムを記録媒体1800から読み取って実行するが、他の例として、他の装置からネットワークNを介してこれらのプログラムを取得してもよい。
以上、本願の実施形態を図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の行に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
〔7.その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
また、上述してきた実施形態に記載された各処理は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
また、上述してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。