JP6360405B2 - 情報処理システム、及び、情報処理方法 - Google Patents

Description

本発明は、情報処理システム、及び、情報処理方法に関する。

本技術分野の背景技術として、特開２０１３−５０９１６号公報（特許文献１）がある。この公報には、「車両５から投稿文の閲覧要求が有った場合に、交通情報センタ３から交通情報を取得し、取得した交通情報に基づいて検索条件を設定し、コンピュータネットワーク上に投稿された投稿文の内から、設定された検索条件に該当する投稿文である該当投稿文を抽出し、車両５に対して抽出された投稿文を提供するように構成する。」と記載されている。

特開２０１３−５０９１６号公報

特許文献１では、ユーザの操作に基づいて投稿文を提供するものであり、リアルタイムに投稿文が提供される場合を考慮していない。そのため、ユーザは、例えば道路を車両によって走行中、外部の人から、お店等の、走行中の道路に関する情報をリアルタイムに知ることができない。
そこで、本発明は、リアルタイムに情報の伝達を行うことができる情報処理システム、及び、情報処理方法を提供することを目的とする。

上記目的を達成するために、車両に搭載される車載装置と、前記車載装置と通信可能な情報処理装置と、前記情報処理装置と通信可能な端末と、を備える情報処理システムであって、前記車載装置は、前記車両に設けられ、前記車両の前方を撮影する撮影装置の撮影結果に基づく撮影画像データを、前記情報処理装置に送信し、前記情報処理装置は、前記車載装置から受信した前記撮影画像データを、前記端末に送信し、前記端末は、前記情報処理装置から受信した前記撮影画像データに基づく画像を表示すると共に、コメントの入力を受け付け、受け付けたコメントを示すコメント情報を、前記情報処理装置に送信し、前記情報処理装置は、前記端末から受信した前記コメント情報を、前記車載装置に送信し、前記車載装置は、前記コメント情報に基づいて、コメントを出力することを特徴とする。

本発明によれば、リアルタイムに情報の伝達を行うことができる。

本実施形態に係る情報処理システムの構成を示す図である。 本実施形態に係る情報処理システムの機能ブロック図である。 本実施形態に係る情報処理システムを構成する各装置の動作を示すフローチャートである。 サーバに送信する情報の取得、及び、送信する際の、ナビゲーション装置の動作を示すフローチャートである。 携帯端末に送信する情報の生成、及び、送信を実行する際のサーバの動作を示すフローチャートである。 第１領域の一例を示す図である。 第２領域の一例を示す図である。 全画面モードの場合に表示されるユーザインターフェイスの一例を示す図である。 地図＋映像モードの場合に表示されるユーザインターフェイスの一例を示す図である。 円形の第２領域の一例を示す図である。 地図上の位置の算出を説明するための説明図である。 ナビゲーション装置に表示されるユーザインターフェイスの一例を示す図である。

図１は、本実施形態に係る情報処理システム１の構成を示す図である。

図１に示すように、情報処理システム１は、車両２に搭載されたナビゲーション装置３（車載装置）と、インターネットや、電話網等を含んで構成されたネットワーク６に接続可能な携帯端末４（端末）と、ネットワーク６に接続されたサーバ５（情報処理装置）と、を有する。

ナビゲーション装置３は、搭乗しているユーザの操作に従って、地図の表示、経路の表示や音声による経路案内など、ナビゲーション機能を実行する装置である。ナビゲーション装置３は、ネットワーク６にアクセスする機能を有し、後述する方法により、サーバ５とネットワーク６を介して通信する。

携帯端末４は、ユーザが持ち運び可能な携帯型の端末であり、例えばスマートフォンやタブレット型端末等である。本実施形態では、携帯端末４は、車両２の搭乗者以外のユーザが所有する端末である。携帯端末４は、ネットワーク６にアクセスする機能を有し、後述する方法により、サーバ５とネットワークを介して通信する。

サーバ５は、ナビゲーション装置３、及び、携帯端末４と通信し、これら装置を介して、車両２の搭乗者、及び、携帯端末４のユーザに後述するサービスを提供する。

情報処理システム１は、以下の機能を有するシステムである。すなわち、情報処理システム１において、ナビゲーション装置３には車両２の前方を撮影するカメラ３９（後述）が接続されており、ナビゲーション装置３は、カメラ３９の撮影結果に基づくデータを、サーバ５を介して、携帯端末４に送信する。携帯端末４は、受信したデータに基づいて、撮影結果を示す画像を表示する。この結果、車両２のカメラ３９により撮影された車両２の前方の風景が、リアルタイムで、携帯端末４に表示される。携帯端末４のユーザは、携帯端末４が表示する車両２の前方の風景を示す画像に基づいて、適宜、風景に対応するコメントを行う。例えば、ユーザは、表示された画像に、自身が知っている飲食店がある場合は、飲食店に関するコメントを行う。携帯端末４は、ユーザがコメントした場合、コメントに基づくデータを、サーバ５を介して、ナビゲーション装置３に送信する。ナビゲーション装置３は、受信したデータに基づいて、コメントを音声、又は、表示によって出力する。この結果、携帯端末４のユーザが行ったコメントが、リアルタイムで、ナビゲーション装置３により出力される。車両２の搭乗者は、出力されたコメントに基づいて、車両２の前方に位置する施設等に関する有益な情報を取得できる。

図２は、本実施形態に係る情報処理システム１の機能ブロック図である。

図２に示すように、ナビゲーション装置３は、制御部３１と、記憶部３２と、タッチパネル３３と、音声入出力部３４と、通信部３５と、車両情報取得部３６と、相対方位検出部３７と、ＧＰＳ受信部３８と、カメラ３９と、を備える。

制御部３１は、ＣＰＵや、ＲＯＭ、ＲＡＭ、その他の制御回路等を備え、ナビゲーション装置３の各部を制御する。

記憶部３２は、ハードディスクや、ＥＥＰＲＯＭ等の不揮発性メモリーを備え、データを書き換え可能に記憶する。また、記憶部３２は、後述する専用ソフトＳＦのほか、地図データ３２ａを記憶している。当該地図データ３２ａは、交差点やその他の道路網上の結線点を示すノードに関する情報や、ノードとノードとの道路区間を示すリンクに関する情報、地図上の行政区画や、道路、施設、交差点等の名称に関する情報、を有する。

タッチパネル３３は、表示パネル３３ａと、タッチセンサー３３ｂとを備える。表示パネル３３ａは、液晶ディスプレイやＥＬ（Electro Luminescent）ディスプレイ等のパネルを有し、制御部３１の制御の下、各種情報を表示パネル３３ａに表示する。タッチセンサー３３ｂは、表示パネル３３ａに重ねて配置され、ユーザのタッチ操作を検出し、制御部３１に出力する。

音声入出力部３４は、マイク５ａと、スピーカ５ｂと、を備える。当該音声入出力部３４は、制御部３１の制御の下、マイク５ａによって例えば乗車しているユーザの音声を収音する。また、当該音声入出力部３４は、制御部３１から入力される音声データに基づく音声をスピーカ５ｂから出力する。

通信部３５は、制御部３１の制御の下、所定の通信規格に従って、ネットワーク６に接続された機器と通信する。

車両情報取得部３６は、ナビゲーション装置３を搭載した車両２の状態に関する車両信号を取得し、制御部３１に出力する。車両信号には、少なくとも車両２の走行速度を示す車速パルス信号、及び、車両２のパーキングブレーキの状態を示すパーキングブレーキ信号が含まれる。制御部３１は、車両情報取得部３６から入力された車両信号に基づいて、車両２が停車中か否かを判別する。本実施形態で、「停車」とは、車両２が走行しておらず、且つ、パーキングブレーキによるブレーキが有効な状態をいう。

相対方位検出部３７は、ジャイロセンサと、加速度センサとを備える。ジャイロセンサは、例えば振動ジャイロにより構成され、自車両の相対的な方位（例えば、ヨー軸方向の旋回量）を検出する。加速度センサは、自車両に作用する加速度（例えば、進行方向に対する自車両の傾き）を検出する。相対方位検出部３７は、検出結果を制御部３１に出力する。

ＧＰＳ受信部３８は、ＧＰＳアンテナ３８ａを介してＧＰＳ衛星からのＧＰＳ電波を受信し、ＧＰＳ電波に重畳されたＧＰＳ信号から、車両２の現在位置を示す位置座標と進行方向とを演算により取得する。ＧＰＳ受信部３８は、取得結果を制御部３１に出力する。

制御部３１は、ＧＰＳ受信部３８から入力された位置座標と進行方向を示す情報、相対方位検出部３７から入力された車両２の相対的な方位情報、記憶部３２に記憶された地図データ３２ａに含まれる情報、及び、車両情報取得部３６から入力された車速を示す検出信号に基づいて、車両２の位置を特定する。

カメラ３９は、少なくとも車両２の前方を撮影可能な位置に設けられた撮影装置である。カメラ３９は、制御部３１の制御に従って、所定の周期（例えば、１００ｍｓごと）で撮影を実行し、撮影結果に基づいて撮影画像データを生成し、制御部３１に出力する。

図２に示すように、サーバ５は、サーバ制御部５１と、サーバ記憶部５２と、サーバ通信部５３と、を備える。

サーバ制御部５１は、ＣＰＵや、ＲＯＭ、ＲＡＭ、その他の周辺回路等を備え、サーバ５の各部を制御する。

サーバ記憶部５２は、サーバ制御部５１が実行する制御プログラムや、サーバ制御部５１が処理するデータを記憶する。また、サーバ記憶部５２は、地図データ５２ａを記憶している。

サーバ通信部５３は、サーバ制御部５１の制御の下、所定の通信規格に従って、ネットワーク６に接続された機器と通信する。

図２に示すように、携帯端末４は、端末制御部４１と、端末記憶部４２と、端末タッチパネル４３と、端末音声入出力部４４と、端末通信部４５と、を備える。

端末制御部４１は、ＣＰＵや、ＲＯＭ、ＲＡＭ、その他の周辺回路等を備え、携帯端末４の各部を制御する。

端末記憶部４２は、不揮発性メモリーを備え、各種データを記憶する。上述したように、携帯端末４には専用アプリＡＰがインストールされており、端末記憶部４２には、専用アプリＡＰが記憶される。また、端末記憶部４２は、地図データ４２ａを記憶する。

端末タッチパネル４３は、表示パネル４３ａと、タッチセンサー４３ｂとを備える。表示パネル４３ａは、液晶ディスプレイやＥＬ（Electro Luminescent）ディスプレイ等のパネルを有し、端末制御部４１の制御の下、各種情報を表示パネル４３ａに表示する。タッチセンサー４３ｂは、表示パネル４３ａに重ねて配置され、ユーザのタッチ操作を検出し、端末制御部４１に出力する。

端末音声入出力部４４は、スピーカ４４ａと、マイク４４ｂと、を備える。当該端末音声入出力部４４は、端末制御部４１の制御の下、マイク４４ｂによって例えば乗車しているユーザの音声を収音する。また、当該端末音声入出力部４４は、端末制御部４１から入力される音声データに基づく音声をスピーカ４４ａから出力する。

以上の構成の下、ナビゲーション装置３と、携帯端末４とは、以下に示す処理を実行することによって、サーバ５を介して所定の情報を送受信することが可能な状態を確立する。

ここで、ナビゲーション装置３と、携帯端末４とは、サーバ５が有する、所定の情報の送受信に関するシステムである情報送受信システムを利用する。そのため、ナビゲーション装置３は、情報送受信システムを利用するためのソフトウェア（以下、「専用ソフトＳＦ」と表現する。）が事前にインストールされる。また、携帯端末４は、情報送受信システムを利用するためのアプリケーション（以下、「専用アプリＡＰ」と表現する。）が事前にインストールされる。

車両２の搭乗者が専用ソフトＳＦを立ち上げると、ナビゲーション装置３は、専用ソフトＳＦの機能により、サーバ５へ、カーＩＤを送信する。カーＩＤとは、車両２に搭載されるナビゲーション装置３を識別するための識別情報である。サーバ５は、受信したカーＩＤに基づいて、情報送受信システムを利用するナビゲーション装置３を特定し、サーバ５とナビゲーション装置３との間で所定の情報の送受信が行える状態を確立する。

一方、ユーザが携帯端末４の専用アプリＡＰを立ち上げると、携帯端末４は、専用アプリＡＰの機能により、ユーザＩＤ、パスワード、及び、カーＩＤをサーバ５に送信する。ユーザＩＤとは、専用アプリＡＰを使用するユーザを識別するための識別情報であり、パスワードは、ユーザＩＤを利用する際に認証を得るための認証情報である。また、携帯端末４が送信するカーＩＤは、携帯端末４が、サーバ５を介して所定の情報を送受信するナビゲーション装置３を識別するための識別情報である。

サーバ５は、携帯端末４から受信したユーザＩＤ、パスワード、及び、カーＩＤのうち、ユーザＩＤに基づいて情報送受信システムを利用する携帯端末４を特定する。また、サーバ５は、ユーザＩＤ、及び、パスワードに基づいて、認証を行う。認証に成功した場合、サーバ５は、携帯端末４との間で所定の情報の送受信が行える状態を確立する。

携帯端末４との間で通信可能な状態を確立した後、サーバ５は、携帯端末４から受信したカーＩＤと、ナビゲーション装置３から受信したカーＩＤと照らし合わせ、一致した場合、携帯端末４と、ナビゲーション装置３とを対応付ける。以後、サーバ５は、ナビゲーション装置３からデータを受信した場合、受信したデータや、受信したデータに基づくデータを、対応付けられた携帯端末４に送信する。一方、サーバ５は、携帯端末４からデータを受信した場合、受信したデータや、受信したデータに基づくデータを、対応付けられたナビゲーション装置３に送信する。

ここで、上述したように、情報処理システム１において、携帯端末４にカメラ３９で撮影された車両２の前方の風景がリアルタイムで表示され、また、ナビゲーション装置３は携帯端末４のユーザが行ったコメントをリアルタイムで出力する。そして、ナビゲーション装置３によるコメントの出力に関し、以下の課題がある。すなわち、車両２が走行中の場合、携帯端末４のユーザが、携帯端末４に表示されている画像が示す車両２の前方の風景を参照し、１の施設についてコメントを行い、ナビゲーション装置３がコメントを出力したときに、車両２が当該１の施設を通過してしまっている可能性がある。この場合、車両２の走行を継続しつつ当該１の施設を経由することはできず、車両２の搭乗者にとって、コメントの有益性が低下する。以上の課題を踏まえ、以下、情報処理システム１が備える各装置の動作について詳述する。

図３は、情報処理システム１を構成する各装置の動作を示すフローチャートであり、（Ａ）はナビゲーション装置３の動作を示し、（Ｂ）はサーバ５の動作を示し、（Ｃ）は携帯端末４の動作を示す。

なお、図３に示すフローチャートの開始時点では、以下のことを前提とする。すなわち、情報処理システム１において、上述した処理にて、ナビゲーション装置３と、携帯端末４と、がサーバ５を介し、所定の情報を送受信できる状態が確立されていることを前提とする。

図３（Ａ）に示すように、ナビゲーション装置３の制御部３１は、専用ソフトＳＦの機能により、サーバ５に送信する情報を取得し、当該情報をサーバ５に送信する（ステップＳＡ１）。ここで、ステップＳＡ１の処理について、詳述する。

図４は、ステップＳＡ１のサーバ５に送信する情報の取得、及び、送信する際の、ナビゲーション装置３の動作を示すフローチャートである。

ナビゲーション装置３の制御部３１は、専用ソフトＳＦの機能により、車両２に設けられたカメラ３９から入力された撮影結果に基づく撮影画像データを取得する（ステップＳＤ１）。次いで、制御部３１は、ＧＰＳ受信部３８、及び、相対方位検出部３７から入力された信号に基づき、車両２の位置を取得する（ステップＳＤ２）。次いで、制御部３１は、車両情報取得部３６が取得した車速パルスに基づき、車両２の速度を取得する（ステップＳＤ３）。

次いで、制御部３１は、撮影画像データ、取得した車両２の位置を示す車両位置情報、及び、取得した車両２の速度を示す車両速度情報を、サーバ５に送信する（ステップＳＤ４）。制御部３１は、撮影画像データ、車両位置情報、及び、車両速度情報をサーバ５に送信すると、処理をステップＳＤ１に戻し、再度、撮影画像データの取得を開始する。すなわち、制御部３１は、カメラ３９から所定の周期で撮影画像データが入力される度に、撮影画像データと、車両位置情報と、車両速度情報とをサーバ５に送信する。なお、撮影画像データには、撮影された時間を示す時刻も対応付いている。

図３の説明に戻り、図３（Ｂ）に示すように、サーバ制御部５１は、ナビゲーション装置３から送信された撮影画像データ、車両位置情報、及び、車両速度情報を受信し（ステップＳＢ１）、カーＩＤと対応付けてサーバ記憶部５２に記憶する（ステップＳＢ２）。なお、ナビゲーション装置３は、所定の周期で、撮影画像データ、車両位置情報、及び、車両速度情報をサーバ５に送信するが、サーバ５のサーバ制御部５１は、受信したこれら情報をサーバ記憶部５２に累積的に記憶する。

次いで、サーバ制御部５１は、携帯端末４に送信する情報を生成し、当該情報を携帯端末４に送信する（ステップＳＢ３）。ステップＳＢ３について詳述する。

図５は、携帯端末４に送信する情報の生成、及び、送信を実行する際のサーバ５の動作を示すフローチャートである。

サーバ制御部５１は、ナビゲーション装置３から受信し、サーバ記憶部５２に記憶した撮影画像データを、撮影画像データ毎に加工する（ステップＳＥ１）。具体的には、サーバ制御部５１は、撮影画像データに基づく画像を表示した場合に、画像に、以下で説明する第１領域Ａ１が表示されるように、撮影画像データを加工する。

図６は、加工後の撮影画像データに基づいて表示される画像の一例を示す図である。撮影画像データに基づく画像は、車両２の前方の風景を示す画像である。以下、撮影画像データに基づいて表示される画像を、「車両前方画像」という。

図６に示すように、第１領域Ａ１は、車両２が、撮影画像データに対応する車両速度情報が示す速度（撮影画像データの元となった撮影が行われたときの車両２の速度）で車両２が走行した場合に、車両２が所定時間内（例えば、３秒以内）に通過する領域を示している。ここで、所定時間内に通過する領域は、車両２が走行する速度に応じて異なる。具体的には、車速が速いほど、所定時間内に通過する領域は広くなる。そのため、第１領域Ａ１は、車速が速いほど、面積の大きい領域となる。

図６に示すように、第１領域Ａ１は、画像の左右の両端において、境界ラインＬ１で区切られた幅Ｗ１の領域である。ステップＳＥ１において、サーバ制御部５１は、以下のようにして、車両前方画像に境界ラインＬ１が表示されるように、撮影画像データを加工する。

まず、サーバ制御部５１は、幅Ｗ１を、加工対象の撮影画像データに対応付けられた車両速度情報が示す車両２の速度に基づいて決定する。具体的には、サーバ記憶部５２に、車両２の速度と、幅Ｗ１との対応関係を示すテーブルが記憶されており、サーバ制御部５１は、車両速度情報が示す車両２の速度と、上記テーブルに基づいて幅Ｗ１を決定する。次いで、サーバ制御部５１は、車両前方画像の左右の端から幅Ｗ１だけ離間した位置に、境界ラインＬ１が表示されるように、撮影画像データに画像処理を施して、撮影画像データを加工する。

なお、サーバ制御部５１は、撮影画像データの加工において、第１領域Ａ１を設けると共に、車両のナンバープレートや、人物の顔などのプライバシーに係る画像をぼかす処理を施してもよい。この場合、サーバ制御部５１は、パターンマッチング等の既存の処理を実行し、撮影画像データにおける人物の顔などのプライバシーに関わる領域を特定し、特定した領域にぼかし処理を施す。これにより、サーバ制御部５１は、プライバシーに係る情報を隠した撮影画像データとして携帯端末４に送信することができる。

図５の説明に戻り、１の撮影画像データを加工した後、サーバ制御部５１は、車両位置情報に基づく車両２の位置を起点とした第２領域を示す第２領域情報を生成する（ステップＳＥ２）。

図７は、第２領域Ａ２の一例を示す図である。

第２領域Ａ２とは、車両２が所定の速度で走行した場合に、所定時間内に通過する領域を、地図上で表す領域である。通過する領域は、車両２の速度に応じて異なるため、第２領域Ａ２は、車両２の速度に応じて異なる。具体的には、第２領域Ａ２は、車両２の速度が速いほど、面積が大きくなる領域である。後述するが、携帯端末４は、後述する走行映像のみを表示するモード（以下、全画面モードと呼ぶ。）と、地図、及び、走行映像を表示するモード（以下、地図＋映像モードと呼ぶ。）と、の２つのモードに切り替えが可能である。ここで、第２領域Ａ２は、携帯端末４の表示モードが地図＋映像モードの際に、設けられる領域である。

図７に示すように、第２領域Ａ２は、地図上に設けられ、経度、及び、緯度を示す複数のポイントにより囲まれた領域である。当該第２領域Ａ２は、車両位置情報に基づく車両の位置Ｍを起点として、ポイントＰ１及びポイントＰ２に基づく境界ラインＬ２と、ポイントＰ４及びポイントＰ２、若しくは、ポイントＰ３及びポイントＰ２に基づく幅Ｗ２とにより形成される。第２領域Ａ２を形成する幅Ｗ２は、ステップＳＥ１で加工された１の撮影画像データに対応付けられた車両２の速度に基づき決定する。すなわち、撮影画像データに対応付く車両２の速度に応じて、幅Ｗ２は異なる。そのため、第２領域Ａ２は、撮影画像データ毎に異なる。具体的には、第２領域Ａ２は、車両２の速度が速いほど、より車両２の前方を領域範囲に含むよう、面積が大きくなる領域である。

ステップＳＥ２において、サーバ制御部５１は、携帯端末４の表示モードが地図＋映像モードである際に、地図上に第２領域Ａ２を設けるよう、経度及び緯度を示すポイントＰ１〜Ｐ４に囲まれた領域である第２領域Ａ２を示す第２領域情報を生成する。

図５の説明に戻り、サーバ制御部５１は、第２領域情報を生成した後、加工後の１の撮影画像データ、第２領域情報、及び、加工前の１の撮影画像データに対応付いた車両位置情報を携帯端末４に送信する（ステップＳＥ３）。サーバ制御部５１は、ステップＳＥ３の処理の後、処理をステップＳＥ１に戻し、再度、１の撮影画像データの加工を実行する。すなわち、サーバ制御部５１は、サーバ記憶部５２が記憶している撮影画像データ毎に加工し、加工する１の撮影画像データに対応付く車両の位置Ｍ、及び、車両２の速度に基づいて第２領域情報を生成し、加工後の１の撮影画像データ、第２領域情報、及び、加工前の１の撮影画像データに対応付く車両位置情報を携帯端末４に送信する処理を繰り返す。なお、撮影画像データは、対応付く時刻に基づいて、順次、処理される。

図３の説明に戻り、図３（Ｃ）に示すように、携帯端末４の端末制御部４１は、端末通信部４５によって、サーバ５から送信される度に、加工後の１の撮影画像データ、第２領域情報、及び、車両位置情報をサーバ５から受信する（ステップＳＣ１）。次いで、端末制御部４１は、専用アプリＡＰの機能により、表示パネル４３ａに、表示モードに応じた情報の表示を実行する（ステップＳＣ２）。前述した通り、表示モードは、全画面モードと、地図＋映像モードと、の２つのモードがある。以下、端末制御部４１の動作を、全画面モードの場合と、地図＋映像モードの場合と、の２つの場合について、図面を参照し、説明する。なお、全画面モードと、地図＋映像モードとは、専用アプリＡＰの機能により、ユーザの所定のタッチ操作によって切り替えることができる。

ここで、端末制御部４１の動作を説明するにあたり、以下のことを前提とする。

すなわち、端末制御部４１は、専用アプリＡＰの機能により、サーバ５から受信した加工後の１の撮影画像データに基づく画像を、サーバ５から受信する度に、当該画像を切り替え、動画として表示する。つまり、端末制御部４１は、リアルタイムに走行映像を表示パネル４３ａに表示することが前提となる。

＜全画面モード＞
前述した通り、全画面モードとは、携帯端末４の表示パネル４３ａに走行映像を表示するモードである。走行映像とは、連続して受信する撮影画像データに基づく画像を連続して表示することによって表示される動画のことである。撮影画像データは、車両の前方の撮影結果に基づいて生成されるため、走行映像は、車両の前方の風景を示す動画である。なお、全画面モードでは、後述する地図＋映像モードと異なり、地図を表示しない。端末制御部４１は、全画面モードの場合、専用アプリＡＰの機能により、動画を表示するための領域である動画表示領域Ｄ１のみを有するユーザインターフェイスを表示し、当該動画表示領域Ｄ１において、加工後の撮影画像データに基づく動画を表示する（ステップＳＣ２）。

図８は、全画面モードの場合に表示されるユーザインターフェイスの一例を示す図であり、図８（Ａ）は、走行映像の表示の一例を示す図である。

図８（Ａ）に示すように、全画面モードでは、専用アプリＡＰの機能によって、走行映像が表示される。前述した通り、携帯端末４の表示パネル４３ａが表示する動画は、加工後の撮影画像データに基づく画像を、サーバ５から受信する度に、当該画像を切り替え、動画として表示しているため、走行映像には、第１領域Ａ１が設けられている。また、撮影画像データの取得時における車両２の速度に応じて、第１領域Ａ１の範囲は異なるため、境界ラインＬ１は、車両２の速度に応じて図６に示す幅Ｗ１を変えるよう移動する。また、動画表示領域Ｄ１には、走行映像と共に、車両位置情報が示す車両の位置Ｍに基づき、地図データ４２ａから取得した車両２が走行している地図上の名称Ｈを表示する。この名称Ｈの表示により、地図を表示しない全画面モードでも、携帯端末４を操作するユーザは、車両２がどこを走行しているかを名称Ｈから判断することができる。

端末制御部４１は、図８（Ａ）に示すように、第１領域Ａ１を設けた走行映像を表示している状態で、ユーザのタッチ操作がされると（ステップＳＣ３：ＹＥＳ）、コメントの入力を受け付ける（ステップＳＣ４）。

図８（Ｂ）は、タッチ位置Ｔ１の一例を示す図である。端末制御部４１は、携帯端末４のユーザが、図８（Ａ）に示す状態で、任意の位置をタッチすることによって、図８（Ｂ）に示すタッチ位置Ｔ１を認識し、コメントの入力方法の選択を案内する画像である案内画像Ｑ１を表示する。

図８（Ｃ）は、コメントの入力方法の選択に係る案内画像Ｑ１を表示した一例を示す図である。図８（Ｃ）に示すように、ユーザの任意の位置に基づくタッチ操作によって、端末制御部４１は、案内画像Ｑ１を表示する。当該案内画像Ｑ１は、コメントをテキストによって入力するためのボタンＢ１と、音声によって入力するためのボタンＢ２と、を有する。携帯端末４のユーザがボタンＢ１を選択した場合、端末制御部４１は、表示パネル４３ａに、タッチ操作で入力が可能な図示せぬソフトウェアキーボード等を表示し、コメントの入力を受け付ける。一方、ユーザがボタンＢ２を選択した場合、端末制御部４１は、端末音声入出力部４４のマイク４４ｂによって、携帯端末４のユーザの音声を収音し、コメントの入力を受け付ける。

端末制御部４１は、コメントが入力されると、当該コメントをナビゲーション装置３に送信するか否かを案内する画像である案内画像Ｑ２を表示する。

図８（Ｄ）は、案内画像Ｑ２の表示の一例を示す図である。図８（Ｄ）に示すように、コメントの入力がされると、端末制御部４１は、ナビゲーション装置３にコメントを送信するか否かを案内する画像である案内画像Ｑ２を表示する。案内画像Ｑ２は、入力されたコメントを表示する表示領域Ｒと、コメントをナビゲーション装置３に送信するボタンＢ３と、コメントの送信を取りやめるボタンＢ４とを有する。なお、音声でコメントを入力した場合、音声認識等により変換されたテキストを表示領域Ｒに表示する必要はなく、音声をスピーカ４４ａによって出力し、入力した内容を確認できるような構成であってもよい。

端末制御部４１は、図８（Ｄ）に示すようなボタンＢ３の選択によるコメントの送信指示があった場合、受け付けたコメント示すコメント情報と、タッチ位置Ｔ１を示すタッチ位置情報とを、サーバ５に送信する（ステップＳＣ５）。コメント情報とは、コメントが音声の場合、収音された音声に基づく音声データであり、コメントがテキストの場合、入力されたテキストに基づくテキストデータである。コメント情報は、送信指示のあった時間を示す時刻が対応付けられ、送信される。タッチ位置Ｔ１を示すタッチ位置情報とは、表示パネル４３ａに表示される撮影画像データに基づく画像上における、座標等のユーザのタッチ位置が一意的に定まる情報である。タッチ位置Ｔ１を示すタッチ位置情報は、コメントの送信指示があった時のタッチ位置Ｔ１が第１領域Ａ１内であるか否かの情報が対応付けられ、送信される。

次いで、端末制御部４１は、コメントの送信指示があった時、タッチ位置Ｔ１が第１領域Ａ１内に位置しているか否かを判断する（ステップＳＣ６）。タッチ位置Ｔ１が第１領域Ａ１内に位置していない場合（ステップＳＣ６：ＮＯ）、端末制御部４１は、タッチ位置Ｔ１にコメントが入力されたことを示すマークであるコメントマークＣを表示する（ステップＳＣ７）。

図８（Ｅ）は、タッチ位置Ｔ１が第１領域Ａ１内でない場合に表示される画面の一例を示す図である。図８（Ｅ）に示すように、端末制御部４１は、タッチ位置Ｔ１に、コメントが入力されたことを示すコメントマークＣを表示する。当該コメントマークＣは、携帯端末４のユーザのタッチ操作によって、入力したコメントの内容を出力する。そのため、携帯端末４のユーザは、入力したコメントの内容を確認することができる。

一方、タッチ位置Ｔ１が第１領域Ａ１内に位置している場合（ステップＳＣ６：ＹＥＳ）、端末制御部４１は、タッチ位置Ｔ１にコメントマークＣを表示する一方、送信したコメントが、ナビゲーション装置３で即時に出力されなかった旨を表示する（ステップＳＣ８）。

図８（Ｆ）は、タッチ位置Ｔ１が第１領域Ａ１内である場合に表示される画面の一例を示す図である。図８（Ｆ）に示すように、端末制御部４１は、タッチ位置Ｔ１にコメントマークＣを表示する。また、端末制御部４１は、タッチ位置Ｔ１が第１領域Ａ１内に位置しているため、ナビゲーション装置３では即時にコメントが出力されなかった旨を画像Ｑ３にて表示する。

このように、コメントの送信時に、タッチ位置Ｔ１が、第１領域Ａ１内に位置してしまう場合でも、端末制御部４１は、携帯端末４のユーザに対し、コメントがナビゲーション装置３によって即時に出力されなかった旨を表示することができる。これにより、携帯端末４のユーザは、コメントが即時にナビゲーション装置３で出力されたか否かを認識することができる。

次に、地図＋映像モードの場合について説明する。

＜地図＋映像モード＞
前述した通り、地図＋映像モードとは、携帯端末４の表示パネル４３ａに走行映像、及び、地図を表示するモードである。携帯端末４の端末制御部４１は、地図＋映像モードの場合、専用アプリＡＰの機能により、動画を表示するための領域である動画表示領域Ｄ１、及び、地図を表示する地図表示領域Ｄ２と、を有するユーザインターフェイスを表示し、動画表示領域Ｄ１においては、加工後の撮影画像データに基づく動画を表示し、地図表示領域Ｄ２においては、端末記憶部４２が記憶する地図データ４２ａに基づき地図を表示する（ステップＳＣ２）。

図９は、地図＋映像モードの場合に表示されるユーザインターフェイスの一例を示す図であり、図９（Ａ）は、地図、及び、走行映像の表示の一例を示す図である。

図９（Ａ）に示すように、地図＋映像モードでは、専用アプリＡＰの機能によって、地図表示領域Ｄ２に重畳して動画表示領域Ｄ１があり、地図表示領域Ｄ２には、車両位置情報に基づく車両の位置Ｍを表示すると共に、車両の位置Ｍ、及び、地図データ４２ａに基づく地図が表示され、動画表示領域Ｄ１には、加工後の撮影画像データに基づく走行映像が表示される。また、地図表示領域Ｄ２には、地図を表示すると共に、サーバ５が受信した第２領域情報に基づく第２領域Ａ２を設けられる。第２領域Ａ２は、車両２の速度に応じて範囲が異なる。そのため、境界ラインＬ２は、車両２の速度に応じて図６に示す幅Ｗ２を変えるように移動する。

端末制御部４１は、図９（Ａ）に示すように、第２領域Ａ２を設けた地図、及び、走行映像を表示している状態で、ユーザのタッチ操作がされると（ステップＳＣ３：ＹＥＳ）、コメントの入力を受け付ける（ステップＳＣ４）。

図９（Ｂ）は、タッチ位置Ｔ２の一例を示す図である。端末制御部４１は、携帯端末４のユーザが、図９（Ａ）に示す状態で、地図上において任意の位置をタッチすることによって、図９（Ｂ）に示すタッチ位置Ｔ２を認識し、コメントの入力方法の選択を案内する画像である案内画像Ｑ１を表示する。

図９（Ｃ）は、コメントの入力方法の選択に係る案内画像Ｑ１を表示した一例を示す図である。図９（Ｃ）に示すように、ユーザのタッチ操作によって、案内画像Ｑ１が表示される。当該案内画像Ｑ１は、コメントをテキストによって入力するためのボタンＢ１と、音声によって入力するためのボタンＢ２と、を有する。ユーザがボタンＢ１を選択した場合、端末制御部４１は、表示パネル４３ａに、タッチ操作で入力が可能な図示せぬソフトウェアキーボード等を表示し、コメントの入力を受け付ける。一方、ユーザがボタンＢ２を選択した場合、端末制御部４１は、端末音声入出力部４４のマイク４４ｂによって、携帯端末４のユーザの音声を収音し、コメントの入力を受け付ける。

端末制御部４１は、コメントが入力されると、当該コメントをナビゲーション装置３に送信するか否かを案内する画像である案内画像Ｑ２を表示する。

図９（Ｄ）は、案内画像Ｑ２の表示の一例を示す図である。図９（Ｄ）に示すように、コメントの入力がされると、端末制御部４１は、ナビゲーション装置３にコメントを送信するか否かを案内する画像である案内画像Ｑ２を表示する。案内画像Ｑ２は、入力されたコメントを表示する表示領域Ｒと、コメントをナビゲーション装置３に送信するボタンＢ３と、コメントの送信を取りやめるボタンＢ４とを有する。なお、全画面モードと同様、音声でコメントを入力した場合、音声認識等により変換されたテキストを表示領域Ｒに表示する必要はなく、スピーカ４４ａによって出力し、入力した内容を確認できるような構成であってもよい。

端末制御部４１は、図９（Ｄ）に示すようなボタンＢ３が選択によるコメントの送信指示があった場合、受け付けたコメント示すコメント情報と、タッチ位置Ｔ２を示すタッチ位置情報とを、サーバ５に送信する（ステップＳＣ５）。コメント情報とは、映像モードの際に説明した情報を同様、コメントが音声の場合、収音した音声に基づく音声データであり、コメントがテキストの場合、入力されたテキストに基づくテキストデータである。コメント情報は、送信指示のあった時間を示す時刻が対応付けられ、送信される。タッチ位置Ｔ２を示すタッチ位置情報とは、表示パネルが表示する地図において、ユーザのタッチした位置に基づく経度、及び、緯度の地図上の情報である。タッチ位置Ｔ２を示すタッチ位置情報は、コメントの送信指示があった時のタッチ位置Ｔ２が第２領域Ａ２内であるか否かの情報が対応付けられ、送信される。

次いで、端末制御部４１は、コメントの送信指示があった時、タッチ位置Ｔ２が第２領域Ａ２内に位置しているか否かを判断する（ステップＳＣ６）。タッチ位置Ｔ２が第２領域Ａ２内に位置していない場合（ステップＳＣ６：ＮＯ）、端末制御部４１は、タッチ位置Ｔ２にコメントが入力されたことを示すマークであるコメントマークＣを表示する（ステップＳＣ７）。

図９（Ｅ）は、タッチ位置Ｔ２が第２領域Ａ２内でない場合に表示される画面の一例を示す図である。図９（Ｅ）に示すように、端末制御部４１は、タッチ位置Ｔ２に、コメントが入力されたことを示すコメントマークＣを表示する。当該コメントマークＣは、携帯端末４のユーザのタッチ操作によって、入力したコメントの内容を出力する。これにより、携帯端末４のユーザは、コメントの内容を確認することができる。

タッチ位置Ｔ２が第２領域Ａ２内に位置している場合（ステップＳＣ６：ＹＥＳ）、端末制御部４１は、タッチ位置Ｔ２にコメントマークＣを表示する一方、送信したコメントが、ナビゲーション装置３で出力されなかった旨を表示する（ステップＳＣ８）。

図９（Ｆ）は、タッチ位置Ｔ２が第２領域Ａ２内である場合に表示される画面の一例を示す図である。図９（Ｆ）に示すように、端末制御部４１は、タッチ位置Ｔ２にコメントマークＣを表示する。また、端末制御部４１は、タッチ位置Ｔ２が第２領域Ａ２内に位置しているため、ナビゲーション装置３ではコメントが出力されなかった旨を画像Ｑ３にて表示する。

このように、コメントの送信時に、タッチ位置Ｔ２が、第２領域Ａ２内に位置してしまう場合でも、端末制御部４１は、携帯端末４のユーザに対し、コメントがナビゲーション装置３によって出力されなかった旨を表示することができる。これにより、携帯端末４のユーザは、コメントが即時にナビゲーション装置３に出力されたか否かを認識することができる。

なお、第２領域Ａ２は、車両２が位置Ｍから所定時間内に到達が可能なことを示す外周により形成される円形の領域であってもよい。

図１０は、円形の第２領域Ａ２の一例を示す図である。

図１０に示す第２領域Ａ２は、車両２が、車両の位置Ｍから所定時間内に到達が可能なことを示す境界ラインＬ３を外周として設けられる円形の領域である。円形の第２領域Ａ２は、上述した第２領域Ａ２と同様、地図＋映像モードの際に地図上に設けられる領域である。また、車両２の速度に応じて、円形の第２領域Ａ２は、領域の範囲を変更する。具体的には、車両２の速度が速ければ速いほど、円形の第２領域Ａ２の範囲は広くなる。

上述した第２領域Ａ２は、車両２の進行方向後方の全てを含む領域とした。一方、円形の第２領域Ａ２は、車両２が所定時間内に到達できる領域としているため、端末制御部４１は、コメントがナビゲーション装置３で反映される領域をより多く表示することができる。

図３のフローチャートの説明に戻り、図３（Ｂ）に示すように、サーバ５は、ステップＳＣ５にて携帯端末４から送信されたタッチ位置情報、及び、コメント情報を受信する（ＳＢ４）。次いで、サーバ５は、タッチ位置情報に基づき、地図上の位置を取得する（ステップＳＢ５）。すなわち、携帯端末４のユーザによるタッチ位置Ｔ１に基づいて、タッチした例えば施設等の位置を地図上から取得する。なお、ステップＳＢ５の処理は、携帯端末４が全画面モードの場合のみでよい。これは、地図＋映像モードでは、携帯端末４のユーザが地図上をタッチするため、タッチ位置Ｔ２を示すタッチ位置情報が地図上の位置を含むからである。したがって、地図＋映像モードのタッチ位置情報をサーバ５が受信した場合、ステップＳＢ５の処理は行われない。ここで、図１１を参照し、ステップＳＢ５の処理を説明する。

図１１は、地図上の位置の取得を説明するための説明図であり、図１１（Ａ）は、撮影画像データに基づく画像の一例を示す図である。また、図１１（Ｂ）は、車両２の位置に基づく地図の一例を示す図である。

図１１において、図１１（Ａ）に示す画像は、図１１（Ｂ）に示す車両の位置Ｍの前方の撮影画像データに基づく画像である。

サーバ制御部５１は、図１１（Ａ）に示すような撮影画像データに基づく画像から、パターンマッチング等の既存の処理によって、画像に映し出される施設や、道路等を特定する。説明の便宜を考慮し、サーバ制御部５１は、図１１（Ａ）に示す画像の場合、施設Ｃ１〜Ｃ４を特定する。ここで、サーバ制御部５１は、施設Ｃ１〜Ｃ４の４棟を特定し、より画像の中心に位置する施設を、車両の位置Ｍから遠い施設であると特定する。すなわち、サーバ制御部５１は、施設Ｃ１、及び、施設Ｃ２は、車両の位置Ｍから近い施設であると特定し、施設Ｃ３、及び、施設Ｃ４は車両の位置Ｍから遠い施設であると特定する。

次いで、サーバ制御部５１は、画像から特定した施設と、車両の位置Ｍに基づく地図に表示される施設とを一致させる。画像から特定された施設は、車両の位置Ｍと車両２の進行方向から、地図上の施設と、以下のように一致されていく。施設Ｃ１は、車両２の進行方向右側において車両の位置Ｍに近い施設であるため、地図上においては施設Ｃ５と特定される。施設Ｃ２は、車両２の進行方向左側において車両の位置Ｍに近い施設であるため、地図上においては施設Ｃ６と特定される。施設Ｃ３は、車両２の進行方向左側において車両の位置Ｍから遠い施設であるため、地図上においては施設Ｃ７と特定される。施設Ｃ４は、車両２の進行方向右側において車両の位置Ｍから遠い施設であるため、地図上においては施設Ｃ８と特定される。

サーバ制御部５１は、撮影画像データに基づく画像から認識した施設等を地図と一致させた後、受信したタッチ位置情報に基づくタッチ位置Ｔ１がどの施設等にあるかを判断し、タッチ位置Ｔ１に基づく地図上の位置を取得する。

図１１（Ａ）の場合、タッチ位置Ｔ１は、施設Ｃ４上に位置する。この場合、サーバ制御部５１は、タッチ位置Ｔ１が施設Ｃ４上に位置すると判断し、地図から施設Ｃ８（図１１（Ａ）では施設Ｃ４）の経度、及び、緯度の位置を取得する。

なお、地図上の位置を取得する方法は一例であり、上述した方法に限られない。

図３の説明に戻り、図３（Ｂ）に示すように、サーバ制御部５１は、タッチ位置情報と、ステップＳＢ５で取得した地図上の位置を示す対応位置情報と、コメント情報と、をナビゲーション装置３に送信する（ステップＳＢ６）。なお、対応位置情報は、地図＋映像モードのタッチ位置Ｔ２の場合、タッチ位置情報が含む地図上の位置を示す。

図３（Ｃ）に示すように、ナビゲーション装置３の制御部３１は、通信部３５によってサーバ５から送信されたタッチ位置情報、対応位置情報、及び、コメント情報を受信し（ステップＳＡ３）、タッチ位置情報、対応位置情報、及び、コメント情報を記憶部３２等に記憶する（ステップＳＡ４）。

次いで、制御部３１は、記憶したタッチ位置情報に基づき、タッチ位置Ｔ１が第１領域Ａ１内、或いは、タッチ位置Ｔ２が第２領域Ａ２内であるか否かを判断する（ステップＳＡ４）。前述した通り、タッチ位置情報は、タッチ位置Ｔ１が第１領域Ａ１内、或いは、タッチ位置Ｔ２が第２領域Ａ２内であるか否かの情報を含んでいる。

タッチ位置情報に基づくタッチ位置Ｔ１が第１領域Ａ１内、或いは、タッチ位置Ｔ２が第２領域Ａ２内である場合（ステップＳＡ４：ＹＥＳ）、制御部３１は、コメント情報に基づくコメントの出力、及び、サーバ５から受信した対応位置情報に基づく地図上の位置の表示を即時に行わない（ステップＳＡ５）。なお、制御部３１は、ユーザの操作によって、コメントの受信履歴として、受信したコメントの出力、及び、地図上の位置の表示ができる。

図１２は、ナビゲーション装置３に表示されるユーザインターフェイスの一例を示す図である。図１２（Ａ１）、及び、図１２（Ａ２）に示す図は、車両２が停車中に表示される画面の一例である。なお、車両２が走行中の場合、走行映像は表示されない。つまり、地図の表示のみである。

制御部３１は、車両２が停車中の場合、専用ソフトＳＦの機能により、携帯端末４と同様にユーザの所定のタッチ操作によって、全画面モードと、地図＋映像モードと、の２つのモードに切り替えることができる。図１２（Ａ１）は、全画面モードの際に表示される画面の一例であり、図１２（Ａ２）は、地図＋映像モードの際に表示される画面の一例である。

図１２（Ａ１）は、表示パネル３３ａに動画を表示するための動画表示領域Ｄ１を有する。図１２（Ａ２）は、表示パネル３３ａに地図を表示するための地図表示領域Ｄ２、及び、動画を表示するための動画表示領域Ｄ１を有する。また。図１２（Ａ１）、及び、図１２（Ａ２）は、選択することによって携帯端末４から送信されたコメントを表示することができるボタンＢ５を有する。当該ボタンＢ５は、車両２が走行中の場合も地図上に設けられ、ユーザのタッチ操作を受け付ける。

ユーザは、ボタンＢ５を選択することによって、携帯端末４から送信されたコメントをコメントの受信履歴として表示することができる。

図１２（Ｂ）は、コメントの受信履歴の一例を示す図である。

図１２（Ｂ）に示すように、ナビゲーション装置３は、専用ソフトＳＦの機能により、表示パネル３３ａに、コメントが入力された位置を示す位置表示画面Ｄ３と、入力されたコメントをリストとして表示するリスト表示画面Ｄ４と、を有する。位置表示画面Ｄ３は、受信した対応位置情報の地図上の位置に基づき、車両２が走行した経路ＳＫの表示と共に、コメントが入力されたことを示すマークＫを表示する。また、複数入力された場合、マークＫは、例えば時系列順等の所定の順番に基づき、番号を付され表示される。リスト表示画面Ｄ４は、入力されたコメントを項目として羅列したリストＬとして表示する。図１１（Ｂ）に示すように、１のコメントは、１の項目として表示され、例えば時系列順等の所定の順番に基づき、番号が付され表示される。また、入力された時間を示す時刻が表示される。また、リスト表示画面Ｄ４は、コメントがテキストで入力された場合、項目ＬＳ１、及び、項目ＬＳ２に示すようにコメントを文字列として表示し、コメントが音声で入力された場合、項目ＬＳ３に示すようにタッチ操作することによって音声が出力されるボタンＯとして表示される。また、位置表示画面Ｄ３に表示されるマークＫに付された番号と、リスト表示画面Ｄ４に表示される項目に付された番号とは、同一のコメント情報を示す。

上述したように、タッチ位置Ｔ１が第１領域Ａ１内、或いは、タッチ位置Ｔ２が第２領域Ａ２内である場合、ナビゲーション装置３は、コメントの出力、及び、対応位置情報に基づく地図上の位置の表示を即時に行わない。これにより、制御部３１は、不用意なコメントの出力を行わないため、コメントの有益性の低下を抑制できる。また、制御部３１は、車両２がまもなく通過してしまう施設等に対するコメントの出力を行わないため、運転者の運転に対する注意の散漫を低減できる。また、ナビゲーション装置３が即時に出力しないコメントを、受信履歴として表示できるため、ユーザは、通過してしまった施設等に対するコメントを、コメントが示す施設等を通過後でも確認することができる。特に、コメントの受信履歴では、コメントと、地図位置を表示するため、ユーザは、詳細にコメント内容を知ることができる。

なお、前述したとおり、車両２が走行中の場合、走行映像の表示は行われない。すなわち、地図の表示のみである。この場合、ボタンＢ５が地図上に表示されており、車両２に搭乗するユーザは、ボタンＢ５を選択することによって、受信したコメントの履歴を見ることができる。

図３の説明に戻り、図３（Ａ）において、タッチ位置Ｔ１が第１領域Ａ１内、或いは、タッチ位置Ｔ２が第２領域Ａ２内でない場合、制御部３１は、コメントの出力、及び、対応位置情報に基づく地図上の位置の表示を即時に実行する（ステップＳＡ６）。

車両２が走行中の場合、コメント情報に基づくコメントは、ナビゲーション装置３が備えるスピーカ３４ａによって音声によって出力される。また、受信した対応位置情報に基づく地図上の位置も表示される。前述した通り、車両２が走行中の場合、所定の法律により走行映像は表示されないため、表示パネル３３ａに表示された地図上に、所定のマークとして、対応位置情報に基づく地図上の位置は、表示される。

ここで、コメントがテキストによって入力された場合、当該コメントは、音声認識によりテキストデータから音声データへ変換され、音声データに基づく音声として出力される。なお、制御部３１が音声認識を行ってもよく、サーバ５、或いは、携帯端末４が行ってもよい。また、コメントが音声によって入力された場合、制御部３１は、音声入出力部３４によって当該音声をそのまま出力する。このように、車両２が走行中の場合、ナビゲーション装置３が音声によってコメントを出力するため、車両２に搭乗しているユーザは、コメントの内容を目視することなく知ることができる。特に、車両２が走行中、コメントをテキストとして表示しないため、運転者の運転に対する注意を散漫させることがない。

一方、車両２が停車中の場合、コメント情報に基づくコメントは、テキストとして表示パネル３３ａに表示されてもよく、音声によって出力されてもよい。

このように、タッチ位置Ｔ１が第１領域Ａ１内、或いは、タッチ位置Ｔ２が第２領域Ａ２内でない場合、ナビゲーション装置３は、コメントの出力、及び、地図上の位置の表示を即時に実行する。これにより、ユーザは、例えば車両２が走行中に位置する施設等の情報を、リアルタイムに知ることができる。特に、コメントと、対応位置情報に基づく地図上の位置を表示するため、ユーザは、詳細にコメントに関する情報を知ることができる。

以上、説明したように、本実施形態における情報処理システム１は、車両２に搭載されるナビゲーション装置３（車載装置）と、ナビゲーション装置３と通信可能なサーバ５（情報処理装置）と、サーバ５と通信可能な携帯端末４（端末）と、を備える。ナビゲーション装置３は、車両２に設けられ、車両２の前方を撮影するカメラ３９の撮影結果に基づく撮影画像データを、サーバ５に送信する。サーバ５は、ナビゲーション装置３から受信した撮影画像データを、携帯端末４に送信する。携帯端末４は、サーバ５から受信した撮影画像データに基づく画像を表示すると共に、コメントの入力を受け付け、受け付けたコメントを示すコメント情報を、サーバ５に送信する。サーバ５は、携帯端末４から受信したコメント情報を、ナビゲーション装置３に送信する。ナビゲーション装置３は、コメント情報に基づいて、コメントを出力する。

この構成により、情報処理システム１は、例えば道路を車両２によって走行中、外部の人から、お店等の、走行中の道路に関する情報を知る等の、リアルタイムな情報の伝達を行うことができる。

また、本実施形態の情報処理システム１において、携帯端末４は、任意の位置をタッチ操作が可能な状態で撮影画像データに基づく画像を表示し、撮影画像データに基づく画像がタッチ操作されると共に、タッチ操作と対応してコメントの入力を受け付けた場合、コメントを示すコメント情報、及び、タッチ操作されたタッチ位置を示すタッチ位置情報をサーバ５に送信し、サーバ５は、タッチ位置情報に基づいて、タッチ操作されたタッチ位置の地図上の位置を算出し、算出した地図上の位置を示す対応位置情報を、コメント情報と共にナビゲーション装置３に送信し、ナビゲーション装置３は、地図を表示するタッチパネル３３を備え、コメント情報に基づいてコメントを出力すると共に、対応位置情報に基づいて、タッチパネル３３が表示する地図上に、タッチ位置に対応する位置を表示する。

この構成により、情報処理システム１は、携帯端末４を操作するユーザが入力したコメント、及び、タッチ位置を、ナビゲーション装置３を備える車両２に搭乗しているユーザに提供できる。

また、本実施形態の情報処理システム１において、ナビゲーション装置３は、車両の位置Ｍを示す車両位置情報をサーバ５に送信し、サーバ５は、受信した車両位置情報が示す車両の位置Ｍに基づいて、車両２の位置を起点とした所定の範囲に対応する第１領域Ａ１が画像に表示されるように撮影画像データを加工して、携帯端末４に送信し、携帯端末４は、受信した加工後の撮影画像データに基づいて、第１領域Ａ１が表示された画像を表示し、ナビゲーション装置３が、第１領域Ａ１に対するタッチ操作に対応して受け付けたコメントを示すコメント情報に基づくコメントの出力を行わないようにする。

この構成により、情報処理システム１は、第１領域Ａ１内におけるタッチ操作に基づくコメントの出力の抑制することができる。特に、本実施形態において第１領域Ａ１は、車両２がまもなく通過してしまう可能性の高い領域であることを示す。そのため、情報処理システム１は、不用意なコメントの出力を行わないことにより、出力されるコメントの有益性の低下を抑制できる。また、車両２が通過してしまう可能性の高い施設等のコメントを出力しないため、車両２の運転者の運転に対する注意の散漫を低減することができる。

また、本実施形態の情報処理システム１において、ナビゲーション装置３は、車両２の速度を示す車両速度情報をサーバ５に送信し、サーバ５は、受信した車両速度情報が示す車両２の速度に基づいて、車両２の速度が速いほど、第１領域Ａ１の範囲を広くする。

この構成により、サーバ５は、車両２がまもなく通過する可能性の高い領域を、車両２の速度に応じた第１領域Ａ１が画像に表示されるように撮影画像データを加工する。そのため、情報処理システム１は、携帯端末４のユーザに対し、正確に、車両２がまもなく通過する可能性の高い領域を提供することができる。

また、本実施形態の情報処理システム１において、ナビゲーション装置３は、車両位置情報をサーバ５に送信し、サーバ５は、受信した車両位置情報が示す車両の位置Ｍに基づいて、車両の位置Ｍを起点とした所定の範囲に対応する第２領域Ａ２を示す第２領域情報を生成して、撮影画像データと、第２領域情報と、車両の位置Ｍとを携帯端末４に送信し、携帯端末４は、地図を表示すると共に、受信した第２領域情報に基づいて、地図上に、車両位置情報が示す車両の位置Ｍ、及び、第２領域情報が示す第２領域Ａ２を表示し、ナビゲーション装置３が、第２領域Ａ２に対するタッチ操作に対応して受け付けたコメントを示すコメント情報に基づくコメントの出力を行わないようにする。

この構成により、情報処理システム１は、第２領域Ａ２内におけるタッチ操作に基づくコメントの出力の抑制することができる。特に、本実施形態において第２領域Ａ２は、車両２がまもなく通過してしまう可能性の高い領域であることを示す。そのため、情報処理システム１は、不用意なコメントの出力を行わないことにより、コメントの有益性の低下を抑制できる。また、車両２が通過してしまう可能性の高い施設等のコメントを出力しないため、車両２の運転者の運転に対する注意の散漫を低減することができる。

また、本実施形態の情報処理システム１において、ナビゲーション装置３は、車両速度情報をサーバ５に送信し、サーバ５は、受信した車両速度情報が示す車両２の速度に基づいて、車両２の速度が速いほど、第２領域Ａ２の範囲を広くする。

この構成により、サーバ５は、車両２がまもなく通過する可能性の高い領域を、車両２の速度に応じた第２領域Ａ２が画像に表示されるように撮影画像データを加工する。そのため、情報処理システム１は、携帯端末４のユーザに対し、正確に、車両２がまもなく通過する可能性の高い領域を提供することができる。

上述した実施形態は、あくまでも本発明の一態様を例示するものであって、本発明の趣旨を逸脱しない範囲で任意に変形、及び、応用が可能である。

例えば、上述したコメント情報は、携帯端末４で入力された内容と、同じ内容がナビゲーション装置３で出力されていた。しかしながら付加情報とともにコメントを出力してもよい。この場合、サーバ制御部５１は、携帯端末４から受信したタッチ位置情報から取得した対応位置情報に基づく例えば施設等の位置、及び、名称の情報を、サーバ５と異なる外部サーバに送信する。外部サーバは、受信した情報に基づき、付加情報を取得し、サーバ５に送信する。付加情報を受信したサーバ５は、コメント情報とともに、付加情報を送信する。ナビゲーション装置３は、コメントとともに付加情報も出力する。

また、例えば、本実施形態において、ナビゲーション装置３が、タッチ位置Ｔ１が第１領域Ａ１内、或いは、タッチ位置Ｔ２が第２領域Ａ２内であるか否かの判断を行ったが、サーバ５、若しくは、携帯端末４がこの判断を実行してもよい。この場合、サーバ５、若しくは、携帯端末４は、ナビゲーション装置３においてコメントの出力を実行するか否かの情報を生成し、ナビゲーション装置３が当該情報に基づき、コメントの出力、若しくは、出力しない処理を実行する。

１ 情報処理システム
２ 車両
３ ナビゲーション装置（車載装置）
４ 携帯端末（端末）
５ サーバ（情報処理装置）
３３ タッチパネル（表示部）
３９ カメラ
Ａ１ 第１領域
Ａ２ 第２領域

Claims (8)

1. 車両に搭載される車載装置と、前記車載装置と通信可能な情報処理装置と、前記情報処理装置と通信可能な端末と、を備える情報処理システムであって、
   前記車載装置は、
   前記車両に設けられ、前記車両の前方を撮影する撮影装置の撮影結果に基づく撮影画像データを、前記情報処理装置に送信し、
   前記情報処理装置は、
   前記車載装置から受信した前記撮影画像データを、前記端末に送信し、
   前記端末は、
   前記情報処理装置から受信した前記撮影画像データに基づく画像を表示すると共に、コメントの入力を受け付け、受け付けたコメントを示すコメント情報を、前記情報処理装置に送信し、
   前記情報処理装置は、
   前記端末から受信した前記コメント情報を、前記車載装置に送信し、
   前記車載装置は、
   前記コメント情報に基づいて、コメントを出力する
   ことを特徴とする情報処理システム。
2. 前記端末は、
   任意の位置をタッチ操作が可能な状態で前記撮影画像データに基づく画像を表示し、
   前記撮影画像データに基づく画像がタッチ操作されると共に、タッチ操作と対応してコメントの入力を受け付けた場合、コメントを示す前記コメント情報、及び、タッチ操作されたタッチ位置を示すタッチ位置情報を前記情報処理装置に送信し、
   前記情報処理装置は、
   前記タッチ位置情報に基づいて、タッチ操作されたタッチ位置の地図上の位置を算出し、算出した地図上の位置を示す対応位置情報を、前記コメント情報と共に前記車載装置に送信し、
   前記車載装置は、
   地図を表示する表示部を備え、
   前記コメント情報に基づいて前記コメントを出力すると共に、前記対応位置情報に基づいて、前記表示部が表示する地図上に、タッチ位置の地図上の位置を表示する
   ことを特徴とする請求項１に記載の情報処理システム。
3. 前記車載装置は、
   前記車両の位置を示す車両位置情報を前記情報処理装置に送信し、
   前記情報処理装置は、
   受信した前記車両位置情報が示す前記車両の位置に基づいて、前記車両の位置を起点とした所定の範囲に対応する第１領域が画像に表示されるように前記撮影画像データを加工して、前記端末に送信し、
   前記端末は、
   受信した加工後の前記撮影画像データに基づいて、前記第１領域が表示された画像を表示し、
   前記車載装置が、前記第１領域に対するタッチ操作に対応して受け付けたコメントを示す前記コメント情報に基づくコメントの出力を行わないようにする
   ことを特徴とする請求項２に記載の情報処理システム。
4. 前記車載装置は、
   前記車両の速度を示す車両速度情報を前記情報処理装置に送信し、
   前記情報処理装置は、
   受信した前記車両位置情報が示す車両の位置に基づいて、前記車両速度情報が示す車両の速度が速いほど、前記第１領域の範囲を広くする
   ことを特徴とする請求項３に記載の情報処理システム。
5. 前記車載装置は、
   前記車両位置情報を前記情報処理装置に送信し、
   前記情報処理装置は、
   受信した前記車両位置情報が示す車両の位置に基づいて、前記車両の位置を起点とした所定の範囲に対応する第２領域を示す第２領域情報を生成して、前記撮影画像データと、前記第２領域情報と、前記車両位置情報とを前記端末に送信し、
   前記端末は、
   地図を表示すると共に、受信した前記第２領域情報に基づいて、地図上に、前記車両位置情報が示す前記車両の位置、及び、前記第２領域情報が示す前記第２領域を表示し、
   前記車載装置が、前記第２領域に対するタッチ操作に対応して受け付けたコメントを示す前記コメント情報に基づくコメントの出力を行わないようにする
   ことを特徴とする請求項２に記載の情報処理システム。
6. 前記車載装置は、
   前記車両速度情報を前記情報処理装置に送信し、
   前記情報処理装置は、
   受信した前記車両速度情報が示す前記車両の速度に基づいて、前記車両の速度が速いほど、前記第２領域の範囲を広くする
   ことを特徴とする請求項５に記載の情報処理システム。
7. 車両に搭載される車載装置が、
   前記車両に設けられ、前記車両の前方を撮影する撮影画像の撮影結果に基づく撮影画像データを、情報処理装置に送信するステップと、
   前記情報処理装置が、
   前記車載装置から受信した前記撮影画像データを、端末に送信するステップと、
   前記端末が、
   前記情報処理装置から受信した前記撮影画像データに基づく画像を表示すると共に、コメントの入力を受け付け、受け付けたコメントを示すコメント情報を、前記情報処理装置に送信するステップと、
   前記情報処理装置が、
   前記端末から受信した前記コメント情報を、前記車載装置に送信するステップと、
   前記車載装置が、
   前記コメント情報に基づいて、コメントを出力するステップと、を備える
   ことを特徴とする情報処理方法。
8. 前記端末が、
   任意の位置をタッチ操作が可能な状態で前記撮影画像データに基づく画像を表示し、前記撮影画像データに基づく画像がタッチ操作された場合に、タッチ操作に対応して受け付けたコメントを示す前記コメント情報と共に、タッチ操作されたタッチ位置を示すタッチ位置情報を前記情報処理装置に送信するステップと、
   前記情報処理装置が、
   前記タッチ位置情報に基づいて、タッチ操作されたタッチ位置の地図上の位置を算出し、前記地図上の位置を前記コメント情報と共に前記車載装置に送信するステップと、
   前記車載装置が、
   前記コメント情報に基づいて、前記コメントを出力すると共に、前記地図上の位置を表示するステップと、を備える
   ことを特徴とする請求項７に記載の情報処理方法。