JP5949435B2 - ナビゲーションシステム、映像サーバ、映像管理方法、映像管理プログラム、及び映像提示端末 - Google Patents

ナビゲーションシステム、映像サーバ、映像管理方法、映像管理プログラム、及び映像提示端末 Download PDF

Info

Publication number
JP5949435B2
JP5949435B2 JP2012233441A JP2012233441A JP5949435B2 JP 5949435 B2 JP5949435 B2 JP 5949435B2 JP 2012233441 A JP2012233441 A JP 2012233441A JP 2012233441 A JP2012233441 A JP 2012233441A JP 5949435 B2 JP5949435 B2 JP 5949435B2
Authority
JP
Japan
Prior art keywords
video
information
unit
video data
destination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012233441A
Other languages
English (en)
Other versions
JP2014085192A (ja
Inventor
つきみ 若林
つきみ 若林
藤井 毅也
毅也 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2012233441A priority Critical patent/JP5949435B2/ja
Publication of JP2014085192A publication Critical patent/JP2014085192A/ja
Application granted granted Critical
Publication of JP5949435B2 publication Critical patent/JP5949435B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Description

本発明はナビゲーションシステム、映像サーバ、映像管理方法、映像管理プログラム、及び映像提示端末に関する。
近年、自動車等の走行時に目的地への経路案内を行うカーナビゲーションシステム(Automotive navigation system)が広く利用されている。従来のカーナビゲーションシステムでは、自動車が停車する前に「目的地周辺です」といった音声案内を行い、道路グラフによるナビゲーションを打ち切ることが一般的である。そのため、実際に目的地に自動車を駐車するまでの案内情報を得ることは出来なかった。
これに対し、目的地の入口を案内する技術が開示されている。以下、当該技術について説明する。特許文献1には、目的地を同じとする走行軌跡の重複部分を目的地入口への経路とする車両用情報提供システムが開示されている。また特許文献2及び特許文献3には、車両の走行軌跡情報から軌跡道路上にある最後の地点を目的地の入口とみなし、目的地の出入り口情報を蓄積するナビゲーションサーバが開示されている。
さらに特許文献4には、目的地までの経路案内終了地点から駐車位置までの走行軌跡を統計処理して駐車情報を生成し、当該駐車情報を各車両に配信するナビゲーション装置が開示されている。駐車情報は、例えば駐車場の地点情報や右折(左折)コスト等を含む情報である。
特開2004−138490号公報 特開2006−275837号公報 特開2006−275838号公報 特開2008−002978号公報
特許文献1〜3にかかるシステムでは、目的地の入口(例えば駐車場入り口)にかかる情報を提示するのみであり、実際に車両が駐車するまでの情報を提供することは想定されていない。特許文献4にかかるナビゲーション装置では、駐車情報を車両に提供するものの、当該駐車情報は実際の車両の停め方や駐車スペースへの経路を把握できるものではない。すなわち従来の技術では、車両が駐車するまでの状況を把握できないという問題があった。
本発明は、上述の問題に鑑みてなされたものであり、車両が駐車するまでの経路映像を提供することができるナビゲーションシステム、映像サーバ、映像管理方法、映像管理プログラム、及び映像提示端末を提供することを主たる目的とする。
本発明にかかるナビゲーションシステム(1)の一態様は、映像取得端末(12)と、映像サーバ(11)と、映像提示端末(13)と、を備え、前記映像取得端末(12)は、車両が駐車するまでの経路を撮影した映像データを目的地の情報および位置情報と関連付けて収集して前記映像サーバ(11)に送信し、前記映像サーバ(11)は、前記映像ータを蓄積するとともに、受信した前記映像データのうち前記目的地の周辺範囲を撮影した画像単位を前記位置情報に基づき特定し、前記周辺範囲内における走行に関する所定の条件を満たす画像単位である特徴点を検出し、前記特徴点の検出時の情報から蓄積中の各映像データに共通する同一経路区間を算出し、前記映像提示端末(13)から送信された前記周辺範囲の起点位置を含むリクエストと、検出した前記特徴点と、前記同一経路区間と、に基づいて表示対象となる映像データおよび経路パターンにかかる情報を含む再生リストを生成して前記映像提示端末(13)に送信し、前記映像提示端末(13)は、前記リクエストを送信し、前記映像サーバ(11)から受信した前記再生リストに基づいてユーザ提示映像を生成する、ことを特徴とするものである。
本発明にかかる映像サーバ(11)の一態様は、車両が駐車するまでの経路を撮影した映像データと、当該映像データに関する目的地の情報および位置情報と、を映像取得端末(12)から受信する通信部(111)と、受信した前記映像データを前記目的地の情報および前記位置情報と関連付けて保持する映像情報データベース部(115)と、受信した前記映像データのうち前記目的地の周辺範囲を撮影した画像単位を前記位置情報に基づき特定し、前記周辺範囲内における走行に関する所定の条件を満たす画像単位である特徴点を検出し、前記特徴点の検出時の情報から蓄積中の各映像データに共通する同一経路区間を算出する映像情報解析部(113)と、前記周辺範囲における起点位置を含むリクエストと、検出した前記特徴点と、前記同一経路区間と、に基づいて表示対象となる映像データおよび経路パターンにかかる情報を含む再生リストを生成する映像情報抽出部(114)と、を備えることを特徴とするものである。
本発明にかかる映像管理方法の一態様は、車両が駐車するまでの経路を撮影した映像データと、当該映像データに関する目的地の情報および位置情報と、を映像取得端末から受信する通信ステップと、受信した前記映像データのうち前記目的地の周辺範囲を撮影した画像単位を前記位置情報に基づき特定し、前記周辺範囲内における走行に関する所定の条件を満たす画像単位である特徴点を検出し、前記特徴点の検出時の情報から蓄積中の各映像データに共通する同一経路区間を算出する映像情報解析ステップと、前記周辺範囲における起点位置を含むリクエストと、検出した前記特徴点と、前記同一経路区間と、に基づいて表示対象となる映像データおよび経路パターンにかかる情報を含む再生リストを生成する映像情報抽出ステップと、を備えることを特徴とするものである。
本発明にかかる映像管理プログラムの一態様は、コンピュータに、車両が駐車するまでの経路を撮影した映像データと、当該映像データに関する目的地の情報および位置情報と、を映像取得端末から受信する通信ステップと、受信した前記映像データのうち前記目的地の周辺範囲を撮影した画像単位を前記位置情報に基づき特定し、前記周辺範囲内における走行に関する所定の条件を満たす画像単位である特徴点を検出し、前記特徴点の検出時の情報から蓄積中の各映像データに共通する同一経路区間を算出する映像情報解析ステップと、前記周辺範囲における起点位置を含むリクエストと、検出した前記特徴点と、前記同一経路区間と、に基づいて表示対象となる映像データおよび経路パターンにかかる情報を含む再生リストを生成する映像情報抽出ステップと、を実行させるものである。
本発明にかかる映像提示端末(13)の一態様は、車両が駐車するまでの経路を撮影した映像データと、当該映像データに関する目的地の情報および位置情報と、を蓄積する映像サーバ(11)から表示対象となる映像データおよび経路パターンにかかる情報を含む再生リストを取得する映像提示端末(13)であって、所望の目的地の情報を前記映像サーバに送信し、前記所望の目的地の周辺範囲の情報を受信する通信部(131)と、前記周辺範囲内の周辺映像を撮影する映像情報取得部(137)と、前記映像情報取得部(137)の撮影した映像データを解析し、走行に関する所定の条件を満たす画像単位である特徴点を検出する映像情報解析部(138)と、前記映像情報解析部(138)が検出した前記特徴点と前記経路パターンを比較し、当該比較に応じて前記再生リストからユーザ提示映像を生成する映像情報再生部(134)と、を備える、ものである。
本発明では、車両が駐車するまでの経路を認識することができるナビゲーションシステム、映像サーバ、映像管理方法、映像管理プログラム、及び映像提示端末を提供することができる。
実施の形態1にかかるナビゲーションシステムの構成を示すブロック図である。 実施の形態1にかかる映像取得端末12による映像収集の処理を示すフローチャートである。 実施の形態1にかかる映像サーバ11による映像蓄積処理を示すフローチャートである。 実施の形態1にかかる映像情報解析部113による映像解析処理の流れを示すフローチャートである。 案内標識の例を示す図である。 実施の形態1にかかる映像情報解析部113による進行方向検出の概念を示す図である。 経路映像データに対応する位置情報の例を示す概念図である。 実施の形態1にかかる到着映像データの各特徴点の例を示す図である。 実施の形態1にかかる到着映像データの各特徴点の例を示す図である。 実施の形態1にかかる到着映像データの各特徴点の例を示す図である。 実施の形態1にかかる到着映像データの各特徴点の例を示す図である。 実施の形態1にかかる各経路(A〜D)から算出した同一経路映像区間を示す例である。 実施の形態1にかかる映像情報データベース部115のデータ蓄積例を示す図である。 実施の形態1にかかる映像サーバ11による映像抽出処理、および映像提示端末13による映像提示処理の流れを示すフローチャートである。 実施の形態1にかかる再生リストの概念図である。 実施の形態1にかかる再生リストのデータ構成例を示す図である。 実施の形態1にかかる再生リストのデータ構成例を示す図である。 実施の形態1にかかる再生リストのデータ構成例を示す図である。 実施の形態1にかかる映像再生表示部134による第1の表示処理を示すフローチャートである。 実施の形態1にかかる再生テーブルの構成例を示す図である。 実施の形態1にかかる映像再生表示部134による第2の表示処理を示すフローチャートである。 実施の形態1にかかる再生シナリオテーブルの構成例を示す図である。 実施の形態1にかかる次分岐点テーブルの構成を示す図である。 実施の形態1にかかる映像再生表示部134が映像データを再生する表示画面の一例を示す図である。 実施の形態1にかかる再生シナリオテーブルを用いた表示処理を示す概念図である。 実施の形態2にかかるナビゲーションシステムの構成を示すブロック図である。 実施の形態3にかかるナビゲーションシステムの構成を示すブロック図である。
<実施の形態1>
以下、図面を参照して本発明の実施の形態かかるナビゲーションシステムについて説明する。図1は、本実施の形態にかかるナビゲーションシステムの機能的構成を示すブロック図である。本実施の形態にかかるナビゲーションシステム1は、映像サーバ11、映像取得端末12、及び映像提示端末13を備える。映像提示端末13は、ユーザにより操作可能な端末(例えばスマートフォン等)である。ユーザは当該端末上で経路映像データを基に生成された提示映像を確認する。経路映像データとは、車両を始めとする移動体に搭載された映像機器により撮影された移動経路周辺の映像データを指す。以下、本実施の形態にかかるナビゲーションシステム1が車両(自動車)に関するシステムであるものとして説明を行う。また以下の説明において到着映像データとは、目的地周辺(詳細な定義は後述する。)に進入してから目的地において駐車するまで(車両のエンジンが切られて完全停止するまで)の経路映像データを意味する。
映像取得端末12は、映像提供者の車両に搭載され、撮像した映像データを関連する撮影データと共に映像サーバ11に送信する。ここで撮影データとは、各撮影フレームに対応する時刻、位置、位置測定レベル、車両速度、及び目的地名等を含む情報であり、いわゆる映像データの各フレームのメタデータである。映像取得端末12の処理については改めて後述する。
映像サーバ11は、映像取得端末12から送信された映像データと撮影データを関連付けて蓄積する。さらに映像サーバ11は、各目的地(の識別子)と各目的地周辺の範囲を関連付けて記憶する。また映像サーバ11は、映像提示端末13からのリクエストに応じて蓄積した映像データ群から必要な映像データを抽出して経路映像データを含む再生リストを生成し、生成した再生リストを映像提示端末13に送信する。
映像提示端末13は、目的地を特定する情報を含んだリクエストを映像サーバ11に
送信し、映像サーバ11から再生リストを受信し、ユーザに提示映像を提供する。
各装置(映像サーバ11、映像取得端末12、映像提示端末13)の構成及び動作について更に説明する。
(映像取得端末12の構成及び動作)
映像取得端末12は、例えば車両に取り付けられたカメラを含む情報処理装置である。映像取得端末12は、通信部121、時刻情報取得部122、現在位置情報取得部123、速度情報取得部124、映像情報取得部125、目的地情報取得部126、及び情報保持部127を備える。
通信部121は、映像取得端末12内の他の処理部から受信したデータを映像サーバ11に送信する処理、及び映像サーバ11からデータを受信して映像取得端末12内の他の処理部に転送する処理、を実行する。例えば通信部121は、撮影した映像データと撮影データ(時刻、現在位置、速度等)を関連付けて映像サーバ11に送信する。
時刻情報取得部122は、撮影時の時刻を適宜取得する。時刻情報処理部122は、例えば、映像取得端末12が備えるRTC(リアルタイムクロック、図示せず)から時刻情報を取得する。
現在位置情報取得部123は、映像取得端末12を搭載した車両の現在位置情報を取得する。現在位置情報取得部123は、例えば、GPS(Global Positioning System、図示せず)から現在位置情報を取得する。速度情報取得部124は、映像取得端末12を搭載した車両の移動速度を取得する。速度情報取得部124は、車両内のECU(Engine Control Unit)等から現在の移動速度を取得する。
映像情報取得部125は、いわゆる動画像(映像)を撮像する撮像部である。ここで映像情報取得部125は、映像に加えて音声を取得できるものであっても良いことは勿論である。映像情報取得部125は、車両上の運転者の視界に準じた範囲を撮影できる位置に固定される。映像情報取得部125は、車両周辺を撮影し、撮影フレームを取得する。
目的地情報取得部126は、映像提供者(映像取得端末12が搭載された車両の搭乗者)の指定する目的地情報を取得する。目的地情報取得部126は、例えば映像取得端末12の任意のユーザインターフェイス(例えばボタン)の操作に応じて目的地情報を取得する。情報保存部127は、撮影した映像データ(映像情報取得部125が取得したフレーム)と関連する撮影データ(上述の各処理部において取得した時刻、位置、速度、目的地情報)を関連付けて保存する。情報保存部127は、たとえばハードディスク等の記憶装置及び当該記憶装置に関連する回路等により構成される。
(映像サーバ11の構成及び動作)
次に映像サーバ11の構成について説明する。映像サーバ11は、通信部111、映像情報登録部112、映像情報解析部113、映像情報抽出部114、及び映像情報データベース部115を備える。
通信部111は、映像取得端末12及び映像提示端末13とのデータ送受信を行う。映像情報解析部113は、映像取得端末12から送信された映像データを解析し、特徴点となるフレームを抽出する。特徴点とは、目的地周辺内における位置の特定に用いられる地点を撮影したフレームであり、例えば駐車場内におけるフロア名等が掲示された地点を撮影したフレームである。また車両が特定の動き(後退、完全停止)を行ったフレームも特徴点とする。すなわち目的地周辺内において車両走行にかかる所定の条件(駐車場内のフロア名が映りこんでいる、車両が後退している、車両が完全停止している)を満たすフレームが特徴点となる。目的地周辺とは、目的地の付近の範囲であり、一般的なナビゲーション(カーナビゲーション)に加えて他のナビゲーション(たとえば駐車位置までの映像の提示)を要するような範囲を指す。当該範囲は、緯度や経度の情報により一意に特定される(たとえば目的地周辺の範囲は(緯度X1,経度Y1)から(緯度X2,経度Y2)までである等)。特徴点の検出処理は、目的地周辺内を対象として行われる。特徴点を撮影した地点の付近は、経路の合流点、分岐地点、または停止地点となる。
また映像情報解析部113は、抽出した特徴点の情報をもとに、映像情報データベース部115内に受信した映像データと同一経路を撮影した映像データがあるか否かを判定する。映像情報登録部112は、当該同一経路の情報(詳細は図10を参照して後述する。)を映像情報データベース部115に蓄積する。
映像情報登録部112は、映像取得端末12から取得した映像データの解析結果を映像情報解析部113から受信し、特徴点にかかる情報(どのような条件で特徴点を検出したか、目的地周辺内の特定の起点からの走行距離、等の情報である。以下、特徴点情報とも記載する。)を映像データと関連付けて映像情報データベース部115に登録する。映像情報データベース部115は、映像データ、特徴点情報、及び各目的地の目的地周辺の範囲を蓄積(保存)する(データ保持の状態は後述する図8において詳細に説明する。)。映像情報抽出部114は、映像提示端末13から受信したリクエストを用いて映像情報データベース部115の検索を行い、当該検索を基に映像データを含む再生リスト(映像提示端末13が映像の提示に用いる情報である。詳細は後述する。)を作成する。映像情報抽出部114は、作成した再生リストを映像提示端末13に通信部111を介して送信する。また映像情報抽出部114は、映像取得端末12および映像提示端末13の要求に応じて、目的地周辺の範囲の情報を通信部111を介して送信する。
(映像提示端末13の構成及び動作)
映像提示端末13とは映像データを表示するための装置であり、ディスプレイによる表示部を有する装置(例えばスマートフォン)である。映像提示端末13は、通信部131、起点位置情報取得部132、目的地情報取得部133、映像再生表示部134、及び映像選択情報取得部135を備える。
通信部131は、映像サーバ11とのデータ送受信を行う。起点位置情報取得部132は、経路映像データの起点となる位置情報を取得する。ここで起点とは、たとえば目的地周辺に入った地点となる。この起点の情報は、映像サーバ11に送信されるリクエストに挿入され、映像情報データベース部115を検索する際の検索条件として用いられる。
目的地情報取得部133は、経路映像の最終到着地点となる目的地の情報(目的地情報)を取得する。目的地情報は、映像提示端末13上の任意のインターフェイスからユーザが入力する。この目的地情報も映像サーバ11に送信されるリクエストに挿入され、映像情報データベース部115を検索する際の検索条件として用いられる。
通信部131は、目的地情報及び起点の情報を含むリクエスト(再生リストの要求リクエスト)を映像サーバ11に送信する。映像再生表示部134は、映像サーバ11から送信された経路映像データの再生リストを用いて、経路映像を表示したユーザ提示映像を映像提示端末13上のディスプレイ等(図示せず)に表示する。映像選択情報取得部135は、再生リスト内に複数の選択肢(複数の経路映像データ)がある場合に、当該選択肢をユーザに提示する。
以下に、各装置(映像サーバ11、映像取得端末12、映像提示端末13)の動作詳細についてフローチャート及び具体例を用いて更に説明する。
(映像取得端末12による映像収集処理)
映像取得端末12は、当該端末が搭載された車両の出発時に周辺映像の収集を開始し(カメラ撮影を開始し)、目的地に到着して車両が駐車する(エンジンを切った状態)までの周辺映像の撮影を行う。映像取得端末12は、車両が駐車した場合に撮影を停止し、映像サーバ11に映像データ及び映像データの各フレームに対応する撮影データ(位置、時刻、速度、目的地情報)を送信する。
図2は、映像取得端末12による映像収集の処理を示すフローチャートである。目的地情報取得部126は、車両の出発時等に目的地情報を取得する(S201)。当該目的地情報は、例えば映像取得端末12に設けられたボタン等の任意のインターフェイスを介して入力される。また現在位置情報取得部123は、映像サーバ11から目的地周辺情報(目的地周辺がどの範囲であるかを示す情報)を車両の出発の際に取得しておく。
映像情報取得部125は、車両の前方を撮影し、映像データを取得する(S202)。現在位置情報取得部123は、映像情報取得部125が映像データを取得した位置の情報(例えば経度及び緯度)を取得する(S203)。速度情報取得部124は、車両の移動速度を取得する(S204)。時刻情報取得部122は、映像情報取得部125が映像データを取得した時刻(年、月、時、分、秒)を取得する(S205)。
そして、情報保存部127は、映像データ(映像情報取得部125が取得した映像データ)と各種撮影データ(位置、速度、時刻、目的地情報等)を関連付けて保存する(S206)。
現在位置情報取得部123は、現在位置が目的地周辺の範囲内であるか否かを判定する(S207)。当該判定は、現在位置の緯度及び経度が目的地周辺の範囲に入っているか否かにより判定を行う。現在位置が目的地周辺外である場合(S207:Yes)、各処理部はS202〜S206までの処理を車両が目的地周辺範囲内に入るまで行う。
現在位置が目的地周辺内である場合(S207:No)、映像取得端末12は車両が駐車(エンジンが切られた状態)であるか否かを判定する(S208)。車両が駐車していない場合(S208:No)、各処理部はS202〜S206までの処理を行う。すなわち、車両が駐車するまで目的地周辺内の撮影を行う。車両が駐車した場合(S208:Yes)、映像取得端末12内の通信部121は情報保存部127に格納された映像データと撮影データを映像サーバ11に送信する(S209)。以上の処理により、映像取得端末12は映像の収集を行う。
なお、上述の説明では、映像取得端末12は車両の出発時から周辺映像を撮影するものとしたが必ずしもこれに限られず、ユーザの指示(例えば映像取得端末12に設けられたボタン等の操作)に応じて映像収集処理を開始しても良い。
また目的地に向かう途中で休憩等により車両が駐車した場合には、映像取得端末12は上述の映像収集処理を一時停止し、出発時に映像収集処理を再開するようにしても良い。この場合、ユーザが入力した目的地と駐車位置が異なるか否かに応じて処理を行えばよい。
映像取得端末12は、車両が駐車した(エンジンを切った)後にデータ(映像データ、撮影データ)を映像サーバ11に送信するのではなく、一定時間間隔毎にデータ(映像データ、撮影データ)を映像サーバ11に送信するようにしても良い。
(映像サーバ11による映像蓄積処理)
映像サーバ11は、映像取得端末12から映像データを受信し、受信した映像データを蓄積(保存)する。図3を参照して映像蓄積処理の流れを説明する。映像サーバ11内の通信部111は、映像取得端末12から撮影データと関連付けられた映像データを受信する(S301)。映像情報解析部113は、受信した映像データを解析して特徴点にかかる情報(特徴点情報)を生成する(S302)。当該処理(S302)の詳細は、図4を参照して後述する。映像情報登録部112は、映像取得端末12から取得した映像データを、特徴点情報と関連付けて映像情報データベース部115に登録する(S303)。
経路映像データのうち、出発地点から目的地周辺までの映像データについては、位置情報(経度、緯度等)と関連付けて映像情報データベース部115に保存される。目的地周辺から車両が駐車するまでの映像データは、到着映像データとして映像情報データベース部115に保存される。本システムでは、目的地周辺内から実際に駐車するまでの間は、位置情報の信頼度が低い場合を想定している。例えばGPSによって位置情報が取得しづらい屋内の立体駐車場等を想定している。
目的地周辺とは、上述のように目的地の付近の範囲であり、一般的なナビゲーション(カーナビゲーション)に加えて他のナビゲーション(駐車に関する各種情報の提示)を要するような範囲である。例えば目的地周辺は、目的地に到着(車両を完全停止)するまでに位置情報が信頼性の高い状態で取得できた最終位置を中心とする所定範囲(例えば100m以内)の地点とする。位置情報の信頼性は、例えばGPS等により位置測定レベルに応じて設定することが可能である。映像情報データベース部115内に既に同一目的地に関する映像データが保存されている場合、新規に取得した映像データに関連付けられた位置情報を用いて目的地周辺の範囲を再評価する。詳細には、その目的地を指定した人が最終的に車両を駐車するまでの車両軌跡の中で所定の信頼性以上で位置情報を取得できた最終位置の分布と、各車両軌跡の分布と、を基に目的地周辺の範囲を決定する。例えば各最終位置を中心とする半径100mの円に含まれるエリアを目的地周辺の範囲と定めればよい。映像情報データベース部115は、映像データの登録時に上述の目的地周辺範囲の更新を行う。
なお目的地周辺の範囲は、必ずしも映像データを用いた解析をもとに算出する必要はなく、目的地内にある立体駐車場等の位置や面積等に基づいて予め設定されていてもよい。
映像情報解析部113は、映像情報データベース部115を参照し、登録しようとしている映像データと同じ目的地を指定した経路映像データが既に保存されている場合、両者の特徴点情報を照合する。そして映像情報解析部113は、各経路映像データの特徴点の間の区間が同一経路であるかを判定する。目的地周辺内のある地点からの走行距離と特徴点(例えば標識がある位置)が一致する区間は同一経路区間の映像データとする。映像情報解析部113は、同一経路区間の解析結果を映像情報登録部112に通知する。同一経路にかかる映像データは、いずれか一方を映像情報データベース部115に保存すれば経路を網羅できる。そのため、映像情報登録部112は、所定のルール(より新しい映像データ、鮮明な映像データ等)に従って経路映像データの一方を保存するようにしても良い。なお、同一経路の映像データであっても撮影時間帯等の撮影状況が異なる場合には、それぞれ映像情報データベース部115に保存しても良い。映像情報登録部112は、特徴点付近の経路映像データを両方保存する。同一経路区間の検出については、図8等を参照して改めて説明する。
(映像サーバ11による映像解析処理)
次に映像情報解析部113による映像解析処理(S302)の詳細を図4を参照して説明する。図4は、映像情報解析部113による映像解析処理の流れを示すフローチャートである。映像情報解析部113は、映像データを構成する時系列のフレームを順次解析して、特徴点となるフレームを抽出する。
映像情報解析部113は、到着映像データの基準点を設定する(S401)。基準点は経路映像データ内のフレームにおいて、目的地周辺に到達した地点を撮像したフレームとする。映像情報解析部113は、各フレームの位置情報と目的地周辺の範囲の情報から基準点を算出する。すなわち映像情報解析部113は、映像データのフレームのうち、目的地周辺を撮影しているフレームを各フレームの位置情報をもとに特定している。
映像情報解析部113は、経路映像データ内のフレームが映像データ内の最後のフレームである場合(S402:Yes)、処理を終了する。映像データ内の最後のフレームではない場合(S402:No)、映像情報解析部113は、経路映像データ内の各フレームを画像解析し、案内標識を検出する(S403)。案内標識が鮮明に映りこんでいるフレームは特徴点となる。映像情報解析部113は、案内標識を検出したフレーム(特徴点)とその前後のフレームとの関係から当該特徴点における車両の進行方向を検出する(S404)。
処理中のフレームが特徴点となるフレームである場合(S405:Yes)、映像情報解析部113は、当該フレームと関連付けられた速度情報と時刻情報から、S401で定めた基準点から当該フレーム(すなわち特徴点)の示す位置までの走行距離を算出する(S406)。なお、図4には図示しないものの映像情報解析部113は、停止にかかる動作(一旦停止、後退(及び後退アラーム音))も特徴点として随時検出する。そして映像情報解析部113は、検出した情報を特徴点情報とする。映像情報解析部113は、同一経路区間に関する判定(詳細は図8を参照して後述する。)を行い、当該判定に応じて特徴点情報を映像情報データベース部115に保存する(S407)。また、映像情報解析部113は、同一経路区間に関する判定に応じて同一経路区間に関するテーブル(図10)を更新する。S402〜S407の処理を映像データの最終フレームに到達するまで繰り返す。
案内標識の例を図5に示す。図示するように案内標識は、文字や記号により位置が特定できるようにされた情報である。なお、文字は日本語に限られず、その他の言語(たとえば英語)で示されていても良い。また案内標識は矢印等の記号により表わされていても良い。映像情報解析部113は、任意の文字列解析技術を用いて案内標識を検出すればよい。
さらに映像情報解析部113は、映像データの音声も参照して特徴点を抽出しても良い。たとえば映像情報解析部113は、「左折すると3階です」等といった位置を知らせる音声データを検出し、この情報も参照して特徴点を判定しても良い。
図6は、映像情報解析部113による進行方向検出の概念を示す図である。映像情報解析部113は、案内標識を検出したフレーム(特徴点)と、前後のフレームと、の関係から車両前方のオプティカルフローを測定する。映像情報解析部113は、このオプティカルフローを用いて進行方向を検出する。
(到着映像データの具体例)
ある目的地に対して経路映像データが4通り(以下の説明では経路A〜Dとも記載する。)蓄積された場合を例に、到着映像データ(目的地周辺の経路映像データ)の特徴点検出と映像区間設定を図7〜図9を参照して説明する。
図7は経路映像データに対応する位置情報の例を示す概念図である。図7は説明の容易化のため、目的地周辺及びその近接位置のみを示している。当該目的地周辺は、いわゆるGPSによる位置取得が行うことが困難な範囲(たとえば立体駐車場)であるものとする。
図中の実線は、信頼性が高く位置情報が取得できた箇所を平面上にマッピングしたものである。すなわち、図中の実線はGPS等により確実に位置情報が検出できた経路である。経路Aは、地点P2で屋内駐車場に入り、3階に駐車した際の経路である。経路Bは、地点P2で屋内駐車場に入り、地点P3で屋上に出て駐車した際の経路である。経路Cは、地点P7で屋内駐車場に入り、4階に駐車した際の経路である。経路Dは、地点P2を通過し、地点P7で屋内駐車場に入り、3階に駐車した際の経路である。
目的地到着までの位置情報を信頼性高く取得できた最終地点は、経路AではP2、経路BではP6、経路CではP7、経路DではP7となる。これらの地点(P2、P6、P7)を中心とする所定範囲(図7における点線円)に到着した地点を到着映像データの基準点とする。映像情報解析部113は、経路映像データに関連付けられた撮影データ内の位置測定レベル等を参照し、上記の基準点を設定する。例えば経路A及びDでは基準点はP1となり、経路B及びDでは基準点はP0となる。なお、図7において理解の明確化のため、道路境界を点線で示しているが、必ずしも道路境界の情報を扱う必要はない。
図8は、映像解析により抽出した到着映像データの特徴点情報を示す図である。図8A〜Dは、それぞれ経路A〜Dにかかる特徴点情報を示す。映像情報データベース部115は各特徴点情報を保持するため、図8A〜Dは、映像情報データベース部115のデータの保持例を示す図と解釈できる。
映像情報データベース部115は、この特徴点情報に加えて映像データ(たとえば0001.mpg等)も保持する。図8A〜図8Dの例では、映像情報解析部113は案内標識、駐車動作(後退動作)、目的地到着(エンジン停止)を特徴点情報として検出している。映像情報解析部113は、オプティカルフローを用いた進行方向検出により駐車動作開始時の一旦停止や後退を検出することができる。なお映像情報解析部113は、これに限られず経路映像データの音声から車両の出力する後退アラーム音を検出してもよい。図8A〜図8Dに示すように、各特徴点が実際の映像データ上のどのフレームであるかを特定する情報(ファイル名、フレームの識別子(必ずしも識別子でなくてもよく、ファイル先頭のフレームからの経過フレーム数等であってもよい)も映像情報データベース部115に格納される。
映像情報解析部113は、経路映像データが終了する直前のフレームであって、進行方向が停止となったフレームを目的地到着のフレームとみなす。映像情報登録部112は、特徴点にかかる各映像フレームに映像情報解析部113が検出した特徴内容、進行方向、起点からの走行距離情報等を関連付けて映像情報データベース部115に登録する。すなわち映像情報登録部112は、例えば図8A〜図8Dに示すような形式で各種の情報を映像情報データベース部115に登録する。映像情報登録部112は、位置情報が取得できている場合には当該位置情報も関連付けて登録する。また図示しないものの映像データと目的地の情報は関連付けられている。なお映像情報登録部112は、これ以外の情報を関連付けて登録しても良い。たとえば映像情報登録部112は、撮像日時や天候、映像取得端末12を搭載した車種等も併せて映像情報データベース部115に登録しても良い。
図9は、各経路(A〜D)から算出した同一経路映像区間を示す例である。地点A00及びD00は、経路A及びDが目的地周辺の手前で合流した地点である。地点B00及びC00は、経路B及びCが目的地周辺の手前で合流した地点である。すなわち経路AおよびDが同一の基準点を持ち、経路BおよびCが同一の基準点を持つことを示す。図8の例ではA0からA1までの特徴点の検出標識(駐車場→、入口←)および走行距離(100m)と、D0からD1までの特徴点の検出標識(駐車場→、入口←)および走行距離(100m)が同一である。そのため映像情報解析部113は、当該区間が同一経路映像区間であると判定する。なお距離の判定には、一定の誤差(たとえば3m以内)があったとしても同一経路映像区間と判定してもよい。
上述の判定により、到着映像データ内の特徴点間において、A0〜A1とD0〜D1、A0〜A2とB1〜B3、C1〜C2とD2〜D3が同一経路映像区間となる。映像情報登録部112は、同一経路映像区間の映像データについては前述のようにいずれか一方のみを映像情報データベース部115に保存するようにしても良い。また映像情報登録部112は、撮影時刻、天候条件等の撮影データとともに双方の経路映像データを映像情報データベース部115に登録しても良い。また映像情報登録部112は、同一経路映像区間の映像データを1つのみ登録するものの、重複数をカウントして登録しておいてもよい。この重複数は、例えば映像提示端末13による映像提示の際の優先度に用いられる。
映像情報データベース部115による同一経路区間に関するデータの保持例を図10に示す。図示するように、どの区間とどの区間が同一であるか、および重複数がわかるようにデータを保持する。
(映像提示端末13における映像提示処理)
続いて映像サーバ11による映像抽出処理、および映像提示端末13による映像提示処理の流れについて図11を参照して説明する。図11(A)は、映像提示端末13による映像提示処理の流れを示すフローチャートである。図11(B)は、映像サーバ11による映像抽出処理の流れを示すフローチャートである。以下では、両フローチャートを適宜参照して説明する。
映像提示端末13を使用するユーザは、見たい経路映像の起点位置及び目的地を入力する(S1101)。好適には、経路映像の起点位置は、目的地周辺内の位置となる。映像提示端末13は、入力された情報を検索条件とするリクエストを映像サーバ11に送信し、映像データの要求を行う(S1102)。
映像サーバ11内の通信部111は、映像提示端末13から送信されたリクエストを受信する(S1105)。映像情報抽出部114は、受信したリクエストに含まれる情報を検索キーとして、映像情報データベース部115の検索を行う(S1106)。映像情報抽出部114は、検索結果から再生リスト(後述する図13)を生成する(S1107)。映像情報抽出部114は、再生リスト(映像データを含む)を通信部111経由で映像提示端末13に送信する(S1108)。
映像提示端末13内の通信部131は、映像サーバ11から送信された再生リストを受信する(S1103)。映像再生表示部134は、再生リストに従って映像データを任意の表示部(例えば車両に取り付けられたディスプレイ装置)に表示する(S1104)。
(映像再生表示の具体例)
続いて図12を参照して目的地周辺内の起点からの到着映像データの再生リストの概念図を示す。再生リストとは経路映像の起点からとり得る経路パターンを含むリストであり、映像提示端末13が映像表示の際に参照するデータである。再生リストには、経路パターンにかかる情報(後述の分岐点テーブル(図13A)、再生候補テーブル(図13B))に加え、映像データ(図13C)が含まれる。映像情報抽出部114は、起点を通過する全ての経路パターンを映像情報データベース部115から取得し、取得した情報をもとに再生リストを生成する。前述のように映像情報データベース部115は、同一経路区間に関する複数の映像データを保持しても良い。また同一経路区間については、重複数をカウントしてもよい(図10)。映像情報抽出部114は、同一経路区間については1種類の経路映像データのみを再生リストに追加する。経路が分岐する特徴点以降では、映像情報抽出部114は、分岐後の各経路映像データを再生リストに加える。図12の例では、A1/D1の特徴点、A2/B3の特徴点、C2/D3の特徴点以降で経路が分岐している。
図13は、再生リストのデータ構成例を示す図である。再生リストは、例えば分岐点テーブル(図13A)、再生候補テーブル(図13B)、再生映像データ(図13C)から構成される。
分岐点テーブル(図13A)は、分岐点毎の再生候補映像データの数、及び再生候補映像データ参照位置を分岐点情報として保持する。分岐点とは、任意の特徴点であって、当該特徴点以降に複数の経路があるフレームを指す。例えば、図13Aでは、分岐点(特徴点)A1から2つの経路が存在する。再生候補データのデータ参照位置とは、再生候補テーブル(図13B)のどのデータ列と関連付けられているかを示すリンク情報である。
再生候補テーブル(図13B)は、各分岐点からの経路にかかる各種の情報(再生区間ID、分岐方向、優先度、次の分岐点情報、映像データ上での再生範囲、再生時間(秒))を保持するテーブルである。
再生映像データ(図13C)は、再生可能な経路映像データであって、各特徴点のフレームにタグが付けられた経路映像データである。当該タグの付与は、図8A〜図8Dに示すように各映像ファイル名とフレーム識別子をもとに付与されている。経路映像データに対する特徴点のタグ付け(pXnに関するタグ付け)は、映像情報登録部112により実行される。図13Cでは、経路映像データX(経路映像データA、B、C、Dのいずれか)のn番目の特徴点を示す位置(フレーム)をpXn、各経路映像データの終了位置をpXendと表記する。なお図13Cでは、説明の便宜のため、各経路映像データを別データ(ファイル)として図示しているが、必ずしもこれに限られず、1つの目的地に対する経路映像データを一つの連続的なデータとして構成しても良い。
再生候補テーブル(図13B)の構成の詳細を説明する。再生区間IDは、経路区間(図12)の各分岐点の識別子を示す。当該識別子は、映像情報登録部112が映像情報データベース部115に登録する際に付与する。分岐方向とは、当該分岐点からの各経路の進行方向を示す。分岐方向は、分岐後の映像を並列再生する場合に参照される。分岐方向を基に映像の配置位置を決定する(たとえば左折する映像は、左側に表示する)ことにより、進行方向に対して違和感のない映像配置を実現することができる。
優先度とは、同一経路区間の重複数を示すデータであり、重複数が大きいほど優先度が高くなる。すなわち車両の通過度合いの高い経路区間ほど優先度が高くなる。なお優先度の算出は、単純に経路映像データの重複数を累積加算する方法以外に、天候や時間帯を考慮した重みづけを行った上で累積加算を行う等の手法により行っても良い。天候や時間帯を優先度算出のパラメータとして用いる場合、ユーザがどのパラメータを考慮するかを指定できるようにしても良い。
次の分岐点情報とは、当該経路と接続した次の分岐点の識別子を示す情報である。映像データ上での再生範囲とは、当該経路の経路映像データ上での再生範囲を示す。再生時間(秒)とは、当該経路映像データの再生範囲を通常再生した場合に要する時間である。図13の例では、区間pA2からpAendまでの再生に要する時間は40秒となる。
映像情報抽出部114は、この再生リスト(図13)を通信部111経由で映像提示端末13に送信する。映像提示端末13内の映像再生表示部134は、上述の再生リスト(図13)に基づいて経路映像を任意の表示部(ディスプレイ装置)に再生表示する。以下、映像再生表示部134による再生例を2つ(最も優先度の高い経路を再生表示する例、複数の経路を並列して再生表示する例)説明する。
(最も優先度の高い経路を再生表示する例)
図14は、映像再生表示部134による第1の表示処理を示すフローチャートである。はじめに図14を参照して処理の流れを説明し、その後に具体的なデータ例を用いて処理の流れを説明する。
映像再生表示部134は、受信した再生リストに含まれる分岐点テーブル(図13A)の分岐点の初期位置を最初の分岐点として設定する(S1401)。映像再生表示部134は、設定された分岐点に関連する再生候補映像データの候補数、及び各再生候補データのデータ参照位置を分岐点テーブル(図13A)から読み出す(S1402)。そして映像再生表示部134は、各再生候補データのデータ参照位置をもとに再生候補テーブル(図13B)を参照し(S1403)、当該分岐点における全ての再生候補データ列(再生候補テーブル(図13B)のデータ列)を読み出す(S1404:No、S1405)。
映像再生表示部134は、読み出した全ての再生候補データ列の優先度を評価し、最も高い優先度を持つ再生候補データ列を選定する(S1406)。映像再生表示部134は、当該データ列から映像データ上の再生範囲を決定し(S1406)、再生テーブルに書き込む(S1407)。
映像再生表示部134は、S1306にて選定した再生候補データ列から次の分岐点情報を読み出す(S1408)。次の分岐点情報が無い場合(S1409:No)、映像再生表示部134は再生テーブルに従って映像を任意のディスプレイ装置等に表示する(S1410)。次の分岐点情報がある場合(S1409:Yes)、映像再生表示部134は当該分岐点の処理(S1402〜S1408)を行う。
図13の再生リストを基に生成した再生テーブルの例を図15に示す。図13のデータを用いて図15の再生テーブルの具体的な生成処理について説明する。映像再生表示部134は、分岐点A0を分岐点テーブル(図13A)の初期位置に設定する。映像再生表示部134は、当該分岐点(A0)の再生候補データ数が1であることを読み出し、再生候補テーブル(図13B)のデータ列1を参照する。参照対象のデータ列が1つであるため、映像再生表示部134は再生範囲をpA0〜pA1と決定して再生テーブル(図15)に書き込む。さらに映像再生表示部134は、再生候補テーブル(図13B)のデータ列1から次の分岐点がA1であることを読み出す。
映像再生表示部134は、分岐点テーブル(図13A)の分岐点A1を参照し、再生候補テーブル(図13B)から2つの再生候補データ列(データ列2、データ列3)を読み出す。映像再生表示部134は、データ列2およびデータ列3のうち、優先度の高いデータ列2を選択し、当該データ列の再生範囲pA1〜pA2を再生テーブル(図15)に書き込む。さらに、映像再生表示部134は、再生候補テーブル(図13B)のデータ列2から次の分岐点がA2であることを読み出す。
映像再生表示部134は、分岐点テーブル(図13A)の分岐点A2を参照し、再生候補テーブル(図13B)から2つの再生候補データ列(データ列4、データ列5)を読み出す。映像再生表示部134は、データ列4およびデータ列5のうち、優先度の高いデータ列4を選択し、当該データ列の再生範囲pA2〜pAendを再生テーブル(図15)に書き込む。映像再生表示部134は、再生候補テーブル(図13B)のデータ列4の次の分岐点にデータが設定されていないことから処理を終了する。
映像再生表示部134は、この再生テーブル(図15)を参照し、経路映像データのA0〜A1、A1〜A2、A2〜Aendの順に映像データを再生する。
なお、再生範囲が映像データ上で連続する場合、再生範囲を連結した再生テーブルを構成しても良い。例えば図13の例では、再生テーブルの構成をA0〜A2、A2〜Aendのように構成しても良い。
(複数の経路映像データを再生表示する例)
図16は、映像再生表示部134による第2の生成表示処理を示すフローチャートである。はじめに図16を参照して処理の流れを説明し、その後に図13のデータ例を用いた具体的な処理例を説明する。図16に示す処理では、単一映像を表示するための再生テーブルではなく、複数の映像を並列表示するための再生シナリオテーブルを生成する。
映像再生表示部134は、S1401〜S1405と同様の処理(S1601〜S1605)を行う。S1605の処理の後に、すなわちある分岐点について全ての再生候補データ列を抽出した後に、映像再生表示部134はこれまでの経路区間の再生時間をもとに各再生範囲の再生開始時間を算出する。そして映像再生表示部134は、分岐した各経路映像の表示位置を分岐方向と一致するように決定する。映像再生表示部134は、決定した再生開始時間、表示位置、表示領域、及び再生データ範囲を再生シナリオテーブルに登録する(S1606)。
映像再生表示部134は、再生シナリオテーブルへの登録(S1606)の後に、登録に用いた再生候補データ列に含まれる次の分岐点情報を次分岐点テーブルに登録する(S1607)。映像再生表示部134は、次分岐点テーブルを参照し、再生シナリオテーブルに未登録の分岐点の中で再生開始時間が最も早い分岐点を、分岐点テーブルの参照位置に設定する(S1608)。ここで再生シナリオテーブルに未登録の分岐点が無ければ、次の分岐点なしと設定する。次の分岐点が有る場合(S1609:Yes)、映像再生表示部134は、S1602〜S1608までの処理を繰り返し行う。次の分岐点が無い場合(S1609:No)、映像再生表示部134は、再生シナリオテーブルに従って映像データを再生する(S1610)。
図16に示す処理の具体例を図13、図17、図18、および図19を参照して以下に説明する。図13の再生リストから生成した再生シナリオテーブルの例を図17に示す。図18は、次分岐点テーブルの構成を示す図である。図19は映像再生表示部134が映像データを再生する表示画面の一例を示す図である。当該表示画面は、1920ピクセル×1080ピクセルの表示サイズを有する。
映像再生表示部134は、分岐点A0を分岐点テーブル(図13A)の初期位置に設定する。映像再生表示部134は、当該分岐点の再生候補データ数が1であることを読み出し、再生候補テーブル(図13B)のデータ列1を参照する。参照対象のデータ列が1つであるため、映像再生表示部134は再生範囲をpA0〜pA1と決定して再生シナリオテーブル(図17)に書き込む。この際に、対象とするデータ列が1つであることから表示位置と表示領域サイズを全画面(1920×1080)サイズとして書き込む。再生開始時間には、0秒を書き込む。映像再生表示部134は、再生候補テーブル(図13B)のデータ列1から次の分岐点がA1であることを読み出す。映像再生表示部134は、次分岐点テーブル(図18)に分岐点A1にかかる情報を書き込む。すなわち映像再生表示部134は、分岐点テーブル(図18)の次の分岐点情報にA1、再生開始時間に10秒、再生シナリオ登録済に0(未登録)を書き込む。
映像再生表示部134は、分岐点A1から2つの再生候補データ列(再生区間ID --- A1、D1)を抽出する。映像再生表示部134は、各再生範囲(pA1〜pA2、pD1〜pD2)のこれまでの累積の再生時間(この場合pA0〜pA1までの再生時間)を10秒と算出する。そして映像再生表示部134は、抽出した再生候補データ列(データ列2、データ列3)を基に算出した再生時間(10秒)、表示位置、表示領域サイズ、再生データ範囲を再生シナリオテーブル(図17)に登録する。この際に映像再生表示部134は、対象とするデータ列が2つであるため、表示領域サイズを2分割した表示位置、及び表示領域サイズ(960×1080)を書き込む。映像再生表示部134は、次分岐点テーブルのデータ列1(分岐点A1)の再生シナリオ登録済に1(登録済)を書き込む。さらに映像再生表示部134は、抽出した再生候補データ列(データ列2、データ列3)を参照して次分岐点テーブル(図18)のデータ列2(2(A2)、50(10+40)、0)及びデータ列3(2(D3)、70(10+60)、0)を書き込む。
映像再生表示部134は、次分岐点テーブル(図18)を参照し、再生シナリオ登録済が0であり再生開始時間が小さい分岐点A2を分岐点テーブル(図13A)の参照位置に設定する。映像再生表示部134は、分岐点A2をもとに上述の手法によりテーブルにデータを書き込んでいく。これにより、最終的に図17の形態の再生シナリオテーブルを生成する。
映像再生表示部134は、再生シナリオテーブル(図17)を基に表示画面を適宜分割して複数の経路映像を任意のディスプレイ装置上に表示する。図17に示す再生シナリオテーブルを用いた当該表示処理について図20に示す。
再生開始時間0秒から10秒までの間には、1つの再生データ範囲のみ(pA0〜pA1)のみが存在する。そのため映像再生表示部134は、映像範囲pA0〜pA1を全画面表示する(図20(a))。
再生開始時間10秒から50秒までの間には、2つの再生データ範囲(pA1〜pA2、pD1〜pD3)が存在する。そのため映像再生表示部134は、2つの映像を設定された表示領域サイズに応じて表示する。すなわち映像再生表示部134は、図17に設定の表示領域サイズに従って画面を左右に分割して表示する(図20(b))。
再生開始時間50秒から70秒までの間には、3つの再生データ範囲(pD1〜pD3、pA2〜pAend、pB3〜pBend)が存在する。そのため映像再生表示部134は、3つの映像を設定された表示領域サイズに応じて表示する。
同様に再生開始時間70秒以降には、4つの再生データ範囲(pA2〜pAend、pB3〜pBend、pC2〜pCend、pD3〜pCend)が存在する。そのため映像再生表示部134は、4つの映像を設定された表示領域サイズに応じて表示する。
なお上述の説明では、経路分岐毎に画面を等分割して表示領域を設定したがこれに限られず、たとえば各経路の優先度に応じて表示サイズを変更してもよい。すなわち映像再生表示部134は、優先度が高くなるにつれて表示サイズが大きくなるように制御をしてもよい。
またユーザが経路の並列表示中に必要な経路映像と不要な経路映像を選択できるようにしてもよい。たとえばユーザは、表示中の経路映像を映像提示端末13のディスプレイをタッチすること等により各経路映像を選択できるようにする。映像提示端末13内の映像選択情報取得部135は、ディスプレイのタッチ位置等からどの経路映像が不要であるかを取得し、当該情報を映像再生表示部134に通知する。映像再生表示部134は、この入力に応じて不要な経路映像を表示せず、必要な経路映像のみを表示する表示画面を生成する。これにより、ユーザは参照したい経路のみを選択して参照することができる。
(本実施の形態に関する効果)
続いて、本実施の形態にかかるナビゲーションシステムの効果について説明する。上述したように映像取得端末12は、車両が完全に停止(駐車)するまでの周辺映像を撮影した経路映像データを収集する。映像提示端末13は、この経路映像データを映像サーバ11から取得し、ユーザに提示する。これによりユーザは、車両が駐車するまでのナビゲーションを受けることができる。
一般的に立体駐車場等は、GPS等を用いた位置情報の取得が困難である。本実施の形態では、実際に車両に搭載した映像取得端末12が撮影した映像を用いてユーザにナビゲーションを行うため、ユーザはGPS等で情報が収集できないような場所であっても駐車までの詳しい状況を把握することができる。
映像情報解析部113は、各映像データから特徴点を抽出し、当該特徴点にかかる情報である特徴点情報を算出する。各特徴点情報は、GPS等により取得した正確な位置情報のみならず、目的地周辺内の任意地点からの走行距離等を含む。このため立体駐車場内等においてGPSにより正確な位置を取得できない場合であっても、ナビゲーション機能を提供することができる。
映像情報解析部113は、特徴点情報をもとに複数の映像データに共通する同一経路区間を算出している。そして映像サーバ11は、同一経路区間と判定された回数をもとに各経路区間に対して優先度を付与する。映像サーバ11は、この優先度を含む再生リストを映像提示端末13に送信する。これにより映像提示端末13は、優先度の高い経路(すなわち頻繁に車両が通過している経路)を優先的に表示することができる。詳細には、映像提示端末13は図14に示す処理を行うことにより最も優先度の高い経路のみをユーザに提示することができる。
さらにまた映像取得端末13は、図16に示す処理を行うことにより複数の経路を1つの画面に同時に表示することも可能となる。換言すると映像取得端末13は、画面を分割して複数の経路映像を表示することができる。これにより、車両が駐車するまでの複数の経路パターンを同時に認識することができ、短い時間で最適な経路を選択することが可能となる。
複数経路を1画面に表示する場合、映像取得端末13は各経路の優先度に応じて画面の分割サイズを決定することも可能である。これにより、優先度の高い経路を他の経路と比べて見やすく表示することができる。
映像サーバ11は、同一経路区間と判定された映像データのフレームを除外して映像データを蓄積することができる。これにより映像サーバ11は、必要最小限の映像データのみを保持することができ、サーバ内の記憶領域を有効活用することができる。
<実施の形態2>
本実施の形態にかかるナビゲーションシステム1は、映像提示端末13においても周辺映像を撮影し、撮影した映像データを解析して特徴点を算出することを特徴とする。本実施の形態にかかるナビゲーションシステム1について実施の形態1と異なる点を以下に説明する。
(実施の形態2にかかるナビゲーションシステム1の構成)
図21は、本実施の形態にかかるナビゲーションシステム1の構成を示すブロック図である。本実施の形態にかかる映像提示端末13は、図1の構成に加えて現在位置情報取得部136、映像情報取得部137、及び映像情報解析部(第2映像情報解析部)138を備える。本実施の形態にかかる映像提示端末13は、車両の前方(たとえばダッシュボード)に固定されるものとする。
現在位置情報取得部136は、映像提示端末13を搭載した車両の現在位置情報を取得する。現在位置情報取得部136は、例えば、GPS(Global Positioning System、図示せず)から現在位置情報を取得する。
映像情報取得部137は、いわゆる動画像(映像)を撮像するビデオカメラである。ここで映像情報取得部137は、映像に加えて音声を取得できるものであっても良いことは勿論である。映像情報取得部137は、車両上の運転者の視界に準じた範囲を撮影できる位置に固定される。映像情報取得部137は、車両周辺を撮影し、撮影フレームを取得する。
映像情報解析部138は、映像情報取得部137が取得した映像データを解析する。映像情報解析部138による解析処理は、映像サーバ11内の映像情報解析部113と略対応するものであり、特徴点の検出を行う。なお、図示しないものの映像提示端末13内には、映像情報取得部137が取得した映像データ、映像情報解析部138が解析した特徴点情報を保持する任意の記憶部が備えられている。当該記憶部は、映像提示端末13と着脱可能な記憶装置であってもよい。
(実施の形態2にかかるナビゲーションシステム1の動作)
以下、本実施の形態にかかるナビゲーションシステム1の動作について説明する。映像提示端末13では、車両の出発時に目的地情報取得部133が目的地の情報を取得するとともに、現在位置情報取得部136は、出発の際の現在位置を取得する。そして通信部131が現在位置及び目的地の情報を映像サーバ11に送信する。映像サーバ11は、映像情報データベース部115から当該現在位置及び目的地情報に合致する映像データを取得して映像提示端末13に送信する。さらに映像サーバ11は、当該目的地の目的地周辺の範囲に関する情報を映像提示端末13に送信する。
現在位置情報取得部136は、車両の移動中に現在位置を定期的に測定し、目的地周辺の範囲内に進入したか否かを判定する。目的地周辺に到達した場合、通信部131は映像サーバ11にアクセスし、当該目的地周辺の到達地点を起点とする到着映像データの再生リスト(図13相当)を要求するリクエストを送信する。
映像再生表示部134は、再生リストを用いて映像の並列表示(図20)を行う。これと同時に目的地周辺内において映像情報取得部137は、周辺を撮影する。映像情報解析部138は、映像情報取得部137が撮影した映像データを解析し、特徴点を適宜抽出する。映像情報解析部138は、抽出した特徴点と同一特徴点が再生リストに含まれるか否かを判定する。
映像情報解析部138が抽出した特徴点と同一特徴点が再生リストに含まれる場合、映像情報解析部138は当該特徴点を映像再生表示部134に通知する。なお、同一特徴点の判定を行うために、映像サーバ11内の映像情報抽出部114は、各分岐点の特徴点情報(特徴点の検出時の標識、走行距離等)を再生リストに挿入する。映像再生表示部134は、当該特徴点が含まれる経路に絞って並列表示を行い、当該特徴点が含まれない経路を表示しないように表示制御を行う。
以下、図12、図13を用いて到着映像データの表示の具体例を説明する。なお、以下の説明では、地点A0が目的地周辺内の経路起点であるものとする。目的地周辺内の図13に示すように、再生リストには分岐点(特徴点であって経路が分岐するフレーム)が4つ(A0、A1、A2、D3)存在している。
映像再生表示部134は、この再生リストを基に上述の手法(図16)を用いて再生シナリオテーブル(図17)を生成する。この際に映像再生表示部134は、各分岐点と次の分岐点の情報を合わせて保持する。たとえば映像再生表示部134は、分岐点A1とA2が接続していること、及び分岐点A1とD3が接続していること、を記憶する。
ここで映像情報解析部138が特徴点A2を検出したとする。映像情報解析部138は、特徴点A2を検出したことを映像再生表示部134に通知する。なお実際には映像情報解析部138は、特徴点A2の検出条件(分岐方向、特徴点を検出した標識、走行距離等)を映像再生表示部134に通知する。
映像再生表示部134は、特徴点A2が分岐点として再生テーブル(図13)に含まれると判定し、A2と接続するA1から分岐する別の分岐点であるD1を検出し、D1と接続するすべての経路を再生対象から除外する。これにより、映像再生表示部134は、A0〜A2〜A7にかかる経路とA0〜A2(B3)〜B7にかかる経路のみを表示対象とする。
(本実施の形態に関する効果)
本実施の形態にかかる映像提示端末13は、周辺を撮影できる構成であり、撮影した映像データを解析し、特徴点を検出する構成である。映像提示端末13は、内部の映像情報解析部138が抽出した特徴点と同一特徴点を持つ経路のみを表示対象とすることにより、車両の進行方向と合致する経路のみを表示することができる。これにより、ユーザは車両の進行方向に対応する経路映像のみを参照することができ、車両の進行方向に沿った必要な映像のみを参照することができる。
なお、本実施の形態にかかる映像提示端末13は、映像取得端末12の機能も有することが望ましい。すなわち映像提示端末13と映像取得端末12を1台の端末で実現し、当該端末を車両に搭載することが望ましい。
<実施の形態3>
本実施の形態にかかるナビゲーションシステム1は、映像提示端末13内に一般的なナビゲーションシステムが搭載され、目的地周辺まではナビゲーションシステムによるナビゲーションを行うことを特徴とする。本実施の形態にかかるナビゲーションシステム1について実施の形態1と異なる点を以下に説明する。
(実施の形態3にかかるナビゲーションシステム1の構成)
図22は、本実施の形態にかかるナビゲーションシステム1の構成を示すブロック図である。本実施の形態にかかる映像取得端末12および映像提示端末13は、図1の構成に加えてナビゲーション部(128、139)をそれぞれ備える。
ナビゲーション部128(第2ナビゲーション部)は、映像取得端末12のユーザから入力された目的地情報をもとに経路ナビゲーションを行う。ここでナビゲーション部128の処理は、一般的なカーナビゲーションシステム(ディスプレイ上に地図を表示して経路情報を表示するとともに、音声により経路を通知する)と同様であればよい。ナビゲーション部128は、出発時に映像サーバ11から目的地周辺の範囲情報を取得し、目的地周辺内に進入した後にナビゲーション処理を終了する。映像情報取得部125は、目的地周辺内に進入した後に周辺の撮影を開始する。映像取得端末12におけるその他の処理は実施の形態1と同様である。
ナビゲーション部139(第1ナビゲーション部)は、映像提示端末13のユーザから入力された目的地情報をもとに経路ナビゲーションを行う。ナビゲーション部139のナビゲーション処理は、ナビゲーション部127と同様に一般的なカーナビゲーションシステム相当の処理を行えばよい。ナビゲーション部139は、出発時に映像サーバ11から目的地周辺の範囲情報を取得し、目的地周辺内に進入した後にナビゲーション処理を終了する。
映像提示端末13内の通信部131は、目的地周辺内に進入した後に、進入地点を起点とする再生リストのリクエストを映像サーバ11に送信する。映像サーバ11は、当該リクエストに応じて再生リストを送信する。以降の映像提示端末13での処理は、実施の形態1と同様(ディスプレイ上に最も優先度の高い映像を表示する、または映像を並列表示する)である。
(本実施の形態に関する効果)
上述のように映像提示端末13は、目的地周辺外に車両がいる場合にはナビゲーション部139によるナビゲーションを提供し、目的地周辺内においては映像サーバ11から取得した映像をもとにナビゲーションを行う。これによりユーザは、目的地周辺までの間には一般的に広く用いられるナビゲーションにより経路を把握することができる。さらに映像提示端末13が目的地周辺に進入したことを自動的に検知し、映像サーバ11から取得した映像による経路提示を行う。これにより、ユーザは特別な操作を行うことなく車両が駐車するまでの詳しい経路を把握することができる。
なお、上述の説明では映像取得端末12および映像提示端末13がともにナビゲーション部を有する構成について説明したが、映像提示端末13のみがナビゲーション部を有する構成であってもよい。この構成であっても、ユーザは特段の操作を行うことなく目的地内外において一般的なナビゲーションと映像サーバ11から提供された映像を用いたナビゲーションを切り替えることができる。
<その他の実施の形態>
ナビゲーションシステム1は、さらに以下に示す形態としてもよい。各形態について上述の実施の形態と異なる点を以下に説明する。
(ユーザや車両の属性を用いた映像の絞り込み)
映像取得端末12は、上述の撮影データ(位置情報、時刻情報、速度情報等)に加えて車両やユーザの各種属性情報を映像データに関連付けて映像サーバ11に送信してもよい。当該属性情報は、たとえば車両の各種情報(小型車や大型車といった車両種別、車高、車幅、タイヤの種類等)、ユーザの次の目的地、ユーザの帰る方向、ユーザの性別、ユーザの同行者情報(お年寄りがいるか、子供がいるか、ベビーカーが必要な子供がいるか等)、帰りの予定時間等が含まれる。映像取得端末12は、これらの属性情報をユーザの入力に応じて取得する。または映像取得端末12は、各種のセンサやECU等の内部処理部から適宜取得する。以下、映像データと車両情報(車両種別、車高等)が関連付けられて映像サーバ11に送信されたものとする。
映像サーバ11は、送信された車両情報を映像データと関連付けて蓄積する。たとえば各映像データと車両情報との関係(0001.mpgを撮影した車両は、小型車であって車高は1m50cm)を保持するテーブルを内部に持てばよい。
映像提示端末13は、車両またはユーザの属性情報をリクエストに埋め込んで送信する。たとえば映像提示端末13は、映像提示端末13を所有するユーザが搭乗している車両が小型車であること等をリクエスト内に含めて映像サーバ11に送信する。
映像サーバ11は、映像提示端末13から送信された属性情報を検索条件として映像情報データベース部115の検索を行う。たとえば映像サーバ11は、映像提示端末13を持つユーザが搭乗した車両が小型車であるという属性情報を得た場合、小型車にかかる映像データのみを映像情報データベース部115から取得する。
映像サーバ11は、上述のように検索条件としてユーザや車両の各種属性情報を使用することにより、当該ユーザや車両に合致した経路映像データのみを映像提示端末13に提供することができる。たとえば小型車や大型車の場合、専用の駐車スペースが確保されている場合が多い。このような場合であっても属性情報を用いた検索を行うことにより、車両の種別に合致したナビゲーションを受けることができる。
(映像取得端末12、映像提示端末13が搭載される移動体の他の例)
上述の説明では映像取得端末12および映像提示端末13が車両(乗用車)に搭載されるものとして説明したが必ずしもこれに限られない。映像取得端末12および映像提示端末13は、自動二輪車(スクーター、オートバイ)、モビリティロボット、シーカヤック、ヘリコプター等に搭載されてもよい。なお映像取得端末12がこれらの移動体に搭載される場合、搭乗者(運転者)の視界に準じた範囲を撮影できるように移動体に固定される必要がある。
さらにまた映像取得端末12は、人間が搭乗するような移動体に搭載される場合だけでなく、人間が遠隔操作で移動させるような移動体(たとえばラジコン等)に搭載されてもよい。
(映像サーバ11におけるデータ削除)
上述のように映像サーバ11は、映像取得端末12から送信された映像データおよび撮影データ(撮影位置、撮影時の移動速度、撮影時刻等)を適宜蓄積する構成である。そのため、運用時間が長くなるにつれて映像サーバ11内の記憶領域が圧迫される恐れがある。そのため、映像サーバ11は、定期的に内部に蓄積した映像データや撮影データを削除してもよい。
たとえば映像サーバ11は、一定期間毎に古くなった(撮影日時が現在の日時から一定時間以上離れている)映像データおよび当該映像データと関連付けられた撮影データを削除する。これにより、道路状況の変化(工事等による変化)により不要となる可能性がある映像データから優先的に削除でき、不要な映像を提示することがなくなるとともに、映像サーバ11における記憶領域の圧迫を回避することができる。
映像サーバ11は、一定期間毎に目的地周辺からの距離が遠い映像データ(フレーム)を優先的に削除してもよい。目的地周辺からの距離が遠い場合、一般的なカーナビゲーションシステムによるナビゲーションを受けたほうが正確な位置情報を把握できる場合が多い。一方、目的地周辺内では一般的なカーナビゲーションシステムはナビゲーションを終了してしまい、車両の駐車位置等の把握ができない。映像サーバ11が目的地周辺からの距離に応じて映像データ(フレーム)を削除することにより、カーナビゲーションシステムでは参照できない映像を的確に把握することができるとともに、映像サーバ11における記憶領域の圧迫を回避することができる。
なお映像サーバ11は、一定期間毎に映像データを削除するのではなく、一定の記憶サイズを超えた場合に映像データの削除を行ってもよい。また映像サーバ11は、外部からの削除命令に応じて映像データの削除を行ってもよい。
(その他の応用例)
映像サーバ11は、目的地毎に目的地周辺の地図画像データを保持し、再生リストとともに映像提示端末13に供給してもよい。映像提示端末13は、再生リストに従った映像表示とともに当該地図画像をディスプレイ上に表示してもよい。これにより、ユーザは駐車までの経路を移動映像で把握できるとともに、目的地周辺内の位置関係を地図により俯瞰することができるようになる。
さらにまた映像サーバ11は、上述の特徴点の検出のみならず、映像に移りこんだ通行人等の検出を行ってもよい。映像サーバ11は、再生リストに通行人が多く映りこむような箇所の情報を付加して映像提示端末13に送信する。映像提示端末13は、通行人が多く映りこむフレームを表示する際に注意喚起の音声を出力することや、表示効果を変更する(通行人を赤丸で囲む等)。これにより、ユーザに安全な走行を促すことが可能になる。
以上、本発明を上記実施形態に即して説明したが、上記実施形態の構成にのみ限定されるものではなく、本願特許請求の範囲の請求項の発明の範囲内で当業者であればなし得る各種変形、修正、組み合わせを含むことは勿論である。
上述の映像サーバ11における各処理(図3、図4、図11等)、映像取得端末12における各処理(図2等)、及び映像提示端末13における各処理(図11、図14、図16等)はCPU(Central Processing Unit)にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
また、コンピュータが上述の実施の形態の機能を実現するプログラムを実行することにより、上述の実施の形態の機能が実現される場合だけでなく、このプログラムが、コンピュータ上で稼動しているOS(Operating System)もしくはアプリケーションソフトウェアと協働して、上述の実施の形態の機能を実現する場合も、本発明の実施の形態に含まれる。さらに、このプログラムの処理の全てもしくは一部がコンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットによって行われて、上述の実施の形態の機能が実現される場合も、本発明の実施の形態に含まれる。
1 ナビゲーションシステム
11 映像サーバ
111 通信部
112 映像情報登録部
113 映像情報解析部
114 映像情報抽出部
115 映像情報データベース部
12 映像取得端末
121 通信部
122 時刻情報取得部
123 現在位置情報取得部
124 速度情報取得部
125 映像情報取得部
126 目的地情報取得部
127 情報保存部
128 ナビゲーション部
13 映像提示端末
131 通信部
132 起点位置情報取得部
133 目的地情報取得部
134 映像再生表示部
135 映像選択情報取得部
136 現在位置情報取得部
137 映像情報取得部
138 映像情報解析部
139 ナビゲーション部

Claims (5)

  1. 映像取得端末と、映像サーバと、映像提示端末と、を備え、
    前記映像取得端末は、車両が駐車するまでの経路を撮影した映像データを目的地の情報および位置情報と関連付けて収集して前記映像サーバに送信し、
    前記映像サーバは、
    前記映像データを蓄積するとともに、受信した前記映像データのうち前記目的地の周辺範囲を撮影した画像単位を前記位置情報に基づき特定し、前記周辺範囲内における走行に関する所定の条件を満たす画像単位である特徴点を検出し、前記特徴点の検出時の情報から蓄積中の各映像データに共通する同一経路区間を算出し、
    前記映像提示端末から送信された前記周辺範囲の起点位置を含むリクエストと、検出した前記特徴点と、前記同一経路区間と、に基づいて表示対象となる映像データおよび経路パターンにかかる情報を含む再生リストを生成して前記映像提示端末に送信し、
    前記映像提示端末は、前記リクエストを送信し、前記映像サーバから受信した前記再生リストに基づいてユーザ提示映像を生成する、
    ことを特徴とするナビゲーションシステム。
  2. 車両が駐車するまでの経路を撮影した映像データと、当該映像データに関する目的地の情報および位置情報と、を映像取得端末から受信する通信部と、
    受信した前記映像データを前記目的地の情報および前記位置情報と関連付けて保持する映像情報データベース部と、
    受信した前記映像データのうち前記目的地の周辺範囲を撮影した画像単位を前記位置情報に基づき特定し、前記周辺範囲内における走行に関する所定の条件を満たす画像単位である特徴点を検出し、前記特徴点の検出時の情報から蓄積中の各映像データに共通する同一経路区間を算出する映像情報解析部と、
    前記周辺範囲における起点位置を含むリクエストと、検出した前記特徴点と、前記同一経路区間と、に基づいて表示対象となる映像データおよび経路パターンにかかる情報を含む再生リストを生成する映像情報抽出部と、を備えることを特徴とする映像サーバ。
  3. 車両が駐車するまでの経路を撮影した映像データと、当該映像データに関する目的地の情報および位置情報と、を映像取得端末から受信する通信ステップと、
    受信した前記映像データのうち前記目的地の周辺範囲を撮影した画像単位を前記位置情報に基づき特定し、前記周辺範囲内における走行に関する所定の条件を満たす画像単位である特徴点を検出し、前記特徴点の検出時の情報から蓄積中の各映像データに共通する同一経路区間を算出する映像情報解析ステップと、
    前記周辺範囲における起点位置を含むリクエストと、検出した前記特徴点と、前記同一経路区間と、に基づいて表示対象となる映像データおよび経路パターンにかかる情報を含む再生リストを生成する映像情報抽出ステップと、を備えることを特徴とする映像管理方法。
  4. コンピュータに、
    車両が駐車するまでの経路を撮影した映像データと、当該映像データに関する目的地の情報および位置情報と、を映像取得端末から受信する通信ステップと、
    受信した前記映像データのうち前記目的地の周辺範囲を撮影した画像単位を前記位置情報に基づき特定し、前記周辺範囲内における走行に関する所定の条件を満たす画像単位である特徴点を検出し、前記特徴点の検出時の情報から蓄積中の各映像データに共通する同一経路区間を算出する映像情報解析ステップと、
    前記周辺範囲における起点位置を含むリクエストと、検出した前記特徴点と、前記同一経路区間と、に基づいて表示対象となる映像データおよび経路パターンにかかる情報を含む再生リストを生成する映像情報抽出ステップと、を実行させる映像管理プログラム。
  5. 車両が駐車するまでの経路を撮影した映像データと、当該映像データに関する目的地の情報および位置情報と、を蓄積する映像サーバから表示対象となる映像データおよび経路パターンにかかる情報を含む再生リストを取得する映像提示端末であって、
    所望の目的地の情報を前記映像サーバに送信し、前記所望の目的地の周辺範囲の情報を受信する通信部と、
    前記周辺範囲内の周辺映像を撮影する映像情報取得部と、
    前記映像情報取得部の撮影した映像データを解析し、走行に関する所定の条件を満たす画像単位である特徴点を検出する映像情報解析部と、
    前記映像情報解析部が検出した前記特徴点と前記経路パターンを比較し、当該比較に応じて前記再生リストからユーザ提示映像を生成する映像情報再生部と、を備える、
    ことを特徴とする映像提示端末。
JP2012233441A 2012-10-23 2012-10-23 ナビゲーションシステム、映像サーバ、映像管理方法、映像管理プログラム、及び映像提示端末 Active JP5949435B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012233441A JP5949435B2 (ja) 2012-10-23 2012-10-23 ナビゲーションシステム、映像サーバ、映像管理方法、映像管理プログラム、及び映像提示端末

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012233441A JP5949435B2 (ja) 2012-10-23 2012-10-23 ナビゲーションシステム、映像サーバ、映像管理方法、映像管理プログラム、及び映像提示端末

Publications (2)

Publication Number Publication Date
JP2014085192A JP2014085192A (ja) 2014-05-12
JP5949435B2 true JP5949435B2 (ja) 2016-07-06

Family

ID=50788384

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012233441A Active JP5949435B2 (ja) 2012-10-23 2012-10-23 ナビゲーションシステム、映像サーバ、映像管理方法、映像管理プログラム、及び映像提示端末

Country Status (1)

Country Link
JP (1) JP5949435B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017034638A (ja) * 2015-08-06 2017-02-09 富士通テン株式会社 画像処理装置および画像処理方法
CN105222773B (zh) * 2015-09-29 2018-09-21 小米科技有限责任公司 导航方法及装置
JP7060334B2 (ja) * 2017-03-30 2022-04-26 株式会社デンソーテン 学習データ収集装置、学習データ収集システムおよび学習データ収集方法
CN108257406B (zh) * 2018-03-16 2022-03-29 京东方科技集团股份有限公司 终端、服务器和驾驶数据分享方法
US11370418B2 (en) 2018-06-20 2022-06-28 Clarion Co., Ltd. Parking assist system and parking assist device
KR102566039B1 (ko) * 2018-09-10 2023-08-10 라인플러스 주식회사 경로 안내를 위한 콘텐츠 제공 방법 및 장치
JP7335194B2 (ja) * 2020-03-31 2023-08-29 株式会社Nttドコモ 情報処理装置
JP7387833B1 (ja) * 2022-08-15 2023-11-28 株式会社Nttドコモ サーバ及び映像データ管理システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003046969A (ja) * 2001-07-30 2003-02-14 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP4178154B2 (ja) * 2005-08-30 2008-11-12 松下電器産業株式会社 駐車位置探索支援装置、方法およびプログラム
US7961080B2 (en) * 2007-11-29 2011-06-14 International Business Machines Corporation System and method for automotive image capture and retrieval
JP5505723B2 (ja) * 2010-03-31 2014-05-28 アイシン・エィ・ダブリュ株式会社 画像処理システム及び位置測位システム

Also Published As

Publication number Publication date
JP2014085192A (ja) 2014-05-12

Similar Documents

Publication Publication Date Title
JP5949435B2 (ja) ナビゲーションシステム、映像サーバ、映像管理方法、映像管理プログラム、及び映像提示端末
CN106611497B (zh) 交通量预测系统及预测方法、车辆用显示装置以及车辆
CN109429518A (zh) 基于地图图像的自动驾驶交通预测
JP6109593B2 (ja) 危険情報処理方法、装置及びシステム、並びにプログラム
CN109935077A (zh) 用于为自动驾驶车辆构建车辆与云端实时交通地图的系统
JP2019537757A (ja) 地図上に車両の動きを表示するシステムおよび方法
CN107408343A (zh) 自动驾驶辅助系统、自动驾驶辅助方法以及计算机程序
BR112020002340A2 (pt) coleta assistida de realidade aumentada
TWI437210B (zh) 藉由即時交通規則判斷資訊進行導航之電子裝置、方法以及儲存其之電腦可讀取記錄媒體
US11118934B2 (en) Method and system of route guidance for a towing vehicle
JP2014154005A (ja) 危険情報提供方法、装置、及びプログラム
CN103077624B (zh) 一种基于gps的即时导航路况系统及导航方法
WO2022199311A1 (zh) 交互方法和交互装置
US20230314156A1 (en) Information presentation method, information presentation system, and computer-readable medium
JP2013032949A (ja) 車両用表示処理システムおよび車両用表示処理方法並びにプログラム
JP6419260B1 (ja) 交通情報取得装置、交通情報取得システム、交通情報取得方法、および交通情報取得プログラム
CN109637148A (zh) 车载鸣笛监控系统、方法、存储介质及设备
CN110068328A (zh) 导航路线生成方法、装置、计算机可读存储介质和计算机设备
JP2019221115A (ja) 走行状況提示装置
JP2012244193A (ja) 再生区間抽出方法、プログラムおよび記憶媒体、並びに再生区間抽出装置および輸送機器搭載装置
CN102809383B (zh) 行驶引导装置及行驶引导方法
JP2011174723A (ja) 案内誘導装置及び案内誘導方法
JP2019113421A (ja) 案内システム、及び案内プログラム
CN111982140A (zh) 一种无人导游车辆的导游方法、装置及设备
CN109115206A (zh) 导航方法和导航系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150331

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160126

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160314

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160523

R150 Certificate of patent (=grant) or registration of utility model

Ref document number: 5949435

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150