JP5958228B2 - 映像情報提供装置及び方法 - Google Patents

Description

本発明は、映像サーバに蓄積された映像情報を、映像情報の送信を要求した要求者に送信する映像情報提供装置及び方法に関する。

車両に搭載したビデオカメラやスチルカメラによって走行中の車外を撮影し、撮影した映像情報をサーバに蓄積しておき、サーバに蓄積されている映像情報を、映像情報の送信を要求した要求者に送信する映像情報提供装置が提案されている（特許文献１，２参照）。

特開２００２−８１９５１号公報 特開２００３−２０２２３５号公報

サーバに多くの走行中の映像情報を蓄積するために、路線バスやタクシー等の車両にビデオカメラを設置して、走行中の車外を撮影した映像情報をサーバに蓄積することが考えられる。路線バスは巡回経路を含んで走行することがあるため、同じ映像情報が重複してサーバに記録される場合がある。タクシーも同じ経路を複数回走行するから同様である。要求者が所定の区間における映像情報の送信を要求したとき、その所定の区間内に巡回経路のような重複映像情報を含む場合には、重複映像情報を要求者に送信してしまうことになる。

要求者にとっては重複映像情報は不要であり、映像情報が重複しないように要求者に映像情報を提供することが求められる。本発明は、このような要望に対応するため、映像情報の送信を要求する要求者に、所定の区間の映像情報を映像情報が重複しないように提供することができる映像情報提供装置及び方法を提供することを目的とする。

本発明は、上述した従来の技術の課題を解決するため、走行する車両から撮影した走行映像の記録開始から記録終了までの映像ファイルと、前記映像ファイルにおける前記走行映像を撮影した複数の地点の位置情報と方角情報と取得時刻とを含む補助情報とを対応付けて蓄積するデータベース部と、前記映像ファイルの前記走行映像を画像認識し、予め定めた物体が前記走行映像内に存在していると認識したか否かの物体認識状況の時系列な変化に基づいて、前記走行映像上の時点である切替ポイントを複数登録する切替ポイント登録部と、前記切替ポイント登録部によって登録された複数の切替ポイントのうち、前記補助情報に基づいて、同一の地点であり、同一の方角とみなせる切替ポイントのペアを検出する切替ポイントペア検出部と、前記複数の切替ポイントを取得時刻の順に互いにリンクさせるリンク情報を生成し、前記切替ポイントペア検出部によって切替ポイントのペアが存在することが検出された場合には、前記切替ポイントのペアをリンクさせるリンク情報を生成するリンク情報生成部と、前記記録開始の地点から前記記録終了の地点までの間のいずれかの２つの地点を出発地及び目的地として指定されて、前記映像ファイルを再生させる要求がなされたとき、前記リンク情報生成部によって生成されたリンク情報に基づいて、前記映像ファイルにおける前記走行映像の前記出発地に対応する箇所から前記切替ポイントのペアのうちの取得時刻が前である一方の切替ポイントに対応する箇所までの再生に続けて、前記切替ポイントのペアのうちの取得時刻が後である他方の切替ポイントに対応する箇所から前記目的地に対応する箇所までを再生させる再生部とを備えることを特徴とする映像情報提供装置を提供する。

上記の映像情報提供装置において、前記再生部は、前記目的地が、前記他方の切替ポイントより後の地点であるとき、前記出発地に対応する箇所から前記一方の切替ポイントに対応する箇所までの再生に続けて、前記他方の切替ポイントに対応する箇所から前記目的地に対応する箇所までを再生させることが好ましい。

前記切替ポイント登録部は、前記予め定めた物体が所定の回数以上のフレームで存在していると認識され、前記予め定めた物体が前記走行映像から消滅した時点に対応する地点を切替ポイントとして登録することが好ましい。

上記の映像情報提供装置において、前記リンク情報生成部は、前記記録開始の地点から前記複数の切替ポイントのうち取得時刻が最も前の切替ポイントとをリンクさせるリンク情報と、前記複数の切替ポイントのうち取得時刻が最も後の切替ポイントと前記記録終了の地点とをリンクさせるリンク情報を生成することが好ましい。

上記の映像情報提供装置において、前記切替ポイント登録部は、車両が走行する車道または車道に隣接する歩道上に固定的に存在する物体を前記予め定めた物体とすることが好ましい。

また、本発明は、上述した従来の技術の課題を解決するため、走行する車両から撮影した走行映像の記録開始から記録終了までの映像ファイルと、前記映像ファイルにおける前記走行映像を撮影した複数の地点の位置情報と方角情報と取得時刻とを含む補助情報とを対応付けてデータベース部に蓄積し、前記映像ファイルの前記走行映像を画像認識し、予め定めた物体が前記走行映像内に存在していると認識したか否かの物体認識状況の時系列な変化に基づいて、前記走行映像上の時点である切替ポイントを複数登録し、登録された複数の切替ポイントのうち、前記補助情報に基づいて、同一の地点であり、同一の方角とみなせる切替ポイントのペアを検出し、前記複数の切替ポイントを取得時刻の順に互いにリンクさせるリンク情報を生成し、前記切替ポイントのペアが存在することが検出された場合には、前記切替ポイントのペアをリンクさせるリンク情報を生成し、前記記録開始の地点から前記記録終了の地点までの間のいずれかの２つの地点を出発地及び目的地として指定されて、前記映像ファイルを再生させる要求がなされたとき、前記リンク情報に基づいて、前記映像ファイルにおける前記走行映像の前記出発地に対応する箇所から前記切替ポイントのペアのうちの取得時刻が前である一方の切替ポイントに対応する箇所までの再生に続けて、前記切替ポイントのペアのうちの取得時刻が後である他方の切替ポイントに対応する箇所から前記目的地に対応する箇所までを再生させることを特徴とする映像情報提供方法を提供する。

本発明の映像情報提供装置及び方法によれば、映像情報の送信を要求する要求者に、所定の区間の映像情報を映像情報が重複しないように提供することができる。

一実施形態の映像情報提供装置を含む映像情報蓄積・提供システムの全体構成を示す概念図である。 図１中の映像サーバ１の具体的な構成を示すブロック図である。 図２中のデータベース部１２に記憶されている位置情報テーブルの例を示す図である。 図２中のデータベース部１２に記憶されている映像ファイルテーブルの例を示す図である。 図２中のデータベース部１２に記憶されている切替ポイントテーブルの例を示す図である。 図２中のデータベース部１２に記憶されているリンク情報テーブルの例を示す図である。 位置情報と関連付けられた映像ファイルの構造を示す概念図である。 図２中の受信部１１の詳細な動作を示すフローチャートである。 図２中の切替ポイント登録部１３の詳細な動作を示すフローチャートである。 図２中の切替ポイント登録部１３における予め定めた物体の検出及び切替ポイントの登録動作の例示す概念図である。 図２中のループ検出部１４の詳細な動作を示すフローチャートである。 図２中のループ検出部１４によるループ検出動作の例を説明するための図である。 図２中のリンク情報生成部１５の詳細な動作を示すフローチャートである。 図２中の再生部１６の詳細な動作を示すフローチャートである。 図２中の再生部１６による再生動作の例を説明するための図である。

以下、一実施形態の映像情報提供装置及び方法について、添付図面を参照して説明する。まず、図１を用いて、一実施形態の映像情報提供装置を含む映像情報蓄積・提供システムについて説明する。映像サーバ１は、一実施形態の映像情報提供装置を構成する。映像サーバ１は、インターネット等のネットワーク５に接続されている。ビデオカメラ２ａ〜２ｃは、ＧＰＳ衛星４から送信される電波を受信して、ビデオカメラ２ａ〜２ｃそれぞれの位置情報及び方角情報を算出する。ビデオカメラ２ａ〜２ｃをビデオカメラ２と総称する。

図１では簡略化のため、ビデオカメラ２は１つのＧＰＳ衛星４からの電波を受信するように図示しているが、実際にはビデオカメラ２は位置情報及び方角情報を算出するためにさらに多くのＧＰＳ衛星４からの電波を受信する。位置情報は、経度，緯度，高度を含む。ビデオカメラ２はＧＰＳ衛星４からの電波によって、時刻も取得する。図１では３台のビデオカメラ２を示しているが、ビデオカメラ２の台数はさらに多くてよく、多い方が好ましい。ビデオカメラ２は、ネットワーク５に接続されている。

それぞれのビデオカメラ２は、例えば路線バスやタクシー等の車両に設置されている。ビデオカメラ２は、車両が走行する道路の例えば前方を撮影する。ビデオカメラ２は、撮影した走行映像の映像ファイルを、走行映像を撮影した地点の位置情報及びビデオカメラ２が向いている方角情報と、走行映像を取得した取得時刻情報とに関連付けて蓄積し、ネットワーク５を介して映像サーバ１に送信する。位置情報と方角情報と取得時刻とを補助情報とする。

映像サーバ１は、補助情報と関連付けられた映像ファイルを受信して蓄積する。ビデオカメラ２は、映像サーバ１に映像ファイルをリアルタイムで送信してもよいし、一旦ビデオカメラ２内に蓄積した後の所定のタイミングで送信してもよい。

スマートフォン等の携帯端末３は、例えば対話的な操作によって、出発地と目的地を示す情報を映像サーバ１に送信することができる。携帯端末３は、地図データ内蔵カーナビゲーションソフトウェアを搭載していることが好ましい。携帯端末３は、カーナビゲーションソフトウェアによって、出発地緯度，出発地経度，目的地緯度，目的地経度を含む再生要求を、ＨＴＴＰ（ハイパーテキストトランスポートプロトコル）によって映像サーバ１に送信する。

映像サーバ１は、携帯端末３からの再生要求に対応して映像サーバ１に蓄積された複数の映像ファイルのうちの選択した映像ファイルを携帯端末３へと送信する。携帯端末３は、ネットワーク５を介して、映像サーバ１が送信した映像ファイルを受信する。

図２を用いて、映像サーバ１の具体的な構成について説明する。映像サーバ１は、受信部１１，データベース部１２，切替ポイント登録部１３，ループ検出部（切替ポイントペア検出部）１４，リンク情報生成部１５，再生部１６を有する。受信部１１は、ビデオカメラ２が送信した、補助情報と関連付けられた映像ファイルを受信する。受信部１１は、例えばＷｅｂサーバであるプログラムであってもよい。受信部１１は、映像ファイルに対して所定の書式変換を施してデータベース部１２に登録する。

データベース部１２は、走行する車両から撮影した走行映像の記録開始から記録終了までの映像ファイルと、映像ファイルにおける走行映像を撮影した複数の地点の位置情報と方角情報と取得時刻とを含む補助情報とを対応付けて蓄積する。

データベース部１２は、例えばリレーショナルデータベースであるプログラムであってもよい。データベース部１２は、データ種別ごとに独立したテーブル構造を有する。データベース部１２が有するテーブル構造の例について説明する。データベース部１２は、図３に示すような位置情報テーブルを記憶している。図３に示すように、位置情報テーブルは、映像ＩＤ，緯度，経度，高度，方角，取得時刻の情報を含む。データベース部１２は、図４に示すような映像ファイルテーブルを記憶している。図４に示すように、映像ファイルテーブルは、映像ＩＤ，記録開始時刻，記録終了時刻，映像ファイルの情報を含む。

データベース部１２は、図５に示すような切替ポイントテーブルを記憶している。図５に示すように、切替ポイントテーブルは、ポイントＩＤ，映像ＩＤ，緯度，経度，高度，方角，取得時刻の情報を含む。データベース部１２は、図６に示すようなリンク情報テーブルを記憶している。図６に示すように、リンク情報テーブルは、始点ポイントＩＤ，終点ポイントＩＤ，移動コストの情報を含む。

図７を用いて、位置情報と関連付けられた映像ファイルの構造について説明する。図７において、例えば“0001.mp4”なるファイル名を有する映像ファイルＦＬは、複数の映像フレームＦｍを含む。映像ファイルＦＬは、2012年9月28日、17時35分32秒に撮影映像の記録を開始し、同日、17時54分30秒に記録を終了している。映像フレームＦｍの数は実際にはさらに多く、図７では簡略化のため実際よりも少ない数の映像フレームＦｍを図示している。映像ファイルＦＬの一部または全てが、例えばＭＰＥＧの映像圧縮技術によって圧縮されていてもよい。

この映像ファイルＦＬと、位置情報列Ｔipとが関連付けられている。位置情報列Ｔipは、複数の位置情報Ｉｐを含む。位置情報Ｉｐの間隔は０．５〜３秒であり、映像フレームＦｍの間隔よりも疎らである。位置情報Ｉｐは等間隔とは限らない。

映像ファイルＦＬは、記録開始時刻から記録終了時刻までの全区間において、時刻オフセットを指定することで、任意の映像フレームＦｍにランダムアクセスすることが可能である。一部の映像フレームＦｍを時刻オフセットで直接指定できない場合には、映像ファイルＦＬの他のプロパティ（例えば、平均ビットレート，総フレーム数，総ファイルサイズ）から、時刻オフセット相当のランダムアクセスが可能である。

図２に戻り、切替ポイント登録部１３は、新規に受信した位置情報列Ｔipと映像ファイルＦＬを時系列に探索し、走行映像を画像認識して切替ポイントを判定する。切替ポイント登録部１３は、切替ポイントを判定したら、切替ポイントをデータベース部１２に登録する。切替ポイントの詳細については後述する。

ループ検出部１４は、各切替ポイントの位置情報を比較し、同一地点・同一方角とみなせる切替ポイントのペアを探索する切替ポイントペア検出部である。ループ検出部１４は、切替ポイントのペアを検出したら、切替ポイントのペアをリンク情報としてデータベース部１２に登録する。リンク情報生成部１５は、新規登録された同一映像の切替ポイント間を接続するリンク情報を生成してデータベース部１２に登録する。リンク情報の詳細についても後述する。

再生部１６は、出発地と目的地の位置情報を取得し、データベース部１２から、出発地から目的地までの経路に対応した最短の区間で連結させた映像フレームＦｍを携帯端末３に送出する。

図８に示すフローチャートを用いて、受信部１１の動作の詳細を説明する。受信部１１は、ステップＳ１０１にて、映像ファイルＦＬの受信を待ち受ける。受信部１１は、ステップＳ１０２にて、ビデオカメラ２から送信された映像ファイルＦＬを受信して、バッファリングしておく。受信部１１は、ステップＳ１０３にて、受信が終了した映像ファイルＦＬに対して、既存のものと重ならない、新規の映像ＩＤを生成して付与する。

受信部１１は、ステップＳ１０４にて、位置情報列Ｔipを受信し、図３に示す位置情報テーブルに、新規映像ＩＤ，緯度，経度，高度，方角，取得時刻よりなる１行の情報を書き込んで登録する。受信部１１は、ステップＳ１０５にて、新たに登録された映像ファイルＦＬのメタデータを解析して記録開始時刻と記録終了時刻を抽出し、図４に示す映像ファイルテーブルに、新規映像ＩＤ，記録開始時刻，記録終了時刻，映像ファイルよりなる１行の情報を書き込んで登録する。

受信部１１は、ステップＳ１０６にて、新規映像ＩＤを切替ポイント登録部１３に送信して、処理を終了させる。

図９に示すフローチャートを用いて、切替ポイント登録部１３の動作の詳細を説明する。切替ポイント登録部１３は、ステップＳ１１１にて、受信部１１からの新規映像ＩＤを待ち受ける。切替ポイント登録部１３は、ステップＳ１１２にて、新規映像ＩＤをキーとして、データベース部１２の映像ファイルテーブルを検索し、該当する行の映像ファイルＦＬの全映像フレームＦｍを、時刻が早い順に映像リスト変数Ｌ１に登録する。

切替ポイント登録部１３は、ステップＳ１１３にて、ループ変数Ｉ１を０に、映像フレーム数Ｎ１を映像リスト変数Ｌ１内の総フレーム数に、発見回数Ｎｆを０に初期化する。ステップＳ１１４は、映像フレームＦｍを逐次処理するループである。切替ポイント登録部１３は、ステップＳ１１４にて、ループ変数Ｉ１を＋１ずつ加算しながらループさせ、映像フレーム数がＮ１に達したら終了させる。

切替ポイント登録部１３は、ステップＳ１１５にて、映像リスト変数Ｌ１［Ｉ１］の映像フレームＦｍを任意の物体検出器を用いて映像解析し、予め定めた物体が存在しているか否かを判定する。予め定めた物体は、例えば速度規制標識である。速度規制標識を例とするのは、昼夜を問わず運転者に見やすく設置されており、物体検出しやすいからである。予め定めた物体は速度規制標識に限定されることはなく、その他の交通標識、トンネルの出口や横断歩道等でもよい。

予め定めた物体は、車両が走行する道路（車両が走行する車道及び車道に隣接する歩道を含む）上に固定的に存在する物体で、映像中に出現から消滅までの過程が撮影されるものであれば任意の物体でよい。

切替ポイント登録部１３は、ステップＳ１１５で予め定めた物体が存在していれば（YES）、ステップＳ１１６にて、発見回数Ｎｆに＋１を加算して、処理をステップＳ１１４に戻す。切替ポイント登録部１３は、ステップＳ１１５で予め定めた物体が存在していなければ（NO）、ステップＳ１１７にて、発見回数Ｎｆが発見回数閾値ε以上になっているか否かを判定する。

発見回数閾値εは、映像ファイルＦＬのフレームレートと撮影時の走行速度とに応じた値とすることが好ましい。車両の走行速度は走行映像の動きに基づいて概略的に求めることが可能である。映像ファイルＦＬのフレームレートは所定の範囲内であり、車両の走行速度もある程度想定することができるから、発見回数閾値εを、映像ファイルＦＬのフレームレートと撮影時の走行速度とにかかわらず固定値としてもよい。ここでは発見回数閾値εを３とする。

切替ポイント登録部１３は、ステップＳ１１７で発見回数Ｎｆが発見回数閾値ε以上でなければ（NO）、ステップＳ１１８にて、発見回数Ｎｆを０にクリアして、処理をステップＳ１１４に戻す。切替ポイント登録部１３は、ステップＳ１１７で発見回数Ｎｆが発見回数閾値ε以上であれば（YES）、ステップＳ１１９にて、映像リスト変数Ｌ１［Ｉ１］の取得時刻から位置情報列Ｔipを検索して、切替ポイントを登録する。

具体的には、切替ポイント登録部１３は、（記録開始時刻＋ループ変数Ｉ１×フレーム秒定数ζ）に基づいて検出時刻Ｓを計算する。フレーム秒定数ζは、映像ファイルＦＬのフレームレートに依存する。ここでは、一般的な２９．９７フレーム／秒（固定）から換算した、ζ＝0.03337秒とする。次に、切替ポイント登録部１３は、位置情報テーブルから、映像ＩＤが新規映像ＩＤと等しく、かつ、取得時刻が検出時刻Ｓに最も近い位置情報ＬＳ１を取得する。切替ポイント登録部１３は、切替ポイントテーブルの中で使われている既存のポイントＩＤと重ならない、新規ポイントＩＤを生成する。

そして、切替ポイント登録部１３は、新規ポイントＩＤ，新規映像ＩＤ，位置情報ＬＳ１緯度，位置情報ＬＳ１経度，位置情報ＬＳ１高度，位置情報ＬＳ１方角，位置情報ＬＳ１取得時刻よりなる切替ポイントの情報を切替ポイントテーブルに書き込んで登録する。

図１０を用いて、切替ポイント登録部１３における予め定めた物体の検出及び切替ポイントの登録動作の例について説明する。図１０は、速度規制標識を予め定めた物体とした例を示している。図１０において、（ａ）は撮影された走行映像であり、（ｂ）は記録開始から記録終了までの映像フレームＦｍである。ここでも簡略化のため、実際よりも少ない数の映像フレームＦｍを図示している。

図１０の（ｂ）において、○を付した映像フレームＦｍは速度規制標識が存在することを認識した映像フレームＦｍであり、×を付した映像フレームＦｍは速度規制標識が存在することを認識していない映像フレームＦｍである。図１０の（ａ）に示すように、車両が速度規制標識に近付くにつれて速度規制標識は大きくなり、物体検出器の検出精度を越えると、四角で囲んでいるように速度規制標識が存在することを認識する。その後、速度規制標識はビデオカメラ２の視野から外れて、速度規制標識は存在しないと認識する。

図１０の例では、発見回数Ｎｆは３である。発見回数閾値εを３とした場合、発見回数Ｎｆが発見回数閾値ε以上であるので、速度規制標識は存在しないと認識した最初の映像フレームＦｍの時点が検出時刻Ｓとなる。切替ポイント登録部１３は、検出時刻Ｓに基づいて切替ポイントを登録する。

以上のように、切替ポイント登録部１３は、映像ファイルＦＬの走行映像を画像認識し、予め定めた物体が走行映像内に存在していると認識したか否かの物体認識状況の時系列な変化に基づいて、走行映像に含まれる切替ポイントを登録する。走行映像中に切替ポイントが複数存在すれば、切替ポイント登録部は複数の切替ポイントを登録する。

図１１に示すフローチャートを用いて、ループ検出部１４の動作の詳細を説明する。図１１において、ループ検出部１４は、ステップＳ１２１にて、切替ポイント登録部１３からの新規映像ＩＤを待ち受ける。ループ検出部１４は、ステップＳ１２２にて、新規映像ＩＤで切替ポイントテーブルを検索し、新規映像ＩＤが一致する行を取得時刻が早い順にソートして、ポイントリスト変数Ｌ２に登録する。ループ検出部１４は、ステップＳ１２３にて、ループ変数Ｉ２を０に、個数Ｎ２をポイントリスト変数Ｌ２内の切替ポイントの個数に初期化する。

ステップＳ１２４は、切替ポイントを順次処理するループである。ループ検出部１４は、ステップＳ１２４にて、ループ変数Ｉ２を＋１ずつ加算しながらループさせ、個数がＮ２に達したら処理を終了させる。

ループ検出部１４は、ステップＳ１２５にて、ループ変数Ｉ３をＮ２−１に初期化する。ステップＳ１２６は、切替ポイントを順次処理するループである。ループ検出部１４は、ステップＳ１２６にて、ループ変数Ｉ３を１ずつ減算しながらループさせ、ループ変数Ｉ３がループ変数Ｉ２に達したら処理を終了させる。

ループ検出部１４は、ステップＳ１２７にて、切替ポイントＬ２［Ｉ２］と切替ポイントＬ２［Ｉ３］それぞれの緯度，経度，高度，角度によって、両者が同一地点に存在して同一の角度であるか否かを判定する。

具体的には、まず、例えば、地球測位系において、地球をＧＲＳ８０楕円体とみなしたVincentyの距離と方角の公式を用いて、切替ポイントＬ２［Ｉ２］と切替ポイントＬ２［Ｉ３］との２点間の参照距離Ｄ１を算出する。次に、切替ポイントＬ２［Ｉ２］の方角と切替ポイントＬ２［Ｉ３］の方角との鋭角側の角度差分の絶対値Ｑ１を算出する。そして、角度差分の絶対値Ｑ１が角度閾値α未満かつ、距離Ｄ１が距離閾値β未満の場合、同一地点・同一角度であると判定し、それ以外では同一地点・同一角度ではないと判定する。

角度閾値αは、例えば１５度とする。距離閾値βはＧＰＳ誤差を許容できる距離として、例えば５メートルとする。

ループ検出部１４は、ステップＳ１２７で同一地点・同一角度であると判定されれば（YES）、処理をステップＳ１２８へと移行させ、同一地点・同一角度であると判定されなければ（NO）、処理をステップＳ１２６に戻す。ループ検出部１４は、ステップＳ１２８にて、リンク情報テーブルに、Ｌ２［Ｉ２］ポイントＩＤ，Ｌ２［Ｉ３］ポイントＩＤ，移動コストＤ４をリンク情報として登録する。移動コストＤ４は、次の式（１）による。

移動コストＤ４＝１／ｆ（Ｌ２［Ｉ３］取得時刻−Ｌ２［Ｉ２］取得時刻） …（１）
ここで、関数ｆ（ｘ）は取得時刻の差分を秒単位に変換する関数である。

以上のように、ループ検出部１４は、切替ポイント登録部１３によって登録された複数の切替ポイントのうち、補助情報に基づいて、同一の地点であり、同一の方角とみなせる切替ポイントのペアを検出する切替ポイントペア検出部として動作している。

図１２を用いて、ループ検出部１４によるループ検出動作の例を説明する。図１２は、ビデオカメラ２を搭載した車両（路線バス）５０が巡回経路を含んで時刻Ｔ１から時刻Ｔ７まで走行した場合の地図上の軌跡を示している。また、図１２は、概念的な映像ファイルＦＬを示している。切替ポイント登録部１３は、前述のように速度規制標識に基づいて切替ポイントＰ１〜Ｐ４を登録済みであるとする。

ループ検出部１４は、切替ポイントＰ１〜Ｐ４のうちの全ての２つの切替ポイントのペアを順次比較していく。ループ検出部１４は、切替ポイントＰ１と切替ポイントＰ３と距離がＧＰＳ誤差を許容できる５メートル以内であるが、方角が１５度を超えているので、リンク情報を生成しない。ループ検出部１４は、切替ポイントＰ２と切替ポイントＰ４と距離が５メートル以内であり、方角が１５度以内であるので、リンク情報を生成して登録する。なお、車両が走行する方向が反対方向であれば、方角が１５度以内とはならないので、リンク情報は生成されない。

図１２に示す映像ファイルＦＬは、車両の出発地点（地点Ａとする）から到着地点（地点Ｂとする）まで、時刻Ｔ１から時刻Ｔ７までの全ての時間の走行映像を含む。携帯端末３から映像サーバ１に対して、地点Ａから地点Ｂまでの走行映像を送信する要求があったとする。本実施形態によれば、リンク情報を活用することによって、時刻Ｔ１から切替ポイントＰ２までの走行映像を再生し、次に、切替ポイントＰ４から時刻Ｔ７までの走行映像を再生することができる。

よって、本実施形態によれば、重複している走行映像を排除することができ、必要のない巡回経路の部分の走行映像も排除することができる。本実施形態によれば、切替ポイントＰ２と切替ポイントＰ４とは極めて類似の映像であり、時刻Ｔ１から切替ポイントＰ２までの走行映像と、切替ポイントＰ４から時刻Ｔ７までの走行映像とをほとんど違和感なく連結させることができる。

再生部１６による、所定の位置から切替ポイントＰ２までの走行映像を再生し、これに続けて、切替ポイントＰ４から所定の位置までの走行映像を再生させる動作の詳細については後述する。

図１３に示すフローチャートを用いて、リンク情報生成部１５の動作の詳細を説明する。図１３において、リンク情報生成部１５は、ステップＳ１３１にて、ループ検出部１４からの新規映像ＩＤを待ち受ける。リンク情報生成部１５は、ステップＳ１３２にて、新規映像ＩＤでリンク情報テーブルを検索し、探索リスト変数Ｌ３を取得する。リンク情報生成部１５は、ステップＳ１３３にて、ループ変数Ｉ３を０に、探索個数Ｎ３を探索リスト変数Ｌ３の切替ポイント数に初期化する。

ステップＳ１３４は、探索リスト変数Ｌ３内の切替ポイントを順次処理するループである。リンク情報生成部１５は、ステップＳ１３４にて、ループ変数Ｉ３を＋１ずつ加算しながらループさせ、探索個数Ｎ３に達したら処理をステップＳ１３９に移行させる。リンク情報生成部１５は、ステップＳ１３５にて、ループ変数Ｉ３が０であるか否かを判定する。リンク情報生成部１５は、ループ変数Ｉ３が０であれば（YES）、処理をステップＳ１３６に移行させ、ループ変数Ｉ３が０でなければ（NO）、処理をステップＳ１３７に移行させる。

リンク情報生成部１５は、ステップＳ１３６にて、記録開始の地点から最初の切替ポイントへのリンクを登録する。具体的には、リンク情報生成部１５は、映像ファイルテーブルから、新規映像ＩＤを示す行の記録開始時刻を検出時刻Ｓ２に代入する。次に、リンク情報生成部１５は、位置情報テーブルから、映像ＩＤが新規映像ＩＤと等しく、かつ、取得時刻が検出時刻Ｓ２に最も近い位置情報ＬＳ２を取得する。次に、リンク情報生成部１５は、切替ポイントテーブルの中で使われている既存のポイントＩＤと重ならない、新規ポイントＩＤを生成する。ここでの新規ポイントＩＤは例えばＰ０である。

次に、リンク情報生成部１５は、新規ポイントＩＤ，新規映像ＩＤ，位置情報ＬＳ２緯度，位置情報ＬＳ２経度，位置情報ＬＳ２高度，位置情報ＬＳ２方角，位置情報ＬＳ２取得時刻よりなる切替ポイントを、切替ポイントテーブルに登録する。図５では新規ポイントＩＤがＰ０の行に登録されている。最後に、リンク情報生成部１５は、リンク情報テーブルに、始点ポイントＩＤとして新規ポイントＩＤを、終点ポイントＩＤとして探索リスト変数Ｌ３［０］のポイントＩＤを、移動コストとして、時刻Ｔ１と切替ポイントＰ２の時刻との差である７８よりなるリンク情報を登録する。

リンク情報生成部１５は、ステップＳ１３７にて、探索リスト変数Ｌ３［Ｉ３−１］の取得時刻と、探索リスト変数Ｌ３［Ｉ３］の取得時刻から２点間の移動時間Ｄ２を算出する。移動時間Ｄ２の算出は、式（２）による。式（２）における関数ｆ（ｘ）は、取得時刻の差分を秒単位に変換する関数である。

移動時間Ｄ２＝ｆ（探索リスト変数Ｌ３［Ｉ３］取得時刻−探索リスト変数Ｌ３［Ｉ３−１］取得時刻） …（２）
リンク情報生成部１５は、ステップＳ１３８にて、移動時間Ｄ２を移動コストとし、探索リスト変数Ｌ３［Ｉ３−１］のポイントＩＤ，探索リスト変数Ｌ３［Ｉ３］のポイントＩＤ，移動コスト（Ｄ２）よりなるリンク情報を、リンク情報テーブルに登録する。

リンク情報生成部１５は、ステップＳ１３９にて、最後の切替ポイントから記録終了の地点へのリンクを登録する。具体的には、リンク情報生成部１５は、映像ファイルテーブルから、新規映像ＩＤが示す行の記録終了時刻を検出時刻Ｓ３に代入する。次に、リンク情報生成部１５は、位置情報テーブルから、映像ＩＤが新規映像ＩＤと等しく、かつ、取得時刻が検出時刻Ｓ３に最も近い位置情報ＬＳ３を取得する。次に、リンク情報生成部１５は、切替ポイントテーブルの中で使われている既存のポイントＩＤと重ならない、新規ポイントＩＤを生成する。ここでの新規ポイントＩＤは例えばＰ５である。

そして、リンク情報生成部１５は、新規ポイントＩＤ，新規映像ＩＤ，位置情報ＬＳ３緯度，位置情報ＬＳ３経度，位置情報ＬＳ３高度，位置情報ＬＳ３方角，位置情報ＬＳ３取得時刻よりなる切替ポイントを、切替ポイントテーブルに登録する。最後に、リンク情報生成部１５は、リンク情報テーブルに、始点ポイントＩＤとして探索リスト変数Ｌ３［Ｉ３−１］のポイントＩＤを、終点ポイントＩＤとして新規ポイントＩＤを、移動コストとして、切替ポイントＰ４の時刻と時刻Ｔ７との差である１３０よりなるリンク情報を登録して、処理を終了させる。

ところで、切替ポイントＰ２の取得時刻と切替ポイントＰ４の取得時刻との差は７８９となり、この７８９をそのまま移動コストとすると、切替ポイントＰ２と切替ポイントＰ４との間の移動コストが最大となってしまう。リンク情報生成部１５は、距離が５メートル以内で方角が１５度以内であることを示すリンク情報が登録されている２つの切替ポイント間の移動コストを計算する場合には、上記の式（１）に基づいて、切替ポイントＰ２の取得時刻と切替ポイントＰ４の取得時刻との差の逆数を移動コストとする。これにより、切替ポイントＰ２と切替ポイントＰ４との間の移動コストは0.00126となって最小となる。

以上のようにして、リンク情報生成部１５は、複数の切替ポイントを取得時刻の順に互いにリンクさせるリンク情報を生成し、ループ検出部１４によって切替ポイントのペアが存在することが検出された場合には、切替ポイントのペアをリンクさせるリンク情報を生成する。換言すると、リンク情報生成部１５は、１つの映像ファイルＦＬと関連付けられた位置情報列Ｔipを、切替ポイントで区切った区間の集合とみなした有向グラフ関係をリンク情報テーブルに登録する。

図１４に示すフローチャートを用いて、再生部１６の動作の詳細を説明する。図１４において、再生部１６は、ステップＳ１４１にて、携帯端末３からの出発地緯度，出発地経度，目的地緯度，目的地経度を指定した走行映像の再生の要求を待ち受ける。再生部１６は、ステップＳ１４２にて、出発地候補リスト変数Ｌ４，目的地候補リスト変数Ｌ５，出発候補リスト変数Ｌ６を初期化する。

再生部１６は、ステップＳ１４３にて、位置情報テーブルから、出発地緯度と出発地経度から距離閾値β未満の近傍にある位置情報を検索し、出発地候補リスト変数Ｌ４に登録する。再生部１６は、ステップＳ１４４にて、位置情報テーブルから、目的地緯度と目的地経度から距離閾値β未満の近傍にある位置情報を検索し、目的地候補リスト変数Ｌ５に登録する。

再生部１６は、ステップＳ１４５にて、同一の映像ＩＤを有する出発地候補リスト変数Ｌ４内の位置情報Ｉ４と目的地候補リスト変数Ｌ５内の位置情報Ｉ５とのペアがあるか否かを判定する。ペアがあれば（YES）、再生部１６は、処理をステップＳ１４６に移行させ、ペアがなければ（NO）、再生部１６は、処理をステップＳ１４８に移行させる。

再生部１６は、ステップＳ１４６にて、最短時間Ｄ３を算出する。最短時間Ｄ３の算出は式（３）による。式（３）における関数ｆ（ｘ）は、取得時刻の差分を秒単位に変換する関数である。

最短時間Ｄ３＝ｆ（位置情報Ｉ５の取得時刻−位置情報Ｉ４の取得時刻） …（３）
再生部１６は、ステップＳ１４７にて、位置情報Ｉ４，位置情報Ｉ５，最短時間Ｄ３から、再生開始時刻を位置情報Ｉ４の取得時刻、再生終了時刻を位置情報Ｉ５の取得時刻とし、位置情報Ｉ４の映像ＩＤ，位置情報Ｉ４の経度，位置情報Ｉ４の緯度，位置情報Ｉ４の高度，位置情報Ｉ４の方角，再生開始時刻（位置情報Ｉ４の取得時刻），再生終了時刻（位置情報Ｉ５の取得時刻），最短時間（Ｄ３）よりなる出発候補を作成し、出発候補リスト変数Ｌ６に登録する。

再生部１６は、ステップＳ１４８にて、出発候補リスト変数Ｌ６を最短時間の小さい順にソートし、最初の出発候補をルート変数Ｒ１に取り出し、ルート変数Ｒ１の映像ＩＤを映像ＩＤの変数Ｍに登録し、ルート変数Ｒ１の再生開始時刻を再生時刻変数ＰＬＡＹと記憶時刻変数ＰＲＥＶに登録する。

再生部１６は、ステップＳ１４９にて、データベース部１２の映像ファイルテーブルの中の映像ＩＤの変数Ｍが指し示す映像ファイルから、再生時刻変数ＰＬＡＹの指し示す映像フレームＦｍを取り出し、順次携帯端末３へと送信する。送信した映像フレーム数をＮ７とすると、再生時刻変数ＰＬＡＹにＮ７×フレーム秒定数ζが加算される。フレーム秒定数ζは、映像ファイルのフレームレートに依存する。ここでは、一般的な２９．９７フレーム／秒（固定）から換算したζ＝0.03337秒とする。

再生部１６は、ステップＳ１５０にて、再生時刻変数ＰＬＡＹがルート変数Ｒ１の再生終了時刻を上回ったか否かを判定する。上回れば（YES）、再生部１６は処理を終了させ、上回らなければ（NO）、再生部１６は、処理をステップＳ１５１に移行させる。

再生部１６は、ステップＳ１５１にて、リンク情報の分岐を判定する。具体的には、再生部１６は、切替ポイントテーブルを検索し、映像ＩＤが映像ＩＤの変数Ｍと等しく、かつ、取得時刻が記憶時刻変数ＰＲＥＶ以上、かつ、取得時刻が再生時刻変数ＰＬＡＹ未満の切替ポイントが発見できたら、切替ポイント変数ＰVN1に登録する。発見できなければ、切替ポイント変数ＰVN1を空とする。

再生部１６は、ステップＳ１５２にて、記憶時刻変数ＰＲＥＶに再生時刻変数ＰＬＡＹを代入し、分岐候補リスト変数Ｌ７を初期化する。再生部１６は、ステップＳ１５３にて、切替ポイント変数ＰVN1が存在するか存在しないか（空であるか）を判定する。存在すれば（YES）、再生部１６は、処理をステップＳ１５４に移行させ、存在しなければ（NO）、処理をステップＳ１４９に移行させる。

再生部１６は、ステップＳ１５４にて、リンク情報テーブルから、切替ポイントＰVN1のポイントＩＤと始点ポイントＩＤが等しい行を検索し、移動コストが小さい順にソートし、分岐候補リスト変数Ｌ７に追加する。再生部１６は、ステップＳ１５５にて、ループ変数Ｉ６を０に、個数Ｎ６を分岐候補リスト変数Ｌ７のリンク情報の個数に初期化する。

ステップＳ１５６は、リンク情報を逐次処理するループである。再生部１６は、ステップＳ１５６にて、ループ変数Ｉ６を＋１ずつ加算し、ループ変数Ｉ６が個数Ｎ６に達したら処理をステップＳ１４９に移行させる。再生部１６は、ステップＳ１５７にて、切替ポイントテーブルから、分岐候補リスト変数Ｌ７［Ｉ６］の終点ポイントＩＤが指し示す切替ポイントを検索し、切替ポイント変数ＰVN2に代入する。

再生部１６は、ステップＳ１５８にて、切り替えると時刻が過ぎてしまうか否か、即ち、切替ポイント変数ＰVN2の取得時刻が、ルート変数Ｒ１の再生終了時刻を上回っているか否かを判定する。時刻が過ぎれば（YES）、再生部１６は、処理をステップＳ１５６に移行させ、時刻が過ぎなければ（NO）、処理をステップＳ１５９に移行させる。

再生部１６は、ステップＳ１５９にて、再生時刻変数ＰＬＡＹを切替ポイント変数ＰVN2の取得時刻、記憶時刻変数ＰＲＥＶを切替ポイント変数ＰVN2の取得時刻に初期化して、再生スキップ処理を実行して、処理をステップＳ１４９に移行させる。

以上のように、再生部１６は、記録開始の地点から記録終了の地点までの間のいずれかの２つの地点を出発地及び目的地として指定されて、映像ファイルを再生させる要求がなされたときには、目的地が、切替ポイントのペアのうち、取得時刻が後の切替ポイントよりも後の地点であることを条件として、映像ファイルＦＬを次のように再生させる。

再生部１６は、リンク情報生成部１５によって生成されたリンク情報に基づいて、映像ファイルＦＬにおける走行映像の出発地に対応する箇所から切替ポイントのペアのうちの取得時刻が前である一方の切替ポイントに対応する箇所までの再生に続けて、切替ポイントのペアのうちの取得時刻が後である他方の切替ポイントに対応する箇所から目的地に対応する箇所までを再生させる。

図１５を用いて、再生部１６による再生動作の例を説明する。図１５は、図１２のように走行映像を撮影した経路から生成した有向グラフを示している。携帯端末３を所有するユーザ（要求者）によって、図１４のステップＳ１４１にて、矩形にて示す出発地Ｐdepと矩形にて示す目的地Ｐdes1との間の映像を再生させる要求がなされたとする。

出発地Ｐdepと目的地Ｐdes1とが設定されると、図１４のステップＳ１４２〜Ｓ１４８によって、出発地Ｐdepと目的地Ｐdes1とをつなぐ走行映像のうち、最も目的地Ｐdes1に早く到達する映像が選択される。

映像を再生していくと、図１４のステップＳ１５１にて、いずれ再生時刻が切替ポイントＰ１に差し掛かることが判定される。切替ポイントＰ１では、切替ポイントＰ１から切替ポイントＰ２へのリンク情報のみであるので、そのまま再生が継続される。切替ポイントＰ２に差し掛かると、終点ポイントＩＤが切替ポイントＰ３と、終点ポイントＩＤが切替ポイントＰ４の、２つのリンク情報がリストアップされる。

切替ポイントＰ２から切替ポイントＰ４の移動コストＤ４は、式（１）より、単純な取得時刻の差分（秒）よりも小さい値となる。従って、再生部１６は、図１４のステップＳ１５２〜Ｓ１５９によって、巡回経路の走行映像の再生をスキップして再生することができる。

携帯端末３を所有するユーザによって、出発地Ｐdepと目的地Ｐdes2との間の映像を再生する要求がなされたとする。この場合、切替ポイントＰ２から切替ポイントＰ４へと切り替えると、図１４のステップＳ１５８にて、目的地Ｐdes2から求められる再生終了時刻を過ぎてしまうことが判定される。従って、再生部１６は、切替ポイントＰ２から切替ポイントＰ３、切替ポイントＰ３から切替ポイントＰ４を再生する。

図１より分かるように、映像サーバ１には、複数の映像ファイルＦＬが順次蓄積されていく。映像サーバ１に対して、携帯端末３からの出発地及び目的地を指定した走行映像の再生の要求がなされた場合には、映像サーバ１が蓄積されている複数の映像ファイルＦＬのうちから、出発地から目的地までの経路を撮影した映像ファイルＦＬを選択して、上述した再生を実行させればよい。

本実施形態は、カーナビゲーションの際に実写の走行映像を提供するために用いることもできるし、例えば自宅で、出発地から目的地までの経路を車両で走行した場合に見える景色を確認するために用いることもできる。従って、映像情報の再生を要求するのは携帯端末３に限定されるものではなく、家庭に設置されているパーソナルコンピュータであってもよい。

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。本実施形態では、ＧＰＳ衛星４からの電波によって補助情報を得ているが、例えばジャイロによって位置情報と方角情報を得てもよく、電波時計用の電波によって時刻を得てもよい。補助情報の入手の仕方は任意である。本実施形態を、上述した各処理をコンピュータに実行させるコンピュータプログラムとして構成することも可能である。

１ 映像サーバ（映像情報提供装置）
２ａ〜２ｃ ビデオカメラ
３ 携帯端末
４ ＧＰＳ衛星
５ ネットワーク
１１ 受信部
１２ データベース部
１３ 切替ポイント登録部
１４ ループ検出部（切替ポイントペア検出部）
１５ リンク情報生成部
１６ 再生部

Claims (6)

1. 走行する車両から撮影した走行映像の記録開始から記録終了までの映像ファイルと、前記映像ファイルにおける前記走行映像を撮影した複数の地点の位置情報と方角情報と取得時刻とを含む補助情報とを対応付けて蓄積するデータベース部と、
   前記映像ファイルの前記走行映像を画像認識し、予め定めた物体が前記走行映像内に存在していると認識したか否かの物体認識状況の時系列な変化に基づいて、前記走行映像上の時点である切替ポイントを複数登録する切替ポイント登録部と、
   前記切替ポイント登録部によって登録された複数の切替ポイントのうち、前記補助情報に基づいて、同一の地点であり、同一の方角とみなせる切替ポイントのペアを検出する切替ポイントペア検出部と、
   前記複数の切替ポイントを取得時刻の順に互いにリンクさせるリンク情報を生成し、前記切替ポイントペア検出部によって切替ポイントのペアが存在することが検出された場合には、前記切替ポイントのペアをリンクさせるリンク情報を生成するリンク情報生成部と、
   前記記録開始の地点から前記記録終了の地点までの間のいずれかの２つの地点を出発地及び目的地として指定されて、前記映像ファイルを再生させる要求がなされたとき、前記リンク情報生成部によって生成されたリンク情報に基づいて、前記映像ファイルにおける前記走行映像の前記出発地に対応する箇所から前記切替ポイントのペアのうちの取得時刻が前である一方の切替ポイントに対応する箇所までの再生に続けて、前記切替ポイントのペアのうちの取得時刻が後である他方の切替ポイントに対応する箇所から前記目的地に対応する箇所までを再生させる再生部と、
   を備えることを特徴とする映像情報提供装置。
2. 前記再生部は、前記目的地が、前記他方の切替ポイントより後の地点であるとき、前記出発地に対応する箇所から前記一方の切替ポイントに対応する箇所までの再生に続けて、前記他方の切替ポイントに対応する箇所から前記目的地に対応する箇所までを再生させることを特徴とする請求項１記載の映像情報提供装置。
3. 前記切替ポイント登録部は、前記予め定めた物体が所定の回数以上のフレームで存在していると認識され、前記予め定めた物体が前記走行映像から消滅した時点に対応する地点を切替ポイントとして登録することを特徴とする請求項１または２に記載の映像情報提供装置。
4. 前記リンク情報生成部は、前記記録開始の地点から前記複数の切替ポイントのうち取得時刻が最も前の切替ポイントとをリンクさせるリンク情報と、前記複数の切替ポイントのうち取得時刻が最も後の切替ポイントと前記記録終了の地点とをリンクさせるリンク情報を生成することを特徴とする請求項１〜３のいずれか１項に記載の映像情報提供装置。
5. 前記切替ポイント登録部は、車両が走行する車道または車道に隣接する歩道上に固定的に存在する物体を前記予め定めた物体とすることを特徴とする請求項１〜４のいずれか１項に記載の映像情報提供装置。
6. 走行する車両から撮影した走行映像の記録開始から記録終了までの映像ファイルと、前記映像ファイルにおける前記走行映像を撮影した複数の地点の位置情報と方角情報と取得時刻とを含む補助情報とを対応付けてデータベース部に蓄積し、
   前記映像ファイルの前記走行映像を画像認識し、予め定めた物体が前記走行映像内に存在していると認識したか否かの物体認識状況の時系列な変化に基づいて、前記走行映像上の時点である切替ポイントを複数登録し、
   登録された複数の切替ポイントのうち、前記補助情報に基づいて、同一の地点であり、同一の方角とみなせる切替ポイントのペアを検出し、
   前記複数の切替ポイントを取得時刻の順に互いにリンクさせるリンク情報を生成し、前記切替ポイントのペアが存在することが検出された場合には、前記切替ポイントのペアをリンクさせるリンク情報を生成し、
   前記記録開始の地点から前記記録終了の地点までの間のいずれかの２つの地点を出発地及び目的地として指定されて、前記映像ファイルを再生させる要求がなされたとき、前記リンク情報に基づいて、前記映像ファイルにおける前記走行映像の前記出発地に対応する箇所から前記切替ポイントのペアのうちの取得時刻が前である一方の切替ポイントに対応する箇所までの再生に続けて、前記切替ポイントのペアのうちの取得時刻が後である他方の切替ポイントに対応する箇所から前記目的地に対応する箇所までを再生させる
   ことを特徴とする映像情報提供方法。

Images