JP5176605B2 - 映像検索装置 - Google Patents

Description

本発明は、道路、河川などの、合流分岐が生じうる交通路の映像を簡単な操作で検索できる映像検索装置に関する。

このような目的の映像検索システムとして、例えば、特許文献１に記載される「道路・河川等の現況ビデオ検索装置」がある。特許文献１には、道路や河川を走行・航行しながら逐次撮影して得られる上り／下り又は右岸／左岸の映像を使い、道路・河川の基点からの任意のキロ標等の数値により、又は、道路・河川の地点名等の名称により、相応する地点の映像を表示する映像検索システムが、記載されている。
特許第３０９９１０３号公報

従来の映像検索システムは、主として道路・河川の保守管理に使用される。保守管理上、道路の始点（基点）、終点、分岐点、合流点、及びこれらのつながりは、道路ネットッワークとしてデータベース化されており、映像検索システムも、このような道路／河川のデータベースと連携して、使いやすいものである必要がある。

本発明は、道路河川ネットワークとの連携の下で使いやすい映像検索装置を提示することを目的とする。

本発明に係る映像検索装置は、複数の動画ファイルと、当該複数の動画ファイルのそれぞれに付属し、対応する動画ファイルのフレームと撮影位置との対応を記憶する複数の動画索引テーブルと、道路網又は河川網等の、リンクとノードで表現される網に対して、各リンクに対応する動画ファイルとその開始フレーム及び終了フレームを記憶するリンク索引テーブルと、地図上で地点を指定する地点指定手段と、当該地点指定手段で指定される地点に対応するリンクを検索するリンク検索手段と、当該リンク索引テーブルを参照して、当該リンク検索手段で検索されたリンクに対応する動画ファイルとその開始フレーム及び終了フレームを検索する動画ファイル検索手段と、当該動画ファイル検索手段で検索された動画ファイルに付属する動画索引テーブルを参照して、当該地点指定手段で指定された地点に相当する映像フレームを検索する映像フレーム検索手段と、当該動画ファイル検索手段で検索された動画ファイルの、当該映像フレーム検索手段で検索された映像フレーム以降を再生する動画ファイル再生手段とを具備することを特徴とする。

本発明によれば、簡易な操作で、指定点以降のリンクの映像を迅速に再生表示することができる。

以下、図面を参照して、本発明の実施例を詳細に説明する。

本実施例を説明する前に、道路網データベースの記述例を説明する。図５は、高速道路のインターチェンジにおける道路網の模式図を示す。図６は、図５に示す道路網を表現するデータベースの記述例を示す。道路網は、道路の始点（基点）、終点、分岐点又は合流点を示すノードＮ（Ｎ１〜Ｎ１６）と、隣接する２つのノードを接続するリンクＬ（Ｌ１〜Ｌ１６）からなる。各ノードＮ（Ｎ１〜Ｎ１６）の地上座標系での座標は、別のベータベースに記述される。リンクの形状又は座標は、別途、中間点として、又はリンク形状を示す関数として、別途記述されうる。

図１は、本実施例に係る映像検索システムのための動画を収録し、検索のための前処理をする映像データ収集装置の概略構成ブロック図を示す。

映像収集装置１０は、録画のための装置と、録画した動画から検索ためのインデックスを作成する装置からなる。ビデオカメラ１２とＧＰＳ（Global Positioning System）受信機１４を自動車に搭載して、前方を撮影し、かつ自動車位置を３次元計測しながら、対象となる道路（ここでは、高速道路を例にとる）を走行する。ビデオカメラ１２の撮影範囲は、道路際の基点からの距離を表記する距離板、交通標識、及び、道路周囲の行き先指示の掲示板等を含むように設定される。ＧＰＳ受信機１４は、周知の通り、ＧＰＳ衛星からの電波により地上座標系での３次元位置座標を取得する。

動画圧縮装置１６は、ビデオカメラ１２からの撮影映像を周知の動画圧縮方式（例えば、ＭＰＥＧ２又はＨ．２６４等）で圧縮し、動画ファイル１８を生成する。動画圧縮装置１６は動画圧縮と同時に、ＧＰＳ受信機１４から出力される３次元位置データを圧縮映像データに適宜に埋め込む。例えば、３次元位置データを映像のデータの各フレーム又は適当間隔のフレームのメタデータとして埋め込んでも良いし、圧縮映像データに適宜に多重化してもよい。また、時間的に同期していれば、動画ファイル１８とは別の、映像の各フレームと３次元位置とを対応つける別ファイルとしてもよい。標高値が不要な場合、位置データは、経度と緯度の２次元データでもよい。

このように動画と撮影位置を収録した後、オペレータが、再生装置２０を使って、動画ファイル１８を再生する。再生装置２０は、動画ファイル１８に含まれる映像信号と位置データを再生し、映像信号に位置データを重畳して映像モニタ２４に供給する。これにより、オペレータは、撮影場所を映像上で視覚的に確認できる。

再生装置２０はまた、映像モニタ２２に表示している映像フレームのフレーム番号２０ａ、動画ファイル１８上の位置（ファイル位置情報）２０ｂ、及びＧＰＳ受信機１４により計測された位置データ２０ｃを出力し、これらのデータ２０ａ，２０ｂ，２０ｃが、動画索引テーブル２４に書き込まれる。動画索引テーブル２４により、動画ファイル１８の各フレームについて、動画ファイル１８上の位置と撮影位置座標を即座に検出できるようになる。動画索引テーブル２４は、動画ファイル１８に付属するものであり、拡張子部分を除いて、動画ファイル１８と同じファイル名が使用される。図１に示す例では、動画ファイル１８のファイル名をＡ０００１．ｍｏｖとし、動画索引テーブル２４をＡ０００１．ｉｄｘとしている。

再生装置２０から出力されるフレーム番号は、リンク索引テーブル（Ｌｉｎｋ−Ｍｏｖ．ｉｄｘ）２６にも供給されている。リンク索引テーブル２６は、後述する映像検索のための索引となる。リンク索引テーブル２６には、図６に示すような構成の道路網データベース２８が接続し、更に、動画ファイル１８のファイル名が供給されている。オペレータの書き込み指示に従い、リンク索引テーブル２６の相応箇所に再生装置２０からのノード対応フレーム番号、道路網データベース２８からのリンク情報（リンク番号、始点ノード及び終点ノード）、並びに、動画ファイル名等が格納される。

本実施例では、複数のリンクを構成する道路に沿って走行して得られた動画ファイルをリンク毎に分断することなしに、検索に利用するので、道路網の１つのリンクに対して複数の動画ファイルが存在しうる。１つのリンクに対して、複数の動画ファイルのどの動画ファイルを採用するかを示す必要があると共に、複数の動画ファイルからより適切なものを選択できる。また、検索の便宜からは、採用された動画ファイルのどのフレーム部分が対応するかを予めわかるようにしておく必要がある。リンク索引テーブル２６にはそのような関係が記述される。

図２は、図５に示す道路網及び図６に示す道路網データベースに対するリンク索引テーブル２６の構成例を示す。図２では、理解しやすいように、道路網データベース２８に記述されるリンクごとの始点ノード、終点ノード及び属性を、リンク索引テーブル２６にも重複して記述しているが、これらの情報をリンク索引テーブル２６から除外しても良い。必要なときには道路網データベース２８を参照すればよいからである。撮影日は動画ファイルの作成日から取り込まれ、撮影時刻は、撮影の際に各フレームに埋め込まれる時刻データから取り込まれる。開始フレームは、始点ノードを撮影する映像信号のフレームに対応する。終了フレームは、終点ノードを撮影する映像信号のフレームに対応する。開始フレーム及び終了フレームは、ともに、オペレータが、映像モニタ２２の画面上でそれぞれ始点ノード及び終点ノードを視覚的に確認して、指定する。補助的には、道路地図に重ねて、ＧＰＳ受信機１４による位置データが示す位置をアイコン等で表示し、オペレータが、そのアイコンの表示位置でノードを判別するようにしてもよい。

既存の動画圧縮方式では、圧縮率を高めるために、フレーム内符号化とフレーム間予測符号化を併用する。フレーム内符号化で符号化されたフレームは、Ｉピクチャと呼ばれ、フレーム間予測符号化で符号化されたフレームは、片方向予測の場合でＰピクチャ、両方向予測の場合でＢピクチャと呼ばれる。圧縮された動画を伸長する際、Ｉピクチャから伸長を開始する必要がある。そのため、開始フレームについては、本来の始点ノードを示す映像フレームに先行するＩピクチャのフレームを指定しておいてもよい。更には、そのＩピクチャを伸長開始フレームとしつつ、開始フレームから映像表示を開始するようにしてもよい。Ｉピクチャは通常、０．５秒毎に挿入されるので、表示映像の誤差は、せいぜい０．５秒ということになる。

複数の道路に対して上述の処理を繰り返すことで、複数の道路に対する動画を収録でき、検索対象の道路網に対するリンク索引テーブル２６を生成できる。

図３は、複数の動画ファイル１８とそれぞれに付属する動画索引テーブル２４、及びリンク索引テーブル２６を使って、希望するリンクの映像を再生する映像検索装置の概略構成ブロック図を示す。

映像検索装置４０は実際には、コンピュータにより実現される。ＣＰＵ４２は、メモリ４４に格納される映像検索プログラムを実行する。ハードディスク４６には、撮影経路の異なる複数の動画ファイル１８−１〜１８−ｎ、それぞれ動画ファイル１８−１〜１８−ｎに対応する複数の動画索引テーブル２４−１〜２４−ｎ、及び、リンク索引テーブル２６が格納される。

ほかに、地図データ４８と道路網データベース５０が、ハードディスク４６若しくは別の記録媒体に記録されるか、又は通信網を介して利用可能である。道路網データベース５０は、道路網データベース２８と実質的に同じであるが、勿論、道路網データベース２８に対して適宜、必要なデータが補充され、不要なデータが削除されている。

動画伸長装置５２は、指定された動画ファイル１８−１〜１８−ｎの、指定されたフレーム範囲を伸長し、再生映像信号を映像モニタ５４に供給する。

オペレータは、マウス５６により、映像モニタ５４の画面上に表示される地図の任意の道路の任意のリンクを指定できる。オペレータはまた、キーボード５８により、道路名等を入力して、リンクを直接指定できる。

図４は、映像検索装置４０の動作フローチャートを示す。図４を参照して、本実施例の動作を説明する。

ＣＰＵ４２は、地図データ４８の地図を映像モニタ５４に表示する（Ｓ１）。その際、表示される地図上の道路に対して、道路網データベース５０に格納されるリンクとノードの情報を対応付けて、メモリ４４に記憶する。

オペレータが、マウス５６で映像モニタ５４に表示される地図の何れかの道路（即ち、リンク）上の点を指定する（Ｓ２）と、ＣＰＵ４２は、オペレータにより指定された点（指定点）の二次元座標を読み取る。ＣＰＵ４２は、道路網データベース５０を参照して、当該指定点を含むリンク（指定リンク）を特定する（Ｓ３）。指定点が道路から外れている場合、最も近い道路上の点に修正する。

ＣＰＵ４２は、当該指定リンクをリンク索引テーブル２６に照合して、当該指定リンクを撮影する動画ファイルとその開始フレームと終了フレームを特定する（Ｓ４）。

特定された動画ファイルに付属する動画索引テーブルから、その開始フレームから終了フレームの範囲内で、当該指定点の二次元座標に最も近い二次元座標値を持つフレームを検索する（Ｓ５）。

特定された動画ファイルの、検索されたフレームから終了フレームまでを、又はこれに先行するＩピクチャのフレームから終了フレームまでをハードディスク４６から読み出して動画伸長装置５２に供給する（Ｓ６）。動画伸長装置５２は、ハードディスク４６から供給される圧縮映像データを伸長し、再生映像信号を映像モニタ５４に供給する。これにより、オペレータが地図上に指定した点を含むリンクの、指定点以降の動画が、映像モニタ５４の画面上に表示される。

映像モニタ５４の画面上で、地図データの地図と動画を互いに異なるウインドウで同時に表示し、指定リンクを地図上で強調表示することで、道路のリンクと動画との対応を理解しやすくなる。その際、地図上には、再生映像に対応する位置をアイコン等で表示すると、映像の示す位置を容易に把握できる。ＣＰＵ４２は、動画索引テーブル２４に記録される位置データを参照することで、再生映像に対応する二次元位置を知ることができ、映像モニタ５４上で地図に重ねて表示できる。

道路網を例に説明したが、勿論、河川網についても本実施例をそのまま適用できることは明らかである。

特定の説明用の実施例を参照して本発明を説明したが、特許請求の範囲に規定される本発明の技術的範囲を逸脱しないで、上述の実施例に種々の変更・修整を施しうることは、本発明の属する分野の技術者にとって自明であり、このような変更・修整も本発明の技術的範囲に含まれる。

本実施例に係る映像検索システムの映像データ収集装置の概略構成ブロック図を示す。 リンク索引テーブルの一例である。 本実施例の映像検索装置の概略構成ブロック図を示す。 映像検索装置４０の動作フローチャートを示す。 高速道路のインターチェンジにおける道路網の模式図を示す。 図５に示す道路網を表現するデータベースの記述例を示す。

符号の説明

１０：映像収集装置
１２：ビデオカメラ
１４：ＧＰＳ（Global Positioning System）受信機
１６：動画圧縮装置
１８：動画ファイル
２０：再生装置
２０ａ：フレーム番号
２０ｂ：ファイル位置情報
２０ｃ：位置データ
２２：映像モニタ
２４：動画索引テーブル
２６：リンク索引テーブル
２８：道路網データベース
４０：映像検索装置
４２：ＣＰＵ
４４：メモリ
４６：ハードディスク
４８：地図データ
５０：道路網データベース
５２：動画伸長装置
５４：映像モニタ
５６：マウス
５８：キーボード

Claims (1)

1. 複数の動画ファイル（１８）と、
   当該複数の動画ファイルのそれぞれに付属し、対応する動画ファイルのフレームと撮影位置との対応を記憶する複数の動画索引テーブル（２４）と、
   道路網又は河川網等の、リンクとノードで表現される網に対して、各リンクに対応する動画ファイルとその開始フレーム及び終了フレームを記憶するリンク索引テーブル（２６）と、
   地図上で地点を指定する地点指定手段（Ｓ１，Ｓ２）と、
   当該地点指定手段で指定される地点に対応するリンクを検索するリンク検索手段（Ｓ３）と、
   当該リンク索引テーブルを参照して、当該リンク検索手段で検索されたリンクに対応する動画ファイルとその開始フレーム及び終了フレームを検索する動画ファイル検索手段（Ｓ４）と、
   当該動画ファイル検索手段で検索された動画ファイルに付属する動画索引テーブルを参照して、当該地点指定手段で指定された地点に相当する映像フレームを検索する映像フレーム検索手段（Ｓ５）と、
   当該動画ファイル検索手段で検索された動画ファイルの、当該映像フレーム検索手段で検索された映像フレーム以降を再生する動画ファイル再生手段（Ｓ６）
   とを具備することを特徴とする映像検索装置。

Images