JP6028700B2 - 映像連結再生装置、映像連結再生方法、映像連結再生プログラム - Google Patents

Description

本発明は、複数の映像データを繋ぎ合わせて再生する映像連結再生装置及び映像連結再生方法、コンピュータに、複数の映像データを繋ぎ合わせて再生する処理を実行させる映像連結再生プログラムに関する。

車両に搭載したビデオカメラやスチルカメラによって走行中の車外を撮影し、撮影した複数の映像情報を蓄積する映像サーバがある（特許文献１，２参照）。

特開２００２−８１９５１号公報 特開２００３−２０２２３５号公報

映像情報を再生しようとするユーザが、映像サーバに蓄積されている複数の映像情報のうちの１つの映像情報を選択して再生する場合には、再生装置は、ユーザによる指示に従って、複数の映像情報のうちから再生対象の映像情報を読み出して再生すればよい。

しかしながら、ユーザが再生を希望する映像情報が１つの映像情報として蓄積されていない場合がある。この場合、複数の映像データを繋ぎ合わせることによって、ユーザが再生を希望する映像情報とすることができる。

ところが、ユーザが再生しようとする映像情報が第１の映像データと第２の映像データとを組み合わせたものである場合、第１，第２の映像データが全く同じ環境で撮影されることはないため、第１の映像データから第２の映像データへと単純に切り替えると映像が不連続となる。よって、ユーザは、繋ぎ合わせた映像に違和感を覚えてしまう。そこで、複数の映像データを繋ぎ合わせて再生する場合に、ユーザが覚える違和感を小さくすることが求められる。

本発明は、このような要望に対応するため、複数の映像データを繋ぎ合わせて再生する場合に、ユーザが覚える違和感を小さくすることができる映像連結再生装置、映像連結再生方法、映像連結再生プログラムを提供することを目的とする。

本発明は、上述した従来の技術の課題を解決するため、走行する車両に設置されたカメラによって前記車両の外部を撮影した走行映像を示す複数の映像情報の中から、繋ぎ合わせて再生する対象として２つの映像情報を選択する映像選択部と、前記２つの映像情報それぞれと対応付けられており、それぞれの映像情報の走行映像を撮影した複数の地点の位置を示す位置情報と、前記複数の地点それぞれで前記カメラが向いている方角を示す方角情報とを含む測位関連情報を取得する測位関連情報取得部と、前記２つの映像情報の前記測位関連情報を比較することにより、同一の道路を同一の方向に走行している並走区間に含まれる複数の並走地点を検出する並走地点検出部と、前記２つの映像情報の映像データを構成する映像フレームであり、前記並走地点に対応する映像フレームと、前記映像フレームの前または後の映像フレームとの映像変化量を算出する映像変化量算出部と、前記映像変化量算出部によって算出された映像変化量に基づいて１つの並走地点を選択し、選択された並走地点を前記２つの映像情報の映像データを繋ぎ合わせる接続点として決定する接続点決定部と、前記接続点決定部によって決定された接続点で前記２つの映像情報の映像データを繋ぎ合わせるよう再生する映像再生部とを備えることを特徴とする映像連結再生装置を提供する。

また、本発明は、上述した従来の技術の課題を解決するため、走行する車両に設置されたカメラによって前記車両の外部を撮影した走行映像を示す複数の映像情報の中から、繋ぎ合わせて再生する対象として２つの映像情報を選択し、前記２つの映像情報それぞれと対応付けられており、それぞれの映像情報の走行映像を撮影した複数の地点の位置を示す位置情報と、前記複数の地点それぞれで前記カメラが向いている方角を示す方角情報とを含む測位関連情報を取得し、前記２つの映像情報の前記測位関連情報を比較することにより、同一の道路を同一の方向に走行している並走区間に含まれる複数の並走地点を検出し、前記２つの映像情報の映像データを構成する映像フレームであり、前記並走地点に対応する映像フレームと、前記映像フレームの前または後の映像フレームとの映像変化量を算出し、算出された映像変化量に基づいて１つの並走地点を選択し、選択された並走地点を前記２つの映像情報の映像データを繋ぎ合わせる接続点として決定し、決定された接続点で前記２つの映像情報の映像データを繋ぎ合わせるよう再生することを特徴とする映像連結再生方法を提供する。

さらに、本発明は、上述した従来の技術の課題を解決するため、コンピュータに、走行する車両に設置されたカメラによって前記車両の外部を撮影した走行映像を示す複数の映像情報の中から、繋ぎ合わせて再生する対象として２つの映像情報が選択されたとき、前記２つの映像情報それぞれと対応付けられており、それぞれの映像情報の走行映像を撮影した複数の地点の位置を示す位置情報と、前記複数の地点それぞれで前記カメラが向いている方角を示す方角情報とを含む測位関連情報を取得するステップと、前記２つの映像情報の前記測位関連情報を比較することにより、同一の道路を同一の方向に走行している並走区間に含まれる複数の並走地点を検出するステップと、前記２つの映像情報の映像データを構成する映像フレームであり、前記並走地点に対応する映像フレームと、前記映像フレームの前または後の映像フレームとの映像変化量を算出するステップと、算出された映像変化量に基づいて１つの並走地点を選択し、選択された並走地点を前記２つの映像情報の映像データを繋ぎ合わせる接続点として決定するステップと、決定された接続点で前記２つの映像情報の映像データを繋ぎ合わせるよう再生するステップとを実行させることを特徴とする映像連結再生プログラムを提供する。

本発明の映像連結再生装置、映像連結再生方法、映像連結再生プログラムによれば、複数の映像データを繋ぎ合わせて再生する場合に、ユーザが覚える違和感を小さくすることができる。

一実施形態の映像連結再生装置を示すブロック図である。 測位関連情報の例 表示部に表示する映像リストの例を示す図である。 表示部に表示する地図画像の例を示す図である。 ２つの車両が並走地点を有して走行する例を示す図である。 ２つの車両が並走地点を有さず走行する例を示す図である。 図１中の並走地点検出部１０３における並走地点の検出処理を示すフローチャートである。 並走地点リストの一例を示す図である。 図１中の接続候補点抽出部１０４における接続候補点の抽出処理を示すフローチャートである。 接続候補点抽出部１０４によって使用可／不可フラグを追記した状態の並走地点リストを示す図である。 映像の変化が小さい走行映像の一例を示す図である。 図１中の映像変化量算出部１０５における映像変化量の算出処理を示すフローチャートである。 映像変化量リストの一例を示す図である。 一実施形態の映像連結再生装置、映像連結再生方法、映像連結再生プログラムを説明するためのフローチャートである。

以下、一実施形態の映像連結再生装置、映像連結再生方法、映像連結再生プログラムについて、添付図面を参照して説明する。図１において、映像連結再生装置１００は、映像格納部２００とインターネット等のネットワークによって接続されている。映像連結再生装置１００と映像格納部２００とが直接、接続されていてもよい。

映像連結再生装置１００には、キーボード，マウス，タッチパネル等の任意の入力部３００と、液晶表示装置等の任意の表示部４００とが接続されている。入力部３００がタッチパネルであれば、入力部３００は表示部４００と一体化される。

映像格納部２００には、複数の映像情報と、それぞれの映像情報に対応する測位関連情報とが格納されている。映像格納部２００は、映像連結再生装置１００に対する映像サーバとして機能する。

路線バス，タクシー，自家用車等の複数の車両に、ＧＰＳ衛星から送信される電波を受信する受信部を搭載したビデオカメラが設置されている。それぞれのビデオカメラは車両の外部を撮影する。ビデオカメラは、例えば、車両前方の車両が走行する道路を撮影する。ここでは動画像を撮影するのに好適なビデオカメラとしたが、動画像撮影機能を有するスチルカメラであってもよい。

ビデオカメラは、撮影した走行映像の映像データを、走行映像を撮影した地点の位置を示す位置情報及びビデオカメラ（即ち、車両）が向いている方角を示す方角情報と、走行映像を取得した時刻情報等に関連付けて、ネットワークを介して映像格納部２００に送信する。

走行映像を撮影した地点の位置情報と方角情報と時刻情報等を測位関連情報と称することとする。測位関連情報の詳細については後述する。映像格納部２００は、複数のビデオカメラから送信された、測位関連情報と関連付けられた複数の映像データ（映像情報）を蓄積する。

映像格納部２００は、映像情報格納部２０１と、測位関連情報格納部２０２とを有する。映像格納部２００は、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ、ハードディスク・ドライブ、光ディスク等の任意の記憶装置でよい。

映像情報格納部２０１は、走行映像の映像データと、それぞれの映像データを一意に識別するための映像ＩＤと、映像データの書誌情報を表すメタデータとを、互いに関連付けて記憶する。映像ＩＤと映像データとメタデータとの全体を映像情報と称することとする。

メタデータは、撮影日時を示す情報、撮影時間、撮影機器（カメラ）に関する情報、動画の品質情報、ファイル形式等を含む。予めビデオカメラを設置した車両の車種を設定しておき、メタデータに車種の情報を含ませてもよい。メタデータは、Ｅｘｉｆ（Exchange Image File Format）と称されるフォーマットで映像情報内に書き込まれていてもよい。

測位関連情報格納部２０２は、測位関連情報ＩＤと、映像ＩＤと、測位開始時刻と、測位データとを、互いに関連付けて記憶する。測位データは、測位データＩＤと、それぞれの測位データを測位した測位時刻と、緯度及び経度よりなる測位点（位置情報）と、車両の速度と、撮影方向（方角情報）とを含む。これらの情報の全体を測位関連情報と称することとする。

測位関連情報ＩＤは、それぞれの測位関連情報を一意に識別するための識別子である。ビデオカメラを設置した車両が道路を走行すると、車両の進行に伴って測位データが順次得られる。よって、１つの測位関連情報ＩＤに対して、複数の測位データが対応付けられることになる。測位データＩＤは、それぞれの測位データを一意に識別するための識別子である。

測位データは、例えば０．５〜３秒間隔で得られる。測位データは、等間隔で得られるとは限らない。測位データは、映像データのフレームの間隔よりも疎らである。

車両の速度は、一例として、ＧＰＳの電波の変化を検出することによって算出することができる。車両の車速パルスに基づいて車両の速度を算出してもよい。撮影方向は、本実施形態においては、北を０度とし、時計回りに１周を３６０度に分割した数値で示す。北以外を０度としてもよい。撮影方向を、弧度法を用いて表現してもよい。

図２は、以上説明した測位関連情報の例である。図２に示すような測位関連情報が、測位関連情報格納部２０２に記憶されている。図２において、測位関連情報ＩＤが測位関連情報１である測位関連情報は、映像ＩＤが映像１である映像情報に関する測位関連情報である。測位関連情報１で示す測位関連情報は、２０１３年９月１日、１５時００分００秒に測位を開始した情報である。

測位関連情報１で示す測位関連情報は、測位データＩＤが、測位データ１１，１２…なる複数の測位データを含む。測位データ１１の測位データは、測位時刻が２０１３年９月１日、１５時００分００秒であり、測位開始時刻と一致する。

測位点は緯度及び経度で示されている。測位データ１１の測位データでは、東経139.611543、北緯35.464917である。測位データ１１の測位データでは、速度は３０ｋｍ／ｈであり、撮影方向は９０度である。撮影方向９０度は、東向きに撮影したことを示す。

図１に示す映像連結再生装置１００は、映像格納部２００に格納されている複数の映像情報（映像データ）の１または複数を選択して再生する。映像連結再生装置１００は、１つの映像データを選択した場合には、１つの映像データをそのまま再生する。映像連結再生装置１００は、複数の映像データを選択した場合には、以下の構成及び動作によって、複数の映像データを繋ぎ合わせて再生する。

映像連結再生装置１００は、映像選択部１０１，測位関連情報取得部１０２，並走地点検出部１０３，接続候補点抽出部１０４，映像変化量算出部１０５，接続点決定部１０６，映像再生部１０７を備える。映像選択部１０１は、映像リスト生成部101Lと地図画像生成部101mとを有する。

映像連結再生装置１００は、ハードウェアで構成してもよく、ソフトウェア（コンピュータプログラム）で構成してもよい。ハードウェアとソフトウェアとを混在させて構成してもよい。映像連結再生装置１００を、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路で構成してもよい。

映像連結再生装置１００をコンピュータプログラム（映像連結再生プログラム）で構成する場合には、映像連結再生装置１００は、映像連結再生プログラムを格納するメモリ、各種のデータを記憶する作業用メモリ、映像連結再生プログラムを実行するＣＰＵ（Central Processing Unit）またはＭＰＵ（Micro Processing Unit）で構成することができる。

入力部３００によって２つの映像データを選択し、映像連結再生装置１００が、２つの映像データを繋ぎ合わせて再生する場合を例として説明する。入力部３００によって３つ以上の映像データを選択して再生する場合には、３つ以上の映像データのうちの連結させる２つの映像データを、以下に説明する映像連結再生方法で繋ぎ合わせて再生すればよい。

映像選択部１０１の映像リスト生成部101Lは、測位関連情報格納部２０２より測位関連情報を読み出し、映像情報格納部２０１より映像データの撮影時間を読み出す。映像リスト生成部101Lは、図３に示すような、選択可能な映像データの映像リスト１１１を生成する。映像リスト１１１は、表示部４００に表示される。

映像リスト生成部101Lは、映像リスト１１１に記載する情報を映像格納部２００より読み出せばよい。映像リスト１１１に記載する情報は、図３に示す情報に限定されない。映像データを選択するために必要な情報を適宜選択して、映像リスト１１１に記載すればよい。

図３に示す映像リスト１１１は、映像１〜３の３つの選択枠112a〜112cを有する。選択枠112a〜112cは、再生対象として選択する場合に入力部３００によってチェックするチェック欄113a〜113cを有する。

図３に示す例では、チェック欄113aにチェックすることによって、映像１が１つ目の再生対象の映像として選択され、チェック欄113cにチェックすることによって、映像３が２つ目の再生対象の映像として選択されている。チェック欄113a，113c内の数字１，２は再生順を示す。

入力部３００によって決定ボタン１１４が押下（操作）されると、映像１，３が再生対象の映像として決定される。入力部３００によってクリアボタン１１５が押下（操作）されると、映像１，３の選択が解除される。

図３に示す映像リスト１１１によって再生対象の映像を選択する場合には、地図画像生成部101mは、地図データを用いて、図４に示すような地図画像１１６を生成して表示部４００に表示させることが好ましい。地図画像１１６には、映像１〜３がそれぞれどの道路をどの方向に走行した走行映像であるかを示すルート画像117a〜117cが表示されている。

映像を選択しようとするユーザが、例えば、駅から病院への経路の走行映像を確認したいとする。図４に示す例では、駅から病院へと向かう経路そのものを撮影した走行映像は存在しない。しかしながら、ユーザは、映像１と映像３とを繋ぎ合わせれば、駅から病院へと向かう経路の走行映像を再生することができることを認識する。

そこで、ユーザは、図３の映像リスト１１１のチェック欄113a，113cを順にチェックして、映像１，３を再生対象の映像として選択すればよい。

図３，図４に示す映像データの選択方法は単なる一例であり、図３，図４に示す映像データの選択方法に限定されるものではない。

以上のようにして、入力部３００によって映像１，３を選択する操作がなされると、映像選択部１０１が映像１，３を選択する。映像選択部１０１は、選択した映像データの映像ＩＤを測位関連情報取得部１０２に通知する。ここでは、映像選択部１０１は、測位関連情報取得部１０２に映像ＩＤとして映像１，３を通知する。

測位関連情報取得部１０２は、通知された映像ＩＤに対応する測位関連情報を測位関連情報格納部２０２より取得する。ここでは、測位関連情報取得部１０２は、図２に示す映像１の測位関連情報１と、図示していない映像３の測位関連情報３を取得する。

並走地点検出部１０３には、測位関連情報取得部１０２が取得した映像１の測位関連情報１と映像３の測位関連情報３とが入力される。並走地点検出部１０３は、２つの測位関連情報を比較して、同一の道路を同一の方向に走行している並走区間に含まれる並走地点を検出する。

図５は、２つの車両が並走地点を有して走行する例を示す。図５において、車両Ｃ１は、道路ＲＤ１を北向きに直進する。車両Ｃ２は、道路ＲＤ１を北向きに走行し、交差点ＩＣ12で右折して道路ＲＤ２を走行する。この場合、破線の楕円で囲んだ部分が並走区間Ｒｓｓである。並走地点検出部１０３は、並走区間Ｒｓｓに含まれる測位点を並走地点として検出する。

図６は、２つの車両が並走地点を有さず走行する例を示す。図６において、車両Ｃ３は、道路ＲＤ１を北向きに直進する。車両Ｃ４は、道路ＲＤ１を南向きに直進する。車両Ｃ３，Ｃ４は、同じ道路ＲＤ１を走行しているものの、互いに異なる方向に進行している。このような場合、並走地点検出部１０３は、並走地点を検出しない。

図７に示すフローチャートを用いて、並走地点検出部１０３における並走地点の検出処理を説明する。図７においては、映像１の測位関連情報１を測位関連情報Ａ、映像３の測位関連情報３を測位関連情報Ｂと一般化して説明する。

図７において、並走地点検出部１０３は、ステップＳ301にて、測位関連情報Ａの測位データ数をＭとして、ループ変数ｍの初期値を１、増分を１、終了値をＭとするループＸを開始する。並走地点検出部１０３は、ステップＳ302にて、測位関連情報Ａの複数の測位データから、ｍ番目の測位データを選択する。ここでのｍは１であるから、並走地点検出部１０３は１番目の測位データを選択する。

並走地点検出部１０３は、ステップＳ303にて、ステップＳ302にて選択した測位データの測位点と最も近い測位点を有する測位関連情報Ｂの測位データを選択する。

並走地点検出部１０３は、ステップＳ304にて、ステップＳ302にて選択した測位データの測位点と、ステップＳ303にて選択した測位データの測位点との距離が所定値以下であるか否かを判定する。並走地点検出部１０３は、所定値以下であれば（YES）、処理をステップＳ305に移行させ、所定値以下でなければ（NO）、処理をステップＳ307に移行させる。

ステップＳ304は、測位関連情報Ａ，Ｂが同じ道路を走行する走行映像であるか否かを判定するための処理である。判定に用いる所定値を、道路の幅員に応じて設定することが好ましい。所定値を、車両の速度やＧＰＳの精度に応じて変動させてもよい。

並走地点検出部１０３は、ステップＳ305にて、撮影方向がほぼ同一であるか否かを判定する。ステップＳ302にて選択した測位データの撮影方向をθＡ、ステップＳ303にて選択した測位データの撮影方向をθＢとする。並走地点検出部１０３は、次の式（１）を満たすか否かによって、撮影方向がほぼ同一であるか否かを判定する。

｜θＡ−θＢ｜＞３６０−θｅまたは｜θＡ−θＢ｜＜θｅ …（１）

式（１）におけるθｅは、撮影方向を同一とみなす角度幅を示す所定値である。例えばθｅを１０とすると、撮影方向の差が±１０°の範囲に収まれば、撮影方向を同一とみなす。

また例えばθＡ＝３５０、θｅ＝２０のときは、θＢが ３３０＜θＢ＜３６０ のとき、 ｜θＡ−θＢ｜＜θｅ を満たす。θＢが ０≦θＢ＜１０ のとき、 ｜θＡ−θＢ｜＜θｅ を満たす。つまり、式（１）を満たす条件は、３３０＜θＢ＜３６０または０≦θＢ＜１０であり、撮影方向の差が±２０°の範囲の範囲に収まれば、撮影方向を同一とみなす。

並走地点検出部１０３は、撮影方向がほぼ同一であれば（YES）、処理をステップＳ306に移行させ、撮影方向がほぼ同一でなければ（NO）、処理をステップＳ307に移行させる。

並走地点検出部１０３は、ステップＳ306にて、ステップＳ302にて選択した測位データと、ステップＳ303にて選択した測位データとを組にして、並走地点リストに登録する。並走地点検出部１０３は、ステップＳ306の後、処理をステップＳ307に移行させる。

図８は、並走地点リストの一例である。並走地点リストには、測位関連情報Ａ，Ｂの測位データの測位データＩＤを組にして記憶する。図８に示すように、それぞれの測位データＩＤの組には、並走地点ＩＤを設定する。並走地点ＩＤは、それぞれの並走地点を一意に識別するための識別子である。

図８に示す並走地点リストにおいて、測位関連情報Ａの測位データＩＤは、測位関連情報１に含まれる測位データの測位データＩＤであり、測位関連情報Ｂの測位データＩＤは、測位関連情報３に含まれる測位データの測位データＩＤである。

図７に戻り、並走地点検出部１０３は、ステップＳ307にて、ループＸが終了条件を満たすか否かを判定する。終了条件を満たさなければ、ループ変数ｍを１増加させて、ステップＳ302〜Ｓ307を繰り返す。ループＸが終了条件を満たせば、並走地点検出部１０３における測位関連情報Ａと測位関連情報Ｂとの並走地点の検出が完了したということであり、処理を終了させる。

以上の並走地点検出部１０３における並走地点の検出処理が終了して、並走地点リストに１つの並走地点も登録されなかったら、測位関連情報Ａを有する映像データと測位関連情報Ｂを有する映像データとを繋ぎ合わせることができないということである。この場合、表示部４００に、選択した２つの映像を繋ぎ合わせることができない旨のメッセージを表示させればよい。

図１に戻り、接続候補点抽出部１０４は、並走地点リストに登録された並走地点の中から、測位関連情報Ａを有する映像データと測位関連情報Ｂを有する映像データとを繋ぎ合わせる接続点の候補である接続候補点を抽出する。接続候補点抽出部１０４は、２つの異なる映像を繋ぎ合わせる接続点としては適切でない測位点を含む並走地点を除外して、残りの並走地点を接続候補点とする。

具体的には、接続候補点抽出部１０４は、車両の速度が所定の速度以下の低速度である測位データを除外する。停車時や低速走行時の走行映像と他の走行映像とを繋ぎ合わせると、違和感を与えやすい。よって、所定速度以下の走行映像の測位データを除外することが好ましい。

また、接続候補点抽出部１０４は、車両が右左折等でカーブ走行しているときの測位データを除外する。カーブ走行では、２台の車両の角度や回転半径にずれが生じやすいため、カーブ走行時の走行映像とを繋ぎ合わせると、違和感を与えやすい。よって、カーブ走行しているときの走行映像の測位データを除外することが好ましい。

図９に示すフローチャートを用いて、接続候補点抽出部１０４における接続候補点の抽出処理を説明する。接続候補点抽出部１０４は、ステップＳ401にて、並走地点リストに登録された並走地点数をＮとして、ループ変数ｎの初期値を１、増分を１、終了値をＮとするループＹを開始する。

接続候補点抽出部１０４は、ステップＳ402にて、並走地点リストに登録されたｎ番目の並走地点を選択する。ここでのｎは１であるから、接続候補点抽出部１０４は１番目の並走地点である並走地点１の２つの測位データＩＤを読み出す。これにより、測位関連情報Ａの測位データＩＤの測位データと、測位関連情報Ｂの測位データＩＤの測位データとが読み出される。

接続候補点抽出部１０４は、ステップＳ403にて、撮影方向の角度変化量を算出する。接続候補点抽出部１０４は、ステップＳ402にて読み出した測位データが含まれる同じ測位関連情報ＩＤの測位データの中から、数秒先（例えば５秒）の測位データを取得する。接続候補点抽出部１０４は、読み出した測位データＩＤの測位データと数秒先測位データとの２つの測位データの撮影方向の差を計算する。

接続候補点抽出部１０４は、測位関連情報Ａ，Ｂのそれぞれで撮影方向の角度変化量を算出する。

接続候補点抽出部１０４は、ステップＳ404にて、撮影方向の角度変化量が所定値以上か否かを判定する。ステップＳ404は、カーブ走行時の走行映像であるか否かを判定するための処理である。角度変化量が所定値は、４５°〜６０°程度の値がよい。

接続候補点抽出部１０４は、測位関連情報Ａ，Ｂ双方の撮影方向の角度変化量が所定値以上でなければ（NO）、処理をステップＳ405に移行させる。接続候補点抽出部１０４は、測位関連情報Ａ，Ｂのいずれか一方でも撮影方向の角度変化量が所定値以上であれば（YES）、処理をステップＳ406に移行させる。

接続候補点抽出部１０４は、ステップＳ405にて、ステップＳ402にて読み出された２つの測位データが示す走行速度が所定の速度以下であるか否かを判定する。接続候補点抽出部１０４は、２つの測位データが示す走行速度のいずれか一方でも所定の速度以下であれば（YES）、処理をステップＳ406に移行させ、測位データが示す走行速度の双方が所定の速度以下でなければ（NO）、処理をステップＳ407に移行させる。

接続候補点抽出部１０４は、ステップＳ406にて、並走地点ｎを接続候補点としては使用しない使用不可に設定して、処理をステップＳ407に移行させる。ステップＳ406における使用不可の設定とは、並走地点ｎを削除することを含む。

接続候補点抽出部１０４は、ステップＳ407にて、ループＹが終了条件を満たすか否かを判定する。終了条件を満たさなければ、ループ変数ｎを１増加させて、ステップＳ402〜Ｓ407を繰り返す。ループＹが終了条件を満たせば、接続候補点抽出部１０４における接続候補点の抽出が完了したということであり、処理を終了させる。

ところで、ステップＳ406の処理において、接続候補点抽出部１０４は、図１０に示すように、図８の並走地点リストに対して使用可と使用不可とを識別するための使用可／不可フラグを追記することが好ましい。

図１０に示す例では、使用可／不可フラグ“００”は使用可であることを示す。使用可／不可フラグ“０１”は、カーブ走行しているときの走行映像の測位データであることを理由として使用不可であることを示す。使用可／不可フラグ“１０”は、所定速度以下の走行映像の測位データであることを理由として使用不可であることを示す。

使用可／不可フラグ“１１”は、カーブ走行しており、かつ、所定速度以下の走行映像の測位データであることを理由として使用不可であることを示す。

図９では、所定速度以下の走行映像の測位データを含む並走地点ｎと、カーブ走行しているときの走行映像の測位データを含む並走地点ｎとの双方を使用不可とする比較的厳しい条件で接続候補点を抽出する。例えば、全ての並走地点ｎが使用不可となって接続候補点とする並走地点を抽出できなかった場合に、多少の違和感があっても２つの映像を繋ぎ合わせたい場合もある。

並走地点リストから並走地点ｎを削除せず、使用不可とした理由を含む使用可／不可フラグとすれば、並走地点ｎを一旦使用不可としても、条件を緩和することによって、新たに接続候補点とする並走地点を抽出することが可能となる。例えば、所定速度以下の走行映像の測位データを含む並走地点ｎを使用不可の条件から外す場合には、使用可／不可フラグ“１０”の並走地点ｎの中から並走地点を抽出することが可能となる。

以上のように、接続候補点抽出部１０４は、車両の速度が所定の速度以下の低速度である測位データと、車両が右左折等でカーブ走行しているときの測位データとを除外して、残りの測位データの測位点を接続候補点とする。接続候補点抽出部１０４を設けることが好ましいが、走行映像を繋ぎ合わせたときの多少の違和感を許容する場合には、接続候補点抽出部１０４を省略してもよい。

接続候補点抽出部１０４は、車両の速度が所定の速度以下の低速度である測位データと、車両が右左折等でカーブ走行しているときの測位データとのいずれか一方のみを除外して、残りの測位データの測位点を接続候補点とすることも可能である。

図１に戻り、映像変化量算出部１０５は、接続候補点抽出部１０４で抽出したそれぞれの接続候補点における映像フレームの変化の大きさである映像変化量を算出する。本実施形態では、一例として、オプティカルフローの大きさの総和を計算することによって映像変化量を算出する。オプティカルフローとは、２枚の画像（２つの映像フレーム）の中で、物体がどのように動いたかをベクトルで表す物理量である。

映像変化量を算出する理由を説明する。図１１は、走行映像の一例を示している。図１１に示す走行映像では、自車両と前方車両Ｃ１０との距離が近く、前方車両Ｃ１０の映像が映像フレーム内で大きな面積を占めている。１つの走行映像から他の走行映像へと切り替えるとき、他の走行映像においても同じ車両が同じ大きさで撮影されている可能性はほとんどない。

よって、図１１に示すような走行映像から他の走行映像へと切り替えると、前方車両Ｃ１０の映像が突然に消えたり、車種や大きさが異なる他の車両へと映像が変化したりする。図１１に示す走行映像のように前方車両Ｃ１０が大きく撮影されている地点は映像を切り替える地点として適していない。

自車両と前方車両Ｃ１０との距離が離れていれば、走行映像を切り替えても、違いを判別しにくい。前方車両Ｃ１０が小さく撮影されているか、前方車両Ｃ１０が存在しない地点は映像を切り替える地点として適している。

前方車両Ｃ１０が大きく撮影されている映像は、一般的に映像の変化が小さい。そこで、映像変化量算出部１０５は、映像を切り替える地点として適しているか適していないかを判別するために映像変化量を算出する。

図１２に示すフローチャートを用いて、映像変化量算出部１０５における映像変化量の算出処理を説明する。映像変化量算出部１０５は、ステップＳ501にて、並走地点リストに登録されており、接続候補点として抽出された並走地点数をＮ’として、ループ変数ｊの初期値を１、増分を１、終了値をＮ’とするループＺを開始する。

図１０に示す並走地点リストでは、使用可／不可フラグが“００”の並走地点が接続候補点である。

映像変化量算出部１０５は、ステップＳ502にて、ｊ行目の並走地点の２つの測位データＩＤに基づき、測位関連情報格納部２０２より測位関連情報Ａ，Ｂの測位データを読み出す。

映像変化量算出部１０５は、ステップＳ503にて、測位関連情報Ａ，Ｂそれぞれの映像データにおいて、読み出した測位データに対応する映像フレームと、その前または後の映像フレームとのオプティカルフローを算出する。

測位データの測位時刻と、測位関連情報Ａ，Ｂの測位開始時刻との時間差分をとれば、読み出した測位データに対応する映像フレームを選択することができる。但し、測位データのタイミングと映像フレームのタイミングとは必ずしも一致しない。そこで、映像変化量算出部１０５は、読み出した測位データのタイミングと最も近い映像フレームを、対応する映像フレームとして選択すればよい。

映像変化量算出部１０５は、ステップＳ504にて、オプティカルフローの大きさの総和を求めることにより、映像変化量を算出する。映像フレームを水平方向にＣ、垂直方向にＲのＣ×Ｒのブロックに分割して、それぞれオプティカルフローを算出したとする。この場合、オプティカルフローは行数Ｒ、列数Ｃの速度ベクトルの行列となる。

オプティカルフローの大きさの総和（映像変化量）Ｖは、次の式（２）で求められる。式（２）において、ａ_ｉｋは１つのオプティカルフローであり、ｉは列番号、ｋは行番号である。

映像変化量算出部１０５は、ステップＳ505にて、ステップＳ504にて算出した映像変化量を映像変化量リストに記録する。映像変化量リストは、接続候補点として抽出した並走地点リストの測位データごとの映像変化量を追記したリストである。

映像変化量算出部１０５は、ステップＳ506にて、ループＺが終了条件を満たすか否かを判定する。終了条件を満たさなければ、ループ変数ｊを１増加させて、ステップＳ502〜Ｓ506を繰り返す。ループＺが終了条件を満たせば、映像変化量算出部１０５における映像変化量の算出が完了したということであり、処理を終了させる。

図１３は、映像変化量リストの一例である。図１３に示す映像変化量リストでは、図１０に示す並走地点リストの並走地点のうち、接続候補点として抽出された並走地点のみで構成されている。図１０に示す並走地点リストと図１３に示す映像変化量リストとを別々に作成してもよいし、図１０に示す並走地点リストそのものに映像変化量を追記して、並走地点リストを映像変化量リストに置き換えてもよい。

映像変化量Ｖを、測位データが示す車両の速度に基づいて重み付けしてもよい。重み付けした映像変化量Ｖｗ、車両の速度をｖ、車両の速度の平均値をｖaveとすると、映像変化量Ｖｗは次の式（３）で求められる。

Ｖｗ＝（ｖ／ｖave）×Ｖ …（３）

例えば、速度ｖが５０ｋｍ／ｈ、平均値ｖaveが４０ｋｍ／ｈ、映像変化量Ｖが3000であるとき、映像変化量Ｖｗは、（５０／４０）×3000より3750となる。速度が速い方が映像の変化が大きくなる。よって、速度が速いほど映像変化量Ｖがより大きくなるように重み付けするのがよい。

接続点決定部１０６は、映像変化量算出部１０５で作成した映像変化量リストの中から、映像変化量が最も大きい並走地点を接続点として決定する。接続点決定部１０６は、測位関連情報Ａの映像変化量と測位関連情報Ｂの映像変化量とを加算し、加算値が最も大きい並走地点を接続点とする。

映像変化量が最も大きい並走地点を接続点とすれば、映像を切り替えたときの違和感が最も少なく、映像を切り替える地点として最も適している地点を接続点として選択したということである。

図１３の映像変化量リストでは、並走地点２の合計の映像変化量が12000で最も大きく、並走地点２が接続点として決定される。

接続点決定部１０６は、接続点として決定した並走地点の測位関連情報Ａの測位データに対応する映像の映像フレームの時間位置と、測位関連情報Ｂの測位データに対応する映像の映像フレームの時間位置とを求める。映像フレームの時間位置は、測位データの測位時刻と測位開始時刻との時間差分をとることにより求めることができる。

接続点決定部１０６は、２つの映像の映像フレームの時間位置を、時間位置としての接続点を示す情報として映像再生部１０７に入力する。映像再生部１０７は、映像情報格納部２０１より、測位関連情報Ａの走行映像を、最初から接続点の映像フレームまで読み出して再生する。映像再生部１０７は、これに続けて、映像情報格納部２０１より、測位関連情報Ｂの走行映像における接続点以降の映像フレームを読み出して再生する。

以上のようにして、２つの走行映像が接続点で繋ぎ合わされて連続的に再生される。

図１４に示すフローチャートを用いて、映像連結再生装置１００の全体的な動作を説明する。図１４に示すフローチャートは、映像連結再生方法による全体的な手順、コンピュータに、映像連結再生プログラムで実行させる全体的な処理に相当する。

図１４において、映像選択部１０１は、ステップＳ1001にて、ユーザに２つの走行映像を選択させる。測位関連情報取得部１０２は、ステップＳ1002にて、選択された走行映像に対応する測位関連情報を測位関連情報格納部２０２より取得する。

並走地点検出部１０３は、ステップＳ1003にて、ステップＳ1002で取得した測位関連情報に基づいて並走地点を検出して、並走地点リストを作成する。接続候補点抽出部１０４は、ステップＳ1004にて、並走地点リストから映像を切り替える地点として適していない並走地点を除外して、残りを接続候補点として抽出する。

映像変化量算出部１０５は、ステップＳ1005にて、接続候補点の映像変化量を算出する。接続候補点の映像変化量は、接続候補点に対応する映像フレームと、その前または後の映像フレームとの映像の変化量で算出すればよい。

接続点決定部１０６は、ステップＳ1006にて、映像変化量に基づいて１つの並走地点を選択し、選択した並走地点を２つの走行映像の映像データを繋ぎ合わせる接続点として決定する。映像再生部１０７は、ステップＳ1007にて、ステップＳ1006で決定した接続点で２つの走行映像の映像データを繋ぎ合わせるよう再生する。

以上説明した本実施形態の映像連結再生装置１００、本実施形態の映像連結再生方法及び映像連結再生プログラムによれば、複数の映像データを繋ぎ合わせて再生する場合に、ユーザが覚える違和感を小さくすることができる。

映像再生部１０７（ステップＳ1007）においては、１つの映像データを接続点まで再生して、その後、もう１つの映像データを接続点から再生することによって、２つの映像データを繋ぎ合わせて再生する。２つの映像データを繋ぎ合わせた状態の新たな映像ファイルを生成し、新たに生成した映像ファイルを再生してもよい。

映像再生部１０７が接続点決定部１０６によって決定された接続点で２つの映像データを繋ぎ合わせるよう再生するとは、単に順番に再生する場合と、新たな映像ファイルを生成して再生する場合との双方を含む。

映像連結再生プログラムはコンピュータで読み取り可能な記録媒体に記録されて提供されてもよいし、映像連結再生プログラムをダウンロードさせるよう、インターネット等のネットワークを介して提供されてもよい。コンピュータで読み取り可能な記録媒体は、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ等の任意の記録媒体でよい。

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。

１００ 映像連結再生装置
１０１ 映像選択部
１０２ 測位関連情報取得部
１０３ 並走地点検出部
１０４ 接続候補点抽出部
１０５ 映像変化量算出部
１０６ 接続点決定部
１０７ 映像再生部

Claims (6)

1. 走行する車両に設置されたカメラによって前記車両の外部を撮影した走行映像を示す複数の映像情報の中から、繋ぎ合わせて再生する対象として２つの映像情報を選択する映像選択部と、
   前記２つの映像情報それぞれと対応付けられており、それぞれの映像情報の走行映像を撮影した複数の地点の位置を示す位置情報と、前記複数の地点それぞれで前記カメラが向いている方角を示す方角情報とを含む測位関連情報を取得する測位関連情報取得部と、
   前記２つの映像情報の前記測位関連情報を比較することにより、同一の道路を同一の方向に走行している並走区間に含まれる複数の並走地点を検出する並走地点検出部と、
   前記２つの映像情報の映像データを構成する映像フレームであり、前記並走地点に対応する映像フレームと、前記映像フレームの前または後の映像フレームとの映像変化量を算出する映像変化量算出部と、
   前記映像変化量算出部によって算出された映像変化量に基づいて１つの並走地点を選択し、選択された並走地点を前記２つの映像情報の映像データを繋ぎ合わせる接続点として決定する接続点決定部と、
   前記接続点決定部によって決定された接続点で前記２つの映像情報の映像データを繋ぎ合わせるよう再生する映像再生部と、
   を備えることを特徴とする映像連結再生装置。
2. 前記測位関連情報はさらに前記複数の地点それぞれにおける前記車両の速度を含み、
   前記複数の並走地点の中から、前記車両の速度が所定の速度以下のときの並走地点を除外して、残りを接続候補点として抽出する接続候補点抽出部をさらに備え、
   前記映像変化量算出部は、前記接続候補点抽出部によって抽出された接続候補点に対応する映像フレームと、前記映像フレームの前または後の映像フレームとの映像変化量を算出する
   ことを特徴とする請求項１記載の映像連結再生装置。
3. 前記方角情報の変化に基づいて前記車両がカーブ走行しているときの並走地点を除外して、残りを接続候補点として抽出する接続候補点抽出部をさらに備え、
   前記映像変化量算出部は、前記接続候補点抽出部によって抽出された接続候補点に対応する映像フレームと、前記映像フレームの前または後の映像フレームとの映像変化量を算出する
   ことを特徴とする請求項１記載の映像連結再生装置。
4. 前記測位関連情報はさらに前記複数の地点それぞれにおける前記車両の速度を含み、
   前記映像変化量算出部は、算出した映像変化量を前記車両の速度に基づいて重み付けする
   ことを特徴とする請求項１〜３のいずれか１項に記載の映像連結再生装置。
5. 走行する車両に設置されたカメラによって前記車両の外部を撮影した走行映像を示す複数の映像情報の中から、繋ぎ合わせて再生する対象として２つの映像情報を選択し、
   前記２つの映像情報それぞれと対応付けられており、それぞれの映像情報の走行映像を撮影した複数の地点の位置を示す位置情報と、前記複数の地点それぞれで前記カメラが向いている方角を示す方角情報とを含む測位関連情報を取得し、
   前記２つの映像情報の前記測位関連情報を比較することにより、同一の道路を同一の方向に走行している並走区間に含まれる複数の並走地点を検出し、
   前記２つの映像情報の映像データを構成する映像フレームであり、前記並走地点に対応する映像フレームと、前記映像フレームの前または後の映像フレームとの映像変化量を算出し、
   算出された映像変化量に基づいて１つの並走地点を選択し、選択された並走地点を前記２つの映像情報の映像データを繋ぎ合わせる接続点として決定し、
   決定された接続点で前記２つの映像情報の映像データを繋ぎ合わせるよう再生する
   ことを特徴とする映像連結再生方法。
6. コンピュータに、
   走行する車両に設置されたカメラによって前記車両の外部を撮影した走行映像を示す複数の映像情報の中から、繋ぎ合わせて再生する対象として２つの映像情報が選択されたとき、前記２つの映像情報それぞれと対応付けられており、それぞれの映像情報の走行映像を撮影した複数の地点の位置を示す位置情報と、前記複数の地点それぞれで前記カメラが向いている方角を示す方角情報とを含む測位関連情報を取得するステップと、
   前記２つの映像情報の前記測位関連情報を比較することにより、同一の道路を同一の方向に走行している並走区間に含まれる複数の並走地点を検出するステップと、
   前記２つの映像情報の映像データを構成する映像フレームであり、前記並走地点に対応する映像フレームと、前記映像フレームの前または後の映像フレームとの映像変化量を算出するステップと、
   算出された映像変化量に基づいて１つの並走地点を選択し、選択された並走地点を前記２つの映像情報の映像データを繋ぎ合わせる接続点として決定するステップと、
   決定された接続点で前記２つの映像情報の映像データを繋ぎ合わせるよう再生するステップと、
   を実行させることを特徴とする映像連結再生プログラム。

Images