JP4606318B2

JP4606318B2 - 映像メタデータ補正装置及びプログラム

Info

Publication number: JP4606318B2
Application number: JP2005350265A
Authority: JP
Inventors: 宗太郎金子; 政美水谷; 映史森松
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2005-12-05
Filing date: 2005-12-05
Publication date: 2011-01-05
Anticipated expiration: 2025-12-05
Also published as: JP2007158649A; US20070130175A1; US7801927B2

Description

本発明は、映像に関連且つ同期するメタデータを補正するための技術に関する。

デジタル映像記録装置の普及により、各種センサから得られる環境情報を、映像と同期させて記録することで、映像が持つ情報をより効果的に引き出す技術が求められている。

例えば、映像と共にデジタル映像記録装置（例えばビデオカメラ）の位置や方位角情報を記録し、記録した位置及び方位角と地図情報とを検索時に照合することで、映像内の被写体の情報を抽出することが可能となる。これにより、工事現場の監理を目的とした工事写真を、撮影位置及び方位角付きのビデオ映像に置き換えることで、より詳細な工事記録を行うことが可能となる。また、自動車のような移動体においては、運転状態を記録するドライブレコーダなどにより、映像と同時に位置、方位角等を記録して、事故発生時に原因究明のため用いることもある。さらに、携帯電話機をはじめとする携帯端末については、持っている人間が行動の軌跡を映像と共に記録したり、マン・ナビゲーションシステムとして利用する際にも、映像と位置や方位角との組み合わせは有効である。

このようなシステムを実現するためのデジタル映像記録装置は、電子コンパス付きＧＰＳ（Global Positioning System）装置とデジタル・ビデオカメラとを組み合わせることで実現でき、映像に対して位置や方位角のメタデータを付与する従来技術も、例えば特開平１０−４２２８２号公報や特開２０００−３３１０１９号公報に開示されている。

特開平１０−４２２８２号公報には、撮影映像に地図情報を重畳させて提示するシステムの中で、映像記録時に、ジャイロセンサ、ＧＰＳセンサ等を用いて得られた撮影位置及び撮影角度をメタ情報として付与する技術が開示されている。

また、特開２０００−３３１０１９号公報には、自動的に景観画像にインデクスを付与するための技術が開示されている。具体的には、入力制御処理部は、映像情報データベースから、該当個所の映像情報データを入力する。参照モデル算出処理部は、前フレームを撮影したカメラパラメータに幅を持たせたパラメータで、地図情報から参照モデルを生成する。画像マッチング処理部は、処理画像フレームの画像から輪郭情報を抽出し、それを参照モデルと比較することで、最適なモデルを選択し、カメラパラメータを算出する。インデクス処理部は、カメラパラメータを利用して、画像座標系に地図情報を投影することで、フレーム中のオブジェクト領域を算出し、そのオブジェクトを構成する属性データをオブジェクトに付与する。テクスチャ抽出処理部は、算出されたオブジェクトの画像を取得することで、当該オブジェクトのテクスチャ情報を地図情報として取得する。このようにすれば、蓄積された、あるいは実時間で獲得された時系列景観画像に対して、地図情報を利用してそのフレーム内のオブジェクトに自動的にインデクスを付与することにより、画像中に何が写っているかを提示したり、所望する画像を検索したりできる。
特開平１０−４２２８２号公報特開２０００−３３１０１９号公報

しかし、各種センサは、記録時の動作環境等に起因し、誤った値を示すことがある。例えば、現在主に使用されている方位角センサである２軸地磁気式の電子コンパスは、鉛直方向の地磁気の影響を受けるため、カメラの上下運動により異なる方位角情報を指し示してしまう場合がある。また、位置情報を計測するためのＧＰＳも、マルチパスの発生などで計測位置に誤差が生じる場合がある。映像提示時に、これらのセンサ情報が誤っていると、利用者に対して正しく映像情報を提示できなくなり、混乱をきたすという問題がある。このような問題について第１の従来技術は考慮していない。

また、上で述べた第２の従来技術は、センサ情報の利用を否定し、映像からの情報に過分に依存している点に問題がある。本来、各種センサは対象を計測するために存在するものであり、映像から得られる情報よりも確度は高い。すなわち、センサによる映像メタデータの付与は基本的には有効であるが、一方で映像メタデータの誤りは、それに基づくサービス性能に大きな影響を与えることになる。実世界において、センサによって常に正しい値を記録するのは困難であるため、誤って記録された部分を検出し、補正するための技術が必要となる。

従って、本発明の目的は、映像に関連し且つ同期する映像メタデータを適切に補正する技術を提供することである。

本発明に係る映像メタデータ補正装置は、映像と同期したセンサ情報である映像メタデータに関する情報（例えば、映像メタデータ、映像メタデータの変動量など）を格納する第１映像メタデータ格納部内の映像メタデータに関する情報と当該映像メタデータに関連する情報と相関を有し且つ映像から抽出される映像特徴量とに基づき、映像メタデータに誤りが存在する区間を特定する区間特定手段と、上記区間における映像メタデータを、映像特徴量又は映像メタデータに関する情報と相関を有し且つ映像から抽出される第２の映像特徴量に基づき補正し、補正後の映像メタデータを第２映像メタデータ格納部に格納する補正手段とを有する。このように、映像メタデータに誤りが存在すると判断された区間に対して、上で述べたような特徴量を用いて補正を行うことによって、映像メタデータを取得するセンサ本来の計測精度を利用しつつ、誤って計測された部分だけを効果的に補正することが可能となる。

また、上で述べた区間特定手段が、映像の時系列データから、映像メタデータに関する情報と相関を有し且つ映像の時間変化に応じた特徴量を映像特徴量として抽出する手段を有するようにしてもよい。このようにすれば、補正を行うべき区間を適切に特定することができるようになる。

さらに、上で述べた補正手段が、映像特徴量又は第２の映像特徴量の変動量に比例する映像メタデータの補正量を算出する手段を有するようにしてもよい。このように映像メタデータの補正量を生成することによって、映像の変化に応じた映像メタデータを生成することができるようになる。

また、上で述べた補正手段が、映像特徴量又は第２の映像特徴量の変化量に比例し且つ上記区間の前後又は上記区間及び上記区間の少なくとも前又は後のサブ区間を含む補正区間の前後を連続するように連結するための前記映像メタデータの補正量を算出する手段を有するようにしてもよい。このようにすることによって、映像の変化に応じたより自然な変化を映像メタデータに持たせることができるようになる。

なお、本映像メタデータ補正装置は、コンピュータと当該コンピュータに実行されるプログラムとで構成することができ、このプログラムは、例えばフレキシブルディスク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ、ハードディスク等の記憶媒体又は記憶装置に格納される。また、ネットワークなどを介してデジタル信号として配信される場合もある。尚、中間的な処理結果はメインメモリ等の記憶装置に一時保管される。

本発明によれば、映像に関連し且つ同期する映像メタデータを適切に補正することができるようになる。

図１を用いてセンサ情報、すなわち映像メタデータ（以下、単にメタデータと略する場合もある。）を補正する映像メタデータ補正装置を用いた被写体検索システムの一例を説明する。被写体検索システムは、方位角の計測を行うセンサである電子コンパス１と、位置を計測するセンサであるＧＰＳ２と、時刻データを出力する時計３と、動画像を撮影するビデオカメラ４と、時計３からの時刻データと共にビデオカメラ４が撮影した映像のデータとを記録する処理を実施する映像記録部５と、映像記録部５の出力である時刻付き映像データを格納する映像データ格納部６と、地図上の建物その他の地図要素のデータを保持し、位置及び方位角のデータにより当該地図要素を検索可能な地図データベース（ＤＢ）７と、電子コンパス１及びＧＰＳ２からの映像メタデータを必要に応じて補正する映像メタデータ補正装置１００と、映像メタデータ補正装置１００の出力である各種メタデータを格納するメタデータ格納部８と、ユーザに対するユーザインタフェースとなる入出力装置などを含むユーザインタフェース部１１と、映像データ格納部６に格納された映像のデータをユーザインタフェース部１１を介して入力された指示等に応じてユーザインタフェース部１１に出力する映像再生部１０と、ユーザインタフェース部１１を介して入力された指示等に応じて映像再生部１０によりユーザインタフェース部１１に出力される映像の時刻データ（記録時刻）などに基づきメタデータ格納部８を検索し、抽出されたメタデータにより地図ＤＢ７をさらに検索して地図要素のデータを取得し、ユーザインタフェース部１１に出力する検索制御部９とを有する。

次に、図１に示した被写体検索システムの動作を簡単に説明しておく。例えば、ユーザは、ユーザインタフェース部１１を介して映像再生部１０から出力された映像とその記録時刻を確認する。そして、映像中の被写体を検索する場合には、ユーザインタフェース部１１を介して被写体が出現した際の記録時刻を検索制御部９に検索要求として入力する。このような検索要求を、映像再生部１０から検索制御部９に随時出力される時刻データを基に自動的に生成するようにしてもよい。

そうすると、検索制御部９は、入力された記録時刻に対応する位置及び方位角の情報をメタデータ格納部８から抽出して、地図ＤＢ７を当該位置及び方位角で検索することによって該当する地図要素のデータを含む検索結果を、ユーザインタフェース部１１を介してユーザに出力する。

検索制御部９による地図ＤＢ７の検索について、その概念を図２を用いて説明しておく。図２では、例えば扇形Ｄ１の中心角を視野角とする範囲で撮影を行っていたとする。その際、撮影位置である位置Ｐというメタデータと、撮影方向である方位角Ｃというメタデータとから地図ＤＢ７を検索し、被写体を建物Ａと特定し、建物Ａのデータをユーザインタフェース部１１を介してユーザに提示する。なお、建物等の高さを情報として有する地図ＤＢ７を用いて、別の建物が隠れているかどうかの隠蔽判定を行うこともある。また、画面内に複数の建物などが存在している場合には、方位角Ｃからの変位に基づき他の建物を特定する場合もある。

当然ながら、この被写体検索システムではセンサ情報が正しくなければ被写体の正確なデータを提示することはできない。例えば、本来の方位角Ｃに対して、何らかの原因で方位Ｃ’として記録されてしまった場合には、扇形Ｄ２の中心角を視野角とする範囲で撮影を行っており、実際の被写体が建物Ａであるにもかかわらず建物Ａ’と判定されてしまい、検索結果に誤りが生じてしまう。

一方、本実施の形態における電子コンパス１は、２軸地磁気電子コンパスであって、鉛直方向の地磁気の影響に起因する方位角の誤りを生じやすい。具体的には、上下にカメラを傾ける、すなわち撮影時にビルを仰ぎ見るような、よく行われるカメラワークを行うと、方位角の計測誤りを発生してしまう。

従って、映像メタデータ補正装置１００を用いて以下で述べるような処理を行うことによってメタデータの補正を行う。なお、以下では方位角の補正について一例を述べる。

図３に、映像メタデータ補正装置１００等の機能ブロック図を示す。なお、図３では、図１に示されており且つ映像メタデータ補正装置１００に関連する機能ブロックについても示されている。また、映像メタデータ補正装置１００は、ＧＰＳ２からの出力については、時計３からの時刻のデータと対応付けてメタデータ格納部８に格納するが、図３ではこれについては省略している。

映像メタデータ補正装置１００は、補正前のメタデータ等を格納する仮メタデータ格納部１０２と、電子コンパス１から出力される方位角のデータと時計３からの時刻のデータとを対応付けて仮メタデータ格納部１０２に格納するメタデータ記録部１０１と、仮メタデータ格納部１０２に格納されたデータを用いて誤り候補区間を抽出する誤り候補区間抽出部１０３と、誤り候補区間抽出部１０３により抽出された誤り候補区間のデータを格納する誤り候補区間データ格納部１０４と、映像データ格納部６に格納されている映像データから被写体の移動量等を抽出する移動量抽出部１０５と、移動量抽出部１０５により抽出された移動量などのデータを格納する移動量データ格納部１０６と、仮メタデータ格納部１０２と誤り候補区間データ格納部１０４と移動量データ格納部１０６とに格納されているデータを用いて誤り候補区間のうち誤りが発生している区間を特定する処理などを実施する誤り判定部１０７と、仮メタデータ格納部１０２と移動量データ格納部１０６とに格納されたデータを用いて誤り判定部１０７により特定された誤り区間等についてメタデータの補正を行うメタデータ補正部１０８とを有する。なお、メタデータ格納部８は、原則として、誤り区間に該当しない区間については誤り判定部１０７により仮メタデータ格納部１０２のデータを、誤り区間に該当する区間についてはメタデータ補正部１０８により補正されたメタデータを格納する。

次に、図３に示した映像メタデータ補正装置１００等の処理について図４乃至図１４を用いて説明する。最初に、メタデータ記録部１０１は、電子コンパス１から方位角のデータを例えば定期的（例えば１秒ごと）に取得し、時計３からのその時の時刻と共に仮メタデータ格納部１０２に格納し、映像記録部５は、ビデオカメラ４から映像のデータを定期的に取得し、時計３からのその時の時刻と共に映像データ格納部６に格納する（ステップＳ１）。なお、時刻と共に登録され、映像とメタデータとの同期が取れていれば、必ずしも定期的でなくとも良い。

ここで、例えば図５に示すようなデータが仮メタデータ格納部１０２に格納される。図５の例では、時刻ｔ１，ｔ２，ｔ３，ｔ４に対応して、方位角（度）の値が登録されている。また、例えば図６に示すようなデータが映像データ格納部６に格納される。図６の例では、時刻ｔ１，ｔ２，ｔ３，ｔ４に対応して、対応するフレーム・データが登録されている。但し、時刻データが対応付けられていない映像データが時刻ｔ１とｔ２の間などに存在する場合もある。

次に、誤り候補区間抽出部１０３は、方位角差分値を算出し、例えば仮メタデータ格納部１０２に格納する（ステップＳ３）。具体的には、時刻ｔ２における方位角の値と時刻ｔ１における方位角の値との差を算出し、時刻ｔ３における方位角の値と時刻ｔ２における方位角の値との差を算出するといった処理を行う。ステップＳ３を実施すると、例えば図７に示すようなデータが例えば仮メタデータ格納部１０２に格納される。具体的には、各時刻について、方位角（度）及び方位角差分（度）が格納されている。なお、時刻ｔ２における方位角の値と時刻ｔ１における方位角の値との差を、時刻ｔ２における方位角差分の値として登録している。以降についても同様に算出され登録される。

そして、誤り候補区間抽出部１０３は、仮メタデータ格納部１０２に格納されている方位角差分の時系列データに基づき、誤り候補区間を抽出する（ステップＳ５）。図８を用いて誤り候補区間の典型例を説明する。

図８は、電子コンパス１付きのビデオカメラ４を上に傾けしばらく静止した後に、ビデオカメラ４の傾きを元に戻した場合に、電子コンパス１により出力される方位角から算出される方位角差分の時間変化を表すグラフである。横軸は時間を表し、縦軸は方位角差分を表す。なお、方位角差分が正であれば右方向（すなわち時計回り）に回転しており、方位角差分が負であれば左方向（すなわち反時計回り）に回転していることを示している。このようにビデオカメラ４を上下に動かしただけであり、電子コンパス１は、水平方向の方位角がほとんど変化しない状況である。しかし、上で述べた電子コンパス１の性質から、方位角差分が大きな値を示してしまうことがある。すなわち、誤りの開始時刻Ｔsで方位角差分Ｄ（Ｔs）＝ｄが計測されてしまう。その後ビデオカメラ４が静止している間（時刻Ｔs＋１からＴeまでの区間Ｐe）は、方位角差分は０付近の値を示す。そして、ビデオカメラ４の傾きを元に戻すと（時刻Ｔe＋１）、元の方位角に戻る。従って、今までの誤った方位角から復帰するために、最初の誤りに現れた方位角差分ｄと同じような大きさで符号が逆のｄ’（＝Ｄ（Ｔe＋１）≒−ｄ）という方位角差分が現れる。このとき、方位角差分のｄ’が現れるときは方位角は正しい方位角に戻っているので、誤り区間Ｐeを時刻ＴsからＴeとし、方位角差分のｄ’はＴe＋１の時に現れていることとする。このように、誤り候補区間抽出部１０３は、Ｔs乃至Ｔe＋１に現れるような方位角差分の時系列変化を探索し、Ｔs乃至Ｔeを誤り候補区間として特定し、当該誤り候補区間のデータ（例えば開始及び終了時刻データ）を誤り候補区間データ格納部１０４に格納する。また、別に誤りが生じるケースが存在する場合には、当該誤りが生ずるケースに対応する誤り候補区間を抽出する。

そして、誤り判定部１０７は、誤り候補区間データ格納部１０４に誤り候補区間のデータが登録されているか否かにより誤り候補区間が存在するか判断する（ステップＳ７）。誤り候補区間が存在しない場合には処理を終了する。一方、誤り候補区間が存在する場合には、誤り判定部１０７は、１つ誤り候補区間を特定する。

次に、移動量抽出部１０５は、映像データ格納部６に格納された映像の時系列データを用いて、映像における水平方向移動量を算出し、移動量データ格納部１０６に格納する（ステップＳ９）。

映像における水平方向移動量は、方位角差分と相関を有する特徴量である。例えば図９（ａ）に示すように、ビデオカメラ４を、撮影しながら右回りに回した場合には、ビデオカメラ４に付けられた電子コンパス１からは回転前後の方位角のデータが出力され、回転角に対応する方位角差分が算出される。また、撮影範囲がＤ３からＤ４に変化するので、図９（ｂ）に示すように、ビデオカメラ４による映像中の被写体（例えば建物）は、全体的に左に動くことになる。また、大きく回った際には方位角差分の値は大きくなるが、やはりこれに応じて映像中の被写体の移動量も大きくなる。このように、映像の水平移動量と方位角差分には相関があるといえる。移動量抽出部１０５で抽出すべき特徴量であるフレーム間の水平移動量は、既存のグローバルモーションのアフィンパラメータ算出技術により算出可能である。その中でも、前景と背景を分離し、背景の移動量を算出できるような既存技術を用いるとより有効的である。

図６に示すような映像のデータが映像データ格納部６に格納されている場合には、映像中の被写体（建物）は例えば５ピクセル毎右に動いており、移動量抽出部１０５により抽出され移動量データ格納部１０６に格納されるデータは、例えば図１０に示すようなデータである。右方向の移動は、左方向の回転を示しており、右方向の回転が正とすると−５ピクセル移動したことになる。図１０の例では、時刻ｔ２，ｔ３，ｔ４に対応して、映像の水平方向移動量の値が登録されている。時刻ｔ２の映像水平方向移動量は、時刻ｔ２の位置と時刻ｔ１の位置との差であり、以降についても同様に算出され登録される。

さらに、誤り判定部１０７は、仮メタデータ格納部１０２に格納されたデータ（図７）と移動量データ格納部１０６に格納されたデータ(図１０）と誤り候補区間データ格納部１０４に格納されたデータを用いて、以下で述べる方法に従って比較用スケーリング係数αを算出し、メインメモリなどの記憶装置に格納する（ステップＳ１１）。具体的には、比較用スケーリング係数αは以下のような式で定義される。

ここで、ａは計算途中のスケーリング係数、ｔは時刻、Ｔsは誤り候補区間開始時刻、Ｔeは誤り候補区間終了時刻、Ｄ（ｔ）は時刻ｔにおける方位角差分、Ｘ（ｔ）は時刻ｔ−１から時刻ｔまでの映像水平移動量（実際的には平均値）を表す。また、ａｒｇは、以下の関数についての引数ａという意味である。なお、Ｃ（ｔ）を時刻ｔの方位角とすると、Ｄ（ｔ）＝Ｃ（ｔ）−Ｃ（ｔ−１）が成立する。

すなわち、同時刻における方位角差分と映像水平移動量とを比較する際に、映像水平移動量についてはスケーリング係数ａ倍した上で方位角差分と比較する。比較の結果であるそれらの差（すなわち残差）の絶対値の二乗を、誤り候補区間において累積した値が最小となるようにスケーリング係数ａを決定すれば、その時の値が比較用スケーリング係数αとなる。

すなわち、どの時刻においても同じスケーリング係数ａを用いて映像水平移動量をスケーリングして、方位角差分との残差の絶対値を小さくすることができれば、上で述べたように方位角差分と映像水平移動量とは相関を有するため、当該誤り候補区間は、誤りのように見えて誤りではないと判断できる。この例を図１１を用いて説明する。横軸は時間を表し、縦軸は実線については方位角差分を、点線については映像水平移動量を表している。適切なスケーリング係数αで調整した映像水平移動量を各時刻においてプロットすると点線を描くことができ、実線で表した方位角差分の時間変化にほぼ一致するようになる。

しかし、誤り候補区間が実際に誤り区間である場合には、映像水平移動量と方位角差分との相関はないため、スケーリング係数αが０として算出される場合もある。また、実際には映像水平移動量がほとんど０で無理にスケーリングして方位角差分に適合させるような場合もある。従って、αについては、０より大きく、予め定めた範囲内（下限Ａ_Low及び上限Ａ_Highの範囲内）に入らなければ、当該誤り候補区間はまさに誤り区間であると判断するものとする。下限Ａ_Low及び上限Ａ_Highは、実験により求めることができる。

なお、上では誤り候補区間をαの算定基礎期間としているが、誤り候補区間前後の所定区間を加えた区間を算定基礎期間とするようにしてもよい。但し、その区間は別の誤り候補区間を含んでいてはいけない。

αが各誤り候補区間で異なる理由は、それぞれの場面で方位角差分に対応する水平移動量が、撮影している背景との距離等に依存して異なるためである。一方、局所時間においては、方位角差分と水平移動量との間には相関性があると考えても問題なく、誤り候補区間内においてαを一意に決定している。

上でも述べてしまったが、その後、誤り判定部１０７は、算出された比較用スケーリング係数αが所定範囲内（下限Ａ_Low及び上限Ａ_Highの範囲内）であるか判断する（ステップＳ１３）。もし、比較用スケーリング係数αが所定範囲内であると判断された場合には、誤り候補区間は実際には誤り区間ではなかったとして、ステップＳ１９に移行する。なお、誤り候補区間とされた区間のメタデータをメタデータ格納部８に格納する。

一方、比較用スケーリング係数αが所定範囲内でないと判断された場合には、誤り判定部１０７は、誤り候補区間を誤り区間として指定してメタデータ補正部１０８に処理を指示する。図７及び図１０に示した例では、α＝０となるので所定範囲外と判断される。メタデータ補正部１０８は、仮メタデータ格納部１０２に格納されたデータ（図７）と移動量データ格納部１０６に格納されたデータ（図１０）を用いて、以下で述べる方法に従って補正用スケーリング係数βを算出し、例えばメインメモリ等の記憶装置に格納する（ステップＳ１５）。具体的には、補正用スケーリング係数βは、以下のように定義される。

なお、Ｑ（β）＝０であれば、（３）式を変形して以下の式が成立する。

このように、｜Ｑ（ｂ）｜を最小化する引数ｂを補正用スケーリング係数βとする。従って、Ｑ（β）＝０が好ましい。そして、Ｑ（ｂ）は、誤り区間の方位角を映像水平移動量で調整した際の残差を示しており、より具体的には、誤り区間の直前の方位角Ｃ（Ｔs−１）と、誤り区間の直後の方位角Ｃ（Ｔe＋１）との差を、スケーリング係数ｂ倍の映像水平移動量Ｘ（ｔ）の、誤り区間における累積値で調整する関数である。

（２）式乃至（４）式に示された補正のモデルを図１２（ａ）及び（ｂ）を用いて説明する。図１２（ａ）は、映像水平移動量の時間変化を表しており、その縦軸は映像水平移動量を表し、横軸は時間を表す。移動量データ格納部１０６に格納されたデータをそのまま示している。また、図１２（ｂ）は、方位角の時間変化を表しており、その縦軸は方位角、横軸は時間を表している。ここで、誤り区間Ｐeにおける映像水平移動量Ｘ₁、Ｘ₂及びＸ₃をスケーリング係数ｂ倍して累積した値を、誤り区間Ｐeの直前の方位角Ｃ（Ｔs−１）と直後の方位角Ｃ（Ｔe＋１）との差と一致させることができれば｜Ｑ（ｂ）｜＝０となり、誤り区間前後を最も平滑に且つ完全につなぐことができるようになる。このような場合のｂをβとして生成すれば、Ｘ₁×β、Ｘ₂×β、Ｘ₃×βによって方位角の補正量が算出される。

図１２（ｂ）には、誤り区間において点線で電子コンパス１の出力値もプロットされているがその値を用いることなく、誤り区間内の第１の時刻の補正量Ｘ'₁（＝Ｘ₁×β）によって直前の方位角の値を補正し、第２の時刻の補正量Ｘ'₂（＝Ｘ₂×β）によって第１の時刻における補正方位角の値をさらに補正し、さらに第３の時刻の補正量Ｘ'₃（＝Ｘ₃×β）によって第２の時刻における補正方位角の値をさらに補正する。そうすると図１２（ｂ）に示すように、星印の値が補正後の方位角として算出されるようになり、滑らかに誤り区間前後と連結されるようになる。

これにより、例えば単純に正しい区間同士を線形に結ぶ方法と比較して、映像の動きにあわせて補正を行っているため、より実際の状況を反映した確度の高い補正になっている。なお、比較用スケーリング係数αと同様に、誤り区間ではなく誤り区間の前後の所定区間を含む区間についてβを算出するようにしても良い。

その後、上で述べたように、メタデータ補正部１０８は、補正用スケーリング係数βと、移動量データ格納部１０６に格納された、誤り区間の映像水平移動量とを用いて補正量を算出し、当該補正量及び仮メタデータ格納部１０２に格納された誤り区間の前の値を用いて誤り区間の各方位角の値を補正してゆき、補正後の方位角のデータをメタデータ格納部８に格納する（ステップＳ１７）。例えばステップＳ１５でβ＝１．２と算出されたとすると、図７及び図１０の例では、補正量は時刻ｔ２及びｔ３において−６と算出される。従って、図１３に示すように、時刻ｔ１における方位角の８９と−６とから、時刻ｔ２の補正後方位角は８３となり、時刻ｔ３の補正後方位角は７７となる。さらに、補正量の−６と時刻ｔ３の補正後方位角の７７とから、時刻ｔ４の補正後方位角は７１となり、実際も時刻ｔ４の補正後方位角は７１であるから、滑らかに補正されていることが分かる。図１３においてハッチングが付された部分が補正された部分である。最終的に図１４に示すようなデータがメタデータ格納部８に格納される。そして、ステップＳ１９に移行する。

ステップＳ１９では、全ての誤り区間を処理したか判断する。例えば処理対象の時間帯に複数の誤り区間Ｐeが存在している場合には、全ての誤り区間を処理するまでステップＳ９に戻る。全ての誤り区間を処理し終えた場合には本処理を終了する。

以上のような処理を行うことによって、映像に応じたメタデータが取得できたかを確認することができ、映像と一致しないようなメタデータが取得できた場合には、映像に応じたメタデータとなるように適切に補正を行うことができるようになる。

以上本発明の実施の形態を説明したが、本発明はこれに限定されない。例えば、図１及び図３に示した機能ブロックは、必ずしもプログラムモジュール若しくはデバイス又は部品に対応しない場合もある。

また、映像メタデータ補正装置１００の処理は、映像及びセンサ情報を取得しながらリアルタイムで処理することも可能であり、別の形態として、一度誤りを含めてすべて記録したセンサ情報について、一括処理を行って補正してもよい。また、方位角以外、例えば位置情報も、移動距離の差分と映像における移動量から妥当性を判断することで誤り検出を行い、平滑化による補正を行うことができる。このように本発明はセンサ一般に対して広範に適用が可能な技術である。

また本発明は、自動車におけるドライブレコーダの位置及び方位角や、ＧＰＳ機能付き携帯電話機によるヒューマン・ナビゲーション時の位置及び方位角記録時の映像メタデータ補正方式としても実施できる。

（付記１）
映像と同期したセンサ情報である映像メタデータに関する情報を格納する第１映像メタデータ格納部内における映像メタデータに関する情報と当該映像メタデータに関する情報と相関を有し且つ前記映像から抽出される映像特徴量とに基づき、前記映像メタデータに誤りが存在する区間を特定する区間特定手段と、
前記区間における前記映像メタデータを、前記映像特徴量又は前記映像メタデータに関する情報と相関を有し且つ前記映像から抽出される第２の映像特徴量に基づき補正し、補正後の映像メタデータを第２映像メタデータ格納部に格納する補正手段と、
を有する映像メタデータ補正装置。

（付記２）
前記映像メタデータに関する情報が、前記映像メタデータの変動量であり、
前記区間特定手段が、
前記第１映像メタデータ格納部に格納されている前記映像メタデータの変動量の時間変化に基づき、前記映像メタデータに誤りが存在する区間の候補を抽出する手段
を有する付記１記載の映像メタデータ補正装置。

（付記３）
前記区間特定手段が、
前記映像の時系列データから、前記映像メタデータに関する情報と相関を有し且つ前記映像の時間変化に応じた特徴量を映像特徴量として抽出する手段
を有する付記１記載の映像メタデータ補正装置。

（付記４）
前記区間特定手段が、
特定の区間における前記映像メタデータに関する情報と前記映像特徴量との同時刻における残差を含む関数の値を最小化する当該関数の係数値が、所定の範囲内に入るか否かを判断する手段
を含む付記１記載の映像メタデータ補正装置。

（付記５）
前記補正手段が、
前記映像特徴量又は前記第２の映像特徴量の変動量に比例する前記映像メタデータの補正量を算出する手段
を有する付記１記載の映像メタデータ補正装置。

（付記６）
前記補正手段が、
前記映像特徴量又は前記第２の映像特徴量の変動量に応じて前記映像メタデータを平滑的に変化させるような前記映像メタデータの補正量を算出する手段
を有する付記１記載の映像メタデータ補正装置。

（付記７）
前記補正手段が、
前記映像特徴量又は前記第２の映像特徴量の変動量に比例し且つ前記区間の前後又は前記区間及び前記区間の少なくとも前又は後のサブ区間を含む補正区間の前後を連続するように連結するための前記映像メタデータの補正量を算出する手段
を有する付記１記載の映像メタデータ補正装置。

（付記８）
前記センサ情報が、方位角センサの値とＧＰＳの位置情報との少なくともいずれかである付記１記載の映像メタデータ補正装置。

（付記９）
付記１記載の映像メタデータ補正装置と、
前記映像のデータを格納する映像データ格納部と、
映像のデータを撮影して前記映像データ格納部に格納するカメラと、
前記センサ情報を取得し、前記第１映像メタデータ格納部に格納するセンサと、
を有する映像メタデータ記録装置。

（付記１０）
付記１記載の映像メタデータ補正装置と、
前記映像のデータを格納する映像データ格納部と、
各地点の地図要素のデータを保持する地図データベースと、
前記映像データ格納部に格納された映像と前記第２映像メタデータ格納部に格納され且つ前記映像に同期する映像メタデータとを読み出し、前記映像メタデータにより前記地図データベースを検索して該当する地図要素のデータを読み出し、表示装置に出力する手段と、
を有する端末装置。

（付記１１）
映像と同期したセンサ情報である映像メタデータに関する情報を格納する第１映像メタデータ格納部内の映像メタデータに関する情報と当該映像メタデータに関する情報と相関を有し且つ前記映像から抽出される映像特徴量とに基づき、前記映像メタデータに誤りが存在する区間を特定する区間特定ステップと、
前記区間における前記映像メタデータを、前記映像特徴量又は前記映像メタデータに関する情報と相関を有し且つ前記映像から抽出される第２の映像特徴量に基づき補正し、補正後の映像メタデータを第２映像メタデータ格納部に格納する補正ステップと、
を含む映像メタデータ補正方法。

（付記１２）
映像と同期したセンサ情報である映像メタデータに関する情報を格納する第１映像メタデータ格納部内の映像メタデータに関する情報と当該映像メタデータに関する情報と相関を有し且つ前記映像から抽出される映像特徴量とに基づき、前記映像メタデータに誤りが存在する区間を特定する区間特定ステップと、
前記区間における前記映像メタデータを、前記映像特徴量又は前記映像メタデータに関する情報と相関を有し且つ前記映像から抽出される第２の映像特徴量に基づき補正し、補正後の映像メタデータを第２映像メタデータ格納部に格納する補正ステップと、
をコンピュータにより実行させるための映像メタデータ補正プログラム。

本発明の実施の形態に係る全体の機能ブロック図である。方位角の用い方を説明するための図である。本発明の実施の形態に係る映像メタデータ補正装置に関連する機能ブロック図である。本発明の実施の形態に係る処理フローを示す図である。仮メタデータ格納部に格納されるデータの一例を示す図である。映像データ格納部に格納されるデータの一例を示す図である。仮メタデータ格納部に格納されるデータの一例を示す図である。誤り区間について説明するための図である。（ａ）及び（ｂ）は、ビデオカメラの回転及び映像の変化の関係を示す図である。移動量データ格納部に格納されるデータの一例を示す図である。比較用スケーリング係数αを説明するための図である。（ａ）及び（ｂ）は、補正用スケーリング係数βを説明するための図である。方位角の補正処理について説明するための図である。メタデータ格納部に格納されるデータの一例を示す図である。

符号の説明

１電子コンパス２ＧＰＳ３時計４ビデオカメラ
５映像記録部６映像データ格納部７地図ＤＢ
８メタデータ格納部９検索制御部１０映像再生部
１１ユーザインタフェース部
１００映像メタデータ補正装置
１０１メタデータ記録部１０２仮メタデータ格納部
１０３誤り候補区間抽出部１０４誤り区間データ格納部
１０５移動量抽出部１０６移動量データ格納部
１０７誤り判定部１０８メタデータ補正部

Claims

映像と同期したセンサ情報である方位角のデータから算出される方位角差分値を時刻毎に格納する第１映像メタデータ格納部内に格納されている前記方位角差分値と正常時には当該方位角差分値と相関を有し且つ前記映像から抽出される水平方向移動量との同時刻における残差の累積を含む関数の値を最小化する当該関数の係数値が所定の範囲外となる映像の区間を、誤りが存在する区間として特定する区間特定手段と、
前記誤りが存在する区間の直前における前記方位角差分値と前記誤りが存在する区間及び直後の時刻における前記水平方向移動量の累積値に第２の係数値を乗じた値との和と前記誤りが存在する区間の直後における前記方位角差分値とがバランスするような前記第２の係数値を、前記誤りが存在する区間の水平方向移動量に乗じて補正量を算出し、当該補正量を前記誤りが存在する区間の直前における方位角差分値に順次加算することで補正後の方位角差分値を算出し、第２映像メタデータ格納部に格納する補正手段と、
を有する映像メタデータ補正装置。
請求項１記載の映像メタデータ補正装置と、
前記映像のデータを格納する映像データ格納部と、
映像のデータを撮影して前記映像データ格納部に格納するカメラと、
前記センサ情報を取得し、前記第１映像メタデータ格納部に格納するセンサと、
を有する映像メタデータ記録装置。
請求項１記載の映像メタデータ補正装置と、
前記映像のデータを格納する映像データ格納部と、
各地点の地図要素のデータを保持する地図データベースと、
前記映像データ格納部に格納された映像と前記第２映像メタデータ格納部に格納され且つ前記映像に同期する前記補正後の方位角差分値とを読み出し、前記補正後の方位角差分値により前記地図データベースを検索して該当する地図要素のデータを読み出し、表示装置に出力する手段と、
を有する端末装置。
映像と同期したセンサ情報である方位角のデータから算出される方位角差分値を時刻毎に格納する第１映像メタデータ格納部内に格納されている前記方位角差分値と正常時には当該方位角差分値と相関を有し且つ前記映像から抽出される水平方向移動量との同時刻における残差の累積を含む関数の値を最小化する当該関数の係数値が所定の範囲外となる映像の区間を、誤りが存在する区間として特定するステップと、
前記誤りが存在する区間の直前における前記方位角差分値と前記誤りが存在する区間及び直後の時刻における前記水平方向移動量の累積値に第２の係数値を乗じた値との和と前記誤りが存在する区間の直後における前記方位角差分値とがバランスするような前記第２の係数値を、前記誤りが存在する区間の水平方向移動量に乗じて補正量を算出し、当該補正量を前記誤りが存在する区間の直前における方位角差分値に順次加算することで補正後の方位角差分値を算出し、第２映像メタデータ格納部に格納するステップと、
を含み、コンピュータに実行される映像メタデータ補正方法。
映像と同期したセンサ情報である方位角のデータから算出される方位角差分値を時刻毎に格納する第１映像メタデータ格納部内に格納されている前記方位角差分値と正常時には当該方位角差分値と相関を有し且つ前記映像から抽出される水平方向移動量との同時刻における残差の累積を含む関数の値を最小化する当該関数の係数値が所定の範囲外となる映像の区間を、誤りが存在する区間として特定するステップと、
前記誤りが存在する区間の直前における前記方位角差分値と前記誤りが存在する区間及び直後の時刻における前記水平方向移動量の累積値に第２の係数値を乗じた値との和と前記誤りが存在する区間の直後における前記方位角差分値とがバランスするような前記第２の係数値を、前記誤りが存在する区間の水平方向移動量に乗じて補正量を算出し、当該補正量を前記誤りが存在する区間の直前における方位角差分値に順次加算することで補正後の方位角差分値を算出し、第２映像メタデータ格納部に格納するステップと、
を、コンピュータにより実行させるための映像メタデータ補正プログラム。