JPWO2010150348A1 - 映像記録再生装置、映像記録再生方法、および映像記録再生プログラム - Google Patents

Abstract

映像記録再生装置は、移動体に備えられたカメラなどの撮影手段と、映像記録手段と、走行状態解析手段と、重要度判定手段と、を備える。撮影手段は、走行している移動体の周囲の走行映像などを撮影する。映像記録手段は、撮影手段により撮影された映像を記録する。走行状態解析手段は移動体の走行状態を求める。重要度判定手段は、求められた走行状態に基づいて、映像のシーン毎に重要度を判定して設定する。

Description

本発明は、移動体の撮影装置により撮影された映像の記録及び再生を行う映像記録再生装置に関する。

近年、ビデオカメラの新しい楽しみ方の一つとしては、車両の走行中に見える風景の映像（以下、「走行映像」と称する）を撮影・記録して、これを視聴することが挙げられる。中には、この走行映像をインターネット上で共有することも試みられている。例えば、視聴者からのコメントを投稿することが可能な動画配信サイトでは、車両による通行が困難な道路をあえて車両で走行した走行映像がアップロードされており、これらの映像は、多くの視聴者からのコメントを獲得している。また、このような走行映像を公開している個人のサイトも数多く存在する。さらには、ビデオカメラの楽しみ方としては、車両での走行映像を記録するに止まらず、自転車での走行映像、あるいはスキーやスノーボードでの滑走映像など、より広範囲な楽しみ方に広がる可能性を秘めている。

ところで、テレビでの放送番組とは異なり、上述したようにして撮影された走行映像は、全く編集処理がされてないため、そのままで視聴するには単調・退屈なシーンを多く含んだコンテンツであると言える。また、ドライブの全行程を録画した場合において、これを全部視聴する場合には、ドライブの全時間と同じ時間が必要となり、現実的とは言えない。ユーザも走行映像を視聴する場合、多くの場合全てのシーンを見たいわけでなく、例えば、ある快調に走行しているシーン、有名な観光地付近の風景の良いシーン、あるいは、特別なイベントが発生したシーン等だけであると考えるのが自然である。

そこで、上述した走行映像などのコンテンツの要約を短時間で把握するための技術として、当該コンテンツのダイジェストを作成し、当該ダイジェストの再生を行う手法が考え出されている。例えば、特許文献１には、音声映像情報の無音区間および騒音区間の時間軸上の位置、区間長に基づいて抽出すべき要約セグメントおよび当該要約セグメントの重要度を設定するとともに、この決定された要約セグメントと重要度に基づいてダイジェスト再生を行う手法が記載されている。また、関連した技術として、特許文献２には、予め定められた時間間隔で撮影された走行画像を複数の半導体記憶装置に順次循環的に記憶し、自動車事故発生時に記憶動作を停止させることで、事故前の複数の静止画像を当該半導体記憶装置に記憶する手法が記載されている。

特開２００３−８７７２８号公報 特開昭６３−１６７８５号公報

しかしながら、特許文献１に記載の手法では、ダイジェスト再生のスケジューリングの判断基準として背景音声しか利用していない。つまり画像などの他の情報を利用していないため、重要シーンを漏らさない適切なダイジェスト再生を行うことが難しい。また、特許文献２に記載の手法では、車両の事故映像の記録を目的としており、ダイジェスト再生を行うことを目的とする本発明とは課題が異なる。

本発明が解決しようとする課題としては、上記のようなものが例として挙げられる。本発明は、重要シーンを漏らさない適切なダイジェスト再生を行うことを課題とする。

請求項１に記載の発明は、映像記録再生装置であって、移動体に備えられた撮影手段と、前記撮影手段により撮影された映像を記録する映像記録手段と、前記移動体の走行状態を求める走行状態解析手段と、求められた前記走行状態に基づいて、前記映像のシーン毎に重要度を判定して設定する重要度判定手段と、を備えることを特徴とする。

請求項１４に記載の発明は、映像記録再生方法であって、移動体に備えられた撮影手段により映像を撮影する撮影工程と、前記撮影手段により撮影された映像を記録する映像記録工程と、前記移動体の走行状態を求める走行状態解析工程と、求められた前記走行状態に基づいて、前記映像のシーン毎に重要度を判定して設定する重要度判定工程と、を備えることを特徴とする。

請求項１５に記載の発明は、撮影手段を有するナビゲーション装置により実行される映像記録再生プログラムであって、前記撮影手段により撮影された映像を記録する映像記録手段、前記移動体の走行状態を求める走行状態解析手段、求められた前記走行状態に基づいて、前記映像のシーン毎に重要度を判定して設定する重要度判定手段、として前記ナビゲーション装置を機能させることを特徴とする。

本発明の映像記録再生装置が適用されたナビゲーション装置を備える車両の一例を示す図である。 ナビゲーション装置の装置構成を示す図である。 第１実施例に係る映像記録再生装置の機能構成を示す図である。 走行映像データベースに記録される情報の一例を示す図である。 走行状態データベースに記録される情報の一例を示す図である。 走行状態の変化点の例をリストした図である。 走行状態の特徴的な時点の例をリストした図である。 走行状態の重要度判定表の一例を示す図である。 走行状態の重要度判定表の一例を示す図である。 シーンデータベースに記録される情報の一例を示す図である。 シーン重要度を求めることによる優先度の傾向を示す図である。 第１実施例における全体の制御処理を示すフローチャートである。 ダイジェスト再生のためのスケジューリングのフローチャートである。 第２実施例に係る映像記録再生装置の機能構成を示す図である。 走行回数の重要度判定表の一例を示す図である。 第３実施例に係る映像記録再生装置の機能構成を示す図である。 個人情報の重要度判定表の一例を示す図である。 第４実施例に係る映像記録再生装置の機能構成を示す図である。 応用例に係る映像記録再生装置の機能構成を示す図である。 走行映像の時間に対するシーン重要度の変化を示すグラフである。 応用例における全体の制御処理を示すフローチャートである。

１１ 加速度センサ
１２ ジャイロセンサ
１３ 車速パルスセンサ
１８ ＧＰＳセンサ
２０ システムコントローラ
７０ 撮影装置
１００ 映像記録再生装置

本発明の１つの観点では、映像記録再生装置は、移動体に備えられた撮影手段と、前記撮影手段により撮影された映像を記録する映像記録手段と、前記移動体の走行状態を求める走行状態解析手段と、求められた前記走行状態に基づいて、前記映像のシーン毎に重要度を判定して設定する重要度判定手段と、を備える。

上記の映像記録再生装置は、移動体に備えられたカメラなどの撮影手段と、映像記録手段と、走行状態解析手段と、重要度判定手段と、を備える。撮影手段は、走行している移動体の周囲の走行映像などを撮影する。映像記録手段は、撮影手段により撮影された映像を記録する。走行状態解析手段は移動体の走行状態を求める。重要度判定手段は、求められた走行状態に基づいて、映像のシーン毎に重要度を判定して設定する。このようにすることで、映像の各シーンについて適切な重要度を設定することができ、ダイジェスト再生のスケジューリングを行う際において、重要シーンを漏らさずに済む。

上記の映像記録再生装置の他の一態様は、前記走行状態解析手段は、前記映像に含まれる画像及び音声のうち、少なくとも１つ以上を解析して求められた特徴量に基づいて、前記走行状態を求める。ここで、画像の特徴量とは、例えば、輝度、色ヒストグラム、エッジ情報、動き情報であり、音声の特徴量とは、例えば、音圧パワー、音の周波数特性である。画像の特徴量を用いることにより、移動体の走行状態を示す情報として、道路標示、車両や歩行者といった画像情報を得ることが可能となる。音声の特徴量を用いることにより、移動体の走行状態を示す情報として、人声、雑踏音やクラクション音といった音声情報を得ることが可能となる。

上記の映像記録再生装置の他の一態様は、前記走行状態解析手段は、ＧＰＳセンサ、加速度センサ、ジャイロセンサ、及び、車速パルスセンサのうち、少なくとも１つ以上のセンサからのセンサ信号に基づいて、前記走行状態を求める。これにより、移動体の走行状態を示す情報として、走行位置、車速状態、加減速状態、方位、旋回状態、傾斜状態といった情報を得ることが可能となる。

上記の映像記録再生装置の他の一態様は、地図情報を記録している地図情報記録手段を有し、前記走行状態解析手段は、前記地図情報に基づいて、前記走行状態を求める。これにより、移動体の走行状態を示す情報として、住所、標高状態、付近の地理的スポット、道路状態、風景情報といった情報を得ることが可能となる。

上記の映像記録再生装置の他の一態様は、前記移動体の走行履歴を記録する走行履歴記録手段を有し、前記重要度判定手段は、前記走行履歴と前記走行状態とに基づいて、前記映像のシーン毎に重要度を判定して設定する。これにより、映像の各シーンについて、走行回数に応じた適切な重要度を設定することができる。例えば、ダイジェスト再生のスケジューリングを行う際において、見慣れた道路のシーンの優先度を下げ、馴染みのない道路のシーンの優先度を上げて、スケジューリングすることが可能となる。

上記の映像記録再生装置の他の一態様は、ユーザの個人情報を記録する個人情報記録手段を有し、前記重要度判定手段は、前記個人情報と前記走行状態とに基づいて、前記映像のシーン毎に重要度を判定して設定する。これにより、映像の各シーンについて、個人情報に応じた適切な重要度を設定することができる。例えば、ダイジェスト再生のスケジューリングを行う際において、自宅周辺や通勤経路といった見知った場所のシーンの優先度を下げ、ユーザの思い出の場所といったシーンの優先度を上げて、スケジューリングすることが可能となる。

上記の映像記録再生装置の他の一態様は、ユーザが重要シーンを示す情報を指示するための指示手段を有し、前記重要度判定手段は、前記ユーザにより指示された情報と前記走行状態とに基づいて、前記映像のシーン毎に重要度を判定して設定する。これにより、ダイジェスト再生のスケジューリングを行う際において、ユーザの指示した重要なシーンを優先してスケジューリングすることが可能となる。

上記の映像記録再生装置の他の一態様は、前記走行状態を基に、前記映像を複数のシーンに分割するシーン分割手段を備える。これにより、意味のある単位でシーン分割することが可能となる。

上記の映像記録再生装置の他の一態様は、前記重要度判定手段は、前記移動体の走行状態に基づいて、前記映像のフレーム毎に重要度を判定して設定する。これにより、重要フレームにインデックスを付与することが可能となり、ユーザは、当該インデックスを基に、重要なシーンを見つけることが可能となる。

上記の映像記録再生装置の他の一態様は、前記映像のシーン毎に設定された重要度に応じて、ダイジェスト再生のスケジューリングを作成することで再生を制御するダイジェスト再生制御手段を有する。これにより、ダイジェスト再生のスケジューリングを適切に行うことが可能となる。

上記の映像記録再生装置の好適な実施例では、前記ダイジェスト再生制御手段は、前記映像のシーンに設定された重要度が高くなるほど、当該映像のシーンを優先的にスケジューリングする。

上記の映像記録再生装置の好適な実施例では、前記ダイジェスト再生制御手段は、前記映像のシーンに設定された重要度が低くなるほど、当該映像のシーンを速く再生する。これにより、ダイジェスト再生を短時間で行うことが可能となる。

上記の映像記録再生装置の好適な実施例では、前記ダイジェスト再生制御手段は、前記映像のシーンの時間長が長くなるほど、当該映像のシーンを速く再生する。これによっても、ダイジェスト再生を短時間で行うことが可能となる。

本発明の他の観点では、映像記録再生方法は、移動体に備えられた撮影手段により映像を撮影する撮影工程と、前記撮影手段により撮影された映像を記録する映像記録工程と、前記移動体の走行状態を求める走行状態解析工程と、求められた前記走行状態に基づいて、前記映像のシーン毎に重要度を設定する重要度判定工程と、を備える。この映像記録再生方法によっても、映像の各シーンについて適切な重要度を設定することができ、ダイジェスト再生のスケジューリングを行う際において、重要シーンを漏らさずに済む。

本発明の更なる他の観点では、撮影手段を有するナビゲーション装置により実行される映像記録再生プログラムは、前記撮影手段により撮影された映像を記録する映像記録手段、前記移動体の走行状態を求める走行状態解析手段、求められた前記走行状態に基づいて、前記映像のシーン毎に重要度を判定して設定する重要度判定手段、として前記ナビゲーション装置を機能させる。この映像再生プログラムによっても、映像の各シーンについて適切な重要度を設定することができる。

以下、図面を参照して本発明の好適な実施例について説明する。

［ナビゲーション装置］
まず、本発明の映像記録再生装置が適用されたナビゲーション装置の一例について説明する。

図１は、本発明の映像記録再生装置が適用されたナビゲーション装置を備える車両の一例を示す。図１には、ユーザが運転する車両である車両９０が図示されており、当該車両９０には、ナビゲーション装置１が搭載されている。

第１実施例では、車両９０に搭載されたナビゲーション装置１は、撮影装置７０を備えている。撮影装置７０は、走行している車両９０の外部の風景を撮影する、即ち、車両９０の走行映像を撮影する。なお、撮影装置７０の撮影方向としては、車両９０の前方に限られるものではなく、車両９０の左右側方、後方、あるいはそれ以外の他の方向を撮影するとしても良い。また、撮影装置７０の撮影方向は、１つの方向に限られるものではなく、複数の方向であるとしても良い。ナビゲーション装置１が映像記録再生装置として機能する場合には、撮影装置７０により撮影された映像について、車両９０の走行状態に基づいて、シーン毎に重要度を判定して設定する。

ナビゲーション装置１の装置構成について図２を用いて説明する。図２は、ナビゲーション装置の装置構成の一例を示す。図２に示すように、ナビゲーション装置１は、自立測位装置１０、ＧＰＳ受信器１８、システムコントローラ２０、ディスクドライブ３１、データ記録ユニット３６、通信用インタフェース３７、通信装置３８、表示ユニット４０、音声出力ユニット５０、入力装置６０及び撮影装置７０を備えて構成されている。

自立測位装置１０は、加速度センサ１１、ジャイロセンサ１２及び車速パルスセンサ１３を含んで構成されている。加速度センサ１１は、例えば圧電素子からなり、車両９０の加速度を検出し、加速度データを出力する。ジャイロセンサ１２は、例えば振動ジャイロからなり、車両９０の方向変換時における車両９０の角速度を検出し、角速度データ及び相対方位データを出力する。車速パルスセンサ１３は、車両９０の車輪の回転に伴って発生されているパルス信号からなる車速パルスを計測する。

ＧＰＳセンサ（以下、単に「ＧＰＳ」と称する）１８は、緯度及び経度情報等から車両９０の絶対的な位置を検出するために用いられるべき複数のＧＰＳ衛星からの測位用のデータ（即ち、ＧＰＳデータ）を含む下り回線データを搬送する電波１９を受信する部分である。

システムコントローラ２０は、インタフェース２１、ＣＰＵ（Central Processing Unit）２２、ＲＯＭ（Read Only Memory）２３及びＲＡＭ（Random Access Memory）２４を含んでおり、ナビゲーション装置１全体の制御を行うように構成されている。

インタフェース２１は、加速度センサ１１、ジャイロセンサ１２及び車速パルスセンサ１３並びにＧＰＳ１８とのインタフェース動作を行う。そして、これらから、車速パルスの他、加速度データ、相対方位データ、角速度データ、ＧＰＳ測位データ、絶対方位データ等をシステムコントローラ２０に入力する。ＣＰＵ２２は、システムコントローラ２０全体を制御する。ＲＯＭ２３は、システムコントローラ２０を制御する制御プログラム等が格納された図示しない不揮発性メモリ等を有する。ＲＡＭ２４は、入力装置６０を介して使用者により予め設定された経路データ等の各種データを読み出し可能に格納したり、ＣＰＵ２２に対してワーキングエリアを提供したりする。

システムコントローラ２０、ディスクドライブ３１、データ記録ユニット３６、通信用インタフェース３７、表示ユニット４０、音声出力ユニット５０、入力装置６０及び撮影装置７０は、バスライン３０を介して相互に接続されている。

データ記録ユニット３６は、例えば、ＨＤＤなどにより構成され、地図情報などのナビゲーション処理に用いられる各種データ、撮影装置７０により撮影された走行映像データやシステムコントローラ２０により解析された解析データを記録するユニットである。ディスクドライブ３１は、システムコントローラ２０の制御の下、ディスク３３から、音楽データ、映像データなどのコンテンツデータを読み出し、出力する。また、ディスクドライブ３１は、システムコントローラ２０の制御の下、ディスク３３に対し、先に述べた走行映像データや解析データを記録する。ディスク３３としては、例えば、ＤＶＤ±ＲＷなどの種々のディスクが適用可能である。

通信装置３８は、例えば、ＦＭチューナやビーコンレシーバなどにより構成され、ＶＩＣＳ（Vehicle Information Communication System）センターなどから配信される情報を取得する。

撮影装置７０は、例えば、カメラであり、先にも述べたように、車両９０が走行している間、走行映像を撮影する。なお、ここで、撮影装置７０はマイクも備えているものとし、走行映像は画像に加えて音声もデータとして含むものとする。撮影装置７０は、システムコントローラ２０によって制御される。

表示ユニット４０は、システムコントローラ２０の制御の下、各種表示データや撮影装置７０により撮影された映像をディスプレイ４４の表示画面上に表示する。例えば、表示データとして地図情報を表示画面上に表示する場合には、システムコントローラ２０は、データ記録ユニット３６より地図情報を読み出し、表示ユニット４０は、システムコントローラ２０によってデータ記録ユニット３６より読み出された地図情報を表示画面上に表示する。表示ユニット４０は、バスライン３０を介してＣＰＵ２２から送られる制御データに基づいて表示ユニット４０全体の制御を行うグラフィックコントローラ４１と、ＶＲＡＭ（Video RAM）等のメモリからなり即時表示可能な画像情報を一時的に記録するバッファメモリ４２と、グラフィックコントローラ４１から出力される画像データに基づいて、液晶、ＣＲＴ（Cathode Ray Tube）等のディスプレイ４４を表示制御する表示制御部４３と、ディスプレイ４４とを備えて構成されている。ディスプレイ４４は、例えば対角５〜１０インチ程度の液晶表示装置等からなり、車内のフロントパネル付近に装着される。

音声出力ユニット５０は、システムコントローラ２０の制御の下、ＲＡＭ２４等からバスライン３０を介して送られる音声デジタルデータのＤ／Ａ（Digital to Analog）変換を行うＤ／Ａコンバータ５１と、Ｄ／Ａコンバータ５１から出力される音声アナログ信号を増幅する増幅器（ＡＭＰ）５２と、増幅された音声アナログ信号を音声に変換して車内に出力するスピーカ５３とを備えて構成されている。

入力装置６０は、各種コマンドやデータを入力するための、キー、スイッチ、ボタン、リモコン、音声入力装置等から構成されている。入力装置６０は、車内に搭載された当該車載用電子システムの本体のフロントパネルやディスプレイ４４の周囲に配置される。また、ディスプレイ４４がタッチパネル方式である場合には、ディスプレイ４４の表示画面上に設けられたタッチパネルも入力装置６０として機能する。

［第１実施例］
第１実施例に係る映像記録再生装置について説明する。図３は、第１実施例に係る映像記録再生装置１００の機能構成を示す。なお、映像記録再生装置１００は、実体的には、図２に示したナビゲーション装置１の各構成要素により実現される。以下に具体的に説明する。

第１実施例に係る映像記録再生装置１００は、撮影装置７０、ＧＰＳ１８、加速度センサ１１、ジャイロセンサ１２、車速パルスセンサ１３、走行映像記録部２２１、画像／音声解析部２２２、走行状態解析部２２３、シーン分割部２２４、シーン重要度判定部２２５、ダイジェスト再生制御部２２６、走行映像データベース３６１、走行状態データベース３６２、シーンデータベース３６４、地図データベース３６３より構成される。

ここで、走行映像記録部２２１、画像／音声解析部２２２、走行状態解析部２２３、シーン分割部２２４、シーン重要度判定部２２５、ダイジェスト再生制御部２２６は、例えば、システムコントローラ２０がプログラムを実行することにより実現される。また、走行映像データベース３６１、走行状態データベース３６２、シーンデータベース３６４、地図データベース３６３は、データ記録ユニット３６や、書き込み可能なディスク３３に記録される。

第１実施例に係る映像記録再生装置１００は、各種センサからのセンサ信号などに基づいて、車両９０の走行状態を求め、求められた走行状態に基づいて、走行映像のシーン分割を行う。また、映像記録再生装置１００は、求められた走行状態に基づいて、分割されたシーン毎に重要度を判定して設定する。以下、第１実施例に係る映像記録再生装置１００の各機能について具体的に説明する。

走行映像記録部２２１は、撮影装置７０により撮影された走行映像を走行映像データベース３６１に記録する。走行映像データベース３６１に記録される情報の一例を図４に示す。図４に示すように、走行映像データベース３６１には、走行映像を唯一に識別する走行映像ＩＤ、撮影開始日時、時間長、ファイル名などが記録される。

画像／音声解析部２２２は、走行映像から画像や音声を解析して特徴量を抽出する。ここで、特徴量とは、例えば、画像の特徴量（以下、「画像特徴量」と称する）であれば、輝度、色ヒストグラム、エッジ情報や動き情報などであり、音声の特徴量（以下、「音声特徴量」と称する）であれば、音圧パワーや音の周波数特性などである。

地図データベース３６３には、走行状態解析部２２３により参照情報として利用される地図情報が予め記録されている。地図情報としては、例えば、住所、標高、傾斜、交差点、立体交差、踏切、トンネル、橋などの道路交通情報、車幅、車線数、制限速度、高速道、一般道、生活道路、駐車場などの道路属性情報、店舗、施設、著名建築、公園、遊園地、観光名所などのランドマーク情報、海、湖、川、山、眺望スポットなどの地形情報、制限速度、一方通行などの道路交通法上の規制情報、ヒヤリハット地点といったものが挙げられる。

走行状態解析部２２３は、ＧＰＳ１８、加速度センサ１１、ジャイロセンサ１２、車速パルスセンサ１３から検出された各種のセンサ信号、画像／音声解析部２２２で求められた特徴量、地図データベース３６３に記録されている地図情報に基づいて、車両９０の様々な走行状態を求める。走行状態解析部２２３は、各種のセンサ信号及び特徴量とともに、求められた走行状態を、走行状態データベース３６２に記録する。走行状態データベース３６２には、各種のセンサ信号、特徴量、各種のセンサ信号や特徴量に基づいて求められた走行状態、当該走行状態に対応するフレームを唯一に識別するフレームＩＤ（または、走行映像中における時間位置）が互いに関連づけられて記録されている。なお、ここで、走行状態データベース３６２は、センサ信号、特徴量、走行状態を一元的に管理する必要はなく、それぞれを管理する複数のデータベースより構成されるとしても良いのは言うまでもない。

シーン分割部２２４は、走行状態解析部２２３で得られた走行状態に基づいて、走行映像のシーン分割を行う。シーン分割を行う基準としては、例えば、走行状態の変化点や、走行状態の特徴的な時点が挙げられる。シーン分割部２２４は、分割されたシーンを示すシーン情報をシーンデータベース３６４に記録する。

シーン重要度判定部２２５は、シーン分割部２２４にて分割された各シーンにおける走行状態に基づいて、当該各シーンに重要度（以下、「シーン重要度」と称する）を判定して設定する。このシーン重要度が高くなるほど、ダイジェスト再生時に、そのシーンが選択・再生される確率が高くなる。シーン重要度判定部２２５は、各シーンについて求められたシーン重要度をシーンデータベース３６４に記録する。

ダイジェスト再生制御部２２６は、走行映像のダイジェスト再生のスケジューリングを作成することにより再生制御を行う。具体的には、ダイジェスト再生制御部２２６は、目標再生時間やシーン重要度に応じて、再生すべきシーンの選択と再生速度の決定を行う。

表示部４０１は、走行映像の通常再生やダイジェスト再生を行う表示装置である。例えば、表示部４０１は、車両９０内で再生を行う場合には、表示ユニット４０が相当する。なお、表示部４０１としては、表示ユニット４０には限られず、他のディスプレイなどの表示装置を用いるとしても良いのは言うまでもない。また、表示部４０１は、操作メニューのＧＵＩ（Graphical User Interface）表示や、走行映像に関連する情報の表示なども行う。

（走行状態の算出方法）
次に、走行状態の算出方法について具体的に説明する。図５に走行状態データベース３６２に格納される情報の例を示す。図５に示すように、車両の走行状態の種別としては、例えば、走行位置、車速状態、加減速状態、方位、旋回状態、傾斜状態、画像情報、音声情報、住所、区画境界、標高状態、地理的スポット、道路状態、風景状態、ヒヤリハット地点が挙げられる。走行状態解析部２２３は、各種のセンサや特徴量に基づいて、各走行状態を求める。そして、走行状態解析部２２３は、求められた走行状態を、走行映像におけるフレーム（または、走行映像中における時間位置）に対応づけて、走行状態データベース３６２に記録する。以下で、各走行状態について具体的に説明する。

車両９０の走行位置は、ＧＰＳ１８などのセンサに基づいて求められる。具体的には、走行状態解析部２２３は、ＧＰＳ１８からのセンサ信号に基づいて、車両９０の走行位置を緯度と経度で求める。または、このようにする代わりに、走行状態解析部２２３は、ジャイロセンサ１２、車速パルスセンサ１３からのセンサ信号に基づき自律航法を用いることで、車両９０の走行位置を求めるとしても良い。さらに、走行状態解析部２２３は、求められた車両９０の走行位置について、地図情報との照合を行うマップマッチング航法を用いることにより補正を行うとしても良い。走行状態解析部２２３は、求められた車両９０の走行位置を走行状態データベース３６２に記録する。

車両９０の車速状態は、車速パルスセンサ１３からのセンサ信号に基づいて求められる。具体的には、走行状態解析部２２３は、車速パルスセンサ１３からのセンサ信号に基づいて、車速を求める。そして、走行状態解析部２２３は、求められた車速を基に、例えば、停車、通常走行中、渋滞区間、低速走行中、高速走行中の各車速状態のうち、いずれの状態に車両９０があるかを求める。走行状態解析部２２３は、求められた車速及び車速状態を走行状態データベース３６２に記録する。

車両９０の加減速状態は、加速度センサ１１などのセンサ信号に基づいて求められる。具体的には、走行状態解析部２２３は、加速度センサ１１からのセンサ信号に基づいて、又は、走行位置の変化を解析することにより、加速度を求める。そして、走行状態解析部２２３は、求められた加速を基に、例えば、急加速や急ブレーキといった加減速状態に車両９０があるか否かを求める。走行状態解析部２２３は、求められた加速度及び加減速状態を走行状態データベース３６２に記録する。

車両９０の方位及び旋回状態は、ジャイロセンサ１２などのセンサ信号に基づいて求められる。具体的には、走行状態解析部２２３は、ジャイロセンサ１２からのセンサ信号に基づいて、又は、走行位置の変化を解析することにより、方位、角速度及び角加速度を求める。そして、走行状態解析部２２３は、求められた角速度及び角加速度を基に、例えば、右左折区間、直進区間、ワインディング区間の各旋回状態のうち、いずれの状態に車両９０があるかを求める。走行状態解析部２２３は、求められた方位、角速度、角加速度、旋回状態を走行状態データベース３６２に記録する。

車両９０の傾斜状態は、加速度センサ１１などのセンサ信号に基づいて求められる。具体的には、走行状態解析部２２３は、加速度センサ１１からのセンサ信号に基づいて、又は、走行位置と地図情報とを照合することにより、車両９０の傾斜角を求める。そして、走行状態解析部２２３は、求められた傾斜角を基に、例えば、平坦、上り坂、急な上り坂、下り坂、急な下り坂の各傾斜状態のうち、いずれの状態に車両９０があるかを求める。走行状態解析部２２３は、求められた傾斜角、傾斜状態を走行状態データベース３６２に記録する。

画像情報は、画像／音声解析部２２２によって抽出された画像特徴量に基づいて求められる。具体的には、走行状態解析部２２３は、輝度、色ヒストグラム、エッジ情報や動き情報といった画像特徴量を解析することにより、白線、道路標識、案内標識などの各標識などを示す画像情報や、信号機、車両、歩行者などを示す画像情報を求める。なお、これに加えて、走行状態解析部２２３は、走行位置と地図情報とを照合することにより、又は、音声特徴量を用いることにより、これらの画像情報の検出精度を高めるとしても良い。走行状態解析部２２３は、求められた輝度、色ヒストグラム、エッジ情報、動き情報、画像情報、当該画像情報のフレーム内での表示位置を走行状態データベース３６２に記録する。

音声情報は、画像／音声解析部２２２によって抽出された音声特徴量に基づいて求められる。具体的には、走行状態解析部２２３は、音圧パワーや音の周波数特性といった音声特徴量を解析することにより、人声、雑踏音、クラクション音、ブレーキのスキール音などを示す音声情報を求める。なお、これに加えて、走行状態解析部２２３は、走行位置と地図情報とを照合することにより、又は、画像特徴量を用いることにより、これらの音声情報の検出精度を高めるとしても良い。走行状態解析部２２３は、求められた音圧パワー、周波数特性、音声情報を走行状態データベース３６２に記録する。

走行位置の住所や、走行位置が区画境界にあるか否かといった情報は、走行位置と地図情報とを照合することにより求められる。ここで、区画境界としては、例えば、県境、市町村境界、町・字の境界、丁目の境界などが挙げられる。具体的には、走行状態解析部２２３は、走行位置と地図情報とを照合することにより、住所を求めるとともに、区画境界に車両９０が位置しているか否かを求める。なお、このようにする代わりに、走行状態解析部２２３は、画像特徴量を基に、テキスト解析を行うことで住所を求めるとしても良い。走行状態解析部２２３は、求められた住所、区画境界を走行状態データベース３６２に記録する。

標高状態は、走行位置と地図情報とを照合することにより求められる。具体的には、走行状態解析部２２３は、走行位置と地図情報とを照合することにより標高を求める。そして、走行状態解析部２２３は、求められた標高を基に、例えば、峠の最高標高地点、経路上の最高標高地点や最低標高地点といった特徴的な標高地点に車両９０が位置しているか否かを求める。なお、このようにする代わりに、ナビゲーション装置１は高度計を備えるとし、走行状態解析部２２３は、当該高度計の値に基づいて、標高を求めるとしても良い。走行状態解析部２２３は、求められた標高、特徴的な標高地点に車両９０が位置しているか否かといった情報を走行状態データベース３６２に記録する。

走行位置またはこの近隣における地理的スポット情報は、走行状態解析部２２３が走行位置と地図情報とを照合することにより求められる。地理的スポット情報としては、例えば、交差点、立体交差、踏切、トンネル、橋などの道路交通に関わるもの、店舗、施設、著名建築、公園、遊園地、観光名所などランドマークに関わるもの、海、湖、川、山、眺望スポットなど地形に関わるものなどが挙げられる。走行状態解析部２２３は、求められた地理的スポット情報を走行状態データベース３６２に記録する。

走行位置の道路種別は、走行状態解析部２２３が走行位置と地図情報とを照合することにより求められる。道路種別としては、例えば、高速道、有料道路、一般道、生活道路、駐車場などの種別の他、道路幅、車線数などの道路属性や、制限速度、一方通行などの道路交通法上の規制などが挙げられる。走行状態解析部２２３は、このようにして求められた走行位置の道路種別を走行状態データベース３６２に記録する。

走行位置の周辺の風景を示す風景状態の情報は、走行状態解析部２２３が走行位置と地図情報とを照合することにより求められる。風景状態の情報としては、例えば、市街地、田園地帯、山間部、海岸沿岸などが挙げられる。走行状態解析部２２３は、このようにして求められた風景状態の情報を走行状態データベース３６２に記録する。

ヒヤリハット地点に車両９０が位置するか否かといった情報は、走行状態解析部２２３が走行位置と地図情報とを照合することにより求められる。なお、ここで、ヒヤリハット地点とは、道路交通上の危険箇所や難所を意味し、例えば、交通事故が頻発する交差点、見通しの悪い場所、事故には至らなかったが事故の一歩手前の事例の発生場所などが挙げられる。走行状態解析部２２３は、走行位置がヒヤリハット地点にあるか否かを示す情報を走行状態データベース３６２に記録する。

（シーン分割方法）
次に、シーン分割方法について説明する。一般に放送番組は編集済みのコンテンツであるため、“撮影の不連続点”、具体的にはシーンチェンジを検出することでシーン分割を行うことが可能である。このようにして分割されたシーンは、大まかには一つの意味のある単位に相当し、コンテンツの意味理解に非常に重要な役割を果たす。一方、走行映像の場合には、撮影を開始した後は、ユーザが意識的に撮影を停止しない限り、撮影が終了するまで、“撮影の不連続点”が全くないコンテンツとなる。つまり、走行映像の場合には、“撮影の不連続点”を検出してシーン分割を行うことが難しい。しかし、ダイジェスト再生を行う場合には、コンテンツの意味理解が不可欠であり、このためには走行画像を意味のある単位で分割する必要がある。

そこで、第１実施例では、シーン分割部２２４は、走行状態データベース３６２に記録された走行状態の変化点又は特徴的な時点を境にして、走行映像のシーン分割を行うこととする。図６に走行状態の変化点の例をリストし、図７に走行状態の特徴的な時点の例をリストする。ただし、これら全ての走行状態の変化点と走行状態の特徴的な時点とがシーン分割に利用されるとは限られない。代わりに、これらのうち、システムで有効なもののみを用いてシーン分割を行うとしても良いのは言うまでもない。シーン分割部２２４は、図６、図７に示した時点を基準にして、走行映像についてシーン分割を行った後、分割されたシーンをシーンデータベース３６４に記録する。この段階では、シーンデータベース３６４には、例えば、走行映像ＩＤ、走行映像におけるシーンを識別するシーンＩＤ、当該シーンの走行映像における開始時間と終了時間が記録される（後に述べる図１０参照）。

（シーン重要度の算出方法）
次に、シーン重要度の算出方法について説明する。ここでは、一例として、走行状態の重要度判定表を用いる方法について説明する。

図８、図９は、走行状態の重要度判定表を示している。走行状態の重要度判定表は、各種の走行状態の重要度を予め定義したものである。図８、図９において、重要度を数値で表している。具体的には、正の整数はプラス評価で値が大きいほど重要度が高いことを示し、負の整数はマイナス評価で値が小さいほど重要度が低いことを示している。この重要度判定表は、データ記録ユニット３６などに予め記録されている。

シーン重要度判定部２２５は、シーン分割部２２４にて分割された各シーン毎に、重要度判定表を参照して、各種の走行状態の重要度を求め、求められた各種の走行状態の重要度を合計することにより、各シーンのシーン重要度を判定する。例えば、あるシーンの走行状態について、車両９０の車速状態が走行中でかつ低速走行となっており、画像情報として案内標識を含み、地理的スポット情報として交差点、観光名所を含み、風景状態の種別が市街地となっている場合には、図８、図９を参照して、以下のようにシーン重要度が求められる。

シーン重要度 ＝ ０（走行中）＋（−５）（低速走行）＋２５（案内標識）＋３０（交差点）＋５０（観光名所）＋１５（市街地）＝１１５
シーン重要度判定部２２５は、各シーンについて、上述のようにしてシーン重要度を求め、求められたシーン重要度をシーンデータベース３６４に記録する。シーンデータベース３６４に記録されるデータの一例を図１０に示す。図１０に示すように、このとき、シーンデータベース３６４には、走行映像ＩＤ、走行映像におけるシーンを識別するシーンＩＤ、当該シーンの走行映像における開始時間と終了時間に加えて、シーン重要度判定部２２５において判定されたシーン重要度が記録される。

図１１に、図８、図９を基にしてシーン重要度を求めることによる優先度の傾向を示す。なお、ここでいう優先度とは、ダイジェスト再生時における再生される優先度を示す。図８において、例えば、図８に示された走行状態の種別の一つとして「旋回状態」を見てみると、「右左折地点」は重要度が５０に設定され、「直進区間」は重要度が−５に設定され、「ワインディング区間」は重要度が１０に設定されている。従って、シーン重要度の傾向としては、シーンが右左折地点やワインディング区間を含むことにより優先度が上昇し、シーンが直進区間を含むことにより優先度が下がることとなる。なお、右左折地点の方がワインディング区間よりも重要度が大きくなっているので、右左折地点を含むシーンの方がワインディング区間を含むシーンよりも優先度は高くなる。

なお、ここで、上述の図８、図９に示した例では、重要度の値として、正の値、負の値を用いたが、これに限られない。このようにする代わりに、重要度の値を、例えば０〜１００までの連続値で示すといったように、０以上の整数値で示すとしても良い。この場合には、例えば、値が大きくなるほど、重要度が高くなるように設定される。または、このようにする代わりに、重要度の値を、例えば、重要＝２、普通＝１、退屈＝０のように３段階評価で示すとしても良い。

以上に述べたようにすることで、走行映像中におけるシーン毎のシーン重要度を適切に求めることができる。

（ダイジェスト再生方法）
次に、ダイジェスト再生方法について説明する。ダイジェスト再生制御部２２６は、再生すべきシーンを選択するスケジューリングを行い、当該スケジューリングに沿ってシーンの再生を行うことによりダイジェスト再生を行う。より具体的には、ダイジェスト再生制御部２２６は、スケジューリングとして、ダイジェスト再生の目標再生時間を条件として、シーン重要度やシーン時間長（即ち、シーンの時間的な長さ）に基づいて、再生すべきシーンを選択する。以下でより詳細に説明する。

まず、ダイジェスト再生制御部２２６は、ダイジェスト再生の目標再生時間Ｔを設定する。ここで、目標再生時間Ｔは、走行映像の総時間との比率に応じた時間、又は、予め決められた時間に設定される。なお、このようにする代わりに、目標再生時間Ｔは、ユーザが入力装置６０を介して入力した時間に設定されるとしても良い。

ダイジェスト再生制御部２２６は、シーンデータベース３６４より、シーン重要度の高いシーンを順に選択し、選択したシーンについてシーン再生速度を決定する。再生速度とは、例えば、等速再生、２倍速再生、・・Ｎ倍速再生といったような倍速再生の程度を示す。なお、ここで、Ｎが大きくなるにつれて高速再生となる。再生速度の決定方法としては、例えば以下に示す基準（ａ）〜（ｄ）のうち、いずれかを用いて決定される。このようにすることで、ダイジェスト再生を短時間で行うことが可能となる。

（ａ）シーン重要度の高いシーンは等速再生、低いシーンになるにつれ高速再生。

（ｂ）シーンの選択順番の早いシーンは等速再生、遅いシーンになるにつれ高速再生。

（ｃ）シーン時間長の短いシーンは等速再生、長いシーンになるにつれ高速再生。

（ｄ）上記の（ａ）、（ｂ）、（ｃ）の組み合わせ。

ダイジェスト再生制御部２２６は、選択したシーンについて、シーン時間長とシーン再生速度とを基に、シーン再生時間Ｔｓｉを計算する。シーン再生時間Ｔｓｉは、以下のようにして算出される。

シーン再生時間Ｔｓｉ＝シーン時間長／シーン再生速度
ダイジェスト再生制御部２２６は、シーンデータベース３６４よりシーン重要度の高い順に選択したシーンのそれぞれについてシーン再生時間Ｔｓｉを算出し、算出されたそれらのシーン再生時間Ｔｓｉを足し合わせることにより、ダイジェスト再生時間Ｔｄを算出する。ダイジェスト再生制御部２２６は、ダイジェスト再生時間Ｔｄが目標再生時間Ｔ以上となったところで、それまでに選択したシーンを、撮影された時系列に沿って、かつ、指定された再生速度となるようにスケジューリングを行う。ダイジェスト再生制御部２２６は、このようにして決定されたスケジューリングに従い、表示部４０１に対し各シーンの再生を行う。このようにすることで、重要シーンの再生を優先したダイジェスト再生を行うことができる。

（制御処理）
次に、上述の映像記録再生装置１００による制御処理について、図１２、１３のフローチャートを用いて説明する。

図１２は、車両の走行状態に基づいて走行映像のシーン分割を行い、シーン毎に重要度を設定してダイジェスト再生を行う全体の制御処理を示すフローチャートである。図１３は、ダイジェスト再生のためのスケジューリングを行う制御処理を示すフローチャートである。

まず、ステップＳ１０１において、撮影装置７０により走行映像が撮影され、撮影された走行映像が映像記録再生装置１００に入力される。走行映像記録部２２１は、入力された走行映像を走行映像データベース３６１に記録する。

ステップＳ１０２において、ＧＰＳ１８、加速度センサ１１、ジャイロセンサ１２、車速パルスセンサ１３などより各種のセンサ信号が映像記録再生装置１００に入力される。ステップＳ１０３において、画像／音声解析部２２２は、走行映像の解析を行い、画像特徴量及び音声特徴量を抽出する。ステップＳ１０４において、走行状態解析部２２３は、各種のセンサ信号、特徴量に基づいて、各種の走行状態を求め、走行状態データベース３６２に記録する。

ステップＳ１０５において、シーン分割部２２４は、ステップＳ１０４で求められた走行状態に基づいて、より具体的には、走行状態の変化点や特徴的な時点を基準として、走行映像データベース３６１に記録された走行映像のシーン分割を行う。これにより、走行映像を意味のあるコンテンツのシーンで分割することができる。シーン分割部２２４は、分割されたシーンをシーンデータベース３６４に記録する。

ステップＳ１０６において、シーン重要度判定部２２５は、シーンデータベース３６４に記録された各シーンに対し、各シーンにおける各種の走行状態に基づいて、シーン重要度を判定して設定する。このようにすることで、各シーン毎に適切なシーン重要度を設定することができる。

ステップＳ１０７において、ダイジェスト再生制御部２２６は、再生すべき重要シーンを選択するスケジューリングを行う。このステップＳ１０７のスケジューリングの制御処理について図１３を用いて説明する。

まず、ステップＳ２０１において、ダイジェスト再生制御部２２６は、目標再生時間Ｔを設定する。続くステップＳ２０２において、ダイジェスト再生制御部２２６は、ダイジェスト再生時間Ｔｄを「０」に設定する。この処理は、ダイジェスト再生時間Ｔｄの初期化を行う処理である。

ステップＳ２０３において、ダイジェスト再生制御部２２６は、シーンデータベース３６４に記録されたシーンのうち、シーン重要度の最も高いシーンを選択する。続くステップＳ２０４において、ダイジェスト再生制御部２２６は、選択されたシーンについて、シーン重要度やシーン時間長などに基づいて、シーン再生速度を決定する。

ステップＳ２０５において、ダイジェスト再生制御部２２６は、選択されたシーンについて、シーン時間長をシーン再生速度で割ることにより、シーン再生時間Ｔｓｉを求める。続くステップＳ２０６において、ダイジェスト再生制御部２２６は、ダイジェスト再生時間Ｔｄにシーン再生時間Ｔｓｉを加えた値を新たなダイジェスト再生時間Ｔｄとする。

ステップＳ２０７において、ダイジェスト再生制御部２２６は、ダイジェスト再生時間Ｔｄが目標再生時間Ｔ以上になっているか否かについて判定する。ダイジェスト再生制御部２２６は、ダイジェスト再生時間Ｔｄが目標再生時間Ｔ未満になっていると判定した場合には（ステップＳ２０７：Ｎｏ）、ステップＳ２０３の処理へ戻り、先に選択されたシーンの次に重要度の高いシーンについて、ステップＳ２０４〜ステップＳ２０６で述べたのと同様の処理を行う。一方、ダイジェスト再生制御部２２６は、ダイジェスト再生時間Ｔｄが目標再生時間Ｔ以上になっていると判定した場合には（ステップＳ２０７：Ｙｅｓ）、ステップＳ２０８の処理へ進み、それまでに選択されたシーンを、撮影された時系列に沿って、かつ、指定された再生速度でスケジューリングする。この後、ダイジェスト再生制御部２２６は、図１２のステップＳ１０８の処理へ進む。

図１２へ戻って説明を続けると、ステップＳ１０８において、ダイジェスト再生制御部２２６は、図１３の処理で設定されたスケジューリングに沿ってシーンの再生を行う。この後、ダイジェスト再生制御部２２６は、本制御処理を終了する。

以上に述べたように、第１実施例では、各種センサからのセンサ信号などに基づいて、車両の走行状態を求め、求められた走行状態に基づいて、走行映像のシーン分割を行う。また、第１実施例では、走行状態に基づいて、分割された各シーンにシーン重要度を設定する。走行状態に基づいて、走行映像のシーン分割を行うことにより、走行映像を意味のあるコンテンツのシーンで分割することができる。また、走行状態に基づいて、分割された各シーンにシーン重要度を設定することにより、各シーンに適切なシーン重要度を設定することができ、ダイジェスト再生のスケジューリングを行う際において、重要シーンを漏らさずに済む。

［第２実施例］
次に、第２実施例に係る映像記録再生装置について説明する。

ユーザがいつも走行している道路は、ユーザにとって見慣れた場所であるので、このような道路を走行しているときのシーンについては、ダイジェスト再生時には除外すべきであると考えられる。一方、初めての、あるいは走った回数の少ない道路は、ユーザにとって新鮮度の高い場所であるので、このような道路を走行しているときのシーンについては、ダイジェスト再生時には積極的に再生すべきであると考えられる。そこで、第２実施例に係る映像記録再生装置では、走行状態に加え、走行履歴をも基にして、走行映像の各シーンにシーン重要度を設定することとする。

図１４は、第２実施例に係る映像記録再生装置１００ａの機能構成を示す。図１４において、第１実施例にかかる映像記録再生装置１００と同様の機能については、図３で示したのと同じ符号で示している。なお、第１実施例に係る映像記録再生装置１００と同様、第２実施例に係る映像記録再生装置１００ａについても、実態的には、図１に示すナビゲーション装置１の各構成要素により実現される。

図１４より分かるように、第２実施例に係る映像記録再生装置１００ａは、第１実施例に係る映像記録再生装置１００の機能構成に加えて、走行履歴データベース３６５を有する構成となっている。

走行状態解析部２２３は、各種のセンサ信号又は特徴量に基づいて求められた走行状態を走行状態データベース３６２に記録するのに加え、走行状態データベース３６２に記録された走行位置を適宜、走行履歴データベース３６５にバックアップする。

シーン重要度判定部２２５は、走行履歴データベース３６５に記録されている走行履歴に基づいて、分割された各シーンにおける経路の走行回数を求める。シーン重要度判定部２２５は、求められた走行回数に基づいて、例えば、図１５に示すような走行回数の重要度判定表を用いて、各シーンにおける経路の走行回数に応じた重要度を求める。そして、シーン重要度判定部２２５は、各シーンについて、走行状態の重要度を合計した値に対し、走行回数に応じた重要度を加えることで、シーン重要度を算出する。

例えば、図１５に示す走行回数の重要度判定表では、走行回数の少ない経路ほど重要度が大きくなるように設定され、走行回数の多い経路ほど重要度が小さくなるように設定されている。このようにすることで、各シーンのシーン重要度は、シーンに対応する経路の走行回数の少ない経路ほど重要度が大きく設定され、シーンに対応する経路の走行回数の多い経路ほど重要度が小さく設定されることとなる。これにより、ユーザがいつも走行している道路は、ダイジェスト再生時における優先度が低くなり、初めての、あるいは走った回数の少ない道路は、ダイジェスト再生時における優先度が高くなる。

以上に述べたことから分かるように、第２実施例では、走行状態に加え、走行履歴をも基にして、走行映像の各シーンにシーン重要度を設定することとしている。このようにすることで、走行回数に応じた適切なシーン重要度を各シーンに設定することができる。

［第３実施例］
次に、第３実施例に係る映像記録再生装置について説明する。

ユーザの自宅付近や通勤経路付近は、見知った場所であるので、このような場所のシーンについては、ダイジェスト再生時には除外すべきであると考えられる。一方、ユーザにとっての思い出の場所などのシーンについては、ユーザにとって思い入れの高いシーンとなるので、ダイジェスト再生時には積極的に再生すべきであると考えられる。そこで、第３実施例に係る映像記録再生装置では、走行状態に加え、ユーザの個人的な情報である個人情報をも基にして、走行映像の各シーンにシーン重要度を設定することとする。

図１６は、第３実施例に係る映像記録再生装置１００ｂの機能構成を示す。図１６において、第１実施例にかかる映像記録再生装置１００と同様の機能については、図３で示したのと同じ符号で示している。なお、第１実施例に係る映像記録再生装置１００と同様、第３実施例に係る映像記録再生装置１００ｂについても、実態的には、図１に示すナビゲーション装置１の各構成要素により実現される。

図１６より分かるように、第３実施例に係る映像記録再生装置１００ｂは、第１実施例に係る映像記録再生装置１００の機能構成に加えて、個人情報データベース３６６を有する構成となっている。

個人情報データベース３６６には、個人情報として、例えば、自宅、実家、会社といったよく見知った場所の位置、通勤経路、思い出の場所の位置などが記録されている。これらのデータは、ユーザにより予め記録される。

シーン重要度判定部２２５は、各シーンにおける走行位置が、個人情報データベース３６６に個人情報として記録された位置や経路の付近にあるか否かについて判定する。シーン重要度判定部２２５は、各シーンにおける走行位置が、個人情報データベース３６６に個人情報として記録された位置や経路の付近にあると判定した場合には、例えば、図１７に示すような個人情報の重要度判定表を用いて、各シーンに対し、個人情報に応じた重要度を求める。そして、シーン重要度判定部２２５は、各シーンについて、走行状態の重要度を合計した値に対し、個人情報に応じた重要度を加えることで、シーン重要度を算出する。例えば、図１７に示す個人情報の重要度判定表では、自宅付近や通勤経路付近では重要度が小さくなるように設定され、思い出の場所では重要度が大きくなるように設定されている。これにより、ユーザの自宅付近や通勤経路付近のシーンは、ダイジェスト再生時における優先度が低くなり、ユーザの思い出の場所のシーンは、ダイジェスト再生時における優先度が高くなる。

以上に述べたことから分かるように、第３実施例では、走行状態に加え、個人情報をも基にして、走行映像の各シーンにシーン重要度を設定することとしている。このようにしても、個人情報に応じた適切なシーン重要度を各シーンに設定することができる。

［第４実施例］
次に、第４実施例に係る映像記録再生装置について説明する。

上述の各実施例に係る映像記録再生装置では、走行映像の各シーンのシーン重要度を自動的に判断していた。しかしながら、各実施例に係る映像記録再生装置によっても、ユーザにとって重要なシーンをスケジューリングし損ねる可能性はある。そこで、第４実施例に係る映像記録再生装置では、走行状態に加え、ユーザにより明示的に指示された重要シーンの情報をも基にして、走行映像の各シーンにシーン重要度を設定することとする。

図１８は、第４実施例に係る映像記録再生装置１００ｃの機能構成を示す。図１８において、第１実施例に係る映像記録再生装置１００と同様の構成については、図３で示したのと同じ符号で示している。なお、第１実施例に係る映像記録再生装置１００と同様、第４実施例に係る映像記録再生装置１００ｃについても、実態的には、図１に示すナビゲーション装置１の各構成要素により実現される。

図１８より分かるように、第４実施例に係る映像記録再生装置１００ｃは、第１実施例に係る映像記録再生装置１００の機能構成に加えて、重要シーン指示手段１４と、重要シーン指示情報データベース３６７と、を有する構成となっている。

重要シーン指示手段１４は、ユーザが走行中に、この場所の走行映像が重要シーンだと思った時、あるいは後で見たいと思った時に、この意思を映像記録再生装置１００ｃに伝える手段である。具体的には、重要シーン指示手段１４は、例えば、ボタン、スイッチ、タッチパネルなどの入力装置である。なお、重要シーン指示手段１４は、ユーザの声を認識する音声認識や、ユーザの仕草を認識するジェスチャ認識を行う入力装置であっても良い。重要シーン指示手段１４は、ユーザにより指示された重要シーン指示情報を重要シーン指示情報データベース３６７に記録する。重要シーン指示情報データベース３６７に記録される重要シーン指示情報としては、例えば、ユーザにより指示がされたときの時刻や走行位置が挙げられる。

シーン重要度判定部２２５は、ユーザにより指示された重要シーンを含んだシーンについては、走行状態の重要度を合計した値に対し、一定の重要度を加えて、シーン重要度を算出する。このようにすることで、ユーザにより指示がされた重要シーンを含んだシーンについては重要度が大きく設定され、ダイジェスト再生時における優先度が高くなる。

以上に述べたことから分かるように、第４実施例では、走行状態に加え、重要シーン指示情報をも基にして、走行映像の各シーンにシーン重要度を設定することとしている。このようにすることで、ユーザが見たいシーンを見逃すことのないダイジェスト再生を行うことができる。

［応用例］
次に、上述の各実施例に係る映像記録再生装置の応用例について説明する。上述の各実施例では、走行映像のシーン分割を行い、分割されたシーン毎にシーン重要度を設定するとしていた。しかしながら、これに限られるものではなく、走行映像のシーン分割を行わずに、シーンの最小単位であるフレーム毎にシーン重要度を設定するとしても良い。

図１９は、応用例に係る映像記録再生装置１００ｄの機能構成を示す。図１９に示す映像記録再生装置１００ｄは、一例として、第１実施例に係る映像記録再生装置１００の応用例を示している。図１９において、第１実施例に係る映像記録再生装置１００と同様の構成については、図３で示したのと同じ符号で示している。

図１９より分かるように、第１実施例に係る映像記録再生装置１００と異なり、応用例に係る映像記録再生装置１００ｄは、シーン分割部２２４、シーンデータベース３６４の代わりに、インデックスデータベース３６８を有する。

応用例に係る映像記録再生装置１００ｄにおいて、シーン重要度判定部２２５は、走行映像のフレーム毎に、走行状態に基づいてシーン重要度を算出する。図２０は、走行映像の時間に対するシーン重要度の変化を示すグラフである。

シーン重要度判定部２２５は、予め決められた閾値をシーン重要度が超えた場合には、この越えた区間内で最も高い重要度を持つフレームにインデックスを付与することとし、そのときのフレームを示すフレームＩＤ、または、そのときの時間位置をインデックスデータベース３６８に記録する。そして、シーン重要度判定部２２５は、インデックスが付与されたフレームを代表画像として、表示部４０１に一覧表示する。ユーザは、表示部４０１に一覧表示された代表画像の中から、任意の画像を選択する。このようにすることで、ユーザは、不必要なシーンをスキップするスキップ再生を行うことができる。

上述した応用例に係る映像記録再生装置１００ｄによる制御処理について、図２１のフローチャートを用いて説明する。

ステップＳ３０１〜Ｓ３０４までの処理は、図１２で述べたステップＳ１０１〜Ｓ１０４までの処理と同様であるので説明を省略する。

ステップＳ３０５において、シーン重要度判定部２２５は、走行映像データベース３６１に記録された走行映像のフレーム毎に、走行状態（または、これに加えて、走行履歴や個人情報など）に基づいて、シーン重要度を設定する。

ステップＳ３０６において、シーン重要度判定部２２５は、シーン重要度が設定された各フレームについて、予め決められた閾値をシーン重要度が超えている場合には、この越えた区間内で最も高い重要度を持つフレームＩＤもしくは走行映像中における時間位置をインデックスデータベース３６８に記録する。

ステップＳ３０７において、シーン重要度判定部２２５は、インデックスが付与されたフレームを代表画像として、表示部４０１に一覧表示して、本制御処理を終了する。

以上に述べた応用例に係る映像記録再生装置１００ｄによっても、ユーザは、不必要なシーンをスキップすることができる。これにより、ユーザは、重要なシーンのみを確認することができ、走行映像の内容を短時間で十分に確認することができる。

［変形例］
本発明は、上述した実施例に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う映像記録再生装置もまた本発明の技術的範囲に含まれるものである。

例えば、上記では、第１乃至第４実施例、応用例における制御を別個に説明したが、第１乃至第４実施例、応用例における制御を適宜組み合わせて実行しても良い。

また、上述の各実施例では、撮影装置７０は、走行している車両９０の周囲の映像たる走行映像を撮影するとしているが、これに限られるものではなく、加えて、車両９０の車室内の映像（以下、「車室内映像」と称する）も撮影し、当該車室内映像についても、走行状態に応じて、シーン分割、シーン重要度設定を行うとしても良い。また、上述の各実施例では、映像記録再生装置は、ＧＰＳ１８、加速度センサ１１、ジャイロセンサ１２、及び、車速パルスセンサ１３を用いて、走行状態を求めるとしている。しかしながら、これは一例であり、映像記録再生装置は、これらのうち、一部のセンサを用いて走行状態を求めるとしても良いのは言うまでもない。

さらに、映像記録再生装置は、上述のセンサの全部又は一部に加えて、他のセンサを用いて走行状態を求めるとしても良い。また、上述の各実施例では、映像記録再生装置は、映像に含まれる画像及び音声を解析して、画像特徴量及び音声特徴量を求め、これらの特徴量を用いて、走行状態を求めるとしているが、これに限られない。この代わりに、映像記録再生装置は、画像特徴量又は音声特徴量のうち、一方のみを用いて、走行状態を求めるとしても良いのは言うまでもない。

また、第１乃至第４実施例では、ナビゲーション装置１により映像記録再生装置の全ての機能が実現されるとしているが、これに限られない。このようにする代わりに、ナビゲーション装置１とは異なる他の装置で、映像記録再生装置の機能のうち、全部又は一部の機能を実現するとしても良い。例えば、ナビゲーション装置１のシステムコントローラが、走行映像記録部、画像／音声解析部、走行状態解析部の機能を有し、ナビゲーション装置１とは異なる他のオーディオ装置が、シーン分割部、シーン重要度判定部、ダイジェスト再生制御部の機能を有するとしても良い。この場合には、ナビゲーション装置１は、各種のセンサからのセンサ信号などに基づいて、走行状態を求め、求められた走行状態を走行状態データベースに記録する。ここで、走行映像データベース、走行状態データベースは、ディスクなどに記録される。そして、他のオーディオ装置は、当該ディスクなどに記録された走行映像データベース、走行状態データベースを用いて、シーン分割やシーン重要度判定を行い、ダイジェスト再生を行う。

なお、本発明の映像記録再生装置は、車両用のナビゲーション装置に適用されるのには限られず、代わりに、自転車や携帯電話などに搭載されるナビゲーション装置に適用されるとしても良いのは言うまでもない。つまり、本発明の映像記録再生装置は、車両に限られない他の移動体のナビゲーション装置に適用することができる。

本発明は、撮影用のカメラを搭載したカーナビゲーション装置、ＰＮＤ（Personal Navigation Device）、カーＡＶシステム、携帯電話、サイクルコンピュータ、ＧＰＳロガーなどに代表される車載機器あるいはモバイル機器に利用することができる。

請求項１に記載の発明は、映像記録再生装置であって、移動体に備えられた撮影手段と、前記撮影手段により撮影された映像を記録する映像記録手段と、前記移動体の複数の走行状態を求める走行状態解析手段と、前記走行状態の変化点又は特徴的な時点を境にして、前記映像を複数のシーンに分割するシーン分割手段と、求められた前記各々の走行状態の重要度を重み付け加算することで、前記分割された映像のシーン毎に重要度を判定して設定する重要度判定手段と、を備えることを特徴とする。

請求項１３に記載の発明は、映像記録再生方法であって、移動体に備えられた撮影手段により映像を撮影する撮影工程と、前記撮影手段により撮影された映像を記録する映像記録工程と、前記移動体の複数の走行状態を求める走行状態解析工程と、前記走行状態の変化点又は特徴的な時点を境にして、前記映像を複数のシーンに分割するシーン分割工程と、求められた前記各々の走行状態の重要度を重み付け加算することで、前記映像のシーン毎に重要度を判定して設定する重要度判定工程と、を備えることを特徴とする。

請求項１４に記載の発明は、撮影手段を有するナビゲーション装置により実行される映像記録再生プログラムであって、前記撮影手段により撮影された映像を記録する映像記録手段、前記移動体の複数の走行状態を求める走行状態解析手段、前記走行状態の変化点又は特徴的な時点を境にして、前記映像を複数のシーンに分割するシーン分割手段と、求められた前記各々の走行状態の重要度を重み付け加算することで、前記映像のシーン毎に重要度を判定して設定する重要度判定手段、として前記ナビゲーション装置を機能させることを特徴とする。

Claims (15)

1. 移動体に備えられた撮影手段と、
   前記撮影手段により撮影された映像を記録する映像記録手段と、
   前記移動体の走行状態を求める走行状態解析手段と、
   求められた前記走行状態に基づいて、前記映像のシーン毎に重要度を判定して設定する重要度判定手段と、を備えることを特徴とする映像記録再生装置。
2. 前記走行状態解析手段は、前記映像に含まれる画像及び音声のうち、少なくとも１つ以上を解析して求められた特徴量に基づいて、前記走行状態を求めることを特徴とする請求項１に記載の映像記録再生装置。
3. 前記走行状態解析手段は、ＧＰＳセンサ、加速度センサ、ジャイロセンサ、及び、車速パルスセンサのうち、少なくとも１つ以上のセンサからのセンサ信号に基づいて、前記走行状態を求めることを特徴とする請求項１又は２に記載の映像記録再生装置。
4. 地図情報を記録している地図情報記録手段を有し、
   前記走行状態解析手段は、前記地図情報に基づいて、前記走行状態を求めることを特徴とする請求項２又は３に記載の映像記録再生装置。
5. 前記移動体の走行履歴を記録する走行履歴記録手段を有し、
   前記重要度判定手段は、前記走行履歴と前記走行状態とに基づいて、前記映像のシーン毎に重要度を判定して設定することを特徴とする請求項１乃至４のいずれか一項に記載の映像記録再生装置。
6. ユーザの個人情報を記録する個人情報記録手段を有し、
   前記重要度判定手段は、前記個人情報と前記走行状態とに基づいて、前記映像のシーン毎に重要度を判定して設定することを特徴とする請求項１乃至５のいずれか一項に記載の映像記録再生装置。
7. ユーザが重要シーンを示す情報を指示するための指示手段を有し、
   前記重要度判定手段は、前記ユーザにより指示された情報と前記走行状態とに基づいて、前記映像のシーン毎に重要度を判定して設定することを特徴とする請求項１乃至６のいずれか一項に記載の映像記録再生装置。
8. 前記走行状態を基に、前記映像を複数のシーンに分割するシーン分割手段を備えることを特徴とする請求項１乃至７のいずれか一項に記載の映像記録再生装置。
9. 前記重要度判定手段は、前記移動体の走行状態に基づいて、前記映像のフレーム毎に重要度を判定して設定することを特徴とする請求項１乃至７のいずれか一項に記載の映像記録再生装置。
10. 前記映像のシーン毎に設定された重要度に応じて、ダイジェスト再生のスケジューリングを作成することで再生を制御するダイジェスト再生制御手段を有することを特徴とする請求項１乃至８のいずれか一項に記載の映像記録再生装置。
11. 前記ダイジェスト再生制御手段は、前記映像のシーンに設定された重要度が高くなるほど、当該映像のシーンを優先的にスケジューリングすることを特徴とする請求項１０に記載の映像記録再生装置。
12. 前記ダイジェスト再生制御手段は、前記映像のシーンに設定された重要度が低くなるほど、当該映像のシーンを速く再生することを特徴とする請求項１０又は１１に記載の映像記録再生装置。
13. 前記ダイジェスト再生制御手段は、前記映像のシーンの時間長が長くなるほど、当該映像のシーンを速く再生することを特徴とする請求項１０乃至１２のいずれか一項に記載の映像記録再生装置。
14. 移動体に備えられた撮影手段により映像を撮影する撮影工程と、
    前記撮影手段により撮影された映像を記録する映像記録工程と、
    前記移動体の走行状態を求める走行状態解析工程と、
    求められた前記走行状態に基づいて、前記映像のシーン毎に重要度を判定して設定する重要度判定工程と、を備えることを特徴とする映像記録再生方法。
15. 撮影手段を有するナビゲーション装置により実行される映像記録再生プログラムであって、
    前記撮影手段により撮影された映像を記録する映像記録手段、
    前記移動体の走行状態を求める走行状態解析手段、
    求められた前記走行状態に基づいて、前記映像のシーン毎に重要度を判定して設定する重要度判定手段、として前記ナビゲーション装置を機能させることを特徴とする映像記録再生プログラム。

Images