JP6376005B2 - ダイジェスト映像生成装置 - Google Patents
ダイジェスト映像生成装置 Download PDFInfo
- Publication number
- JP6376005B2 JP6376005B2 JP2015047506A JP2015047506A JP6376005B2 JP 6376005 B2 JP6376005 B2 JP 6376005B2 JP 2015047506 A JP2015047506 A JP 2015047506A JP 2015047506 A JP2015047506 A JP 2015047506A JP 6376005 B2 JP6376005 B2 JP 6376005B2
- Authority
- JP
- Japan
- Prior art keywords
- scene
- video
- driving
- vehicle
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000694 effects Effects 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 22
- 230000005540 biological transmission Effects 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 description 36
- 238000000605 extraction Methods 0.000 description 19
- 230000001133 acceleration Effects 0.000 description 14
- 238000009826 distribution Methods 0.000 description 13
- 238000012986 modification Methods 0.000 description 13
- 230000004048 modification Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000001360 synchronised effect Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000015541 sensory perception of touch Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Description
以下、ダイジェスト映像生成装置100の構成について述べる。ダイジェスト映像生成装置100は、図2に示すように、ドライブ映像取得部101、ドライブ映像データベース(以降、ドライブ映像DB)102、車両情報収集部103、走行環境情報収集部104、運転シーンデータベース(以降、運転シーンDB)105、運転シーン離散化部106、イベント抽出部107、速度テンポ設定部108、BGM生成部109、テキスト生成部110、ドライブ映像要約部111、及び、再生用データ生成部112を備えている。
ドライブ映像取得部101は、車載カメラ20が撮影した映像信号を逐次取得し、所定のエンコード処理を施して、ドライブ映像DB102に逐次格納する。このドライブ映像取得部101が請求項に記載の映像取得部に相当し、ドライブ映像DB102が請求項に記載の映像記憶部に相当する。
車両情報収集部103は、運転者による運転操作を表す運転データや、その運転操作の結果として表れる車両の挙動を表す挙動データを、車載センサ30から逐次取得する。また、車両情報収集部103は、運転データや挙動データをそれぞれ微分した微分データを生成する。
走行環境情報収集部104は、ナビECU40や車載カメラ20から、車両の走行に関連する環境の情報(走行環境情報とする)を逐次取得する。走行環境情報とは、例えば、車両の現在位置を示す現在位置情報や、現在位置情報から定まる走行軌跡情報、車両周囲の環境についての情報を表す周囲環境情報などが該当する。
運転シーンDB105は、次に説明する運転シーン離散化部106が、車両情報収集部103から取得する運転挙動データに基づいて、一連のトリップを、運転状況の変化に対応する複数の区間(運転シーンとする)に分割(離散化)するために必要なデータを記憶している。一連のトリップを複数の運転シーンに離散化するために必要なデータとは、各運転状況の発生する確率を定義したデータや、或る運転状況から別の運転状況へと遷移する確率を定義したデータや、離散化された運転シーンがどのような運転状況を示しているかを特定するための複数の運転トピックを示すデータ等である。
各運転トピックのデータは、種々の試験によって予め定義された基底特徴分布、及び、その運転シーンを説明するために予め用意された複数のタグの分布を表す基底タグ分布から構成されている。基底特徴分布及び基底タグ分布についての詳細は、非特許文献1、及び、参考文献としての特開2014−235605号公報に開示されているため、ここでの説明は省略する。
運転シーン離散化部106は、車両情報収集部103から取得する運転挙動データと、運転シーンDB105に格納されているデータを用いて、トリップを複数の運転シーンに離散化する。そして、各運転シーンがどういった状況を表しているのかを解析し、類似した状況を示す複数の連続した運転シーンを、1つのグループ(シーングループとする)に統合する。運転シーン離散化部106が請求項に記載のシーン分割部に相当する。
イベント抽出部107は、車両情報収集部103が収集及び算出した運転挙動データの時系列データ、走行環境情報収集部104が収集した走行環境情報、及び、運転シーン離散化部106から提供されるシーン情報の少なくとも1つに基づいて、走行に関する種々のイベントを抽出する。
速度テンポ設定部108は、図5に示す3つのステップS1〜S3を実施することで、トリップ中に撮影された一連のドライブ映像のうち、各運転シーンに対応する区間の再生速度を設定するとともに、その運転シーンに対応する区間を再生している間において再生するBGMのテンポを決定する。
BGM生成部109は、速度テンポ設定部で設定したテンポ情報と、イベント抽出部107が抽出したイベント情報から、ダイジェスト映像に付与するBGMのデータを生成する。具体的には、BGMとして予め準備している楽曲のMIDI(Musical Instrument Digital Interface)データに、テンポ変化点のタイミングでテンポチェンジを入れる。テンポチェンジの結果、設定されるテンポの値は、速度テンポ設定部108が設定した値である。
テキスト生成部110は、イベント抽出部107から提供されるイベント情報に基づいて、イベントの内容を示すテキストを生成する。例えば、イベント抽出部107によって、高速道路の料金所を通過するためにアクセルペダルの踏込を緩めたといったイベントが抽出されている場合には、その旨を示すテキストデータを生成する。なお、テキスト生成部110は、全てのイベントに対してテキストデータを生成してもよいし、予め定められた種別のイベントに対してのみ、テキストデータを生成してもよい。
ドライブ映像要約部111は、各運転シーンに対応するドライブ映像のデータを、速度テンポ設定部108によって設定された運転シーン毎の再生速度に基づいて間引くことにより、ドライブ映像を要約した動画(ダイジェスト映像とする)を作成する。元の映像を所定の再生速度で再生した映像とする動画編集技術は周知であるため、ここではその詳細な説明は省略する。作成したダイジェスト映像は、再生用データ生成部112に出力する。
再生用データ生成部112は、ドライブ映像要約部111が生成したダイジェスト映像に、BGM生成部109が生成したBGMデータと、テキスト生成部110が生成したテキストデータを合成することで、再生用データを生成する。
以上の処理によって、ダイジェスト映像生成装置100が生成した再生用データは、例えば、ダイジェスト映像再生装置200に提供されて再生される。つまり、ダイジェスト映像再生装置200は、再生用データに基づいて、ダイジェスト映像をディスプレイ50に表示するとともに、ダイジェスト映像と同期したBGMをスピーカ60から出力する。
以上では、種々のイベントを効果音や、BGMのアレンジによってユーザに伝える態様を例示したが、これに限らない。種々のイベントを、バイブレータ70を振動させることでユーザに伝えても良い。また、イベントの種類に応じて、バイブレータ70の振動パターン(振動の強さや、振動の間隔など)を変更してもよい。
なお、ダイジェスト映像再生装置200が車両に搭載されている態様とする場合には、車両に搭載されている車速メータやエンジン回転速度メータなどの指示値を、再生中のダイジェスト映像の場面と連動した値となるように制御してもよい。
ダイジェスト映像の各場面における走行関連情報を、BGM等の音声情報や、振動などの触覚情報で表現するとともに、さらに、走行関連情報を示すテキストや画像をダイジェスト映像に重畳表示させる態様としてもよい。例えば、走行速度や加速度などのパラメータの時間変化を、メータ画像やグラフ、バーの伸縮等で表示してもよい。
以上では、ダイジェスト映像再生装置200が車両に搭載されている態様としたが、これに限らない。スマートフォンなどの携帯端末などを、ダイジェスト映像再生装置200として採用してもよい。その場合、ダイジェスト映像生成装置100は、生成した再生用データを、所定の記憶媒体に保存する保存機能や、外部出力したりするための外部出力機能を備えていれば良い。
以上では、車両情報収集部103が運転挙動データを車両内ネットワーク10を通じて車載センサ30から取得する態様としたが、これに限らない。スマートフォンなどの携帯端末などを車両情報収集部103として採用しても良い。その場合、スマートフォンなどの携帯端末に搭載された加速度センサ等を車載センサ30に相当する信号源として用い、アクセルペダルの操作量、ブレーキペダルの操作量といった操作量を直接取得するのではなく、携帯端末に搭載された加速度センサの値から車両挙動データを取得すればよい。
BGMを生成するための元となるデータは、MIDIデータに限らず、編曲可能な電子データであればよい。また、BGMとして、ユーザによって設定された音楽を採用してもよい。さらには、複数種類の楽曲の電子データを用意しておき、BGM生成部109が運転状況に応じた楽曲の電子データを、BGMの元となるデータとして自動的に採用する態様としてもよい。
また、BGM生成部109は、BGMに効果音を付与するのではなく、音量の大小を変更したり、ノイズを付与することで、瞬間的なイベントを表現したりしてもよい。さらに、BGM生成部109は、BGMの音域(周波数)を上げ下げすることで、車両の走行速度を表現してもよい。
また、以上では、請求項に記載の映像撮影装置として、光学式のカメラである車載カメラ20を採用した態様を例示したがこれに限らない。映像撮影装置は、例えばレーザレーダを用いて物体までの距離を映像として撮影する装置(レーザレーダ撮像装置とする)を用いても良い。このような態様においても、車載カメラを用いる場合と同様に、レーザレーダ撮像装置によって得られたドライブ映像から車両情報を用いてダイジェスト映像を生成し、車両情報や走行環境情報を反映したBGMやテキストを付与することができる。
Claims (10)
- 車両に搭載された映像撮影装置が撮影した映像を逐次取得する映像取得部(101)と、
前記映像取得部が取得した映像を記憶する映像記憶部(102)と、
前記映像撮影装置による撮影が開始してから終了するまでの前記車両の運転状況を示す車両情報を逐次取得する車両情報取得部(103)と、
前記車両情報取得部が収集した車両情報に基づいて、前記映像撮影装置による撮影が開始してから終了するまでの前記車両の一連の走行であるトリップを、複数の運転シーンに分割するシーン分割部(106)と、
前記運転シーンの長さに応じて、前記運転シーンに対応する時間帯に撮影された映像の再生速度を設定する再生速度設定部(108)と、
前記再生速度設定部が設定した前記運転シーン毎の再生速度に基づいて、前記映像記憶部が記憶している映像を要約したダイジェスト映像を生成するドライブ映像要約部(111)と、
前記ダイジェスト映像の各場面における前記車両の走行に関連する情報である走行関連情報を、ユーザの聴覚又は触覚を介してユーザに伝えるためのデータである伝達用データを生成する伝達用データ生成部(109)と、
前記ドライブ映像要約部が生成した前記ダイジェスト映像に、前記伝達用データ生成部が生成した前記伝達用データと付加した再生用データを生成する再生用データ生成部(112)と、を備えることを特徴とするダイジェスト映像生成装置。 - 請求項1において、
前記伝達用データ生成部として、前記ダイジェスト映像の各場面に対応する前記走行関連情報に応じて変化する前記ダイジェスト映像のBGMを生成するBGM生成部を備えることを特徴とするダイジェスト映像生成装置。 - 請求項2において、
前記BGM生成部は、前記ダイジェスト映像の各場面における前記車両の走行速度に対応してテンポが変化する前記BGMを生成することを特徴とするダイジェスト映像生成装置。 - 請求項3において、
前記BGM生成部は、前記車両の走行速度が大きいほど、その場面に対応する部分のテンポを速くすることを特徴とするダイジェスト映像生成装置。 - 請求項4において、
前記BGM生成部は、前記BGMにおけるテンポが変化するタイミングと、前記ダイジェスト映像において前記運転シーンが切り替わるタイミングとを同期させた前記BGMを生成することを特徴とするダイジェスト映像生成装置。 - 請求項5において、
前記シーン分割部は、複数の連続する前記運転シーンのそれぞれが示す運転状況が類似している否かを判定し、類似していると判定した場合には、それら複数の前記運転シーンを1つのシーングループとして設定するものであって、
前記BGM生成部は、前記BGMにおいて同一のシーングループに属する前記運転シーンに対応する部分のテンポは、そのシーングループにおける平均車速に応じた一定の値とすることを特徴とするダイジェスト映像生成装置。 - 請求項5又は6において、
前記BGM生成部は、前記BGMの小節の切れ目においてテンポを変化させることを特徴とするダイジェスト映像生成装置。 - 請求項2から7の何れか1項において、
前記トリップ中において発生した前記車両の走行に関連する所定のイベントを検出するイベント検出部(107)を備え、
前記BGM生成部は、前記BGMにおいて、前記イベント検出部が検出した前記イベントが生じている部分に、前記イベントに対応する効果音を付与するか、又は、前記イベントに対応するアレンジ処理を施すことを特徴とするダイジェスト映像生成装置。 - 請求項8において、
前記車両の走行環境に関わる走行環境情報を収集する走行環境情報収集部(104)を備え、
前記イベント検出部は、前記走行環境情報収集部が取得した前記走行環境情報と、前記車両情報取得部が取得した前記車両情報の少なくとも何れか一方に基づいて前記イベントを検出することを特徴とするダイジェスト映像生成装置。 - 請求項9において、
前記イベント検出部が検出した前記イベントの内容を表すテキストを生成するテキスト生成部(110)を備え、
前記再生用データ生成部は、前記ダイジェスト映像において前記イベントの発生したタイミングに対応する部分に前記テキストが重畳表示されるように、前記ダイジェスト映像に前記テキストを付与した前記再生用データを生成することを特徴とするダイジェスト映像生成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015047506A JP6376005B2 (ja) | 2015-03-10 | 2015-03-10 | ダイジェスト映像生成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015047506A JP6376005B2 (ja) | 2015-03-10 | 2015-03-10 | ダイジェスト映像生成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016167771A JP2016167771A (ja) | 2016-09-15 |
JP6376005B2 true JP6376005B2 (ja) | 2018-08-22 |
Family
ID=56898836
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015047506A Active JP6376005B2 (ja) | 2015-03-10 | 2015-03-10 | ダイジェスト映像生成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6376005B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11388338B2 (en) * | 2020-04-24 | 2022-07-12 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Video processing for vehicle ride |
US11396299B2 (en) | 2020-04-24 | 2022-07-26 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Video processing for vehicle ride incorporating biometric data |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020144332A (ja) * | 2019-03-08 | 2020-09-10 | トヨタ自動車株式会社 | 仮想現実システムおよび仮想現実方法 |
JP7247790B2 (ja) * | 2019-07-02 | 2023-03-29 | 株式会社デンソー | 走行環境監視装置、走行環境監視システム、及び走行環境監視プログラム |
JP6917426B2 (ja) * | 2019-09-13 | 2021-08-11 | 株式会社デンソーテン | 画像表示装置、画像表示方法、および、画像表示システム |
JP7451999B2 (ja) * | 2019-12-24 | 2024-03-19 | 株式会社Jvcケンウッド | 録画装置、動画システム、録画方法、及びプログラム |
JP7452000B2 (ja) * | 2019-12-24 | 2024-03-19 | 株式会社Jvcケンウッド | 録画装置、録画方法、及びプログラム |
JP2022131017A (ja) * | 2021-02-26 | 2022-09-07 | 株式会社デンソーテン | 情報提供装置及び情報提供システム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4568506B2 (ja) * | 2004-02-05 | 2010-10-27 | パイオニア株式会社 | 再生制御装置 |
JP2010011409A (ja) * | 2008-06-30 | 2010-01-14 | Nippon Telegr & Teleph Corp <Ntt> | 映像ダイジェスト装置及び映像編集プログラム |
WO2010150348A1 (ja) * | 2009-06-23 | 2010-12-29 | パイオニア株式会社 | 映像記録再生装置、映像記録再生方法、および映像記録再生プログラム |
JP5726626B2 (ja) * | 2011-05-13 | 2015-06-03 | パイオニア株式会社 | 再生区間抽出方法、プログラムおよび記憶媒体、並びに再生区間抽出装置および輸送機器搭載装置 |
JP5798472B2 (ja) * | 2011-12-16 | 2015-10-21 | 株式会社 ミックウェア | 車載装置、楽曲再生方法、およびプログラム |
JP5664605B2 (ja) * | 2012-07-26 | 2015-02-04 | 株式会社デンソー | ドライブ映像記録装置及びドライブ映像記録システム |
JP6026959B2 (ja) * | 2013-06-03 | 2016-11-16 | 株式会社デンソー | 運転シーンラベル推定装置 |
-
2015
- 2015-03-10 JP JP2015047506A patent/JP6376005B2/ja active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11388338B2 (en) * | 2020-04-24 | 2022-07-12 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Video processing for vehicle ride |
US11396299B2 (en) | 2020-04-24 | 2022-07-26 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Video processing for vehicle ride incorporating biometric data |
Also Published As
Publication number | Publication date |
---|---|
JP2016167771A (ja) | 2016-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6376005B2 (ja) | ダイジェスト映像生成装置 | |
JP5664605B2 (ja) | ドライブ映像記録装置及びドライブ映像記録システム | |
CN105702270B (zh) | 音乐播放方法和装置 | |
KR102300034B1 (ko) | 디지털 이미지 처리 장치 및 제어 방법 | |
JP6083752B2 (ja) | 運転支援方法、センタ装置、運転支援システム | |
EP1562176A1 (en) | Reproducing rhythm controller, reproduction rhythm control method, program for the same and recording medium with program recorded therein | |
JP2007155341A (ja) | 経路案内システム及び経路案内方法 | |
JP2006267328A (ja) | 音声案内装置および音声案内方法 | |
KR20090042309A (ko) | 경로 안내 시스템 및 프로그램 | |
Kari et al. | Soundsride: Affordance-synchronized music mixing for in-car audio augmented reality | |
JP2022140530A (ja) | 情報記録装置、情報記録方法及び情報記録用プログラム | |
JP2012207998A (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP2011155552A (ja) | 映像再生装置及び映像再生方法 | |
US11150102B2 (en) | Virtual-space-image providing device and program for providing virtual space image | |
JP5726626B2 (ja) | 再生区間抽出方法、プログラムおよび記憶媒体、並びに再生区間抽出装置および輸送機器搭載装置 | |
JP2007259146A (ja) | 字幕検出装置、字幕検出方法、字幕検出プログラム、および記録媒体 | |
JP4051990B2 (ja) | 安全運転支援装置及び画像処理装置 | |
JP5847004B2 (ja) | 音声再生スケジュール装置および方法 | |
KR101793142B1 (ko) | 진동을 이용한 주행 보조 장치 및 방법, 이를 수행하기 위한 기록매체 | |
JP6889828B2 (ja) | 運転操作提案方法及び運転操作提案システム | |
KR20100003577A (ko) | 차량의 교통상황과 연계한 컨텐츠 제어 방법 및 그를 위한시스템 | |
JP2008122495A (ja) | オーディオ連携経路案内システム及びオーディオ連携経路案内方法 | |
JP2010190773A (ja) | ナビゲーション装置およびナビゲーション方法 | |
WO2023127422A1 (ja) | 情報処理装置、情報処理方法、プログラム、情報処理システム | |
JP2008058172A (ja) | 経路案内システム及び経路案内方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170914 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180626 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180709 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6376005 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |