JP6773579B2

JP6773579B2 - マルチメディアキャプチャ用のシステム及び方法

Info

Publication number: JP6773579B2
Application number: JP2017018503A
Authority: JP
Inventors: 雄一落合; ナガタカツミ; 佐々木　章; 章佐々木
Original assignee: トヨタモーターエンジニアリングアンドマニュファクチャリングノースアメリカ，インコーポレイティド
Priority date: 2016-02-29
Filing date: 2017-02-03
Publication date: 2020-10-21
Anticipated expiration: 2037-02-03
Also published as: US9918038B2; US20170251163A1; JP2017194950A

Description

本明細書は、ロードトリップアルバムのキャプチャ、記録及び共有に関する。

ビデオ撮影及び記録機器は、画像のキャプチャ及び記録のために使用されている。車両内において、ビデオ機器は、車両の内部の人物のビデオ画像と、車両の外部の画像と、を記録するべく使用されている。ビデオには、編集プロセスが適用されてもよく、次いで、ビデオは、表示される。しかし、ビデオ画像は、補正されることがなく、且つ、同期も行われず、その結果、自然発生的なイベントの全体像をキャプチャ及び記録するプロセスが困難である。更には、ビデオ画像のキャプチャが手動で開始されており、その結果、いくつかの自然発生的なイベントを逃すことにもなる。

従って、ロードトリップの際に、自然発生的なイベントのアングル及び視点のすべてをキャプチャし、記録し、且つ、共有するシステム及び方法に対するニーズが存在している。

一般に、本明細書において記述されている主題の一態様は、ネットワークを通じて車両に接続された１又は複数のストレージ装置を含む車両用のマルチメディアキャプチャシステムのためのシステムにおいて実施される。車両は、ビデオをバッファするための、且つ、１又は複数のビデオプロセッサに結合された、メモリを含む。車両は、複数のカメラを含む。複数のカメラは、第１カメラと、第２カメラと、を含み、且つ、１又は複数のビデオプロセッサに結合されている。１又は複数のビデオプロセッサは、一定時間にわたって車両の内部ビューの第１ビデオをキャプチャすると共に、一定時間にわたって車両の周囲の外部ビューの第２ビデオをキャプチャするように、構成されている。１又は複数のビデオプロセッサは、第１ビデオと第２ビデオを同期させるように構成されている。車両は、車両内のオーディオをキャプチャするための１又は複数のオーディオプロセッサに結合された１又は複数のマイクロフォンと、マルチメディアプロセッサを含みうる電子制御ユニットと、を含む。マルチメディアプロセッサは、１又は複数のビデオプロセッサと、１又は複数のオーディオプロセッサと、を含んでもよい。電子制御ユニットは、同期されたビデオをバッファし、トリガイベントを検出し、且つ、同期されたビデオを保存するように、構成されている。

これらの及びその他の実施形態は、任意選択により、以下の特徴のうちの１又は複数を含んでもよい。１又は複数のオーディオプロセッサは、車両の内部からの１又は複数のオーディオ表現を含みうるオーディオをキャプチャするように構成されてもよい。１又は複数のオーディオプロセッサは、１又は複数のオーディオ表現の周波数レベルを計測してもよい。電子制御ユニットは、１又は複数のオーディオ表現の周波数レベルが、特定の範囲内である場合に、トリガイベントが発生していると判定してもよい。特定の範囲は、ユーザ構成可能であってもよく、或いは、既定されてもよい。

マルチメディアプロセッサは、オーディオを同期されたビデオと同期させるように構成されてもよい。電子制御ユニットは、同期されたビデオを開始時間と終了時間の間に保存するように構成されてもよく、開始時間は、トリガイベントの時又は前であり、且つ、終了時間は、トリガイベントの後の閾値時間量である。開始時間、終了時間、及び／又はトリガイベントの後の閾値時間量は、ユーザ構成可能な設定であってもよい。トリガイベントは、ユーザインターフェイス上におけるユーザインターフェイス要素の選択であってもよい。

車両は、現在の日付及び時刻並びに車両の現在の場所を含む車両情報を取得するべく電子制御ユニットに結合されたナビゲーションユニットを含んでもよい。電子制御ユニットは、車両情報を取得すると共に車両情報に基づいて１又は複数のランドマークを識別するように、構成されてもよい。１又は複数の外部データベースが、ネットワークを通じて車両に接続されてもよい。１又は複数の外部データベースは、ランドマーク情報を含んでいてもよい。電子制御ユニットは、ランドマーク情報を取得すると共にランドマーク情報に基づいて１又は複数のランドマークを識別するように構成されてもよい。電子制御ユニットは、同期されたビデオ内の１又は複数のランドマークにタグ付けしてもよい。電子制御ユニットは、１又は複数のストレージ装置にアクセスしてもよく、且つ、同期されたビデオを保存するべく、同期されたビデオを車両に接続された１又は複数のストレージ装置に送信してもよい。

別の態様において、主題は、車両用のロードトリップアルバムのための方法において実施されてもよい。方法は、１又は複数のビデオプロセッサにおいて、且つ、第１カメラを使用することにより、一定時間にわたって車両の内部ビューの第１ビデオをキャプチャすることを含んでいてもよい。方法は、１又は複数のビデオプロセッサにおいて、且つ、第２カメラを使用することにより、一定時間にわたって車両の周囲の外部ビューの第２ビデオをキャプチャすることを含んでいてもよい。方法は、１又は複数のビデオプロセッサを使用することにより、第１ビデオと第２ビデオを同期させることと、メモリ内において、同期されたビデオをバッファすることと、を含んでいてもよい。方法は、トリガイベントを検出することと、同期されたビデオを保存することと、を含んでいてもよい。

別の態様において、主題は、ネットワークを通じて自律型車両に接続された１又は複数のストレージ装置を含む自律型車両用のマルチメディアキャプチャシステムのためのシステムにおいて実施されてもよい。自律型車両は、ビデオをバッファするための、且つ、１又は複数のビデオプロセッサに結合された、メモリを含む。自律型車両は、複数のカメラを含む。複数のカメラは、第１カメラと、第２カメラと、を含み、且つ、１又は複数のビデオプロセッサに結合されている。１又は複数のビデオプロセッサは、一定時間にわたって自律型車両の内部ビューの第１ビデオをキャプチャすると共に、一定時間にわたって自律型車両の周囲の外部ビューの第２ビデオをキャプチャするように、構成されている。１又は複数のビデオプロセッサは、第１ビデオと第２ビデオを同期させるように構成されている。自律型車両は、自律型車両内のオーディオをキャプチャするべく１又は複数のオーディオプロセッサに結合された１又は複数のマイクロフォンと、マルチメディアプロセッサを含みうる電子制御ユニットと、を含む。マルチメディアプロセッサは、１又は複数のビデオプロセッサと、１又は複数のオーディオプロセッサと、を含んでいてもよい。電子制御ユニットは、同期されたビデオをバッファし、トリガイベントを検出し、且つ、同期されたビデオを保存するように、構成されている。

本発明のその他のシステム、方法、特徴、及び利点については、以下の図及び詳細な説明を検討することにより、当業者に明らかとなろう。図面に示されているコンポーネント部品は、必ずしも縮尺が正確ではなく、且つ、本発明の重要な特徴を相対的に良好に示すべく、誇張されている場合がある。

本発明の一態様による車両用のマルチメディアキャプチャシステムの一例のブロック図である。本発明の一態様によるロードトリップイベントをキャプチャするプロセスの一例のフロー図である。本発明の一態様によるロードトリップイベントをキャプチャするプロセスの一例のフロー図である。本発明の一態様によるロードトリップイベントが発生していると判定するプロセスの一例のフロー図である。本発明の一態様によるロードトリップアルバムの一例の図である。本発明の一態様によるロードトリップアルバムを実装するためのコンポーネントのやり取りの一例のシーケンスである。

本明細書には、マルチメディアキャプチャモードの予測、準備、及び実装用のシステム、車両、及び方法が開示されている。本明細書において記述されている主題の特定の実施形態は、以下の利点のうちの１又は複数を実現するべく実装されてもよい。マルチメディアキャプチャシステムは、車両において旅行している最中に、予期しない楽しみや興奮の瞬間を自動的にタグ付け及びキャプチャする。例えば、車両内の乗員は、ロードトリップを走行中であってもよく、且つ、「あの滝を見て！」と叫ぶ場合がある。マルチメディアキャプチャシステムは、このイベント及びビデオにタグ付けすることができ、且つ、叫んだ乗員、その他の乗員の反応又は顔面表現、及び滝をビデオ撮影することになろう。

マルチメディアキャプチャシステムは、キャプチャされたロードトリップイベントから、ロードトリップアルバムを生成してもよい。予期しない瞬間を自動的に検出することにより、マルチメディアキャプチャシステムは、乗員及び／又は運転者の率直な反応をキャプチャする。瞬間を逃すことのないように、トリガイベントの前の瞬間に始まって、トリガイベントの後の所定の時点までのロードトリップイベントの全体がキャプチャされる。乗員の反応、ロードトリップイベント、及び周囲環境のすべてが、リアルタイムで、例えば、パーソナルハンドヘルド装置上において又は車両（例えば、後部座席）エンターテインメントセンタ上において、キャプチャ、保存、及び／又は表示されてもよい。

その他の利益及び利点は、乗員の反応と共に、車両の外部の周囲環境のパノラマビューをキャプチャし、同期し、保存し、且つ、表示する能力を含む。更なる利益及び利点は、ビデオと共に、車両の内部及び／又は外部の音をキャプチャし、同期し、保存し、且つ、再生する能力を含みうる。例えば、車両がゴールデンゲートブリッジを通過するのに伴って、マルチメディアキャプチャシステムは、眺めに圧倒されている車両内部の子供たち、一方の窓の外のサンフランシスコ湾の眺め、別の窓の外のサンフランシスコのダウンタウンの眺め、通過するトローリーの音、及び子供たちによって表される興奮の音を記録してもよい。異なる眺め及び音を記録し、キャプチャし、且つ、同期させる能力を有することにより、個人は、ロードトリップを印象的なものとしたすべての詳細事項の記録を入手する。

図１は、車両１０２のマルチメディアキャプチャシステムの一例のブロック図である。マルチメディアキャプチャシステム１００は、ロードトリップアルバム内においてロードトリップイベントをキャプチャするように適切にプログラムされた１又は複数のコンピュータ又は電子制御ユニット（ＥＣＵ：ＥｌｅｃｔｒｏｎｉｃＣｏｎｔｒｏｌＵｎｉｔ）を含んでいてもよい。

マルチメディアキャプチャシステム１００は、ネットワーク１０６に結合された車両１０２と、１又は複数の外部データベース１０４と、１又は複数のストレージ装置１３０と、を含む。例えば、車両１０２などの車両は、一人若しくは複数の人物又は任意の物資又は任意の永久的に若しくは一時的に取り付けられた装置を搬送できる乗り物である。車両は、自己推進型の車輪を有する乗り物、例えば乗用車、スポーツ用途車、トラック、バス、バン、又はその他のモーター又はバッテリによって駆動される車両であってもよい。例えば、車両１０２は、エンジン１０８、電池１２０、及び／又はモーター／発電機１１０を含む、ガソリン又はディーゼルエンジンによって動力（パワー）供給される車両、電気車両、ハイブリッド車両、プラグインハイブリッド車両、又は任意のその他のタイプの車両であってもよい。車両のその他の例は、自転車、列車、飛行機、又はボート、並びに、搬送能力を有する任意のその他の形態の乗り物を含む。例えば、車両１０２などの車両は、半自律型又は自律型であってもよい。即ち、車両１０２は、人間の入力を伴うことなしに、自己操縦してもよく、且つ、ナビゲートしてもよい。自律型車両は、自律的に走行するべく、１又は複数のセンサ、例えば１又は複数のセンサ１２６と、ナビゲーションユニット、例えばナビゲーションユニット１２２と、を使用してもよい。

車両１０２は、ネットワーク１０６に結合されていてもよい。ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、セルラーネットワーク、インターネット、狭域通信（ＤＳＲＣ：ＤｅｄｉｃａｔｅｄＳｈｏｒｔ−ＲａｎｇｅＣｏｍｍｕｎｉｃａｔｉｏｎ）、又はこれらの組合せなどのネットワーク１０６が、車両１０６を１又は複数の外部データベース１０４に接続する。外部データベース１０４は、様々なサービスプロバイダからの多数のデータベースを含んでいてもよい。サービスプロバイダは、情報を車両１０２に提供してもよい。サービスプロバイダによって提供される情報は、マップ情報を含んでいてもよい。情報は、１又は複数のデータベース、に保存されてもよい。

データベースは、コンピュータなどによるサーチ及び検索のために体系化された情報の任意の集合体であり、且つ、データベースは、表、スキーマ、クエリ、レポート、又は任意のその他のデータ構造において体系化されてもよい。データベースは、任意の数のデータベース管理システムを使用してもよい。１又は複数の外部データベース１０４は、情報を保存又は提供する第三者サーバー又はウェブサイトを含んでいてもよい。情報は、リアルタイム情報であってもよく、定期的に更新されてもよく、或いは、ユーザ入力されてもよい。サーバーは、ファイルのアクセス又は周辺装置の共有などのサービスをネットワーク内のその他のコンピュータに提供するべく使用されるネットワーク内のコンピュータであってもよい。ウェブサイトは、ドメイン名と関連する１又は複数のリソースの集合体であってもよい。

マップ情報は、ランドマーク情報を含んでいてもよい。ランドマーク情報は、１又は複数のランドマーク特徴を含む。ランドマーク特徴は、観光地、建物、橋、大規模交通ハブ、歴史的なランドマーク、山、河、及び湖などの自然地形の特徴、並びに、ガソリンスタンドやスタジアムなどのその他の場所又は構造、或いは、その他の名所である。それぞれのランドマーク特徴は、マップ座標、高度情報、及び／又は１又は複数の画像と関連付けられている。マップ座標は、特徴の緯度及び経度座標の両方を含む。

ネットワーク１０６を介して車両に結合された１又は複数のストレージ装置１３０は、ネットワーク又はクラウドストレージを提供する１又は複数のサーバーを含んでいてもよい。即ち、デジタルデータがその内部において保存されるデータストレージは、１又は複数の場所に配置された１又は複数のサーバーにわたって物理的なストレージ内に存在している。ホスティング企業、例えばクラウドサービスプロバイダが、物理環境を管理及び／又は所有してもよく、且つ、データを利用可能且つアクセス可能な状態を維持すると共に、物理環境を保護すると共に稼働している状態を維持する責任を担っている。いくつかの実施形態において、１又は複数のストレージ装置１３０は、パーソナル装置、例えばスマートフォンを含んでいてもよい。パーソナル装置は、車両１０２に接続されたパーソナル装置であってもよく、或いは、車両１０２の外部に配置されたパーソナル装置であってもよい。

車両１０２は、エンジン１０８、モーター／発電機１１０、電子制御ユニット（ＥＣＵ）１１２、メモリ１１４、バッテリ管理及び制御ユニット（ＢＭＣＵ：ＢａｔｔｅｒｙＭａｎａｇｅｍｅｎｔａｎｄＣｏｎｔｒｏｌＵｎｉｔ）１１６、１又は複数のマイクロフォン１１８、複数のカメラ１３４、及び／又はバッテリ１２０を含んでいてもよい。また、車両１０２は、ナビゲーションユニット１２２、ネットワークアクセス装置１２４、１又は複数のセンサ１２６、及び／又はユーザインターフェイス１２８を含んでいてもよい。

モーター／発電機１１０は、電気エネルギーをトルクなどの機械動力に変換してもよく、且つ、機械動力を電気エネルギーに変換してもよい。モーター／発電機１１０は、バッテリ１２０に結合されていてもよい。モーター／発電機１１０は、バッテリ１２０からのエネルギーを機械動力に変換してもよく、且つ、例えば、回生ブレーキを介して、エネルギーをバッテリ１２０に戻してもよい。いくつかの実施形態において、車両１０２は、エンジン１０８及び／又は燃料電池スタック（不図示）などの１又は複数の更なる動力生成装置を含んでいてもよい。エンジン１０８は、モーター／発電機１１０によって供給される動力の代わりに及び／又はこれに加えて、動力を提供するべく、燃料を燃焼させる。

バッテリ１２０は、モーター／発電機１１０に結合されていてもよく、且つ、電気エネルギーをモーター／発電機１１０に提供してもよく、且つ、電気エネルギーをモーター／発電機１１０から受け取ってもよい。バッテリ１２０は、１又は複数の充電可能なバッテリを含んでいてもよい。

ＢＭＣＵ１１６は、バッテリ１２０に結合されていてもよく、且つ、バッテリ１２０の充電及び放電を制御及び管理してもよい。ＢＭＣＵ１１６は、例えば、バッテリセンサ（不図示）を使用することにより、バッテリ１２０の充電状態（ＳＯＣ：ＳｔａｔｅＯｆＣｈａｒｇｅ）を判定するべく使用されるパラメータを計測してもよい。

ＥＣＵ１１２は、車両１０２のコンポーネントのうちの一部又はすべてに電気的に結合されていてもよい。ＥＣＵ１１２は、自動車システム及び車両のための特別に設計された１又は複数のプロセッサ又はコントローラを含んでいてもよく、且つ、ＥＣＵ１１２の機能は、単一のＥＣＵとして、或いは、複数のＥＣＵとして、実装されてもよい。ＥＣＵ１１２は、１又は複数のコンポーネントからデータを受信してもよく、且つ、受信された又は判定されたデータに基づいて１又は複数のコンポーネントの動作を制御してもよい。例えば、ＥＣＵ１１２は、ナビゲーションユニット１２２、１又は複数のセンサ１２６、及びネットワークアクセス装置１２４からデータを受信してもよく、且つ、ユーザインターフェイス１２８に表示を出力するべく、装置のそれぞれから受信されたデータを統合してもよい。ＥＣＵ１１２は、バッテリ１２０を充電又は放電させるべく、ＢＭＣＵ１１６の動作を制御してもよい。

メモリ１１４は、ＥＣＵ１１２に結合されていてもよい。メモリ１１４は、ＥＣＵ１１２上において稼働するための命令を保存してもよく、且つ、ランダムアクセスメモリ（ＲＡＭ）又はその他の揮発性又は不揮発性メモリのうちの１又は複数を含んでいてもよい。メモリ１１４は、一時的ではないメモリ又はデータストレージ装置であってもよく、即ち、ハードディスクドライブ、ソリッドステートディスクドライブ、ハイブリッドディスクドライブ、又はその他の適切なデータストレージであってもよく、且つ、機械可読命令を更に保存してもよく、機械可読命令は、ＥＣＵ１１２により、読み込まれてもよく、且つ、実行されてもよい。

ＥＣＵ１１２は、１又は複数のセンサ１２６に結合されていてもよい。いくつかの実施形態において、１又は複数のセンサ１２６は、複数のカメラ１３４のうちの１又は複数及び／又はマイクロフォン１１８のうちの１又は複数に結合されていてもよい。いくつかの実施形態において、１又は複数のセンサ１２６は、ＥＣＵ１１２を通じて複数のカメラ１３４のうちの１又は複数並びに／或いは１又は複数のマイクロフォン１１８に接続されていてもよい。１又は複数のセンサ１２６は、様々な内部又は外部環境パラメータを検出してもよい。

内部環境パラメータは、顔面特徴又は顔面位置を含んでいてもよい。ＥＣＵ１１２は、車両１０２の内部の乗員が、特定の方向を眺めているかどうか、及び／又は、複数のカメラ１３４のうちの１つのカメラの方向を向いているかどうか、を判定するべく顔面特徴又は位置を検出するために、１又は複数の内部センサを使用してもよい。トリガイベントを判定し、及び／又は、車両の乗員の反応を解釈するべく、オーディオ情報、ビデオ情報、又はこれら両方の組合せが使用されてもよい。乗員とは、運転者を含む車両内部の任意の人物である。

外部環境パラメータは、その他の車両の位置又は周辺（Ａｍｂｉｅｎｔ）以外の雑音を含んでいてもよい。１又は複数の外部センサは、車両１０２のユニット及び／又は装置、例えば環境内のイベントを検出する近接センサ、を含んでいてもよく、例えば、別の車両との異常接近といったトリガイベントを生成しうるイベントを検出する。

トリガイベントとは、乗員による雑音又は単語（複数可）の反応の発生であり、この反応は記憶に残る瞬間に起因する。ロードトリップイベントとは、トリガイベントの前、後及びこれを含む時間の特定のインターバルである。トリガイベントは、記憶に残る瞬間、記憶に残る瞬間に起因する反応、並びに、車両１０２の内部及び／又は周囲をキャプチャする。

ＥＣＵ１１２は、マルチメディアプロセッサ１３２と、汎用プロセッサ１４０と、を含む１又は複数のデータ処理装置を含んでいてもよい。マルチメディアプロセッサ１３２は、車両１０２のマルチメディア装置、例えば１又は複数のマイクロフォン１１８及び複数のカメラ１４３を管理及び制御し、且つ、１又は複数のビデオプロセッサ１３８及び１又は複数のオーディオプロセッサ１３６を使用することにより、マルチメディア装置から得られるメディアコンテンツを管理している。メディアコンテンツは、オーディオデータ、ビデオーデータ、又はこれらの両方の組合せを意味する。マルチメディアプロセッサ１３２は、処理済みのビデオストリーム及びオーディオストリームを関連付けると共に同期させている。例えば、異なるカメラアングル及び異なるマイクロフォンからのメディアコンテンツのすべてが、ストレージ装置、例えばストレージ装置１３０に保存されると共に／又は表示されるように関連付けられると共に同期される。

マルチメディアプロセッサ１３２は、１又は複数のビデオプロセッサ１３８を含んでいてもよい。１又は複数のビデオプロセッサ１３８は、複数のカメラ１３４からの複数のビデオストリームを同期させている。複数のカメラ１３４は、車両１０２の内部及び外部の両方にある。

マルチメディアプロセッサ１３２は、１又は複数のオーディオプロセッサ１３６を含んでいてもよい。１又は複数のオーディオプロセッサ１３６は、１又は複数のマイクロフォン１１８からの１又は複数のオーディオストリームを同期させてもよい。１又は複数のマイクロフォン１１８は、車両１０２の内部及び／又は外部にあってもよい。マルチメディアストリームの同期及び関連付けについては、図２を参照して更に説明する。

いくつかの実施形態において、マルチメディアプロセッサ１３２は、ＥＣＵ１１２内に含まれていない。その代わりに、マルチメディアプロセッサ１３２は、ＥＣＵ１１２に結合されていてもよい。いくつかの実施形態において、１又は複数のビデオプロセッサ１３８又は１又は複数のオーディオプロセッサ１３６は、マルチメディアプロセッサ１３２に結合されていてもよく、これに含まれていなくてもよい。いくつかの実施形態において、マルチメディアプロセッサ１３２、１又は複数のビデオプロセッサ１３８、又は１又は複数のオーディオプロセッサ１３６は、車両１０２の外部に位置しており、且つ、ネットワーク１０６を通じてＥＣＵ１１２に結合されている。

複数のカメラ１３４は、ＥＣＵ１１２に結合されており、且つ、ビデオストリームをキャプチャする。１又は複数のマイクロフォン１１８は、ＥＣＵ１１２に結合されており、且つ、オーディオをキャプチャする。カメラ及びマイクロフォンは、車両１０２の内部及び外部にあってもよい。

ナビゲーションユニット１１２は、ＥＣＵ１１２に結合されていてもよく、且つ、場所データ及び日付／時刻情報を検出するべく、全地球測位システム（ＧＰＳ）ユニット（不図示）を含んでいてもよい。ナビゲーションユニット１２２は、検出された場所データに基づいてナビゲーション命令を提供してもよく、且つ、ルートデータを保存するためのメモリ（不図示）を含んでいてもよい。ナビゲーションユニット１２２は、場所情報に対応したデータを検出できるその他のセンサからデータを受信してもよい。例えば、その他のセンサは、ジャイロスコープ又は加速度計を含んでいてもよい。

ナビゲーションユニット１２２は、車両１０２と一体になっていてもよく、或いは、車両１０２に結合された別個のユニット、例えばナビゲーション能力を有するパーソナル装置であってもよい。ナビゲーションユニット１２２が車両１０２とは別個である際に、ナビゲーションユニット１２２は、ネットワークアクセス装置１２４を介して車両１０２と通信してもよい。いくつかの実施形態において、車両１０２は、ナビゲーションユニット１２２の代わりに、ＧＰＳを含んでいてもよい。この点において、ＥＣＵ１１２は、ＧＰＳユニットから受信されたデータに基づいて、ナビゲーションユニット１２２の機能を実行してもよい。ナビゲーション機能は、ナビゲーションユニット１２２又はＥＣＵ１１２によって実行されてもよい。ナビゲーション機能は、例えば、ナビゲーション命令の提供、現在のルートの提供、車両１０２の現在の場所の提供、及び現在の日付／時刻情報の提供を含んでいてもよい。

ナビゲーションユニット１２２は、ユーザインターフェイス１２８とは別個のユーザインターフェイスを含んでいてもよく、及び／又は、ユーザインターフェイス１２８を介して通信してもよい。ユーザインターフェイス１２８は、ＥＣＵ１１２に結合されていてもよく、且つ、パーソナル装置、例えば携帯電話機、タブレット、パーソナルコンピュータであって、ネットワーク１０６にわたってネットワークアクセス装置１２４を通じてＥＣＵ１１２に接続されている。ユーザインターフェイス１２８は、ユーザ入力を受信できる任意の装置、例えばボタン、ダイヤル、マイクロフォン、タッチパッド、又はタッチスクリーン、及び／又は、出力できる任意の装置、例えばディスプレイ、スピーカ、又はリフレッシュ可能な点字（ブライユ）ディスプレイを含んでいてもよい。ユーザインターフェイス１２８は、車両１０２の運転者又は乗員にＥＣＵ１１２と通信することを可能にさせる。例えば、運転者は、ユーザインターフェイス１２８を介してＥＣＵ１１２にデータを提供可能であってもよく、及び／又は、ＥＣＵ１１２からフィードバックを受信可能であってもよい。

ネットワークアクセス装置１２４は、Ｗｉ−Ｆｉユニット、Ｂｌｕｅｔｏｏｔｈユニット、ＲＦＩＤ（ＲａｄｉｏＦｒｅｑｕｅｎｃｙＩｄｅｎｔｉｆｉｃａｔｉｏｎ）タグ又は読取器、ＤＳＲＣユニット、又は、セルラーネットワーク（３Ｇ又は４Ｇなど）にアクセスするためのセルラーネットワークユニットのうちの１又は複数などの通信ポート又はチャネルを含んでいてもよい。ネットワークアクセス装置１２４は、車両１０２に直接的に接続されていない装置及びシステムにデータを送信し、且つ、これらからデータを受信してもよい。例えば、ＥＣＵ１１２は、外部データベース１０４と通信してもよい。更には、ネットワークアクセス装置１２４は、ネットワーク１０６にアクセスしてもよく、ネットワーク１０６には、外部データベース１０４も接続されている。

図２は、ロードトリップイベントをキャプチャするためのプロセス２００の一例のフロー図である。１又は複数のコンピュータ或いは１又は複数のデータ処理装置、例えば適切にプログラムされた、図１のマルチメディアキャプチャシステム１００のＥＣＵ１１２がプロセス２００を実行してもよい。

システムは、ロードトリップイベントをキャプチャするべく、マルチメディアキャプチャモードを初期化してもよい（２０２）。システムは、ユーザ入力又は車両１０２がパワーオンされたという指示に基づいてマルチメディアキャプチャモードを初期化してもよい。システムは、ユーザインターフェイス１２８からユーザ入力を受信してもよく、或いは、１又は複数のセンサ１２６から指示を受信してもよい。例えば、システムは、車両１０２がパワーオンされたという指示をイグニッションセンサから受信してもよい。

ユーザ入力は、ユーザインターフェイス１２８からのユーザインターフェイス要素のユーザ選択を含んでいてもよい。ユーザインターフェイス要素のユーザ選択は、タッチパッド、タッチスクリーン、スイッチ、又はボタン、例えばハンドル上のボタン、座席上のボタン、ディスプレイ上のボタン、の選択であってもよい。いくつかの実施形態において、ユーザ入力は、音声起動を含んでいてもよい。

システムは、１又は複数のセンサ１２６を使用してイグニッションスイッチが起動されたことを検出するか又はナビゲーションユニット１２２が起動されたことを検出することに基づいて、車両がパワーオンされたことを判定してもよい。

マルチメディアキャプチャモードの初期化の後に、システムは、１又は複数のユーザ構成設定を取得してもよい。１又は複数のユーザ構成設定は、ロードトリップイベントの前及び／又は後に記録されたビデオ及び／又はオーディオの長さを制御する１又は複数のバッファ設定を含んでいてもよい。バッファ設定は、トリガイベントの前に保存するべきビデオ及び／又はオーディオの長さ及び／又はトリガイベントの後に保存するべきビデオ及び／又はオーディオの長さの設定を含んでいてもよく、且つ、当初は既定値、例えばトリガイベントの前の１０秒及びトリガイベントの後の３０秒に設定されていてもよい。バッファ設定は、特定の時間の長さ、例えば５分、特定のデータサイズ、例えば５ＭＢ、或いは、ストレージサイズの特定の百分率、例えば５％、を単位とする長さを表記していてもよい。いくつかの実施形態において、イベントの前のバッファの時間の長さは、イベントの後のバッファの時間の長さと同一である。その他の実施形態において、イベントの前及び後のバッファは、異なっている。

ユーザ構成設定は、ビデオと共にオーディオを保存するための設定を含んでいてもよい。別のユーザ構成設定は、ビデオ又はオーディオがキャプチャされる車両１０２内の１又は複数のカメラ及び／又は１又は複数のマイクロフォンを有効化又は無効化するための設定を含んでいてもよい。その他のユーザ構成設定は、それぞれのカメラのズーム機能及び／又はマイクロフォンの感度を制御してもよい。例えば、ユーザ構成は、運転者が、運転している間に、気が散らないように、運転者に向けられた内部カメラを無効化してもよい。別の例において、ユーザ構成は、特定の眺め、例えば乗員側の窓の外のハイウェイ遮音壁の方に向けられたカメラを無効化してもよく、ロードトリップイベントの際に車両を取り囲んでいる望ましくない光景の記録を防止する。

システムは、内部及び外部の両方のカメラを含む複数のカメラ１３４を使用することにより、車両１０２の内部ビューの１又は複数のビデオストリーム（２０４）及び車両１０２を取り囲んでいる環境の外部ビューの１又は複数のビデオストリーム（２０６）をキャプチャしている。複数のビデオストリームのキャプチャは、複数のカメラ１３４を有効化／無効化すると共に／又は複数のカメラ１３４のうちのそれぞれのカメラのズームを調節するユーザ構成設定に基づいたものであってもよい。

１又は複数の内部カメラは、車両１０２内部の乗員のうちの１又は複数に焦点を合わせてもよい。例えば、カメラは、車両１０２の乗員座席の方に向けて又はこれに照準を合わせてもよく、且つ、複数のカメラ１３４に結合された１又は複数のセンサ１２６は、顔面特徴又は顔面位置を識別してもよい。システムは、特定の視点をキャプチャするべく、１又は複数のセンサ１２６によって識別された顔面特徴又は顔面位置に基づいて、内部カメラの位置決め又は内部カメラのズーム機能を制御してもよい。

１又は複数の外部カメラは、車両１０２の外部のビューに焦点を合わせてもよい。１又は複数の外部カメラは、周囲環境の３６０度の、又はパノラマの、ビューを有してもよい。システムは、１又は複数のビデオ対象に基づいて、１又は複数の外部カメラの位置決め又はズーム機能を制御してもよい。ビデオ対象は、車両１０２外部のランドマーク、イベント、又は関心の対象である任意のその他の場所又は活動である。即ち、対象は、乗員に対する感情的反応をトリガしうる。例えば、車両１０２がゴールデンゲートブリッジを通過するのに伴って、外部カメラは、サンフランシスコ湾で転覆したボートを識別する場合があり、且つ、転覆したボートにズームインしてもよい。１つのカメラが、転覆したボートに焦点を合わせるのに応じて、１又は複数のその他の外部カメラは、周囲環境の３６０度のカバレッジを保証するべく、同時に、ズームアウトしてもよい。一実施形態において、車両１０２の現在の場所及びランドマークの場所のマップ座標並びに高度を使用することにより、ＥＣＵ１１２は、ランドマーク（例えば、有名なランドマーク）が外部の周囲にある際に、ランドマークをビデオ撮影しそこなうことを回避するために、外部カメラ１３４のうちの１又は複数を自動的に起動してもよい。この結果、乗員が忘れているか、眠っているが、又は注意を払っていない場合に、ランドマークをビデオ撮影するべく、外部カメラ１３４を自動的に起動することができる。

いくつかの実施形態において、システムは、特定の対象に狙いを定めると共に／又は、内部又は外部ビューの全体をカバーするように、内部及び外部カメラの位置決め及び調節を調整してもよい。

システムは、１又は複数のマイクロフォン１１８から、１又は複数のオーディオストリームをキャプチャしてもよい（２０８）。システムは、ユーザ構成可能な又は既定の設定に基づいて、１又は複数の内部マイクロフォン及び／又は１又は複数の外部マイクロフォンから、１又は複数のオーディオストリームを取得してもよい。システムは、音質又は感度を改善するべく、内部及び外部マイクロフォンの位置決め及び調節を調整してもよい。例えば、システムは、内部マイクロフォンを使用することにより、冗談を言っている乗員と、その次の車両１０２の乗員全員による笑い声と、をキャプチャしてもよく、且つ、これに加えて、車両１０２を通過する空気の風切り音を記録している外部マイクロフォンを無効化してもよい。別の例において、システムは、ドライブイン映画館に駐車している車の乗員からの笑い声をキャプチャするべく、内部マイクロフォンを使用してもよく、且つ、ドライブイン映画館で上映されているコメディの会話をキャプチャするべく、外部マイクロフォンを使用してもよい。

システムは、複数のビデオストリーム及び／又は１又は複数のオーディオストリームを同期させている（２１０）。それぞれのビデオストリーム及び／又はオーディオストリームは、タイムスタンプを含んでいてもよい。タイムスタンプは、ビデオ／オーディオフレームがキャプチャされた時を識別している。タイムスタンプは、それぞれのビデオ及び／又はオーディオのそれぞれのフレームと関連付けられていてもよい。システムは、タイムスタンプを取得してもよく、且つ、複数のオーディオ／ビデオフレーム内において対応する複数のタイムスタンプをマッチングさせることにより、複数のビデオストリーム及び／又は１又は複数のオーディオストリームを同期させてもよい。いくつかの実施形態において、システムは、システムがフィードを取得すると、ビデオストリーム及び／又はオーディオストリームを直接的に同期させてもよい。

システムは、複数のビデオストリーム及び／又は１又は複数のオーディオストリームを含むメディアコンテンツをバッファしている（２１２）。システムは、メディアコンテンツを内部メモリ１１４内にバッファしてもよい。内部メモリ１１４は、メディアコンテンツをバッファするための専用の、特定の量又はサイズのメモリを割り当ててもよい。特定の量又はサイズは、ユーザ構成可能であってよく、或いは、既定されていてもよい。バッファの特定の量又はサイズは、バッファ設定、即ちトリガイベントの前及び後に保存するビデオ及び／又はオーディオの量の設定、によって指示される量又はサイズよりも大きく又は倍数以上である。例えば、バッファ設定が、トリガイベントの前に３０秒のビデオを保存し、且つ、トリガイベントの後に２分のビデオを保存すると指示している場合に、メディアコンテンツ専用のメモリの合計サイズ又は量は、２４個のトリガイベントが保存されうるように、６０分のビデオ及びオーディオが記録されることを許容してもよい。

システムは、車両１０２の１又は複数の乗員の１又は複数の反応に基づいて、トリガイベントが存在していると判定している（２１４）。トリガイベントが存在しているかどうかを判定するべく、システムは、１又は複数のセンサ１２６及び１又は複数の内部カメラ及び／又は１又は複数のマイクロフォンを使用することにより、顔面表現又は音声表現を分析してもよい。トリガイベントの検出については、図３を参照して更に説明する。

トリガイベントが存在しているという判定に応じて、システムは、ロードトリップイベントの期間を判定している（２１６）。期間とは、バッファ設定に基づいてロードトリップイベントを形成するトリガイベントの前及び後の時間量である。バッファ設定は、トリガイベントの前及び後に保存するべきビデオ及び／又はオーディオの量を指示している。システムは、ユーザインターフェイス１２８を通じて、バッファ設定を定義したユーザ構成可能な設定のユーザ入力を受信している（２１８）。ロードトリップイベントが存在していると判定するプロセスについては、図３において更に後述する。

システムは、その期間における同期されたメディアコンテンツを取得している（２２０）。同期されたメディアコンテンツは、バッファ設定によって判定される、時点ｔ₀において始まり、且つ、時点ｔ₁において終了する同期されたオーディオ及び／又は同期されたビデオを含む。いくつかの実施形態において、システムは、期間に対応した同期されたメディアコンテンツを受信している。その他の実施形態において、システムは、期間における同期されたメディアを取得するべく、受信されたメディアコンテンツを繁ぎ合せている。

システムは、車両情報及びマップ情報を取得してもよい（２２２）。システムは、ナビゲーションユニット及び／又は１又は複数のセンサから、車両情報を取得してもよい。車両情報は、車両の現在の場所の高度情報及びマップ座標を含む。システムは、ネットワーク１０６を通じて車両１０２に接続された１又は複数の外部データベース１０４から、マップ情報を取得してもよい。

システムは、マップ情報、車両情報、又はこれら両方の組合せに基づいて、１又は複数のランドマーク及び場所情報により、同期されたビデオにタグ付けしてもよい（２２４）。システムは、周囲のランドマークを判定するべく、車両情報に含まれている車両１０２の現在の場所のマップ座標及び高度を使用することにより、同期されたビデオ内において１又は複数のランドマークを識別してもよい。システムは、車両１０２の現在の場所の付近の、且つ、車両１０２の特定の高度において車両１０２の乗員によって観察可能である、ランドマークについて、１又は複数の外部データベースをサーチしてもよい。例えば、車両が、山脈の近くにおいて特定の緯度及び経度に位置しているが、車両の高度が、車両が海面レベルにあることを示している場合には、システムは、同期されたメディア内のランドマークを、山の中腹に存在している国立公園としてではなく、山の裾野として、タグ付けしてもよい。別の例において、車両１０２がゴールデンゲートブリッジ上を走行している場合に、システムは、同期されたビデオ内において、ランドマークとして、フェリーポートではなく、橋を識別してもよい。なぜならば、フェリーポートは、同期されたメディア内にキャプチャされる橋の遥か下にあるからである。車両１０２の現在の場所及び高度が付与された場合に、システムは、１又は複数のリソース又は外部データベース１０４にアクセスしてもよく、且つ、車両１０２の現在の場所のマップ座標及び高度に対応した１又は複数のランドマークについてサーチしてもよい。

いくつかの実施形態において、システムは、同期されたメディアコンテンツからビデオフレームをキャプチャし、且つ、ビデオフレームからオブジェクトを抽出している。システムは、抽出されたオブジェクトを１又は複数の外部データベース１０４内に保存されている写真と比較する。システムは、オブジェクトに対応した１又は複数のランドマークを識別するべく、１又は複数の外部データベース１０４内に保存されている画像に対して画像認識を実行してもよい。抽出されたオブジェクトに対応した１又は複数のランドマークを識別するためのサーチを改善するべく、車両情報が使用されてもよい。

システムは、ラベルなどの識別情報により、ランドマークにタグ付けしてもよい。タグは、ランドマークを記述又は識別するマップ座標、高度情報、及びその他の情報を含んでいてもよい。いくつかの実施形態において、システムは、ロードトリップの際の車両１０２の乗員のアイデンティティを記述している情報により、同期されたメディアコンテンツにタグ付けしてもよい。

システムは、同期されたメディアコンテンツを１又は複数のストレージ装置に保存してもよい（２２６）。１又は複数のストレージ装置１３０は、ネットワーク又はクラウドストレージであってもよい。いくつかの実施形態において、システムは、同期されたメディアコンテンツを車両１０２に接続されたパーソナル装置（例えばモバイル装置又はスマートフォン）に保存してもよい。システムは、同期されたメディアコンテンツと共に、ロードトリップイベントの際の車両１０２内の１又は複数の乗員のアイデンティティ、ロードトリップイベントのマップ座標、高度情報、及び日付／時刻情報を含む更なる情報を保存してもよい。システムは、同期されたメディアにラベル又はタイトルを付与してもよく、且つ、同期されたメディアコンテンツと共に、ラベル又はタイトル情報を保存してもよい。

マップ座標、高度情報、及び日付／時刻情報は、ユーザ入力、マップ情報、及び／又は１又は複数のセンサから取得されてもよい。乗員のアイデンティティは、ユーザ入力から、或いは、オーディオ又は顔面認識を使用することにより、１又は複数のセンサから、取得されてもよい。

システムは、メディアコンテンツが保存及びキャプチャされていることについて車両１０２の乗員に通知してもよい。通知は、システムが、メディアがキャプチャ及び／又は保存されていることを通知するために、ユーザインターフェイス１２８上に通知を表示するかべきかどうか、或いは、通知、例えば可聴通知を出力するべきかどうかを通知するユーザ構成に基づいたものであってもよい。

図３は、ロードトリップイベントが発生したことを判定するためのプロセス３００の一例のフロー図である。適切にプログラムされた、１又は複数のコンピュータ又は１又は複数のデータプロセッサ、例えば、図１のマルチメディアキャプチャシステム１００のＥＣＵ１１２、がプロセス３００を実行してもよい。

システムは、図２において上述したように、オーディオ（３０２）及び／又はビデオ（３０４）をキャプチャしている。システムは、ロードトリップイベントの１又は複数のトリガを定義している様々なユーザ構成のユーザ入力を取得してもよい（３０６）。様々なユーザ構成は、ロードトリップイベントをトリガする様々なタイプの乗員の反応又は表現を示している。例えば、車両１０２の乗員は、１又は複数の乗員が笑うか、泣くか、或いは、保存されている又は予め構成されているベースラインとは異なる感情をその他の方法で表した際に、ロードトリップイベントをトリガするように、システムを構成してもよい。別の構成は、視覚的に、聴覚的に、又はこれらの両方の組合せにより、反応を検出するように、１又は複数のセンサ１２６を設定してもよい。別の構成は、検出方法の感度を調節してもよく、例えば、システムは、顔面表現の検出よりも大きな重みを可聴表現の検出に付与してもよい。感度は、反応又は表現のタイプに基づいたものであってもよい。例えば、システムは、悲しみについて乗員を分析する際には、顔面表現よりも小さな重みをオーディオプログラムに付与してもよいが、システムは、笑い声の評価において、顔面表現よりも大きな重みをオーディオ表現に付与してもよい。

システムは、１又は複数のユーザ構成に基づいて、ロードトリップイベントを生成する１又は複数のトリガイベントを判定している（３０８）。例えば、システムは、１又は複数のユーザ構成に基づいて、乗員が笑った際にのみ、ロードトリップイベントをトリガしてもよい。

システムは、１又は複数のセンサ１２６、車両１０２内の１又は複数のカメラ、及び１又は複数のマイクロフォン１１８を使用することにより、１又は複数のトリガイベントについて環境を監視する（３１０）。環境を監視するべく、システムは、１又は複数のトリガイベントのキャプチャされたビデオ及び／又はオーディオストリームを分析する。

システムは、キャプチャされたオーディオ、ビデオ、及び／又はユーザ構成設定に基づいてトリガイベントを検出している（３１２）。システムは、キャプチャされたビデオに基づいて、トリガイベントが存在していると判定してもよい。例えば、顔面認識センサは、乗員のベースライン顔面表現を乗員の現在のキャプチャされた表現と比較することにより、キャプチャされたビデオ内において、乗員の喜びの表現を検出してもよい。乗員は、その乗員のベースライン顔面表現を構成してもよく、且つ、内部メモリ１１４内に保存してもよい。システムは、表現がキャプチャされたビデオを車両の乗員の表現が保存されているデータベースと比較することにより、乗員の表現を認識してもよい。いくつかの実施形態において、システムは、トリガイベントを示す認識された雑音と特定の表現を関連付けることにより、特定の表現がロードトリップイベントと関連付けられていることを学習してもよい。例えば、乗員が笑っていることをシステムが識別した際には、次の機会に、システムが、乗員が笑っていることを示す顔面表現に基づいてトリガイベントを識別しうるように、システムは、乗員の顔面表現をデータベース内に保存してもよい。

いくつかの実施形態において、システムは、キャプチャされたオーディオに基づいて、トリガイベントが存在していると判定してもよい。システムは、１又は複数の内部マイクロフォンから、人間表現、例えば、笑い声、悲しみ、幸せ、興奮、恐れ、ショック又はその他の人間感情、を示す特定の周波数を有する音声表現のオーディオを検出するべく、１又は複数のセンサ１２６を使用してもよい。センサが、人間表現を示す特定の周波数の、又は特定の周波数範囲内の、オーディオを検出した場合に、システムは、トリガイベントが存在していると判定してもよい。また、センサは、人間表現が起こったことを示し、これにより、トリガイベントを生成するべく、特定の周波数又は雑音レベルを上回るオーディオを検出することもできる。

いくつかの実施形態において、システムは、センサを使用して１又は複数の音声表現と１又は複数の顔面表現の両方を検出することにより、キャプチャされたビデオ及びオーディオの組合せに基づいて、トリガイベントが存在していることを判定してもよい。システムがトリガイベントを検出した場合に、システムは、トリガイベントの信頼値の判定に進んでもよい。システムが、トリガイベントを検出しない場合には、システムは、環境の監視を継続する。

システムは、信頼値を算出する際に使用するべく、システムが特定の顔面表現及び／又はオーディオ表現を識別した回数を追跡してもよく、且つ、これをデータベース内に保存してもよい。また、システムは、特定の顔面及び／又はオーディオ表現に基づいてメディアコンテンツがトリガされた回数、並びに、メディアコンテンツが外部ストレージ又はパーソナル装置に後に送信された回数を追跡及び保存している。

いくつかの実施形態において、システムは、システムが特定の表現を識別した回数、並びに、メディアコンテンツが、特定の表現のトリガに基づいて、外部ストレージ又はパーソナル装置に送信された回数に基づいて、顔面表現及び／又は音声表現の信頼値を判定してもよい（３１４）。システムは、信頼値が信頼閾値よりも大きい又はこれと等しい場合にのみ、トリガイベントをトリガしてもよい。さもなければ、システムは、トリガイベントについての環境の監視を継続してもよい。

いくつかの実施形態において、システムは、即時キャプチャ機能を初期化してもよい（３１６）。システムは、ユーザインターフェイス１２８、例えば、ボタン、スイッチ又はユーザインターフェイス要素から、即時キャプチャ機能を初期化するようにシステムに指示するユーザ入力を受信してもよい。即時キャプチャ機能は、自動的に且つ即座にメディアコンテンツ、即ちオーディオ及び／又はビデオをキャプチャ、同期、タグ付け及び／又は保存を開始する。即時キャプチャ機能は、キャプチャされたメディアコンテンツの量又は長さを制限するサイズ又は時間の限度を有してもよい。サイズ又は時間の限度は、既定値、例えば５分、に基づいたものであってもよく、或いは、ユーザ構成可能であってもよい。閾値限度に到達したら、システムは、即時キャプチャ機能を無効化してもよく、或いは、システムは、メディアコンテンツのキャプチャ、同期、タグ付け、及び／又は保存を継続してもよいが、タイムスタンプに基づいて最も古いメディアコンテンツを削除又は上書きしてもよい。

即時キャプチャ機能又はトリガイベントに基づいて、システムは、図２において上述したように、ロードトリップイベントが存在していると判定し、且つ、保存のために、同期されたメディアコンテンツの処理を開始している（３１８）。

図４は、ロードトリップアルバム４００の一例の図である。適切にプログラムされた、１又は複数のコンピュータ又は１又は複数のデータ処理装置、例えば、マルチメディアキャプチャシステム１００のＥＣＵ１１２、がロードトリップアルバム４００を実行してもよい。

システムは、ロードトリップアルバムを生成する情報をストレージ装置内、例えば、ネットワーク又はクラウドストレージ装置、に保存してもよい。いくつかの実施形態において、システムは、ユーザインターフェイス１２８、例えば、車両１０２に接続されたパーソナル装置、にロードトリップアルバム４００を生成させる。

ロードトリップアルバム４００は、デジタル写真アルバムとして構成又は成形されてもよい。デジタル写真アルバムは、複数のページを有してもよい。ロードトリップアルバムのそれぞれのページは、異なるロードトリップイベントと関連付けられていてもよい。開かれたページは、左手部分と右手部分を有してもよい。それぞれの部分は、複数のビデオ表示フレーム、例えば、ビデオ表示フレーム４０２、４０４、４０６、４０８、４１０、及び４１２、を含んでいてもよい。複数のビデオ表示フレームは、特定のロードトリップイベントの１又は複数の保存されているビデオ及び／又は統合された道路マップを表示してもよい。複数のビデオ表示フレームのそれぞれは、車両１０２の内部のビデオ又は外部ビューのビデオを表示してもよい。いくつかの実施形態において、ビデオの表示は、複数のビデオ表示フレーム間で交換可能であり、且つ、ビデオの配置は、ユーザ構成可能な設定に基づいたものである。

いくつかの実施形態において、ロードトリップアルバムは、ビデオ表示フレーム、例えば、ビデオ表示フレーム４０６、に統合された道路マップを表示している。統合された道路マップは、特定のロードトリップイベントと関連しているロードトリップの道路マップである。統合された道路マップは、特定のロードトリップイベントが発生した期間における車両１０２の場所を示す場所４１４を含んでいてもよい。車両１０２の場所の指示は、特定のロードトリップイベントのビデオが表示されている最中に、ルートに沿って進行してもよい。例えば、車両１０２の写真は、右手部分において表示されているビデオが、開始時間ｔ₀から終了時間ｔ₁まで遷移するのに伴って、ロードトリップにおいて、場所４１４から場所４１６まで進行してもよい。ビデオは、ゴールデンゲートブリッジのビデオからアルカトラズ島のビデオまで、例えば、ビデオ表示フレーム４０４内において、ｔ₀からｔ₁までの期間において、遷移してもよい。場所４１４は、時点ｔ₀における車両１０２の場所に対応しており、且つ、場所４１６は、時点ｔ₁における車両１０２の場所に対応していてもよい。

いくつかの実施形態において、１又は複数の保存されているビデオは、ロードトリップアルバムの開かれたページの右手部分に表示されている。１又は複数のビデオ表示フレーム内に表示されている１又は複数の保存されているビデオは、特定のロードトリップイベントの開始時間に記録された１又は複数の内部ビデオ及び１又は複数の外部ビデオを含む。

ビデオ表示フレームのそれぞれは、特定のロードトリップイベントの期間ｔ₀〜ｔ₁における車両の内部ビュー又は外部ビューを表示してもよい。時点ｔ₀及びｔ₁は、バッファ設定に基づいたものであってもよい。それぞれのビデオ表示フレーム内、例えば、ビデオ表示フレーム４０２、４０４、４０６、４０８、４１０、及び４１２には、バッファ設定によって定義されると共にトリガイベントによってトリガされた特定の期間において複数のカメラ１３４のうちの１つによって最初にキャプチャされたビデオが存在している。例えば、ロードトリップアルバムは、ビデオ表示フレーム４０２内において、笑っていると共に、特定のロードトリップイベントをトリガした開かれたイベントを視聴しているカップルのビデオを表示している。同時に、ロードトリップアルバムは、その他のビデオ表示フレーム内において、その特定のロードトリップイベントに対して同期された車両１０２の外部のビデオを表示している。

ビデオ表示フレーム４１０内において、ロードトリップアルバムは、ビデオ表示フレーム４１２内の車両１０２の場所４１４によって示されているように、車両１０２がサンフランシスコ湾の近くの湿地帯に接近するのに伴って、外部の乗員側のカメラによってキャプチャされた面白いビデオを表示している。この特定のロードトリップイベントをトリガしたビデオ表示フレーム４０２内のカップルの笑い声は、ビデオ表示フレーム４１０内の鳥を捕獲しているワニに反応したものであってもよい。

ビデオ表示フレーム４０４において、ロードトリップアルバムは、外部の運転者側のカメラによってキャプチャされると共にその他のビデオと同期されたゴールデンゲートブリッジのビデオを表示している。キャプチャされたゴールデンゲートブリッジのビデオのビューは、キャプチャされたワニのシーンとは反対側のものである。ビデオ表示フレーム４０８内において、ロードトリップアルバムは、異なるビューの別の同期されたビデオを表示している。ビデオ表示フレーム４０８内のビデオは、別の乗員側の窓から見える樹木を通過するビデオである。

ロードトリップアルバムは、特定のロードトリップイベントに関係する一般的情報を含んでいてもよい。ロードトリップアルバムは、一般的情報を開かれたページの左手部分、例えば、ビデオ表示フレーム４１２に表示してもよい。一般的情報は、生成されたロードトリップアルバムに含まれていてもよく、或いは、ネットワーク接続を通じて外部データベースから抽出されてもよい。一般的情報は、ビデオ表示フレームのうちの１つのフレーム内に示されているランドマークに関する情報を含んでいてもよい。例えば、ロードトリップアルバムは、カリフォルニアに関する又は特定のロードトリップイベントに関する情報をビデオ表示フレーム４１２内に表示してもよい。なぜならば、右手部分におけるビデオ表示フレーム内のビデオが、カリフォルニアの特定のロードトリップイベントに関係しているからである。

複数の同期されたビデオがビデオ表示フレーム内において再生されるのに伴って、ロードトリップアルバムは、複数のビデオと同期されたオーディオを再生してもよい。オーディオは、車両内の、車両外の、又はこれら両方の、音であってもよい。

いくつかの実施形態において、ロードトリップアルバムは、左手部分に統合された道路マップを表示し、且つ、右手部分に１又は複数の保存されているビデオ及び／又は統合された道路マップを表示している。複数のビデオの配置は、ユーザ構成可能であってもよく、或いは、複数のビデオの保存の前に、既定されていてもよい。

図５は、ロードトリップアルバムを実装するためのコンポーネントのやり取りの一例のシーケンスを示している。適切にプログラムされた、１又は複数のコンピュータ又は１又は複数のデータ処理装置、例えばマルチメディアキャプチャシステム１００、がシーケンス５００を実行してもよい。

１又は複数のセンサ１２６、例えばイグニッションセンサが、車両のパワーオン指示をＥＣＵ１１２に送信してもよい（５０２）。いくつかの実施形態において、ナビゲーションユニット１２２は、自身がパワーオンされたという指示をＥＣＵ１１２に送信してもよい。ＥＣＵ１１２は、指示に基づいて、マルチメディアキャプチャモードを初期化してもよい（５０４）。ＥＣＵ１１２は、１又は複数のマイクロフォン１１８にオーディオをキャプチャするように要求し（５０６）、且つ、複数のカメラ１３４にビデオをキャプチャするように要求している（５０８）。１又は複数のマイクロフォン１１８は、キャプチャされたオーディオをマルチメディアプロセッサ１３２に送信してもよい（５１０）。複数のカメラ１３４は、キャプチャされたビデオをマルチメディアプロセッサ１３２に送信してもよい（５１２）。いくつかの実施形態において、キャプチャされたオーディオは、存在していない。マルチメディアプロセッサ１３２は、キャプチャされたメディアコンテンツを同期している（５１４）。キャプチャされたメディアコンテンツは、ユーザ構成可能な設定に基づいてキャプチャされたビデオ及び／又はオーディオを含んでいてもよい。マルチメディアプロセッサは、同期されたメディアをメモリ１１４に送信しており（５１６）、且つ、メモリ１１４は、メディアコンテンツをバッファするべく割り当てられるストレージサイズを確立するユーザ構成可能な設定に基づいて、メディアをバッファしている（５１８）。

１又は複数のセンサ１２６、例えば顔面認識センサ又はオーディオセンサは環境を監視している（５２０）。センサ１２６は、定期的に、継続的に及び／又はリアルタイムで、環境を監視してもよい。センサ１２６は、ユーザ構成可能な設定に基づいて顔面表現を判定するべく、オーディオ表現又は顔面表現を判定するために周波数計測を含む環境の計測値を取得してもよい。センサ１２６は、計測値を含む環境データをＥＣＵ１１２に提供してもよい（５２２）。次いで、ＥＣＵ１１２は、環境の計測値をベースラインと比較することにより、トリガイベントを検出してもよい（５２４）。ベースラインは、ユーザにより、予めプログラム又は構成されていてもよい。比較は、乗員のアイデンティティに基づいたものであってもよい。例えば、１Ｋｈｚ超の周波数は、男性の乗員からの笑いを示してもよく、２ｋＨｚ超の周波数は、女性の乗員からの笑いを示してもよい。別の例において、１又は複数のセンサ１２６は、車両の乗員としてジェーンの顔面特徴又は音声に基づいてジェーンを識別してもよく、且つ、ジェーンがロードトリップの際の任意の時点において笑っているかどうかを判定するべく、ジェーンのベースライン顔面特徴を含む保存されているプロファイルを使用してもよい。

ＥＣＵ１１２がトリガイベントを検出した場合に、ＥＣＵ１１２は、メモリ１１４からバッファされているメディアを要求してもよく（５２６）、且つ、ナビゲーションユニット１２２に対して車両情報及びマップ情報を要求してもよい（５２８）。車両情報は、車両１０２の現在の場所、車両１０２の現在の高度及び／又は日付／時刻情報を含んでいてもよい。ＥＣＵ１１２は、１又は複数のセンサ１２６から乗員のアイデンティティに関する情報を要求してもよい。マップ情報は、付近のランドマークのランドマーク情報を含んでいてもよい。メモリ１１４は、バッファされたメディアをＥＣＵ１１２に送信してもよい（５３０）。ナビゲーションユニットは、車両情報及びマップ情報をＥＣＵ１１２に送信してもよい（５３２）。

ＥＣＵ１１２は、ロードトリップイベントの開始及び終了時間を示すユーザ構成可能な設定に基づいてバッファされたメディアを解析又は繁ぎ合せしてもよく、且つ、ＥＣＵ１１２は、日付／時刻情報、場所情報、及び乗員のアイデンティティを含みうるその他の情報により、バッファされているメディアコンテンツにタグ付けしてもよい（５３４）。ＥＣＵ１１２は、タグ付けされると共に解析又は繁ぎ合されたメディアコンテンツを、１又は複数のストレージ装置１３０に送信するか（５３６）、或いは、例えば、車両１０２に接続されたパーソナル装置又は車両エンターテインメントセンター上において表示している。

本明細書において記述されている車両は、運転者によって操作されているが、本明細書において記述されているシステム及び方法は、同様に、自律型及び半自律型の車両にも適用可能であろう。

以上、例示を目的としたスタイルにおいて、本発明の例示的な実施形態を開示してきた。従って、その全体を通じて利用されている用語は、非限定的な方法によって解釈されることを要する。当業者は、本明細書の教示内容に対する多少の変更を想起することになるが、本発明に付与される特許の範囲内に含まれるべく意図されているものは、本発明によって寄与される技術分野の進歩の範囲に合理的に含まれるすべての実施形態であり、且つ、この範囲は、添付の請求項及びその均等物に鑑みた場合を除いて、制限されるものではないことを理解されたい。

Claims

車両用のマルチメディアキャプチャシステムであって、
前記車両にネットワークを通じて接続された１又は複数のストレージ装置を有し、
前記車両は、
ビデオをバッファするための、且つ、１又は複数のビデオプロセッサに結合された、メモリと、
第１カメラ及び第２カメラを含み、且つ、１又は複数のビデオプロセッサに結合された複数のカメラであって、
前記１又は複数のビデオプロセッサは、
一定時間にわたって前記車両の内部ビューの第１ビデオをキャプチャし、
前記一定時間にわたって前記車両の周囲の外部ビューの第２ビデオをキャプチャし、
前記第１ビデオと前記第２ビデオとを同期させる、
ように構成されている、複数のカメラと、
前記車両内のオーディオをキャプチャするための１又は複数のオーディオプロセッサに結合された１又は複数のマイクロフォンと、
マルチメディアプロセッサを含む電子制御ユニットであって、前記マルチメディアプロセッサは、前記１又は複数のビデオプロセッサと、前記１又は複数のオーディオプロセッサと、を含み、
前記メモリ内において、同期された前記ビデオをバッファし、
トリガイベントを検出し、
前記第２ビデオに基づく前記車両の前記周囲の前記外部ビューにおいて対象を識別し、
前記対象に焦点を合わせるべく、前記第２カメラをズーム調節するか又は再位置決めするかの少なくとも一つを行い、
前記第１ビデオ又は前記オーディオのうちの少なくとも１つに基づいて顔面表現又は音声表現のうちの少なくとも１つを識別して前記顔面表現又は前記音声表現のうちの前記少なくとも１つについての信頼値を判定することにより得られる該信頼値が、信頼閾値よりも大きい又はこれと等しいときに、前記トリガイベントに基づいて、同期された前記ビデオを保存する、
ように構成されている、電子制御ユニットと、
を含む、システム。
請求項１に記載のマルチメディアキャプチャシステムであって、
前記１又は複数のオーディオプロセッサは、
前記車両の内部からオーディオをキャプチャし、前記オーディオは、１又は複数のオーディオ表現を含み、且つ、
前記１又は複数のオーディオ表現の周波数レベルを計測する、
ように構成されている、システム。
請求項２に記載のマルチメディアキャプチャシステムであって、
前記トリガイベントを検出するために、前記電子制御ユニットは、
前記１又は複数のオーディオ表現の前記周波数レベルが、特定の範囲内である場合に、前記トリガイベントが発生していると判定する、
ように構成されており、前記特定の範囲は、ユーザ構成可能であるか又は既定されている、システム。
請求項３に記載のマルチメディアキャプチャシステムであって、
前記マルチメディアプロセッサは、前記オーディオを同期された前記ビデオと同期させるように構成されている、システム。
請求項１に記載のマルチメディアキャプチャシステムであって、
前記電子制御ユニットは、同期された前記ビデオを開始時間と終了時間の間に保存するように更に構成されており、前記開始時間は、前記トリガイベントの時又は前であり、且つ、前記終了時間は、前記トリガイベントの後の閾値時間量である、システム。
請求項５に記載のマルチメディアキャプチャシステムであって、前記開始時間、前記終了時間、又は前記トリガイベントの後の前記閾値時間量のうちの少なくとも１つは、ユーザ構成可能な設定である、システム。
請求項１に記載のマルチメディアキャプチャシステムであって、前記トリガイベントは、ユーザインターフェイス上におけるユーザインターフェイス要素の選択である、システム。
請求項１に記載のマルチメディアキャプチャシステムであって、
前記車両は、
現在の日付及び時刻並びに前記車両の現在の場所を含む車両情報を取得するための前記電子制御ユニットに結合されたナビゲーションユニットを更に有し、
前記電子制御ユニットは、
前記ナビゲーションユニットから、前記車両情報を取得し、
前記車両情報に基づいて、前記第２ビデオ内においてキャプチャされている１又は複数のランドマークを識別し、且つ、
前記電子制御ユニットにより、同期された前記ビデオ内の前記１又は複数のランドマークにタグ付けする、
ように更に構成されている、システム。
請求項１に記載のマルチメディアキャプチャシステムであって、
前記ネットワークを通じて前記車両に接続された１又は複数の外部データベースを更に有し、
前記１又は複数の外部データベースは、ランドマーク情報を含み、
前記電子制御ユニットは、
前記１又は複数の外部データベースから、前記ランドマーク情報を取得し、
前記ランドマーク情報に基づいて、前記第２ビデオ内においてキャプチャされている１又は複数のランドマークを識別し、且つ、
前記電子制御ユニットにより、同期された前記ビデオ内の前記１又は複数のランドマークにタグ付けする、
ように更に構成されている、システム。
請求項１に記載のマルチメディアキャプチャシステムであって、
同期された前記ビデオを保存することは、
前記ネットワークを通じて前記車両に接続された前記１又は複数のストレージ装置にアクセスすることと、且つ、
前記ネットワークを通じて前記車両に接続された前記１又は複数のストレージ装置に同期されたビデオを送信することと、
を有する、システム。
車両のロードトリップアルバム用のコンピュータ実装された方法であって、
１又は複数のビデオプロセッサにおいて、且つ、第１カメラを使用することにより、一定時間にわたって前記車両の内部ビューの第１ビデオをキャプチャすることと、
前記１又は複数のビデオプロセッサにおいて、且つ、第２カメラを使用することにより、前記一定時間にわたって前記車両の周囲の外部ビューの第２ビデオをキャプチャすることと、
前記１又は複数のビデオプロセッサを使用することにより、前記第１ビデオと前記第２ビデオとを同期させることと、
メモリ内において、同期された前記ビデオをバッファすることと、
トリガイベントを検出することと、
前記１又は複数のビデオプロセッサによって、前記第２ビデオに基づく前記車両の前記周囲の前記外部ビューにおいて対象を識別することと、
前記１又は複数のビデオプロセッサによって、前記対象に焦点を合わせるべく、前記第２カメラをズーム調節するか又は再位置決めするかの少なくとも一つを行うことと、
前記１又は複数のビデオプロセッサによって前記第１ビデオに基づいて顔面表現を識別して前記顔面表現についての信頼値を判定することにより得られる該信頼値が、信頼閾値よりも大きい又はこれと等しいときに、前記トリガイベントに基づいて、同期された前記ビデオを保存することと、
を有する、方法。
請求項１１に記載のコンピュータ実装された方法であって、現在の日付、前記車両の場所及び高度を含む車両情報を取得することと、
電子制御ユニットにより、且つ、ナビゲーションユニット又は前記第２カメラを使用することにより、前記第２ビデオ内においてキャプチャされている１又は複数のランドマークを識別することと、且つ、
前記電子制御ユニットにより、同期された前記ビデオ内の前記１又は複数のランドマークにタグ付けすることと、
を更に有する、方法。
請求項１２に記載のコンピュータ実装された方法であって、同期された前記ビデオを保存することは、同期された前記ビデオとともに、前記タグ付された１又は複数のランドマーク情報、前記車両情報、及び前記車両の乗員の１又は複数のアイデンティティ情報、を保存することを含む、方法。
請求項１１に記載のコンピュータ実装された方法であって、前記トリガイベントは、同期された前記ビデオの保存を起動するユーザ入力である、方法。
請求項１１に記載のコンピュータ実装された方法であって、前記トリガイベントを検出することは、
１又は複数のセンサを使用することにより、前記車両の乗員のオーディオ表現を判定することと、且つ、
前記オーディオ表現が特定の範囲内の周波数を有していると判定することと、
を有する、方法。
請求項１１に記載のコンピュータ実装された方法であって、１又は複数のオーディオプロセッサにおいて、且つ、第１マイクロフォンを使用することにより、前記一定時間にわたって前記車両の内部のオーディオ記録をキャプチャすることと、
マルチメディアプロセッサにおいて、前記キャプチャされたオーディオ記録と同期された前記ビデオを同期させることと、且つ、
前記キャプチャされたオーディオを同期された前記ビデオと共に保存することと、
を更に有する、方法。
請求項１１に記載のコンピュータ実装された方法であって、ユーザインターフェイスからユーザ入力を取得することを更に有し、前記ユーザ入力は、前記トリガイベント用の構成設定である、方法。
請求項１７に記載のコンピュータ実装された方法であって、前記トリガイベントを検出することは、
前記第１カメラを使用することにより、乗員の１又は複数の顔面特徴をキャプチャすることと、
前記１又は複数の顔面特徴に基づいて前記車両の乗員の１又は複数の顔面表現を判定することと、且つ、
前記１又は複数の判定された顔面表現及び前記トリガイベント用の前記構成設定に基づいて、前記トリガイベントが発生していると判定することと、
を有する、方法。
自律型車両用のマルチメディアキャプチャシステムであって、
前記自律型車両にネットワークを通じて接続された１又は複数のストレージ装置を有し、
前記自律型車両は、
ビデオをバッファするための、且つ、１又は複数のビデオプロセッサに結合された、メモリと、
第１カメラ及び第２カメラを含み、且つ、１又は複数のビデオプロセッサに結合された、複数のカメラであって、前記１又は複数のビデオプロセッサは、
一定時間にわたって前記自律型車両の内部ビューの第１ビデオをキャプチャし、
前記一定時間にわたって前記自律型車両の周囲の外部ビューの第２ビデオをキャプチャし、
前記第１ビデオと前記第２ビデオとを同期させる、
ように構成されている、複数のカメラと、
前記自律型車両内のオーディオをキャプチャするための１又は複数のオーディオプロセッサに結合された１又は複数のマイクロフォンと、
マルチメディアプロセッサを含む電子制御ユニットであって、前記マルチメディアプロセッサは、前記ビデオプロセッサと、前記１又は複数のオーディオプロセッサと、を含み、
メモリ内において、同期された前記ビデオをバッファし、
トリガイベントを検出し、
前記第２ビデオに基づく前記自律型車両の前記周囲の前記外部ビューにおいて対象を識別し、
前記対象に焦点を合わせるべく、前記第２カメラをズーム調節するか又は再位置決めするかの少なくとも一つを行い、
前記第１ビデオ又は前記オーディオのうちの少なくとも１つに基づいて顔面表現又は音声表現のうちの少なくとも１つを識別して前記顔面表現又は前記音声表現のうちの前記少なくとも１つについての信頼値を判定することにより得られる該信頼値が、信頼閾値よりも大きい又はこれと等しいときに、前記トリガイベントに基づいて、同期された前記ビデオを保存する、
ように構成されている、電子制御ユニットと、
を含む、システム。
請求項１９に記載のマルチメディアキャプチャシステムであって、前記自律型車両は、１又は複数のセンサ又はナビゲーションユニットを使用することにより、且つ、人間入力を伴うことなしに、動作する、システム。