JP6773579B2 - マルチメディアキャプチャ用のシステム及び方法 - Google Patents

マルチメディアキャプチャ用のシステム及び方法 Download PDF

Info

Publication number
JP6773579B2
JP6773579B2 JP2017018503A JP2017018503A JP6773579B2 JP 6773579 B2 JP6773579 B2 JP 6773579B2 JP 2017018503 A JP2017018503 A JP 2017018503A JP 2017018503 A JP2017018503 A JP 2017018503A JP 6773579 B2 JP6773579 B2 JP 6773579B2
Authority
JP
Japan
Prior art keywords
video
vehicle
audio
processors
trigger event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017018503A
Other languages
English (en)
Other versions
JP2017194950A (ja
Inventor
雄一 落合
雄一 落合
ナガタ カツミ
ナガタ カツミ
佐々木 章
章 佐々木
Original Assignee
トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド
トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド, トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド filed Critical トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド
Publication of JP2017194950A publication Critical patent/JP2017194950A/ja
Application granted granted Critical
Publication of JP6773579B2 publication Critical patent/JP6773579B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8211Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a sound signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/44Event detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Input (AREA)
  • Closed-Circuit Television Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)

Description

本明細書は、ロードトリップアルバムのキャプチャ、記録及び共有に関する。
ビデオ撮影及び記録機器は、画像のキャプチャ及び記録のために使用されている。車両内において、ビデオ機器は、車両の内部の人物のビデオ画像と、車両の外部の画像と、を記録するべく使用されている。ビデオには、編集プロセスが適用されてもよく、次いで、ビデオは、表示される。しかし、ビデオ画像は、補正されることがなく、且つ、同期も行われず、その結果、自然発生的なイベントの全体像をキャプチャ及び記録するプロセスが困難である。更には、ビデオ画像のキャプチャが手動で開始されており、その結果、いくつかの自然発生的なイベントを逃すことにもなる。
従って、ロードトリップの際に、自然発生的なイベントのアングル及び視点のすべてをキャプチャし、記録し、且つ、共有するシステム及び方法に対するニーズが存在している。
一般に、本明細書において記述されている主題の一態様は、ネットワークを通じて車両に接続された1又は複数のストレージ装置を含む車両用のマルチメディアキャプチャシステムのためのシステムにおいて実施される。車両は、ビデオをバッファするための、且つ、1又は複数のビデオプロセッサに結合された、メモリを含む。車両は、複数のカメラを含む。複数のカメラは、第1カメラと、第2カメラと、を含み、且つ、1又は複数のビデオプロセッサに結合されている。1又は複数のビデオプロセッサは、一定時間にわたって車両の内部ビューの第1ビデオをキャプチャすると共に、一定時間にわたって車両の周囲の外部ビューの第2ビデオをキャプチャするように、構成されている。1又は複数のビデオプロセッサは、第1ビデオと第2ビデオを同期させるように構成されている。車両は、車両内のオーディオをキャプチャするための1又は複数のオーディオプロセッサに結合された1又は複数のマイクロフォンと、マルチメディアプロセッサを含みうる電子制御ユニットと、を含む。マルチメディアプロセッサは、1又は複数のビデオプロセッサと、1又は複数のオーディオプロセッサと、を含んでもよい。電子制御ユニットは、同期されたビデオをバッファし、トリガイベントを検出し、且つ、同期されたビデオを保存するように、構成されている。
これらの及びその他の実施形態は、任意選択により、以下の特徴のうちの1又は複数を含んでもよい。1又は複数のオーディオプロセッサは、車両の内部からの1又は複数のオーディオ表現を含みうるオーディオをキャプチャするように構成されてもよい。1又は複数のオーディオプロセッサは、1又は複数のオーディオ表現の周波数レベルを計測してもよい。電子制御ユニットは、1又は複数のオーディオ表現の周波数レベルが、特定の範囲内である場合に、トリガイベントが発生していると判定してもよい。特定の範囲は、ユーザ構成可能であってもよく、或いは、既定されてもよい。
マルチメディアプロセッサは、オーディオを同期されたビデオと同期させるように構成されてもよい。電子制御ユニットは、同期されたビデオを開始時間と終了時間の間に保存するように構成されてもよく、開始時間は、トリガイベントの時又は前であり、且つ、終了時間は、トリガイベントの後の閾値時間量である。開始時間、終了時間、及び/又はトリガイベントの後の閾値時間量は、ユーザ構成可能な設定であってもよい。トリガイベントは、ユーザインターフェイス上におけるユーザインターフェイス要素の選択であってもよい。
車両は、現在の日付及び時刻並びに車両の現在の場所を含む車両情報を取得するべく電子制御ユニットに結合されたナビゲーションユニットを含んでもよい。電子制御ユニットは、車両情報を取得すると共に車両情報に基づいて1又は複数のランドマークを識別するように、構成されてもよい。1又は複数の外部データベースが、ネットワークを通じて車両に接続されてもよい。1又は複数の外部データベースは、ランドマーク情報を含んでいてもよい。電子制御ユニットは、ランドマーク情報を取得すると共にランドマーク情報に基づいて1又は複数のランドマークを識別するように構成されてもよい。電子制御ユニットは、同期されたビデオ内の1又は複数のランドマークにタグ付けしてもよい。電子制御ユニットは、1又は複数のストレージ装置にアクセスしてもよく、且つ、同期されたビデオを保存するべく、同期されたビデオを車両に接続された1又は複数のストレージ装置に送信してもよい。
別の態様において、主題は、車両用のロードトリップアルバムのための方法において実施されてもよい。方法は、1又は複数のビデオプロセッサにおいて、且つ、第1カメラを使用することにより、一定時間にわたって車両の内部ビューの第1ビデオをキャプチャすることを含んでいてもよい。方法は、1又は複数のビデオプロセッサにおいて、且つ、第2カメラを使用することにより、一定時間にわたって車両の周囲の外部ビューの第2ビデオをキャプチャすることを含んでいてもよい。方法は、1又は複数のビデオプロセッサを使用することにより、第1ビデオと第2ビデオを同期させることと、メモリ内において、同期されたビデオをバッファすることと、を含んでいてもよい。方法は、トリガイベントを検出することと、同期されたビデオを保存することと、を含んでいてもよい。
別の態様において、主題は、ネットワークを通じて自律型車両に接続された1又は複数のストレージ装置を含む自律型車両用のマルチメディアキャプチャシステムのためのシステムにおいて実施されてもよい。自律型車両は、ビデオをバッファするための、且つ、1又は複数のビデオプロセッサに結合された、メモリを含む。自律型車両は、複数のカメラを含む。複数のカメラは、第1カメラと、第2カメラと、を含み、且つ、1又は複数のビデオプロセッサに結合されている。1又は複数のビデオプロセッサは、一定時間にわたって自律型車両の内部ビューの第1ビデオをキャプチャすると共に、一定時間にわたって自律型車両の周囲の外部ビューの第2ビデオをキャプチャするように、構成されている。1又は複数のビデオプロセッサは、第1ビデオと第2ビデオを同期させるように構成されている。自律型車両は、自律型車両内のオーディオをキャプチャするべく1又は複数のオーディオプロセッサに結合された1又は複数のマイクロフォンと、マルチメディアプロセッサを含みうる電子制御ユニットと、を含む。マルチメディアプロセッサは、1又は複数のビデオプロセッサと、1又は複数のオーディオプロセッサと、を含んでいてもよい。電子制御ユニットは、同期されたビデオをバッファし、トリガイベントを検出し、且つ、同期されたビデオを保存するように、構成されている。
本発明のその他のシステム、方法、特徴、及び利点については、以下の図及び詳細な説明を検討することにより、当業者に明らかとなろう。図面に示されているコンポーネント部品は、必ずしも縮尺が正確ではなく、且つ、本発明の重要な特徴を相対的に良好に示すべく、誇張されている場合がある。
本発明の一態様による車両用のマルチメディアキャプチャシステムの一例のブロック図である。 本発明の一態様によるロードトリップイベントをキャプチャするプロセスの一例のフロー図である。 本発明の一態様によるロードトリップイベントをキャプチャするプロセスの一例のフロー図である。 本発明の一態様によるロードトリップイベントが発生していると判定するプロセスの一例のフロー図である。 本発明の一態様によるロードトリップアルバムの一例の図である。 本発明の一態様によるロードトリップアルバムを実装するためのコンポーネントのやり取りの一例のシーケンスである。
本明細書には、マルチメディアキャプチャモードの予測、準備、及び実装用のシステム、車両、及び方法が開示されている。本明細書において記述されている主題の特定の実施形態は、以下の利点のうちの1又は複数を実現するべく実装されてもよい。マルチメディアキャプチャシステムは、車両において旅行している最中に、予期しない楽しみや興奮の瞬間を自動的にタグ付け及びキャプチャする。例えば、車両内の乗員は、ロードトリップを走行中であってもよく、且つ、「あの滝を見て!」と叫ぶ場合がある。マルチメディアキャプチャシステムは、このイベント及びビデオにタグ付けすることができ、且つ、叫んだ乗員、その他の乗員の反応又は顔面表現、及び滝をビデオ撮影することになろう。
マルチメディアキャプチャシステムは、キャプチャされたロードトリップイベントから、ロードトリップアルバムを生成してもよい。予期しない瞬間を自動的に検出することにより、マルチメディアキャプチャシステムは、乗員及び/又は運転者の率直な反応をキャプチャする。瞬間を逃すことのないように、トリガイベントの前の瞬間に始まって、トリガイベントの後の所定の時点までのロードトリップイベントの全体がキャプチャされる。乗員の反応、ロードトリップイベント、及び周囲環境のすべてが、リアルタイムで、例えば、パーソナルハンドヘルド装置上において又は車両(例えば、後部座席)エンターテインメントセンタ上において、キャプチャ、保存、及び/又は表示されてもよい。
その他の利益及び利点は、乗員の反応と共に、車両の外部の周囲環境のパノラマビューをキャプチャし、同期し、保存し、且つ、表示する能力を含む。更なる利益及び利点は、ビデオと共に、車両の内部及び/又は外部の音をキャプチャし、同期し、保存し、且つ、再生する能力を含みうる。例えば、車両がゴールデンゲートブリッジを通過するのに伴って、マルチメディアキャプチャシステムは、眺めに圧倒されている車両内部の子供たち、一方の窓の外のサンフランシスコ湾の眺め、別の窓の外のサンフランシスコのダウンタウンの眺め、通過するトローリーの音、及び子供たちによって表される興奮の音を記録してもよい。異なる眺め及び音を記録し、キャプチャし、且つ、同期させる能力を有することにより、個人は、ロードトリップを印象的なものとしたすべての詳細事項の記録を入手する。
図1は、車両102のマルチメディアキャプチャシステムの一例のブロック図である。マルチメディアキャプチャシステム100は、ロードトリップアルバム内においてロードトリップイベントをキャプチャするように適切にプログラムされた1又は複数のコンピュータ又は電子制御ユニット(ECU:Electronic Control Unit)を含んでいてもよい。
マルチメディアキャプチャシステム100は、ネットワーク106に結合された車両102と、1又は複数の外部データベース104と、1又は複数のストレージ装置130と、を含む。例えば、車両102などの車両は、一人若しくは複数の人物又は任意の物資又は任意の永久的に若しくは一時的に取り付けられた装置を搬送できる乗り物である。車両は、自己推進型の車輪を有する乗り物、例えば乗用車、スポーツ用途車、トラック、バス、バン、又はその他のモーター又はバッテリによって駆動される車両であってもよい。例えば、車両102は、エンジン108、電池120、及び/又はモーター/発電機110を含む、ガソリン又はディーゼルエンジンによって動力(パワー)供給される車両、電気車両、ハイブリッド車両、プラグインハイブリッド車両、又は任意のその他のタイプの車両であってもよい。車両のその他の例は、自転車、列車、飛行機、又はボート、並びに、搬送能力を有する任意のその他の形態の乗り物を含む。例えば、車両102などの車両は、半自律型又は自律型であってもよい。即ち、車両102は、人間の入力を伴うことなしに、自己操縦してもよく、且つ、ナビゲートしてもよい。自律型車両は、自律的に走行するべく、1又は複数のセンサ、例えば1又は複数のセンサ126と、ナビゲーションユニット、例えばナビゲーションユニット122と、を使用してもよい。
車両102は、ネットワーク106に結合されていてもよい。ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、セルラーネットワーク、インターネット、狭域通信(DSRC:Dedicated Short−Range Communication)、又はこれらの組合せなどのネットワーク106が、車両106を1又は複数の外部データベース104に接続する。外部データベース104は、様々なサービスプロバイダからの多数のデータベースを含んでいてもよい。サービスプロバイダは、情報を車両102に提供してもよい。サービスプロバイダによって提供される情報は、マップ情報を含んでいてもよい。情報は、1又は複数のデータベース、に保存されてもよい。
データベースは、コンピュータなどによるサーチ及び検索のために体系化された情報の任意の集合体であり、且つ、データベースは、表、スキーマ、クエリ、レポート、又は任意のその他のデータ構造において体系化されてもよい。データベースは、任意の数のデータベース管理システムを使用してもよい。1又は複数の外部データベース104は、情報を保存又は提供する第三者サーバー又はウェブサイトを含んでいてもよい。情報は、リアルタイム情報であってもよく、定期的に更新されてもよく、或いは、ユーザ入力されてもよい。サーバーは、ファイルのアクセス又は周辺装置の共有などのサービスをネットワーク内のその他のコンピュータに提供するべく使用されるネットワーク内のコンピュータであってもよい。ウェブサイトは、ドメイン名と関連する1又は複数のリソースの集合体であってもよい。
マップ情報は、ランドマーク情報を含んでいてもよい。ランドマーク情報は、1又は複数のランドマーク特徴を含む。ランドマーク特徴は、観光地、建物、橋、大規模交通ハブ、歴史的なランドマーク、山、河、及び湖などの自然地形の特徴、並びに、ガソリンスタンドやスタジアムなどのその他の場所又は構造、或いは、その他の名所である。それぞれのランドマーク特徴は、マップ座標、高度情報、及び/又は1又は複数の画像と関連付けられている。マップ座標は、特徴の緯度及び経度座標の両方を含む。
ネットワーク106を介して車両に結合された1又は複数のストレージ装置130は、ネットワーク又はクラウドストレージを提供する1又は複数のサーバーを含んでいてもよい。即ち、デジタルデータがその内部において保存されるデータストレージは、1又は複数の場所に配置された1又は複数のサーバーにわたって物理的なストレージ内に存在している。ホスティング企業、例えばクラウドサービスプロバイダが、物理環境を管理及び/又は所有してもよく、且つ、データを利用可能且つアクセス可能な状態を維持すると共に、物理環境を保護すると共に稼働している状態を維持する責任を担っている。いくつかの実施形態において、1又は複数のストレージ装置130は、パーソナル装置、例えばスマートフォンを含んでいてもよい。パーソナル装置は、車両102に接続されたパーソナル装置であってもよく、或いは、車両102の外部に配置されたパーソナル装置であってもよい。
車両102は、エンジン108、モーター/発電機110、電子制御ユニット(ECU)112、メモリ114、バッテリ管理及び制御ユニット(BMCU:Battery Management and Control Unit)116、1又は複数のマイクロフォン118、複数のカメラ134、及び/又はバッテリ120を含んでいてもよい。また、車両102は、ナビゲーションユニット122、ネットワークアクセス装置124、1又は複数のセンサ126、及び/又はユーザインターフェイス128を含んでいてもよい。
モーター/発電機110は、電気エネルギーをトルクなどの機械動力に変換してもよく、且つ、機械動力を電気エネルギーに変換してもよい。モーター/発電機110は、バッテリ120に結合されていてもよい。モーター/発電機110は、バッテリ120からのエネルギーを機械動力に変換してもよく、且つ、例えば、回生ブレーキを介して、エネルギーをバッテリ120に戻してもよい。いくつかの実施形態において、車両102は、エンジン108及び/又は燃料電池スタック(不図示)などの1又は複数の更なる動力生成装置を含んでいてもよい。エンジン108は、モーター/発電機110によって供給される動力の代わりに及び/又はこれに加えて、動力を提供するべく、燃料を燃焼させる。
バッテリ120は、モーター/発電機110に結合されていてもよく、且つ、電気エネルギーをモーター/発電機110に提供してもよく、且つ、電気エネルギーをモーター/発電機110から受け取ってもよい。バッテリ120は、1又は複数の充電可能なバッテリを含んでいてもよい。
BMCU116は、バッテリ120に結合されていてもよく、且つ、バッテリ120の充電及び放電を制御及び管理してもよい。BMCU116は、例えば、バッテリセンサ(不図示)を使用することにより、バッテリ120の充電状態(SOC:State Of Charge)を判定するべく使用されるパラメータを計測してもよい。
ECU112は、車両102のコンポーネントのうちの一部又はすべてに電気的に結合されていてもよい。ECU112は、自動車システム及び車両のための特別に設計された1又は複数のプロセッサ又はコントローラを含んでいてもよく、且つ、ECU112の機能は、単一のECUとして、或いは、複数のECUとして、実装されてもよい。ECU112は、1又は複数のコンポーネントからデータを受信してもよく、且つ、受信された又は判定されたデータに基づいて1又は複数のコンポーネントの動作を制御してもよい。例えば、ECU112は、ナビゲーションユニット122、1又は複数のセンサ126、及びネットワークアクセス装置124からデータを受信してもよく、且つ、ユーザインターフェイス128に表示を出力するべく、装置のそれぞれから受信されたデータを統合してもよい。ECU112は、バッテリ120を充電又は放電させるべく、BMCU116の動作を制御してもよい。
メモリ114は、ECU112に結合されていてもよい。メモリ114は、ECU112上において稼働するための命令を保存してもよく、且つ、ランダムアクセスメモリ(RAM)又はその他の揮発性又は不揮発性メモリのうちの1又は複数を含んでいてもよい。メモリ114は、一時的ではないメモリ又はデータストレージ装置であってもよく、即ち、ハードディスクドライブ、ソリッドステートディスクドライブ、ハイブリッドディスクドライブ、又はその他の適切なデータストレージであってもよく、且つ、機械可読命令を更に保存してもよく、機械可読命令は、ECU112により、読み込まれてもよく、且つ、実行されてもよい。
ECU112は、1又は複数のセンサ126に結合されていてもよい。いくつかの実施形態において、1又は複数のセンサ126は、複数のカメラ134のうちの1又は複数及び/又はマイクロフォン118のうちの1又は複数に結合されていてもよい。いくつかの実施形態において、1又は複数のセンサ126は、ECU112を通じて複数のカメラ134のうちの1又は複数並びに/或いは1又は複数のマイクロフォン118に接続されていてもよい。1又は複数のセンサ126は、様々な内部又は外部環境パラメータを検出してもよい。
内部環境パラメータは、顔面特徴又は顔面位置を含んでいてもよい。ECU112は、車両102の内部の乗員が、特定の方向を眺めているかどうか、及び/又は、複数のカメラ134のうちの1つのカメラの方向を向いているかどうか、を判定するべく顔面特徴又は位置を検出するために、1又は複数の内部センサを使用してもよい。トリガイベントを判定し、及び/又は、車両の乗員の反応を解釈するべく、オーディオ情報、ビデオ情報、又はこれら両方の組合せが使用されてもよい。乗員とは、運転者を含む車両内部の任意の人物である。
外部環境パラメータは、その他の車両の位置又は周辺(Ambient)以外の雑音を含んでいてもよい。1又は複数の外部センサは、車両102のユニット及び/又は装置、例えば環境内のイベントを検出する近接センサ、を含んでいてもよく、例えば、別の車両との異常接近といったトリガイベントを生成しうるイベントを検出する。
トリガイベントとは、乗員による雑音又は単語(複数可)の反応の発生であり、この反応は記憶に残る瞬間に起因する。ロードトリップイベントとは、トリガイベントの前、後及びこれを含む時間の特定のインターバルである。トリガイベントは、記憶に残る瞬間、記憶に残る瞬間に起因する反応、並びに、車両102の内部及び/又は周囲をキャプチャする。
ECU112は、マルチメディアプロセッサ132と、汎用プロセッサ140と、を含む1又は複数のデータ処理装置を含んでいてもよい。マルチメディアプロセッサ132は、車両102のマルチメディア装置、例えば1又は複数のマイクロフォン118及び複数のカメラ143を管理及び制御し、且つ、1又は複数のビデオプロセッサ138及び1又は複数のオーディオプロセッサ136を使用することにより、マルチメディア装置から得られるメディアコンテンツを管理している。メディアコンテンツは、オーディオデータ、ビデオーデータ、又はこれらの両方の組合せを意味する。マルチメディアプロセッサ132は、処理済みのビデオストリーム及びオーディオストリームを関連付けると共に同期させている。例えば、異なるカメラアングル及び異なるマイクロフォンからのメディアコンテンツのすべてが、ストレージ装置、例えばストレージ装置130に保存されると共に/又は表示されるように関連付けられると共に同期される。
マルチメディアプロセッサ132は、1又は複数のビデオプロセッサ138を含んでいてもよい。1又は複数のビデオプロセッサ138は、複数のカメラ134からの複数のビデオストリームを同期させている。複数のカメラ134は、車両102の内部及び外部の両方にある。
マルチメディアプロセッサ132は、1又は複数のオーディオプロセッサ136を含んでいてもよい。1又は複数のオーディオプロセッサ136は、1又は複数のマイクロフォン118からの1又は複数のオーディオストリームを同期させてもよい。1又は複数のマイクロフォン118は、車両102の内部及び/又は外部にあってもよい。マルチメディアストリームの同期及び関連付けについては、図2を参照して更に説明する。
いくつかの実施形態において、マルチメディアプロセッサ132は、ECU112内に含まれていない。その代わりに、マルチメディアプロセッサ132は、ECU112に結合されていてもよい。いくつかの実施形態において、1又は複数のビデオプロセッサ138又は1又は複数のオーディオプロセッサ136は、マルチメディアプロセッサ132に結合されていてもよく、これに含まれていなくてもよい。いくつかの実施形態において、マルチメディアプロセッサ132、1又は複数のビデオプロセッサ138、又は1又は複数のオーディオプロセッサ136は、車両102の外部に位置しており、且つ、ネットワーク106を通じてECU112に結合されている。
複数のカメラ134は、ECU112に結合されており、且つ、ビデオストリームをキャプチャする。1又は複数のマイクロフォン118は、ECU112に結合されており、且つ、オーディオをキャプチャする。カメラ及びマイクロフォンは、車両102の内部及び外部にあってもよい。
ナビゲーションユニット112は、ECU112に結合されていてもよく、且つ、場所データ及び日付/時刻情報を検出するべく、全地球測位システム(GPS)ユニット(不図示)を含んでいてもよい。ナビゲーションユニット122は、検出された場所データに基づいてナビゲーション命令を提供してもよく、且つ、ルートデータを保存するためのメモリ(不図示)を含んでいてもよい。ナビゲーションユニット122は、場所情報に対応したデータを検出できるその他のセンサからデータを受信してもよい。例えば、その他のセンサは、ジャイロスコープ又は加速度計を含んでいてもよい。
ナビゲーションユニット122は、車両102と一体になっていてもよく、或いは、車両102に結合された別個のユニット、例えばナビゲーション能力を有するパーソナル装置であってもよい。ナビゲーションユニット122が車両102とは別個である際に、ナビゲーションユニット122は、ネットワークアクセス装置124を介して車両102と通信してもよい。いくつかの実施形態において、車両102は、ナビゲーションユニット122の代わりに、GPSを含んでいてもよい。この点において、ECU112は、GPSユニットから受信されたデータに基づいて、ナビゲーションユニット122の機能を実行してもよい。ナビゲーション機能は、ナビゲーションユニット122又はECU112によって実行されてもよい。ナビゲーション機能は、例えば、ナビゲーション命令の提供、現在のルートの提供、車両102の現在の場所の提供、及び現在の日付/時刻情報の提供を含んでいてもよい。
ナビゲーションユニット122は、ユーザインターフェイス128とは別個のユーザインターフェイスを含んでいてもよく、及び/又は、ユーザインターフェイス128を介して通信してもよい。ユーザインターフェイス128は、ECU112に結合されていてもよく、且つ、パーソナル装置、例えば携帯電話機、タブレット、パーソナルコンピュータであって、ネットワーク106にわたってネットワークアクセス装置124を通じてECU112に接続されている。ユーザインターフェイス128は、ユーザ入力を受信できる任意の装置、例えばボタン、ダイヤル、マイクロフォン、タッチパッド、又はタッチスクリーン、及び/又は、出力できる任意の装置、例えばディスプレイ、スピーカ、又はリフレッシュ可能な点字(ブライユ)ディスプレイを含んでいてもよい。ユーザインターフェイス128は、車両102の運転者又は乗員にECU112と通信することを可能にさせる。例えば、運転者は、ユーザインターフェイス128を介してECU112にデータを提供可能であってもよく、及び/又は、ECU112からフィードバックを受信可能であってもよい。
ネットワークアクセス装置124は、Wi−Fiユニット、Bluetoothユニット、RFID(Radio Frequency Identification)タグ又は読取器、DSRCユニット、又は、セルラーネットワーク(3G又は4Gなど)にアクセスするためのセルラーネットワークユニットのうちの1又は複数などの通信ポート又はチャネルを含んでいてもよい。ネットワークアクセス装置124は、車両102に直接的に接続されていない装置及びシステムにデータを送信し、且つ、これらからデータを受信してもよい。例えば、ECU112は、外部データベース104と通信してもよい。更には、ネットワークアクセス装置124は、ネットワーク106にアクセスしてもよく、ネットワーク106には、外部データベース104も接続されている。
図2は、ロードトリップイベントをキャプチャするためのプロセス200の一例のフロー図である。1又は複数のコンピュータ或いは1又は複数のデータ処理装置、例えば適切にプログラムされた、図1のマルチメディアキャプチャシステム100のECU112がプロセス200を実行してもよい。
システムは、ロードトリップイベントをキャプチャするべく、マルチメディアキャプチャモードを初期化してもよい(202)。システムは、ユーザ入力又は車両102がパワーオンされたという指示に基づいてマルチメディアキャプチャモードを初期化してもよい。システムは、ユーザインターフェイス128からユーザ入力を受信してもよく、或いは、1又は複数のセンサ126から指示を受信してもよい。例えば、システムは、車両102がパワーオンされたという指示をイグニッションセンサから受信してもよい。
ユーザ入力は、ユーザインターフェイス128からのユーザインターフェイス要素のユーザ選択を含んでいてもよい。ユーザインターフェイス要素のユーザ選択は、タッチパッド、タッチスクリーン、スイッチ、又はボタン、例えばハンドル上のボタン、座席上のボタン、ディスプレイ上のボタン、の選択であってもよい。いくつかの実施形態において、ユーザ入力は、音声起動を含んでいてもよい。
システムは、1又は複数のセンサ126を使用してイグニッションスイッチが起動されたことを検出するか又はナビゲーションユニット122が起動されたことを検出することに基づいて、車両がパワーオンされたことを判定してもよい。
マルチメディアキャプチャモードの初期化の後に、システムは、1又は複数のユーザ構成設定を取得してもよい。1又は複数のユーザ構成設定は、ロードトリップイベントの前及び/又は後に記録されたビデオ及び/又はオーディオの長さを制御する1又は複数のバッファ設定を含んでいてもよい。バッファ設定は、トリガイベントの前に保存するべきビデオ及び/又はオーディオの長さ及び/又はトリガイベントの後に保存するべきビデオ及び/又はオーディオの長さの設定を含んでいてもよく、且つ、当初は既定値、例えばトリガイベントの前の10秒及びトリガイベントの後の30秒に設定されていてもよい。バッファ設定は、特定の時間の長さ、例えば5分、特定のデータサイズ、例えば5MB、或いは、ストレージサイズの特定の百分率、例えば5%、を単位とする長さを表記していてもよい。いくつかの実施形態において、イベントの前のバッファの時間の長さは、イベントの後のバッファの時間の長さと同一である。その他の実施形態において、イベントの前及び後のバッファは、異なっている。
ユーザ構成設定は、ビデオと共にオーディオを保存するための設定を含んでいてもよい。別のユーザ構成設定は、ビデオ又はオーディオがキャプチャされる車両102内の1又は複数のカメラ及び/又は1又は複数のマイクロフォンを有効化又は無効化するための設定を含んでいてもよい。その他のユーザ構成設定は、それぞれのカメラのズーム機能及び/又はマイクロフォンの感度を制御してもよい。例えば、ユーザ構成は、運転者が、運転している間に、気が散らないように、運転者に向けられた内部カメラを無効化してもよい。別の例において、ユーザ構成は、特定の眺め、例えば乗員側の窓の外のハイウェイ遮音壁の方に向けられたカメラを無効化してもよく、ロードトリップイベントの際に車両を取り囲んでいる望ましくない光景の記録を防止する。
システムは、内部及び外部の両方のカメラを含む複数のカメラ134を使用することにより、車両102の内部ビューの1又は複数のビデオストリーム(204)及び車両102を取り囲んでいる環境の外部ビューの1又は複数のビデオストリーム(206)をキャプチャしている。複数のビデオストリームのキャプチャは、複数のカメラ134を有効化/無効化すると共に/又は複数のカメラ134のうちのそれぞれのカメラのズームを調節するユーザ構成設定に基づいたものであってもよい。
1又は複数の内部カメラは、車両102内部の乗員のうちの1又は複数に焦点を合わせてもよい。例えば、カメラは、車両102の乗員座席の方に向けて又はこれに照準を合わせてもよく、且つ、複数のカメラ134に結合された1又は複数のセンサ126は、顔面特徴又は顔面位置を識別してもよい。システムは、特定の視点をキャプチャするべく、1又は複数のセンサ126によって識別された顔面特徴又は顔面位置に基づいて、内部カメラの位置決め又は内部カメラのズーム機能を制御してもよい。
1又は複数の外部カメラは、車両102の外部のビューに焦点を合わせてもよい。1又は複数の外部カメラは、周囲環境の360度の、又はパノラマの、ビューを有してもよい。システムは、1又は複数のビデオ対象に基づいて、1又は複数の外部カメラの位置決め又はズーム機能を制御してもよい。ビデオ対象は、車両102外部のランドマーク、イベント、又は関心の対象である任意のその他の場所又は活動である。即ち、対象は、乗員に対する感情的反応をトリガしうる。例えば、車両102がゴールデンゲートブリッジを通過するのに伴って、外部カメラは、サンフランシスコ湾で転覆したボートを識別する場合があり、且つ、転覆したボートにズームインしてもよい。1つのカメラが、転覆したボートに焦点を合わせるのに応じて、1又は複数のその他の外部カメラは、周囲環境の360度のカバレッジを保証するべく、同時に、ズームアウトしてもよい。一実施形態において、車両102の現在の場所及びランドマークの場所のマップ座標並びに高度を使用することにより、ECU112は、ランドマーク(例えば、有名なランドマーク)が外部の周囲にある際に、ランドマークをビデオ撮影しそこなうことを回避するために、外部カメラ134のうちの1又は複数を自動的に起動してもよい。この結果、乗員が忘れているか、眠っているが、又は注意を払っていない場合に、ランドマークをビデオ撮影するべく、外部カメラ134を自動的に起動することができる。
いくつかの実施形態において、システムは、特定の対象に狙いを定めると共に/又は、内部又は外部ビューの全体をカバーするように、内部及び外部カメラの位置決め及び調節を調整してもよい。
システムは、1又は複数のマイクロフォン118から、1又は複数のオーディオストリームをキャプチャしてもよい(208)。システムは、ユーザ構成可能な又は既定の設定に基づいて、1又は複数の内部マイクロフォン及び/又は1又は複数の外部マイクロフォンから、1又は複数のオーディオストリームを取得してもよい。システムは、音質又は感度を改善するべく、内部及び外部マイクロフォンの位置決め及び調節を調整してもよい。例えば、システムは、内部マイクロフォンを使用することにより、冗談を言っている乗員と、その次の車両102の乗員全員による笑い声と、をキャプチャしてもよく、且つ、これに加えて、車両102を通過する空気の風切り音を記録している外部マイクロフォンを無効化してもよい。別の例において、システムは、ドライブイン映画館に駐車している車の乗員からの笑い声をキャプチャするべく、内部マイクロフォンを使用してもよく、且つ、ドライブイン映画館で上映されているコメディの会話をキャプチャするべく、外部マイクロフォンを使用してもよい。
システムは、複数のビデオストリーム及び/又は1又は複数のオーディオストリームを同期させている(210)。それぞれのビデオストリーム及び/又はオーディオストリームは、タイムスタンプを含んでいてもよい。タイムスタンプは、ビデオ/オーディオフレームがキャプチャされた時を識別している。タイムスタンプは、それぞれのビデオ及び/又はオーディオのそれぞれのフレームと関連付けられていてもよい。システムは、タイムスタンプを取得してもよく、且つ、複数のオーディオ/ビデオフレーム内において対応する複数のタイムスタンプをマッチングさせることにより、複数のビデオストリーム及び/又は1又は複数のオーディオストリームを同期させてもよい。いくつかの実施形態において、システムは、システムがフィードを取得すると、ビデオストリーム及び/又はオーディオストリームを直接的に同期させてもよい。
システムは、複数のビデオストリーム及び/又は1又は複数のオーディオストリームを含むメディアコンテンツをバッファしている(212)。システムは、メディアコンテンツを内部メモリ114内にバッファしてもよい。内部メモリ114は、メディアコンテンツをバッファするための専用の、特定の量又はサイズのメモリを割り当ててもよい。特定の量又はサイズは、ユーザ構成可能であってよく、或いは、既定されていてもよい。バッファの特定の量又はサイズは、バッファ設定、即ちトリガイベントの前及び後に保存するビデオ及び/又はオーディオの量の設定、によって指示される量又はサイズよりも大きく又は倍数以上である。例えば、バッファ設定が、トリガイベントの前に30秒のビデオを保存し、且つ、トリガイベントの後に2分のビデオを保存すると指示している場合に、メディアコンテンツ専用のメモリの合計サイズ又は量は、24個のトリガイベントが保存されうるように、60分のビデオ及びオーディオが記録されることを許容してもよい。
システムは、車両102の1又は複数の乗員の1又は複数の反応に基づいて、トリガイベントが存在していると判定している(214)。トリガイベントが存在しているかどうかを判定するべく、システムは、1又は複数のセンサ126及び1又は複数の内部カメラ及び/又は1又は複数のマイクロフォンを使用することにより、顔面表現又は音声表現を分析してもよい。トリガイベントの検出については、図3を参照して更に説明する。
トリガイベントが存在しているという判定に応じて、システムは、ロードトリップイベントの期間を判定している(216)。期間とは、バッファ設定に基づいてロードトリップイベントを形成するトリガイベントの前及び後の時間量である。バッファ設定は、トリガイベントの前及び後に保存するべきビデオ及び/又はオーディオの量を指示している。システムは、ユーザインターフェイス128を通じて、バッファ設定を定義したユーザ構成可能な設定のユーザ入力を受信している(218)。ロードトリップイベントが存在していると判定するプロセスについては、図3において更に後述する。
システムは、その期間における同期されたメディアコンテンツを取得している(220)。同期されたメディアコンテンツは、バッファ設定によって判定される、時点t0において始まり、且つ、時点t1において終了する同期されたオーディオ及び/又は同期されたビデオを含む。いくつかの実施形態において、システムは、期間に対応した同期されたメディアコンテンツを受信している。その他の実施形態において、システムは、期間における同期されたメディアを取得するべく、受信されたメディアコンテンツを繁ぎ合せている。
システムは、車両情報及びマップ情報を取得してもよい(222)。システムは、ナビゲーションユニット及び/又は1又は複数のセンサから、車両情報を取得してもよい。車両情報は、車両の現在の場所の高度情報及びマップ座標を含む。システムは、ネットワーク106を通じて車両102に接続された1又は複数の外部データベース104から、マップ情報を取得してもよい。
システムは、マップ情報、車両情報、又はこれら両方の組合せに基づいて、1又は複数のランドマーク及び場所情報により、同期されたビデオにタグ付けしてもよい(224)。システムは、周囲のランドマークを判定するべく、車両情報に含まれている車両102の現在の場所のマップ座標及び高度を使用することにより、同期されたビデオ内において1又は複数のランドマークを識別してもよい。システムは、車両102の現在の場所の付近の、且つ、車両102の特定の高度において車両102の乗員によって観察可能である、ランドマークについて、1又は複数の外部データベースをサーチしてもよい。例えば、車両が、山脈の近くにおいて特定の緯度及び経度に位置しているが、車両の高度が、車両が海面レベルにあることを示している場合には、システムは、同期されたメディア内のランドマークを、山の中腹に存在している国立公園としてではなく、山の裾野として、タグ付けしてもよい。別の例において、車両102がゴールデンゲートブリッジ上を走行している場合に、システムは、同期されたビデオ内において、ランドマークとして、フェリーポートではなく、橋を識別してもよい。なぜならば、フェリーポートは、同期されたメディア内にキャプチャされる橋の遥か下にあるからである。車両102の現在の場所及び高度が付与された場合に、システムは、1又は複数のリソース又は外部データベース104にアクセスしてもよく、且つ、車両102の現在の場所のマップ座標及び高度に対応した1又は複数のランドマークについてサーチしてもよい。
いくつかの実施形態において、システムは、同期されたメディアコンテンツからビデオフレームをキャプチャし、且つ、ビデオフレームからオブジェクトを抽出している。システムは、抽出されたオブジェクトを1又は複数の外部データベース104内に保存されている写真と比較する。システムは、オブジェクトに対応した1又は複数のランドマークを識別するべく、1又は複数の外部データベース104内に保存されている画像に対して画像認識を実行してもよい。抽出されたオブジェクトに対応した1又は複数のランドマークを識別するためのサーチを改善するべく、車両情報が使用されてもよい。
システムは、ラベルなどの識別情報により、ランドマークにタグ付けしてもよい。タグは、ランドマークを記述又は識別するマップ座標、高度情報、及びその他の情報を含んでいてもよい。いくつかの実施形態において、システムは、ロードトリップの際の車両102の乗員のアイデンティティを記述している情報により、同期されたメディアコンテンツにタグ付けしてもよい。
システムは、同期されたメディアコンテンツを1又は複数のストレージ装置に保存してもよい(226)。1又は複数のストレージ装置130は、ネットワーク又はクラウドストレージであってもよい。いくつかの実施形態において、システムは、同期されたメディアコンテンツを車両102に接続されたパーソナル装置(例えばモバイル装置又はスマートフォン)に保存してもよい。システムは、同期されたメディアコンテンツと共に、ロードトリップイベントの際の車両102内の1又は複数の乗員のアイデンティティ、ロードトリップイベントのマップ座標、高度情報、及び日付/時刻情報を含む更なる情報を保存してもよい。システムは、同期されたメディアにラベル又はタイトルを付与してもよく、且つ、同期されたメディアコンテンツと共に、ラベル又はタイトル情報を保存してもよい。
マップ座標、高度情報、及び日付/時刻情報は、ユーザ入力、マップ情報、及び/又は1又は複数のセンサから取得されてもよい。乗員のアイデンティティは、ユーザ入力から、或いは、オーディオ又は顔面認識を使用することにより、1又は複数のセンサから、取得されてもよい。
システムは、メディアコンテンツが保存及びキャプチャされていることについて車両102の乗員に通知してもよい。通知は、システムが、メディアがキャプチャ及び/又は保存されていることを通知するために、ユーザインターフェイス128上に通知を表示するかべきかどうか、或いは、通知、例えば可聴通知を出力するべきかどうかを通知するユーザ構成に基づいたものであってもよい。
図3は、ロードトリップイベントが発生したことを判定するためのプロセス300の一例のフロー図である。適切にプログラムされた、1又は複数のコンピュータ又は1又は複数のデータプロセッサ、例えば、図1のマルチメディアキャプチャシステム100のECU112、がプロセス300を実行してもよい。
システムは、図2において上述したように、オーディオ(302)及び/又はビデオ(304)をキャプチャしている。システムは、ロードトリップイベントの1又は複数のトリガを定義している様々なユーザ構成のユーザ入力を取得してもよい(306)。様々なユーザ構成は、ロードトリップイベントをトリガする様々なタイプの乗員の反応又は表現を示している。例えば、車両102の乗員は、1又は複数の乗員が笑うか、泣くか、或いは、保存されている又は予め構成されているベースラインとは異なる感情をその他の方法で表した際に、ロードトリップイベントをトリガするように、システムを構成してもよい。別の構成は、視覚的に、聴覚的に、又はこれらの両方の組合せにより、反応を検出するように、1又は複数のセンサ126を設定してもよい。別の構成は、検出方法の感度を調節してもよく、例えば、システムは、顔面表現の検出よりも大きな重みを可聴表現の検出に付与してもよい。感度は、反応又は表現のタイプに基づいたものであってもよい。例えば、システムは、悲しみについて乗員を分析する際には、顔面表現よりも小さな重みをオーディオプログラムに付与してもよいが、システムは、笑い声の評価において、顔面表現よりも大きな重みをオーディオ表現に付与してもよい。
システムは、1又は複数のユーザ構成に基づいて、ロードトリップイベントを生成する1又は複数のトリガイベントを判定している(308)。例えば、システムは、1又は複数のユーザ構成に基づいて、乗員が笑った際にのみ、ロードトリップイベントをトリガしてもよい。
システムは、1又は複数のセンサ126、車両102内の1又は複数のカメラ、及び1又は複数のマイクロフォン118を使用することにより、1又は複数のトリガイベントについて環境を監視する(310)。環境を監視するべく、システムは、1又は複数のトリガイベントのキャプチャされたビデオ及び/又はオーディオストリームを分析する。
システムは、キャプチャされたオーディオ、ビデオ、及び/又はユーザ構成設定に基づいてトリガイベントを検出している(312)。システムは、キャプチャされたビデオに基づいて、トリガイベントが存在していると判定してもよい。例えば、顔面認識センサは、乗員のベースライン顔面表現を乗員の現在のキャプチャされた表現と比較することにより、キャプチャされたビデオ内において、乗員の喜びの表現を検出してもよい。乗員は、その乗員のベースライン顔面表現を構成してもよく、且つ、内部メモリ114内に保存してもよい。システムは、表現がキャプチャされたビデオを車両の乗員の表現が保存されているデータベースと比較することにより、乗員の表現を認識してもよい。いくつかの実施形態において、システムは、トリガイベントを示す認識された雑音と特定の表現を関連付けることにより、特定の表現がロードトリップイベントと関連付けられていることを学習してもよい。例えば、乗員が笑っていることをシステムが識別した際には、次の機会に、システムが、乗員が笑っていることを示す顔面表現に基づいてトリガイベントを識別しうるように、システムは、乗員の顔面表現をデータベース内に保存してもよい。
いくつかの実施形態において、システムは、キャプチャされたオーディオに基づいて、トリガイベントが存在していると判定してもよい。システムは、1又は複数の内部マイクロフォンから、人間表現、例えば、笑い声、悲しみ、幸せ、興奮、恐れ、ショック又はその他の人間感情、を示す特定の周波数を有する音声表現のオーディオを検出するべく、1又は複数のセンサ126を使用してもよい。センサが、人間表現を示す特定の周波数の、又は特定の周波数範囲内の、オーディオを検出した場合に、システムは、トリガイベントが存在していると判定してもよい。また、センサは、人間表現が起こったことを示し、これにより、トリガイベントを生成するべく、特定の周波数又は雑音レベルを上回るオーディオを検出することもできる。
いくつかの実施形態において、システムは、センサを使用して1又は複数の音声表現と1又は複数の顔面表現の両方を検出することにより、キャプチャされたビデオ及びオーディオの組合せに基づいて、トリガイベントが存在していることを判定してもよい。システムがトリガイベントを検出した場合に、システムは、トリガイベントの信頼値の判定に進んでもよい。システムが、トリガイベントを検出しない場合には、システムは、環境の監視を継続する。
システムは、信頼値を算出する際に使用するべく、システムが特定の顔面表現及び/又はオーディオ表現を識別した回数を追跡してもよく、且つ、これをデータベース内に保存してもよい。また、システムは、特定の顔面及び/又はオーディオ表現に基づいてメディアコンテンツがトリガされた回数、並びに、メディアコンテンツが外部ストレージ又はパーソナル装置に後に送信された回数を追跡及び保存している。
いくつかの実施形態において、システムは、システムが特定の表現を識別した回数、並びに、メディアコンテンツが、特定の表現のトリガに基づいて、外部ストレージ又はパーソナル装置に送信された回数に基づいて、顔面表現及び/又は音声表現の信頼値を判定してもよい(314)。システムは、信頼値が信頼閾値よりも大きい又はこれと等しい場合にのみ、トリガイベントをトリガしてもよい。さもなければ、システムは、トリガイベントについての環境の監視を継続してもよい。
いくつかの実施形態において、システムは、即時キャプチャ機能を初期化してもよい(316)。システムは、ユーザインターフェイス128、例えば、ボタン、スイッチ又はユーザインターフェイス要素から、即時キャプチャ機能を初期化するようにシステムに指示するユーザ入力を受信してもよい。即時キャプチャ機能は、自動的に且つ即座にメディアコンテンツ、即ちオーディオ及び/又はビデオをキャプチャ、同期、タグ付け及び/又は保存を開始する。即時キャプチャ機能は、キャプチャされたメディアコンテンツの量又は長さを制限するサイズ又は時間の限度を有してもよい。サイズ又は時間の限度は、既定値、例えば5分、に基づいたものであってもよく、或いは、ユーザ構成可能であってもよい。閾値限度に到達したら、システムは、即時キャプチャ機能を無効化してもよく、或いは、システムは、メディアコンテンツのキャプチャ、同期、タグ付け、及び/又は保存を継続してもよいが、タイムスタンプに基づいて最も古いメディアコンテンツを削除又は上書きしてもよい。
即時キャプチャ機能又はトリガイベントに基づいて、システムは、図2において上述したように、ロードトリップイベントが存在していると判定し、且つ、保存のために、同期されたメディアコンテンツの処理を開始している(318)。
図4は、ロードトリップアルバム400の一例の図である。適切にプログラムされた、1又は複数のコンピュータ又は1又は複数のデータ処理装置、例えば、マルチメディアキャプチャシステム100のECU112、がロードトリップアルバム400を実行してもよい。
システムは、ロードトリップアルバムを生成する情報をストレージ装置内、例えば、ネットワーク又はクラウドストレージ装置、に保存してもよい。いくつかの実施形態において、システムは、ユーザインターフェイス128、例えば、車両102に接続されたパーソナル装置、にロードトリップアルバム400を生成させる。
ロードトリップアルバム400は、デジタル写真アルバムとして構成又は成形されてもよい。デジタル写真アルバムは、複数のページを有してもよい。ロードトリップアルバムのそれぞれのページは、異なるロードトリップイベントと関連付けられていてもよい。開かれたページは、左手部分と右手部分を有してもよい。それぞれの部分は、複数のビデオ表示フレーム、例えば、ビデオ表示フレーム402、404、406、408、410、及び412、を含んでいてもよい。複数のビデオ表示フレームは、特定のロードトリップイベントの1又は複数の保存されているビデオ及び/又は統合された道路マップを表示してもよい。複数のビデオ表示フレームのそれぞれは、車両102の内部のビデオ又は外部ビューのビデオを表示してもよい。いくつかの実施形態において、ビデオの表示は、複数のビデオ表示フレーム間で交換可能であり、且つ、ビデオの配置は、ユーザ構成可能な設定に基づいたものである。
いくつかの実施形態において、ロードトリップアルバムは、ビデオ表示フレーム、例えば、ビデオ表示フレーム406、に統合された道路マップを表示している。統合された道路マップは、特定のロードトリップイベントと関連しているロードトリップの道路マップである。統合された道路マップは、特定のロードトリップイベントが発生した期間における車両102の場所を示す場所414を含んでいてもよい。車両102の場所の指示は、特定のロードトリップイベントのビデオが表示されている最中に、ルートに沿って進行してもよい。例えば、車両102の写真は、右手部分において表示されているビデオが、開始時間t0から終了時間t1まで遷移するのに伴って、ロードトリップにおいて、場所414から場所416まで進行してもよい。ビデオは、ゴールデンゲートブリッジのビデオからアルカトラズ島のビデオまで、例えば、ビデオ表示フレーム404内において、t0からt1までの期間において、遷移してもよい。場所414は、時点t0における車両102の場所に対応しており、且つ、場所416は、時点t1における車両102の場所に対応していてもよい。
いくつかの実施形態において、1又は複数の保存されているビデオは、ロードトリップアルバムの開かれたページの右手部分に表示されている。1又は複数のビデオ表示フレーム内に表示されている1又は複数の保存されているビデオは、特定のロードトリップイベントの開始時間に記録された1又は複数の内部ビデオ及び1又は複数の外部ビデオを含む。
ビデオ表示フレームのそれぞれは、特定のロードトリップイベントの期間t0〜t1における車両の内部ビュー又は外部ビューを表示してもよい。時点t0及びt1は、バッファ設定に基づいたものであってもよい。それぞれのビデオ表示フレーム内、例えば、ビデオ表示フレーム402、404、406、408、410、及び412には、バッファ設定によって定義されると共にトリガイベントによってトリガされた特定の期間において複数のカメラ134のうちの1つによって最初にキャプチャされたビデオが存在している。例えば、ロードトリップアルバムは、ビデオ表示フレーム402内において、笑っていると共に、特定のロードトリップイベントをトリガした開かれたイベントを視聴しているカップルのビデオを表示している。同時に、ロードトリップアルバムは、その他のビデオ表示フレーム内において、その特定のロードトリップイベントに対して同期された車両102の外部のビデオを表示している。
ビデオ表示フレーム410内において、ロードトリップアルバムは、ビデオ表示フレーム412内の車両102の場所414によって示されているように、車両102がサンフランシスコ湾の近くの湿地帯に接近するのに伴って、外部の乗員側のカメラによってキャプチャされた面白いビデオを表示している。この特定のロードトリップイベントをトリガしたビデオ表示フレーム402内のカップルの笑い声は、ビデオ表示フレーム410内の鳥を捕獲しているワニに反応したものであってもよい。
ビデオ表示フレーム404において、ロードトリップアルバムは、外部の運転者側のカメラによってキャプチャされると共にその他のビデオと同期されたゴールデンゲートブリッジのビデオを表示している。キャプチャされたゴールデンゲートブリッジのビデオのビューは、キャプチャされたワニのシーンとは反対側のものである。ビデオ表示フレーム408内において、ロードトリップアルバムは、異なるビューの別の同期されたビデオを表示している。ビデオ表示フレーム408内のビデオは、別の乗員側の窓から見える樹木を通過するビデオである。
ロードトリップアルバムは、特定のロードトリップイベントに関係する一般的情報を含んでいてもよい。ロードトリップアルバムは、一般的情報を開かれたページの左手部分、例えば、ビデオ表示フレーム412に表示してもよい。一般的情報は、生成されたロードトリップアルバムに含まれていてもよく、或いは、ネットワーク接続を通じて外部データベースから抽出されてもよい。一般的情報は、ビデオ表示フレームのうちの1つのフレーム内に示されているランドマークに関する情報を含んでいてもよい。例えば、ロードトリップアルバムは、カリフォルニアに関する又は特定のロードトリップイベントに関する情報をビデオ表示フレーム412内に表示してもよい。なぜならば、右手部分におけるビデオ表示フレーム内のビデオが、カリフォルニアの特定のロードトリップイベントに関係しているからである。
複数の同期されたビデオがビデオ表示フレーム内において再生されるのに伴って、ロードトリップアルバムは、複数のビデオと同期されたオーディオを再生してもよい。オーディオは、車両内の、車両外の、又はこれら両方の、音であってもよい。
いくつかの実施形態において、ロードトリップアルバムは、左手部分に統合された道路マップを表示し、且つ、右手部分に1又は複数の保存されているビデオ及び/又は統合された道路マップを表示している。複数のビデオの配置は、ユーザ構成可能であってもよく、或いは、複数のビデオの保存の前に、既定されていてもよい。
図5は、ロードトリップアルバムを実装するためのコンポーネントのやり取りの一例のシーケンスを示している。適切にプログラムされた、1又は複数のコンピュータ又は1又は複数のデータ処理装置、例えばマルチメディアキャプチャシステム100、がシーケンス500を実行してもよい。
1又は複数のセンサ126、例えばイグニッションセンサが、車両のパワーオン指示をECU112に送信してもよい(502)。いくつかの実施形態において、ナビゲーションユニット122は、自身がパワーオンされたという指示をECU112に送信してもよい。ECU112は、指示に基づいて、マルチメディアキャプチャモードを初期化してもよい(504)。ECU112は、1又は複数のマイクロフォン118にオーディオをキャプチャするように要求し(506)、且つ、複数のカメラ134にビデオをキャプチャするように要求している(508)。1又は複数のマイクロフォン118は、キャプチャされたオーディオをマルチメディアプロセッサ132に送信してもよい(510)。複数のカメラ134は、キャプチャされたビデオをマルチメディアプロセッサ132に送信してもよい(512)。いくつかの実施形態において、キャプチャされたオーディオは、存在していない。マルチメディアプロセッサ132は、キャプチャされたメディアコンテンツを同期している(514)。キャプチャされたメディアコンテンツは、ユーザ構成可能な設定に基づいてキャプチャされたビデオ及び/又はオーディオを含んでいてもよい。マルチメディアプロセッサは、同期されたメディアをメモリ114に送信しており(516)、且つ、メモリ114は、メディアコンテンツをバッファするべく割り当てられるストレージサイズを確立するユーザ構成可能な設定に基づいて、メディアをバッファしている(518)。
1又は複数のセンサ126、例えば顔面認識センサ又はオーディオセンサは環境を監視している(520)。センサ126は、定期的に、継続的に及び/又はリアルタイムで、環境を監視してもよい。センサ126は、ユーザ構成可能な設定に基づいて顔面表現を判定するべく、オーディオ表現又は顔面表現を判定するために周波数計測を含む環境の計測値を取得してもよい。センサ126は、計測値を含む環境データをECU112に提供してもよい(522)。次いで、ECU112は、環境の計測値をベースラインと比較することにより、トリガイベントを検出してもよい(524)。ベースラインは、ユーザにより、予めプログラム又は構成されていてもよい。比較は、乗員のアイデンティティに基づいたものであってもよい。例えば、1Khz超の周波数は、男性の乗員からの笑いを示してもよく、2kHz超の周波数は、女性の乗員からの笑いを示してもよい。別の例において、1又は複数のセンサ126は、車両の乗員としてジェーンの顔面特徴又は音声に基づいてジェーンを識別してもよく、且つ、ジェーンがロードトリップの際の任意の時点において笑っているかどうかを判定するべく、ジェーンのベースライン顔面特徴を含む保存されているプロファイルを使用してもよい。
ECU112がトリガイベントを検出した場合に、ECU112は、メモリ114からバッファされているメディアを要求してもよく(526)、且つ、ナビゲーションユニット122に対して車両情報及びマップ情報を要求してもよい(528)。車両情報は、車両102の現在の場所、車両102の現在の高度及び/又は日付/時刻情報を含んでいてもよい。ECU112は、1又は複数のセンサ126から乗員のアイデンティティに関する情報を要求してもよい。マップ情報は、付近のランドマークのランドマーク情報を含んでいてもよい。メモリ114は、バッファされたメディアをECU112に送信してもよい(530)。ナビゲーションユニットは、車両情報及びマップ情報をECU112に送信してもよい(532)。
ECU112は、ロードトリップイベントの開始及び終了時間を示すユーザ構成可能な設定に基づいてバッファされたメディアを解析又は繁ぎ合せしてもよく、且つ、ECU112は、日付/時刻情報、場所情報、及び乗員のアイデンティティを含みうるその他の情報により、バッファされているメディアコンテンツにタグ付けしてもよい(534)。ECU112は、タグ付けされると共に解析又は繁ぎ合されたメディアコンテンツを、1又は複数のストレージ装置130に送信するか(536)、或いは、例えば、車両102に接続されたパーソナル装置又は車両エンターテインメントセンター上において表示している。
本明細書において記述されている車両は、運転者によって操作されているが、本明細書において記述されているシステム及び方法は、同様に、自律型及び半自律型の車両にも適用可能であろう。
以上、例示を目的としたスタイルにおいて、本発明の例示的な実施形態を開示してきた。従って、その全体を通じて利用されている用語は、非限定的な方法によって解釈されることを要する。当業者は、本明細書の教示内容に対する多少の変更を想起することになるが、本発明に付与される特許の範囲内に含まれるべく意図されているものは、本発明によって寄与される技術分野の進歩の範囲に合理的に含まれるすべての実施形態であり、且つ、この範囲は、添付の請求項及びその均等物に鑑みた場合を除いて、制限されるものではないことを理解されたい。

Claims (20)

  1. 車両用のマルチメディアキャプチャシステムであって、
    前記車両にネットワークを通じて接続された1又は複数のストレージ装置を有し、
    前記車両は、
    ビデオをバッファするための、且つ、1又は複数のビデオプロセッサに結合された、メモリと、
    第1カメラ及び第2カメラを含み、且つ、1又は複数のビデオプロセッサに結合された複数のカメラであって、
    前記1又は複数のビデオプロセッサは、
    一定時間にわたって前記車両の内部ビューの第1ビデオをキャプチャし、
    前記一定時間にわたって前記車両の周囲の外部ビューの第2ビデオをキャプチャし、
    前記第1ビデオと前記第2ビデオとを同期させる、
    ように構成されている、複数のカメラと、
    前記車両内のオーディオをキャプチャするための1又は複数のオーディオプロセッサに結合された1又は複数のマイクロフォンと、
    マルチメディアプロセッサを含む電子制御ユニットであって、前記マルチメディアプロセッサは、前記1又は複数のビデオプロセッサと、前記1又は複数のオーディオプロセッサと、を含み、
    前記メモリ内において、同期された前記ビデオをバッファし、
    トリガイベントを検出し、
    前記第2ビデオに基づく前記車両の前記周囲の前記外部ビューにおいて対象を識別し、
    前記対象に焦点を合わせるべく、前記第2カメラをズーム調節するか又は再位置決めするかの少なくとも一つを行い、
    前記第1ビデオ又は前記オーディオのうちの少なくとも1つに基づいて顔面表現又は音声表現のうちの少なくとも1つを識別して前記顔面表現又は前記音声表現のうちの前記少なくとも1つについての信頼値を判定することにより得られる該信頼値が、信頼閾値よりも大きい又はこれと等しいときに、前記トリガイベントに基づいて同期された前記ビデオを保存する、
    ように構成されている、電子制御ユニットと、
    を含む、システム。
  2. 請求項1に記載のマルチメディアキャプチャシステムであって、
    前記1又は複数のオーディオプロセッサは、
    前記車両の内部からオーディオをキャプチャし、前記オーディオは、1又は複数のオーディオ表現を含み、且つ、
    前記1又は複数のオーディオ表現の周波数レベルを計測する、
    ように構成されている、システム。
  3. 請求項2に記載のマルチメディアキャプチャシステムであって、
    前記トリガイベントを検出するために、前記電子制御ユニットは、
    前記1又は複数のオーディオ表現の前記周波数レベルが、特定の範囲内である場合に、前記トリガイベントが発生していると判定する、
    ように構成されており、前記特定の範囲は、ユーザ構成可能であるか又は既定されている、システム。
  4. 請求項3に記載のマルチメディアキャプチャシステムであって、
    前記マルチメディアプロセッサは、前記オーディオを同期された前記ビデオと同期させるように構成されている、システム。
  5. 請求項1に記載のマルチメディアキャプチャシステムであって、
    前記電子制御ユニットは、同期された前記ビデオを開始時間と終了時間の間に保存するように更に構成されており、前記開始時間は、前記トリガイベントの時又は前であり、且つ、前記終了時間は、前記トリガイベントの後の閾値時間量である、システム。
  6. 請求項5に記載のマルチメディアキャプチャシステムであって、前記開始時間、前記終了時間、又は前記トリガイベントの後の前記閾値時間量のうちの少なくとも1つは、ユーザ構成可能な設定である、システム。
  7. 請求項1に記載のマルチメディアキャプチャシステムであって、前記トリガイベントは、ユーザインターフェイス上におけるユーザインターフェイス要素の選択である、システム。
  8. 請求項1に記載のマルチメディアキャプチャシステムであって、
    前記車両は、
    現在の日付及び時刻並びに前記車両の現在の場所を含む車両情報を取得するための前記電子制御ユニットに結合されたナビゲーションユニットを更に有し、
    前記電子制御ユニットは、
    前記ナビゲーションユニットから、前記車両情報を取得し、
    前記車両情報に基づいて、前記第2ビデオ内においてキャプチャされている1又は複数のランドマークを識別し、且つ、
    前記電子制御ユニットにより、同期された前記ビデオ内の前記1又は複数のランドマークにタグ付けする、
    ように更に構成されている、システム。
  9. 請求項1に記載のマルチメディアキャプチャシステムであって、
    前記ネットワークを通じて前記車両に接続された1又は複数の外部データベースを更に有し、
    前記1又は複数の外部データベースは、ランドマーク情報を含み、
    前記電子制御ユニットは、
    前記1又は複数の外部データベースから、前記ランドマーク情報を取得し、
    前記ランドマーク情報に基づいて、前記第2ビデオ内においてキャプチャされている1又は複数のランドマークを識別し、且つ、
    前記電子制御ユニットにより、同期された前記ビデオ内の前記1又は複数のランドマークにタグ付けする、
    ように更に構成されている、システム。
  10. 請求項1に記載のマルチメディアキャプチャシステムであって、
    同期された前記ビデオを保存することは、
    前記ネットワークを通じて前記車両に接続された前記1又は複数のストレージ装置にアクセスすることと、且つ、
    前記ネットワークを通じて前記車両に接続された前記1又は複数のストレージ装置に同期されたビデオを送信することと、
    を有する、システム。
  11. 車両のロードトリップアルバム用のコンピュータ実装された方法であって、
    1又は複数のビデオプロセッサにおいて、且つ、第1カメラを使用することにより、一定時間にわたって前記車両の内部ビューの第1ビデオをキャプチャすることと、
    前記1又は複数のビデオプロセッサにおいて、且つ、第2カメラを使用することにより、前記一定時間にわたって前記車両の周囲の外部ビューの第2ビデオをキャプチャすることと、
    前記1又は複数のビデオプロセッサを使用することにより、前記第1ビデオと前記第2ビデオとを同期させることと、
    メモリ内において、同期された前記ビデオをバッファすることと、
    トリガイベントを検出することと、
    前記1又は複数のビデオプロセッサによって、前記第2ビデオに基づく前記車両の前記周囲の前記外部ビューにおいて対象を識別することと、
    前記1又は複数のビデオプロセッサによって、前記対象に焦点を合わせるべく、前記第2カメラをズーム調節するか又は再位置決めするかの少なくとも一つを行うことと、
    前記1又は複数のビデオプロセッサによって前記第1ビデオに基づいて顔面表現を識別して前記顔面表現についての信頼値を判定することにより得られる該信頼値が、信頼閾値よりも大きい又はこれと等しいときに、前記トリガイベントに基づいて、同期された前記ビデオを保存することと、
    を有する、方法。
  12. 請求項11に記載のコンピュータ実装された方法であって、現在の日付、前記車両の場所及び高度を含む車両情報を取得することと、
    電子制御ユニットにより、且つ、ナビゲーションユニット又は前記第2カメラを使用することにより、前記第2ビデオ内においてキャプチャされている1又は複数のランドマークを識別することと、且つ、
    前記電子制御ユニットにより、同期された前記ビデオ内の前記1又は複数のランドマークにタグ付けすることと、
    を更に有する、方法。
  13. 請求項12に記載のコンピュータ実装された方法であって、同期された前記ビデオを保存することは、同期された前記ビデオとともに、前記タグ付された1又は複数のランドマーク情報、前記車両情報、及び前記車両の乗員の1又は複数のアイデンティティ情報、を保存することを含む、方法。
  14. 請求項11に記載のコンピュータ実装された方法であって、前記トリガイベントは、同期された前記ビデオの保存を起動するユーザ入力である、方法。
  15. 請求項11に記載のコンピュータ実装された方法であって、前記トリガイベントを検出することは、
    1又は複数のセンサを使用することにより、前記車両の乗員のオーディオ表現を判定することと、且つ、
    前記オーディオ表現が特定の範囲内の周波数を有していると判定することと、
    を有する、方法。
  16. 請求項11に記載のコンピュータ実装された方法であって、1又は複数のオーディオプロセッサにおいて、且つ、第1マイクロフォンを使用することにより、前記一定時間にわたって前記車両の内部のオーディオ記録をキャプチャすることと、
    マルチメディアプロセッサにおいて、前記キャプチャされたオーディオ記録と同期された前記ビデオを同期させることと、且つ、
    前記キャプチャされたオーディオを同期された前記ビデオと共に保存することと、
    を更に有する、方法。
  17. 請求項11に記載のコンピュータ実装された方法であって、ユーザインターフェイスからユーザ入力を取得することを更に有し、前記ユーザ入力は、前記トリガイベント用の構成設定である、方法。
  18. 請求項17に記載のコンピュータ実装された方法であって、前記トリガイベントを検出することは、
    前記第1カメラを使用することにより、乗員の1又は複数の顔面特徴をキャプチャすることと、
    前記1又は複数の顔面特徴に基づいて前記車両の乗員の1又は複数の顔面表現を判定することと、且つ、
    前記1又は複数の判定された顔面表現及び前記トリガイベント用の前記構成設定に基づいて、前記トリガイベントが発生していると判定することと、
    を有する、方法。
  19. 自律型車両用のマルチメディアキャプチャシステムであって、
    前記自律型車両にネットワークを通じて接続された1又は複数のストレージ装置を有し、
    前記自律型車両は、
    ビデオをバッファするための、且つ、1又は複数のビデオプロセッサに結合された、メモリと、
    第1カメラ及び第2カメラを含み、且つ、1又は複数のビデオプロセッサに結合された、複数のカメラであって、前記1又は複数のビデオプロセッサは、
    一定時間にわたって前記自律型車両の内部ビューの第1ビデオをキャプチャし、
    前記一定時間にわたって前記自律型車両の周囲の外部ビューの第2ビデオをキャプチャし、
    前記第1ビデオと前記第2ビデオとを同期させる、
    ように構成されている、複数のカメラと、
    前記自律型車両内のオーディオをキャプチャするための1又は複数のオーディオプロセッサに結合された1又は複数のマイクロフォンと、
    マルチメディアプロセッサを含む電子制御ユニットであって、前記マルチメディアプロセッサは、前記ビデオプロセッサと、前記1又は複数のオーディオプロセッサと、を含み、
    メモリ内において、同期された前記ビデオをバッファし、
    トリガイベントを検出し、
    前記第2ビデオに基づく前記自律型車両の前記周囲の前記外部ビューにおいて対象を識別し、
    前記対象に焦点を合わせるべく、前記第2カメラをズーム調節するか又は再位置決めするかの少なくとも一つを行い、
    前記第1ビデオ又は前記オーディオのうちの少なくとも1つに基づいて顔面表現又は音声表現のうちの少なくとも1つを識別して前記顔面表現又は前記音声表現のうちの前記少なくとも1つについての信頼値を判定することにより得られる該信頼値が、信頼閾値よりも大きい又はこれと等しいときに、前記トリガイベントに基づいて同期された前記ビデオを保存する、
    ように構成されている、電子制御ユニットと、
    を含む、システム。
  20. 請求項19に記載のマルチメディアキャプチャシステムであって、前記自律型車両は、1又は複数のセンサ又はナビゲーションユニットを使用することにより、且つ、人間入力を伴うことなしに、動作する、システム。
JP2017018503A 2016-02-29 2017-02-03 マルチメディアキャプチャ用のシステム及び方法 Active JP6773579B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/056,613 2016-02-29
US15/056,613 US9918038B2 (en) 2016-02-29 2016-02-29 System and method for multimedia capture

Publications (2)

Publication Number Publication Date
JP2017194950A JP2017194950A (ja) 2017-10-26
JP6773579B2 true JP6773579B2 (ja) 2020-10-21

Family

ID=59680008

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017018503A Active JP6773579B2 (ja) 2016-02-29 2017-02-03 マルチメディアキャプチャ用のシステム及び方法

Country Status (2)

Country Link
US (1) US9918038B2 (ja)
JP (1) JP6773579B2 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10283091B2 (en) * 2014-10-13 2019-05-07 Microsoft Technology Licensing, Llc Buffer optimization
JP6534103B2 (ja) * 2016-03-18 2019-06-26 パナソニックIpマネジメント株式会社 記録装置および画像再生方法
US10469653B2 (en) * 2016-05-15 2019-11-05 Fmr Llc Proximity and movement detection of a mobile computing device during a user session
CN107819793B (zh) * 2016-09-12 2019-03-12 北京百度网讯科技有限公司 用于机器人操作系统的数据采集方法及装置
US10733460B2 (en) * 2016-09-14 2020-08-04 Nauto, Inc. Systems and methods for safe route determination
EP3839821A3 (en) * 2016-10-25 2021-09-15 Owl Cameras, Inc. Video-based data collection, image capture and analysis configuration
US10272840B2 (en) * 2017-08-31 2019-04-30 Karen Schmahl Communication device for a vehicle
DE102018202514A1 (de) * 2018-02-20 2019-08-22 Bayerische Motoren Werke Aktiengesellschaft System und Verfahren zur automatischen Erstellung eines Videos einer Fahrt
CN108495035A (zh) * 2018-03-28 2018-09-04 京东方科技集团股份有限公司 行车拍摄装置和车辆
JP7091796B2 (ja) * 2018-04-12 2022-06-28 株式会社Jvcケンウッド 映像制御装置、車両用撮影装置、映像制御方法およびプログラム
US10901416B2 (en) * 2018-07-19 2021-01-26 Honda Motor Co., Ltd. Scene creation system for autonomous vehicles and methods thereof
US10997985B2 (en) * 2018-08-03 2021-05-04 Gracenote, Inc. Audio playout report for ride-sharing session
IT201800009289A1 (it) * 2018-10-09 2020-04-09 Giuseppe Guida Un apparato acustico per monitorare e rilevare la presenza di un soggetto all'interno di un autoveicolo
JP7183864B2 (ja) * 2019-02-26 2022-12-06 トヨタ自動車株式会社 情報処理システム、プログラム、及び制御方法
JP2020149304A (ja) * 2019-03-13 2020-09-17 ソニー株式会社 撮像装置および表情検出方法
JP6945939B2 (ja) * 2019-09-25 2021-10-06 三菱電機株式会社 フォトアルバム制作装置及びフォトアルバム制作プログラム
DE102020108805A1 (de) 2020-03-31 2021-09-30 Audi Aktiengesellschaft Verfahren zum Betreiben einer cloudbasierten Plattform zum Speichern und Teilen von Videodateien sowie ein cloudbasiertes System zum Speichern und Teilen von Videodateien
CN111595351A (zh) * 2020-05-19 2020-08-28 滁州市伟宸装备制造有限公司 一种具有节能环保结构的导航仪
JP2022030591A (ja) * 2020-08-07 2022-02-18 本田技研工業株式会社 編集装置、編集方法、およびプログラム
BR112023004500A2 (pt) 2020-09-10 2023-04-04 Nissan Motor Dispositivo de saída de informação e método de saída de informação
CN112788266B (zh) * 2020-10-28 2022-04-15 深圳真伊科技有限公司 一种录像的方法、系统、终端设备及计算机可读存储介质
DE102021119809A1 (de) * 2021-07-29 2023-02-02 Ford Global Technologies, Llc Verfahren zum Betrieb eines Kraftfahrzeugs an einem Veranstaltungsort, insbesondere in einem Autokino
CN114040091A (zh) * 2021-09-28 2022-02-11 北京瞰瞰智能科技有限公司 图像处理方法、摄像系统以及车辆
US20230316808A1 (en) * 2022-03-30 2023-10-05 Motorola Mobility Llc Monitoring system that captures image stream of regions of interest based on identified facial cues

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983817B2 (en) 1995-06-07 2011-07-19 Automotive Technologies Internatinoal, Inc. Method and arrangement for obtaining information about vehicle occupants
US5570127A (en) 1994-10-28 1996-10-29 Schmidt; William P. Video recording system for passenger vehicle
US6738088B1 (en) 1997-06-11 2004-05-18 Alexander Uskolovsky Method and device for simultaneous enhancing safety of driving and security of drivers
WO1999062741A2 (en) 1998-06-01 1999-12-09 Robert Jeff Scaman Secure, vehicle mounted, incident recording system
JP2000011156A (ja) * 1998-06-24 2000-01-14 Sony Corp 情報記録装置、情報記録解析装置及びその情報記録装置を搭載する自動車
US20030210328A1 (en) 1999-03-16 2003-11-13 Mazzilli Joseph J. 360 degree automobile video camera system
JP3652961B2 (ja) * 2000-06-27 2005-05-25 シャープ株式会社 音声処理装置、音声・動画像処理装置及び音声・動画像処理プログラムを記録した記録媒体
US6738089B1 (en) 2000-10-26 2004-05-18 Computron Display Systems Image recording system and method
JP2002193150A (ja) * 2000-12-22 2002-07-10 Sony Corp 車載装置、自動車及び情報処理方法
US20020124260A1 (en) 2001-03-02 2002-09-05 Creative Design Group, Inc. Video production system for vehicles
GB0111514D0 (en) 2001-05-11 2001-07-04 Wade Darren G Motor vehicle surveillance
US7386376B2 (en) * 2002-01-25 2008-06-10 Intelligent Mechatronic Systems, Inc. Vehicle visual and non-visual data recording system
JP2004224105A (ja) * 2003-01-21 2004-08-12 Matsushita Electric Ind Co Ltd ドライブレコーダ装置
US20050275510A1 (en) 2004-06-10 2005-12-15 Shih-Hsiung Li Vehicular anti-theft system capable of supplying images related to a vehicle status to an authorized driver
JP2007251581A (ja) * 2006-03-16 2007-09-27 Megachips Lsi Solutions Inc 音声送信端末および音声再生端末
JP4677364B2 (ja) 2006-05-23 2011-04-27 株式会社村上開明堂 車両監視装置
JP4669448B2 (ja) * 2006-07-13 2011-04-13 株式会社デンソーアイティーラボラトリ 情報記録装置、情報記録方法およびプログラム
US20080143834A1 (en) * 2006-10-11 2008-06-19 David Arthur Comeau Method and apparatus for testing and monitoring driver proficiency, safety and performance
US8868288B2 (en) * 2006-11-09 2014-10-21 Smartdrive Systems, Inc. Vehicle exception event management systems
JP4934455B2 (ja) * 2007-02-16 2012-05-16 株式会社デンソーアイティーラボラトリ ドライブ情報の知識化システム、方法、プログラム
US20080309762A1 (en) 2007-06-12 2008-12-18 Richie Howard In-vehicle mobile digital video surveillance recorder system with GPS visual mapping and navigation
US20090262202A1 (en) * 2008-04-17 2009-10-22 Barney Leonard Modular time lapse camera system
US8520070B1 (en) 2008-10-30 2013-08-27 Rosco Inc. Method and system with multiple camera units installed in protective enclosure
JP5370334B2 (ja) * 2010-10-25 2013-12-18 株式会社デンソー 車載カメラシステム
EP2511750A1 (en) 2011-04-15 2012-10-17 Volvo Car Corporation Vehicular information display system
JP2013032949A (ja) * 2011-08-01 2013-02-14 Aisin Aw Co Ltd 車両用表示処理システムおよび車両用表示処理方法並びにプログラム
US8744642B2 (en) * 2011-09-16 2014-06-03 Lytx, Inc. Driver identification based on face data
US8803676B2 (en) * 2011-11-22 2014-08-12 Toyota Motor Engineering & Manufacturing North America, Inc. Graphic display apparatus
US9253450B2 (en) * 2012-04-18 2016-02-02 Utc Fire & Security Americas Corporation, Inc. Total bus surveillance system
EP2859414A4 (en) * 2012-06-07 2016-01-27 Zoll Medical Corp SYSTEMS AND METHODS FOR VIDEO CAPTURE, RETURN TO USER, SIGNALING, ADAPTIVE PARAMETERS, AND ACCESS TO REMOTE DATA DURING VEHICLE SECURITY MONITORING
US20140028852A1 (en) * 2012-07-25 2014-01-30 Magna Electronics Inc. Control for vehicle imaging system
US9728228B2 (en) * 2012-08-10 2017-08-08 Smartdrive Systems, Inc. Vehicle event playback apparatus and methods
US20150178315A1 (en) * 2013-04-08 2015-06-25 Art.Com, Inc. Digital art systems and methods
KR20140124204A (ko) 2013-04-16 2014-10-24 (주)대한솔루션 블랙박스의 카메라 일체형 차량용 헤드라이너
JP2015230519A (ja) * 2014-06-03 2015-12-21 株式会社デンソー 車両用思い出共有システム、車載機及び思い出共有プログラム
US9746550B2 (en) * 2014-10-08 2017-08-29 Ford Global Technologies, Llc Detecting low-speed close-range vehicle cut-in
US9672433B2 (en) * 2014-11-14 2017-06-06 Toyota Motor Engineering & Manufacturing North America, Inc. Multi-directional vehicle maneuvering assistance
US9978275B2 (en) * 2014-11-24 2018-05-22 Seth Jamison Myer Solar modular power system
US9916754B2 (en) * 2015-03-30 2018-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. Proximity-based vehicle location alerts
US9702183B1 (en) * 2016-02-26 2017-07-11 Toyota Motor Engineering & Manufacturing North America, Inc. Smart sunshade for a vehicle window

Also Published As

Publication number Publication date
US9918038B2 (en) 2018-03-13
US20170251163A1 (en) 2017-08-31
JP2017194950A (ja) 2017-10-26

Similar Documents

Publication Publication Date Title
JP6773579B2 (ja) マルチメディアキャプチャ用のシステム及び方法
US20200223454A1 (en) Enhanced social media experience for autonomous vehicle users
CN107305561B (zh) 图像的处理方法、装置、设备及用户界面系统
JP6296447B2 (ja) 自動運転交通システムを利用した撮影情報共有システム、撮影情報管理装置及び撮影情報共有方法
WO2012002005A1 (ja) 情報配信装置
JP7275556B2 (ja) 情報処理システム、プログラム、及び情報処理方法
WO2015186304A1 (ja) 車両用思い出共有システム、車載機及び思い出共有プログラム
JP2010198214A (ja) ドライブレコーダ及び映像情報表示方法
JP2012014255A (ja) 情報配信装置
CN104990561A (zh) 一种实景导航方法与系统
CN114756700B (zh) 场景库建立方法、装置、车辆、存储介质及芯片
JP2015210713A (ja) ドライブレコーダおよびこれを用いたクラウド型道路情報等運用システム
JP6738105B2 (ja) 電子機器、情報システム、プログラム
JP2007141212A (ja) 運転支援方法および運転支援装置
WO2020052272A1 (en) Methods and systems for generating picture set from video
JP7127636B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP5473804B2 (ja) 情報配信装置
JP7254000B2 (ja) 画像配信装置及び方法並びに画像配信システム
JP7020429B2 (ja) カメラ、カメラの処理方法、サーバ、サーバの処理方法および情報処理装置
JP6917426B2 (ja) 画像表示装置、画像表示方法、および、画像表示システム
US20160337636A1 (en) System and method for event reconstruction
FR2967768A1 (fr) Procede de gestion d'un dispositif de navigation par satellite et dispositif pour sa mise en oeuvre
WO2024111051A1 (ja) 情報処理装置、および情報処理方法
US20240239191A9 (en) Method and System for Automatized Selection and Documentation of Personal Highlights During Journeys with a Motor Vehicle
WO2024042683A1 (ja) 情報処理装置、移動端末、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200901

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201001

R150 Certificate of patent or registration of utility model

Ref document number: 6773579

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250