JP7085525B2 - 車両データで使用する動的データ圧縮システムおよび方法 - Google Patents

車両データで使用する動的データ圧縮システムおよび方法 Download PDF

Info

Publication number
JP7085525B2
JP7085525B2 JP2019214367A JP2019214367A JP7085525B2 JP 7085525 B2 JP7085525 B2 JP 7085525B2 JP 2019214367 A JP2019214367 A JP 2019214367A JP 2019214367 A JP2019214367 A JP 2019214367A JP 7085525 B2 JP7085525 B2 JP 7085525B2
Authority
JP
Japan
Prior art keywords
vehicle
data
sensor
sensors
data streams
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019214367A
Other languages
English (en)
Other versions
JP2020107328A (ja
JP2020107328A5 (ja
Inventor
ブルグマン ルイス
Original Assignee
トヨタ モーター ノース アメリカ,インコーポレイティド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by トヨタ モーター ノース アメリカ,インコーポレイティド filed Critical トヨタ モーター ノース アメリカ,インコーポレイティド
Publication of JP2020107328A publication Critical patent/JP2020107328A/ja
Publication of JP2020107328A5 publication Critical patent/JP2020107328A5/ja
Application granted granted Critical
Publication of JP7085525B2 publication Critical patent/JP7085525B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/025Services making use of location information using location based information parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W28/00Network traffic management; Network resource management
    • H04W28/02Traffic management, e.g. flow control or congestion control
    • H04W28/06Optimizing the usage of the radio link, e.g. header compression, information sizing, discarding information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/38Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Television Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)

Description

本明細書で説明される実施形態は、一般的には、車両データで使用する動的データ圧縮システムと方法に関する。より具体的には、車両データの量を減らし、効率的で高速な処理を提供するために、車両データの目的および/または車両の運転状態に基づいて、車両データを動的に圧縮するシステムおよび方法に関する。
効率的な処理のためのデータの圧縮、転送および格納は、データ処理分野では望ましい。さまざまなデータ処理デバイスが、ネットワークを介してデータを処理または送信する前等に、データを圧縮することができる。データの圧縮は、処理、送信または格納するデータのサイズまたは量を減らすために実行される。例えば、データを送信する場合、使用可能なネットワーク帯域幅容量は限られたリソースであり得る。データの送信に必要なコストは、伝送に関係するデータのサイズまたはボリュームが劇的に増加するにつれて大幅に増加した。処理するデータのサイズまたは量を減らすこと、圧縮による送信をすることは、大幅なコスト削減につながる可能性がある。また、データの圧縮は、比較的低いレベルの計算能力を消費し、さまざまな圧縮アルゴリズムが実装に利用できる。
車両データの圧縮には、いくつかの利点がある。車両データの圧縮により、応答速度が向上し、車両コンピューティングシステムの処理負担を軽減することができる。車両データの量は劇的に増加している。道路上の多くの車両には、セルラーネットワーク、Wi-Fiネットワーク、近距離無線ネットワーク等に接続するために、通信機能がある。したがって、車両は、ネットワークを介して車両データを継続的に送信できる。また、車両内または周囲に配置された多数の異なるセンサは、車両の運転中に大量のデータを生成することがあり得る。車両コンピューティングシステムは大量のデータを処理し、また、処理負荷が高くなり、処理が遅れることがあり得る。
現在、車両データの圧縮は、動的ではなく静的に行われる。車両データの圧縮は、さまざまな運転イベント、異なる車両運転状態、車両のさまざまな環境等から取得した車両データを区別しないことがあり得る。例えば、混雑した大都市圏では、車両が高速道路を走行している間、または、景色の変化がない農村地域で、車両データは同じように、または同じ方法で圧縮できる。別の例として、車両が高速で走行しているか、または非常に低速で移動しているかどうかにかかわらず、車両データは同じ方法で圧縮される。したがって、さまざまな運転イベントを考慮して反映することにより、車両データを動的に圧縮するシステムと方法を提供する必要がある。また、効果的かつ効率的な処理、車両データの格納と送信を最大化するために、車両データを動的に圧縮するシステムと方法を提供する必要がある。さらに、さまざまな運転イベントと車両運転状態に基づいて、車両データの量を減らすためにシステムと方法を提供する必要がある。
一実施形態では、動的データ圧縮システムには、センサのグループ、コントローラおよび通信インターフェースが含まれる。センサは車両の車内に配置され、運転イベントデータを検出およびキャプチャするように動作可能である。このセンサのグループは、ターゲットセンサを備える。コントローラはセンサのグループに結合され、運転イベントデータを示す1つ以上のデータストリームをセンサのグループから受信するように動作可能である。通信インターフェースは、データ送信のために、センサとコントローラのグループに結合される。コントローラはさらに、
(i)1つ以上のデータストリームを分析し、
(ii)1つ以上のデータストリームに基づいて、車両の運転状態を決定し、ここで、車両運転状態は、車両の速度、車両の場所、車両の動き、またはその組み合わせを含み、
(iii)車両の運転状態に基づいて、ターゲットセンサからのデータストリームを圧縮するかどうかを決定する
ように動作可能である。
別の実施形態では、動的データ圧縮システムは、運転イベントを検出し、1つ以上のデータストリームを生成するために、動作可能なセンサのグループ、センサのグループに結合されたプロセッサ、および、プロセッサに接続され、所定の車両運転状態を格納するように構成されたメモリが含まれる。メモリはさらに、プロセッサによる実行時に、少なくとも、
(i)1つ以上のデータストリームを受信するステップと、
(ii)1つ以上のデータストリームを分析するステップと、
(iii)1つ以上のデータストリームが所定の車両運転状態の1つ以上を示すかどうかを決定するステップと、
(iv)1つ以上のデータストリームが所定の車両運転状態の1つ以上を示すと決定されたとき、1つ以上のデータストリームを圧縮するステップと
を含む操作を実行する機械可読命令を格納する。この動的なデータ圧縮システムは、さらに、コントローラエリアネットワークバスとデータ通信ユニットを含む。コントローラエリアネットワークバスはセンサのグループに結合され、プロセッサとメモリは、処理のために1つ以上の圧縮データストリームを送信するように構成される。このデータ通信ユニットは、1つ以上の圧縮データストリームをネットワーク経由でクラウドサーバーに送信するように動作可能である。
別の実施形態では、動的なデータ圧縮方法は、
(i)運転イベントを検出しキャプチャするステップと、センサのグループを用いて、運転イベントを示す1つ以上のデータストリームを生成するステップと、
(ii)センサのグループからの運転イベントデータを示す1つ以上のデータストリームを受信するステップと、
(iii)プロセッサを使用して、センサのグループからの1つ以上のデータストリームを分析するステップと、
(iv)プロセッサで、1つ以上のデータストリームに基づいて、車両の運転状態を決定するステップであって、車両動作状態は、車両の速度、車両の場所、車両の動き、または、それらの組み合わせを含む、ステップと、
(v)プロセッサを用いて、車両の運転状態に基づいて、センサグループの少なくとも1つのセンサからのデータストリームを圧縮するかどうかを決定するステップと、
を含む。
本開示の実施形態によって提供されるこれらの、および追加の特徴は、図面と併せて、以下の詳細な説明を考慮して、より完全に理解される。
図面に記載されている実施形態は、本質的に図示および例示であり、開示を限定することを意図していない。例示的な実施形態の以下の詳細な説明は、以下の図面と併せて読むと理解できる。ここで、同様の構造は同様の参照番号で示されている。
図1は、本明細書に示され、説明される1つ以上の実施形態によるコネクテッドカーシステムの概略図である。 図2は、本明細書に示され、説明される1つ以上の実施形態による動的データ圧縮システムのブロック図を概略的に示している。 図3は、図1の動的データ圧縮システムで使用されるセンサのグループのブロック図である。 図4は、本明細書に示され、説明される1つ以上の実施形態によるビデオデータ生成センサのブロック図である。 図5は、本明細書に示され、説明される1つ以上の実施形態による車両データの動的圧縮方法のフローチャートである。 図6は、本明細書に示され説明される1つ以上の実施形態によるセンサデータ生成調整方法のフローチャートである。
コネクテッドカーは他のデバイスと通信するために装備されており、ワイヤレスおよび/またはセルラーネットワーク経由で利用可能な接続を利用する。接続された車は、周囲に接続され、周囲と通信することができる。コネクテッドカーは、車両インフラ間(「V2I」)、車両間(「V2V」)、車両クラウド間(「V2C」)、および車両すべて間(「V2X」)通信モデルを含む、さまざまな通信モデルを介して通信できる。V2I通信モデルは、車両と1つ以上のインフラストラクチャデバイスとの間の通信を促進し、車両とインフラストラクチャに関する情報によって生成されたデータの交換を可能にすることができる。V2V通信モデルは、車両間での通信を促進し、周囲の車両の速度と位置の情報を含む、周囲の車両によって生成されたデータの交換が可能にすることができる。V2C通信モデルは、車両とクラウドシステムの間の情報交換を促進する。V2X通信モデルは、すべてのタイプの車両とインフラストラクチャシステムを相互に接続する。
上記のように、コネクテッドカーは、車両、周囲の車両、環境等に関する大量のデータをキャプチャして生成するように動作する。コネクテッドカーは、そのようなデータを周囲の車両、クラウドサーバー、他のインフラストラクチャなどにシームレスに送信でき、ネットワーク経由で通信する。本明細書に開示される実施形態は、エッジサーバー、中央サーバー、および/または他のリモートサーバーなど外部サーバーへの迅速、効率的で費用対効果の高いデータ転送を提供するために、ネットワークを介した車両データの送信前に車両データを圧縮するシステムと方法を含む。ここで説明する車両データを圧縮するシステムと方法の実施形態は、データのサイズまたはボリュームを削減し、ネットワーク帯域幅をより効果的に使用することにおいて、コネクテッドカーでの使用にはかなりの利点がある。
本明細書に開示される実施形態では、車両データの圧縮により、処理、伝送、格納、および/または他の用途に対する車両データのサイズまたは量を減少することができる。車両データの圧縮は、車両に常駐するプロセッサによる高い処理能力は必要なく、プロセッサのパフォーマンスを妨げることはない。本明細書に開示される実施形態では、均一に実行されるのではなく、車両データの圧縮は動的に実行できる。言い換えると、圧縮は、データの性質、データの目的、シーン内の識別されたオブジェクトなど複数の要因に基づいて実行できる。さらに、または、代わりに、複数の要因は、車両の運転状態と運転イベントに基づいて異なることができる。
本明細書に開示される実施形態では、センサデータやビデオデータなどの車両データは、データの目的と車両の操作に基づいて、動的に圧縮することができる。いくつかの実施形態では、ビデオデータは、カメラから、例えば、所定のフレームレートと解像度で収集することができる。データの目的と車両の動作に応じて、ビデオデータを圧縮して、必要な処理リソースと結果を返すのに必要な時間を削減できる。例えば、高速道路での運転など、高速で走行する車両は、道路を正確にナビゲートするために、高解像度および高フレームレートのビデオデータが必要なことがあり得る。しかしながら、車両が、例えば、低速で街路に沿って走行している場合は、ビデオデータは、ビデオデータのフレームレートは、処理目的で削減することができる。
さらに、いくつかの実施形態では、車両データの収集に使用されるように構成することができるカメラなどの車両センサは、さまざまな条件で車両データを収集する。例えば、車両データの圧縮に影響を与えるため、カメラは、より高いまたは低い解像度で、または、より高いまたは低いフレームレートで車両データを収集することができる。例えば、センサからあまり詳細でないデータを収集することにより、カメラは低解像度または低フレームレートで車両データを収集することができる。言い換えると、車両センサは、所定の解像度とレートでデータを収集でき、しかし、処理、分析、および/または送信する前に収集されたデータに圧縮プロセスを適用することができる。結果として、車両データのサイズまたはボリュームが大幅に削減され得る。車両データを動的に圧縮するためのさまざまなシステムと方法を、本明細書では、対応する図面を具体的に参照して、より詳細に説明する。
図1は、車両100およびクラウドコンピューティングシステム20を含むコネクテッドカーシステム10を概略的に示している。車両100は、ヘッドユニット120、ストレージ140および様々なセンサ150を含むセンサ群を含む。ヘッドユニット120は、センサ150からキャプチャおよび送信されたデータ・ポイントに基づいて車両100の動作を制御する。ストレージ140は、ヘッドユニット120に結合されて、そして、ヘッドユニット120の制御下で一組のデータ・ポイントを格納する。センサ150は、車両100で使用される様々なタイプのセンサを含む。いくつかの実施形態では、センサ150は、1つ以上のカメラ、LIDARセンサ、レーダーセンサ、超音波センサ、加速度計、近接センサ、ブレーキセンサ、モーションセンサ等を含む。車両100で使用されるセンサ150は、これらに限定されず、その他のセンサを実装できる。
いくつかの実施形態では、車両100はまた、車両100の外部に配置することができるセンサ群170からデータ・ポイントを受信する。例えば、センサ170は、駐車構造物、地方自治体インフラ、車両100の周囲等などの建物の上または近くに配置することができる。車両100は、ネットワーク200を介してセンサ170からデータ・ポイントを受信し得る。他の実施形態では、車両100は、V2V通信チャネルを介して周囲の車両210からデータ・ポイントを受信し得る。センサ150と同様に、1つ以上のカメラ、LIDARセンサ、加速度計、近接センサ、ブレーキセンサ、モーションセンサなど各種センサを、センサ170として使用することができる。
図1に示されるように、車両100は、車両100とネットワーク200の間でデータと情報を交換する通信ユニット180を含む。図1に示されるように、車両100は、1つまたは複数のエッジサーバー220、240および260に接続されて通信することができる。エッジサーバー220、240および260は、中央サーバー300に接続され通信することができる。中央サーバー300は、受信機280および285と通信していることがあり得る。受信機280および285は、車両100および210とも通信する。
図2を参照すると、1つ以上の実施形態によれば、動的データ圧縮システム400の構造と動作は、本明細書に示され、記載されるものは詳細に説明される。動的圧縮システム400は、プロセッサ410、メモリ420、および、センサ430のグループを含む。説明の便宜上、図1に示されるように、動的データ圧縮システム400は、車両100に含まれることができる。しかし、それに限定されるものではない。コントローラエリアネットワーク(CAN)バス440は、車両100内および周囲の通信インターフェースとして、プロセッサ410、メモリ420およびセンサ群430に接続されている。図2に示すセンサ430は、センサ430を含む。プロセッサ410に、様々なデータ・ポイントを提供し、プロセッサ410は、さまざまな目的でこのようなデータ・ポイントを順番に処理する。プロセッサ410は、センサ430からのデータ・ポイントを分析して、さまざまな決定を下す。いくつかの実施形態では、プロセッサ410はデータを分析して、そのようなデータ・ポイントが、格納または廃棄されるかどうかを決定し、格納される場合、車内に格納される、または外部に格納される。他の実施形態では、プロセッサ410はデータを分析し、データ・ポイントに対する必要なアクションまたはリアクションを決定する。例えば、プロセッサ410は、加速度計などのセンサからデータ・ポイントを受信し、データ・ポイントを分析し、そして、車両100が衝突状況のリスクにさらされている可能性があることを発見する。次に、プロセッサ410は、車両100の停止、または、車両100の走行速度を遅くすることを要求する警告を出力するなどのアクションを発生させる決定を行うことができる。
いくつかの実施形態では、動的データ圧縮システム400は、図21に示すように、ヘッドユニット120に実装することができる。他の実施形態では、ヘッドユニット120とは独立して別個に、動的データ圧縮システム400を実装することができる。説明の便宜上、動的データ圧縮システム400は、車両100に含まれることができる。動的データ圧縮システム400は、また、様々なタイプの車両で使用されることができる。
図2に示すように、プロセッサ410は、1つ以上のアプリケーションを同時に実行することができる。同時に、プロセッサ410は、データ・ポイントを処理および分析することができる。プロセッサ400の計算能力は、プロセッサ410によって処理されている処理タスクに基づいて、変化し得る。プロセッサ410の計算能力は、複数のタスクを同時に処理できる可能性がある。プロセッサ410は、車両データの圧縮および/または圧縮解除を含む車両データの処理も実行することができる。加えて、プロセッサ410は、ネットワーク200を介して外部システムから受信される車両データの暗号化および/または復号化を実行する。
図2において、1つのプロセッサ410が示されているが、しかし、車両100は1つ以上のプロセッサを含むことができる。1つ以上のプロセッサを、車両100の様々な場所に配置することができる。いくつかの実施形態では、センサ150は、センサ150の動作を制御するために、1つ以上のプロセッサに関連付けることができる。エアバッグなどの他の車両部品は、エアバッグを制御するためのコントローラに関連付けることができ、そして、ヘッドユニット120および/またはプロセッサ410の制御下で動作することができる。他の実施形態では、プロセッサ410は、ヘッドユニット120の一部であることができ、車両100の制御動作に関与することができる。
メモリ420は、プロセッサ410による実行のための様々なプログラムを格納する。いくつかの実施形態では、メモリ420は、データ・ポイントを処理する機械語ベースのプログラムを格納する。さらに、または、代わりに、メモリ420は、車両100の運転パターンを学習すること、車両100の衝突状況を学習すること等ができる、深層学習プログラム、ニューラルネットワークプログラム、パターン認識プログラム等を格納する。他の実施形態では、メモリ420に格納されたプログラムはさらに認識し、車両の設定を適宜変更できるように、ユーザープロファイルを変更する。メモリ420は、センサ150および/またはセンサ170のデータ・ポイントの分析に関する様々なプログラムをさらに格納する。メモリ420は、メディアプレーヤー、ナビゲーションプログラム、車両設定で使用されるプログラムなどの様々なアプリケーションプログラムも格納する。
いくつかの実施形態では、メモリ420は、選択的なデータ・ポイントを圧縮するように構成された動的データ圧縮プログラム424も格納する。メモリ420は、周囲の車両210および/または外部サーバーから受信したデータを解凍するための解凍プログラムをさらに格納する。または、単一のプログラムで圧縮と解凍を実行できる。他の実施形態では、メモリ420は、周囲の車両210および/または外部サーバー220、240、260、受信機280、285、または中央サーバー300から受信したデータの送信および/または復号化の前に、センサ150、170からのデータ・ポイントを暗号化するために、暗号化および/または復号化プログラムも格納する。
いくつかの実施形態では、動的データ圧縮プログラム424は、このような複数の関連要因に基づいて、複数の関連要因を分析し、実行する圧縮を決定する。動的データ圧縮プログラム424は、車両の運転状態やデータ(例えば、ビデオデータ、速度データ、LIDARデータなど)の種類などさまざまな要因をチェックし、車両データへの圧縮を実行するかどうかを決定する。図5ー6に関連して、動的圧縮プログラム424の動作について詳細に説明する。
いくつかの実施形態では、メモリ420は、車両データの圧縮および/またはセンサ群430のデータ生成調整を引き起こす可能性がある所定の車両運転状態422を格納する。例えば、所定の車両運転状態422は、スピード、急激な加速、減速、衝突等を含むことができる。所定の車両運転状態422は、必要に応じて、関連するイベントを含めるように変更できる。所定の車両運転状態422は、上記の複数の要因に結び付け、関連付けられることができる。例えば、加速と減速は、加速度センサから取得され、潜在的な事故、オブジェクトへのクラッシュ、または他の緊急事態を示すことができる。別の例として、スピードはスピードセンサから取得でき、高速道路での運転イベント、潜在的な事故等を示すことができる。さらに、または、代わりに、所定の車両運転状態422は、センサ430から取得した関連データの圧縮をトリガーする場合としない場合がある。
引き続き図2を参照すると、センサ群430は、ターゲットセンサ470をさらに含む様々なセンサを含む。図3は、センサ430をより詳細に示している。いくつかの実施形態では、センサ群430は、速度センサ432、ビデオデータ生成センサ434、LIDARセンサ436、加速度計438およびGPSセンサ460を含む。センサ430は、図3に示されるものに限定されないことができる。他の実施形態では、他のタイプのセンサは、センサ群430に含まれ得る。センサ430は、さまざまな車両運転イベントをキャプチャし、データストリームを継続的に生成する。センサ430は、CANバス440経由で、1つ以上のデータストリームをプロセッサ410に送信することができる。さらに、センサ430は、ネットワーク200経由で、1つ以上のデータストリームをクラウドシステムに送信することもできる。
図3に戻ると、速度センサ432は、車両運転イベントから、車両の速度を示すデータストリームをキャプチャする。速度センサ432は、車両の速度をプロセッサ410に示すデータストリームを提供することができる。さらに、または、代わりに、速度センサ432は、CANバス440を介したビデオデータ生成センサ434など車両の速度と他のセンサに関するデータストリームを提供する。いくつかの実施形態では、速度センサ432は、CANバス440を介してビデオデータ生成センサ434に接続する速度パルスを提供することができる。図6に関連してより詳細に議論されるように、ビデオデータ生成センサ434およびその他のセンサは、速度パルスに応じてデータ生成調整を実行できる。他の実施形態では、速度センサ432は、速度パルスから異なる形式で速度情報を提供する。
LIDARセンサ436は、ターゲットにパルスレーザー光を照射し、反射パルスを測定して、ターゲットまでの距離を測定するように動作する。いくつかの実施形態では、LIDARセンサ436は、物体までの測定距離が近すぎることがあり得る。この情報は、事故またはクラッシュのリスクがあるかどうかを決定するために使用できる。加速度計438は、車両の加速または減速を示すデータストリームを提供する。加速度計438からのデータストリームは、クラッシュ、衝突、事故などの所定の車両運転状態に関連付けることができる。いくつかの実施形態では、速度センサ432のように、加速度計438が、図3に示すように、CANバス440を介してビデオデータ生成センサ434およびその他のセンサに接続する加速または減速の表示を提供することができる。より詳細に説明するように、ビデオデータ生成センサ434およびその他のセンサは、指示に応じてデータ生成調整を実行できる。
GPSシステム460は、運転中の車両の位置を決定するように動作する。いくつかの実施形態では、GPSシステム460は、位置情報をプロセッサ410および他のセンサに提供する。いくつかの実施形態では、ロケーション情報は、ロケーションが高速道路、農村部、または都市圏であると決定するために使用され得る。また、さらに、データストリームを圧縮するかどうかを決定するために使用される。位置情報は、センサ430からのデータストリームを圧縮するかどうかを決定するために、使用できる。さらに説明するように、位置情報は、センサ430でのデータ生成を調整するためにも使用できる。さらに、位置情報も、データ圧縮および/またはデータ生成調整をトリガーするために、スピード、加速度、減速など、他の車両運転状態と共に使用できる。
図2に戻ると、動的データ圧縮システム400は、ネットワーク200を介してクラウドシステムと通信するデータ通信ユニット450を含む。
図4は、センサ430の一例として図3のビデオデータ生成センサ434のブロック図を示す。いくつかの実施形態では、ビデオデータ生成センサ434は、ターゲットセンサ470(図2を参照)であり得る。ただし、ターゲットセンサ470はこれに限定されず、他のタイプのセンサを含むことができる。ビデオデータ生成センサ434は、データ受信部502およびデータ生成部508を含む。ビデオデータ生成センサ434は、センサプロセッサ504、メモリ504および通信インターフェース510をさらに含む。車両が運転している間、ビデオデータ生成センサ434によってキャプチャされた運転イベントに関するデータは、データ受信部502に入力される。データ受信部502は、入力データをセンサプロセッサ504に提供する。センサプロセッサ504は、様々なプログラムを格納するメモリ504に結合されている。いくつかの実施形態では、メモリ504は、データ収集調整プログラム506も格納する。通信インターフェース510は、ビデオデータ生成センサ434と車両100の他の構成要素との間で通信するように構成される。
いくつかの実施形態では、データ収集調整プログラム506は、ビデオデータ生成センサ434のデータキャプチャレートを調整する。例えば、データ収集調整プログラム506は、結果として得られるビデオデータの解像度を調整するために、フレームキャプチャレートを調整することができる。例として、データ収集調整プログラム506は、特定の間隔でフレームキャプチャレートを1分あたり60フレームに調整することができる。これは、60mphの速度で高速道路を運転する場合、完全な4K高解像度(HD)画像になる。別の例として、データ収集調整プログラム506は、特定の間隔でフレームキャプチャレートを1分あたり30フレームに調整することができる。これにより、標準の4Kイメージ、または、低速での市街地走行用のフルHD画像が生成される。ビデオデータ生成センサ434は、静止画像および動画をキャプチャすることができる。このように、データ収集調整プログラム506は、キャプチャする生データの量が少なくなると、生成されるビデオデータの量が少なくなる可能性がある。
いくつかの実施形態では、データ収集調整プログラム506は、ビデオデータ生成センサ434が、第1のデータ生成モードと第2のデータ生成モードを有することを可能にすることができる。例えば、第1のデータ生成モードは、特定の間隔で60フレーム/分でビデオデータを生成し、フル4K HD画像を生成する高解像度モードを含むことができる。第2のデータ生成モードには、特定の間隔で30フレーム/分、標準の4K画像またはフルHD画像のいずれかを生成する低解像度モードが含まれる。第2のデータ生成モードをオンにすると、ビデオデータ生成センサ434は、低フレームレートを使用し。て詳細度の低いデータをキャプチャして収集する。これにより、処理のためにビデオデータ生成センサ434によって生成されるデータの量が削減される可能性がある。
他の実施形態では、LIDARセンサ436および加速度計438などのセンサ430は、あまり詳細でないデータを収集し、最終的に、これらのセンサによって生成されるデータ量を削減するモードをオンにするように構成することもできる。センサ430のうちの1つ以上が減少した量のデータストリームを生成することができるために、処理のために生成されるデータの量を、センサレベルで削減することができる。
図5は、本明細書に示され説明される1つ以上の実施形態による車両運転データ600を動的に圧縮する方法のフローチャートを示す。車両100が作動している間、センサ群430は、車両100の運転イベントを検出および捕捉する(ステップ605)。センサ群430は、センサのグループ430による運転イベントを示す1つ以上のデータストリームを生成する(ステップ610)。いくつかの実施形態では、加速度計438は、車両100の加速または減速を示す1つ以上のデータストリームを生成する。別の例として、速度センサ432は、車両100の速度を示す1つ以上のデータストリームを生成する。さらに別の例として、LIDARセンサ436は、車両100と物体との間の測定距離を示す1つ以上のデータストリームを生成する。
いくつかの実施形態では、センサ群430は、ターゲットセンサ470を含み、ターゲットセンサ470の動作を、説明の便宜上記載する。ターゲットセンサ470は、任意のタイプのセンサとすることができ、例えば、ターゲットセンサ470は、ビデオデータ生成センサ434を含む。別の例として、ターゲットセンサ470は、速度センサ432、加速度計438、LIDARセンサ436等も含む。ターゲットセンサ470は、上記のセンサに限定されず、当技術分野で利用可能な様々なセンサを含むことができる。
プロセッサ410は、ターゲットセンサ470を含むセンサ430のグループからの1つ以上のデータストリームを受信し、分析する(ステップ615)。次に、プロセッサ410は、センサ群430からの1つ以上のデータストリームに基づいて、車両の運転状態を判定する(ステップ620)。いくつかの実施形態では、車両運転状態は、60 mphの速度で移動するなど車両100の速度を示すことができる。別の例として、車両運転状態は、場所と速度情報に基づいて、高速道路での運転や市内での運転など車両100の特定の運転場所を示すことができる。さらに別の例として、車両の運転状態は、急速な減速、高速加速、近くの物体に近い距離等を示すことができる。
いくつかの実施形態では、ターゲットセンサ470は、図4に示されるように、ビデオデータ生成センサ434を含むことができる。ターゲットセンサ470は、クリティカルな運転イベントを示す車両運転状態に基づいて、高解像度および高フレームレートを有するデータストリームを生成することができる。クリティカルな運転イベントは、高速化などの高解像度画像が必要な車両運転イベント、急激な減速または加速、事故、クラッシュに近い状況等を含むことができる。他の実施形態では、ターゲットセンサ470は、クリティカルでない運転イベントを示す車両運転状態に基づいて低解像度と低フレームレートを持つデータストリームを生成できる。クリティカルでない運転イベントは、低速など高解像度画像を必要としない車両運転イベント、田舎の運転、一貫した速度の運転、隣接するオブジェクトがない等を含むことができる。
他の実施形態では、ターゲットセンサ470は、異なるタイプのセンサを含み、クリティカルな運転イベントである車両運転状態の決定、またはクリティカルではない運転イベントに基づいて、データストリームを生成する。
決定された車両の運転状態に基づいて、プロセッサ410は、車両の運転状態に基づいて、センサ430からのデータストリームを圧縮するかどうかを決定する。例えば、プロセッサ410は、ターゲットセンサ470から車両の運転状態に基づいて、1つ以上のデータストリームを圧縮するかどうかを決定する(ステップ625)。圧縮の決定時に、ターゲットセンサ470からの1つ以上のデータストリームが圧縮される(ステップ630)。
いくつかの実施形態では、センサ430が運転イベントから1つ以上のデータストリームをキャプチャして収集した後、センサデータ生成調整プロセス700(図6を参照)が行われ得る。センサデータ生成調整プロセス700は、センサによるデータ生成に影響し得る。調整プロセス700は、センサ430を制御して、運転イベントのより少ない詳細をキャプチャして収集することにより、生成するデータストリームを減らすように構成される。以下で、図6に関連してさらに詳細に説明する。
図2および図5に戻ると、いくつかの実施形態では、圧縮プログラム424は、処理、伝送、格納および分析するデータのサイズまたはボリュームを削減する。例えば、圧縮プログラム424は、ストレージの需要、テキスト、画像およびビデオを転送するときの処理と帯域幅を減らすことができる。圧縮により、データのサイズまたはボリュームが削減され、したがって、センサデータなどのデジタル情報の処理、分析および送信に必要なデータの量を、削減することができる。したがって、同じ帯域幅容量を使用して、一旦圧縮された、より多くのデータを、ネットワーク200を介して送信することができる。
データ処理、伝送および格納に関連して、さまざまなデータ圧縮技術が利用可能である。データ圧縮技術の1つのタイプは、メッセージのエンコードに少ないビット数を使用する。別のタイプのデータ圧縮技術は、現在のフレームが前のフレームと異なる場合のみフレームの送信を含む。そのようにして、処理される、格納された、または送信されるデータの合計量を減らすことができる。別のタイプのデータ圧縮技術は、メッセージを正確に送信せずにメッセージを近似して送信することである。これは非可逆圧縮と呼ばれる。本明細書の実施形態で使用される圧縮プログラムは、特定の圧縮プログラムに限定されず、さまざまな圧縮プログラムで実装されることができる。本明細書の実施形態で使用される圧縮プログラムは、また、セルラーネットワーク経由のデータ送信で使用されている圧縮技術を実装することができる。
いくつかの実施形態では、メモリ420に格納された圧縮プログラムは、データを圧縮してZIPファイル形式にすることができる。ZIPファイル形式が、多くの圧縮プログラムによってサポートされており、さまざまなオペレーティングシステムが、ZIPファイル形式をサポートすることができる。ZIPファイルは、複数のファイルを格納するアーカイブで、アーカイブに含まれるファイルは、さまざまな方法を使用して圧縮できる。ZIPアーカイブ内のファイルは個別に圧縮されるため、アーカイブ全体を圧縮または解凍する必要はなく、ファイルを抽出したり、新しいものを追加したりすることができる。ZIPファイル形式のサポートに使用される圧縮方法の1つは、DEFLATEであり、これは、IETF・RFC(Internet Engineering Task Force Request for Comments)1951に説明されている。
いくつかの実施形態では、特に、圧縮データがネットワーク200を介して送信される場合、圧縮の後に暗号化が続くことができる。圧縮プログラムがZIPファイル形式をサポートしている場合、暗号化はさまざまな方法で実装できる。たとえば、ZIPファイルでパスワードを設定する。他の実施形態では、暗号化では、公開鍵/秘密鍵のペアリングを使用できまる。多くの場合、ネットワーク200を介した車両100からのデータ送信は、受信者が潜在的に受信できるデータをブロードキャストすることである。公開キー/秘密キーのペアが使用される場合、図1の中央サーバー300など限られたパーティーのみが、秘密鍵を使用して暗号化されたデータを復号化できる。言い換えると、他の車両などの意図しない受信者が公開鍵を認識していることがあり得るが、しかし、秘密鍵は中央サーバー300でのみ利用可能である。
カメラなどのビデオデータ生成センサ434によって撮影された画像データなどの車両データは、特定の標準的な手法に基づいて圧縮される。例えば、MPEG(Moving Picture Experts Group)が、オーディオおよびビデオの圧縮および送信用の標準を設定していることが知られている。MPEGは、MPEG-1およびMPEG-2が動画のコーディングに適用され、MPEG-4が視聴覚オブジェクトのコーディング等に適用されるように、圧縮形式と補助標準を標準化している。ビデオまたはオーディオデータを圧縮する圧縮技術は、MPEG形式をさまざまな種類の画像、静止画像または動画などに適用される。
さらに、MPEG標準などの圧縮技術は、メディアファイルおよびビデオ/オーディオデータに関連することがあり得る。ビデオおよび音声データとは別に、さまざまなセンサから生成された車両データは、圧縮すると、処理するデータの量を減らし、処理を高速かつ効率的にすることができる。
図6は、センサデータ生成調整方法700のフローチャートを示している。図5に示す、いくつかの実施形態では、センサデータ生成調整方法700は、センサ群430による運転イベントを表示する1つ以上のデータストリームの生成時に行うことができる(ステップ610)。いくつかの実施形態では、センサデータ生成調整方法700が、速度センサ432から1つ以上のデータストリームを受信することにより進行する(ステップ705)。速度センサ432からの1つ以上のデータストリームに基づいて、車両100の速度は、プロセッサ410で決定される(ステップ710)。さらに、または、代わりに、車両100の速度以外に加えて、車両100の速度は、センサ群430で決定することができる(ステップ715)。
速度および/または他の車両運転状態を、ターゲットセンサ470に送信することができる(ステップ720)。いくつかの実施形態では、速度センサ432は、速度パルスを生成およびCANバス440を介して、ターゲットセンサ470に送信する。他の実施形態では、速度センサ432は、速度パルスを、次に、速度パルスをターゲットセンサ470に送信するプロセッサ410に送信することができる。図2、図3において。速度センサ432およびターゲットセンサ470は、センサのグループ430に含まれるように描かれているが、しかし、車両100は、センサ430のための様々な位置および位置を有し得る。
いくつかの実施形態では、ターゲットセンサ470は、カメラなどのビデオデータ生成センサ434を含み得る。ターゲットセンサ470は、さまざまな場所に配置される1つまたは複数のカメラを含むことができる。他の実施形態では、ターゲットセンサ470は、カメラとは異なるタイプのセンサであり得る。例えば、ターゲットセンサ470はLIDARセンサ436であることができる。
例として、説明の便宜上、ターゲットセンサ470としてのカメラのデータ生成調整について詳細に説明する。いくつかの実施形態では、速度パルスに基づいて、ターゲットセンサ470(例えば、カメラ)が、速度と車両の運転状態に基づいて、キャプチャフレームレートを調整する(ステップ725)。ビデオデータは、例えば、所定のフレームレートと解像度でカメラから収集することができる。速度パルスに基づいて、ビデオデータの生成を、必要な処理リソースと結果を返すのに必要な時間を削減するために、調整することができる(ステップ725)。いくつかの実施形態では、高速道路などの高速で走行する車両は、低速で動作するために必要な解像度とフレームレートと比較して、道路を正確にナビゲートするために、高解像度および高フレームレートのビデオデータが必要であり得る。しかしながら、車両が街路に沿って、例えば、低速で走行している場合、ビデオデータは、ビデオデータのフレームレートが処理目的で削減される。データの目的と車両の動作に応じて、センサレベルでのデータ生成の調整を実行できる。
いくつかの実施形態では、ターゲットセンサ470は、キャプチャフレームレートを調整するための、第1データ生成モードと第2データ生成モードを含むカメラである(ステップ725)。第1のデータ生成モードには、60フレーム/分でビデオデータを生成し、フル4K高解像度(HD)を生成する高解像度モードが含まれる(ステップ730)。第2番のデータ生成モードには、30フレーム/分、4KまたはフルHDを生成する低解像度モードが含まれる(ステップ730)。車両100の速度に基づいて、ターゲットセンサ470は高解像度モードをオンにする、または、低解像度モードをオンにすることができる。例えば、車両100が高速道路を走行している間、速度センサ432は、60 mphを示す速度パルスをターゲットセンサ470に送信する。次に、ターゲットセンサ470は、高解像度、高フレームレートのビデオデータを生成する高解像度モードをオンにする
他の実施形態では、ターゲットセンサ470は、捕捉フレームレートを調整するための車両100の速度に基づいて、低解像度と低フレームレートでビデオデータを生成する低解像度モードをオンにする(ステップ725)。車両100が、例えば、低速で街の通りに沿って走行している場合、ターゲットセンサ470が、処理目的でビデオデータのフレームレートを下げることができるように低解像度モードをオンにする。一方、車両100が高速道路などの高速で走行している場合、ターゲットセンサ470は、高解像度モードをオンにして、高速道路を正確にナビゲートする。
いくつかの実施形態では、ビデオデータの解像度は、車両の位置に基づいて調整することができる。例えば、田舎の環境を走行する車両は、周囲が都市や都市の環境ほど頻繁に、または動的に変化することはないので、高解像度のビデオデータを必要としないことがあり得る。その場合、ターゲットセンサ470は、低フレームレートと低解像度のデータストリームを生成する低解像度モードをオンにする。
上記は、カメラによってターゲットセンサ470として収集されたビデオデータと画像データを指すが、LIDARデータまたは車両100内のセンサ430からの他のデータなど他のセンサデータの生成を、車両100の速度、車両100の場所などの車両運転状態に基づいて、処理のために調整されるように制御できることも考えられる。他の実施形態では、データの性質、データの目的、シーン内の識別されたオブジェクトは、センサレベルでのデータ量の削減など、センサデータのデータ生成を調整するために、ターゲットセンサ470への信号をトリガーできる。
いくつかの実施形態では、ターゲットセンサ470は、クリティカルな運転イベントを示す車両運転状態に基づいて、高解像度と高フレームレートを持つデータストリームを生成できる。クリティカルな運転イベントは、高速、急激な減速または加速、事故、クラッシュに近い状況などの高解像度画像が必要な車両運転イベントを含むことができる。他の実施形態では、ターゲットセンサ470は、クリティカルでない運転イベントを示す車両運転状態に基づいて、低解像度と低フレームレートを持つデータストリームを生成できる。クリティカルでない運転イベントは、低速、田舎の運転、一貫した速度の運転、 隣接するオブジェクトがないなどの高解像度画像を必要としない車両運転イベントを含むことができる。
図5および図6に示すように。ターゲットセンサ470のセンサデータの量は、より少ないセンサデータを、センサレベルでキャプチャして生成する、および/またはターゲットセンサ470からの1つ以上のデータストリームを、動的圧縮システムレベルでさらに圧縮することで削減できる。上記のように、車両の運転状態は、ターゲットセンサ470および動的圧縮システム400の両方に対するトリガーとなり得る。いくつかの実施形態では、車両100の低速は、ターゲットセンサ470をトリガーして、生データなどセンサデータのデータキャプチャレートを下げる。例えば、車両100の低速は、混雑した都市の通りを運転することで生じる可能性があり、高解像度の画像、または詳細情報を必要としない場合がある。
他の実施形態では、車両100の高速が、高解像度モードをオンにして、キャプチャし、高フレームレートと高解像度のデータストリームを生成するために、ターゲットセンサ470をトリガーする可能性がある。車両100の高速は、農村地域の高速道路を走行することにより生じ得る。農村地域の環境は頻繁に変化しない可能性があるため、動的圧縮システム400は、非可逆圧縮を使用してターゲットセンサ470からのデータストリームを圧縮する。
ターゲットセンサ470としてカメラを含む実施形態において、データの収集に使用されているカメラまたはセンサは、センサから詳細度の低いデータを収集してデータの圧縮に影響を与えるために、より高いまたは低い解像度またはレートでデータを収集するように構成できる。しかしながら、他の実施形態では、データ収集に使用されているカメラとセンサは、所定の解像度とレートでデータを収集することができ、そして圧縮プロセスは、しかし、処理、分析および/または送信する前に、収集されたデータに適用されることができる。
上記はカメラで収集されたビデオデータと画像データを指すが、LIDARデータまたは車両内のセンサからの他のデータなどの他のセンサデータが、データの性質、データの目的、シーン内の識別されたオブジェクトに基づいて、処理のために圧縮される場合があることもまた考えられる。
動的データ圧縮システムには、センサ、コントローラと通信インターフェースのグループが含まれる。センサは車両の車内に配置され、運転イベントデータ、ターゲットセンサを備えるセンサのグループを検出およびキャプチャするように動作可能である。コントローラはセンサのグループに結合され、センサのグループからの運転イベントデータを示す1つ以上のデータストリームを受信するように動作可能である。通信インターフェースは、センサおよびデータ送信用のコントローラのグループに結合されている。コントローラはさらに、
(i)1つ以上のデータストリームを分析する、
(ii)1つ以上のデータストリームに基づいて車両の運転状態を決定する、ここで、車両運転状態は、車両の速度、車両の場所、車両の動き、またはその組み合わせを含むものであり、および、
(iii)車両の運転状態に基づいて、ターゲットセンサからのデータストリームを圧縮するかどうかを決定する
ように動作可能であり、
別の実施形態では、センサのグループには速度センサが含まれ、速度センサからの1つ以上のデータストリームに基づいて、コントローラが車両の速度を決定する。別の実施形態では、ターゲットセンサには、ビデオデータ生成センサが含まれ、コントローラは、車両運転状態の決定をターゲットセンサに送信するように動作可能である。ターゲットセンサは、車両の運転状態に基づいて、異なる解像度を持つデータストリームを生成するように動作可能である。ターゲットセンサは、クリティカルな運転イベントを示す車両運転状態に基づいて、高解像度と高フレームレートを持つデータストリームを生成するように動作可能である。ここでこの高解像度は、車両の運転状態がクリティカルな運転であることを示していない場合の解像度よりも高く、そして、高フレームレートは、車両の運転状態がクリティカルな運転イベントを示していない場合のフレームレートよりも高い。代替的または追加的に、ターゲットセンサは、クリティカルでない運転イベントを示す車両運転状態に基づいて、低解像度と低フレームレートを持つデータストリームを生成するように動作可能である。ここで、その低解像度は、車両の運転状態がクリティカルでない運転であることを示していない場合の解像度より低く、そして、低フレームレートは、車両の運転状態がクリティカルでない運転イベントを示していない場合のフレームレートより低い。
別の実施形態では、コントローラは、低解像度と低フレームレートを持つデータストリームを圧縮するようにさらに動作可能である。
別の実施形態では、動的データ圧縮システムには、運転イベントを検出し、1つ以上のデータストリームを生成するように動作可能なセンサのグループ、センサのグループに結合されたプロセッサ、プロセッサに結合され、所定の車両運転状態を格納するように構成されたメモリが含まれる。メモリには、プロセッサによる実行時に、少なくとも、(i)1つ以上のデータストリームを受信、(ii)1つ以上のデータストリームを分析、(iii)1つ以上のデータストリームが所定の車両運転状態の1つ以上を示すか否かを決定、および、(iv)1つ以上のデータストリームが所定の車両運転状態の1つ以上を示すと決定されたとき1つ以上のデータストリームを圧縮することを含む操作を実行する機械可読命令がさらに格納される。さらに、動的なデータ圧縮システムは、コントローラエリアネットワークバスとデータ通信ユニットを含む。コントローラエリアネットワークバスはセンサのグループに結合され、プロセッサとメモリとは、処理のために1つ以上の圧縮データストリームを送信するように構成される。データ通信ユニットは、1つ以上の圧縮データストリームをネットワーク経由でクラウドサーバーに送信するように動作する。
別の実施形態では、1つ以上のデータストリームを決定する操作は、所定の車両運転状態を示し、さらに、1つ以上のデータストリームが車両のクリティカルな運転イベントを示しているか否かを決定することを含む。
別の実施形態では、1つ以上のデータストリームを決定する操作が、所定の車両運転状態を示し、さらに、1つ以上のデータストリームが事故と相関している所定のしきい値を超える車両の動きを示しているか否かを決定することを含む。
別の実施形態では、センサのグループには、センサプロセッサとコンピューターコードを格納するメモリを含むビデオデータ生成センサがさらに含まれる。
別の実施形態では、機械可読命令は、プロセッサによって実行されると、さらに、コントローラエリアネットワークバス経由してビデオデータ生成センサへの所定の車両運転状態のうちの1つ以上の送信を実行する。および、コンピューターコードは、センサプロセッサによる実行時に、所定の車両運転状態の1つ以上に基づいて、入力ビデオデータストリームのキャプチャフレームレートを調整するように構成されている。
別の実施形態では、動的なデータ圧縮方法は、
(i)運転イベントの検出とキャプチャ、および、センサのグループを用いる運転イベントを示す1つ以上のデータストリームを生成すること、
(ii)センサのグループからの運転イベントデータを示す1つ以上のデータストリームを受信すること、
(iii)プロセッサを使用して、センサデータのグループからの1つ以上のデータストリームを分析すること、
(iv)プロセッサで、1つ以上のデータストリーム基づいて、車両の運転状態を決定することであって、車両運転状態は、車両の速度、車両の場所、車両の動き、またはその組み合わせを含むものである、こと、
(v)プロセッサで、車両の運転状態に基づいて、センサグループの少なくとも1つのセンサからのデータストリームを圧縮するかどうかを決定すること、
を含む。
別の実施形態では、1つ以上のデータストリームを受信するステップは、速度センサから1つ以上のデータストリームを受信することをさらに含み、車両の運転状態を決定するステップは、速度センサからの1つ以上のデータストリームに基づいて、車両の速度を決定することをさらに含む。
別の実施形態では、受信するステップは、さらに、ビデオセンサから1つ以上のビデオデータストリームを受信することを含む。この動的なデータ圧縮方法は、さらに、車両の運転状態の決定をビデオセンサに送信することを含む。
別の実施形態では、受信するステップは、さらに、車両の運転状態に基づいて、解像度の異なる1つ以上のビデオデータストリームの受信を含む。さらに別の実施形態では、受信するステップは、さらに、クリティカルな運転イベントを示す車両運転状態に基づいて、高解像度と高フレームレートを持つ1つ以上のビデオデータストリームの受信を含む。ここで、この高解像度は、車両の運転状態がクリティカルな運転であることを示していない場合の解像度よりも高く、そして、高フレームレートは、車両の運転状態がクリティカルな運転イベントを示していない場合、フレームレートよりも高い。
さらに別の実施形態では、受信するステップは、クリティカルではない運転イベントを示している車両の運転状態に基づいて、低解像度と低フレームレートを持つ1つ以上のビデオデータストリームを受信することをさらに含む。ここで、その低解像度は、車両の運転状態がクリティカルでない運転であることを示していない場合の解像度より低く、そして、その低フレームレートは、車両の運転状態がクリティカルでない運転イベントを示していない場合のフレームレートより低い。さらに別の実施形態では、圧縮するステップは、低解像度と低フレームレートを持つデータストリームを圧縮することをさらに含む。さらに別の実施形態では、1つ以上のデータストリームを生成するステップは、ターゲットセンサによって生成されるデータストリームの量を削減するために、ターゲットセンサのデータキャプチャレートの調整をさらに含む。
本明細書では特定の実施形態を例示し説明したが、その他のさまざまな変更および修正が、クレームされた主題の主旨および範囲から逸脱することなく行うことができることは理解されるべきである。また、クレームされた主題のさまざまな態様がここに記載されているが、そのような態様を組み合わせて利用する必要はない。したがって、添付のクレームは、クレームされた主題の範囲内であるそのようなすべての変更および修正を対象とすることを意図している。

Claims (15)

  1. 車両に搭載され、運転イベントデータを検出およびキャプチャするように動作可能なセンサのグループであって、センサの該グループはターゲットセンサを含む、センサのグループと、
    センサの前記グループに結合され、前記運転イベントデータを示す1つ以上のデータストリームをセンサの前記グループから受信するように動作可能なコントローラと、
    センサの前記グループと前記コントローラに結合された、データ送信用の通信インターフェースと
    を備える、動的データ圧縮システムであって、
    前記コントローラはさらに、
    前記1つ以上のデータストリームを分析し、
    前記1つ以上のデータストリームに基づいて、車両運転状態を決定し、ここで、該車両運転状態は、前記車両の速度、前記車両の場所、前記車両の動き、または、それらの組み合わせを含み、
    前記車両運転状態に基づいて、前記ターゲットセンサからのデータストリームを圧縮するかどうかを決定し、
    前記ターゲットセンサのデータキャプチャレートは前記車両運転状態に基づく
    ように動作可能である、動的データ圧縮システム。
  2. センサの前記グループは、速度センサと、ビデオデータ生成センサとを備え、
    前記コントローラは、前記速度センサからの前記1つ以上のデータストリームに基づいて前記車両の前記速度を決定し、
    前記コントローラは、前記車両運転状態の前記決定を前記ターゲットセンサに送信する
    ように動作可能である、請求項1に記載の動的データ圧縮システム。
  3. 前記ターゲットセンサは、ビデオデータ生成センサを備え、
    前記コントローラは、前記車両運転状態の前記決定を前記ターゲットセンサに送信するように動作可能であり、
    前記ターゲットセンサは、クリティカルな運転イベントを示す前記車両運転状態に基づいて、高解像度および高フレームレートを持つデータストリームを生成するように動作可能であり、
    前記高解像度は、前記車両運転状態が前記クリティカルな運転イベントを示していない場合の解像度よりも高く、
    前記高フレームレートは、前記車両運転状態が前記クリティカルな運転イベントを示していない場合のフレームレートよりも高い、
    請求項1に記載の動的データ圧縮システム。
  4. 前記ターゲットセンサは、ビデオデータ生成センサを備え、
    前記コントローラは、前記車両運転状態の前記決定を前記ターゲットセンサに送信するように動作可能であり、
    前記ターゲットセンサは、クリティカルでない運転イベントを示す前記車両運転状態に基づいて、低解像度と低フレームレートを持つデータストリームを生成するように動作可能であり、
    前記低解像度は、前記車両運転状態が前記クリティカルでない運転イベントを示していない場合の解像度より低く、
    前記低フレームレートは、前記車両運転状態が前記クリティカルでない運転イベントを示していない場合のフレームレートより低く、
    前記コントローラは、前記低解像度と前記低フレームレートを持つ前記データストリームを圧縮するようにさらに動作可能である、
    請求項1に記載の動的データ圧縮システム。
  5. 運転イベントを検出し、1つ以上のデータストリームを生成するように動作可能なセンサのグループと、
    センサの前記グループに結合されたプロセッサと、
    前記プロセッサに結合されたメモリであって、所定の車両動作状態を格納するように構成されたメモリと
    を備える動的データ圧縮システムであって
    前記メモリはさらに、前記プロセッサによる実行時に、
    少なくとも、前記1つ以上のデータストリームを受信することと、
    前記1つ以上のデータストリームを分析することと、
    前記1つ以上のデータストリームが前記所定の車両運転状態の1つ以上を示すか否かを決定することと、
    前記1つ以上のデータストリームが前記所定の車両運転状態の前記1つ以上を示すことの決定時に、前記1つ以上のデータストリームを圧縮することと、
    の動作を実行する機械可読命令を格納し、
    前記動的データ圧縮システムは、さらに、
    センサの前記グループ、前記プロセッサおよび前記メモリに結合され、処理のために前記1つ以上の圧縮データストリームを送信するように構成され、コントローラエリアネットワークバス
    前記1つ以上の圧縮データストリームを、ネットワーク経由でクラウドサーバーに送信するように動作可能である、データ通信ユニットと
    を備え、
    センサの前記グループのうちの少なくとも1つのセンサのデータキャプチャレートは前記1つ以上の所定の車両動作状態に基づく、
    動的データ圧縮システム。
  6. 前記1つ以上のデータストリームを決定する前記動作が、前記所定の車両運転状態を示し、前記1つ以上のデータストリームが車両のクリティカルな運転イベントを示しているかどうかを決定することを、さらに含む、請求項5に記載の動的データ圧縮システム。
  7. 前記1つ以上のデータストリームが前記所定の車両運転状態を示すかどうかを決定する前記動作は、前記1つ以上のデータストリームが事故と相関している所定のしきい値を超える車両の動きを示しているかどうかを決定することを、さらに含む、請求項5に記載の動的データ圧縮システム。
  8. センサの前記グループは、センサプロセッサとコンピューターコードを格納するメモリを含むビデオデータ生成センサをさらに備え、
    前記機械可読命令は、前記プロセッサで実行されたときに、さらに、前記コントローラエリアネットワークバスを介して、前記ビデオデータ生成センサへの前記所定の車両運転状態のうちの前記1つ以上の送信を実行し、
    前記コンピューターコードは、前記センサプロセッサによる実行時に、前記所定の車両動作状態の前記1つ以上に基づいて、入力ビデオデータストリームのキャプチャフレームレートを調整するように構成される、
    請求項5ないし7のいずれか1項に記載の動的データ圧縮システム。
  9. 運転イベントを検出し、キャプチャするステップと、
    センサのグループを用いて運転イベントを示す1つ以上のデータストリームの生成するステップと、
    前記運転イベントデータを示す前記1つ以上のデータストリームをセンサの前記グループから受信するステップと、
    プロセッサを用いて、センサの前記グループからの前記1つ以上のデータストリームを分析するステップと、
    前記プロセッサを用いて、前記1つ以上のデータストリームに基づいて、車両運転状態を決定するステップであって、該車両運転状態は、車両の速度、車両のロケーション、
    車両の動き、または、それらの組み合わせを含む、ステップと、
    前記プロセッサを用いて、前記車両運転状態に基づいて、センサの前記グループの少なくとも1つのセンサからのデータストリームを圧縮するかどうかを決定するステップであって、センサの前記グループのうちの前記少なくとも1つのセンサのデータキャプチャレートは前記車両運転状態に基づく、ステップと、を含む、動的データ圧縮方法
  10. 前記1つ以上のデータストリームを受信する前記ステップは、速度センサから前記1つ以上のデータストリームを受信するステップをさらに含み、
    前記車両運転状態を決定する前記ステップは、前記速度センサからの前記1つ以上のデータストリームに基づいて、前記車両の前記速度を決定するステップをさらに含む、
    請求項9に記載の動的データ圧縮方法。
  11. 受信する前記ステップは、1つ以上のビデオデータストリームをビデオセンサから受信することをさらに含み、
    前記動的データ圧縮方法は、前記車両運転状態の前記決定を前記ビデオセンサに送信するステップをさらに含む、
    請求項9または10に記載の動的データ圧縮方法。
  12. 前記受信するステップは、クリティカルな運転イベントを示している前記車両運転状態に基づいて、高解像度と高フレームレートを持つ前記1つ以上のビデオデータストリームを受信するステップをさらに含み、
    該高解像度は、前記車両運転状態が該クリティカルな運転イベントを示していない場合の解像度よりも高く、
    該高フレームレートは、前記車両運転状態が該クリティカルな運転イベントを示していない場合のフレームレートよりも高い、
    請求項9ないし11のいずれか1項に記載の動的データ圧縮方法。
  13. 受信する前記ステップは、クリティカルでない運転イベントを示す前記車両運転状態に基づいて、低解像度と低フレームレートを持つ前記1つ以上のビデオデータストリームを受信するステップをさらに含み、
    前記低解像度は、前記車両運転状態が前記クリティカルでない運転イベントを示していない場合の解像度より低く、
    前記低フレームレートは、前記車両運転状態が前記クリティカルでない運転イベントを示していない場合のフレームレートより低い、
    請求項9ないし11のいずれか1項に記載の動的データ圧縮方法。
  14. 前記圧縮するステップは、前記低解像度と前記低フレームレートを持つデータストリームを圧縮することをさらに含む、請求項13に記載の動的データ圧縮方法。
  15. 前記1つ以上のデータストリームを生成する前記ステップは、ターゲットセンサによって生成されるデータストリームの量を削減するために、該ターゲットセンサのデータキャプチャレートを調整するステップをさらに含む、請求項9ないし14のいずれか1項に記載の動的データ圧縮方法。
JP2019214367A 2018-11-30 2019-11-27 車両データで使用する動的データ圧縮システムおよび方法 Active JP7085525B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/205,669 2018-11-30
US16/205,669 US10771787B2 (en) 2018-11-30 2018-11-30 Dynamic data compression systems and methods for use with vehicle data

Publications (3)

Publication Number Publication Date
JP2020107328A JP2020107328A (ja) 2020-07-09
JP2020107328A5 JP2020107328A5 (ja) 2021-09-30
JP7085525B2 true JP7085525B2 (ja) 2022-06-16

Family

ID=70849487

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019214367A Active JP7085525B2 (ja) 2018-11-30 2019-11-27 車両データで使用する動的データ圧縮システムおよび方法

Country Status (3)

Country Link
US (1) US10771787B2 (ja)
JP (1) JP7085525B2 (ja)
CN (1) CN111263293B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11011063B2 (en) * 2018-11-16 2021-05-18 Toyota Motor North America, Inc. Distributed data collection and processing among vehicle convoy members
TWI682680B (zh) * 2019-01-29 2020-01-11 啓碁科技股份有限公司 在服務中斷狀態中最佳化搜尋網路的方法及電子裝置
US10749774B1 (en) * 2019-03-07 2020-08-18 Verizon Patent And Licensing, Inc. Reducing data storage and network traffic with data compression
JP7243389B2 (ja) * 2019-03-29 2023-03-22 マツダ株式会社 車両走行制御装置
US11558584B2 (en) * 2019-07-11 2023-01-17 Chris Pritchard Systems and methods for providing real-time surveillance in automobiles
CN114175121A (zh) * 2019-07-22 2022-03-11 康明斯有限公司 电子控制模块的数字化孪生体
US11128832B1 (en) * 2020-08-03 2021-09-21 Shmelka Klein Rule-based surveillance video retention system
WO2023028274A1 (en) * 2021-08-25 2023-03-02 Cyngn, Inc. System and method of large-scale autonomous driving validation
CN113993104B (zh) * 2021-10-26 2023-12-26 中汽创智科技有限公司 一种数据传输方法、装置、设备及存储介质
DE102022200171A1 (de) 2022-01-10 2023-07-13 Volkswagen Aktiengesellschaft Verfahren zur adaptiven Bilddatenkompression in einem Fahrzeug, entsprechende Vorrichtung, Computerprogramm und Kraftfahrzeug
DE102022203889A1 (de) 2022-04-20 2023-10-26 Volkswagen Aktiengesellschaft Verfahren zur adaptiven Videodatenkompression in einem Fahrzeug und entsprechende Vorrichtung

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012014255A (ja) 2010-06-29 2012-01-19 Fujitsu Ten Ltd 情報配信装置
JP2016105538A (ja) 2014-12-01 2016-06-09 株式会社Jvcケンウッド 画像送信制御装置、画像送信制御方法、画像送信制御プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3528548B2 (ja) 1997-11-18 2004-05-17 トヨタ自動車株式会社 車両用動画像処理方法および車両用動画像処理装置
JP4687404B2 (ja) 2005-11-10 2011-05-25 ソニー株式会社 画像信号処理装置、撮像装置、および画像信号処理方法
JP2011119868A (ja) * 2009-12-01 2011-06-16 Sony Corp 画像処理装置及び画像処理方法
JP5569042B2 (ja) 2010-03-02 2014-08-13 株式会社リコー 画像処理装置、撮像装置及び画像処理方法
JP5287778B2 (ja) 2010-03-26 2013-09-11 株式会社島津製作所 画像処理方法およびそれを用いた放射線撮影装置
US8983135B2 (en) 2012-06-01 2015-03-17 Gentex Corporation System and method for controlling vehicle equipment responsive to a multi-stage village detection
US10417838B2 (en) * 2012-10-16 2019-09-17 Appy Risk Technologies Limited Driving event classification system
US9536045B1 (en) 2015-03-16 2017-01-03 D.R. Systems, Inc. Dynamic digital image compression based on digital image characteristics
US10460600B2 (en) * 2016-01-11 2019-10-29 NetraDyne, Inc. Driver behavior monitoring
EP3497590B1 (en) * 2016-08-08 2024-03-06 Netradyne, Inc. Distributed video storage and search with edge computing
US10169999B2 (en) * 2016-11-10 2019-01-01 Allstate Solutions Private Limited Identifying roadway obstacles based on vehicular data
US10957201B2 (en) * 2017-09-15 2021-03-23 Qualcomm Incorporated System and method for relative positioning based safe autonomous driving

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012014255A (ja) 2010-06-29 2012-01-19 Fujitsu Ten Ltd 情報配信装置
JP2016105538A (ja) 2014-12-01 2016-06-09 株式会社Jvcケンウッド 画像送信制御装置、画像送信制御方法、画像送信制御プログラム

Also Published As

Publication number Publication date
US20200177885A1 (en) 2020-06-04
CN111263293B (zh) 2022-05-17
US10771787B2 (en) 2020-09-08
CN111263293A (zh) 2020-06-09
JP2020107328A (ja) 2020-07-09

Similar Documents

Publication Publication Date Title
JP7085525B2 (ja) 車両データで使用する動的データ圧縮システムおよび方法
US10904891B2 (en) Edge-assisted data transmission for connected vehicles
JP2019185770A (ja) 情報処理方法および情報処理システム
JP2019022205A (ja) センシングデータ処理システムとそのエッジサーバ、伝送トラフィック削減方法およびプログラム
US10825310B2 (en) 3D monitoring of sensors physical location in a reduced bandwidth platform
WO2020188928A1 (ja) データ通信に基づいて意思決定を行うシステム
JPWO2020111134A1 (ja) システム、サーバコンピュータ、車載装置、制御方法、半導体集積回路及びコンピュータプログラム
US20200153926A1 (en) Scalable vehicle data compression systems and methods
Liu et al. Communication challenges in infrastructure-vehicle cooperative autonomous driving: A field deployment perspective
CN112204975B (zh) 自动驾驶车辆中视频压缩的时间戳和元数据处理
WO2021128278A1 (en) Driving safety systems
Pereira et al. Vehicle-to-vehicle real-time video transmission through IEEE 802.11 p for assisted-driving
JP7070664B2 (ja) システム、そのサーバコンピュータ、制御方法及びコンピュータプログラム
WO2020220199A1 (en) Multiple sensor data storage with compressed video stream in autonomous driving vehicles
WO2019049548A1 (ja) 画像処理装置
Keivani et al. Collaborative mobile edge computing in Ev2x: a solution for low-cost driver assistance systems
JP3797251B2 (ja) 車両用画像処理装置および車両用画像処理方法
KR102334574B1 (ko) 교통망 관제시스템 효율화를 위한 교통정보 송수신 시스템
JP7359175B2 (ja) サーバ、データ収集システム、プログラムおよびデータ収集方法
WO2022176795A1 (ja) 画像認識システム、処理装置、サーバ、画像認識方法、及びコンピュータプログラム
JP7430113B2 (ja) 車載装置、車両動作解析システム
WO2023139943A1 (ja) 情報処理装置、情報処理システム、コンピュータ読み取り可能な記録媒体及び情報処理方法
WO2024031333A1 (en) Scalable video compression accelerator for autonomous driving
US20240210939A1 (en) Camera image compression for autonomous driving vehicles
US20230095186A1 (en) Information processing device, information processing system, and information processing method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200325

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210819

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210819

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220606

R150 Certificate of patent or registration of utility model

Ref document number: 7085525

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150