JP5902234B2 - 画像データストリームを処理する装置、方法、およびシステム - Google Patents

Description

各実施形態は、画像データの（前）処理の改良に関する。

道路の安全を強化し、事故を減らすために、Ｅｕｒｏ−ＮＣＡＰは、２０１６年以降に生産される自動車が五つ星の評価を得るために使用すべき高度運転者支援システム（ＡＤＡＳ：Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の具体的な機能およびテストシナリオを規定した。

カメラ方式やレーダ方式など、様々な方式のシステムが使用され、それらは、危険な状況を検出し、運転者に通知し、運転者の介入が間に合わない場合には、自律的にアクションを開始する（たとえば、衝突を回避するために自動車を減速させる）ことが意図されている。

カメラ方式のシステムは、具体的には、前方衝突警告、レーン逸脱警告、およびハイビーム支援を可能にする。

光条件が変化し、様々であっても、所望の程度の安全性が得られるように、ハイダイナミックセンサが使用されてよく、これを使用する場合には、メモリおよびコンピューティング性能の要求が高くなる。一方、カメラ方式のシステムは、そのような安全強化機能をより多くの自動車に搭載できるように、高価なものにならないことが意図されている。

図面を参照しながら、各種実施形態を示し、説明する。各図面は、基本原理を図解することを目的としているため、基本原理の理解に必要な側面のみが図示されている。図面の縮尺は正確なものではない。各図面では、同じ参照符号は類似の特徴を指す。

ＡＤＡＳ用途において利用可能な一例示的概略を示す図である。 画像処理アーキテクチャの一例示的概略を示す図である。 平行に配列された複数の画素経路を含む一例示的アーキテクチャを示す図である。 図３の画素経路を含む一例示的アーキテクチャを示す図であり、データストリームが（具体的には、埋め込みＲＡＭとして実現される）メモリに記憶されることを示す図である。

記載のアプローチは、具体的には、必要とするメモリが少ない画像前処理装置アーキテクチャを提供する。このソリューションは、具体的には、高度運転者支援システム（ＡＤＡＳ）において利用可能である。

ＡＤＡＳ用の画像処理では、複数の処理経路が使用されてよく、それらの処理経路のうちの少なくとも２つが互いに平行に配列されてよい。画像メモリは、ランダムアクセスメモリ（ＲＡＭ）を含んでよく、これが、ＡＤＡＳ装置のコストの主要因であると見なされる。

第１の実施形態は、画像データストリームを処理する装置に関し、画像データストリームを受け取る第１の処理ユニットおよび第２の処理ユニットを含み、第１の処理ユニットは、第１のデータストリームを提供するように構成され、第１のデータストリームは、画像データストリームに比べて帯域幅が減らされており、第２の処理ユニットは、第２のデータストリームを提供するように構成され、第２のデータストリームは、画像データストリームに比べて帯域幅が減らされている。

画像データストリームは、画像記録装置（たとえば、カメラ）によって提供される任意のデータであってよい。画像データストリームは、特定のレートで撮影された画像または写真を含む。画像データストリームのデータレートは、撮影された画像のサイズと、時間間隔当たりの画像の枚数、すなわち、記録頻度とに依存する。画像データストリームは、少なくとも１つのカメラによって提供されてよい。画像データストリームは、カメラインタフェースによって前処理されていてよく、そのような前処理は、具体的には、圧縮解除を含んでよい。

第１の処理ユニットおよび第２の処理ユニットは、物理的には別々の処理エンティティであってよく、これらは、具体的には、単体チップ上または複数チップ上に配備されてよい。各処理ユニットは、画素経路とも称される処理経路を構築する。画像データストリームを処理する処理ユニットは、２つ以上あってよい。

第１の処理ユニットの圧縮レートおよび第２の処理ユニットの圧縮レートは、調節または設定されてよい。

第２の実施形態は、第１の処理ユニットと、第２の処理ユニットと、メモリと、を含む装置に関し、第１の処理ユニットは、入力画像データストリームと結合されており、第１の処理ユニットは、第１のデータストリームを提供するように構成されており、第１のデータストリームは、入力画像データストリームに比べて帯域幅が減らされており、第２の処理ユニットは、入力画像データストリームと結合されており、第２の処理ユニットは、第２のデータストリームを提供するように構成されており、第２のデータストリームは、画像データストリームに比べて帯域幅が減らされており、メモリは、第１のデータストリームおよび第２のデータストリームの少なくとも一部を記憶する。

第３の実施形態は、画像データストリームを処理する方法に関し、この方法は、
− 画像データストリームに比べて帯域幅が減らされている第１のデータストリームを提供するステップと、
− 画像データストリームに比べて帯域幅が減らされている第２のデータストリームを提供するステップと、を含み、
− 第１のデータストリームは、第１の処理ユニットによって提供され、第２のデータストリームは、第２の処理ユニットによって提供される。

第４の実施形態は、画像データストリームを処理するシステムを対象としており、このシステムは、画像データストリームに比べて帯域幅が減らされている第１のデータストリームを提供する手段と、画像データストリームに比べて帯域幅が減らされている第２のデータストリームを提供する手段と、を含む。

図１は、ＡＤＡＳ用途において利用可能な一例示的概略を示す。（画像ストリームまたは（画像）データストリームとも称される）ビデオストリーム１０１が、１２０メガバイト毎秒のデータレートでカメラインタフェース１０２にフィードされ、カメラインタフェース１０２は、このビデオストリーム１０１を圧縮解除してよく、この圧縮解除されたストリームを、低精度画像取得ユニット１０３およびフル精度画像取得ユニット１０４にフィードしてよい。

低精度画像取得ユニット１０３は、入力ストリームを処理し、完全シーン（すなわち、画像の１００％）を、下げられた分解能で含むストリーム１０９を提供する。ストリーム１０９は、メモリ１０５に記憶される。次段では、メモリ１０５に記憶された、このストリーム１０９のデータを、たとえば、最大１５メガバイト毎秒のデータレートのストリーム１０７として利用してよい。

フル精度画像取得ユニット１０４は、入力ストリームを処理し、削減後のシーン（たとえば、ストリーム１０１に含まれる画像のシーンの３０％から５０％）を、そのフル分解能で含むストリーム１１０を提供する。ストリーム１１０は、メモリ１０６に記憶される。次段では、メモリ１０６に記憶された、このストリーム１１０のデータを、たとえば、最大６０メガバイト毎秒のデータレートのストリーム１０８として利用してよい。

したがって、図１に示された例は、２つの取得経路を含む単一チップのＡＤＡＳ装置において使用可能であり、一方の取得経路は、入力ストリーム１０１の画像またはシーンの全体を低分解能でカバーし、もう一方の取得経路は、入力ストリーム１０１の画像またはシーンの全体のうちの一部分を高分解能でカバーする。

なお、この単一チップは、単一の基板、ダイ、ウエハ、またはシリコンであってよい。

本明細書に記載のアプローチは、具体的には、メモリ（具体的には、ＲＡＭ）の利用量を減らすことによって、画像前処理の間のプロセッサ（たとえば、ＣＰＵまたはシグナリングプロセッサ）の負荷を減らすことを可能にする。これは、カメラ方式のＡＤＡＳ用途には有用であろう。このソリューションが特に有用となるのは、次世代のカメラがさらなる高分解能のセンサを有して、さらなる高データレートで画像ストリームを提供するようになる場合である。

したがって、記載のソリューションは、具体的には、ＡＤＡＳ用途におけるＲＡＭ要件の増大に対処する。記載のアプローチによれば、必要メモリ量を（同じデータレートのビデオストリームに比べて）著しく減らすことが可能になる。ビデオストリームのデータレートが増大する場合には、その、必要メモリ量の増加分を減らすことが可能である。なお、必要ＲＡＭ量を減らすことは、シリコン上の、単一チップソリューションのための面積を減らしうることも意味しており、結果として、単一チップがより小さくなるか、同じサイズの単一チップであれば、性能が向上する可能性がある。両作用とも、有用であり、コスト効率が高い。

図２は、画像処理アーキテクチャの一例示的概略を示す。（たとえば、圧縮された）データストリーム２０１が１２０メガバイト毎秒のデータレートでカメラインタフェース２０２にフィードされ、カメラインタフェース２０２は、データストリーム２０１を圧縮解除し、（圧縮解除された）データストリーム２０６を最大２００メガバイト毎秒のデータレートで処理ユニット２０３に供給する。なお、データストリーム２０１は、圧縮データストリームであっても、非圧縮データストリームであってもよい。

処理ユニット２０３は、以下のうちの少なくとも１つを提供してよい。
− 圧縮レートが異なる少なくとも２つの圧縮データストリーム
− 上記圧縮データストリームのうちの少なくとも１つは、分解能が高い
− 上記圧縮データストリームのうちの少なくとも１つは、分解能が下げられている（たとえば、低い）
− 上記圧縮データストリームのうちの少なくとも１つは、データストリーム２０６のフルの画像またはシーンを含む
− 上記圧縮データストリームのうちの少なくとも１つは、データストリーム２０６の画像またはシーンの一部分を含む
− 少なくとも１つの、フィルタリングされた圧縮データストリーム

画像またはシーンの上記一部分は、たとえば、画像の中の、水平線より上方または下方の部分を指す場合がある。これは、特に、道路の先を撮影した写真またはビデオに関して有用となる場合があり、これは、道路が水平線より下方の範囲にある場合が多いためである。画像またはシーンの上記部分を判別するのに、抽出機構および画像処理アルゴリズムを使用してよい。

この場合の分解能は、１画素に使用されるビット数（画素精度とも称される）、および／または、（ビデオの）画像に使用される画素数の意味であってよい。たとえば、１２８０×７２０画素で各画素が１６ビットである分解能のビデオストリームは、たとえば、以下の程度まで分解能を下げることが可能である。
− １０２４×５７６画素で各画素が１６ビット（すなわち、画素数を減らしたもの）、および／または、
− １２８０×７２０画素で各画素が８ビット（すなわち、画素精度を下げたもの）。

もちろん、上記の各数値は例に過ぎず、他の分解能ならびにアスペクト比も適宜使用可能である。また、画素数を減らすこと、ならびに、画素精度を下げることを、具体的な使用事例シナリオに応じて、組み合わせることも可能である。

結果として、処理ユニット２０３は、複数のデータストリーム２０４、２０５を、さらなる処理のために供給する。データストリーム２０４、２０５の（たとえば、２０メガバイト毎秒から３０メガバイト毎秒になる）組み合わせデータレートは、ストリーム２０６のデータレートに比べると、大幅に下げられてよい。データストリーム２０４、２０５のそれぞれは、処理ユニット２０３の機能に応じて、所与のタイプの圧縮ビデオから形成されることが好ましいであろう。

たとえば、高精度ビデオに基づく高精度アルゴリズムを用いて、処理ユニット２０３によって提供される出力のデータレートを、その入力（すなわち、データストリーム２０６）のデータレートに比べて大幅に下げられるようにすることが可能である。

したがって、このソリューションは、具体的には、複数のデータフローおよびそれぞれの高データ圧縮による、ＡＤＡＳにおける画像処理に使用可能なハードウェアを提供することが可能である。また、高精度処理を用いてデータ削減を改良することが可能である。

そのようなハードウェアは、物理的には別々の画素経路として編成されてよく、各画素経路は、ビデオデータの前処理を可能にする。後続の各処理段は、そのようなハードウェアアーキテクチャに基づいて、減らされた量のメモリ（たとえば、埋め込まれたＲＡＭ）を処理してよい。

図３は、平行に配列された複数の画素経路を含む一例示的アーキテクチャを示す。圧縮データストリーム３０１がカメラインタフェース３０２にフィードされ、カメラインタフェース３０２は、データストリーム３０１を圧縮解除し、（圧縮解除された）データストリーム３０６（フル分解能、高精度画素）を処理ユニット３０３〜３０５に供給する。処理ユニット３０３〜３０５のそれぞれは、１つの画素経路の一部分である。

処理ユニット３０３〜３０５は、画像処理用として構成され、具体的には、後続処理段において必要なＲＡＭを減らすことを可能にするようにハードウェアアクセラレータを使用することによって構成される。

処理ユニット３０３〜３０５のそれぞれは、以下のうちの少なくとも１つを提供するように構成されてよい。
−データストリームを、特定の圧縮レートで提供する。圧縮レートは、処理ユニット３０３〜３０５の間では、少なくとも部分的に同じであってよく、少なくとも部分的に異なっていてもよい。
− 高分解能の圧縮データストリーム
− 下げられた（たとえば、低い）分解能の圧縮データストリーム
− データストリーム３０６のフルの画像またはシーンを含む圧縮データストリーム
− データストリーム３０６の画像またはシーンの一部分（たとえば、細部）を含む圧縮データストリーム
− フィルタリング動作

したがって、処理ユニット３０３〜３０５のそれぞれは、データストリーム３０７〜３０９を、さらなる処理のために提供する。データストリーム３０７〜３０９は、それぞれが圧縮されていることから、ともに、データレートがデータストリーム３０６より大幅に低くてよい。データストリーム３０７〜３０９は、具体的には、分解能（画素数および／または画素分解能）が異なっていてよく、かつ／または、入力データストリーム３０６のうちの異なる部分（細部）を含んでよい。さらに、データストリーム３０７〜３０９のそれぞれに対して、少なくとも１つのフィルタリング操作を施してよい。これは、たとえば、画像または画像の一部分に赤外線コンテンツがあるかどうかを調べるためである。これらの機能を組み合わせることが可能であり、これは、メモリを効率的に利用できる適切なデータストリーム３０７〜３０９を供給するためであり、かつ、データストリーム３０６から得られた情報を、後続処理段が時間およびメモリの両面で効率的に利用できるようにするためである。

記載のソリューションは、ＡＤＡＳ関連画像処理装置において実施可能であり、あるいは、ＡＤＡＳ関連画像処理装置の一部分であることが可能である。この画像処理装置は、出力データのレートおよびサイズを大幅に減らすことが可能であってよく、これによって、コンピューティング要件およびメモリ要件が、汎用画像処理装置（たとえば、図４の制御装置４０２（下記を参照））に渡される情報の出力品質および精度に関して妥協することなく、または限定された妥協で、最適化される。画像処理装置は、少なくとも１つのセンサによって取得されたシーンの複数の表現を提供することが可能であり、これによって、そのような表現を記憶することに必要なメモリを大幅に減らすことが可能である。

処理ユニット３０３〜３０５のそれぞれは、汎用画像処理装置にデータを提供するそのような画像処理装置の一部分であってよい。データストリーム３０６に基づくシーンの複数の表現は、処理ユニット３０３〜３０５によって生成されてよい。処理ユニット３０３〜３０５のそれぞれは、汎用画像処理装置で実行されるＡＤＡＳアルゴリズムを使用してよい。

データストリーム３０７〜３０９は、共通共有メモリに記憶されてよい。任意選択で、データストリーム３０７〜３０９のそれぞれが、（共有）メモリの、異なる部分に記憶されてよい。

別の任意選択では、少なくとも１つのデータストリーム３０７、３０８、または３０９の出力レートが、少なくとも１つの他のデータストリームと異なる。さらに、データストリーム３０７、３０８、または３０９が複数の出力レートを有してよく、すなわち、複数の時点で圧縮画像を提供してよく、たとえば、ｎ番目のクロックサイクルごとと、ｍ番目のクロックサイクルごととに提供してよい。言い換えると、圧縮画像は、時間間隔ごとに１回確定および／または記憶されてよく、そのような時間間隔の間に複数回確定および／または記憶されてもよい。

処理ユニット３０３〜３０５のうちの少なくとも１つによって利用されるアルゴリズムが、以下のうちの少なくとも１つを含んでよい。
− 入力データストリームの圧縮
− 領域抽出
− 無損失ダウンサンプリング
− フィルタリング、具体的には、畳み込みフィルタリング、および
− 画素サイズ削減

これらのアルゴリズムは例に過ぎず、アルゴリズムの構成が、たとえば、ユーザによって、あるいは、自動的に行われてよい。したがって、画像処理および／またはフィルタリングについては、他のアルゴリズムを利用することも可能である。たとえば、ＭＰＥＧやＨ．２６ｘのような既知の画像圧縮アルゴリズムが、処理ユニット３０３〜３０５のうちの少なくとも１つによって利用されてよい。

一実施例によれば、処理ユニット３０３は、データストリーム３０６内の水平線の位置を抽出するために、かつ、画像の輝度を解析するために、データストリーム３０６によって供給されたとおりのシーン全体を表現する圧縮画像を、減らされた画素数で、かつ、画素当たり１６ビットの画素精度で、生成してよい。処理ユニット３０４は、ブラーフィルタの使用に基づいて（減らされた画素数で、かつ、下げられた画素精度で、シーン全体に基づいて）圧縮画像を生成してよい。処理ユニット３０５は、（たとえば、レーン検出および／または衝突警告を目的とする）エッジ検出のための構成可能な畳み込みフィルタの使用に基づいて、圧縮画像を生成してよい。処理ユニット３０３〜３０５は、これらの画像を同時に、または異なる時間間隔で生成するため、データストリーム３０７〜３０９は、同じデータレートまたは異なるデータレートになる（データレートは、各データストリーム３０７〜３０９の各画像のサイズにも依存する）。

提案されるソリューションは、前処理に焦点を置いた全体的な画像圧縮と、汎用処理装置による画像の後処理（次段処理、たとえば、図４の制御装置４０２を参照）との間の容易なソフトウェア分割を考慮している。

任意選択で、処理、具体的には、ハードウェアアクセラレータによる処理が、ラインベースまたは画像ベースで行われてよい。たとえば、バッファリングに必要なメモリを減らすために、ラインベース処理を行うことが可能である。

別の任意選択では、処理ユニット３０３〜０５のそれぞれ（またはこれらのうちの少なくともいくつか）が、無損失ダウンサンプリング段を含む。

さらなる任意選択では、処理ユニット３０３〜３０５のうちの少なくとも１つは、異なる複数の画像レートで出力を提供してよく、これは、データストリーム３０７〜３０９のそれぞれのデータレートにも顕著に影響する。たとえば、処理ユニット３０４および３０５は、データストリーム３０６を処理し、出力を、特定のクロックレートで、たとえば、長さｔの時間間隔の後に提供してよい。処理ユニット３０３は、別の操作を実施してよく、たとえば、複雑であるか、要求されることがあまり多くない、別の操作を実施してよく、その処理の結果を、処理ユニット３０４および３０５によって提供される結果とは異なるクロックレートで提供してよく、たとえば、２ｔの時間間隔で提供してよく、この例では、時間間隔ｔの２倍ごとに提供してよい。したがって、各処理ユニット３０３〜３０５の処理能力、および／または使用事例シナリオに基づいて、様々な目的に向けてデータストリーム３０６を処理することの作業負荷を、画素経路間で、すなわち、処理ユニット３０３〜３０５にわたって、効率的に分散させることが可能である。

処理ユニット３０３〜３０５のうちの少なくとも１つの処理を、外部信号および／または構成フラグによって可能にすることも任意選択であってよく、外部信号および／または構成フラグは、後続の画像が取得されたときに、どの処理ユニットで取得画像を前処理するかを規定してよい。たとえば、センサで特定された光条件の変化を用いて、処理ユニット３０３〜３０５のうちの少なくとも１つを起動または再起動することが可能である。

有益なことに、記載の例は、使用事例要件に応じて、画素経路を使用して効率的な前処理を実現する。入力データストリーム３０６のデータレートは、処理ユニット３０３〜３０５から供給されるデータストリーム３０７〜３０９を組み合わせることにより、大幅に下げられる。したがって、メモリ量（たとえば、ＲＡＭに使用されるチップの表面）を大幅に減らすことが可能であり、あるいは、代替として、より高いデータレート（たとえば、より多くの画素経路）を処理することが可能であり、これによって、製品がより廉価になるか、利用するチップ面積が同じであれば製品の性能がより高くなる。これは、埋め込みＲＡＭを利用する単一チップソリューションの場合には、特に有用である。

インタフェースを介する変換
図４は、図３の画素経路を含む一例示的アーキテクチャを示しており、データストリーム３０７〜３０９は、メモリ４０１（具体的には、埋め込みＲＡＭ）に記憶される。

データストリーム３０７〜３０９の情報をメモリ４０１から取得すること、ならびに、その情報を、制御装置４０２が処理するのに好適な、かつ／または、効率的なフォーマットに変換することのために、インタフェース４０３および／またはインタフェース４０４が設けられている。制御装置４０２とインタフェース４０３、４０４とは、バス４０５を介して結合されている。制御装置４０２は、中央処理ユニット、信号プロセッサ、マイクロコントローラなどであってよく、または、これらを含んでよい。

たとえば、メモリ４０１に記憶されたデータストリーム３０７〜３０９は、画素精度が８ビットであってよいが、制御装置４０２は、８ビットではなく１６ビットで効率的に動作してよい。したがって、インタフェース４０３および４０４は（それぞれが、または連係して）、８ビットから１６ビットへの変換を制御装置４０２に提供してよく、制御装置４０２は、データストリーム３０７〜３０９（またはそれらの一部）を効率的に処理することが可能になる。

この変換アプローチの利点は、インタフェース４０３、４０４によって８ビット画像データが１６ビット画像データに変換され、そのような１６ビット画像データをメモリ４０１に記憶させる必要がないので、メモリ４０１を、引き続き効率的に使用できることである。

したがって、インタフェース４０３および４０４は、画素情報を必要最小限の精度で記憶させ、これらを制御装置４０２に好適なフォーマットに変換することが可能であるように、設計可能である。

なお、少なくとも１つのそのようなインタフェースを、変換目的で設けることが可能である。また、複数のインタフェース４０３および４０４を使用することも可能である。任意選択で、インタフェース４０３は、画素を、メモリ４０１に記憶されているフォーマットで読み取り、それらの画素を、変換せずにそのまま制御装置４０２に渡すように構成される。さらなる任意選択では、インタフェース４０４は、メモリ４０１に記憶されている画素を読み取り、それらを、制御装置４０２に好適なフォーマットに変換し、変換された画素を制御装置４０２に転送するように構成される。

この変換は、アップコンバージョンを含んでよく、たとえば、８ビットから１６ビットや、４ビットから１６ビットのアップコンバージョンを含んでよい。この変換は、ダウンコンバージョンを含んでもよく、たとえば、３２ビットから１６ビットなどのダウンコンバージョンを含んでもよい。

さらなる利点および実施例
記載のソリューションは、たとえば、必要なＲＡＭを減らしたカメラベースのＡＤＡＳをカバーする有益なハードウェア構成を可能にする。たとえば、１２８０×７２０個の画素を含むセンサであれば、１．８メガバイトのＲＡＭバッファが必要になるであろう。データストリームのデータレートを下げることにより、必要なＲＡＭを６９０キロバイトまで減らすことが可能になり、１．１メガバイト超のＲＡＭの節約になる。これは、４０ｎｍ厚のシリコン領域の４平方ミリメートルの面積に相当し、１／３まで減らされることになる。

ハードウェアアクセラレータを有利に使用することにより、エネルギ効率を高くすることが可能になり、また、これによって、たとえば、（信号）プロセッサのような取付部品の寿命を延ばすことが可能になる。

記載のソリューションはさらに、同じシリコンでレーダ処理および画像処理をカバーすることを可能にする。これは、１メガバイトのＲＡＭであればレーダデータおよび画像データの処理には十分であり得ると考えられるためである。

記載のソリューションは、個人輸送の分野や産業用途に適用可能であってよい。特に、移動エンティティ、たとえば、任意の種類の乗り物に実装された場合に有用であり、特に、環境を検出および／または監視すること、および／または環境の特徴を特定することを対象とする場合に有用である。

提案のアーキテクチャは、ＡＤＡＳ前処理装置との組み合わせで使用されることにより、メモリを大幅に減らすことが可能であってよい。これは特に、ハイビーム支援、レーン逸脱警告、および前方衝突警告の用途のうちの少なくとも１つに関して有用でありうる。

このアプローチはまた、必要なメモリを少なくできることから、消費電力の最適化または低減にも利用可能である。

以下の実施例および／または実施形態のうちの少なくとも１つが、革新的であると考えられるであろう。それらは、記載されている他の態様または実施形態と組み合わされてもよい。本明細書に記載のどの実施形態または設計も、他の実施形態または設計より好ましい、または有利であるとは、必ずしも解釈されるべきではない。

画像データストリームを処理する装置が提案され、
− 本装置は、画像データストリームを受け取る第１の処理ユニットおよび第２の処理ユニットを含み、
− 第１の処理ユニットは、第１のデータストリームを提供するように構成され、第１のデータストリームは、画像データストリームに比べて帯域幅が減らされており、
− 第２の処理ユニットは、第２のデータストリームを提供するように構成され、第２のデータストリームは、画像データストリームに比べて帯域幅が減らされている。

一実施形態では、第１の処理ユニットは、
− 第１のデータストリームを、画像データストリームから、第１の圧縮レートで生成することと、
− 第１のデータストリームを、画像データストリームから、第１の分解能で生成することと、
− 第１のデータストリームを、画像データストリームから、画像データストリームのシーンの一部分に基づいて生成することと、
− 第１のデータストリームを、画像データストリームから、フィルタリング操作に基づいて生成することと、
のうちの少なくとも１つを行うように構成されている。

一実施形態では、第１の圧縮レートは、画像データストリームの無損失圧縮または損失圧縮をもたらす。

一実施形態では、第１の分解能は、
− 画像データストリームの画像に比べて減らされた画素数と、
− 画像データストリームの画像に比べて下げられた画素精度と、
− 画像データストリームの時間当たり画像数に比べて減らされた時間当たり画像数と、
のうちの少なくとも１つを含む。

一実施形態では、第２の処理ユニットは、
− 第２のデータストリームを、画像データストリームから、第２の圧縮レートで生成することと、
− 第２のデータストリームを、画像データストリームから、第２の分解能で生成することと、
− 第２のデータストリームを、画像データストリームから、画像データストリームのシーンの一部分に基づいて生成することと、
− 第２のデータストリームを、画像データストリームから、フィルタリング操作に基づいて生成することと、
のうちの少なくとも１つを行うように構成されている。

一実施形態では、第２の圧縮レートは、画像データストリームの無損失圧縮または損失圧縮をもたらす。

一実施形態では、第２の分解能は、
− 画像データストリームの画像に比べて減らされた画素数と、
− 画像データストリームの画像に比べて下げられた画素精度と、
− 画像データストリームの時間当たり画像数に比べて減らされた時間当たり画像数と、
のうちの少なくとも１つを含む。

一実施形態では、画像データストリームのシーンの一部分は、画像処理によって、具体的には、領域抽出によって、特定される。

一実施形態では、フィルタリング操作は、
− ローパスフィルタリングと、
− ハイパスフィルタリングと、
− ブラーフィルタリングと、
− 畳み込みフィルタリングと、
のうちの少なくとも１つを含む。

一実施形態では、第１のデータストリームは、画像データストリームの画像をライン単位で処理することにより、画像データストリームに基づいて決定される。

一実施形態では、第２のデータストリームは、画像データストリームの画像をライン単位で処理することにより、画像データストリームに基づいて決定される。

一実施形態では、第１の処理ユニットの取得レートおよび第２の処理ユニットの取得レートは、それぞれ設定可能である。

一実施形態では、第１のデータストリームは、時間間隔当たりの画像数が、画像データストリームのそれと異なってよい。

一実施形態では、第２のデータストリームは、時間間隔当たりの画像数が、画像データストリームのそれと異なってよい。

一実施形態では、本装置は、第１のデータストリームおよび第２のデータストリームを少なくとも部分的に記憶するメモリを含む。

一実施形態では、前記メモリは共有メモリであり、第１の処理ユニットは、共有メモリの第１の部分に関連付けられ、第２の処理ユニットは、共有メモリの第２の部分に関連付けられる。

一実施形態では、前記メモリは、ランダムアクセスメモリを含む。

一実施形態では、第１の処理ユニット、第２の処理ユニット、およびランダムアクセスメモリは、単一チップ上に配列される。

一実施形態では、本装置は、メモリにアクセスすることと、第１のデータストリームのデータおよび第２のデータストリームのデータを事前定義されたフォーマットに変換することと、を行うように構成された少なくとも１つのインタフェースを含む。

一実施形態では、事前定義されたフォーマットは、第１のデータストリームおよび第２のデータストリームからの画像を処理するように構成された制御装置によって使用されるいくつかのビットを含む。

装置が提案され、本装置は、
− 入力画像データストリームと結合された第１の処理ユニットを含み、第１の処理ユニットは、第１のデータストリームを提供するように構成され、第１のデータストリームは、入力画像データストリームに比べて帯域幅が減らされており、
− 入力画像データストリームと結合された第２の処理ユニットを含み、第２の処理ユニットは、第２のデータストリームを提供するように構成され、第２のデータストリームは、画像データストリームに比べて帯域幅が減らされており、
− 第１のデータストリームおよび第２のデータストリームを少なくとも部分的に記憶するメモリを含む。

一実施形態では、画像前処理段の構成要素は、単一チップ上に配列されており、メモリは、この単一チップ上に配列されたランダムアクセスメモリである。

画像データストリームを処理する方法が提案され、本方法は、
− 第１のデータストリームを提供するステップであって、第１のデータストリームは、画像データストリームに比べて帯域幅が減らされている、上記ステップと、
− 第２のデータストリームを提供するステップであって、第２のデータストリームは、画像データストリームに比べて帯域幅が減らされている、上記ステップと、を含み、
− 第１のデータストリームは、第１の処理ユニットによって提供され、第２のデータストリームは、第２の処理ユニットによって提供される。

一実施形態では、本方法は、
− 第１のデータストリームおよび第２のデータストリームを、少なくとも部分的にメモリに記憶させるステップを含む。

一実施形態では、第１のデータストリームを提供するステップは、
− 第１のデータストリームを、画像データストリームから、第１の圧縮レートで生成することと、
− 第１のデータストリームを、画像データストリームから、第１の分解能で生成することと、
− 第１のデータストリームを、画像データストリームから、画像データストリームのシーンの一部分に基づいて生成することと、
− 第１のデータストリームを、画像データストリームから、フィルタリング操作に基づいて生成することと、
のうちの少なくとも１つを含む。

一実施形態では、第１の分解能は、
− 画像データストリームの画像に比べて減らされた画素数と、
− 画像データストリームの画像に比べて下げられた画素精度と、
− 画像データストリームの時間当たり画像数に比べて減らされた時間当たり画像数と、
のうちの少なくとも１つを含む。

一実施形態では、第２のデータストリームを提供するステップは、
− 第２のデータストリームを、画像データストリームから、第２の圧縮レートで生成することと、
− 第２のデータストリームを、画像データストリームから、第２の分解能で生成することと、
− 第２のデータストリームを、画像データストリームから、画像データストリームのシーンの一部分に基づいて生成することと、
− 第２のデータストリームを、画像データストリームから、フィルタリング操作に基づいて生成することと、
のうちの少なくとも１つを含む。

一実施形態では、第２の分解能は、
− 画像データストリームの画像に比べて減らされた画素数と、
− 画像データストリームの画像に比べて下げられた画素精度と、
− 画像データストリームの時間当たり画像数に比べて減らされた時間当たり画像数と、
のうちの少なくとも１つを含む。

画像データストリームを処理するシステムが提供され、本システムは、
− 第１のデータストリームを提供する手段であって、第１のデータストリームは、画像データストリームに比べて帯域幅が減らされている、上記手段と、
− 第２のデータストリームを提供する手段であって、第２のデータストリームは、画像データストリームに比べて帯域幅が減らされている、上記手段と、
を含む。

本発明の様々な例示的実施形態を開示してきたが、当業者であれば明らかなように、本発明の趣旨および範囲から逸脱しない限り、本発明の利点のいくつかを実現する様々な変更および修正を行うことが可能である。当業者であれば明らかなように、同じ機能を実行する他の構成要素を適切に代用してよい。なお、特定の図を参照して説明された機能を他の図の機能と組み合わせてもよく、これは、明示的に言及されなかった場合であってもよい。さらに、本発明の方法は、適切なプロセッサ命令を使用する、すべてがソフトウェアの実装で実現されてよく、あるいは、同じ結果をもたらすハードウェアロジックおよびソフトウェアロジックの組み合わせを利用する混成実装で実現されてよい。本発明概念に対するそのような修正形態は、添付された特許請求の範囲によって包含されるものとする。

１０１ ビデオストリーム
１０２、２０２、３０２ カメラインタフェース
１０３ 低精度画像取得ユニット
１０４ フル精度画像取得ユニット
１０５、１０６、４０１ メモリ
１０７、１０８、１０９、１１０ ストリーム
２０１、２０４、２０５、２０６、３０１、３０６、３０７、３０８、３０９ データストリーム
２０３、３０３、３０４、３０５ 処理ユニット
４０２ 制御装置
４０３、４０４ インタフェース
４０５ バス

Claims (27)

1. 自動車に搭載されたカメラから提供される画像データストリームを処理する装置であって、前記装置は、
   前記画像データストリームを受け取る第１の処理ユニットおよび第２の処理ユニットを備え、
   前記第１の処理ユニットは、第１のデータストリームを提供するように構成され、前記第１のデータストリームは、前記画像データストリームに比べて帯域幅が減らされているとともに、前記画像データストリーム内の水平線の位置の抽出および画像の輝度の解析に使用されるようにシーン全体を表現しており、
   前記第２の処理ユニットは、第２のデータストリームを提供するように構成され、前記第２のデータストリームは、前記画像データストリームに比べて帯域幅が減らされているとともに、レーン検出および衝突警告を目的とするエッジ検出に使用されるように畳み込みフィルタリングされている、
   装置。
2. 前記第１の処理ユニットは、
   前記第１のデータストリームを、前記画像データストリームから、第１の圧縮レートで生成することと、
   前記第１のデータストリームを、前記画像データストリームから、第１の分解能で生成することと、
   のうちの少なくとも１つを行うように構成されている、請求項１に記載の装置。
3. 前記第１の圧縮レートは、前記画像データストリームの無損失圧縮または損失圧縮をもたらす、請求項２に記載の装置。
4. 前記第１の分解能は、
   前記画像データストリームの画像に比べて減らされた画素数と、
   前記画像データストリームの画像に比べて下げられた画素精度と、
   前記画像データストリームの時間当たり画像数に比べて減らされた時間当たり画像数と、
   のうちの少なくとも１つを含む、請求項２に記載の装置。
5. 前記第２の処理ユニットは、
   前記第２のデータストリームを、前記画像データストリームから、第２の圧縮レートで生成することと、
   前記第２のデータストリームを、前記画像データストリームから、第２の分解能で生成することと、
   前記第２のデータストリームを、前記画像データストリームから、前記画像データストリームのシーンの一部分に基づいて生成することと、
   のうちの少なくとも１つを行うように構成されている、請求項１に記載の装置。
6. 前記第２の圧縮レートは、前記画像データストリームの無損失圧縮または損失圧縮をもたらす、請求項５に記載の装置。
7. 前記第２の分解能は、
   前記画像データストリームの画像に比べて減らされた画素数と、
   前記画像データストリームの画像に比べて下げられた画素精度と、
   前記画像データストリームの時間当たり画像数に比べて減らされた時間当たり画像数と、
   のうちの少なくとも１つを含む、請求項５に記載の装置。
8. 前記画像データストリームのシーンの前記一部分は、画像処理によって、具体的には、領域抽出によって、特定される、請求項５に記載の装置。
9. 前記第１のデータストリームは、前記画像データストリームの画像をライン単位で処理することにより、前記画像データストリームに基づいて決定される、請求項１に記載の装置。
10. 前記第２のデータストリームは、前記画像データストリームの画像をライン単位で処理することにより、前記画像データストリームに基づいて決定される、請求項１に記載の装置。
11. 前記第１のデータストリームは、時間間隔当たりの画像数が、前記画像データストリームのそれと異なる、請求項１に記載の装置。
12. 前記第２のデータストリームは、時間間隔当たりの画像数が、前記画像データストリームのそれと異なる、請求項１に記載の装置。
13. 前記第１のデータストリームおよび前記第２のデータストリームを少なくとも部分的に記憶するメモリを備える、請求項１に記載の装置。
14. 前記メモリは共有メモリであり、前記第１の処理ユニットは、前記共有メモリの第１の部分に関連付けられ、前記第２の処理ユニットは、前記共有メモリの第２の部分に関連付けられる、請求項１３に記載の装置。
15. 前記メモリは、ランダムアクセスメモリを含む、請求項１３に記載の装置。
16. 前記第１の処理ユニット、前記第２の処理ユニット、および前記ランダムアクセスメモリは、単一チップ上に配列される、請求項１５に記載の装置。
17. 前記メモリにアクセスすることと、前記第１のデータストリームのデータおよび前記第２のデータストリームのデータを事前定義されたフォーマットに変換することと、を行うように構成された少なくとも１つのインタフェースを備える、請求項１３に記載の装置。
18. 前記事前定義されたフォーマットは、前記第１のデータストリームおよび前記第２のデータストリームからの画像を処理するように構成された制御装置によって使用されるいくつかのビットを含む、請求項１７に記載の装置。
19. 自動車に搭載されたカメラから提供される入力画像データストリームと結合された第１の処理ユニットであって、前記第１の処理ユニットは、第１のデータストリームを提供するように構成され、前記第１のデータストリームは、前記入力画像データストリームに比べて帯域幅が減らされているとともに、前記入力画像データストリーム内の水平線の位置の抽出および画像の輝度の解析に使用されるようにシーン全体を表現する、前記第１の処理ユニットと、
    前記入力画像データストリームと結合された第２の処理ユニットであって、前記第２の処理ユニットは、第２のデータストリームを提供するように構成され、前記第２のデータストリームは、前記入力画像データストリームに比べて帯域幅が減らされているとともに、レーン検出および衝突警告を目的とするエッジ検出に使用されるように畳み込みフィルタリングされている、前記第２の処理ユニットと、
    前記第１のデータストリームおよび前記第２のデータストリームを少なくとも部分的に記憶するメモリと、
    を備える装置。
20. 前記処理ユニットは、単一チップ上に配列されており、前記メモリは、前記単一チップ上に配列されたランダムアクセスメモリである、請求項１９に記載の装置。
21. 自動車に搭載されたカメラから提供される画像データストリームを処理する方法であって、
    第１のデータストリームを提供するステップであって、前記第１のデータストリームは、前記画像データストリームに比べて帯域幅が減らされているとともに、前記画像データストリーム内の水平線の位置の抽出および画像の輝度の解析に使用されるようにシーン全体を表現する、ステップと、
    第２のデータストリームを提供するステップであって、前記第２のデータストリームは、前記画像データストリームに比べて帯域幅が減らされているとともに、レーン検出および衝突警告を目的とするエッジ検出に使用されるように畳み込みフィルタリングされている、ステップと、を含み、
    前記第１のデータストリームは、第１の処理ユニットによって提供され、前記第２のデータストリームは、第２の処理ユニットによって提供される、
    方法。
22. 前記第１のデータストリームおよび前記第２のデータストリームを、少なくとも部分的にメモリに記憶させるステップ
    をさらに含む、請求項２１に記載の方法。
23. 前記第１のデータストリームを提供する前記ステップは、
    前記第１のデータストリームを、前記画像データストリームから、第１の圧縮レートで生成することと、
    前記第１のデータストリームを、前記画像データストリームから、第１の分解能で生成することと、
    のうちの少なくとも１つを含む、請求項２１に記載の方法。
24. 前記第１の分解能は、
    前記画像データストリームの画像に比べて減らされた画素数と、
    前記画像データストリームの画像に比べて下げられた画素精度と、
    前記画像データストリームの時間当たり画像数に比べて減らされた時間当たり画像数と、
    のうちの少なくとも１つを含む、請求項２３に記載の方法。
25. 前記第２のデータストリームを提供する前記ステップは、
    前記第２のデータストリームを、前記画像データストリームから、第２の圧縮レートで生成することと、
    前記第２のデータストリームを、前記画像データストリームから、第２の分解能で生成することと、
    前記第２のデータストリームを、前記画像データストリームから、前記画像データストリームのシーンの一部分に基づいて生成することと、
    のうちの少なくとも１つを含む、請求項２１に記載の方法。
26. 前記第２の分解能は、
    前記画像データストリームの画像に比べて減らされた画素数と、
    前記画像データストリームの画像に比べて下げられた画素精度と、
    前記画像データストリームの時間当たり画像数に比べて減らされた時間当たり画像数と、
    のうちの少なくとも１つを含む、請求項２５に記載の方法。
27. 自動車に搭載されたカメラから提供される画像データストリームを処理するシステムであって、
    前記画像データストリームに比べて帯域幅が減らされているとともに、前記画像データストリーム内の水平線の位置の抽出および画像の輝度の解析に使用されるようにシーン全体を表現する第１のデータストリームを提供する手段と、
    前記画像データストリームに比べて帯域幅が減らされているとともに、レーン検出および衝突警告を目的とするエッジ検出に使用されるように畳み込みフィルタリングされている第２のデータストリームを提供する手段と、
    を備えるシステム。

Images