JP6824186B2 - カメラベースの表示システムのための画像処理 - Google Patents

Description

本開示は概して車両のための表示システムに関し、より詳しくは車両の後方視界をもたらす表示システムに関する。

本開示の一態様によると、車両のための表示システムが開示される。本システムは、車両に対しての後方の視野の画像データを取得するように構成された撮像装置を備える。このシステムは表示デバイスと制御装置を更に備える。表示デバイスは車両の客室内に配置された画面を有する。制御装置は撮像装置及び表示デバイスと通信する。制御装置は画像データを処理して少なくとも一つの特徴を特定するように動作可能である。画像データ内の少なくとも一つの特徴の位置または配向に基づいて、制御装置は、画面上での表示のために、画像データの所望の視界の位置と配向のうちの少なくとも一つを調整する。

本開示の別の態様によると、車両の後方に向けられた視野を表示する方法が開示される。この方法は、視野内の画像データを取得すること、及び画像データを処理して少なくとも一つの特徴を特定することを含む。この方法は、画像データ内の少なくとも一つの特徴の位置または配向に応じて、画像データの所望の視界の位置及び配向のうちの少なくとも一つを調整することを更に含む。所望の視界は車両の後方視界の表示デバイス上に表示される。

本開示の更に別の態様によると、車両の後方に向けられた視野を表示する装置が開示される。その装置は、車両の客室内に配置された画面を有する表示デバイスを備える。その装置は、表示デバイス及び視野内の画像データを取得するように構成された撮像装置と通信する制御装置を更に備える。制御装置は、道路の地平線と消失点のうちの少なくとも一つを特定するために画像データを処理するように動作可能である。地平線及び消失点のうちの少なくとも一つの位置または配向に基づいて、制御装置は、画面上での表示のために、画像データの所望の視界の位置及び配向のうちの少なくとも一つを調整するように動作可能である。

本開示のこれらの及び他の特徴、利点、及び目的は、以下の明細書、請求の範囲、及び添付の図面を参照することにより当業者によって、更に理解されかつ認識されるであろう。

本開示は、詳細な説明及び添付の図面からより十分に理解されるであろう。

表示システムを備えた車両を示す図である。 表示システムを備えた車両を示す図である。 表示システムの撮像装置により取得された場面に対応する画像データの図である。 画像データの所望のまたは最適な視界を表示するために、撮像装置により取得された画像データを調整するように構成された表示デバイスの正面図である。 ディスプレイのための画像データを表示システムにより調整する方法を示すプロセス図である。 本開示による表示システムのブロック線図である。

ここに図解される実施形態は、主として、画像センサシステムとその方法に関連する方法ステップと装置部品との組み合わせに属する。従って、装置の部品及び方法ステップを表すが、適切な場合には、図面中の従前通りのシンボルにより、本開示の実施形態を理解することに関連する特定の詳細だけを示し、本明細書の説明の利益を受ける当業者にとって直ちに明らかである詳細によって、この開示を不明瞭なものとしないようにしている。更に、説明と図面の表現における類似の数字は類似の要素を表している。

この文書において、関係を示す用語、例えば第１及び第２、上部及び底部等は、単に一つの構成要素または動作と他の構成要素または動作を、そのような構成要素または動作の間のそのような関係または順序を必然的に必要としまたは意味することなしに、単に区別するため用いられる。用語「備える」「備えている」またはその何らかの他の変形は非排他的な包含をカバーすることを意図しており、プロセス、方法、物品または要素のリストを含む装置は、それらの要素だけを含むのではなく、明白にリストされていないまたはそのようなプロセス、方法、物品または装置に固有の他の要素を含むことができる。

図１及び図２を参照すると表示システム１２を備える車両１０が示されている。その表示システム１２は、ある場面１８に対応する視野１６を取得するように構成された撮像装置１４を備えている。視野１６は、垂直構成要素１６Ａ及び水平構成要素１６Ｂを含んでいる。撮像装置１４は、視野１６に対応する画像データを取得すると共に、その画像データを表示デバイス２２上に表示するように構成されている。表示デバイス２２は、画像データの所望の視界２４または最適な視界が表示デバイス２２の画面上に表示されるように調整するように動作可能である。所望の視界２４は、少なくとも１つの画像解析技術に基づいて表示システム１２の制御装置により特定することができ、かついくつかの実施形態においては、表示デバイス２２上での表示のために画像データを最適化するべくユーザの好みを更に取り入れることができる。所望の視界２４は、表示デバイス上に表示させるために画像データを移動、拡大縮小、切り取り、及び／または比例調整した視界に対応し得る。

表示デバイス２２は、車両１０に対して後方に向けられた視界をもたらすように構成された後方視界表示デバイスに対応し得る。この構成において、表示システム１２は、車両１０の後方の場面に対応して取得された一連の画像を表示するように動作可能である。撮像装置１４は、制御装置と通信すると共に、画素情報の形態で画像データを取得するように構成された画素配列を含んでいる。本明細書に述べる様々な実施において、表示システム１２は、撮像装置１４により取得された画像データを処理すると共に、所望の視界２４を特定して表示するために少なくとも一つの画像解析技術を適用するように構成されている。

図１を参照すると、視野１６の垂直構成要素１６Ａを図示する車両１０の側面図が示されている。視野１６の垂直構成要素１６Ａの一部に対応する、所望の視界２４の垂直構成要素２４Ａが示されている。所望の視界２４は、撮像装置１４の視野１６の中央焦点２８からの角度オフセットとして示される、垂直オフセット２６を含むことができる。中央焦点２８は、視野１６の垂直構成要素１６Ａ及び水平構成要素１６Ｂの中心に対応し得る。

図２を参照すると、視野１６の水平構成要素１６Ｂを図示する車両１０の平面図が示されている。所望の視界２４の水平構成要素２４Ｂは、水平構成要素１６Ｂの一部に対応して示されている。水平オフセット３０は、視野１６の中央焦点２８からの角度オフセットとして示されている。

図１及び２に示されるように、垂直オフセット及び水平オフセット２６及び３０は、少なくとも一つのユーザの好みに基づいて、かつ画像データ内に特定された一つまたは複数の特徴に応じて適用できる。例えば、画像データが画像データ内の垂直の基準点を基準にして常に表示されるように、垂直オフセット２６が画像データを垂直方向にオフセットして示されている。この場合、オフセットは、車両１０の後部を押し下げているトレーラ３１による撮像装置１４の角度を修正するために少なくとも部分的に適用できる。水平オフセットは、画像データ内に特定された道路３２の消失点及び／または地平線と、ユーザの好みのうちの少なくとも一つに基づいて適用できる。加えて、制御装置は、本明細書において、更に述べるように、所望の視界２４を表示するために回転のオフセットを特定して画像データに適用するように動作可能とすることができる。

いくつかの実施形態においては、道路３２の表面の変動または変化（例えば起伏、くぼみ、減速バンプ等）により、所望の視界２４の垂直構成要素２４Ａ及び／または水平構成要素２４Ｂが変化する結果となり得る。このような状況においては、制御装置は、画像データ内の少なくとも一つの特徴を特定し及び／または追跡するように構成できる。制御装置は、少なくとも一つの特徴に基づいて、画像データの所望の視界２４の外観を安定させるために所望の視界２４の位置及び／または配向を調整できる。例えば、画像データ内の少なくとも一つの特徴の第１フレームから第２フレームへの動きを制御装置が特定する場合、制御装置は、少なくとも一つの特徴の動きを考慮して垂直オフセット２６及び／または水平オフセット３０を調整できる。

ここで図３及び４を参照すると、撮像装置１４により取得された画像データの視野１６及び所望の視界２４が示されている。図３は、視野１６に対応して取得された画像データを示している。所望の視界２４は画像データの一部として図３に表示されている。所望の視界はまた表示デバイス２２の画面４２上に表示されることが図４に示されている。

所望の視界２４は、画像データ４８内に特定された検出された消失点４６を基準とする中央基準点４４を有することが示されている。その中央基準点は、視野１６の中央焦点２８に対応し得る。所望の視界２４及び中央基準点４４は、表示デバイス２２のインタフェース５０への入力により定めることができる。中央基準点４４は、ユーザの好みとして定めることができるが、それはディスプレイの中央点５４に対するディスプレイオフセットとして制御装置のメモリに記憶できる。この構成において、車両１０のオペレータは、所望の視界２４を定める少なくとも一つのユーザの好みを設定できる。所望の視界２４は、道路５６の消失点４６、地平線６２、及び画像データ４８内に特定できる様々な特徴に関する、所望の視界２４の相対的な水平位置、垂直位置、及び回転として定めることができる。インタフェース５０は、表示デバイス２２の一部とし、及び／または表示デバイス２２の制御装置と通信できる、様々なユーザ入力部及び／または制御部により実施できる。例えば、表示システム１２及びインタフェース５０は、２０１５年３月１８日に出願された「Ｐｒｏｘｉｍｉｔｙ ｃｏｎｔｒｏｌ Ｄｅｖｉｃｅ ｆｏｒ Ｃａｍｅｒａ」という名称の米国仮特許出願第６２／１３４，８１４号において、議論されている要素または特徴のいずれかを実施しあるいは具体化できる。なお、当該文献はこの参照によって、その全体が本願明細書に援用されるものとする。

例えば、制御装置は、消失点４６の水平位置のずれを特定するために、画像データ４８内の消失点４６の水平位置を利用できる。中央基準点４４に対する所望の視界の水平オフセット６４を決定するために、画像データ４８の現在のフレーム内の消失点４６の水平位置のずれを、所望の視界２４における消失点４６の水平位置と比較できる。例えば、道路５６のおおよその中央６６の位置、道路５６の中央ライン７０、道路５６の少なくとも一つの側部５６Ａ及び５６Ｂ等の追加の特徴は、所望の視界２４を達成するために画像データの水平オフセット６４を決定すべく、制御装置によって同様に利用できる。

制御装置は、地平線６２の垂直位置のずれを特定するために、画像データ４８において、特定された地平線６２の垂直位置を利用できる。画像データ４８の現在のフレームにおける地平線６２の垂直位置のずれは、中央基準点４４に対する所望の視界２４の垂直オフセット７４を決定するために、所望の視界２４内の地平線６２の垂直位置と比較できる。例えば消失点４６や画像データ４８内に特定できる様々な特徴といった追加の特徴は、所望の視界２４を達成するために画像データ４８の垂直オフセット７４を決定すべく、制御装置によって同様に利用できる。

制御装置は、地平線６２の回転のずれを特定するために、画像データ４８内に特定された地平線６２の相対角度または傾斜を利用することもできる。地平線６２の回転のずれは、所望の視界２４の回転のオフセット７６を決定するために、所望の視界２４における地平線６２の回転位置または配向と比較できる。例えば道路５６の中央ライン７０の位置、道路５６の少なくとも一つの側部５６Ａ及び５６Ｂ等といった追加の特徴は、所望の視界２４を達成するために画像データ４８の回転のオフセット７６を決定すべく、制御装置によって同様に利用できる。

制御装置は、様々なアルゴリズム及び方法を利用して画像データ内の特徴を特定するように構成できる。例えば、制御装置は、消失点４６を特定するために道路５６の車線及び部分を特定すべく、アダプティブエッジ検出プロセスを利用するように構成できる。加えて、制御装置は、画像データ４８の一連の画素値の勾配閾値を検出することにより、地平線６２を検出するために、境界線コントラストアルゴリズムを利用するように構成できる。本明細書においては特定の画像処理方法を議論するが、それらの方法は限定のためにではなく説明のために導入されるものである。このように、本開示は、他に明示的に述べる場合を除き、そのような例示的な実施形態に限定されるものではない。

アダプティブエッジ検出プロセスは、画像データ内の画素位置における勾配を概算するためにエッジ検出マスクを利用できる。ある画素が強度値及び勾配閾値の予め定められた基準を満たす場合、制御装置は、それらの画素を候補車線境界線画素として特定できる。撮像装置１４により取得された現在のフレームに対応する画像データが処理されるときに、道路５６の車線境界線をモデル化するために最良適合多項式を生成すべく、それらの候補車線境界線画素が利用される。いくつかの実施形態において、最良適合多項式は三次多項式に対応できる。このようにして、候補車線境界線画素は、道路５６の側部に対応し得る左側の車線境界線モデル５６Ａと右側の車線境界線モデル５６Ｂを生成するために利用できる。左側の車線境界線モデル５６Ａ及び右側の車線境界線モデル５６Ｂモデルは、画像データ内の消失点４６に対応し得る道路５６の側部の交点を決定するために用いることができる。

制御装置は、地平線６２を特定するために画像データ内の画素群を検出すべく、地平線境界コントラストアルゴリズムを利用できる。各画素群は、画像データ４８の空の部分８２と地面の部分８４の間の境界を含む、画像データ４８内で隣接する画素の部分または断片に対応し得る。地平線境界コントラストアルゴリズムは、地平線６２の位置を決定するために、空の部分８２と地面の部分の間のコントラストを分析できる。そのコントラストは、垂直の勾配を決定するために、画像データ内の垂直の画素強度を計算することによって、分析できる。垂直の勾配は、空の部分８２に対応する画素と地面の部分８４に対応する画素の強度または画素値の差を取得する。制御装置は、空の部分８２と地面の部分８４の境界を特定することにより、画像データ４８内の地平線６２を特定するように動作可能とすることができる。

いくつかの実施形態において、制御装置は、垂直構成要素２４Ａ及び／または水平構成要素２４Ｂの位置の変化を安定させ及び／または制限するために、画像データの様々な特徴を特定できる。例えば制御装置は、画像データ内の一つまたは複数の特徴８５または対象を検出するように構成できる。それらの特徴は、地平線６２、消失点４６、木８６、道路標識、車両８８、及び制御装置によって、画像データの複数の画像フレーム内に検出できる何らかの形態の対象に対応し得る。このようにして、制御装置は、所望の視界の垂直構成要素２４Ａ及び／または水平構成要素２４Ｂにおける変化を調整するために、画像データ内の様々な対象を検出するように構成できる。そのような変化は、視野１６に対する場面１８の急速なまたは段階的な変化に応じるものであり得る。

いくつかの実施形態において、所望の視界２４の垂直構成要素２４Ａ及び／または水平構成要素２４Ｂの変化は、道路３２の表面の変動（例えば起伏、くぼみ、減速バンプ等）により生じ得る。このような状況では、制御装置は、第１フレームから後のフレームへと画像データ内の少なくとも一つの特徴を特定し及び／または追跡するように構成できる。制御装置は、少なくとも一つの特徴に基づいて、画像データ内の所望の視界２４の外観を安定させるために、所望の視界２４の位置及び／または配向を調整できる。例示的な実施形態において、制御装置は、少なくとも一つの対象の動きを考慮しつつ垂直オフセット２６及び／または水平オフセット３０を決定しかつ調整するために、一つあるいは複数の対象（例えば木８６、車両８８等）を検出するように動作可能とすることができる。そのような実施形態において、画像データ内に検出不能である消失点４６及び地平線６２のうちの一つまたは複数に応じて所望の視界２４をオフセットするために、一つまたは複数の対象を制御装置によって選択的に利用できる。

表示システム１２において、実施できる様々な検出技術を示すシステムは、Ｓｔｅｖｅｎ Ｇ．Ｈｏｅｋ他によって、２０１３年７月１１日に出願された「ＳＴＡＮＤ ＡＬＯＮＥ ＢＬＩＮＤ ＳＰＯＴ ＤＥＴＥＣＴＩＯＮ ＳＹＳＴＥＭ」という名称の米国特許出願公開第ＵＳ２０１４／００１５９７２Ａ１号、Ｏｌｉｖｅｒ Ｍ．Ｊｅｒｏｍｉｎ他によって、２０１１年１０月１７日に出願された「ＩＭＡＧＥ ＡＣＱＵＩＳＩＴＩＯＮ ＡＮＤ ＰＲＯＣＥＳＳＩＮＧ ＳＹＳＴＥＭ ＦＯＲ ＶＥＨＩＣＬＥ ＥＱＵＩＰＭＥＮＴ ＣＯＮＴＲＯＬ」という名称の米国特許第８，９２４，０７８号、Ｊｅｒｅｍｙ Ｃ．Ａｎｄｒｕｓ他によって、２０１０年２月１日に出願された「ＤＩＧＩＴＡＬ ＩＭＡＧＥ ＰＲＯＣＥＳＳＩＮＧ ＡＮＤ ＳＹＳＴＥＭＳ ＩＮＣＯＲＰＯＲＡＴＩＮＧ ＴＨＥ ＳＡＭＥ」という名称の米国特許第８，５７７，１６９号、Ｊｏｓｅｐｈ Ｓ．Ｓｔａｍ他によって、２０１１年１月３１日に出願された「ＩＭＡＧＥ ＡＣＱＵＩＳＩＴＩＯＮ ＡＮＤ ＰＲＯＣＥＳＳＩＮＧ ＳＹＳＴＥＭＳ ＦＯＲ ＶＥＨＩＣＬＥ ＥＱＵＩＰＭＥＮＴ ＣＯＮＴＲＯＬ」という名称の米国特許第８，０６５，０５３Ｂ２号、及び、Ｊｅｒｅｍｙ Ａ．Ｓｃｈｕｔその他によって、２０１２年３月２８日に出願された「ＶＥＨＩＣＵＬＡＲ ＩＭＡＧＩＮＧ ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＤＥＴＥＲＭＩＮＩＮＧ ＲＯＡＤＷＡＹ ＷＩＤＴＨ」という名称の米国特許第８，５４３，２５４Ｂ１号に詳細に述べられている。なお、これらの文献はこの参照によって、その全体が本明細書に援用されるものとする。

ここで図５を参照すると、表示システム１２による表示のために画像データ４８を調整する方法を説明するフローチャート９０が示されている。この方法は、撮像装置１４により画像データ４８を取得し、かつその画像データ４８を制御装置に伝達することから開始できる。制御装置の少なくとも一つのプロセッサは、消失点４６、地平線６２、または画像データ４８内に特定できる何らかの他の特徴を決定するために、画像データ４８について一つまたは複数の画像処理ステップ９２を完了するように構成できる。画像データ４８内の特定された特徴は、所望の視界２４の水平オフセット６４、垂直オフセット７４、及び回転のオフセット７６のうちのすくなくとも一つを特定するためにプロセッサによって利用できる。

一つまたは複数の画像処理ステップ９２は、地平線検出ステップ９４、ロール検出ステップ９６及び消失点検出ステップ９８を含むことができる。画像処理ステップ９２において、プロセッサにより特定された特徴に基づいて、プロセッサは、画像データの配向が所望の視界２４と一致するように、一つまたは複数の画像修正ステップ１０２において、画像データを補正するように更に動作可能とすることができる。一つまたは複数のプロセッサは、画像修正ステップ１０２を処理するように構成された一つまたは複数のモジュールを含むことができる。それらのモジュールは、傾動モジュール１０４、回動モジュール１０６、及び左右動モジュール１０８を含むことができる。

地平線検出ステップ９４は、画像データ４８の地平線６２を検出するように構成できる。少なくとも一つのプロセッサの傾動モジュール１０４は、画像データ４８の現在のフレームにおける地平線６２の垂直位置にずれを適用するために、画像データ４８内に特定された地平線６２の垂直位置を利用できる。地平線６２の垂直位置のずれは、中央基準点４４に対する所望の視界２４の垂直オフセット７４を決定するために、所望の視界２４の地平線６２の垂直位置と比較できる。例えば消失点４６や画像データ４８内に特定できる様々な特徴といった追加の特徴は、所望の視界２４を達成するために画像データの垂直オフセット７４を決定すべく、制御装置によって同様に利用できる。

ロール検出ステップ９６は、視野１６の回転のずれを特定するために、画像データ４８内の地平線６２の相対角度を特定するように構成できる。一つまたは複数のプロセッサの回動モジュール１０６は、所望の視界２４の回転のオフセット７６を決定するために、所望の視界２４の地平線６２の回転位置を比較することにより地平線６２の回転のずれを特定できる。例えば道路５６の中央ライン７０の位置、道路５６の少なくとも一つの側部５６Ａ及び５６Ｂ、等といった追加の特徴は、所望の視界２４を達成するために画像データの回転のオフセット７６を決定すべく、一つまたは複数のプロセッサによって同様に利用できる。

消失点検出ステップ９８は、画像データ４８内の消失点４６の少なくとも水平位置を決定するために画像データを処理できる。一つまたは複数のプロセッサの左右動モジュール１０８は、画像データ４８の現在のフレームにおける消失点４６の水平位置のずれを特定できる。消失点４６の水平位置のずれは、中央基準点４４に対する所望の視界２４の水平オフセット６４を決定するために、所望の視界２４の消失点４６の水平位置と比較できる。例えば道路５６のおおよその中央６６の位置、道路５６の中央ライン７０、道路５６の少なくとも一つの側部５６Ａ及び５６Ｂ等の追加の特徴は、所望の視界２４を達成するために画像データの水平オフセット６４を決定すべく、一つまたは複数のプロセッサによって同様に利用できる。

画像修正ステップ１０２が終了した後、制御装置は、画像データ４８の最適なまたは所望の視界２４を表示デバイス２２に出力できる。先に議論したように、表示デバイス２２は、所望の視界２４及び／または中央基準点４４の位置と倍率を設定するために、ユーザ入力ステップ１１０において、少なくとも一つの入力を受け入れるように構成されたインタフェース５０を含むことができる。所望の視界２４及び基準点４４はユーザの好みとして定めることができるが、それは画像データの比率及びディスプレイの中央点５４に対するディスプレイのオフセットとして制御装置のメモリに記憶できる。この構成において、車両１０のオペレータは、所望の視界２４を定めるユーザの好みを少なくとも一つ設定できる。所望の視界２４は、道路５６の消失点４６、地平線６２、及び画像データ４８内に特定できる様々な特徴に関する、所望の視界２４の相対的な水平位置、垂直位置、及び回転として定めることができる。

ここで図６を参照すると、表示システム１２のブロック図が示されている。撮像装置１４は制御装置１１２と通信することが示されている。撮像装置１４の画素配列はＣＭＯＳイメージセンサ、例えばＣＭＯＳアクティブ画素センサ（ＡＰＳ）または電荷結合デバイス（ＣＣＤ）に対応できる。画素配列の各画素は、受光センサ、受光センサの配列、または光を捕捉するように構成されたセンサの何らかの群に対応できる。制御装置１１２は、撮像装置１４において、アナログまたはデジタルの形式で供給される画像データ４８を処理するように動作可能なプロセッサ１１４を含むことができる。例えば、制御装置１１２は、複数のプロセッサ、マルチコアプロセッサ、またはプロセッサ、回路、及び周辺処理デバイスの何らかの組合せとして実施できる。プロセッサは、画像データ４８を処理し及び／または修正するように構成された複数のモジュールを含むことができる。モジュールは、傾動モジュール１０４、回動モジュール１０６、及び左右動モジュール１０８を含むことができる。

制御装置１１２は、メモリ１１６を更に含むことができる。メモリ１１６は、様々な形態のメモリ、例えばランダムアクセスメモリ（ＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、同期型ＤＲＡＭ（ＳＤＲＡＭ）、及びデジタル情報を格納するように構成された他の形態のメモリを含むことができる。メモリ１１６は、処理のために画像データ４８を格納するように構成できる。画像データ４８を処理することは、表示デバイス２２の画面に出力される画像データ４８の位置及び見かけの寸法を調整するために画像データ４８を拡大縮小し切り取ることを含む。表示デバイス２２は、所望の視界２４を表示するように動作可能な画面を含む。その画面は、何らかのディスプレイ、例えば発光ダイオード（ＬＥＤ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）、有機ＬＥＤ（ＯＬＥＤ）ディスプレイに対応できる。いくつかの実施形態において、メモリ１１６は、複数の所望の視界に対応する複数の利用者プロファイルを格納するように構成できる。所望の視界の各々は、車両１０の特定のオペレータに関して制御装置１１２によって、呼び出すことができる、特定の垂直オフセット、水平オフセット、及び回転のオフセットを含むことができる。

制御装置１１２は、複数の入力部、例えば速度入力部１１８及び車両バス１２０と通信できる。速度入力部１１８は、スピードメータまたは車両１０の速度に対応するデータを測定して伝達するように動作可能な何らかのデバイスにより、車両１０の速度を伝達する信号をもたらす。車両バス１２０は、例えばコントローラエリアネットワーク（ＣＡＮ）バスといった、何らかの適切な標準的なコミュニケーションバスを用いて実施できる。車両バス１２０は、様々な追加の情報を制御装置１１２にもたらすように構成できる。

本明細書に記載されている開示の実施形態を、本明細書に記載されるように、一つまたは複数の従来のプロセッサと、ある種の非プロセッサ回路と共に画像センサシステムの機能のうちのいくつか、ほとんど、あるいは全て及びその方法を実施する一つまたは複数のプロセッサを制御する固有のストアドプログラム命令と、から構成できることは理解されよう。非プロセッサ回路には、信号ドライバ、クロック回路、電源回路、及び／またはユーザ入力デバイスが含まれるが、これらに限定されるものではない。代わりに、いくつかのまたは全ての機能は、ストアドプログラム命令を有しないステートマシンにより、または各機能あるいは機能のいくつかの組合せがカスタムロジックとして実施される一つまたは複数の特定用途向け集積回路（ＡＳＩＣ）において実施できる。もちろん、二つのアプローチの組合せを用いることができる。従って、これらの機能のための方法及び手段を本明細書に記載してきた。更に、本明細書に開示されている概念及び原理によって導かれるときに、例えば利用可能な時間、現在の技術及び経済的な考慮によって、動機付けられるおそらくは著しい努力及び多くの設計的な選択にも関わらず、当業者がそのようなソフトウェア命令やプログラム及びＩＣを最小の実験によって、生成することを容易になし得ることが予想される。

本明細書に明確に記載されていない追加のまたは代わりのやり方で、上に記載した要素を組み合わせ得ることは、当業者により認識されなければならない。本開示の様々な実施の変更は当業者や本開示の教示を適用する人々に生じるであろう。従って、図面に示しかつ上に記載した実施形態は、単に例証を目的としたものであり、均等論を含む特許法の原則に従って解釈される以下の請求の範囲によって、定められる開示の範囲を制限することを意図したものではないことが理解される。

Claims (13)

1. 車両のための表示システムであって、
   前記車両に対して後方の視界の複数の画像フレームの画像データを取得するように構成された撮像装置と、
   前記車両の客室内に配置された画面を備えた表示デバイスと、及びメモリを有し、前記撮像装置及び前記表示デバイスと通信する制御装置であって、
   所望の視界として前記メモリ内の前記画像データに対して、水平オフセット、垂直オフセット及び回転のオフセットうちの少なくとも１つのユーザが定めたディスブレイオフセットを格納し、該ユーザが定めたディスプレイオフセットは、前記画像データにおいて特定された少なくとも１つの特徴の第１の特徴位置及び第１の特徴配向に関係して定められている、制御装置と、を備え、
   前記制御装置は、前記画像データを処理して前記画像データの前記少なくとも１つの特徴のうちの第２の特徴位置と第２の特徴配向の少なくとも１つを特定し、
   前記第２の特徴位置及び第２の特徴配向のうちの少なくとも一つと、前記メモリ内においてアクセスされる前記ユーザが定めたディスプレイオフセットとを比較し、
   前記ユーザが定めたディスプレイオフセットに対する比較に応答して前記第２の特徴位置及び第２の特徴配向のうちの少なくとも一つを追跡するように、前記撮像装置から受信した前記画像データの表示位置と表示配向の少なくとも一つを調整することによって出力画像を生成し、前記画面に前記出力画像を表示するように構成された、表示システム。
2. 前記表示デバイスが、後方視界表示デバイスに対応する、請求項１に記載の表示システム。
3. 前記所望の視界が、後方視界表示デバイスに表示された前記画像データの角度オフセットに対応する、請求項２に記載の表示システム。
4. 前記少なくとも一つの特徴が、前記車線境界線の方向に基づいて前記画像データ内に特定された道路の消失点をさらに含む、請求項１乃至３のいずれか一項に記載の表示システム。
5. 前記消失点は、前記画像データの前記所望の視界の水平位置及び垂直位置のうちの少なくとも一つをオフセットするために利用される、請求項４に記載の表示システム。
6. 前記所望の視界が、前記画像データの垂直構成要素及び水平構成要素のオフセットに対応する、請求項１乃至５のいずれか一項に記載の表示システム。
7. 車両の後方に向けられた視野を表示する方法であって、
   前記視野内の画像データを取得することと、
   前記画像データを処理して、少なくとも１つの特徴を特定することと、
   画像データに対してユーザが定めたディスブレイオフセットを定めるユーザ入力を受信することと、
   所望の視界として前記メモリ内の前記画像データに対して、水平オフセット、垂直オフセット及び回転のオフセットのうちの少なくとも１つのユーザが定めたディスブレイオフセットを格納し、この場合、該ユーザが定めたディスプレイオフセットは、前記画像データにおいて特定された少なくとも１つの特徴の第１の特徴位置及び第１の特徴配向に関係して定められている、前記格納することと、
   前記少なくとも１つの特徴の第１の特徴の特定された位置を前記少なくとも１つの特徴の第２の特徴の特定された位置と比較することと、
   前記ユーザが定めたディスプレイオフセットに対する前記少なくとも１つの特徴の前記第２の特定された位置の比較に応答して前記第２の特徴位置及び第２の特徴配向のうちの少なくとも一つを追跡するように、前記視野内に取得された前記画像データの所望の視界の表示位置を調整することと、
   前記車両の後方視界表示上に前記所望の視界を表示することと、を含む、方法。
8. 前記第１の特徴及び前記第２の特徴が、前記画像データ内に特定された道路の消失点及び地平線のうちの少なくとも一つを含む、請求項７に記載の方法。
9. 前記調整することは、前記画像データ内の前記消失点の位置に基づいて、前記所望の視界の水平位置及び垂直位置のうちの少なくとも一つをオフセットすることを含む、請求項８に記載の方法。
10. 前記画像データの調整が前記制御装置の複数の画像処理モジュールによって処理され、前記画像処理モジュールが前記撮像装置から受信した前記画像データを移動及び回転して前記所望の視界を生成するように構成されている、請求項１に記載の表示システム。
11. 前記車線境界線が前記画像データに特定された複数の候補画素に基づいて特定される、請求項４に記載の表示システム。
12. 前記制御装置がさらに、前記候補画素に基づいて車線境界線モデルを生成し、該車線境界線モデルに基づいて該車線境界線を計算するように構成されている、請求項１１に記載の表示システム。
13. 前記車線境界線モデルは最良適合多項式モデルである、請求項１２に記載の表示システム。