JP7393432B2 - 駐車支援システム - Google Patents

駐車支援システム Download PDF

Info

Publication number
JP7393432B2
JP7393432B2 JP2021550060A JP2021550060A JP7393432B2 JP 7393432 B2 JP7393432 B2 JP 7393432B2 JP 2021550060 A JP2021550060 A JP 2021550060A JP 2021550060 A JP2021550060 A JP 2021550060A JP 7393432 B2 JP7393432 B2 JP 7393432B2
Authority
JP
Japan
Prior art keywords
vehicle
assistance system
parking assistance
image
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021550060A
Other languages
English (en)
Other versions
JPWO2020200373A5 (ja
JP2022522449A (ja
Inventor
アイヒ・マルクス
グローガー・シャルロッテ
キットマン・フランク
フリーベ・マルクス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Conti Temic Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Publication of JP2022522449A publication Critical patent/JP2022522449A/ja
Publication of JPWO2020200373A5 publication Critical patent/JPWO2020200373A5/ja
Application granted granted Critical
Publication of JP7393432B2 publication Critical patent/JP7393432B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Analysis (AREA)

Description

本発明は、車両周辺部を描写するよう設定されている車両用の駐車支援システムに関する。更に、本発明は、車両の周辺部を描写する方法、及び、プログラムエレメントコンピュータ可読媒体にも関する。
サラウンドビーシステムにおいて三次元の車両周辺部描写する場合、他の車両と物体との距離は、追加のセンサを使用しない限り、不明である。一般的には、三次元の周辺部は、半球を使用して生成され、その際、カメラによって把握された画像が半球に投影される。このため、投影される物体半球に関連る投影面よりも車両に場合、一般的に光学的アーティファクトができる。これは、特に駐車プロセス又は発車プロセス中の自動車のマヌーバを困難にし得る。例えばソナーやライダなどの様々なセンサを利用することにより、光学的アーティファクトの原因となる物体操縦する自動車との間隔を割出すことはできるが、これらのセンサは、高価であり、かつ対象となる車両内への取り付け煩雑である。
本発明の実施形態によって、有利には、改善された駐車支援システム提供することができる。
本発明は、独立請求項によって定義されている。本発明の好ましい発展形態は、従属請求項ならびに以下の説明から得られる。
技術的専門用語は、一般的に知られている形で使用される。特定の用語に対して特定の意味が与えられる場合、その用語使用される用語定義を以下に記載する
本発明の一つのアスペクトは、車両周辺部を描写するよう設定されている車両用の駐車支援システムに関する。この場合、駐支援システムは、少なくとも一枚の画像を撮影するよう設定されている少なくとも一台のカメラを備える。この場合、駐車支援システムは、車両の周辺部をユーザに対して描写するためグリッド構造利用できる。付加的に駐車支援システムは、画像内に構成されている一台の他の車両の向きを決定すよう設定されている画像評価ユニットを含み得る。更に画像評価ユニットは、決定された他の車両の向きに応じてグリッド構造を適合ように設定することができその際、画像は、適合済みグリッド構造上に投影される。
この実施形態の利点は、グリッド構造を他の車両に適合することにより、駐車プロセス又は車プロセス等の場合において、自動車の運転をユーザのために容易にすると言うことを挙げることができる。加えて、更なる高価なセンサ手段を節約でき、同時に、車両のマヌーバ性を改善できると言う利点がある。更には、表示されている画像内に光学的なアーティファクトが現れないため、駐車支援システムのユーザの感覚改善できる。
言い換えれば、駐車支援システムは画像をカメラによって把握し、これが画像評価ユニットによって処理されその結果、他の車両の向きを、車両の周辺部を描写するためのグリッド構造を適合するため又は最適化するために割り出すことができその結果、撮影された画像を適合済みグリッド構造上に投影することができるこの場合、カメラは、車両及び/は画像評価ユニットの論理回路と信号接続されたデジタルカメラであり得る。そのため駐車支援システムは、モニタ、例えば、ECU(electronic control unit)を用いて、及び/又はヘッドアップディスプレイを用いて、車両の周辺部をディスプレイ上、及び/又はヘッドアップディスプレイ上に表示することが可能である。グリッド構造は、ノードポイントとその接続によって表すことが可能なバーチャルモデルであり得る。特に、他の車両の向きは、座標系によって決定することができ、その、座標系の原点は、例えば、車両の中心を意味する。駐車支援システムの可能な構成例他の車両の向きは、とりわけ1に描写され、それに関連する図の説明でさらに説明する。車両の中心に応じて、車両に対する他の車両の位置を決定することができる。の車両の位置又は向きに応じて、車両周辺部の実態対応できるように、グリッド構造を適合ることができる。そして、車両の周辺部に適合された適合済みグリッド構造は、周辺部の適合された描写を車両のモニタ又はヘッドアップディスプレイ上に表示できるように、カメラによって撮影された画像を適合済みグリッド構造上に投影するために使用される。
適合済みグリッド構造は、図3に示され、図3の図の説明に基づいて詳しく説明する。
実施例によれば、グリッド構造は、幾何学的形状、特に、球形状を備える。言い換えれば、グリッド構造は、半球等のバーチャルモデルを形成る。代的には、グリッド構造は、半球以外の幾何学的な形状、例えば、円錐、円錐台、立方体、平行六面体、角が極端に丸められた立方体、角が極端に丸められた平行六面体、ピラミッド型、円柱、及び/又は球体を有してもよい。この実施形態の利点は、単純な幾何学的形状を用いることで、駐車支援システムの計算キャパシティを節約することができ従って、駐車支援システムの製造コストを下げることができることである。
本発明の実施例では、画像評価ユニットは、幾何学的形状を曲げ等の手段で他の車両の向きに適合するよう設定してもよい。言い換えれば、幾何学的形状は、車両の周辺部に対応するように適合される。これは、特に、幾何学的形状の曲げプロセス又は他の変形プロセス、例えば、切り取り、拡大、縮小、回転及び/は歪曲などによって実行できる。この実施形態の利点は、例えば、曲げなな計算演算子によって幾何学的形状を適合することができ従って、駐車支援システムの他のリソースを占有すること無く、車両の周辺部の表現を簡略化することができることである。幾何学的形状む表現の可能な一実施形態は、図2に示され、かつ関連する図の説明で詳細に説明する。
実施例によれば、グリッド構造は、付加的に、汎用的車両モデルを備えてもよい。言い換えれば、幾何学的形状を有するグリッド構造には、車両の周辺部の表現力を改善するために、汎用的な車両モデルが配置される。汎用的車両モデルは、その輪郭、他の車両の理想的なモデルを表現する二次元の及び/は三次元のモデルであり得る。代的には、他の車両のタイプを割出すことができ、その、汎用的な車両モデルは、データベースの情報にもとづいて、他の車両のタイプに適合ることができる。この場合、カメラによって撮影された画像を、汎用的な車両モデルに投影することがき、その結果、間隔情報の欠如に起因する光学的アーティファクトが発生しなくなるので、車両の周辺部の表現を改善できる。図3には、幾何学的形状が配置されている汎用的車両モデルの実施形態が示される
本発明の実施例では、画像評価ユニットは、汎用的車両モデルを、スケーリング、移動及び/は回転によって、他の車両の向きに適合するよう設定してもよい。言い換えれば、汎用的車両モデルは、他の車両の向きに対応するようグリッド構造内で操作される。特に、この操作は、スケーリング、移動、及び/又は回転によって実行してもよい。例えば、汎用的車両モデルの回転と言った操作により、車両の周辺部は、非常に正確にグリッド構造、特に汎用的車両モデルに適合することができ、その結果、表現が大幅に改善し、従って、駐車支援システムのエルゴノミクスを向上することができる。
実施形態によれば、画像評価ユニットは、幾何学的形状内の汎用的車両モデルを、スケーリング、移動及び/は回転によって、他の車両の向きに適合するよう設定してもよい。言い換えれば、例えば、半球である幾何学的形状内の汎用的車両モデルは、車両の周辺部の描写を最適化するために、スケーリング、移動、及び/又は回転ることができる。したがって、言い換えれば、幾何学的形状と汎用的車両モデルの両方が、特に互いに依存して、車両の周辺部の表現を著しく増大させるために、幾何学的形状内汎用的車両モデルを配置することが可能である。
実施例によれば、画像評価ユニットは、カメラよって把握されない他の車両の領域、推定機能を用いて割出され、汎用的車両モデル上に投影されよう設定してもよい。言い換えれば、画像評価ユニットは、カメラによって把握できない領域、例えば他の車両のルーフなどを、推定機能を用いて割出す機能を備え。推定機能は、例えば、カメラが他の車両の色又は他の車両の塗装を割出し、割出された色又は塗装を、他の車両の汎用的車両モデルのルーフに投影することで構成ることができる。これは、ユーザの知覚をより快適にでき従って、駐車支援システムのエルゴノミクスを向上することができる。
実施例によれば、画像評価ユニットは、グリッド構造をテクスチャで完全に覆うためにカメラによって把握されない領域を予測するよう設定してもよい。言い換えれば、画像評価ユニットが例示的な気象情報に基づいて球体の上部を気象情報に基づいてテクスチャで覆うため、例えば球であるグリッド構造体を、画像評価ユニットを用いて、完全にテクスチャで覆うことができる例えば、天候機能は、画像評価ユニット、グリッド構造で晴天を予測するように、晴天を記述する。これにより、ユーザは、車両の周辺部の描写をより快適であるとじ、従って、駐車支援システムのエルゴノミクスが改善されるという利点を有し得る
本発明の一実施例によれば、画像評価ユニットは、他の車両の向きを決定ために、画像内の基準面を認識よう設定してもよい。更に、画像評価ユニットは、他の車両の二本のタイヤを、画像内において特定し、それぞれタイヤの外周の輪郭を割出すよう設定できる。また、画像評価ユニットは、複数のタイヤの外周の輪郭上のカメラに最も近い点を割出すことによって、基準面と外周の輪郭との交点を形成すよう設定できる。言い換えれば、他の車両の方向付けが、上記の様な画像評価方法を用いて行うことができその際、先ず画像内で基準面、特に道路などが割出される。次に、画像内において、他の車両の二本のタイヤを特定することができ、続いて、複数のタイヤの外周の輪郭が割出すことができる、又は導くことができる。この場合、他の車両の複数のタイヤは、画像内において認識た基準面に対して基本的に垂直であことが前提となる。外周の輪郭に応じて、カメラに最も近い外周の輪郭内の点を選択することによって、基準面と外周の輪郭との交割出される。これは、例えば、タイヤなど典型的な特徴に基づいて、他の車両の向きを、迅速かつ確実に割出すことができるという利点を有することができその結果、車両周辺部の改善された写を保することができる。車両の交点の割出しひいては他の車両の方向付ける可能な実施形態は、図4に示されており、関連する図の説明に記述る。代替実施形態では、他の車両の別の特徴を使用することができ、それに基づいて、他の車両の向きを決定するすることができる
実施例によれば、画像評価ユニットは、更に、基準面、複数のタイヤ、外周の輪郭、交点及び/は、他の車両の向きの妥当性検証を実施よう設定してもよい。言い換えれば、駐支援システムは、把握した情報を、所定のパラメータ及び/は経験値に基づいて検証することができる。例えば、画像評価ユニット他の車両の複数のタイヤの割出しを検証でき、その結果、一本目と二本目のタイヤが、同じ車両に属すること保証される。これは、車両の周辺部の描写の信頼性を高めることができると利点がある。
実施例によれば、画像評価ユニットは、他の車両のフロント領域及び/はリア領域を割出し、かつフロント領域及び/はリア領域に依存してグリッド構造を方向付けるように設定してもよい。言い換えれば、画像評価ユニットは、他の車両の汎用的車両モデルを他の車両のフロント部及び/はリア部の輪郭に応じて調整するために、他の車両のフロント及び/はリアを割出すことが可能でありその結果、車両の周辺部における他の車両をより現実的に写することができる。
本発明の更なるアスペクトは、以下のステップ、即ち、
-車両の周辺部の画像を撮影するステップ、
-グリッド構造を用いて車両の周辺部を描写するステップ、
-画像内に写っている他の車両の向きを割出すステップ、
-他の車両の向きに応じて、グリッド構造適合するステップ、
-適合済みグリッド構造上に画像を投影するステップ
を含むことが可能な車両の周辺部を描写する方法に関するものである
言い換えれば、車両の周辺部の一枚の画像撮影ることができる。車両の周辺部を描写するため、グリッド構造利用することができる、又はに、ディスプレイ若しくはヘッドアップディスプレイを用いて、ユーザに示すことができる。また、他の車両の向きは、他の車両が構成されている情報が割り出されることによって決定することができ従って、他の車両の向きを評価することができる。他の車両の向きに応じて、グリッド構造が、実際の車両の周辺部に対応するように、周辺部を描写するためのグリッド構造を調整することができる。加えて、撮影された画像は、適合済みグリッド構造に投ることができる。これ、車両と他の車両との間の間隔を割出すセンサを省くことができるという利点を得られる。更に、車両の周辺部描写るユーザの体験改善することができる。
実施例によれば、方法は、更に、以下のステップ、即ち、
画像内において基準面を認識するステップ、
-画像内において他の車両の二本のタイヤを特定するステップ、
複数タイヤの外周の輪郭を割出すステップ、
-タイヤの外周の輪郭上のカメラに最も近い点を割出すことによって基準面と外周の輪郭との交点を形成するステップ、
-交点に応じて他の車両の向きを割出すステップ
を含む
言い換えれば、画像中の基準面を認識することで他の車両の向きを決定できる。更には、他の車両の二本のタイヤを画像内特定することもでき複数のタイヤの外周の輪郭を割出すこともできる。続いて、交点を形成する又は割出すことができ、その際、交点は、基準面とカメラに最も近い位置の外周の輪郭との交点である。それぞれ他の車両のタイヤを表すことができる二つの交点を用い、他の車両の向きを決定することができる。この場合複数のタイヤは、基準面に対して鉛直に向いていると仮定される。これにより、他の車両の向きを画像情報に基づいて割出すことができ、これにより、高額なソナーセンサ又はライダセンサを必要としないという利点がある。交点を形成できという可能な実施形態は、図4に示されており、関連する図の説明に更に説明する。
実施例によれば、方法は、更に、以下のステップ、
幾何学的形状、特に半球を形成するステップ、
-適合済みグリッド構造を形成するため、他の車両の向きに応じ、特に、曲げなどの手段で、幾何学的形状を変形するステップ
を含む。
言い換えれば、例えば半球であってもよい幾何学的形状は、曲げなの手段で、幾何学的形状が、車両の周辺部に対応するように適合さる。他の車両の向きに応じて幾何学的形状の修正を行いその結果、車両と他の車両との間うで間隔情報の欠如に起因するアーティファクトを低減することができ従って、ユーザに対して車両の周辺部の描写改善される。
本発明の一実施例によれば、方法は、更に、以下のステップ、即ち、
-汎用的車両モデルを形成するステップ、
-汎用的車両モデルを幾何学的形状内に配置するステップ、
-適合済みグリッド構造を形成するため、他の車両の向きに応じ、スケーリング、移動、及び/又は回転によって、汎用的車両モデルを適応するステップ、
を含む。
言い換えれば、二次元モデル又は三次元のモデルである汎用的車両モデルは、周辺部のバーチャルな描写内において他の車両の向きに対応するように、幾何学的形状内に配置される。この場合、汎用的車両モデルは、スケーリング、移動及び/は回転によって、他の車両の輪郭および向きに対応し、従って、適合済みグリッド構造が形成されるように、適合することができる、又は適応することができる。これにより、車両の駐車プロセス又は発車プロセスが、改善された周辺部の描写によって容易になるという利点がある。汎用的車両モデルを幾何学的形状内に配置する実施形態は、図3に示されていて、それに関連する図の説明更に説明する。
本発明の更なる様態は、駐車支援システム実行する時に、上述及び後述する方法のステップを実よう、駐車支援システムに指示るプログラムエレメントに関するものである
本発明の更なる様態は、上述及び後述するプログラムエレメントが格納されているコンピュータ可読媒体に関するものである
本発明のこれらの特徴及び更なる特徴は、以下に記載されている実施形態を参照して説明される。
実施例にる駐車支援システムを示 実施例にる駐車支援システムの概略図を示 実施例にる駐車支援システムの概略図を示 実施例にる駐車支援システムの概略的な実施形態を示 実施例にる車両の周辺部を描写するための方法のステップを可視化するためのフローチャートを示
これらの図は、単に概略的なものであり、正確な縮尺ではない。図中、同じ要素、又は同じ作用の要素、又は類似の要素は、同じ参照番号を付してもよい
実施例の詳細な説明
図1は、車両の周辺部を描写よう設定されている車両200用の駐車支援システム100を示し、その際、駐車支援システム100は、特に他の車両300の画像を撮影するよう設定されている少なくとも一台のカメラ102を備える。この場合、カメラ102は、検出領域103を有。画像評価ユニット106は、例えば、検出領域103の外にある他の車両300の構成要素に対して、他の車両300の色を予測するよう設定してもよいこの場合、駐支援システム100は、車両200の周辺部をユーザに対して描写するたに、グリッド構造を用いる。更に、駐支援システム100は、画像内に描写されている一台の他の車両300の向き302を決定すよう設定されている画像評価ユニット106を備え得る。また、画像評価ユニット106は、グリッド構造104を、他の車両300の決定されている向き302に応じて適合するよう設定してもよい。加えて、評価ユニット106は、適合済みグリッド構造108上に画像を投影するよう設定してもよい。更に図1は、車両200内に配置されている駐車支援システム100す。車両200の隣には、他の車両300がある。車両200は、車両200の周辺部400を描写するために利用できる画像を撮影するカメラ102を備える。更に車両200は、画像評価ユニット106、コンピュータ可読媒体500とをる。この場合、他の車両300は、特に車両200の位置に応じて割出すことができる向き302を有る。
図2は、車両200の周辺部400を描写するグリッド構造104の概略図を示この場合、カメラ102によって撮影された画像は、グリッド構造104及び/は適合済みグリッド構造108上に投影することができそして、その結果得られたモデルディスプレイ上でユーザに表示することができる。
図3には、適合済みグリッド構造108の概略図が示され、その際、適合済みグリッド構造は、その形状を変更することができるだけでなく、適合済みグリッド構造108内に、汎用的車両モデル304設けることもできる。この場合、汎用的車両モデル304の向きは、他の車両300の向き302に対応る。
図4は、交点312割出す概略図を示。車両200に設けられ得る駐車支援システム100は、一台のカメラ102を備え。車両200の隣には、他の車両300がある。前記車両300は、基準面306上にある。この場合、他の車両300は、特にその複数のタイヤ308の上にある。この場合、複数のタイヤ308は、基準面306に対して鉛直に立っていると仮定できる。画像評価ユニット106は、複数のタイヤ308の外周の輪郭310を割出すことができる。同様に画像評価ユニット106は、複数の交点312を割出すことによって他の車両300の向き302を決定することができる。複数の交点312の割出しは、複数のタイヤ308の外周の輪郭310上で、カメラ102最も近い点を割出すことによって実施できる。また、カメラ102は、他の車両300のフロント部316とリア部314を割出る。汎用的車両モデル304の輪郭や外観は、フロント部316及び/はリア部314にることができる。
図5は、ある一つの実施例による車両200の周辺部400を描写する方法のステップを可視化するフローチャートを示す。
この方法は、更に、以下のステップ、即ち、
-車両の周辺部400の画像を撮影するステップS1、
-グリッド構造を用いて車両の周辺部400を描写するステップS2、
-画像内に写っている他の車両の向きを割出すステップS3、
-他の車両の向きに応じて、グリッド構造を適合するステップS4、
-適合済みグリッド構造上に画像を投影するステップS5、
-画像内において、基準面を認識するステップS6、
-画像内において、他の車両の二本のタイヤを特定するステップS7、
-複数のタイヤの外周の輪郭を割出すステップS8、
-複数のタイヤの外周の輪郭上のカメラに最も近い点を割出すことによって、基準面と外周の輪郭との交点を形成するステップS9、
-交点に応じて他の車両の向きを割出すステップS10、
-幾何学的形状、特に半球を形成するステップS11、
-適合済みグリッド構造を形成するために、他の車両の向きに応じて、特に、曲げなどの手段で、幾何学的形状を変形するステップS12、
-汎用的車両モデルを形成するステップS13、
-汎用的車両モデルを幾何学的形状内に配置するステップS14、
-適合済みグリッド構造を形成するために、他の車両の向きに応じて、スケーリング、移動、及び/又は回転によって、汎用的車両モデルを適応するステップS15、
を備えることができる。
尚、ここで使われている用語「umfassend(訳=含む、備える、有する)」と「aufweisend(訳=備える、有する)」は、他の要素が含まれないと言う意味で使われているのではなく、また、原文における不定冠詞“eine”や“ein” (訳=ひとつの、ある・・・)によって、「複数」が排除されるものではないことを、捕捉として指摘しておく。更に、ひとつの実施例、又は、上述の実施例への参照とともに記述されている特徴は、他の上述の実施例の他の特徴との組み合わせで使用されてもよいことも指摘しておく。請求項内の符号は、制限をかけるものではない。
なお、本願は、特許請求の範囲に記載の発明に関するものであるが、他の観点として以下を含む。
1.車両の周辺部(400)を描写するように構成されている、車両(200)用の駐車支援システム(100)であって、
当該駐車支援システム(100)は、
-少なくとも一枚の画像を撮影するように構成されている少なくとも一台のカメラ(102)であって、駐車支援システム(100)は、車両(200)の周辺部(400)をユーザに対して描写するために、グリッド構造(104)を使用する、カメラ(102)、
-画像内で撮像されている他の車両(300)の向き(302)を決定し、グリッド構造(104)を他の車両(300)の決定した向き(302)に応じて適合し、適合済みグリッド構造(108)上に画像を投影するように構成されている画像評価ユニット(106)
を備えることを特徴とする駐車支援システム(100)。
2.グリッド構造(104)は、幾何学的形状、特に半球形状を備えることを特徴とする上記1に記載の駐車支援システム。
3.画像評価ユニット(106)は、幾何学的形状を曲げなどの手段によって他の車両(300)の向き(302)に対して適合することができるように構成されていることを特徴とする上記2に記載の駐車支援システム。
4.グリッド構造(104)は、付加的に汎用的車両モデル(304)を備えることを特徴とする上記1~3のうち何れか一つに記載の駐車支援システム。
5.画像評価ユニットは、汎用的車両モデル(304)を、スケーリング、移動、及び/又は回転することによって他の車両(300)の向き(302)に適合するように構成されていることを特徴とする上記4に記載の駐車支援システム。
6.画像評価ユニット(106)は、スケーリング、移動、及び/又は回転することによって、幾何学形状の汎用的車両モデル(304)を他の車両(300)の向き(302)に適合するように構成されていることを特徴とする上記2~5のうち何れか一つに記載の駐車支援システム。
7.他の車両(300)の向き(302)を決定する画像評価ユニット(106)は、
-画像内の基準面(306)を認識する、
-画像内において、少なくとも他の車両(300)の二本のタイヤ(308)を特定する、
-複数のタイヤ(308)のそれぞれの外周の輪郭(310)を割出す、
-複数のタイヤ(308)の外周の輪郭(310)上のカメラ(102)に最も近い点を割出すことによって、基準面(306)と外周の輪郭(310)とのそれぞれ一つの交点(312)を形成する、
ように構成されていることを特徴とする上記1~6のうち何れか一つに記載の駐車支援システム。
8.画像評価ユニット(106)は、更に、基準面(306)、複数のタイヤ(308)、外周の輪郭(310)、交点(312)、及び/又は他の車両(300)の向き(302)の妥当性検証を実施するように構成されていることを特徴とする上記7に記載の駐車支援システム。
9.画像評価ユニット(106)は、他の車両(300)のフロント部(316)及び/又はリア部(314)を割出し、フロント部(316)及び/又はリア部(314)に依存してグリッド構造(104)を方向付けるように構成されていることを特徴とする上記1~8のうち何れか一つに記載の駐車支援システム。
10.車両(200)の周辺部(400)を描写する方法(600)であって、
当該方法は、
-車両の周辺部(400)の画像を撮影するステップ(S1)、
-グリッド構造を用いて車両の周辺部(400)を描写するステップ(S2)、
-画像内に写っている他の車両の向きを割出すステップ(S3)、
-他の車両の向きに応じて、グリッド構造を適合するステップ(S4)、
-適合済みグリッド構造上に画像を投影するステップ(S5)、
を含むことを特徴とする方法(600)。
11.-画像内において、基準面を認識するステップ(S6)、
-画像内において、他の車両の二本のタイヤを特定するステップ(S7)、
-複数のタイヤの外周の輪郭を割出すステップ(S8)、
-複数のタイヤの外周の輪郭上のカメラに最も近い点を割出すことによって、基準面と外周の輪郭との交点を形成するステップ(S9)、
-交点に応じて他の車両の向きを割出すステップ(S10)、
を含むことを特徴とする上記10に記載の方法。
12.-幾何学的形状、特に半球を形成するステップ(S11)、
-適合済みグリッド構造を形成するために、他の車両の向きに応じて、特に、曲げなどの手段で、幾何学的形状を変形するステップ(S12)、
を含むことを特徴とする上記10~11のいずれか一つに記載の方法。
13.-汎用的車両モデルを形成するステップ(S13)、
-汎用的車両モデルを幾何学的形状内に配置するステップ(S14)、
-適合済みグリッド構造を形成するために、他の車両の向きに応じて、スケーリング、移動、及び/又は回転によって、汎用的車両モデルを適応するステップ(S15)、
を含むことを特徴とする上記10~12のいずれか一つに記載の方法。
14.プログラムエレメントが駐車支援システム(100)で実施された時、駐車支援システム(100)に、上記10~13のうち何れか一つに記載の方法(600)のステップを実施するように駐車支援システム(100)に指示するプログラムエレメント。
15.上記14に記載のプログラムエレメントが格納されているコンピュータ可読媒体(500)。

Claims (12)

  1. 車両の周辺部(400)を描写するように構成されている、車両(200)用の駐車支援システム(100)であって、
    当該駐車支援システム(100)は、
    -少なくとも一枚の画像を撮影するように構成されている少なくとも一台のカメラ(102)であって、駐車支援システム(100)は、車両(200)の周辺部(400)をユーザに対して描写するために、グリッド構造(104)を使用する、カメラ(102)、-画像内で撮像されている他の車両(300)の向き(302)を決定し、グリッド構造(104)を他の車両(300)の決定した向き(302)に応じて適合し、適合済みグリッド構造(108)上に画像を投影するように構成されている画像評価ユニット(106)
    を備える、駐車支援システム(100)において
    の車両(300)の向き(302)を決定する画像評価ユニット(106)は、
    -画像内の基準面(306)を認識する、
    -画像内において、少なくとも他の車両(300)の二本のタイヤ(308)を特定する、
    -複数のタイヤ(308)のそれぞれの外周の輪郭(310)を割出す、
    -複数のタイヤ(308)の外周の輪郭(310)上のカメラ(102)に最も近い点を割出すことによって、基準面(306)と外周の輪郭(310)とのそれぞれ一つの交点(312)を形成する、
    ように構成されていることを特徴とする駐車支援システム(100)。
  2. グリッド構造(104)は、幾何学的形状、又は半球形状を備えることを特徴とする請求項1に記載の駐車支援システム。
  3. 画像評価ユニット(106)は、幾何学的形状を曲げなどの手段によって他の車両(300)の向き(302)に対して適合することができるように構成されていることを特徴とする請求項2に記載の駐車支援システム。
  4. 画像評価ユニットは、グリッド構造(104)が備える汎用的車両モデル(304)を、スケーリング、移動、及び/又は回転することによって他の車両(300)の向き(302)に適合するように構成されていることを特徴とする請求項3に記載の駐車支援システム。
  5. 画像評価ユニット(106)は、スケーリング、移動、及び/又は回転することによって、幾何学形状の汎用的車両モデル(304)を他の車両(300)の向き(302)に適合するように構成されていることを特徴とする請求項2~4のうち何れか一項に記載の駐車支援システム。
  6. 画像評価ユニット(106)は、更に、基準面(306)、複数のタイヤ(308)、外周の輪郭(310)、交点(312)、及び/又は他の車両(300)の向き(302)の妥当性検証を実施するように構成されていることを特徴とする請求項1~5に記載の駐車支援システム。
  7. 画像評価ユニット(106)は、他の車両(300)のフロント部(316)及び/又はリア部(314)を割出し、フロント部(316)及び/又はリア部(314)に依存してグリッド構造(104)を方向付けるように構成されていることを特徴とする請求項1~6のうち何れか一項に記載の駐車支援システム。
  8. 車両(200)の周辺部(400)を描写する方法(600)であって、
    車両(200)は、駐車支援システム(100)、画像評価ユニット(106)、コンピュータ可読媒体(500)を備え、
    前記コンピュータ可読媒体(500)は、前記方法(600)ステップを実施するように駐車支援システム(100)に指示するプログラムエレメントを備え、
    前記方法(600)は、以下のステップ、即ち、
    -車両の周辺部(400)の画像を撮影するステップ(S1)、
    -グリッド構造を用いて車両の周辺部(400)を描写するステップ(S2)
    他の車両の向きに応じて、グリッド構造を適合するステップ(S4)、
    -適合済みグリッド構造上に画像を投影するステップ(S5)、
    -画像内において、基準面を認識するステップ(S6)、
    -画像内において、他の車両の二本のタイヤを特定するステップ(S7)、
    -複数のタイヤの外周の輪郭を割出すステップ(S8)、
    -複数のタイヤの外周の輪郭上のカメラに最も近い点を割出すことによって、基準面と外周の輪郭との交点を形成するステップ(S9)、
    画像内に写っている他の車両の向きを、交点に応じて割出すステップ(S3、S10)、
    を含むことを特徴とする方法(600)。
  9. 前記方法(600)は、更に以下のステップ、即ち、
    -幾何学的形状、又は半球を形成するステップ(S11)、
    -適合済みグリッド構造を形成するために、他の車両の向きに応じて幾何学的形状を変形するステップ(S12)、
    を含むことを特徴とする請求項8に記載の方法。
  10. 前記方法(600)は、更に以下のステップ、即ち、
    -汎用的車両モデルを形成するステップ(S13)、
    -汎用的車両モデルを幾何学的形状内に配置するステップ(S14)、
    -適合済みグリッド構造を形成するために、他の車両の向きに応じて、スケーリング、移動、及び/又は回転によって、汎用的車両モデルを適応するステップ(S15)、
    を含むことを特徴とする請求項9に記載の方法。
  11. プログラムエレメントが駐車支援システム(100)で実施された時、駐車支援システム(100)に、請求項8~10のうち何れか一項に記載の方法(600)のステップを実施するように駐車支援システム(100)に指示するプログラムエレメント。
  12. 請求項11に記載のプログラムエレメントが格納されているコンピュータ可読媒体(500)。
JP2021550060A 2019-04-02 2020-03-18 駐車支援システム Active JP7393432B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102019204656.8 2019-04-02
DE102019204656.8A DE102019204656A1 (de) 2019-04-02 2019-04-02 Parkassistenzsystem
PCT/DE2020/200019 WO2020200373A1 (de) 2019-04-02 2020-03-18 Parkassistenzsystem

Publications (3)

Publication Number Publication Date
JP2022522449A JP2022522449A (ja) 2022-04-19
JPWO2020200373A5 JPWO2020200373A5 (ja) 2023-03-10
JP7393432B2 true JP7393432B2 (ja) 2023-12-06

Family

ID=70285369

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021550060A Active JP7393432B2 (ja) 2019-04-02 2020-03-18 駐車支援システム

Country Status (6)

Country Link
US (1) US20220161723A1 (ja)
EP (1) EP3948784A1 (ja)
JP (1) JP7393432B2 (ja)
CN (1) CN113544742B (ja)
DE (1) DE102019204656A1 (ja)
WO (1) WO2020200373A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013084130A (ja) 2011-10-11 2013-05-09 Fujitsu Ltd 画像認識システムおよび画像認識方法
US20140278065A1 (en) 2013-03-14 2014-09-18 Robert Bosch Gmbh System and Method for Distortion Correction in Three-Dimensional Environment Visualization

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7145519B2 (en) * 2002-04-18 2006-12-05 Nissan Motor Co., Ltd. Image display apparatus, method, and program for automotive vehicle
JP3927512B2 (ja) * 2003-03-27 2007-06-13 トヨタ自動車株式会社 駐車支援装置
US7085634B2 (en) * 2003-04-11 2006-08-01 Toyota Jidosha Kabushiki Kaisha Parking assist apparatus and parking assist method for vehicle
JP4461920B2 (ja) * 2004-06-23 2010-05-12 株式会社デンソー 駐車支援装置
EP1696669B1 (en) * 2005-02-24 2013-07-03 Aisin Seiki Kabushiki Kaisha Vehicle surrounding monitoring device
DE102006013936A1 (de) * 2006-03-16 2007-09-20 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben eines Umgebungserkennungssystems eines Fahrzeugs, insbesondere eines Nahbereichserkennungs- oder Parkhilfesystems und zugehöriges System
JP4818816B2 (ja) * 2006-06-05 2011-11-16 富士通株式会社 駐車支援プログラム及び駐車支援装置
JP2008143430A (ja) * 2006-12-12 2008-06-26 Toyota Motor Corp 駐車支援装置
JP5088074B2 (ja) * 2007-10-01 2012-12-05 日産自動車株式会社 駐車支援装置及び方法
JP5439890B2 (ja) * 2009-03-25 2014-03-12 富士通株式会社 画像処理方法、画像処理装置及びプログラム
FR2954923B1 (fr) * 2010-01-06 2012-05-04 Delphi Tech Inc Dispositif diffractif de signalisation pour retroviseur avec affichage 2d/3d
DE112010005646B4 (de) * 2010-06-07 2016-06-02 Mitsubishi Electric Corporation Kameraabstandsmessvorrichtung
DE102011084554A1 (de) * 2011-10-14 2013-04-18 Robert Bosch Gmbh Verfahren zur Darstellung eines Fahrzeugumfeldes
DE102011084993A1 (de) * 2011-10-21 2013-04-25 Robert Bosch Gmbh Übernahme von Daten aus bilddatenbasierenden Kartendiensten in ein Assistenzsystem
US20150143913A1 (en) * 2012-01-19 2015-05-28 Purdue Research Foundation Multi-modal sensing for vehicle
DE102012005851A1 (de) * 2012-03-22 2013-09-26 Connaught Electronics Ltd. Verfahren zum Warnen des Fahrers eines Kraftfahrzeugs vor der Anwesenheit einesObjekts in der Umgebung des Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
JP5911775B2 (ja) * 2012-08-21 2016-04-27 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
DE102012018325A1 (de) * 2012-09-15 2014-03-20 DSP-Weuffen GmbH Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem mit adaptiver Umsichtdarstellung
JP6187781B2 (ja) * 2012-11-06 2017-09-06 パナソニックIpマネジメント株式会社 駐車支援装置
KR101449295B1 (ko) * 2013-06-04 2014-10-13 현대자동차주식회사 주차구획 추적 장치 및 방법
JP6303377B2 (ja) * 2013-10-04 2018-04-04 アイシン精機株式会社 駐車支援装置
DE112014006149T5 (de) * 2014-01-10 2016-09-29 Aisin Seiki Kabushiki Kaisha Bildanzeigesteuervorrichtung und Bildanzeigesystem
DE102014204303A1 (de) * 2014-03-10 2015-09-10 Robert Bosch Gmbh Verfahren zum Zusammenfügen von Einzelbildern, die von einem Kamerasystem aus unterschiedlichen Positionen aufgenommen wurden, zu einem gemeinsamen Bild
DE102015202863A1 (de) * 2015-02-17 2016-08-18 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zum verzerrungsfreien Anzeigen einer Fahrzeugumgebung eines Fahrzeuges
KR102267562B1 (ko) * 2015-04-16 2021-06-22 한국전자통신연구원 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법
DE102016205285A1 (de) * 2016-03-31 2017-10-05 Ford Global Technologies, Llc Fernsteuervorrichtung zum Fernsteuern eines Kraftfahrzeugs
EP3614105B1 (en) * 2016-06-27 2023-10-18 Mobileye Vision Technologies Ltd. Controlling host vehicle based on detected parked vehicle characteristics
US10481609B2 (en) * 2016-12-09 2019-11-19 Ford Global Technologies, Llc Parking-lot-navigation system and method
JP7002210B2 (ja) * 2017-04-07 2022-01-20 フォルシアクラリオン・エレクトロニクス株式会社 駐車支援装置
JP7091624B2 (ja) * 2017-09-15 2022-06-28 株式会社アイシン 画像処理装置
US10384718B1 (en) * 2018-03-26 2019-08-20 Zoox, Inc. Vehicle parking assist
US10854011B2 (en) * 2018-04-09 2020-12-01 Direct Current Capital LLC Method for rendering 2D and 3D data within a 3D virtual environment

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013084130A (ja) 2011-10-11 2013-05-09 Fujitsu Ltd 画像認識システムおよび画像認識方法
US20140278065A1 (en) 2013-03-14 2014-09-18 Robert Bosch Gmbh System and Method for Distortion Correction in Three-Dimensional Environment Visualization

Also Published As

Publication number Publication date
CN113544742B (zh) 2024-03-26
EP3948784A1 (de) 2022-02-09
DE102019204656A1 (de) 2020-10-08
CN113544742A (zh) 2021-10-22
WO2020200373A1 (de) 2020-10-08
US20220161723A1 (en) 2022-05-26
JP2022522449A (ja) 2022-04-19

Similar Documents

Publication Publication Date Title
CN107577988B (zh) 实现侧方车辆定位的方法、装置及存储介质、程序产品
US20190028632A1 (en) Camera parameter set calculation apparatus, camera parameter set calculation method, and recording medium
CN111750820B (zh) 影像定位方法及其系统
JP5739584B2 (ja) 車両周辺視角化のための3次元映像合成装置およびその方法
JP5729158B2 (ja) 駐車支援装置および駐車支援方法
US10645365B2 (en) Camera parameter set calculation apparatus, camera parameter set calculation method, and recording medium
US9082020B2 (en) Apparatus and method for calculating and displaying the height of an object detected in an image on a display
JP6891954B2 (ja) 物体検知装置、物体検知方法、及びプログラム
US11410430B2 (en) Surround view system having an adapted projection surface
JP2010239412A (ja) 車載カメラの校正装置、方法、及びプログラム
JP5240527B2 (ja) 車載カメラの校正装置、方法、及びプログラム
KR102227855B1 (ko) 주차 가이드 시스템 및 그 제어방법
KR960042482A (ko) 물체 관측 방법 및 그 방법을 이용한 물체 관측 장치와, 이 장치를 이용한 교통 흐름 계측 장치 및 주차장 관측 장치
JP2004354257A (ja) キャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム
US20200177867A1 (en) Camera-parameter-set calculation apparatus, camera-parameter-set calculation method, and recording medium
US20180229656A1 (en) Apparatus for presenting support images to a driver and method thereof
US8837858B2 (en) Apparatus and method for correcting image distortion of rear camera
JP6614754B2 (ja) 車両上に配置された全方向カメラからの全方向画像をレクティリニア画像に変換する方法
JP6979229B2 (ja) 魚眼レンズが装着された2次元カメラを使用して2次元イメージショットで乗客の状態を予測するための方法及び装置{method and device for estimating passenger statuses in 2 dimension image shot by using 2 dimension camera with fisheye lens}
CN114047487B (zh) 雷达和车体的外参标定方法、装置、电子设备和存储介质
JP7393432B2 (ja) 駐車支援システム
CN117315046A (zh) 一种环视相机标定方法、装置、电子设备及存储介质
US10812691B2 (en) Image capturing apparatus and image capturing method
JPH1055446A (ja) 物体認識装置
JP7380443B2 (ja) 部分画像生成装置及び部分画像生成用コンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210826

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221005

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221226

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20230302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231124

R150 Certificate of patent or registration of utility model

Ref document number: 7393432

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150