JP5052707B2 - 車両周辺監視装置 - Google Patents
車両周辺監視装置 Download PDFInfo
- Publication number
- JP5052707B2 JP5052707B2 JP2012520156A JP2012520156A JP5052707B2 JP 5052707 B2 JP5052707 B2 JP 5052707B2 JP 2012520156 A JP2012520156 A JP 2012520156A JP 2012520156 A JP2012520156 A JP 2012520156A JP 5052707 B2 JP5052707 B2 JP 5052707B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- obstacle
- camera
- camera image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012806 monitoring device Methods 0.000 title claims description 30
- 238000006243 chemical reaction Methods 0.000 claims description 165
- 238000013507 mapping Methods 0.000 claims description 105
- 238000001514 detection method Methods 0.000 claims description 80
- 238000003384 imaging method Methods 0.000 claims description 56
- 238000012545 processing Methods 0.000 claims description 19
- 238000012544 monitoring process Methods 0.000 claims description 14
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 34
- 238000000034 method Methods 0.000 description 10
- 239000003550 marker Substances 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 239000002131 composite material Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 240000004050 Pentaglottis sempervirens Species 0.000 description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Description
実施の形態1.
本発明では、カメラの視野(画角)に水平方向で180度以上の画角を持つ、いわゆる魚眼レンズの射影方式の1個のカメラを用い、距離センサから得られた障害物までのベクトル情報に従って、煩雑なユーザ操作を伴わず、障害物を把握し易いカメラ画像を安価に提供し、安全に寄与するものである。
距離センサ(検知部)2は、車両周辺に検知波を照射し障害物からの反射信号に基づいて、障害物とのベクトル(距離と方向)を計測するセンサである。検知波としては、超音波やレーザー光、電波等が挙げられる。また、距離センサ2において、検知波が到達して障害物を検知できる範囲は有限である。この範囲を距離センサ2による障害物検知範囲(以下、単に障害物検知範囲と記載する)と呼ぶ。
カメラ部3は、車両の周辺(例えば、車両後方)を撮像する撮像部としてのカメラ(図示せず)を有しており、位置マッピング部4にカメラで撮像したカメラ画像を送信する。
マッピング変換部5は、位置マッピング部4によって位置マッピングされた障害物の位置(ベクトル)が、カメラ画像の所定の位置となるようにマッピング変換する構成部である。例えば、カメラ画像における障害物の位置が、カメラ画像の画面の各辺若しくは各角の近傍になるように、マッピング変換部5が、画像変換の変換パラメータを導出する。
カメラ画像変換部6は、マッピング変換部5によって導出された変換パラメータを用いて、カメラ画像を画像変換してカメラ映像出力を得る構成部である。画像変換としては、拡大縮小、俯瞰画像変換、任意方向の出力サイズ変更、基準点移動、画面モード変更等が挙げられる。これらの詳細は、後述する。
しかしながら、図2(a)及び図2(b)に示すような車両200の後部に設置されたリアカメラ(カメラ部3)が、水平方向の取り付け角度φが0度であり、垂直方向の取り付け角度θが任意の角度で設置されている場合、カメラ部3の撮像範囲210内の路面上にある正方形の被写体は、カメラ画像では台形となって出力される(後述する図12の画面B2参照)。また、水平方向の取り付け角度φが任意の角度である場合は、カメラ部3の撮像範囲210内の路面上にある正方形の被写体は、カメラ画像では四角形(正方形か長方形)となって出力される(後述する図12の画面B1参照)。ここでは、説明を簡略化するため、水平方向の取り付け角度φは0度とする。
このような距離センサ2を複数個(距離センサ2−1〜2−4)用意することで、車両幅方向を満足し、車両200からの長さ方向のいわゆる車両200から障害物までの距離と障害物の車両幅方向の位置とによる2次元での障害物のベクトル(距離と方向)を得ることができる。
これによって、障害物検知範囲2Aは、位置マッピング部4によってカメラ画像の座標に位置マッピングされるので、距離センサ2で得られた障害物の位置は、障害物検知範囲2Aの撮像範囲3A1に含まれる部分に存在する場合、撮像画面(カメラ画像面)の相当する位置の座標で表され、撮像範囲3A1に含まれない部分に存在する場合は撮像範囲外として表される。従って、撮像画像座標での一元表記が可能になる。
なお、図示はしていないが、画像変換後の画像範囲と障害物検知範囲2Aとの位置マッピングも、図4〜5と同様な方法で実施できる。
(A)障害物が撮像範囲にも障害物検知範囲にも存在しない場合
この場合は、距離センサ2及びカメラ部3の双方において障害物が検知できないので、利用者に障害物の存在を報知できない。
(B)障害物が撮像範囲内に存在するが、障害物検知範囲には存在しない場合
この場合、カメラ部3が障害物を撮像したカメラ画像を提示することで、利用者に障害物の存在を報知することができる。
(C)障害物が撮像範囲及び障害物検知範囲の双方に存在する場合
例えば、図8(a)及び図8(b)に示すように、撮像範囲Aにも障害物検知範囲2Aにも障害物100が存在する場合、このとき、距離センサ2で検知された障害物100のベクトル(距離と方向)を位置マッピングして撮像範囲の座標若しくは画像範囲の座標に変換することで、障害物100の報知に対して有益な画像変換方法を提供できる。
(D)障害物が障害物検知範囲内に存在するが、撮像範囲には存在しない場合
この場合(後述する図14参照)においても、距離センサ2で検知された障害物100のベクトル(距離と方向)を位置マッピングして撮像範囲の座標若しくは画像範囲の座標に変換することで、障害物100の報知に対して有益な画像変換方法を提供できる。
さらに、上記の(C)及び(D)においては、障害物検知範囲内の障害物と撮像範囲内の障害物との区別がつかない。
そこで、本発明では、障害物検知範囲内の障害物の位置をカメラ画像の座標に変換する位置マッピング部4を設けることで、カメラ画像の被写体として障害物を検知して適切な報知が可能である。
距離センサ2によって障害物の位置をベクトル(距離と方向)で計測し、カメラ部3で撮像範囲を撮像する。位置マッピング部4には、カメラ部3の撮像範囲を特定する情報が予め設定されており、距離センサ2による障害物の検知結果を入力すると、距離センサ2で検知された障害物の位置をカメラ画像上の座標位置に変換する。
カメラ画像変換部6は、カメラ部3からカメラ画像データを入力し、マッピング変換部5から変換パラメータを入力すると、当該変換パラメータに従ってカメラ画像を画像変換し、カメラ映像出力する。
図9は、カメラ画像を拡大縮小する画像変換を説明するための図である。マッピング変換部5が、カメラ画像に障害物100を拡大して表示する場合、図9に示すカメラ画像Aからカメラ画像Bへの変換パラメータ(障害物100の画像の拡大)を導出する。逆に、カメラ画像に障害物100を縮小して表示する場合、図9に示すカメラ画像Bからカメラ画像Aへの変換パラメータ(障害物100の画像の縮小)を導出する。
拡大縮小の変換パラメータとしては、元画像(A又はB)の障害物を囲む四辺形のエリアを特定できる座標、例えば、当該四辺形の対角の座標のうち、左上の座標(x1,y1)と右下の座標(x3,y3)を指定し、拡大(縮小)の値を設定したものが考えられ、この変換パラメータに従って、障害物を囲む四辺形を画像出力の出力サイズ(X,Y)の座標上に、拡大(縮小)を行う。
その四辺形を画像出力の出力サイズ(X,Y)の座標上に設定するものが考えられる。
この俯瞰画像変換の変換パラメータに従って上記四辺形の変形を行うことで、図10に示すような俯瞰画像を得ることができる。
元画像Aには障害物100が映っているが、カメラ画像表示窓を通した映像出力に障害物100が映らない、若しくは一部が映っている場合に、カメラ画像表示窓の位置を変更して障害物100が映っている範囲を映像出力とするものである。基準点移動の変換パラメータとしては、元画像の基準点(0,0)に対して、被写体が写る基準点の座標(x5,y5)を指定するものが考えられ、この変換パラメータに従って基準点移動することにより、画像Bのような映像出力が得られる。
なお、上述した、拡大縮小、俯瞰画像変換、基準点移動を組み合わせて変換画像を得てもかまわない。
つまり、カメラ部3のカメラのレンズとして魚眼レンズを用いることで、画面Aでは、障害物100が歪んで表示される。この画面モードを特定する画面モードIDを、例えば“1”とする。画面Aの画像に対してカメラに起因する歪み補正を施すと、画面B1のように、障害物100の形状の歪みが補正される。この画面モードを特定する画面モードIDを、例えば“2”とする。画面A又は画面B1を俯瞰画像変換すると、画面B2が得られる。この画面モードを特定する画面モードIDを、例えば“3”とする。
画面モードの遷移は、位置マッピングの所定の範囲になった場合に、画面モードIDを指示して実施する。
図13は、この発明の実施の形態2による車両周辺監視装置の構成を概略的に示すブロック図である。図13において、実施の形態2の車両周辺監視装置1Aは、距離センサ2、カメラ部3、マッピング変換部5及びカメラ画像変換部6に加え、位置マッピング部4及び位置マッピング外判定部8を有するマッピング部7と障害物案内処理部9を備える。
実施の形態2は、カメラ部3の撮像範囲が、距離センサ2の障害物検知範囲より狭く、カメラ画像に障害物検知範囲の一部が含まれない場合も想定している。
位置マッピング外判定部8は、位置マッピング部4の処理結果を調査して、障害物の位置が撮像範囲内(位置マッピング内)にあるか否かを判定する。このとき、撮像範囲外に障害物が存在すると判定した場合、位置マッピング外判定部8は、その旨を障害物案内処理部9へ通知する。
障害物案内処理部9は、位置マッピング外判定部8から上記通知を受けると、障害物がカメラ画像上に無いことを利用者に報知する。この通知は、カメラ映像の画面に所定のマークを表示するか、音声で行う。
これにより、距離センサ2で検知した障害物が、カメラ画像上にない場合でも障害物に対する報知が可能となり安全に寄与することができる。
図16は、この発明の実施の形態3による車両周辺監視装置の構成を概略的に示すブロック図である。図16において、実施の形態3の車両周辺監視装置1Bは、上記実施の形態2と同様の構成部を備えるが、マッピング部7によって、距離センサ2の障害物検知範囲を、カメラ画像変換部6で画像変換されたカメラ画像上の座標に位置マッピングして、画像変換後の画面内に障害物があるか否かを判定する点で異なる。
このとき、障害物のマッピング位置があると判定されると、マッピング変換部5が、障害物の位置が画像上の所定位置になるようにカメラ画像を画像変換する変換パラメータを導出してカメラ画像変換部6へ出力する。これにより、カメラ画像変換部6が、カメラ画像に障害物の位置を上記所定位置にする画像変換を施してマッピング部7へ出力し、上記と同様の処理を行う。
障害物案内処理部9は、位置マッピング外判定部8から上記通知を受けると、障害物がカメラ画像上に無いことを利用者に報知する。この通知は、カメラ映像の画面に所定のマークを表示するか、音声で行う。
実施の形態4は、カメラ画像変換部6による変換後のカメラ画像上に、マッピング変換部5からの変換パラメータに従って、画像重畳部10が、障害物の位置にマーカー等の画像を重畳するものである。
図19は、この発明の実施の形態5による車両周辺監視装置の主要構成を示すブロック図であり、実施の形態5の構成を上記実施の形態1に適用したもので、図1における距離センサ2及び位置マッピング部4の記載を省略している。
図19に示す合成部11は、カメラ部3で撮像された元画像(撮像範囲)と、カメラ画像変換部6で画像変換した変換画像(画像範囲)とを、同一の画面上に配置した合成画像を生成する構成部である。
例えば、元画像と変換画像とを、表示装置の画面上で二画面表示する画像を生成する。また、実施の形態5の画像重畳部10では、マッピング変換部5の変換パラメータから、元画像(撮像範囲)における障害物の画像エリアの座標と、変換画像(画像範囲)における障害物の画像エリアの座標とを特定し、元画像と変換画像とにおける障害物の画像エリアを、合成部11で得られた合成画面における撮像範囲と画像範囲にそれぞれ重畳してカメラ映像出力を得る。
図21は、この発明の実施の形態6による車両周辺監視装置の主要構成を示すブロック図であり、実施の形態6の構成を上記実施の形態1に適用したもので、図1における距離センサ2、位置マッピング部4及びマッピング変換部5の記載を省略している。図21において、注意喚起音発生部12は、カメラ画像変換部6がカメラ画像を画像変換するにあたり、画像変換に対する案内を注意音として出力する。
このように画像が変換されることを報知することで、画像範囲の変化に対しての離散性の緩和を行うことができる。なお、実施の形態6は、上記実施の形態2,3のカメラ画像変換部6に対しても適用することができる。
図22は、この発明の実施の形態7による車両周辺監視装置の主要構成を示すブロック図であり、実施の形態7の構成を上記実施の形態1に適用したもので、図1における位置マッピング部4、マッピング変換部5及びカメラ画像変換部6の記載を省略している。図22に示すカメラ部3は、距離センサ2が障害物を発見したことを契機に起動する。このようにすることで、障害物が遠く安全である場合は、カメラ映像を表示せず、距離センサ2の障害物検知範囲に障害物が存在するときに、カメラ画像として障害物を報知することで、運転の安全性に寄与することができる。なお、実施の形態7は、上記実施の形態2〜5のカメラ部3に対しても適用することができる。
図23は、実施の形態8の車両周辺監視装置によるカメラ画像表示の一例を示す図である。実施の形態8では、マッピング変換部5及びカメラ画像変換部6が、障害物100の画像上の位置が、出力画像Bの左辺、上辺、右辺近傍となるように画像変換する。また、画像Bの下辺には、車両200のボディが位置するものとする。
つまり、距離センサ2によって検知された障害物100のカメラ画像上の位置が、画像変換後のカメラ画像の矩形における車両200に最も近い辺(下辺)を除いたいずれかの辺(左辺、上辺、右辺)の近傍となるようにマッピング変換する。
なお、実施の形態8は、上記実施の形態1〜7に適用することができる。
図24は、実施の形態9の車両周辺監視装置によるカメラ画像表示の一例を示す図である。実施の形態9では、マッピング変換部5及びカメラ画像変換部6が、障害物100の画像上の位置が、出力画像Bの上辺中央となるとなるように画像変換する。つまり、距離センサ2によって検知された障害物100のカメラ画像上の位置が、画像変換後のカメラ画像の矩形における車両200から最も離れた辺(上辺)の中央部となるようにマッピング変換する。なお、実施の形態9は、上記実施の形態1〜7に適用することができる。
図25は、実施の形態10の車両周辺監視装置によるカメラ画像表示の一例を示す図である。実施の形態10では、マッピング変換部5及びカメラ画像変換部6が、障害物100の画像上の位置が、出力画像Bの画面中央となるとなるように画像変換する。なお、実施の形態10は、上記実施の形態1〜7に適用することができる。
Claims (16)
- 障害物を検知する検知部の車両周辺の検知範囲における位置関係を、前記車両周辺を撮像範囲とするカメラ部によって撮像されたカメラ画像上の座標で表現する位置マッピングを行う位置マッピング部と、
前記検知部で検知された前記障害物の位置が、前記位置マッピング部によって位置マッピングされた前記カメラ画像上の所定の位置となるようにマッピング変換する変換パラメータを導出するマッピング変換部と、
前記マッピング変換部によって得られた変換パラメータを用いて、前記障害物の位置が前記所定の位置となるように前記カメラ画像を画像変換するカメラ画像変換部とを備えた車両周辺監視装置。 - 前記位置マッピング部によって位置マッピングされた前記カメラ画像上に障害物があるか否かを判定する位置マッピング外判定部と、
前記位置マッピング外判定部によって前記カメラ画像内に前記障害物がないと判定されると、前記カメラ画像上に前記障害物がないことを案内する案内処理部とを備えたことを特徴とする請求項1記載の車両周辺監視装置。 - 前記カメラ画像変換部は、出力を前記位置マッピング部へ戻して、前記検知部で検知された前記障害物の位置が、前記カメラ画像上の所定の位置となるように画像変換を繰り返し、
前記案内処理部は、前記カメラ画像変換部による画像変換を所定回数繰り返しても、前記障害物が前記カメラ画像上に現れない場合、前記カメラ画像上に前記障害物がないことを案内することを特徴とする請求項2記載の車両周辺監視装置。 - 前記カメラ画像変換部は、カメラ画像を拡大縮小する画像変換を行うことを特徴とする請求項1記載の車両周辺監視装置。
- 前記カメラ画像変換部は、カメラ画像を俯瞰画像変換することを特徴とする請求項1記載の車両周辺監視装置。
- 前記カメラ画像変換部は、カメラ画像の基準点を変更する画像変換を行うことを特徴とする請求項1記載の車両周辺監視装置。
- 前記カメラ画像変換部は、前記カメラ画像の歪みを補正する画面モードと、前記カメラ画像を俯瞰画像変換する画面モードとを切り替えて画像変換を行うことを特徴とする請求項1記載の車両周辺監視装置。
- 前記マッピング変換部は、前記カメラ画像を矩形画像として表示する場合、前記検知部で検知された障害物の位置が、前記矩形画像における車両に最も近い辺を除くいずれかの辺の近傍の位置となるようにマッピング変換することを特徴とする請求項1記載の車両周辺監視装置。
- 前記マッピング変換部は、前記カメラ画像を矩形画像として表示する場合、前記検知部で検知された障害物の位置が、前記矩形画像における車両から最も離れた辺の中央部となるようにマッピング変換することを特徴とする請求項1記載の車両周辺監視装置。
- 前記マッピング変換部は、前記検知部で検知された障害物の位置が、前記カメラ画像の中央部となるようにマッピング変換することを特徴とする請求項1記載の車両周辺監視装置。
- 前記カメラ画像変換部で画像変換した画像に障害物の位置を示す画像を重畳する画像重畳部を備えたことを特徴とする請求項1記載の車両周辺監視装置。
- 前記カメラ部と前記カメラ画像変換部の両方の出力を同一の画面で表示する画像を生成する合成部と、
前記合成部に生成された画像に対して前記カメラ部で撮像したカメラ画像と前記カメラ画像変換部で画像変換した画像を重畳する画像重畳部とを備えたことを特徴とする請求項1記載の車両周辺監視装置。 - 前記カメラ画像変換部で画像変換を行う際、音声で当該画像変換に対する案内を行う注意喚起音発生部を備えたことを特徴とする請求項1記載の車両周辺監視装置。
- 前記案内処理部は、前記カメラ画像上に前記障害物がないことを案内する画像を、前記カメラ画像変換部で画像変換した画像に重畳して報知することを特徴とする請求項2記載の車両周辺監視装置。
- 前記案内処理部は、前記カメラ画像上に前記障害物がないことを案内音声で報知することを特徴とする請求項2記載の車両周辺監視装置。
- 前記カメラ部は、前記検知部で障害物が検知されたことを契機として撮像動作を起動することを特徴とする請求項1記載の車両周辺監視装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2010/003966 WO2011158285A1 (ja) | 2010-06-15 | 2010-06-15 | 車両周辺監視装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5052707B2 true JP5052707B2 (ja) | 2012-10-17 |
JPWO2011158285A1 JPWO2011158285A1 (ja) | 2013-08-15 |
Family
ID=45347719
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012520156A Active JP5052707B2 (ja) | 2010-06-15 | 2010-06-15 | 車両周辺監視装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9064293B2 (ja) |
JP (1) | JP5052707B2 (ja) |
CN (1) | CN102918833B (ja) |
DE (1) | DE112010005661B4 (ja) |
WO (1) | WO2011158285A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101629577B1 (ko) * | 2014-12-10 | 2016-06-13 | 현대오트론 주식회사 | 카메라를 이용한 모니터링 방법 및 장치 |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20130051681A (ko) * | 2011-11-10 | 2013-05-21 | 한국전자통신연구원 | 노면 표식물 인식 시스템 및 방법 |
US9738253B2 (en) * | 2012-05-15 | 2017-08-22 | Aps Systems, Llc. | Sensor system for motor vehicle |
KR101482171B1 (ko) * | 2013-09-05 | 2015-01-13 | 현대모비스(주) | 어라운드뷰 정차모드 제어방법 |
TWI533694B (zh) * | 2013-12-18 | 2016-05-11 | 歐特明電子股份有限公司 | 車用障礙物偵測顯示系統 |
US9598012B2 (en) * | 2014-03-11 | 2017-03-21 | Toyota Motor Engineering & Manufacturing North America, Inc. | Surroundings monitoring system for a vehicle |
JP6381937B2 (ja) * | 2014-03-17 | 2018-08-29 | クラリオン株式会社 | 車両用ドア開閉制御装置 |
DE102014107235A1 (de) * | 2014-05-22 | 2015-11-26 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeigevorrichtung; eine Anzeigevorrichtung; ein System aus einer Mehrzahl an Bilderfassungseinheiten und einer Anzeigevorrichtung; ein Computerprogramm |
US20170134662A1 (en) * | 2014-07-01 | 2017-05-11 | Nissan Motor Co., Ltd. | Vehicular display apparatus and vehicular display method |
US10696216B2 (en) * | 2016-02-12 | 2020-06-30 | Mitsubishi Electric Corporation | Information display device and information display method |
EP3223188A1 (en) * | 2016-03-22 | 2017-09-27 | Autoliv Development AB | A vehicle environment mapping system |
JP6595401B2 (ja) * | 2016-04-26 | 2019-10-23 | 株式会社Soken | 表示制御装置 |
JP6405344B2 (ja) * | 2016-07-21 | 2018-10-17 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 移動体、移動体の障害物検知方法および移動体の障害物検知プログラム |
DE102016223185A1 (de) * | 2016-11-23 | 2018-05-24 | Robert Bosch Gmbh | Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts |
US20180210442A1 (en) * | 2017-01-23 | 2018-07-26 | Qualcomm Incorporated | Systems and methods for controlling a vehicle using a mobile device |
JP2018165947A (ja) * | 2017-03-28 | 2018-10-25 | パイオニア株式会社 | 画像処理装置及び画像処理方法並びに画像処理用プログラム及び記録媒体 |
JP6925848B2 (ja) * | 2017-04-13 | 2021-08-25 | アルパイン株式会社 | 表示制御装置、表示制御方法及びカメラモニタリングシステム |
US10491807B2 (en) * | 2017-06-27 | 2019-11-26 | GM Global Technology Operations LLC | Method to use vehicle information and sensors for photography and video viewing recording |
US20190100146A1 (en) * | 2017-10-02 | 2019-04-04 | Hua-Chuang Automobile Information Technical Center Co., Ltd. | Three-dimensional driving image reminder device |
WO2020080434A1 (ja) * | 2018-10-16 | 2020-04-23 | 株式会社タダノ | クレーン装置 |
CN111409553B (zh) * | 2019-01-08 | 2024-02-20 | 上汽通用五菱汽车股份有限公司 | 一种adas显示装置与方法 |
JP7287355B2 (ja) * | 2020-06-26 | 2023-06-06 | トヨタ自動車株式会社 | 車両周辺監視装置 |
CN113450597B (zh) * | 2021-06-09 | 2022-11-29 | 浙江兆晟科技股份有限公司 | 基于深度学习的船舶辅助航行方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004064150A (ja) * | 2002-07-24 | 2004-02-26 | Sumitomo Electric Ind Ltd | 画像変換システム及び画像処理装置 |
JP2006178667A (ja) * | 2004-12-21 | 2006-07-06 | Nissan Motor Co Ltd | 車両用映像補正装置及び車両用映像補正方法 |
JP2009118416A (ja) * | 2007-11-09 | 2009-05-28 | Alpine Electronics Inc | 車両周辺画像生成装置および車両周辺画像の歪み補正方法 |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DK0907094T3 (da) | 1997-04-07 | 2006-05-15 | Polaris Inter Ab | Brille |
EP2267656A3 (en) | 1998-07-31 | 2012-09-26 | Panasonic Corporation | Image displaying apparatus und image displaying method |
DE19945588A1 (de) * | 1999-09-23 | 2001-04-19 | Bayerische Motoren Werke Ag | Sensoranordnung |
US6535114B1 (en) | 2000-03-22 | 2003-03-18 | Toyota Jidosha Kabushiki Kaisha | Method and apparatus for environment recognition |
US6734896B2 (en) * | 2000-04-28 | 2004-05-11 | Matsushita Electric Industrial Co., Ltd. | Image processor and monitoring system |
WO2002007443A1 (fr) * | 2000-07-19 | 2002-01-24 | Matsushita Electric Industrial Co., Ltd. | Systeme de controle |
DE60207655T2 (de) * | 2001-09-07 | 2006-06-08 | Matsushita Electric Industrial Co., Ltd., Kadoma | Vorrichtung zum Anzeigen der Umgebung eines Fahrzeuges und System zur Bildbereitstellung |
JP3855814B2 (ja) * | 2002-03-22 | 2006-12-13 | 日産自動車株式会社 | 車両用画像処理装置 |
US7834905B2 (en) * | 2002-06-18 | 2010-11-16 | Bayerische Motoren Werke Aktiengesellschaft | Method and system for visualizing the environment of a vehicle with a distance-dependent merging of an infrared and a visual image |
JP2004086523A (ja) * | 2002-08-27 | 2004-03-18 | Suzuki Motor Corp | 車両用警戒情報提供装置 |
FR2853121B1 (fr) * | 2003-03-25 | 2006-12-15 | Imra Europe Sa | Dispositif de surveillance des alentours d'un vehicule |
JP4433887B2 (ja) | 2003-07-01 | 2010-03-17 | 日産自動車株式会社 | 車両用外界認識装置 |
JP2005025692A (ja) * | 2003-07-04 | 2005-01-27 | Suzuki Motor Corp | 車両用情報提供装置 |
US7356408B2 (en) * | 2003-10-17 | 2008-04-08 | Fuji Jukogyo Kabushiki Kaisha | Information display apparatus and information display method |
DE102005015088B4 (de) * | 2004-04-02 | 2015-06-18 | Denso Corporation | Fahrzeugumgebungsüberwachungssystem |
JP4526868B2 (ja) | 2004-05-12 | 2010-08-18 | アルパイン株式会社 | トップビュー画像生成装置及びトップビュー画像表示方法 |
JP4573242B2 (ja) | 2004-11-09 | 2010-11-04 | アルパイン株式会社 | 運転支援装置 |
JP2006341641A (ja) * | 2005-06-07 | 2006-12-21 | Nissan Motor Co Ltd | 映像表示装置及び映像表示方法 |
JP4600760B2 (ja) * | 2005-06-27 | 2010-12-15 | アイシン精機株式会社 | 障害物検出装置 |
JP4760831B2 (ja) | 2005-08-02 | 2011-08-31 | 日産自動車株式会社 | 車両周囲監視装置及び車両周囲監視方法 |
JP2008026802A (ja) * | 2006-07-25 | 2008-02-07 | Canon Inc | 撮像装置 |
EP1921867B1 (en) * | 2006-10-17 | 2016-05-25 | Harman Becker Automotive Systems GmbH | Sensor assisted video compression |
JP4404103B2 (ja) * | 2007-03-22 | 2010-01-27 | 株式会社デンソー | 車両外部撮影表示システムおよび画像表示制御装置 |
JP2009060404A (ja) * | 2007-08-31 | 2009-03-19 | Denso Corp | 映像処理装置 |
JP4458138B2 (ja) | 2007-09-18 | 2010-04-28 | 株式会社デンソー | 車両周辺監視装置 |
JP5057936B2 (ja) * | 2007-11-09 | 2012-10-24 | アルパイン株式会社 | 鳥瞰画像生成装置および方法 |
US8340870B2 (en) * | 2008-09-16 | 2012-12-25 | Honda Motor Co., Ltd. | Vehicle maneuver assistance device |
US8416300B2 (en) * | 2009-05-20 | 2013-04-09 | International Business Machines Corporation | Traffic system for enhancing driver visibility |
TWI392366B (zh) * | 2009-12-31 | 2013-04-01 | Ind Tech Res Inst | 全周鳥瞰影像距離介面產生方法與系統 |
US8396653B2 (en) * | 2010-02-12 | 2013-03-12 | Robert Bosch Gmbh | Dynamic range display for automotive rear-view and parking systems |
JP5501452B2 (ja) * | 2010-05-19 | 2014-05-21 | 三菱電機株式会社 | 車両後方監視装置 |
-
2010
- 2010-06-15 JP JP2012520156A patent/JP5052707B2/ja active Active
- 2010-06-15 DE DE112010005661.7T patent/DE112010005661B4/de active Active
- 2010-06-15 CN CN201080067166.5A patent/CN102918833B/zh not_active Expired - Fee Related
- 2010-06-15 WO PCT/JP2010/003966 patent/WO2011158285A1/ja active Application Filing
- 2010-06-15 US US13/580,410 patent/US9064293B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004064150A (ja) * | 2002-07-24 | 2004-02-26 | Sumitomo Electric Ind Ltd | 画像変換システム及び画像処理装置 |
JP2006178667A (ja) * | 2004-12-21 | 2006-07-06 | Nissan Motor Co Ltd | 車両用映像補正装置及び車両用映像補正方法 |
JP2009118416A (ja) * | 2007-11-09 | 2009-05-28 | Alpine Electronics Inc | 車両周辺画像生成装置および車両周辺画像の歪み補正方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101629577B1 (ko) * | 2014-12-10 | 2016-06-13 | 현대오트론 주식회사 | 카메라를 이용한 모니터링 방법 및 장치 |
US9818033B2 (en) | 2014-12-10 | 2017-11-14 | Hyundai Autron Co., Ltd. | Monitoring method and apparatus using a camera |
Also Published As
Publication number | Publication date |
---|---|
JPWO2011158285A1 (ja) | 2013-08-15 |
DE112010005661B4 (de) | 2014-10-30 |
US20120320211A1 (en) | 2012-12-20 |
CN102918833B (zh) | 2015-07-08 |
WO2011158285A1 (ja) | 2011-12-22 |
CN102918833A (zh) | 2013-02-06 |
DE112010005661T5 (de) | 2013-03-21 |
US9064293B2 (en) | 2015-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5052707B2 (ja) | 車両周辺監視装置 | |
US10449900B2 (en) | Video synthesis system, video synthesis device, and video synthesis method | |
JP4879031B2 (ja) | 運転支援システム、画像処理装置及びずれ検出方法 | |
JP5053043B2 (ja) | 車両周辺画像生成装置および車両周辺画像の歪み補正方法 | |
JP5222597B2 (ja) | 画像処理装置及び方法、運転支援システム、車両 | |
JP4863922B2 (ja) | 運転支援システム並びに車両 | |
JP5369465B2 (ja) | 車両用画像処理装置、車両用画像処理方法、車両用画像処理プログラム | |
WO2010137265A1 (ja) | 車両周囲監視装置 | |
JP2008271308A (ja) | 画像処理装置及び方法並びに車両 | |
JP2009100342A (ja) | カメラ校正装置及び方法、並びに、車両 | |
JPWO2011036892A1 (ja) | 運転支援表示装置 | |
JP2008034966A (ja) | 画像表示装置 | |
JP6167824B2 (ja) | 駐車支援装置 | |
JP2008181330A (ja) | 画像処理装置及び画像処理方法 | |
JP6379770B2 (ja) | 車両用表示装置 | |
JP2013207637A (ja) | 画像処理装置及び方法、並びにコンピュータプログラム | |
JP4795253B2 (ja) | 運転支援装置、運転支援方法、及び運転支援プログラム | |
JP5812593B2 (ja) | 映像処理装置、撮像装置、映像処理方法及びプログラム | |
KR101816068B1 (ko) | 차량 주변 감지 시스템 및 이를 이용한 차량 주변 감지 방법 | |
JP5476216B2 (ja) | 車両用周囲監視装置 | |
JP6091720B2 (ja) | 画像生成装置、画像生成方法及びコンピュータプログラム | |
JP6187322B2 (ja) | 画像表示装置、画像表示システム | |
JP2010157910A (ja) | 画像表示装置 | |
JP5436056B2 (ja) | 障害物検出装置および障害物検出方法 | |
JP2009282736A (ja) | 画像処理装置、画像処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120626 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120724 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5052707 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150803 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |