JP4425495B2 - 車外監視装置 - Google Patents
車外監視装置 Download PDFInfo
- Publication number
- JP4425495B2 JP4425495B2 JP2001174620A JP2001174620A JP4425495B2 JP 4425495 B2 JP4425495 B2 JP 4425495B2 JP 2001174620 A JP2001174620 A JP 2001174620A JP 2001174620 A JP2001174620 A JP 2001174620A JP 4425495 B2 JP4425495 B2 JP 4425495B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- moving object
- imaging
- image
- representative point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012806 monitoring device Methods 0.000 title claims description 15
- 238000003384 imaging method Methods 0.000 claims description 57
- 230000003287 optical effect Effects 0.000 claims description 23
- 238000006073 displacement reaction Methods 0.000 claims description 21
- 239000013598 vector Substances 0.000 claims description 19
- 238000012544 monitoring process Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 241000255777 Lepidoptera Species 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
- G01S3/782—Systems for determining direction or deviation from predetermined direction
- G01S3/783—Systems for determining direction or deviation from predetermined direction using amplitude comparison of signals derived from static detectors or detector systems
- G01S3/784—Systems for determining direction or deviation from predetermined direction using amplitude comparison of signals derived from static detectors or detector systems using a mosaic of detectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/179—Distances to obstacles or vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/20—Optical features of instruments
- B60K2360/21—Optical features of instruments using cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Transportation (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Theoretical Computer Science (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、魚眼レンズを通して撮像された画像に基づいて併走車等の移動物を検出する車外監視装置に関する。
【０００２】
【従来の技術】
近年、車両の安全性の向上を図るため、カメラにより捉えた車両前方の風景や物体の画像を処理して、道路や交通環境等を実用上十分な精度と時間で三次元的に認識する車外監視装置が数多く提案され実用化されている。例えば、本出願人による特開平１０−２８３４６１号公報には、一対のカメラ（ステレオカメラ）で捉えた画像をステレオ処理して先行車や障害物等を検出する技術が開示されている。
【０００３】
ところで、車両の更なる安全性の向上を図るためには、自車の前方の車外情報に加え、自車の側方を走行中の併走車等の情報をドライバに報知することが望ましい。この場合、自車側方の広範囲にわたる車外情報を得るためには、自車側方を魚眼レンズを用いた撮像装置で撮像することが好ましく、例えば特開平９−２０２１８０号公報には、魚眼カメラを車両側方に向けて設け、魚眼カメラで撮像した画像を座標変換回路によって正画像信号に変換し、歪み補正した画像中の任意の領域をモニタの表示画面に表示する技術が開示されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記特開平９ー２０２１８０号公報に開示された技術は、単に所定の車外環境をモニタの表示画面に表示しているものにすぎないため、自車から併走車までの具体的な距離情報等をドライバに報知することは困難である。
【０００５】
これに対処し、例えば特許公報第２６１１１７３号に開示されているように、魚眼レンズを用いた複数の撮像装置により与えられる複数の魚眼画像に基づいて、移動目標物の３次元位置座標を算出することで自車から併走車までの距離情報等を求めることも考えられるが、自車前方に比べておおまかなもので事足りる側方の車外情報を得るために上述のような複雑な構成の装置を用いることはコスト面等で好ましくない。
【０００６】
本発明は上記事情に鑑みてなされたもので、簡単な構成で適切な車外情報を得ることのできる車外監視装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、請求項１記載の発明による車外監視装置は、撮像レンズ系に魚眼レンズを有する撮像手段と、上記撮像手段によって異なるタイミングで撮像した画像の一方を基準画像として２枚の画像間のオプティカルフローに基づく移動物検出を行うとともに当該移動物の代表点を路面上に設定する画像処理手段と、画像上における上記代表点の光軸方向からの変位角に基づいて自車に対する上記移動物の相対位置を演算する演算手段とを備え、上記画像処理手段は、上記移動物の接地点を通り且つ当該移動物の移動方向に平行な線分を上記画像上に設定するとともに、上記移動物の先端あるいは後端に位置し自車に最も近い点と視野中心とを結ぶ線分を設定し、これらの線分の交点を上記移動物の代表点として設定することを特徴とする。
【０００８】
また、請求項２記載の発明による車外監視装置は、請求項１記載の発明において、上記撮像手段を車体の左右両側にそれぞれ設けたことを特徴とする。
【０００９】
また、請求項３記載の発明による車外監視装置は、請求項２記載の発明において、上記撮像レンズ系の光軸を車幅方向に対してやや後方に指向させたことを特徴とする。
【００１０】
また、請求項４記載の発明による車外監視装置は、請求項１乃至請求項３記載の発明において、自車と移動物との相対位置を表示する表示手段を有し、上記表示手段は、自車に対する移動物の相対速度をベクトル表示することを特徴とする。
【００１１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図面は本発明の実施の一形態に係わり、図１は車外監視装置の機能ブロック図、図２は撮像装置による撮像領域の一例を示す説明図、図３は速度ベクトルの分布状態を簡略化して示す説明図、図４は光軸方向からの変位角の座標系を示す説明図、図５は自車と代表点との位置関係を示す説明図、図６は自車から代表点までの光軸方向の距離算出方法を示す説明図、図７は表示装置への表示例を示す説明図、図８は撮像装置による撮像領域の他の例を示す説明図である。
【００１２】
図１において符号１は自動車等の車体を示す。この車体１には、車外の設定範囲内の対象を撮像し、撮像画像から併走車や対向車等の車外の移動物を認識して監視する車外監視装置２が搭載されている。
【００１３】
車外監視装置２は、車体１の左右両側にそれぞれ設けられた撮像手段としての撮像装置５，６と、各撮像装置５，６で撮像された画像を処理して併走車や対向車等の移動物を検出するとともに検出された移動物の代表点を路面上に設定する画像処理手段としての画像処理ユニット７，８と、各画像上の代表点に対し当該代表点の光軸方向からの変位角に基づいて自車に対する移動物の相対位置を演算する演算手段としての演算ユニット９と、演算された自車と移動物との相対位置関係を表示する表示手段としての表示装置１０とを備えて構成されている。
【００１４】
撮像装置５，６は、魚眼レンズを有する撮像レンズ系５ａ，６ａと、撮像レンズ系５ａ，６ａから入射された光束を結像する固体撮像素子（図示せず）とを備えて構成され、車外の対象を１８０度の視野で撮像可能となっている。
【００１５】
ここで、図１，２に示すように、各撮像装置５，６は、例えば車体１の後方寄りにＨ（ｍ）の高さ位置で取り付けられるもので、各撮像レンズ系５ａ，６ａの光軸Ｏは、水平方向であって、車幅方向に対してやや後方に指向されている。すなわち、図２に示すように、各撮像装置５，６による撮像範囲は、車体１の左右両側から後方にかけての略全域を網羅するよう設定されている。なお、本実施の形態において車体１はワゴン車の車体であり、この場合、各撮像装置５，６は車体１のＤピラーに設けられることが望ましい。
【００１６】
画像処理ユニット７，８には、撮像装置５，６がそれぞれ接続され、各撮像装置５，６からの撮像画像が入力されるとともに、車速センサ１１及び舵角センサ１２が接続され、車速及び舵角が入力される。
【００１７】
各画像処理ユニット７，８では、先ず、撮像装置５，６において異なるタイミングで撮像した連続する２枚の画像間のオプティカルフローを生成することで併走車や対向車等の移動物を検出する。
【００１８】
すなわち、画像処理ユニット７，８では、今回撮像された画像（基準画像）と前回撮像された画像（比較画像）との間で所定の画素ブロック毎の輝度パターンのマッチングを行うことにより、各画素ブロックの速度ベクトルの分布状態を示すオプティカルフローを生成する。
【００１９】
ここで、図３に示すように、各速度ベクトルにおいて、路面等の固定物を示す速度ベクトルは自車の進行方向とは略逆方向に自車速度と略等しい大きさを有し、併走車や対向車等の移動物を示す速度ベクトルは自車速度とは異なる大きさを有する。そこで、画像処理ユニット７，８では、自車速度とは異なる大きさを有し互いに類似する速度ベクトルの一群を単一の移動物を表す速度ベクトル群としてとして認識する（移動物検出を行う）。
【００２０】
次いで、画像処理ユニット７，８では、検出した移動物の速度ベクトル群に基づき、当該移動物の代表点Ａを路面上に設定する。
【００２１】
すなわち、画像処理ユニット７，８では、移動物の下部で当該移動物の速度ベクトルが固定物の速度ベクトルと接している位置を移動物と路面との接地点として設定する。ここで、図３に示すように、移動物が併走車等の車両である場合には、一般に、移動物の接地点はタイヤの接地点に略一致する。
【００２２】
そして、画像処理ユニット７，８では、接地点を通り且つ移動物の速度ベクトル群に平行な線分Ｌ１を画像上に設定するとともに、速度ベクトル群の先端あるいは後端に位置し自車に最も近い速度ベクトルと視野中心（光軸Ｏ）とを結ぶ線分Ｌ２を設定し、これらの交点を移動物の代表点Ａとして設定する。なお、図示のように、代表点Ａは、必ずしも車体（移動物）の端部と一致しないが、その場合の誤差は自車寄り（安全側）となる。
【００２３】
演算ユニット９には、画像処理ユニット７，８が接続され、画像上における各移動物の代表点Ａに関する情報が入力される。
【００２４】
演算ユニット９では、先ず、画像上における代表点Ａの光軸Ｏに対する上下方向の変位角αと水平方向の変位角βとを算出する。すなわち、演算ユニット９には画像上における光軸Ｏ方向からの変位角に関する座標系が設定されており、演算ユニット９では、この座標系に基づき代表点Ａの上下方向の変位角α及び水平方向の変位角βを算出する。
【００２５】
そして、演算ユニット９では、変位角α，βに基づき、代表点Ａまでの光軸Ｏ方向の距離Ｄ１と光軸Ｏに垂直な方向の距離Ｄ２（図７参照）を算出することで、自車に対する代表点Ａの相対的な位置を算出する。
【００２６】
すなわち、図６に示すように、光軸Ｏは高さＨで路面に水平に指向されているので、代表点Ａが存在する路面が自車の接地面と同一平面上にあると仮定することにより、距離Ｄ１は、
Ｄ１＝Ｈ・ｔａｎ（９０−α） …（１）
で算出される。また、算出された距離Ｄ１を用いて、距離Ｄ２は、
Ｄ２＝Ｄ１・ｔａｎβ …（２）
で算出される。これらにより、自車に対する移動物の相対的な位置が求まる。
【００２７】
なお、図６に示すように、自車の車体１の一部が撮像レンズ系５ａ，６ａの視野内に写り込む場合には、例えば車体１と路面との境界部分の変位角α２を求め、この変位角α２を変位角αのリファレンス情報として用いてもよい。すなわち、変位角α２は、撮像装置５，６の取付位置や車体１の形状等によって一義的に決定されるものであるが、撮像装置５，６の取付誤差がある場合には、変位角α２にズレが生じる。従って、この変位角α２のズレ量に応じて変位角αを補正することにより、自車に対する移動物の相対的な位置の検出精度を向上することができる。
【００２８】
また、演算ユニット９では、各移動物の速度ベクトルや、各移動物の自車に対する相対位置情報等に基づき、表示装置１０に対する出力信号を生成する。
【００２９】
この場合、例えば図７に示すように、表示装置１０には、自車が表示装置１０の画面中心に表示され、自車に対する併走車や対向車等の移動物の相対位置が矩形のブロックで表示される。また、表示装置１０には、自車に対する移動物の相対速度がベクトル表示により表示される。なお、自車と移動物との相対距離が所定値以下となった際には、移動物を点滅表示する等してドライバに対する警報を行ってもよい。
【００３０】
このような実施の形態によれば、撮像レンズ系５ａ，６ａに魚眼レンズを有する撮像装置５，６よって車外の対象を対象を撮像することにより、少数の撮像装置で広範囲の領域を撮像することができる。
【００３１】
そして、車外監視装置２では、異なるタイミングで撮像した連続する２枚の画像間のオプティカルフローを生成することにより、併走車や対向車等の移動物を容易に検出することができる。
【００３２】
また、検出した移動物の代表点Ａを路面上に設定することにより、光軸Ｏからの変位角に基づいて自車と移動物との相対位置を容易に算出することができる。すなわち、撮像装置５，６の光軸Ｏを水平方向に指向させるとともに代表点Ａが自車の接地面と同一平面上にあると仮定することにより、自車から代表点Ａまでの距離を光軸Ｏからの変位角に基づいて容易に算出することができる。従って、ステレオ画像処理等を行う必要がなく、単一の撮像装置５，６で撮像した画像から自車と移動物との相対位置関係を認識することができ、簡単な構成で適切な車外情報を得ることができる。
【００３３】
この場合、撮像装置５，６を車体１の左右両側にそれぞれ設けることにより、小数の撮像装置で効果的に車外監視を行うことができる。
【００３４】
また、各撮像装置５，６の光軸Ｏを車幅方向に対してやや後方に指向させることで、ドライバにとって視認が困難な領域を効果的に撮像することができる。
【００３５】
また、表示装置１０に自車と移動物との相対速度をベクトル表示することにより、併走車や対向車等を効果的にドライバに認識させることができる。
【００３６】
ここで、上述の実施の形態においては、車体１の左右両側にそれぞれ撮像装置５，６を設けた一例について説明したが、本発明はこれに限定されるものではなく、例えば図８に示すように、車体１の左右両側に撮像装置１５，１６を設けるとともに、車体１の後部に撮像装置１７を設けて車外監視装置２を構成してもよい。この場合、撮像装置１５，１６の光軸Ｏは、車体１の略中心位置で車幅方向に指向されることが望ましい。
【００３７】
【発明の効果】
以上説明したように本発明によれば、単一の撮像手段を用いた簡単な構成で適切な車外情報を得ることができる。
【図面の簡単な説明】
【図１】車外監視装置の機能ブロック図
【図２】撮像装置による撮像領域の一例を示す説明図
【図３】速度ベクトルの分布状態を簡略化して示す説明図
【図４】光軸方向からの変位角の座標系を示す説明図
【図５】自車と代表点との位置関係を示す説明図
【図６】自車から代表点までの光軸方向の距離算出方法を示す説明図
【図７】表示装置への表示例を示す説明図
【図８】撮像装置による撮像領域の他の例を示す説明図
【符号の説明】
１ 車体
２ 車外監視装置
５ 撮像装置（撮像手段）
６ 撮像装置（撮像手段）
５ａ 撮像レンズ系
６ａ 撮像レンズ系
７ 画像処理ユニット（画像処理手段）
８ 画像処理ユニット（画像処理手段）
９ 演算ユニット（演算手段）
１０ 表示装置（表示手段）
１５ 撮像装置（撮像手段）
１６ 撮像装置（撮像手段）
１７ 撮像装置（撮像手段）
Ｏ 光軸
α 変位角
β 変位角
【発明の属する技術分野】
本発明は、魚眼レンズを通して撮像された画像に基づいて併走車等の移動物を検出する車外監視装置に関する。
【０００２】
【従来の技術】
近年、車両の安全性の向上を図るため、カメラにより捉えた車両前方の風景や物体の画像を処理して、道路や交通環境等を実用上十分な精度と時間で三次元的に認識する車外監視装置が数多く提案され実用化されている。例えば、本出願人による特開平１０−２８３４６１号公報には、一対のカメラ（ステレオカメラ）で捉えた画像をステレオ処理して先行車や障害物等を検出する技術が開示されている。
【０００３】
ところで、車両の更なる安全性の向上を図るためには、自車の前方の車外情報に加え、自車の側方を走行中の併走車等の情報をドライバに報知することが望ましい。この場合、自車側方の広範囲にわたる車外情報を得るためには、自車側方を魚眼レンズを用いた撮像装置で撮像することが好ましく、例えば特開平９−２０２１８０号公報には、魚眼カメラを車両側方に向けて設け、魚眼カメラで撮像した画像を座標変換回路によって正画像信号に変換し、歪み補正した画像中の任意の領域をモニタの表示画面に表示する技術が開示されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記特開平９ー２０２１８０号公報に開示された技術は、単に所定の車外環境をモニタの表示画面に表示しているものにすぎないため、自車から併走車までの具体的な距離情報等をドライバに報知することは困難である。
【０００５】
これに対処し、例えば特許公報第２６１１１７３号に開示されているように、魚眼レンズを用いた複数の撮像装置により与えられる複数の魚眼画像に基づいて、移動目標物の３次元位置座標を算出することで自車から併走車までの距離情報等を求めることも考えられるが、自車前方に比べておおまかなもので事足りる側方の車外情報を得るために上述のような複雑な構成の装置を用いることはコスト面等で好ましくない。
【０００６】
本発明は上記事情に鑑みてなされたもので、簡単な構成で適切な車外情報を得ることのできる車外監視装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、請求項１記載の発明による車外監視装置は、撮像レンズ系に魚眼レンズを有する撮像手段と、上記撮像手段によって異なるタイミングで撮像した画像の一方を基準画像として２枚の画像間のオプティカルフローに基づく移動物検出を行うとともに当該移動物の代表点を路面上に設定する画像処理手段と、画像上における上記代表点の光軸方向からの変位角に基づいて自車に対する上記移動物の相対位置を演算する演算手段とを備え、上記画像処理手段は、上記移動物の接地点を通り且つ当該移動物の移動方向に平行な線分を上記画像上に設定するとともに、上記移動物の先端あるいは後端に位置し自車に最も近い点と視野中心とを結ぶ線分を設定し、これらの線分の交点を上記移動物の代表点として設定することを特徴とする。
【０００８】
また、請求項２記載の発明による車外監視装置は、請求項１記載の発明において、上記撮像手段を車体の左右両側にそれぞれ設けたことを特徴とする。
【０００９】
また、請求項３記載の発明による車外監視装置は、請求項２記載の発明において、上記撮像レンズ系の光軸を車幅方向に対してやや後方に指向させたことを特徴とする。
【００１０】
また、請求項４記載の発明による車外監視装置は、請求項１乃至請求項３記載の発明において、自車と移動物との相対位置を表示する表示手段を有し、上記表示手段は、自車に対する移動物の相対速度をベクトル表示することを特徴とする。
【００１１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図面は本発明の実施の一形態に係わり、図１は車外監視装置の機能ブロック図、図２は撮像装置による撮像領域の一例を示す説明図、図３は速度ベクトルの分布状態を簡略化して示す説明図、図４は光軸方向からの変位角の座標系を示す説明図、図５は自車と代表点との位置関係を示す説明図、図６は自車から代表点までの光軸方向の距離算出方法を示す説明図、図７は表示装置への表示例を示す説明図、図８は撮像装置による撮像領域の他の例を示す説明図である。
【００１２】
図１において符号１は自動車等の車体を示す。この車体１には、車外の設定範囲内の対象を撮像し、撮像画像から併走車や対向車等の車外の移動物を認識して監視する車外監視装置２が搭載されている。
【００１３】
車外監視装置２は、車体１の左右両側にそれぞれ設けられた撮像手段としての撮像装置５，６と、各撮像装置５，６で撮像された画像を処理して併走車や対向車等の移動物を検出するとともに検出された移動物の代表点を路面上に設定する画像処理手段としての画像処理ユニット７，８と、各画像上の代表点に対し当該代表点の光軸方向からの変位角に基づいて自車に対する移動物の相対位置を演算する演算手段としての演算ユニット９と、演算された自車と移動物との相対位置関係を表示する表示手段としての表示装置１０とを備えて構成されている。
【００１４】
撮像装置５，６は、魚眼レンズを有する撮像レンズ系５ａ，６ａと、撮像レンズ系５ａ，６ａから入射された光束を結像する固体撮像素子（図示せず）とを備えて構成され、車外の対象を１８０度の視野で撮像可能となっている。
【００１５】
ここで、図１，２に示すように、各撮像装置５，６は、例えば車体１の後方寄りにＨ（ｍ）の高さ位置で取り付けられるもので、各撮像レンズ系５ａ，６ａの光軸Ｏは、水平方向であって、車幅方向に対してやや後方に指向されている。すなわち、図２に示すように、各撮像装置５，６による撮像範囲は、車体１の左右両側から後方にかけての略全域を網羅するよう設定されている。なお、本実施の形態において車体１はワゴン車の車体であり、この場合、各撮像装置５，６は車体１のＤピラーに設けられることが望ましい。
【００１６】
画像処理ユニット７，８には、撮像装置５，６がそれぞれ接続され、各撮像装置５，６からの撮像画像が入力されるとともに、車速センサ１１及び舵角センサ１２が接続され、車速及び舵角が入力される。
【００１７】
各画像処理ユニット７，８では、先ず、撮像装置５，６において異なるタイミングで撮像した連続する２枚の画像間のオプティカルフローを生成することで併走車や対向車等の移動物を検出する。
【００１８】
すなわち、画像処理ユニット７，８では、今回撮像された画像（基準画像）と前回撮像された画像（比較画像）との間で所定の画素ブロック毎の輝度パターンのマッチングを行うことにより、各画素ブロックの速度ベクトルの分布状態を示すオプティカルフローを生成する。
【００１９】
ここで、図３に示すように、各速度ベクトルにおいて、路面等の固定物を示す速度ベクトルは自車の進行方向とは略逆方向に自車速度と略等しい大きさを有し、併走車や対向車等の移動物を示す速度ベクトルは自車速度とは異なる大きさを有する。そこで、画像処理ユニット７，８では、自車速度とは異なる大きさを有し互いに類似する速度ベクトルの一群を単一の移動物を表す速度ベクトル群としてとして認識する（移動物検出を行う）。
【００２０】
次いで、画像処理ユニット７，８では、検出した移動物の速度ベクトル群に基づき、当該移動物の代表点Ａを路面上に設定する。
【００２１】
すなわち、画像処理ユニット７，８では、移動物の下部で当該移動物の速度ベクトルが固定物の速度ベクトルと接している位置を移動物と路面との接地点として設定する。ここで、図３に示すように、移動物が併走車等の車両である場合には、一般に、移動物の接地点はタイヤの接地点に略一致する。
【００２２】
そして、画像処理ユニット７，８では、接地点を通り且つ移動物の速度ベクトル群に平行な線分Ｌ１を画像上に設定するとともに、速度ベクトル群の先端あるいは後端に位置し自車に最も近い速度ベクトルと視野中心（光軸Ｏ）とを結ぶ線分Ｌ２を設定し、これらの交点を移動物の代表点Ａとして設定する。なお、図示のように、代表点Ａは、必ずしも車体（移動物）の端部と一致しないが、その場合の誤差は自車寄り（安全側）となる。
【００２３】
演算ユニット９には、画像処理ユニット７，８が接続され、画像上における各移動物の代表点Ａに関する情報が入力される。
【００２４】
演算ユニット９では、先ず、画像上における代表点Ａの光軸Ｏに対する上下方向の変位角αと水平方向の変位角βとを算出する。すなわち、演算ユニット９には画像上における光軸Ｏ方向からの変位角に関する座標系が設定されており、演算ユニット９では、この座標系に基づき代表点Ａの上下方向の変位角α及び水平方向の変位角βを算出する。
【００２５】
そして、演算ユニット９では、変位角α，βに基づき、代表点Ａまでの光軸Ｏ方向の距離Ｄ１と光軸Ｏに垂直な方向の距離Ｄ２（図７参照）を算出することで、自車に対する代表点Ａの相対的な位置を算出する。
【００２６】
すなわち、図６に示すように、光軸Ｏは高さＨで路面に水平に指向されているので、代表点Ａが存在する路面が自車の接地面と同一平面上にあると仮定することにより、距離Ｄ１は、
Ｄ１＝Ｈ・ｔａｎ（９０−α） …（１）
で算出される。また、算出された距離Ｄ１を用いて、距離Ｄ２は、
Ｄ２＝Ｄ１・ｔａｎβ …（２）
で算出される。これらにより、自車に対する移動物の相対的な位置が求まる。
【００２７】
なお、図６に示すように、自車の車体１の一部が撮像レンズ系５ａ，６ａの視野内に写り込む場合には、例えば車体１と路面との境界部分の変位角α２を求め、この変位角α２を変位角αのリファレンス情報として用いてもよい。すなわち、変位角α２は、撮像装置５，６の取付位置や車体１の形状等によって一義的に決定されるものであるが、撮像装置５，６の取付誤差がある場合には、変位角α２にズレが生じる。従って、この変位角α２のズレ量に応じて変位角αを補正することにより、自車に対する移動物の相対的な位置の検出精度を向上することができる。
【００２８】
また、演算ユニット９では、各移動物の速度ベクトルや、各移動物の自車に対する相対位置情報等に基づき、表示装置１０に対する出力信号を生成する。
【００２９】
この場合、例えば図７に示すように、表示装置１０には、自車が表示装置１０の画面中心に表示され、自車に対する併走車や対向車等の移動物の相対位置が矩形のブロックで表示される。また、表示装置１０には、自車に対する移動物の相対速度がベクトル表示により表示される。なお、自車と移動物との相対距離が所定値以下となった際には、移動物を点滅表示する等してドライバに対する警報を行ってもよい。
【００３０】
このような実施の形態によれば、撮像レンズ系５ａ，６ａに魚眼レンズを有する撮像装置５，６よって車外の対象を対象を撮像することにより、少数の撮像装置で広範囲の領域を撮像することができる。
【００３１】
そして、車外監視装置２では、異なるタイミングで撮像した連続する２枚の画像間のオプティカルフローを生成することにより、併走車や対向車等の移動物を容易に検出することができる。
【００３２】
また、検出した移動物の代表点Ａを路面上に設定することにより、光軸Ｏからの変位角に基づいて自車と移動物との相対位置を容易に算出することができる。すなわち、撮像装置５，６の光軸Ｏを水平方向に指向させるとともに代表点Ａが自車の接地面と同一平面上にあると仮定することにより、自車から代表点Ａまでの距離を光軸Ｏからの変位角に基づいて容易に算出することができる。従って、ステレオ画像処理等を行う必要がなく、単一の撮像装置５，６で撮像した画像から自車と移動物との相対位置関係を認識することができ、簡単な構成で適切な車外情報を得ることができる。
【００３３】
この場合、撮像装置５，６を車体１の左右両側にそれぞれ設けることにより、小数の撮像装置で効果的に車外監視を行うことができる。
【００３４】
また、各撮像装置５，６の光軸Ｏを車幅方向に対してやや後方に指向させることで、ドライバにとって視認が困難な領域を効果的に撮像することができる。
【００３５】
また、表示装置１０に自車と移動物との相対速度をベクトル表示することにより、併走車や対向車等を効果的にドライバに認識させることができる。
【００３６】
ここで、上述の実施の形態においては、車体１の左右両側にそれぞれ撮像装置５，６を設けた一例について説明したが、本発明はこれに限定されるものではなく、例えば図８に示すように、車体１の左右両側に撮像装置１５，１６を設けるとともに、車体１の後部に撮像装置１７を設けて車外監視装置２を構成してもよい。この場合、撮像装置１５，１６の光軸Ｏは、車体１の略中心位置で車幅方向に指向されることが望ましい。
【００３７】
【発明の効果】
以上説明したように本発明によれば、単一の撮像手段を用いた簡単な構成で適切な車外情報を得ることができる。
【図面の簡単な説明】
【図１】車外監視装置の機能ブロック図
【図２】撮像装置による撮像領域の一例を示す説明図
【図３】速度ベクトルの分布状態を簡略化して示す説明図
【図４】光軸方向からの変位角の座標系を示す説明図
【図５】自車と代表点との位置関係を示す説明図
【図６】自車から代表点までの光軸方向の距離算出方法を示す説明図
【図７】表示装置への表示例を示す説明図
【図８】撮像装置による撮像領域の他の例を示す説明図
【符号の説明】
１ 車体
２ 車外監視装置
５ 撮像装置（撮像手段）
６ 撮像装置（撮像手段）
５ａ 撮像レンズ系
６ａ 撮像レンズ系
７ 画像処理ユニット（画像処理手段）
８ 画像処理ユニット（画像処理手段）
９ 演算ユニット（演算手段）
１０ 表示装置（表示手段）
１５ 撮像装置（撮像手段）
１６ 撮像装置（撮像手段）
１７ 撮像装置（撮像手段）
Ｏ 光軸
α 変位角
β 変位角
Claims (4)
- 撮像レンズ系に魚眼レンズを有する撮像手段と、
上記撮像手段によって異なるタイミングで撮像した画像の一方を基準画像として２枚の画像間のオプティカルフローに基づく移動物検出を行うとともに当該移動物の代表点を路面上に設定する画像処理手段と、
画像上における上記代表点の光軸方向からの変位角に基づいて自車に対する上記移動物の相対位置を演算する演算手段とを備え、
上記画像処理手段は、上記移動物の接地点を通り且つ当該移動物の移動方向に平行な線分を上記画像上に設定するとともに、上記移動物の先端あるいは後端に位置し自車に最も近い点と視野中心とを結ぶ線分を設定し、これらの線分の交点を上記移動物の代表点として設定することを特徴とする車外監視装置。 - 上記撮像手段を車体の左右両側にそれぞれ設けたことを特徴とする請求項１記載の車外監視装置。
- 上記撮像レンズ系の光軸を車幅方向に対してやや後方に指向させたことを特徴とする請求項２記載の車外監視装置。
- 自車と移動物との相対位置を表示する表示手段を有し、
上記表示手段は、自車に対する移動物の相対速度をベクトル表示することを特徴とする請求項１乃至請求項３記載の車外監視装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001174620A JP4425495B2 (ja) | 2001-06-08 | 2001-06-08 | 車外監視装置 |
| US10/162,570 US6812831B2 (en) | 2001-06-08 | 2002-06-06 | Vehicle surroundings monitoring apparatus |
| EP02253992A EP1264734B1 (en) | 2001-06-08 | 2002-06-07 | Vehicle surroundings monitoring apparatus |
| DE60215718T DE60215718T2 (de) | 2001-06-08 | 2002-06-07 | Fahrzeugumgebungsüberwachungsvorrichtung |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001174620A JP4425495B2 (ja) | 2001-06-08 | 2001-06-08 | 車外監視装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002366937A JP2002366937A (ja) | 2002-12-20 |
| JP4425495B2 true JP4425495B2 (ja) | 2010-03-03 |
Family
ID=19015880
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001174620A Expired - Fee Related JP4425495B2 (ja) | 2001-06-08 | 2001-06-08 | 車外監視装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6812831B2 (ja) |
| EP (1) | EP1264734B1 (ja) |
| JP (1) | JP4425495B2 (ja) |
| DE (1) | DE60215718T2 (ja) |
Families Citing this family (66)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140152823A1 (en) * | 1998-11-30 | 2014-06-05 | American Vehicular Sciences Llc | Techniques to Obtain Information About Objects Around a Vehicle |
| KR200277875Y1 (ko) * | 2002-03-11 | 2002-06-14 | 이스턴 마스텍 주식회사 | 자동차의 후방용 감시카메라의 좌우반전 스위칭 장치 |
| DE10235414A1 (de) * | 2002-08-02 | 2004-02-12 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Ermittlung des Bevorstehens einer unausweichbaren Kollision |
| DE10303013A1 (de) * | 2003-01-27 | 2004-08-12 | Daimlerchrysler Ag | Fahrzeug mit einer katadioptrischen Kamera |
| DE10313002B4 (de) * | 2003-03-24 | 2006-03-23 | Daimlerchrysler Ag | Fahrzeugumgebungserfassungseinheit |
| JP4244684B2 (ja) * | 2003-04-10 | 2009-03-25 | 三菱自動車工業株式会社 | 車両用監視装置 |
| DE10323465A1 (de) * | 2003-05-23 | 2004-12-30 | Robert Bosch Gmbh | Vorrichtung zur Geschwindigkeitsregelung eines Fahrzeugs |
| WO2005038710A1 (ja) * | 2003-10-17 | 2005-04-28 | Matsushita Electric Industrial Co., Ltd. | 移動体動き算出方法および装置、並びにナビゲーションシステム |
| JP2005191962A (ja) | 2003-12-25 | 2005-07-14 | Sharp Corp | 移動体周囲監視装置および移動体 |
| JP2005223524A (ja) * | 2004-02-04 | 2005-08-18 | Nissan Motor Co Ltd | 車両周辺監視装置 |
| US7190282B2 (en) * | 2004-03-26 | 2007-03-13 | Mitsubishi Jidosha Kogyo Kabushiki Kaisha | Nose-view monitoring apparatus |
| US7679497B1 (en) | 2004-04-15 | 2010-03-16 | Kenneth Eugene Arant | Recovering legal evidence of unfavorable events or conditions during vehicle operations |
| US7397496B2 (en) * | 2004-04-15 | 2008-07-08 | Kenneth Eugene Arant | Apparatus system for recovering evidence of extrinsic wrongful acts in vehicular incidents |
| JP4744823B2 (ja) * | 2004-08-05 | 2011-08-10 | 株式会社東芝 | 周辺監視装置および俯瞰画像表示方法 |
| DE102005000652A1 (de) * | 2005-01-04 | 2006-07-13 | Robert Bosch Gmbh | Verfahren für die Objekterfassung |
| JP4107605B2 (ja) * | 2005-02-01 | 2008-06-25 | シャープ株式会社 | 移動体周辺監視装置、移動体周辺監視方法、制御プログラムおよび可読記録媒体 |
| JP4657765B2 (ja) * | 2005-03-09 | 2011-03-23 | 三菱自動車工業株式会社 | ノーズビューシステム |
| JP2006311272A (ja) * | 2005-04-28 | 2006-11-09 | Denso Corp | 車両用映像表示装置 |
| JP2007147458A (ja) * | 2005-11-28 | 2007-06-14 | Fujitsu Ltd | 位置検出装置、位置検出方法、位置検出プログラムおよび記録媒体 |
| US20080140306A1 (en) * | 2005-11-30 | 2008-06-12 | Snodgrass Ken L | Voice recognition method and system for displaying charts and maps |
| US10878646B2 (en) * | 2005-12-08 | 2020-12-29 | Smartdrive Systems, Inc. | Vehicle event recorder systems |
| US20070150138A1 (en) | 2005-12-08 | 2007-06-28 | James Plante | Memory management in event recording systems |
| US20070132773A1 (en) * | 2005-12-08 | 2007-06-14 | Smartdrive Systems Inc | Multi-stage memory buffer and automatic transfers in vehicle event recording systems |
| US20070135980A1 (en) * | 2005-12-09 | 2007-06-14 | Smartdrive Systems Inc | Vehicle event recorder systems |
| US20070135979A1 (en) * | 2005-12-09 | 2007-06-14 | Smartdrive Systems Inc | Vehicle event recorder systems |
| US8996240B2 (en) | 2006-03-16 | 2015-03-31 | Smartdrive Systems, Inc. | Vehicle event recorders with integrated web server |
| US9201842B2 (en) | 2006-03-16 | 2015-12-01 | Smartdrive Systems, Inc. | Vehicle event recorder systems and networks having integrated cellular wireless communications systems |
| CN101473262A (zh) * | 2006-06-16 | 2009-07-01 | 皇家飞利浦电子股份有限公司 | 多视图显示设备 |
| JP5159070B2 (ja) * | 2006-08-31 | 2013-03-06 | アルパイン株式会社 | 車両周辺画像表示装置及び表示方法 |
| US8989959B2 (en) | 2006-11-07 | 2015-03-24 | Smartdrive Systems, Inc. | Vehicle operator performance history recording, scoring and reporting systems |
| US8649933B2 (en) | 2006-11-07 | 2014-02-11 | Smartdrive Systems Inc. | Power management systems for automotive video event recorders |
| US8868288B2 (en) | 2006-11-09 | 2014-10-21 | Smartdrive Systems, Inc. | Vehicle exception event management systems |
| US8139820B2 (en) | 2006-12-13 | 2012-03-20 | Smartdrive Systems Inc. | Discretization facilities for vehicle event data recorders |
| DE102007016868A1 (de) * | 2007-04-10 | 2008-10-16 | Robert Bosch Gmbh | Verfahren zur Anzeige eines Fahrbahnverlaufs und Steuereinrichtung |
| US8239092B2 (en) | 2007-05-08 | 2012-08-07 | Smartdrive Systems Inc. | Distributed vehicle event recorder systems having a portable memory data transfer system |
| US8552848B2 (en) * | 2007-08-16 | 2013-10-08 | Ford Global Technologies, Llc | System and method for combined blind spot detection and rear crossing path collision warning |
| DE102008045007A1 (de) | 2008-08-29 | 2010-03-04 | Man Nutzfahrzeuge Aktiengesellschaft | Verfahren zur bildgestützten Überwachung einer Fahrzeugumgebung, insbesondere einer Umgebung eines Nutzfahrzeuges |
| EP2272730A1 (en) * | 2009-07-07 | 2011-01-12 | HI-KEY Limited | Method and apparatus for displaying distance data in a parking distance control system |
| GB2472773B (en) * | 2009-08-13 | 2015-01-28 | Light Blue Optics Ltd | Head up displays |
| EP2431226B1 (de) * | 2010-09-17 | 2016-07-27 | SMR Patents S.à.r.l. | Rückblickeinrichtung für ein Kraftfahrzeug |
| KR20120053713A (ko) * | 2010-11-18 | 2012-05-29 | 에스엘 주식회사 | 차량용 카메라의 제어 장치 및 방법 |
| JP5556748B2 (ja) * | 2011-06-21 | 2014-07-23 | 株式会社デンソー | 車両状態検出装置 |
| US10638094B2 (en) | 2011-09-16 | 2020-04-28 | SMR PATENTS S.á.r.l. | Side rearview vision assembly with telescoping head |
| US10594989B2 (en) | 2011-09-16 | 2020-03-17 | SMR Patent S.à.r.l. | Safety mirror with telescoping head and motor vehicle |
| US9728228B2 (en) | 2012-08-10 | 2017-08-08 | Smartdrive Systems, Inc. | Vehicle event playback apparatus and methods |
| KR101428296B1 (ko) | 2012-12-18 | 2014-08-08 | 현대오트론 주식회사 | 차량용 카메라 모듈 및 이를 포함하는 모니터링 시스템 |
| KR101491305B1 (ko) * | 2013-08-27 | 2015-02-06 | 현대자동차주식회사 | 장애물 검출 장치 및 방법 |
| US9501878B2 (en) | 2013-10-16 | 2016-11-22 | Smartdrive Systems, Inc. | Vehicle event playback apparatus and methods |
| DE102013111840A1 (de) | 2013-10-28 | 2015-04-30 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Verfahren zum Erfassen eines Objekts |
| US9610955B2 (en) | 2013-11-11 | 2017-04-04 | Smartdrive Systems, Inc. | Vehicle fuel consumption monitor and feedback systems |
| US10210399B2 (en) * | 2013-12-20 | 2019-02-19 | Magna Electronics Inc. | Vehicle vision system with image processing |
| US8892310B1 (en) | 2014-02-21 | 2014-11-18 | Smartdrive Systems, Inc. | System and method to detect execution of driving maneuvers |
| US9663127B2 (en) | 2014-10-28 | 2017-05-30 | Smartdrive Systems, Inc. | Rail vehicle event detection and recording system |
| US11069257B2 (en) | 2014-11-13 | 2021-07-20 | Smartdrive Systems, Inc. | System and method for detecting a vehicle event and generating review criteria |
| JP2016103249A (ja) * | 2014-11-28 | 2016-06-02 | 富士通株式会社 | 運転支援装置および運転支援方法 |
| US9679420B2 (en) | 2015-04-01 | 2017-06-13 | Smartdrive Systems, Inc. | Vehicle event recording system and method |
| JP6623729B2 (ja) * | 2015-12-04 | 2019-12-25 | 株式会社ソシオネクスト | 測距システム、移動体及び部品 |
| KR102491637B1 (ko) * | 2015-12-10 | 2023-01-26 | 한화테크윈 주식회사 | 영상 제공 장치 및 방법 |
| US9786104B2 (en) | 2016-01-25 | 2017-10-10 | Smartdrive Systems, Inc. | Systems and method to trigger vehicle events based on contextual information |
| WO2017154317A1 (ja) * | 2016-03-09 | 2017-09-14 | 株式会社Ｊｖｃケンウッド | 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム |
| US10818109B2 (en) | 2016-05-11 | 2020-10-27 | Smartdrive Systems, Inc. | Systems and methods for capturing and offloading different information based on event trigger type |
| EP3364336B1 (en) * | 2017-02-20 | 2023-12-20 | Continental Autonomous Mobility Germany GmbH | A method and apparatus for estimating a range of a moving object |
| WO2019043877A1 (ja) * | 2017-08-31 | 2019-03-07 | 株式会社オプティム | 画像解析距離情報提供システム、画像解析距離情報提供方法およびプログラム |
| WO2019043879A1 (ja) * | 2017-08-31 | 2019-03-07 | 株式会社オプティム | 画像解析距離情報提供システム、画像解析距離情報提供方法およびプログラム |
| CN112292286A (zh) * | 2018-06-13 | 2021-01-29 | 里德视觉有限公司 | 骑乘者辅助系统和方法 |
| JP7353821B2 (ja) * | 2019-06-24 | 2023-10-02 | キヤノン株式会社 | 画像処理装置、その制御方法、プログラム |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4872051A (en) * | 1987-10-01 | 1989-10-03 | Environmental Research Institute Of Michigan | Collision avoidance alarm system |
| JP2611173B2 (ja) | 1992-06-11 | 1997-05-21 | 運輸省船舶技術研究所長 | 魚眼レンズを用いた測位方法およびその装置 |
| JPH09202180A (ja) | 1996-01-29 | 1997-08-05 | Niles Parts Co Ltd | 車載カメラ装置 |
| US5680123A (en) * | 1996-08-06 | 1997-10-21 | Lee; Gul Nam | Vehicle monitoring system |
| JP3349060B2 (ja) | 1997-04-04 | 2002-11-20 | 富士重工業株式会社 | 車外監視装置 |
| US5978017A (en) * | 1997-04-08 | 1999-11-02 | Tino; Jerald N. | Multi-camera video recording system for vehicles |
| JPH11353565A (ja) * | 1998-06-09 | 1999-12-24 | Yazaki Corp | 車両用衝突警報方法及び装置 |
| US6201642B1 (en) * | 1999-07-27 | 2001-03-13 | Donnelly Corporation | Vehicular vision system with a wide angle lens including a diffractive element |
| JP2000225970A (ja) * | 1998-11-30 | 2000-08-15 | Tuner Kk | 車載用画像記録システム |
| JP4287532B2 (ja) * | 1999-03-01 | 2009-07-01 | 矢崎総業株式会社 | 車両用後側方監視装置 |
| US6424272B1 (en) * | 2001-03-30 | 2002-07-23 | Koninklijke Philips Electronics, N.V. | Vehicular blind spot vision system |
-
2001
- 2001-06-08 JP JP2001174620A patent/JP4425495B2/ja not_active Expired - Fee Related
-
2002
- 2002-06-06 US US10/162,570 patent/US6812831B2/en not_active Expired - Fee Related
- 2002-06-07 EP EP02253992A patent/EP1264734B1/en not_active Expired - Fee Related
- 2002-06-07 DE DE60215718T patent/DE60215718T2/de not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002366937A (ja) | 2002-12-20 |
| DE60215718D1 (de) | 2006-12-14 |
| US6812831B2 (en) | 2004-11-02 |
| US20020186298A1 (en) | 2002-12-12 |
| EP1264734A2 (en) | 2002-12-11 |
| EP1264734A3 (en) | 2004-09-15 |
| DE60215718T2 (de) | 2007-08-30 |
| EP1264734B1 (en) | 2006-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4425495B2 (ja) | 車外監視装置 | |
| US11417116B2 (en) | Vehicular trailer angle detection system | |
| US20230010529A1 (en) | Vehicular vision system having a plurality of cameras | |
| US11836989B2 (en) | Vehicular vision system that determines distance to an object | |
| US11610410B2 (en) | Vehicular vision system with object detection | |
| US8199975B2 (en) | System and method for side vision detection of obstacles for vehicles | |
| US11875575B2 (en) | Vehicular trailering assist system with trailer collision angle detection | |
| US11820423B2 (en) | Vehicular trailering assist system with targetless determination of misalignment of at least one trailer camera | |
| JP2018537329A (ja) | 車両の車両周辺部における覆い隠された領域を割り出すための方法と装置 | |
| JP2015232442A (ja) | 画像処理装置及び車両前方監視装置 | |
| CN108973858B (zh) | 用于确保行驶路线安全的装置 | |
| JP4677820B2 (ja) | 予測進路表示装置および予測進路表示方法 | |
| JP3586938B2 (ja) | 車載用距離測定装置 | |
| WO2022153795A1 (ja) | 信号処理装置、信号処理方法及び信号処理システム | |
| US11924578B2 (en) | Image processing apparatus, camera, moveable body, and image processing method | |
| CN112208438B (zh) | 行车辅助影像产生方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080523 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090714 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090911 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091201 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091209 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4425495 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121218 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121218 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131218 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |