JP6629715B2 - 車両用監視システム - Google Patents

車両用監視システム Download PDF

Info

Publication number
JP6629715B2
JP6629715B2 JP2016254557A JP2016254557A JP6629715B2 JP 6629715 B2 JP6629715 B2 JP 6629715B2 JP 2016254557 A JP2016254557 A JP 2016254557A JP 2016254557 A JP2016254557 A JP 2016254557A JP 6629715 B2 JP6629715 B2 JP 6629715B2
Authority
JP
Japan
Prior art keywords
vehicle
image
module
monitored object
bird
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016254557A
Other languages
English (en)
Other versions
JP2017121058A (ja
Inventor
玄岳 許
玄岳 許
斯弘 王
斯弘 王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HPB Optoelectronics Co Ltd
Original Assignee
HPB Optoelectronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HPB Optoelectronics Co Ltd filed Critical HPB Optoelectronics Co Ltd
Publication of JP2017121058A publication Critical patent/JP2017121058A/ja
Application granted granted Critical
Publication of JP6629715B2 publication Critical patent/JP6629715B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
    • B60R16/0232—Circuits relating to the driving or the functioning of the vehicle for measuring vehicle parameters and indicating critical, abnormal or dangerous conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/305—Detection related to theft or to other events relevant to anti-theft systems using a camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/31—Detection related to theft or to other events relevant to anti-theft systems of human presence inside or outside the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2400/00—Special features or arrangements of exterior signal lamps for vehicles
    • B60Q2400/50—Projected symbol or information, e.g. onto the road or car body
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8073—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle security, e.g. parked vehicle surveillance, burglar detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、車両用監視システムの技術分野に関し、特に、車両の周囲を俯瞰するパノラマ鳥瞰画像と、光源の投射で発生される光学パターンとを利用し、被監視物の存在とその距離を表示する車両用監視システムに関する。
現在の社会では、キャリアが人々に欠けない交通輸送機関となり、旅行、旅客運輸、又は貨物運送などでも、キャリアの助けを多くに頼っているが、多くの運転者が道路の状況をあまり分からないため、行き止まり又は狭い路地に誤って入り、動かない状況になり、あるいは体積が大きいの車両が天候不良又は視覚の死角などの理由で、車が多くて人が複雑である場所にバックする又はＵターンする必要があり、このようにしては、運転者が正確に車両の周囲の真実状況を知らずに多くの様々な意外事故がなされた。よって、現在はカメラなどの画像取得装置をキャリアの周囲に取り付けて上記の問題を解決する提案が多く提出されたが、従来の画像装置を車両の安全の監視に適用することにも多くの視角の死角が存在し、さらに改進する必要があるので、どのようにハードウェアの設計によって車両の進行中に正確且つ全面的に車両の周囲に存在する被監視物の位置と距離を検出し、並びに車両の停止に正体不明の人が近寄った画像の実時間検出を行い、交通安全を確保する及び生命と財産を守る利点をもたらすことは、依然として車両用監視システムなどの領域の業者と開発人員が克服する及び解決する必要の課題である。
特開2014-236492号公報
本発明の目的は、車両の周囲を俯瞰するパノラマ鳥瞰画像と、光源の投射で発生される光学パターンとを利用し、被監視物の存在とその距離を表示し、主に空間定義域判断モジュール、時間域判断モジュール、及び地面除去モジュールなどの画像検出方式により、車両の周囲に存在する被監視物の原画像をパノラマ鳥瞰画像に変換し、被監視物への光源の投射で発生される光学パターンの変化により、効果的に車両の進行中に運転者に車両の周囲に存在する被監視物の位置と距離を思い出させ、並びに車両の停止に正体不明の人が近寄った画像の実時間検出を行い、交通安全を確保する及び生命と財産を守る利点をもたらす車両用監視システムを提供することにある。
上述の課題を解決するために、本発明は、車両用監視システムを提供するものである。本発明の車両用監視システムは、パノラマ鳥瞰画像で車両の周囲に存在する少なくとも１つの被監視物の位置と距離を監視する車両用監視システムであって、少なくとも、該車両の外部の周りに設置され、それぞれ１つの光源と、１つの写真レンズと、１つの光センサ部材とを含み、該被監視物に光学パターンをを表示するように、該光源が光ビームを出射し、該光学パターンが該被監視物と該車両との間の距離に伴って変化され、該写真レンズが該車両の周囲に存在する該被監視物の原画像とその上にある該光学パターンを該光センサ部材に取得する複数の画像取得ユニットと、該画像取得ユニットに電気的に接続され、１つの距離検出モジュールと、１つの変換モジュールと、１つの空間定義域判断モジュールと、１つの時間域判断モジュールと、１つの地面除去モジュールと、を含み、該距離検出モジュールが該光学パターンの変化によって該被監視物と該車両との距離を計算し、該変換モジュールが該原画像を対応的に複数の鳥瞰画像に変換し、該空間定義域判断モジュールが該鳥瞰画像における該被監視物が存在する情報を判断し、該時間域判断モジュールが区域差分法（Ｌｏｃａｌ Ｄｉｆｆｅｒｅｎｃｅ；ＬＤ）で２つの連続した原画像より該被監視物の輪郭を探し出し、該地面除去モジュールが２つの連続した鳥瞰画像より該被監視物と地面との差分を判断する画像処理ユニットと、該画像処理ユニットに電気的に接続され、１つの表示モジュールと、１つの警告モジュールと、を含み、該表示モジュールが該鳥瞰画像から結合されたパノラマ鳥瞰画像及び該被監視物と該車両との距離を表示し、該距離が限界値より小さくなると、該警告モジュールが警告信号を発送する表示ユニットと、を含む。
本発明に係る車両用監視システムにおいて、該光源がレーザー、赤外線、発光ダイオード、又は光ビームを出射するための発光体から一つを選択し、該光学パターンがグリッド、直線、又は規則的配列したポイントから一つを選択し、該写真レンズが魚眼レンズ、広角レンズ、又は標準レンズから一つを選択し、該光センサ部材が電荷結合素子（ＣＣＤ）又は相補型金属酸化物半導体（ＣＭＯＳ）から一つを選択する。
本発明に係る車両用監視システムにおいて、該区域差分法（ＬＤ）の公式が、
（ＥＱ．１）であり、
該ｍとｎが画像座標点であり、３×５のマスク（ｍａｓｋ）を形成し、Ｉｔ（ｘ＋ｍ、ｙ＋ｎ）が時間ｔのイメージ関数であり、時間ｔ−１のイメージ関数であり、閾値（Ｄｔｈ）の公式が、
（ＥＱ．２）であり、
ｔｈが現在の画面の変化の程度によって調整され、ＬＤとＤｔｈが反比例関係となり、差分範囲（Ｔｅｍｐ Ｄｉｆｆ）と閾値（Ｄｔｈ）の関係が
（ＥＱ．３）
のような公式である。
本発明に係る車両用監視システムにおいて、該表示モジュールが表示画面を有するディスプレイ、スマートフォン、タブレット、又はポータブルコンピュータから一つ又は二つ以上の組み合わせを選択し、該警告信号がビープ音、光線、又は振動から一つの方式又は二つ以上の組み合わせで呈する。
本発明に係る車両用監視システムにおいて、該光源が点滅型光源であり、その点滅周波数が、該写真レンズの画面取得周波数と同じであり、該距離検出モジュールがさらに該写真レンズが取得される前後画像間の差分を比較し、該光学パターンの変化を判断する。
本発明に係る車両用監視システムによれば、該空間定義域判断モジュール、該時間域判断モジュール、及び該地面除去モジュールなどの画像検出方式により、該車両の周囲に存在する該被監視物の原画像をパノラマ鳥瞰画像に変換し、該被監視物への該光源の投射で発生される光学パターンの変化により、効果的に該車両の進行中に運転者に該車両の周囲に存在する該被監視物の位置と距離を思い出させ、並びに該車両の停止に正体不明の人が近寄った画像の実時間検出を行い、交通安全を確保する及び生命と財産を守る利点をもたらす。さらに、本発明に係る車両用監視システムによれば、該車両の内部の該表示ユニットで複数の鳥瞰画像から結合されたパノラマ鳥瞰画像を表示し、車両の周囲に存在する少なくとも１つの該被監視物の状態を検出し、効果的に該車両の進行中に運転者に該車両の周囲に存在する該被監視物の位置と距離を思い出させ、交通安全を確保する利点をもたらし、また、本発明に係る車両用監視システムによれば、該光源から出射される該光学パターンの変化とパノラマ鳥瞰画像とを組み合わせ、該車両の周囲に存在する少なくとも１つの該被監視物の状態と距離を検出し、車両の停止に正体不明の人が近寄った画像の実時間検出を行い、生命と財産を守る利点をもたらし、最後に、本発明に係る車両用監視システムによれば、赤外線又はレーザーなどの発光体から出射される光ビームと光学パターンなどの設計で、夜間の環境で輝度が不足である場合に補助光源を提供し、効果的に該画像取得ユニットが夜間に画像の取得を行うことをさせ、全天候使用の利点をもたらす。
本発明に係る車両用監視システムの１つの好ましい実施例によるシステムの仕組みを示すブロック図である。 本発明に係る車両用監視システムの１つの好ましい実施例による画像取得ユニットが組み立てられる状態を示す図である。 （Ａ）、（Ｂ）本発明に係る車両用監視システムの１つの好ましい実施例による空間定義域判断モジュールが作動される状態を示す図である。 （Ａ）〜（Ｄ）本発明に係る車両用監視システムの１つの好ましい実施例による地面除去モジュールが作動される状態を示す図である。
（実施形態）
まず、図１と図２を参照する。図１と図２は、本発明に係る車両用監視システムの１つの好ましい実施例によるシステムの仕組みを示すブロック図と、画像取得ユニットが組み立てられる状態を示す図である。本発明に係る車両用監視システムは、パノラマ鳥瞰画像で車両１の周囲に存在する少なくとも１つの被監視物２の位置と距離を監視する車両用監視システムであって、少なくとも、
該車両１の外部の周りに設置され、それぞれ１つの光源３１と、１つの写真レンズ３２と、１つの光センサ部材３３とを含み、該被監視物２に光学パターンをを表示するように、該光源３１が光ビーム３１１を出射し、該光学パターンが該被監視物２と該車両１との間の距離に伴って変化され、該写真レンズ３２が該車両１の周囲に存在する該被監視物２の原画像とその上にある該光学パターン（図に示せず）を該光センサ部材３３に取得する複数の画像取得ユニット３と、
該画像取得ユニット３に電気的に接続され、１つの距離検出モジュール４１と、１つの変換モジュール４２と、１つの空間定義域判断モジュール４３と、１つの時間域判断モジュール４４と、１つの地面除去モジュール４５と、を含み、該距離検出モジュール４１が該光学パターンの変化によって該被監視物２と該車両１との距離を計算し、該変換モジュール４２が該原画像を対応的に複数の鳥瞰画像に変換し、該空間定義域判断モジュール４３が該鳥瞰画像における該被監視物２が存在する情報を判断し、該時間域判断モジュール４４が区域差分法（ＬＤ）で２つの連続した原画像より該被監視物２の輪郭を探し出し、該地面除去モジュール４５が２つの連続した鳥瞰画像より該被監視物２と地面との差分を判断する画像処理ユニット４と、
該画像処理ユニット４に電気的に接続され、１つの表示モジュール５１と、１つの警告モジュール５２と、を含み、該表示モジュール５１が該鳥瞰画像から結合されたパノラマ鳥瞰画像及び該被監視物２と該車両１との距離を表示し、該距離が限界値より小さくなると、該警告モジュール５２が警告信号を発送する表示ユニット５と、を含む。
さらに、該光源３１がレーザー、赤外線、発光ダイオード、又は光ビーム３１１を出射するための発光体から一つを選択し、該光学パターンがグリッド、直線、又は規則的配列したポイントから一つを選択する。本発明の１つの好ましい実施例において、該光源３１がレーザービームを出射するレーザー光源であり、該被監視物２にグリッド状の光学パターンを形成する。また、該写真レンズ３２が魚眼レンズ、広角レンズ、又は標準レンズから一つの写真部材を選択し、該光センサ部材３３が電荷結合素子（ＣＣＤ）又は相補型金属酸化物半導体（ＣＭＯＳ）から一つを選択する。本発明の１つの好ましい実施例において、該写真レンズ３２が魚眼レンズであり、該光センサ部材３３が電荷結合素子（ＣＣＤ）であり、本発明に係る車両用監視システムには、該車両１の前、後、左、右の四側に４つの魚眼レンズを有する写真レンズ３２が設置され、該車両１の周囲の画像を電荷結合素子（ＣＣＤ）に取得され、第一画像Ａ、第二画像Ｂ、第三画像Ｃ、及び第四画像Ｄを形成する。注意すべきものは、上記の写真レンズ３２の数量が説明の便利上の理由であり、本発明の実施範囲を限定するものではなく、当領域の技術を熟知する者が異なる車体の長さを具有する車両１又は異なる取得画像の必要によって異なる数量の写真レンズ３２を使用することができ、本発明の実際的な実施形態を影響するものではない。
さらに、該表示モジュール５１が表示画面を有するディスプレイ、スマートフォン、タブレット、又はポータブルコンピュータから一つ又は二つ以上の組み合わせを選択し、該警告信号がビープ音、光線、又は振動から一つの方式又は二つ以上の組み合わせで呈する。本発明の１つの好ましい実施例において、４つの鳥瞰画像のいずれも被監視物２がある場合、該表示モジュール５１が該車両１から最も近い該被監視物２との距離の値を表示する。
さらに、該距離検出モジュール４１が該被監視物２にあるグリッド状の光学パターンの変化によって効果的に該被監視物２と該車両１との間の距離を判断する。このような原理に関し、既に本発明者の一人が２０１５年１２月１７日に出願された台湾特許出願の「交通輸送機関の画像検出システム」に説明されたので、ここには重複しない。なお、空間定義域判断モジュール４３が放射性のエッジ特性で被監視物２が存在する情報を判断する。図３（Ａ）、（Ｂ）を参照する。図３（Ａ）、（Ｂ）は、本発明に係る車両用監視システムの１つの好ましい実施例による空間定義域判断モジュールが作動される状態を示す図であり、車両１の前方に１つの人物２１と１つの柱２２などの該被監視物２が存在すると仮定し、図３（Ａ）は表示モジュール５１が表示する被監視物２の原画像を示し、間定義域判断モジュール４３が放射性のエッジ特性によって、図３（Ｂ）は鳥瞰画像に該被監視物２が存在する情報を示し、該人物２１と該柱２２の鳥瞰画像から延びられる線が画像取得ユニット３の魚眼レンズの位置に指向し、放射性のエッジ特性が従来の技術であるため、ここに重複しない。また、時間域判断モジュール４４が区域差分法（ＬＤ）で２つの連続した原画像より該被監視物の輪郭を探し出し、該区域差分法（ＬＤ）の公式が、
（ＥＱ．１）であり、該ｍとｎが画像座標点であり、３×５のマスクを形成し、Ｉｔ（ｘ＋ｍ、ｙ＋ｎ）が時間ｔのイメージ関数であり、時間ｔ−１のイメージ関数であり、閾値（Ｄｔｈ）の公式が、
（ＥＱ．２）であり、ｔｈが現在の画面の変化の程度によって調整され、ＬＤとＤｔｈが反比例関係となり、差分範囲（Ｔｅｍｐ Ｄｉｆｆ）と閾値（Ｄｔｈ）の関係が
（ＥＱ．３）のような公式である。
なお、該地面除去モジュールが動き推定法で２つの連続した鳥瞰画像より該被監視物２と地面との差分を判断する。図４（Ａ）〜（Ｄ）を参照する。図４（Ａ）〜（Ｄ）は本発明に係る車両用監視システムの１つの好ましい実施例による地面除去モジュールが作動される状態を示す図であり、図４（Ａ）、（Ｃ）は該被監視物２である地面マーク２３と該柱２２が時間ｔに取得される鳥瞰画像であり、図４（Ｂ）、（Ｄ）は、該地面マーク２３と該柱２２が時間ｔ＋１に取得される鳥瞰画像であり、該車両１が進行する時、該地面マーク２３が時間ｔと時間ｔ＋１に取得されるある特定の点像を比較したっ結果、変形ではないと分かられたが、該柱２２が既に角度が変形された状態に呈されたため、地面除去モジュール４４の動き推定法で２つの連続した鳥瞰画像より該被監視物２と地面との差分を判断し、該被監視物２の情報を探し出す。
なお、本発明のもう１つの好ましい実施例において、該光源３１が点滅型光源であり、その点滅周波数が、該写真レンズ３２の画面取得周波数と同じであり、該距離検出モジュール４１がさらに該写真レンズ３２が取得される前後画像間の差分を比較し、該光学パターンの変化を判断し、即ち該光源３１が点灯する場合、該写真レンズ３２が被監視物２とその上にある光学パターンの画像を一回に取得し、該光源３１が滅灯する場合、同じように該写真レンズ３２が被監視物２とその上にある光学パターンの画像を再び一回に取得し、該距離検出モジュール４１が上記の２つの画像を互いに減算し、光学パターンの画像のみ保留し、光学パターンの画像の変化状態をもっと明確に判断でき、該被監視物２と該車両１との間の距離を計算する。
続いて、本発明の目的、特徴、及び達成しようとする効果を理解されるように、以下、本発明に係る車両用監視システムの具体的な実施例を挙げ、本発明に係る車両用監視システムが実際に適用される範囲をさらに説明するが、任意の形式で本発明の実施範囲を限定するものではない。運転者が車両を道路で運転する場合、本発明に係る車両用監視システムを使用して運転者に車両の周囲に存在する被監視物の位置と距離を思い出させ、並びに車両の停止に正体不明の人が近寄った画像の実時間検出を行い、交通安全を確保する及び生命と財産を守る利点をもたらす。まず、４つの画像取得ユニット３に内装された光源３１を利用し、それぞれ光ビーム３１１を出射し、被監視物２に光学パターンを表示し、該光学パターンが該被監視物２と車両１との間の距離に伴って変化され、４つの該画像取得ユニット３が該車両１の前、後、左、右の四側に設置され、次に、該画像取得ユニット３に内装された魚眼レンズ形式の写真レンズ３２で該車両１の周囲に存在する該被監視物２の原画像とその上にある該光学パターンを、対応される電荷結合素子（ＣＣＤ）形式の光センサユニットに取得して画像を生成し、次に、画像処理ユニット４に内装された距離検出モジュール４１を使用し、グリッド状の光学パターンの変化によって該被監視物と該車両との距離を計算し、その後、該画像処理ユニット４に内装された変換モジュール４２を使用し、該原画像を対応的に複数の鳥瞰画像に変換し、次に、該画像処理ユニット４に内装された空間定義域判断モジュール４３を使用し、放射性のエッジ特性で該鳥瞰画像における該被監視物が存在する情報を判断し、次に、該画像処理ユニット４に内装された時間域判断モジュール４４を使用し、区域差分法（ＬＤ）で２つの連続した該原画像より該被監視物の輪郭を探し出し、その後、該画像処理ユニット４に内装された地面除去モジュール４５を使用し、動き推定法で２つの連続した鳥瞰画像より該被監視物２と地面との差分を判断し、最後に、表示ユニット５の表示モジュール５１で該鳥瞰画像から結合されたパノラマ鳥瞰画像及び該被監視物２と該車両１との距離を表示し、該被監視物２と該車両１との距離が限界値より小さくなると、警告モジュール５２で警告信号を発送し、運転者に思い出させる。これによって、本発明に係る車両用監視システムが、該空間定義域判断モジュール４３、該時間域判断モジュール４４、及び該地面除去モジュール４５などの画像検出方式により、該車両１の周囲に存在する該被監視物２の原画像をパノラマ鳥瞰画像に変換し、該被監視物２への該光源３１の投射で発生される光学パターンの変化により、効果的に該車両１の進行中に運転者に該車両１の周囲に存在する該被監視物２の位置と距離を思い出させ、並びに該車両１の停止に正体不明の人が近寄った画像の実時間検出を行い、交通安全を確保する及び生命と財産を守る利点をもたらす。
以上の説明は、本発明の好適な実施形態を示したものであり、本発明を限定するものではない。従って、本発明の主旨を逸脱しない範囲における修飾または変更は、全て、本発明の保護範囲に含まれる。
１ 車両
２ 被監視物
２１ 人物
２２ 柱
２３ 地面マーク
３ 画像取得ユニット
３１ 光源
３２ 写真レンズ
３３ 光センサ部材
４ 画像処理ユニット
４１ 距離検出モジュール
４２ 変換モジュール
４３ 空間定義域判断モジュール
４４ 時間域判断モジュール
４５ 地面除去モジュール
５ 表示ユニット
５１ 表示モジュール
５２ 警告モジュール
Ａ 第一画像
Ｂ 第二画像
Ｃ 第三画像
Ｄ 第四画像

Claims (4)

  1. パノラマ鳥瞰画像で車両の周囲に存在する少なくとも１つの被監視物の位置と距離を監視する車両用監視システムであって、少なくとも、
    該車両の外部の周りに設置され、それぞれ１つの光源と、１つの写真レンズと、１つの光センサ部材とを含み、該被監視物に光学パターンを表示するように、該光源が光ビームを出射し、該光学パターンが該被監視物と該車両との間の距離に伴って変化され、該写真レンズにより該車両の周囲に存在する該被監視物の原画像とその上にある該光学パターンを該光センサ部材に取得される複数の画像取得ユニットと、
    該画像取得ユニットに電気的に接続され、１つの距離検出モジュールと、１つの変換モジュールと、１つの空間定義域判断モジュールと、１つの時間域判断モジュールと、１つの地面除去モジュールと、を含み、該距離検出モジュールが該光学パターンの変化によって該被監視物と該車両との距離を計算し、該変換モジュールが該原画像を対応的に複数の鳥瞰画像に変換し、該空間定義域判断モジュールが該鳥瞰画像における該被監視物が存在する情報を判断し、該時間域判断モジュールが区域差分法（ＬＤ）で２つの連続した原画像より該被監視物の輪郭を探し出し、該地面除去モジュールが２つの連続した鳥瞰画像より該被監視物と地面との差分を判断する画像処理ユニットと、
    該画像処理ユニットに電気的に接続され、１つの表示モジュールと、１つの警告モジュールと、を含み、該表示モジュールが該鳥瞰画像から結合されたパノラマ鳥瞰画像及び該被監視物と該車両との距離を表示し、該距離が限界値より小さくなると、該警告モジュールが警告信号を発送する表示ユニットと、
    を含み、
    該区域差分法（ＬＤ）の公式が、
    であり、
    該ｍとｎが画像座標点であり、３×５のマスクを形成し、
    Ｉ ｔ （ｘ＋ｍ、ｙ＋ｎ）が時間ｔのイメージ関数であり、時間ｔ−１のイメージ関数であり、閾値（Ｄｔｈ）の公式が、
    であり、
    ｔｈが現在の画面の変化の程度によって調整され、ＬＤとＤｔｈが反比例関係となり、差分範囲（Ｔｅｍｐ Ｄｉｆｆ）と閾値（Ｄｔｈ）の関係が
    のような公式であることを特徴とする車両用監視システム。
  2. 該光源がレーザー、赤外線、発光ダイオード、又は光ビームを出射するための発光体から一つを選択し、該光学パターンがグリッド、直線、又は規則的配列したポイントから一つを選択し、該写真レンズが魚眼レンズ、広角レンズ、又は標準レンズから一つを選択し、該光センサ部材が電荷結合素子（ＣＣＤ）又は相補型金属酸化物半導体（ＣＭＯＳ）から一つを選択することを特徴とする請求項１に記載の車両用監視システム。
  3. 該表示モジュールが表示画面を有するディスプレイ、スマートフォン、タブレット、又はポータブルコンピュータから一つ又は二つ以上の組み合わせを選択し、該警告信号がビープ音、光線、又は振動から一つの方式又は二つ以上の組み合わせで呈することを特徴とする請求項１に記載の車両用監視システム。
  4. 該光源が点滅型光源であり、その点滅周波数が、該写真レンズにより取得される画面の周波数と同じであり、該距離検出モジュールがさらに該写真レンズが取得される前後画像間の差分を比較し、該光学パターンの変化を判断することを特徴とする請求項１に記載の車両用監視システム。
JP2016254557A 2015-12-31 2016-12-28 車両用監視システム Expired - Fee Related JP6629715B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW104144616A TWI585723B (zh) 2015-12-31 2015-12-31 車輛監控系統及其方法
TW104144616 2015-12-31

Publications (2)

Publication Number Publication Date
JP2017121058A JP2017121058A (ja) 2017-07-06
JP6629715B2 true JP6629715B2 (ja) 2020-01-15

Family

ID=57614295

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016254557A Expired - Fee Related JP6629715B2 (ja) 2015-12-31 2016-12-28 車両用監視システム

Country Status (5)

Country Link
US (1) US10194079B2 (ja)
EP (1) EP3188077A1 (ja)
JP (1) JP6629715B2 (ja)
CN (1) CN106926794B (ja)
TW (1) TWI585723B (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI643162B (zh) * 2017-06-22 2018-12-01 合盈光電科技股份有限公司 交通號誌控制系統
CN107819835A (zh) * 2017-10-27 2018-03-20 周燕红 一种寻找共享单车的方法、装置、设备及系统
CN109204190A (zh) * 2018-09-26 2019-01-15 北京子歌人工智能科技有限公司 一种多传感器的车辆采集数据处理装置及方法
CN110962754B (zh) * 2018-09-29 2021-06-18 比亚迪股份有限公司 无人机的固定结构及车辆防盗方法、装置、介质和设备
TWI794486B (zh) * 2019-04-30 2023-03-01 先進光電科技股份有限公司 行動載具輔助系統及其處理方法
US11610336B2 (en) * 2021-02-01 2023-03-21 GM Global Technology Operations LLC Methods and systems to detect vehicle events using vehicle cameras

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01240811A (ja) * 1988-03-23 1989-09-26 Alpine Electron Inc 車両用の距離判別装置
US20140152823A1 (en) * 1998-11-30 2014-06-05 American Vehicular Sciences Llc Techniques to Obtain Information About Objects Around a Vehicle
US20030123707A1 (en) * 2001-12-31 2003-07-03 Park Seujeung P. Imaging-based distance measurement and three-dimensional profiling system
JP4744823B2 (ja) * 2004-08-05 2011-08-10 株式会社東芝 周辺監視装置および俯瞰画像表示方法
JP4809019B2 (ja) * 2005-08-31 2011-11-02 クラリオン株式会社 車両用障害物検出装置
JP4894365B2 (ja) * 2006-06-13 2012-03-14 日産自動車株式会社 周囲障害物検出装置
JP4930046B2 (ja) * 2006-12-26 2012-05-09 日産自動車株式会社 路面判別方法および路面判別装置
JP4969269B2 (ja) * 2007-02-21 2012-07-04 アルパイン株式会社 画像処理装置
JP2008227646A (ja) * 2007-03-09 2008-09-25 Clarion Co Ltd 障害物検知装置
JP4872769B2 (ja) * 2007-04-11 2012-02-08 日産自動車株式会社 路面判別装置および路面判別方法
DE102007022524A1 (de) * 2007-05-14 2008-11-20 Bayerische Motoren Werke Aktiengesellschaft Kraftfahrzeug
TW201009757A (en) * 2008-08-29 2010-03-01 Automotive Res & Testing Ct Object position detecting device and method
WO2010099416A1 (en) * 2009-02-27 2010-09-02 Magna Electronics Alert system for vehicle
CN101900816A (zh) * 2009-06-01 2010-12-01 合盈光电科技股份有限公司 含测距功能的倒车影像装置
TW201103787A (en) * 2009-07-31 2011-02-01 Automotive Res & Testing Ct Obstacle determination system and method utilizing bird's-eye images
CN101995239B (zh) * 2009-08-11 2012-05-23 财团法人车辆研究测试中心 利用鸟瞰影像判断障碍物的系统及方法
DE102011018597B9 (de) * 2011-04-21 2013-01-24 Vrmagic Gmbh Verfahren zum synchronisierten Betrieb einer Kamera und eines Projektors
US9665781B2 (en) * 2011-08-02 2017-05-30 Nissan Motor Co., Ltd. Moving body detection device and moving body detection method
US20130286193A1 (en) * 2012-03-21 2013-10-31 Magna Electronics Inc. Vehicle vision system with object detection via top view superposition
JP6454554B2 (ja) * 2015-01-20 2019-01-16 クラリオン株式会社 車両用外界認識装置およびそれを用いた車両挙動制御装置

Also Published As

Publication number Publication date
US10194079B2 (en) 2019-01-29
JP2017121058A (ja) 2017-07-06
TWI585723B (zh) 2017-06-01
EP3188077A1 (en) 2017-07-05
CN106926794B (zh) 2019-12-31
US20170195567A1 (en) 2017-07-06
TW201724052A (zh) 2017-07-01
CN106926794A (zh) 2017-07-07

Similar Documents

Publication Publication Date Title
JP6629715B2 (ja) 車両用監視システム
CN107336669B (zh) 车辆安全防护系统及其方法
US10528825B2 (en) Information processing device, approaching object notification method, and program
US10147323B2 (en) Driver assistance system with path clearance determination
KR101083885B1 (ko) 지능형 운전 보조 시스템들
US9802540B2 (en) Process for representing vehicle surroundings information of a motor vehicle
JP5204963B2 (ja) 固体撮像素子
TWI533694B (zh) 車用障礙物偵測顯示系統
JP5888339B2 (ja) 表示制御装置
JP6394440B2 (ja) 汚れ判定装置
JP2009265842A (ja) 車両用警告装置、警告方法
TWM562412U (zh) 車輛之環景偵測系統
WO2016092925A1 (ja) 接近車両検出装置
WO2014158081A1 (en) A system and a method for presenting information on a windowpane of a vehicle with at least one mirror
JP2011191859A (ja) 車両の周辺監視装置
RU2706757C1 (ru) Способ и блок управления для заднего обзора
TWI618644B (zh) Image overlay method
KR102036593B1 (ko) 악천후 출동차량용 전후방 감시시스템
KR102190891B1 (ko) 차량의 주변 감시 장치 및 방법
KR101531313B1 (ko) 차량 하부의 물체 탐지장치 및 방법
JP2007085745A (ja) 物体監視装置
TWM552878U (zh) 移動物偵測之警示裝置
JP2011090490A (ja) 障害物認識装置
JP2016051941A (ja) 移動体検出装置
JP2016051940A (ja) 移動体検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190416

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190716

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191016

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191205

R150 Certificate of patent or registration of utility model

Ref document number: 6629715

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees