KR102473404B1 - 탑뷰 제공 장치 - Google Patents

탑뷰 제공 장치 Download PDF

Info

Publication number
KR102473404B1
KR102473404B1 KR1020200022642A KR20200022642A KR102473404B1 KR 102473404 B1 KR102473404 B1 KR 102473404B1 KR 1020200022642 A KR1020200022642 A KR 1020200022642A KR 20200022642 A KR20200022642 A KR 20200022642A KR 102473404 B1 KR102473404 B1 KR 102473404B1
Authority
KR
South Korea
Prior art keywords
view camera
image
cameras
images output
camera
Prior art date
Application number
KR1020200022642A
Other languages
English (en)
Other versions
KR20210108003A (ko
Inventor
안시영
원성한
권두형
황성호
Original Assignee
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전기주식회사 filed Critical 삼성전기주식회사
Priority to KR1020200022642A priority Critical patent/KR102473404B1/ko
Priority to US17/076,145 priority patent/US20210264174A1/en
Priority to CN202110037495.5A priority patent/CN113378612A/zh
Publication of KR20210108003A publication Critical patent/KR20210108003A/ko
Application granted granted Critical
Publication of KR102473404B1 publication Critical patent/KR102473404B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004—Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명의 일 실시예에 따른 탑뷰 제공 장치는 복수의 카메라를 포함하는 카메라부; 복수의 카메라로부터 출력되는 복수의 이미지를 매칭하여, 중첩 영역을 결정하는 중첩 영역 결정부; 상기 중첩 영역을 매트릭스 형태의 복수의 블록으로 분할하고, 상기 복수의 블록 각각에 대하여, 상기 복수의 카메라 중 촬영 영역이 일부 중첩되는 두 개의 카메라로부터 출력되는 두 개의 이미지를 비교하는 이미지 비교부; 및 상기 이미지 비교부의 비교 결과에 따라, 차량 주변의 물체 및 지면을 검출하는 주변 물체 검출부; 를 포함할 수 있다.

Description

탑뷰 제공 장치{APPARATUS FOR PROVIDING TOP VIEW}
본 발명은 탑뷰 제공 장치에 관한 것이다.
주행 중 운전자가 볼 수 없는 사각지대는 운전자의 안전을 위협하는 큰 위험 요소이다. 차량을 운전하는 운전자는 대체로 전방만을 주시하고 있기 때문에 차량의 후방에는 주의를 기울이기가 어렵다. 이러한 위험요소를 제거하기 위해 차량에는 다양한 사각지대 제거장치가 개발되어 왔다. 사이드 미러에서 볼 수 없는 사각지대를 제거하기 위해서 보조거울을 일체화시키거나, 적외선 센서로 후방의 물체를 감지하고 경보를 통해 운전자에게 위험을 알려주는 장치들이 개발되고 실제 차량에 적용되고 있다. 최근에는 차량의 후방의 영상을 운전자의 디스플레이에 출력하여 사각지대를 줄여주는 방법들이 있다. 하지만, 이러한 방법들은 근본적으로 운전자가 가지는 사각지대의 일부만을 제거한다는 단점을 가진다.
특히, 대형 차량의 경우 사이드 미러나 백 미러 만으로는 확인할 수 없는 부위가 많아 차량을 출발시키기에 앞서 필히 차량의 주변을 돌아보면서 육안으로 장애물이 존재하는지 여부를 확인해야만 접촉 사고와 같은 교통 안전 사고 및 인사 사고의 발생을 방지할 수 있다. 또한, 차량을 주차하고자 하는 운전자의 경우, 좌우측과 후방을 일견에 확인을 할 수 없으므로, 운전이 미숙한 운전자는 주변에 주차되어 있는 차량 또는 주차 기둥과의 접촉 사고가 발생할 위험성이 있다. 나아가, 차량의 전방에 위치한 장애물이라도 차량의 앞 유리와 문 사이에 위치하는 프레임에 의해 장애물이 가려질 수 있으며, 차량의 전방 또는 후방에서 앉아서 놀고 있는 유아들을 발견하지 못하는 경우에는 인명 사고로 이어질 수도 있다.
따라서, 최근에는 차량의 전후방부, 좌우측면부에 각각 부착된 카메라를 통하여 주변 환경을 촬상하고, 촬상된 화면을 조합하여 차량을 상부에서 내려다보는 시야 - 탑뷰(Top View) - 를 운전석에 구비된 디스플레이 장치를 통해 제공하는 장치가 개발되고 있다.
본 발명의 과제는, 별도의 센서를 구비함 없이, 높은 정밀도로 주변 물체를 검출할 수 있고, 주변 물체와 차량 간의 정확한 거리를 산출할 수 있는 탑뷰 제공 장치를 제공하는 것이다.
본 발명의 일 실시예에 따른 탑뷰 제공 장치는 복수의 카메라를 포함하는 카메라부; 복수의 카메라로부터 출력되는 복수의 이미지를 매칭하여, 중첩 영역을 결정하는 중첩 영역 결정부; 상기 중첩 영역을 매트릭스 형태의 복수의 블록으로 분할하고, 상기 복수의 블록 각각에 대하여, 상기 복수의 카메라 중 촬영 영역이 일부 중첩되는 두 개의 카메라로부터 출력되는 두 개의 이미지를 비교하는 이미지 비교부; 및 상기 이미지 비교부의 비교 결과에 따라, 차량 주변의 물체 및 지면을 검출하는 주변 물체 검출부; 를 포함할 수 있다.
본 발명의 일 실시예에 따른 탑뷰 제공 장치는 촬영 영역이 일부 중첩되는 두 개의 카메라로부터 출력되는 두 개의 이미지를 비교하여, 높은 정밀도로 주변 물체를 검출할 수 있고, 나아가, 주변 물체와 차량 간의 정확한 거리를 산출할 수 있다.
또한, 본 발명의 일 실시예에 따른 탑뷰 제공 장치는 별도의 센서를 구비함 없이, 주변 물체의 검출 및 주변 물체와 차량 간의 거리 산출이 가능하므로, 제조 비용을 절감할 수 있다.
도 1은 본 발명의 일 실시예에 따른 탑뷰 제공 장치를 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 카메라부의 배치 및 카메라부에서 출력되는 이미지들을 설명하기 위하여 제공되는 도이다.
도 3은 본 발명의 일 실시예에 따른 중첩 영역을 설명하기 위하여 제공되는 도이다.
도 4은 본 발명의 일 실시예에 따른 이미지 비교부의 비교 결과를 설명하기 위하여 제공되는 도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 탑뷰 제공 장치를 나타낸 블록도이다. 도 2는 본 발명의 일 실시예에 따른 카메라부의 배치 및 카메라부에서 출력되는 이미지들을 설명하기 위하여 제공되는 도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 탑뷰 제공 장치(10)는, 카메라부(100), 영상 처리부(200), 영상 합성부(300), 중첩 영역 결정부(400), 이미지 비교부(500), 및 주변 물체 검출부(600)를 포함할 수 있다.
카메라부(100)는 복수의 카메라를 포함할 수 있다. 일 예로, 복수의 카메라는 차량의 좌측 방향을 촬영하는 좌측 탑뷰 카메라(110), 차량의 우측 방향을 촬영하는 우측 탑뷰 카메라(120), 차량의 전방을 촬영하는 전방 탑뷰 카메라(130), 및 차량의 후방을 촬영하는 후방 탑뷰 카메라(140)를 포함할 수 있다.
일 예로, 좌측 탑뷰 카메라(110), 우측 탑뷰 카메라(120), 전방 탑뷰 카메라(130), 및 후방 탑뷰 카메라(140) 각각은 차량 외부의 좌측, 우측, 전방 및 후방에서, 하방 - 지면을 내려다 보는 방향 - 을 촬영할 수 있다.
좌측 탑뷰 카메라(110), 우측 탑뷰 카메라(120), 전방 탑뷰 카메라(130), 및 후방 탑뷰 카메라(140) 각각은 어안 렌즈를 포함하는 광각 카메라를 포함할 수 있다.
좌측 탑뷰 카메라(110)는 차량 외부의 좌측면에 배치될 수 있고, 우측 탑뷰 카메라(120)는 차량 외부의 우측면에 배치될 수 있고, 전방 탑뷰 카메라(130)는 차량 외부의 전방에 배치될 수 있고, 후방 탑뷰 카메라(140)는 차량 외부의 후면에 배치될 수 있다.
좌측 탑뷰 카메라(110)에서 출력되는 제1 이미지(Image1), 우측 탑뷰 카메라(120)에서 출력되는 제2 이미지(Image2), 전방 탑뷰 카메라(130)에서 출력되는 제3 이미지(Image3), 및 후방 탑뷰 카메라(140)에서 출력되는 제4 이미지(Image4)는 영상 처리부(200)로 제공될 수 있다.
상술한 설명에서, 카메라부(100)가 4개의 카메라로 구성되는 것으로 기술되었으나, 실시예에 따라, 카메라의 수는 변경될 수 있다.
영상 처리부(200)는 좌측 탑뷰 카메라(110)에서 출력되는 제1 이미지(Image1), 우측 탑뷰 카메라(120)에서 출력되는 제2 이미지(Image2), 전방 탑뷰 카메라(130)에서 출력되는 제3 이미지(Image3), 및 후방 탑뷰 카메라(140)에서 출력되는 제4 이미지(Image4)를 수신할 수 있다.
영상 처리부(200)는 좌측 탑뷰 카메라(110)에서 출력되는 제1 이미지(Image1), 우측 탑뷰 카메라(120)에서 출력되는 제2 이미지(Image2), 전방 탑뷰 카메라(130)에서 출력되는 제3 이미지(Image3), 및 후방 탑뷰 카메라(140)에서 출력되는 제4 이미지(Image4)를 탑뷰 형태로 변환할 수 있다.
영상 처리부(200)는 제1 이미지(Image1), 제2 이미지(Image2), 제3 이미지(Image3), 제4 이미지(Image4)에 왜곡 보정 및 시점 변환 등의 알고리즘을 적용하여, 탑뷰 형태로 변환할 수 있다.
영상 처리부(200)에서 탑뷰 형태로 변환된 제1 이미지(Image1), 제2 이미지(Image2), 제3 이미지(Image3), 제4 이미지(Image4)는 영상 합성부(300) 및 중첩 영역 결정부(400)으로 제공될 수 있다.
영상 합성부(300)는 영상 처리부(200)로부터 전달되는 탑뷰 형태로 변환된 제1 이미지(Image1), 제2 이미지(Image2), 제3 이미지(Image3), 제4 이미지(Image4)를 수신할 수 있다.
영상 합성부(300)는 탑뷰 형태로 변환된 제1 이미지(Image1), 제2 이미지(Image2), 제3 이미지(Image3), 제4 이미지(Image4)를 합성하여, 운전자가 차량 상부의 하늘에서 차량을 내려다보는 듯한 탑뷰 이미지를 생성할 수 있다.
중첩 영역 결정부(400)는 제1 이미지(Image1), 제2 이미지(Image2), 제3 이미지(Image3), 및 제4 이미지(Image4)의 중첩 영역을 결정할 수 있다.
광각 카메라로 구성되는 좌측 탑뷰 카메라(110), 우측 탑뷰 카메라(120), 전방 탑뷰 카메라(130), 및 후방 탑뷰 카메라(140)는 넓은 화각을 가지므로, 좌측 탑뷰 카메라(110), 우측 탑뷰 카메라(120), 전방 탑뷰 카메라(130), 및 후방 탑뷰 카메라(140) 중 일부 카메라의 촬영 영역은 일부 중첩될 수 있다.
일 예로, 좌측 탑뷰 카메라(110) 및 전방 탑뷰 카메라(130)의 촬영 영역은 일부 중첩되고, 전방 탑뷰 카메라(130) 및 우측 탑뷰 카메라(120)의 촬영 영역은 일부 중첩되고, 우측 탑뷰 카메라(120) 및 후방 탑뷰 카메라(140)의 촬영 영역은 일부 중첩되고, 후방 탑뷰 카메라(140) 및 좌측 탑뷰 카메라(110)의 촬영 영역은 일부 중첩될 수 있다.
중첩 영역 결정부(400)는 좌측 탑뷰 카메라(110), 우측 탑뷰 카메라(120), 전방 탑뷰 카메라(130), 및 후방 탑뷰 카메라(140) 중 촬영 영역이 일부 중첩되는 두 개의 카메라로부터 출력되는 두 개의 이미지를 매칭하여, 중첩 영역을 결정할 수 있다.
도 3은 본 발명의 일 실시예에 따른 중첩 영역을 설명하기 위하여 제공되는 도이다. 도 4은 본 발명의 일 실시예에 따른 이미지 비교부의 비교 결과를 설명하기 위하여 제공되는 도이다.
일 예로, 중첩 영역 결정부(400)는 제1 이미지(Image1) 및 제3 이미지(Image3)를 매칭하여 제1 중첩 영역(SA1)을 결정하고, 제2 이미지(Image2) 및 제3 이미지(Image3)를 매칭하여 제2 중첩 영역(SA1)을 결정하고, 제2 이미지(Image2) 및 제4 이미지(Image4)를 매칭하여 제3 중첩 영역(SA3)을 결정하고, 제1 이미지(Image1) 및 제4 이미지(Image4)를 매칭하여 제4 중첩 영역(SA4)을 결정할 수 있다.
일 예로, 이미지 비교부(500)는 촬영 영역이 일부 중첩되는 두 개의 카메라로부터 출력되는 두 개의 이미지 각각에서, 중첩 영역에 해당하는 제1 비교 이미지 및 제2 비교 이미지를 비교할 수 있다.
구체적으로, 도 2 및 도 3을 참조하면, 이미지 비교부(500)는 제1 이미지(Image1) 중 제1 중첩 영역(SA1)에 해당하는 제1 비교 이미지와 제3 이미지(Image3) 중 제1 중첩 영역(SA1)에 해당하는 제2 비교 이미지를 비교할 수 있다.
도 4를 참조하면, 이미지 비교부(500)는 제1 중첩 영역(SA1)을 복수의 블록으로 분할할 수 있다. 일 예로, 이미지 비교부(500)는 제1 중첩 영역(SA1)을 매트릭스 형태의 블록으로 분할할 수 있다.
이미지 비교부(500)는 복수의 블록 각각에 대하여, 제1 비교 이미지와 제2 비교 이미지를 비교하여, 제1 비교 이미지와 제2 비교 이미지의 데이터 일치 및 데이터 불일치 여부를 결정할 수 있다.
구체적으로, 이미지 비교부(500)는 복수의 블록 각각에 대하여, 제1 이미지(Image1) 중 제1 중첩 영역(SA1)에 해당하는 제1 비교 이미지와 제3 이미지(Image3) 중 제1 중첩 영역(SA1)에 해당하는 제2 비교 이미지를 비교하여, 제1 비교 이미지와 제2 비교 이미지의 데이터 일치 및 데이터 불일치 여부를 결정할 수 있다.
도 4에서, 제1 중첩 영역(SA1)의 복수의 블록 중 음영으로 강조되지 않은 제1 블록 그룹은 제1 비교 이미지와 제2 비교 이미지의 데이터가 일치하는 영역에 해당하고, 음영으로 강조된 제2 블록 그룹은 제1 비교 이미지와 제2 비교 이미지의 데이터가 불일치하는 영역에 해당한다.
주변 물체 검출부(600)는 이미지 비교부(500)의 비교 결과에 따라, 차량 주변의 물체 및 지면을 검출할 수 있다.
일 예로, 주변 물체 검출부(600)는 중첩 영역의 복수의 블록 중 제1 비교 이미지 및 제2 비교 이미지의 데이터가 일치하는 제1 블록 그룹을 지면에 대응하는 영역으로, 제1 비교 이미지 및 상기 제2 비교 이미지의 데이터가 불일치하는 제2 블록 그룹을 상기 물체에 대응하는 영역으로 판단할 수 있다.
구체적으로, 도 4에서, 제1 중첩 영역(SA1)의 복수의 블록 중 음영으로 강조되지 않은 제1 블록 그룹을 지면에 대응하는 영역으로, 음영으로 강조된 제2 블록 그룹을 차량 주변의 물체에 대응하는 영역으로 판단할 수 있다.
주변 물체 검출부(600)는 제1 비교 이미지 및 제2 비교 이미지의 데이터가 일치하는 제1 블록 그룹 및 제1 비교 이미지 및 상기 제2 비교 이미지의 데이터가 불일치하는 제2 블록 그룹에 따라, 차량 주변의 물체와 차량 간의 거리를 산출할 수 있다.
주변 물체 검출부(600)는, 제1 블록 그룹 중 제2 블록 그룹에 인접하여 배치되는 적어도 하나의 블록에 따라 차량 주변의 물체와 상기 차량 간의 거리를 검출할 수 있다.
일 예로, 주변 물체 검출부(600)는 제1 블록 그룹 중 제2 블록 그룹에 인접하여 배치되고, 차량과 거리가 가장 가까운 블록에 따라 차량 주변의 물체와 차량 간의 거리를 검출할 수 있다.
구체적으로, 도 4를 참조하면, 주변 물체 검출부(600)는 제1 블록 그룹 중 제2 블록 그룹에 인접하여 배치되고, 차량과 거리가 가장 가까운 블록(R5, C6)을 물체에 가장 가까운 지면으로 판단하여, 블록(R5, C6)에 따라 차량 주변의 물체와 차량 간의 거리를 검출할 수 있다.
본 발명의 일 실시예에 따른 탑뷰 제공 장치는 촬영 영역이 일부 중첩되는 두 개의 카메라로부터 출력되는 두 개의 이미지를 비교하여, 높은 정밀도로 주변 물체를 검출할 수 있고, 나아가, 주변 물체와 차량 간의 정확한 거리를 산출할 수 있다.
또한, 본 발명의 일 실시예에 따른 탑뷰 제공 장치는 별도의 센서를 구비함 없이, 주변 물체의 검출 및 주변 물체와 차량 간의 거리 산출이 가능하므로, 제조 비용을 절감할 수 있다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
10: 탑뷰 제공 장치
100: 카메라부
200: 영상 처리부
300: 영상 합성부
400: 중첩 영역 결정부
500: 이미지 비교부
600: 주변 물체 검출부

Claims (16)

  1. 복수의 카메라를 포함하는 카메라부;
    복수의 카메라로부터 출력되는 복수의 이미지를 매칭하여, 중첩 영역을 결정하는 중첩 영역 결정부;
    상기 중첩 영역을 매트릭스 형태의 복수의 블록으로 분할하고, 상기 복수의 블록 각각에 대하여, 상기 복수의 카메라 중 촬영 영역이 일부 중첩되는 두 개의 카메라로부터 출력되는 두 개의 이미지를 비교하는 이미지 비교부; 및
    상기 이미지 비교부의 비교 결과에 따라, 차량 주변의 물체 및 지면을 검출하는 주변 물체 검출부; 를 포함하고,
    상기 이미지 비교부는, 상기 촬영 영역이 일부 중첩되는 두 개의 카메라로부터 출력되는 두 개의 이미지 각각에서, 상기 중첩 영역에 대응하는 제1 비교 이미지 및 제2 비교 이미지를 비교하여, 데이터 일치 및 데이터 불일치 여부를 결정하고,
    상기 주변 물체 검출부는, 상기 복수의 블록 중 상기 제1 비교 이미지 및 상기 제2 비교 이미지의 데이터가 일치하는 제1 블록 그룹을 상기 지면에 대응하는 영역으로, 상기 제1 비교 이미지 및 상기 제2 비교 이미지의 데이터가 불일치하는 제2 블록 그룹을 상기 물체에 대응하는 영역으로 판단하는 탑뷰 제공 장치.
  2. 제1항에 있어서,
    상기 복수의 카메라는 좌측 탑뷰 카메라, 우측 탑뷰 카메라, 전방 탑뷰 카메라, 및 후방 탑뷰 카메라를 포함하는 탑뷰 제공 장치.
  3. 제2항에 있어서, 중첩 영역 결정부는,
    상기 좌측 탑뷰 카메라, 상기 우측 탑뷰 카메라, 상기 전방 탑뷰 카메라, 및 상기 후방 탑뷰 카메라 중 촬영 영역이 일부 중첩되는 두 개의 카메라로부터 출력되는 두 개의 이미지를 매칭하여, 상기 중첩 영역을 결정하는 탑뷰 제공 장치.
  4. 제2항에 있어서, 상기 중첩 영역 결정부는,
    상기 좌측 탑뷰 카메라 및 상기 전방 탑뷰 카메라로부터 출력되는 두 개의 이미지를 매칭하고,
    상기 전방 탑뷰 카메라 및 상기 우측 탑뷰 카메라로부터 출력되는 두 개의 이미지를 매칭하고,
    상기 우측 탑뷰 카메라 및 상기 후방 탑뷰 카메라로부터 출력되는 두 개의 이미지를 매칭하고,
    상기 후방 탑뷰 카메라 및 상기 좌측 탑뷰 카메라로부터 출력되는 두 개의 이미지를 매칭하는 탑뷰 제공 장치.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 복수의 카메라를 포함하는 카메라부;
    복수의 카메라로부터 출력되는 복수의 이미지를 매칭하여, 중첩 영역을 결정하는 중첩 영역 결정부;
    상기 중첩 영역을 매트릭스 형태의 복수의 블록으로 분할하고, 상기 복수의 블록 각각에 대하여, 상기 복수의 카메라 중 촬영 영역이 일부 중첩되는 두 개의 카메라로부터 출력되는 두 개의 이미지를 비교하는 이미지 비교부; 및
    상기 이미지 비교부의 비교 결과에 따라, 차량 주변의 물체와 차량 간의 거리를 산출하는 주변 물체 검출부; 를 포함하고,
    상기 이미지 비교부는, 상기 촬영 영역이 일부 중첩되는 두 개의 카메라로부터 출력되는 두 개의 이미지 각각에서, 상기 중첩 영역에 대응하는 제1 비교 이미지 및 제2 비교 이미지를 비교하여, 데이터 일치 및 데이터 불일치 여부를 결정하고,
    상기 주변 물체 검출부는, 상기 복수의 블록 중 상기 제1 비교 이미지 및 상기 제2 비교 이미지의 데이터가 일치하는 제1 블록 그룹, 및 상기 제1 비교 이미지 및 상기 제2 비교 이미지의 데이터가 불일치하는 제2 블록 그룹에 따라, 상기 차량 주변의 물체와 상기 차량 간의 거리를 산출하는 탑뷰 제공 장치.
  9. 제8항에 있어서,
    상기 복수의 카메라는 좌측 탑뷰 카메라, 우측 탑뷰 카메라, 전방 탑뷰 카메라, 및 후방 탑뷰 카메라를 포함하는 탑뷰 제공 장치.
  10. 제9항에 있어서, 중첩 영역 결정부는,
    상기 좌측 탑뷰 카메라, 상기 우측 탑뷰 카메라, 상기 전방 탑뷰 카메라, 및 상기 후방 탑뷰 카메라 중 촬영 영역이 일부 중첩되는 두 개의 카메라로부터 출력되는 두 개의 이미지를 매칭하여, 상기 중첩 영역을 결정하는 탑뷰 제공 장치.
  11. 제9항에 있어서, 상기 중첩 영역 결정부는,
    상기 좌측 탑뷰 카메라 및 상기 전방 탑뷰 카메라로부터 출력되는 두 개의 이미지를 매칭하고,
    상기 전방 탑뷰 카메라 및 상기 우측 탑뷰 카메라로부터 출력되는 두 개의 이미지를 매칭하고,
    상기 우측 탑뷰 카메라 및 상기 후방 탑뷰 카메라로부터 출력되는 두 개의 이미지를 매칭하고,
    상기 후방 탑뷰 카메라 및 상기 좌측 탑뷰 카메라로부터 출력되는 두 개의 이미지를 매칭하는 탑뷰 제공 장치.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 제8항에 있어서, 상기 주변 물체 검출부는,
    상기 제1 블록 그룹 중 상기 제2 블록 그룹에 인접하여 배치되는 적어도 하나의 블록에 따라 상기 차량 주변의 물체와 상기 차량 간의 거리를 산출하는 탑뷰 제공 장치.
  16. 제15항에 있어서, 상기 주변 물체 검출부는,
    상기 제1 블록 그룹 중 상기 제2 블록 그룹에 인접하여 배치되고, 상기 차량과 거리가 가장 가까운 블록에 따라 상기 차량 주변의 물체와 상기 차량 간의 거리를 산출하는 탑뷰 제공 장치.
KR1020200022642A 2020-02-25 2020-02-25 탑뷰 제공 장치 KR102473404B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200022642A KR102473404B1 (ko) 2020-02-25 2020-02-25 탑뷰 제공 장치
US17/076,145 US20210264174A1 (en) 2020-02-25 2020-10-21 Imaging apparatus for providing top view
CN202110037495.5A CN113378612A (zh) 2020-02-25 2021-01-12 提供俯视图的成像装置和车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200022642A KR102473404B1 (ko) 2020-02-25 2020-02-25 탑뷰 제공 장치

Publications (2)

Publication Number Publication Date
KR20210108003A KR20210108003A (ko) 2021-09-02
KR102473404B1 true KR102473404B1 (ko) 2022-12-02

Family

ID=77365291

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200022642A KR102473404B1 (ko) 2020-02-25 2020-02-25 탑뷰 제공 장치

Country Status (3)

Country Link
US (1) US20210264174A1 (ko)
KR (1) KR102473404B1 (ko)
CN (1) CN113378612A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230055722A (ko) * 2021-10-19 2023-04-26 현대모비스 주식회사 차량의 타겟 감지 시스템 및 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006003538B3 (de) * 2006-01-24 2007-07-19 Daimlerchrysler Ag Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive
JP4541316B2 (ja) * 2006-04-06 2010-09-08 三菱電機株式会社 映像監視検索システム
JP4879031B2 (ja) * 2007-01-11 2012-02-15 三洋電機株式会社 運転支援システム、画像処理装置及びずれ検出方法
JP5120880B2 (ja) * 2007-10-15 2013-01-16 アルパイン株式会社 画像処理装置及び画像処理方法
JP5344227B2 (ja) * 2009-03-25 2013-11-20 アイシン精機株式会社 車両用周辺監視装置
US20130286193A1 (en) * 2012-03-21 2013-10-31 Magna Electronics Inc. Vehicle vision system with object detection via top view superposition
US10179543B2 (en) * 2013-02-27 2019-01-15 Magna Electronics Inc. Multi-camera dynamic top view vision system
KR102132527B1 (ko) * 2018-04-25 2020-07-09 한양대학교 산학협력단 Avm 시스템 및 avm 시스템에서, 영상 사이의 매칭점 검출 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Buyue Zhang 외 7인, "A surround view camera solution for embedded systems", CVPR2014 Workshop, pp.662-667, 2014. 1부.*
Jeong Yeol Baek 외 9인, "Scene Understanding Networks for Autonomous Driving based on Around View Monitoring System", arXiv, 2018. 1부.*

Also Published As

Publication number Publication date
CN113378612A (zh) 2021-09-10
US20210264174A1 (en) 2021-08-26
KR20210108003A (ko) 2021-09-02

Similar Documents

Publication Publication Date Title
US11836989B2 (en) Vehicular vision system that determines distance to an object
JP5421072B2 (ja) 接近物体検知システム
JP4862774B2 (ja) 運転支援方法及び運転支援装置
EP1961613B1 (en) Driving support method and driving support device
US20150042799A1 (en) Object highlighting and sensing in vehicle image display systems
US20160379066A1 (en) Method and Camera System for Distance Determination of Objects from a Vehicle
JP2002359838A (ja) 運転支援装置
KR100917330B1 (ko) 차량의 탑뷰 모니터 시스템 및 방법
JP5093611B2 (ja) 車両周辺確認装置
JP5213063B2 (ja) 車両表示装置および表示方法
JP2008227646A (ja) 障害物検知装置
US8477191B2 (en) On-vehicle image pickup apparatus
JP2009524171A (ja) 複数の画像を結合して鳥瞰図画像にする方法
KR20120077309A (ko) 차량의 후방 영상 표시 장치 및 방법
JP5680436B2 (ja) 車載カメラレンズ用異物付着判定装置
CN110378836B (zh) 获取对象的3d信息的方法、系统和设备
US11827148B2 (en) Display control device, display control method, moving body, and storage medium
JP7000383B2 (ja) 画像処理装置および画像処理方法
KR20190067578A (ko) 오버랩 촬영 영역을 가지는 이종 카메라를 이용한 충돌 경고 장치 및 방법
KR102473404B1 (ko) 탑뷰 제공 장치
JP4614852B2 (ja) 車両周囲監視方法及び装置
JP4501708B2 (ja) 運転者の顔向き判定装置
US20240034236A1 (en) Driver assistance apparatus, a vehicle, and a method of controlling a vehicle
KR102632361B1 (ko) 어라운드 뷰 영상 제공 시스템
JP2005182305A (ja) 車両走行支援装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant