KR101909391B1 - 서라운드 뷰 모니터링 시스템 - Google Patents

서라운드 뷰 모니터링 시스템 Download PDF

Info

Publication number
KR101909391B1
KR101909391B1 KR1020170107518A KR20170107518A KR101909391B1 KR 101909391 B1 KR101909391 B1 KR 101909391B1 KR 1020170107518 A KR1020170107518 A KR 1020170107518A KR 20170107518 A KR20170107518 A KR 20170107518A KR 101909391 B1 KR101909391 B1 KR 101909391B1
Authority
KR
South Korea
Prior art keywords
image
surround view
vehicle
color
surround
Prior art date
Application number
KR1020170107518A
Other languages
English (en)
Inventor
김시욱
이정준
Original Assignee
주식회사 켐트로닉스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 켐트로닉스 filed Critical 주식회사 켐트로닉스
Priority to KR1020170107518A priority Critical patent/KR101909391B1/ko
Application granted granted Critical
Publication of KR101909391B1 publication Critical patent/KR101909391B1/ko

Links

Images

Classifications

    • H04N5/23238—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G06T5/002—
    • G06T5/006—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/2257—
    • H04N5/247—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 서라운드 뷰 모니터링 시스템에 관한 것이다. 보다 구체적으로, 본 발명에 따른 서라운드 뷰 모니터링 시스템은, 차량의 전후좌우에 각각 설치되어 차량의 주변 이미지를 촬영하는 복수개의 카메라, 복수개의 카메라에서 각각 촬영된 차량의 주변 이미지를 토대로 복수개의 카메라 각각의 공차 파라미터 정보를 생성하고, 생성된 각각의 공차 파라미터 정보를 토대로 서라운드 뷰 이미지 정합 정보를 생성하며, 서라운드 뷰 이미지 정합 정보를 토대로 룩업 테이블(Lookup table)을 생성하는 서라운드 뷰 공차 보정부, 복수개의 카메라에서 각각 촬영된 차량의 주변 이미지와 서라운드 뷰 공차 보정부에서 생성된 룩업 테이블을 토대로 서라운드 뷰 이미지를 생성하는 서라운드 뷰 이미지 생성부 및 서라운드 뷰 이미지 생성부에서 생성된 서라운드 뷰 이미지를 출력하는 서라운드 뷰 이미지 출력부를 포함한다.

Description

서라운드 뷰 모니터링 시스템{SURROUND VIEW MONITORING SYSTEM}
본 발명은 서라운드 뷰 모니터링 시스템에 관한 것이다.
오늘날 차량이 널리 보급되면서 차량 간 접촉사고도 증가하고 있다. 특히, 주차할 때와 같이 저속으로 움직이는 상황에서는, 다변화하는 차량 주변 상황을 완벽하게 인식하기 어려운바, 접촉 사고 역시 증가하고 있다.
이를 보완하기 위해 운전자에게 차량 주변의 상황을 위에서 본 영상(즉, 탑뷰(Topview))으로 변환하여 보여주는 서라운드 뷰 모니터링 시스템(Surround View Monitoring System)이 개발 되었다.
서라운드 뷰 모니터링 시스템에서는, 차량의 전, 후, 좌, 우에 각각 설치된 카메라가 서로 다른 시야를 촬영하고, 각 카메라에 의해 촬영된 이미지가 서로 정합되어 탑뷰 이미지로 변환되는데, 이러한 변환을 위해서는 변환 기준 정보가 입력되어야 한다.
변환 기준 정보에는 차량의 종류, 카메라의 종류, 카메라의 장착 높이, 카메라의 장착 각도, 카메라의 화각 정보 등이 포함되고, 이 중 카메라의 장착과 관련된 정보(예를 들어, 카메라의 장착 높이, 카메라의 장착 각도, 카메라의 화각 등)는 차량에 카메라가 장착될 때마다 가변될 수 있다.
즉, 종래의 서라운드 뷰 모니터링 시스템에서는, 차량에 카메라를 장착할 때마다 장착 정보를 업데이트해야 하는바, 이로 인해 변환 기준 정보를 생성하는데 많은 시간이 소요된다는 문제가 있었다.
또한 종래에는 차량에 장착된 카메라의 공차 보정을 하기 위해 정사각형의 검은색 패턴을 사용하였다. 정사각형의 검은색 패턴이 사용된 경우, 각 카메라에서 촬영된 이미지를 위에서 본 이미지로 변환할 때 변환 기준 정보를 획득하기에 유리하였다.
다만, 실제로 조명 등이 존재하는 환경에서는 이미지 처리를 통해 변환 기준 정보를 획득하기가 쉽지 않았으며, 획득된 정보는 이미지에 포함된 노이즈로 인해 잘못된 정보인 경우가 많았다. 또한, 잘못된 정보는 최종적으로 생성되는 서라운드 뷰 이미지(즉, 탑뷰 이미지)의 품질에도 악영향을 주었다.
이러한 이유로 종래에는 카메라의 공차를 보정하기 위한 환경을 조성하는데 어려움이 많았고, 카메라의 공차를 보정하는데 실패한 경우, 보정 단계를 반복해야 하는 불편함이 있었다.
또한, 카메라의 공차 보정을 위해 필요한 패턴과 서라운드 뷰 이미지의 품질을 검수하기 위해 필요한 패턴이 별개로 존재해야 했기에 전체 공정이 증가하여 시간 및 비용이 증가한다는 문제가 있었다.
본 발명은 색상 정보를 포함하는 체크 패턴을 이용하여 카메라의 공차를 보정함으로써, 주변 환경의 영향을 받지 않고 안정적인 변환 기준 정보를 획득할 수 있는 서라운드 뷰 모니터링 시스템을 제공하는 것을 목적으로 한다.
또한 본 발명은 교차점 추출 방식을 통해 관심 패치의 좌표를 정확하게 추출하고, 추출된 관심 패치의 좌표를 토대로 카메라의 공차를 보정하여 양질의 서라운드 뷰 이미지를 생성할 수 있는 서라운드 뷰 모니터링 시스템을 제공하는 것을 목적으로 한다.
또한 본 발명은 카메라의 공차 보정을 위해 필요한 패턴과 서라운드 뷰 이미지의 품질을 검수하기 위해 필요한 패턴의 혼용이 가능한 서라운드 뷰 모니터링 시스템을 제공하는 것을 목적으로 한다.
상기와 같은 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 서라운드 뷰 모니터링 시스템은, 차량의 전후좌우에 각각 설치되어 상기 차량의 주변 이미지를 촬영하는 복수개의 카메라, 상기 복수개의 카메라에서 각각 촬영된 상기 차량의 주변 이미지를 토대로 상기 복수개의 카메라 각각의 공차 파라미터 정보를 생성하고, 상기 생성된 각각의 공차 파라미터 정보를 토대로 서라운드 뷰 이미지 정합 정보를 생성하며, 상기 서라운드 뷰 이미지 정합 정보를 토대로 룩업 테이블(Lookup table)을 생성하는 서라운드 뷰 공차 보정부, 상기 복수개의 카메라에서 각각 촬영된 상기 차량의 주변 이미지와 상기 서라운드 뷰 공차 보정부에서 생성된 상기 룩업 테이블을 토대로 서라운드 뷰 이미지를 생성하는 서라운드 뷰 이미지 생성부 및 상기 서라운드 뷰 이미지 생성부에서 생성된 상기 서라운드 뷰 이미지를 출력하는 서라운드 뷰 이미지 출력부를 포함한다.
상기 복수개의 카메라로부터 각각 촬영된 상기 차량의 주변 이미지를 제공받고, 상기 룩업 테이블의 생성 여부를 판별하는 이미지 제공 대상 선택부를 더 포함한다.
상기 이미지 제공 대상 선택부는, 상기 룩업 테이블이 생성된 경우, 상기 차량의 주변 이미지를 상기 서라운드 뷰 이미지 생성부에 제공하고, 상기 룩업 테이블이 미생성된 경우, 상기 차량의 주변 이미지를 상기 서라운드 뷰 공차 보정부에 제공한다.
상기 복수개의 카메라 각각에서 촬영된 상기 차량의 주변 이미지가 서로 정합되는 영역에는 색상 정보를 포함하는 체크 패턴이 배치되고, 상기 체크 패턴의 중심부에는 관심 패치가 구비된다.
상기 서라운드 뷰 공차 보정부는 상기 복수개의 카메라에서 각각 촬영된 상기 차량의 주변 이미지의 렌즈 왜곡을 보정하고, 상기 렌즈 왜곡이 보정된 이미지의 색상 정보를 특정 색공간으로 변환하고, 상기 변환된 이미지에 대해 제1 및 제2 관심 색상 탐색 작업을 수행하고, 상기 제1 관심 색상 탐색 작업을 토대로 상기 변환된 이미지의 픽셀을 이진화한 후 상기 이진화된 픽셀에 대해 제1 영역 확장 작업을 수행하고, 상기 제2 관심 색상 탐색 작업을 토대로 상기 변환된 이미지의 픽셀을 이진화한 후 상기 이진화된 픽셀에 대해 제2 영역 확장 작업을 수행하고, 상기 제1 및 제2 영역 확장 작업 결과에 대해 AND 연산을 수행하여 최종 결과 이미지를 생성하고, 상기 생성된 최종 결과 이미지에서 상기 관심 패치가 있는 것으로 추정되는 영역을 그룹화하고, 상기 그룹화된 영역의 그룹 정보를 생성한다.
상기 서라운드 뷰 공차 보정부는 상기 렌즈 왜곡이 보정된 이미지를 토대로 흑백 이미지를 생성하고, 상기 생성된 흑백 이미지를 토대로 엣지(Edge) 이미지를 생성하고, 상기 엣지 이미지에 대해 마스크 연산을 수행하여 노이즈를 제거하고, 상기 노이즈가 제거된 엣지 이미지와 상기 그룹 정보를 토대로 상기 그룹화된 영역에서의 교차점을 탐색하고, 상기 탐색된 교차점에 대한 색상 재검토 작업을 수행하고, 상기 색상 재검토 작업을 토대로 상기 관심 패치의 좌표 정보를 추출하고, 상기 추출된 관심 패치의 좌표 정보를 토대로 상기 공차 파라미터 정보를 생성한다.
상기 제1 관심 색상 탐색 작업은 제1 기준 값 이상인 색상을 탐색하는 작업이고, 상기 제2 관심 색상 탐색 작업은 제2 기준 값 이상인 색상을 탐색하는 작업이며, 상기 제1 기준 값은 상기 제2 기준 값보다 높다.
상기 제1 관심 색상 탐색 작업을 토대로 상기 변환된 이미지의 픽셀을 이진화하는 경우, 상기 제1 기준 값 이상인 색상으로 구성된 픽셀은 1로 이진화되고, 상기 제1 기준 값 미만인 색상으로 구성된 픽셀은 0으로 이진화되며, 상기 제2 관심 색상 탐색 작업을 토대로 상기 변환된 이미지의 픽셀을 이진화하는 경우, 상기 제2 기준 값 이상인 색상으로 구성된 픽셀은 1로 이진화되고, 상기 제2 기준 값 미만인 색상으로 구성된 픽셀은 0으로 이진화된다.
상기 복수개의 카메라는, 상기 차량의 전단에 설치되어 상기 차량의 전방 주변 이미지를 촬영하는 제1 카메라와, 상기 차량의 좌측에 설치되어 상기 차량의 좌측 주변 이미지를 촬영하는 제2 카메라와, 상기 차량의 우측에 설치되어 상기 차량의 우측 주변 이미지를 촬영하는 제3 카메라와, 상기 차량의 후단에 설치되어 상기 차량의 후방 주변 이미지를 촬영하는 제4 카메라를 포함한다.
상기 서라운드 뷰 이미지 정합 정보는, 상기 복수개의 카메라 각각으로부터 촬영된 이미지를 상기 공차 파라미터 정보를 토대로 재배치하기 위한 정보를 포함하고, 상기 룩업 테이블은 상기 복수개의 카메라에서 각각 촬영된 상기 차량의 주변 이미지가 상기 서라운드 뷰 이미지로 변환되는 속도를 개선하기 위한 정보를 포함한다.
본 발명에 따르면, 주변 환경의 영향과 상관 없이 안정적인 변환 기준 정보를 획득할 수 있고, 이를 통해, 양질의 서라운드 뷰 이미지를 생성할 수 있다. 또한 카메라의 공차 보정을 위해 필요한 패턴과 서라운드 뷰 이미지의 품질을 검수하기 위해 필요한 패턴의 혼용이 가능하여 공차 보정 단계와 이미지 품질 검수 단계를 동일한 환경에서 수행할 수 있는바, 종래 대비 시간 및 비용을 줄일 수 있다.
도 1은 본 발명의 실시예에 따른 서라운드 뷰 모니터링 시스템을 설명하는 블록도이다.
도 2는 도 1의 서라운드 뷰 공차 보정부에서 관심 패치의 좌표 정보가 추출되는 흐름을 설명하는 개략도이다.
도 3 내지 도 6은 도 1의 서라운드 뷰 모니터링 시스템의 서라운드 뷰 이미지 생성 과정을 설명하기 위한 도면들이다.
본 발명을 더 쉽게 이해하기 위해 편의상 특정 용어를 본원에 정의한다. 본원에서 달리 정의하지 않는 한, 본 발명에 사용된 과학 용어 및 기술 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미를 가질 것이다. 또한, 문맥상 특별히 지정하지 않는 한, 단수 형태의 용어는 그것의 복수 형태도 포함하는 것이며, 복수 형태의 용어는 그것의 단수 형태도 포함하는 것으로 이해되어야 한다.
이하에서는, 도 1 내지 도 6을 참조하여, 본 발명의 실시예에 따른 서라운드 뷰 모니터링 시스템을 설명하도록 한다.
도 1은 본 발명의 실시예에 따른 서라운드 뷰 모니터링 시스템을 설명하는 블록도이다. 도 2는 도 1의 서라운드 뷰 공차 보정부에서 관심 패치의 좌표 정보가 추출되는 흐름을 설명하는 개략도이다. 도 3 내지 도 6은 도 1의 서라운드 뷰 모니터링 시스템의 서라운드 뷰 이미지 생성 과정을 설명하기 위한 도면들이다.
먼저 도 1을 참조하면, 본 발명의 실시예에 따른 서라운드 뷰 모니터링 시스템(1)은 복수개의 카메라(100), 이미지 제공 대상 선택부(150), 서라운드 뷰 공차 보정부(200), 서라운드 뷰 이미지 생성부(300), 서라운드 뷰 이미지 출력부(350)를 포함할 수 있다.
복수개의 카메라(100)는 차량의 전후좌우에 각각 설치되어 차량의 주변 이미지를 촬영할 수 있다.
구체적으로, 복수개의 카메라(100)는 차량의 전단에 설치되어 차량의 전방 주변 이미지를 촬영하는 제1 카메라(100a)와, 차량의 좌측에 설치되어 차량의 좌측 주변 이미지를 촬영하는 제2 카메라(100b)와, 차량의 우측에 설치되어 차량의 우측 주변 이미지를 촬영하는 제3 카메라(100c)와, 차량의 후단에 설치되어 차량의 후방 주변 이미지를 촬영하는 제4 카메라(100d)를 포함할 수 있다.
또한 복수개의 카메라(100)에서 각각 촬영된 차량의 주변 이미지(즉, 영상)는 이미지 제공 대상 선택부(150)로 제공될 수 있다.
이미지 제공 대상 선택부(150)는 복수개의 카메라(100)로부터 각각 촬영된 차량의 주변 이미지를 제공받고, 룩업 테이블(250)의 생성 여부를 판별할 수 있다.
구체적으로, 이미지 제공 대상 선택부(150)는 룩업 테이블(250)이 생성된 경우, 차량의 주변 이미지를 서라운드 뷰 이미지 생성부(300)에 제공하고, 룩업 테이블(250)이 미생성된 경우, 차량의 주변 이미지를 서라운드 뷰 공차 보정부(200)에 제공할 수 있다.
여기에서, 룩업 테이블(250)은 복수개의 카메라(100)에서 각각 촬영된 이미지를 서라운드 뷰 이미지로 빠르게 변환하기 위해 이용되는바, 이에 대한 구체적인 내용은 후술하도록 한다.
서라운드 뷰 공차 보정부(200)는 복수개의 카메라(100)에서 각각 촬영된 차량의 주변 이미지를 토대로 복수개의 카메라(100) 각각의 공차 파라미터 정보를 생성하고, 생성된 각각의 공차 파라미터 정보를 토대로 서라운드 뷰 이미지 정합 정보를 생성하며, 서라운드 뷰 이미지 정합 정보를 토대로 룩업 테이블(250)을 생성할 수 있다.
여기에서, 공차 파라미터 정보는 관심 패치의 좌표 정보를 토대로 생성되는바, 이하에서는, 도 2 내지 도 4를 참조하여, 서라운드 뷰 공차 보정부(200)에서 관심 패치의 좌표 정보가 추출되는 흐름을 설명하도록 한다.
참고로, 도 2에 도시된 흐름은, 복수개의 카메라(100) 중 어느 하나에서 촬영된 차량의 주변 이미지에 대한 이미지 처리 흐름을 설명하는 것으로, 나머지 카메라에서 촬영된 차량의 주변 이미지도 동일한 방식으로 이미지 처리될 수 있다.
또한 도 3에 도시된 바와 같이, 복수개의 카메라 각각에서 촬영된 차량의 주변 이미지가 서로 정합되는 영역(도 3에서는 4개의 영역)에는 색상 정보를 포함하는 체크 패턴(CP)이 배치되고, 체크 패턴(CP)의 중심부에는 관심 패치(IP)가 구비될 수 있다.
이러한 체크 패턴(CP)은 색상 정보를 포함하는 3X3의 체크 패턴으로서, 크기가 크기 않아 공차 보정 환경에서 차지하는 공간이 작다. 따라서, 체크 패턴(CP)을 제외한 나머지 공간을 품질 검수에 필요한 패턴으로 활용할 수 있다.
또한 체크 패턴(CP)에 포함된 색상 정보를 통해 여러 가지 패턴이 혼용된 환경에서 공차 보정에 필요한 영역이 빠르게 특정될 수 있는바, 패턴 혼용에 독립적일 수 있다. 또한 체크 패턴(CP)의 중심부에 구비된 관심 패치(IP)는 예를 들어, 적색일 수 있다.
따라서 주변 환경과 상관 없이 관심 패치(IP)의 좌표가 정확하게 획득될 수 있다. 그리고, 체크 패턴(CP)은 복수개의 카메라 각각에서 촬영된 차량의 주변 이미지가 서로 정합되는 영역에 위치하는바, 공차 보정의 기준점 역할을 하게 된다.
전술한 내용을 바탕으로 다시 도 2를 참조하면, 먼저, 이미지가 입력된다(S100).
구체적으로, 서라운드 뷰 공차 보정부(200)는 이미지 제공 대상 선택부(150)로부터 복수개의 카메라(100) 중 어느 하나에서 촬영된 차량의 주변 이미지를 입력 받을 수 있다.
이미지가 입력되면(S100), 렌즈 왜곡을 보정한다(S200).
구체적으로, 서라운드 뷰 공차 보정부(200)는 입력받은 차량의 주변 이미지의 렌즈 왜곡을 보정할 수 있다.
렌즈 왜곡이 보정되면(S200), 색상 변환을 한다(S300).
구체적으로, 서라운드 뷰 공차 보정부(200)는 렌즈 왜곡이 보정된 이미지의 색상 정보를 특정 색공간으로 변환할 수 있다.
여기에서, 특정 색공간은 예를 들어, Lab 색공간을 포함할 수 있으나, 이에 한정되는 것은 아니다.
색상 변환이 완료되면(S300), 변환된 이미지에 대해 관심 색상 탐색 작업, 이진화 작업, 영역 확장 작업을 순차적으로 수행한다(S400).
구체적으로, 관심 색상 탐색 작업은 기준 범위를 만족시키는 색상을 갖춘 픽셀은 남기고, 기준 범위를 만족시키는 색상을 갖추지 못한 픽셀은 제거하는 작업일 수 있다. 또한 관심 색상 탐색 작업은 제1 및 제2 관심 색상 탐색 작업으로 구분될 수 있고, 제1 및 제2 관심 색상 탐색 작업은 동시에 별개로 진행될 수 있다.
여기에서, 제1 관심 색상 탐색 작업은 제1 기준 값 이상인 색상을 탐색하는 작업이고, 제2 관심 색상 탐색 작업은 제2 기준 값 이상인 색상을 탐색하는 작업이며, 제1 기준 값은 제2 기준 값보다 높을 수 있다.
이에 따라, 제1 관심 색상 탐색 작업은 제2 관심 색상 탐색 작업보다 탐색하는 색상 범위가 더 좁을 수 있다.
예를 들어, 픽셀이 R(적색), G(녹색), B(청색) 3가지의 색상으로 구성되고, 기준 값이 R에 대한 기준 값일 때, 제1 기준 값이 200이고, 제2 기준 값이 100인 경우, 제1 관심 색상 탐색 작업은 R이 200 이상인 경우를 만족하는 색상 범위를 탐색하는 작업이고, 제2 관심 색상 탐색 작업은 R이 100 이상인 경우를 만족하는 색상 범위를 탐색하는 작업일 수 있다.
이와 같이, 변환된 이미지에 대한 제1 관심 색상 탐색 작업이 완료되면, 서라운드 뷰 공차 보정부(200)는 제1 관심 색상 탐색 작업을 토대로 색상 변환된 이미지의 픽셀을 이진화한 후 이진화된 픽셀에 대해 제1 영역 확장 작업을 수행할 수 있다.
즉, 서라운드 뷰 공차 보정부(200)는 이미지의 픽셀 중 제1 기준 값 이상의 색상을 갖춘 픽셀은 1로 치환하고, 제1 기준 값 미만의 색상을 갖춘 픽셀은 0으로 치환함으로써 이진화 작업을 수행할 수 있다.
또한 서라운드 뷰 공차 보정부(200)는 이진화된 이미지에서 1로 치환된 영역을 더 크게 만드는 제1 영역 확장 작업을 수행할 수 있다.
예를 들어, 이진화된 이미지에서 1로 치환된 영역이 체크 패턴(CP)의 중간에 위치하고 100 픽셀 X 100 픽셀 크기를 가지고 있을 때, 해당 영역에 대해 제1 영역 확장 작업이 수행되면, 110 픽셀 X 110 픽셀 크기가 될 수 있다.
또한, 변환된 이미지에 대한 제2 관심 색상 탐색 작업이 완료되면, 서라운드 뷰 공차 보정부(200)는 제2 관심 색상 탐색 작업을 토대로 색상 변환된 이미지의 픽셀을 이진화한 후 이진화된 픽셀에 대해 제2 영역 확장 작업을 수행할 수 있다.
즉, 서라운드 뷰 공차 보정부(200)는 이진화된 이미지에서 1로 치환된 영역을 더 크게 만드는 제2 영역 확장 작업을 수행할 수 있다.
제1 및 제2 영역 확장 작업이 완료되면, 제1 및 제2 영역 확장 작업 결과에 대해 AND 연산을 수행한다(S500).
구체적으로, 서라운드 뷰 공차 보정부(200)는 제1 및 제2 영역 확장 작업 결과에 대해 AND 연산을 수행하여 최종 결과 이미지를 생성할 수 있다.
참고로, 전술한 제1 관심 색상 탐색 작업과 같이 기준 값이 높은 경우, 기준 값을 만족하는 픽셀의 개수가 줄어 들고, 탐색하고자 하는 관심 패치의 영역이 여러 개로 분리될 수 있다는 단점이 있다.
반면에, 전술한 제2 관심 색상 탐색 작업과 같이 기준 값이 낮은 경우, 관심 패치의 영역이 1개의 영역으로 표시될 수 있지만, 불필요한 여러 개의 영역도 탐색될 수 있다는 단점이 있다.
이에 따라, 서라운드 뷰 공차 보정부(200)는 각각 다른 두 개의 결과 이미지를 취합하여 최종 결과 이미지를 생성하는 AND 연산을 수행함으로써 제1 관심 색상 탐색 작업과 제2 관심 색상 탐색 작업의 단점을 보완할 수 있다. 나아가, AND 연산을 통해 원하는 영역(즉, 관심 패치(IP))이 1개의 영역으로 표시될 수 있다.
AND 연산이 완료되면(S500), 영역 그룹화 및 그룹 정보 생성 작업을 수행한다(S600).
구체적으로, 서라운드 뷰 공차 보정부(200)는 AND 연산을 통해 생성된 최종 결과 이미지에서 관심 패치(IP)가 있는 것으로 추정되는 영역을 그룹화하고, 그룹화된 영역의 그룹 정보를 생성할 수 있다.
즉, 최종 결과 이미지(즉, 이진화된 이미지)에서 관심 패치(IP)가 있는 것으로 추정되는 영역(즉, 1이 뭉쳐있는 영역)은 하나의 그룹으로 표현될 수 있고, 그룹 정보는 해당 그룹의 위치 정보와 크기 정보를 가질 수 있다.
참고로, S300~S600의 과정이 진행되는 동안 S310~S510의 과정이 별개의 루트로 진행될 수 있는바, 이는 다음과 같다.
먼저, S200을 통해 렌즈 왜곡이 보정된 이미지를 토대로 흑백 이미지를 생성한다(S310).
이어서, 흑백 이미지가 생성되면(S310), 엣지(Edge) 이미지를 생성한다(S410).
구체적으로, 서라운드 뷰 공차 보정부(200)는 S310을 통해 생성된 흑백 이미지를 토대로 엣지 이미지를 생성할 수 있다.
참고로, 엣지 이미지는, 카메라에서 촬영된 차량의 주변 이미지를 선분화해서 선분이 교차하는 지점을 찾기 위해 생성되는 것이다.
엣지 이미지가 생성되면(S410), 마스크 연산을 수행한다(S510).
구체적으로, 서라운드 뷰 공차 보정부(200)는 엣지 이미지에 대해 마스크 연산을 수행하여 불필요한 부분(예를 들어, 노이즈)을 제거할 수 있다.
마스크 연산(S510)과 영역 그룹화 및 그룹 정보 생성 작업(S600)이 완료되면, 교차점을 탐색한다(S700).
구체적으로, 서라운드 뷰 공차 보정부(200)는 노이즈가 제거된 엣지 이미지와 그룹화된 영역의 그룹 정보를 토대로 그룹화된 영역에서의 교차점을 탐색할 수 있다.
즉, 이미지 전체에서 교차점 전부를 찾을 필요가 없고, 그룹화된 영역은 관심 패치(IP)가 있을 것이라고 추정되는 영역인바, 그룹화된 영역에서만 교차점 탐색 작업(즉, 교차점 추출 방식을 토대로 한 작업)이 수행될 수 있다.
교차점 탐색 작업이 완료되면(S700), 색상 재검토 작업을 수행한다(S800).
구체적으로, 서라운드 뷰 공차 보정부(200)는 그룹화된 영역에서 탐색된 교차점에 대한 색상 재검토 작업(즉, 색상 범위 인접성 검토 작업)을 수행할 수 있다.
즉, 탐색된 교차점이 관심 패치(IP)가 아닐 수도 있는바, 색상 재검토 작업을 통해 탐색된 교차점 주변의 색상을 다시 한번 검토할 수 있다.
색상 재검토 작업이 완료되면(S800), 관심 패치의 좌표 정보를 추출한다(S900).
구체적으로, 서라운드 뷰 공차 보정부(200)는 색상 재검토 작업을 토대로 탐색된 교차점이 관심 패치(IP)인지를 재확인한 후, 관심 패치(IP)의 좌표 정보를 추출할 수 있다.
즉, 도 4에 도시된 바와 같이, 서라운드 뷰 공차 보정부(200)는 복수개의 카메라에서 각각 촬영된 차량의 주변 이미지를 토대로 각 이미지에서 관심 패치(IP)가 있는 것으로 추정되는 영역을 그룹화하고, 교차점 추출 방식을 통해 그룹화된 영역에서 교차점을 탐색함으로써 관심 패치(IP)의 좌표 정보를 정확하게 추출할 수 있다.
전술한 과정을 거쳐서 추출된 관심 패치(IP)의 좌표 정보는 주변 환경의 영향(예를 들어, 조명이나 카메라 노이즈 등)을 받지 않는바, 종래 대비 정확할 수 있다.
다시 도 1을 참조하면, 서라운드 뷰 공차 보정부(200)는 추출된 관심 패치(IP)의 좌표 정보를 토대로 공차 파라미터 정보를 생성할 수 있고, 공차 파라미터 정보를 토대로 서라운드 뷰 이미지 정합 정보를 생성할 수 있다.
여기에서, 서라운드 뷰 이미지 정합 정보는 도 5에 도시된 바와 같이, 복수개의 카메라 각각으로부터 촬영된 이미지를 공차 파라미터 정보를 토대로 재배치(stitching)하기 위한 정보를 포함할 수 있다.
또한 서라운드 뷰 공차 보정부(200)는 서라운드 뷰 이미지 정합 정보를 토대로 룩업 테이블(250)을 생성할 수 있다.
여기에서, 룩업 테이블(250)은, 복수개의 카메라에서 각각 촬영된 차량의 주변 이미지를 서라운드 뷰 이미지로 빠르게 변환시키기 위한 정보를 포함할 수 있다.
서라운드 뷰 이미지 생성부(300)는 복수개의 카메라(100)에서 각각 촬영된 차량의 주변 이미지와 서라운드 뷰 공차 보정부(200)에서 생성된 룩업 테이블(250)을 토대로 서라운드 뷰 이미지를 생성할 수 있다.
구체적으로, 서라운드 뷰 이미지 생성부(300)는 이미지 제공 대상 선택부(150)로부터 복수개의 카메라(100)에서 각각 촬영된 차량의 주변 이미지를 제공받고, 도 6에 도시된 바와 같이, 제공받은 이미지를 룩업 테이블(250)을 토대로 서라운드 뷰 이미지로 빠르게 변환할 수 있다.
여기에서, 도 6에 도시된 서라운드 뷰 이미지를 살펴보면, 차량이 배치된 빈 공간(S)을 중심으로 4개의 사각 지점에 체크 패턴(CP)이 배치되어 있음을 알 수 있다.
참고로, 도 6에 도시된 서라운드 뷰 이미지에는 차량 그림이 생략되어 있지만, 서라운드 뷰 이미지 생성부(300)는 최종적으로 서라운드 뷰 이미지를 생성시 도 6에 도시된 빈 공간(S)에 도 3에 도시된 차량 그림(C)을 삽입함으로써 최종 서라운드 뷰 이미지를 생성할 수 있다.
서라운드 뷰 이미지 출력부(350)는 서라운드 뷰 이미지 생성부(300)에서 생성된 서라운드 뷰 이미지를 출력할 수 있다.
즉, 서라운드 뷰 이미지 출력부(350)는 서라운드 뷰 이미지 생성부(300)로부터 서라운드 뷰 이미지를 제공받아 차량에 장착된 디스플레이 장치(미도시)로 제공할 수 있고, 디스플레이 장치는 제공받은 서라운드 뷰 이미지를 표시할 수 있다.
전술한 바와 같이, 본 발명에 따른 서라운드 뷰 모니터링 시스템(1)에 따르면, 주변 환경의 영향과 상관 없이 안정적인 변환 기준 정보를 획득할 수 있고, 이를 통해, 양질의 서라운드 뷰 이미지를 생성할 수 있다. 또한 카메라의 공차 보정을 위해 필요한 패턴과 서라운드 뷰 이미지의 품질을 검수하기 위해 필요한 패턴의 혼용이 가능하여 공차 보정 단계와 이미지 품질 검수 단계를 동일한 환경에서 수행할 수 있는바, 종래 대비 시간 및 비용을 줄일 수 있다.
이상, 본 발명에 대하여 설명하였으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 본 발명의 사상으로부터 벗어나지 않는 범위 내에서, 구성 요소의 부가, 변경, 삭제 또는 추가 등에 의해 본 발명을 다양하게 수정 및 변경시킬 수 있을 것이며, 이 또한 본 발명의 권리범위 내에 포함된다고 할 것이다.
100: 복수개의 카메라 150: 이미지 제공 대상 선택부
200: 서라운드 뷰 공차 보정부 250: 룩업 테이블
300: 서라운드 뷰 이미지 생성부
350: 서라운드 뷰 이미지 출력부

Claims (10)

  1. 차량의 전후좌우에 각각 설치되어 상기 차량의 주변 이미지를 촬영하는 복수개의 카메라;
    상기 차량의 주변 이미지로부터 생성되는 각각의 공차 파라미터 정보를 토대로 서라운듀 뷰 이미지 정합 정보를 생성하고, 상기 서라운드 뷰 이미지 정합 정보를 토대로 룩업 테이블(Lookup table)을 생성하는 서라운드 뷰 공차 보정부;
    상기 차량의 주변 이미지와 상기 룩업 테이블을 토대로 서라운드 뷰 이미지를 생성하는 서라운드 뷰 이미지 생성부; 및
    상기 서라운드 뷰 이미지를 출력하는 서라운드 뷰 이미지 출력부를 포함하고,
    상기 서라운드 뷰 공차 보정부는, 상기 차량의 주변 이미지에 대해 제1 및 제2 관심 색상 탐색 작업을 토대로 이진화한 후 제1 및 제2 영역 확장 작업을 수행하고, 상기 제1 및 제2 영역 확장 작업 결과에 대해 AND 연산을 수행하여 최종 결과 이미지를 생성하며, 색상 정보를 포함하는 체크 패턴의 중심부에 관심 패치가 있는 것으로 추정되는 영역을 상기 최종 결과 이미지에서 그룹화하고, 상기 그룹화된 영역의 그룹 정보를 생성하는 서라운드 뷰 모니터링(Surround View Monitoring) 시스템.
  2. 제1항에 있어서,
    상기 복수개의 카메라로부터 각각 촬영된 상기 차량의 주변 이미지를 제공받고, 상기 룩업 테이블의 생성 여부를 판별하는 이미지 제공 대상 선택부를 더 포함하는
    서라운드 뷰 모니터링 시스템.
  3. 제2항에 있어서,
    상기 이미지 제공 대상 선택부는,
    상기 룩업 테이블이 생성된 경우, 상기 차량의 주변 이미지를 상기 서라운드 뷰 이미지 생성부에 제공하고,
    상기 룩업 테이블이 미생성된 경우, 상기 차량의 주변 이미지를 상기 서라운드 뷰 공차 보정부에 제공하는
    서라운드 뷰 모니터링 시스템.
  4. 제1항에 있어서,
    상기 복수개의 카메라 각각에서 촬영된 상기 차량의 주변 이미지가 서로 정합되는 영역에는 색상 정보를 포함하는 체크 패턴이 배치되고, 상기 체크 패턴의 중심부에는 관심 패치가 구비되는
    서라운드 뷰 모니터링 시스템.
  5. 제4항에 있어서,
    상기 서라운드 뷰 공차 보정부는
    상기 복수개의 카메라에서 각각 촬영된 상기 차량의 주변 이미지의 렌즈 왜곡을 보정하고,
    상기 렌즈 왜곡이 보정된 이미지의 색상 정보를 특정 색공간으로 변환하고,
    상기 변환된 이미지에 대해 제1 및 제2 관심 색상 탐색 작업을 수행하고,
    상기 제1 관심 색상 탐색 작업을 토대로 상기 변환된 이미지의 픽셀을 이진화한 후 상기 이진화된 픽셀에 대해 제1 영역 확장 작업을 수행하고,
    상기 제2 관심 색상 탐색 작업을 토대로 상기 변환된 이미지의 픽셀을 이진화한 후 상기 이진화된 픽셀에 대해 제2 영역 확장 작업을 수행하고,
    상기 제1 및 제2 영역 확장 작업 결과에 대해 AND 연산을 수행하여 최종 결과 이미지를 생성하고,
    상기 생성된 최종 결과 이미지에서 상기 관심 패치가 있는 것으로 추정되는 영역을 그룹화하고, 상기 그룹화된 영역의 그룹 정보를 생성하는
    서라운드 뷰 모니터링 시스템.
  6. 제5항에 있어서,
    상기 서라운드 뷰 공차 보정부는
    상기 렌즈 왜곡이 보정된 이미지를 토대로 흑백 이미지를 생성하고,
    상기 생성된 흑백 이미지를 토대로 엣지(Edge) 이미지를 생성하고,
    상기 엣지 이미지에 대해 마스크 연산을 수행하여 노이즈를 제거하고,
    상기 노이즈가 제거된 엣지 이미지와 상기 그룹 정보를 토대로 상기 그룹화된 영역에서의 교차점을 탐색하고,
    상기 탐색된 교차점에 대한 색상 재검토 작업을 수행하고,
    상기 색상 재검토 작업을 토대로 상기 관심 패치의 좌표 정보를 추출하고,
    상기 추출된 관심 패치의 좌표 정보를 토대로 상기 공차 파라미터 정보를 생성하는
    서라운드 뷰 모니터링 시스템.
  7. 제5항에 있어서,
    상기 제1 관심 색상 탐색 작업은 제1 기준 값 이상인 색상을 탐색하는 작업이고,
    상기 제2 관심 색상 탐색 작업은 제2 기준 값 이상인 색상을 탐색하는 작업이며,
    상기 제1 기준 값은 상기 제2 기준 값보다 높은
    서라운드 뷰 모니터링 시스템.
  8. 제7항에 있어서,
    상기 제1 관심 색상 탐색 작업을 토대로 상기 변환된 이미지의 픽셀을 이진화하는 경우, 상기 제1 기준 값 이상인 색상으로 구성된 픽셀은 1로 이진화되고, 상기 제1 기준 값 미만인 색상으로 구성된 픽셀은 0으로 이진화되며,
    상기 제2 관심 색상 탐색 작업을 토대로 상기 변환된 이미지의 픽셀을 이진화하는 경우, 상기 제2 기준 값 이상인 색상으로 구성된 픽셀은 1로 이진화되고, 상기 제2 기준 값 미만인 색상으로 구성된 픽셀은 0으로 이진화되는
    서라운드 뷰 모니터링 시스템.
  9. 제1항에 있어서,
    상기 복수개의 카메라는,
    상기 차량의 전단에 설치되어 상기 차량의 전방 주변 이미지를 촬영하는 제1 카메라와,
    상기 차량의 좌측에 설치되어 상기 차량의 좌측 주변 이미지를 촬영하는 제2 카메라와,
    상기 차량의 우측에 설치되어 상기 차량의 우측 주변 이미지를 촬영하는 제3 카메라와,
    상기 차량의 후단에 설치되어 상기 차량의 후방 주변 이미지를 촬영하는 제4 카메라를 포함하는
    서라운드 뷰 모니터링 시스템.
  10. 제1항에 있어서,
    상기 서라운드 뷰 이미지 정합 정보는, 상기 복수개의 카메라 각각으로부터 촬영된 이미지를 상기 공차 파라미터 정보를 토대로 재배치하기 위한 정보를 포함하고,
    상기 룩업 테이블은 상기 복수개의 카메라에서 각각 촬영된 상기 차량의 주변 이미지가 상기 서라운드 뷰 이미지로 변환되는 속도를 개선하기 위한 정보를 포함하는
    서라운드 뷰 모니터링 시스템.

KR1020170107518A 2017-08-24 2017-08-24 서라운드 뷰 모니터링 시스템 KR101909391B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170107518A KR101909391B1 (ko) 2017-08-24 2017-08-24 서라운드 뷰 모니터링 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170107518A KR101909391B1 (ko) 2017-08-24 2017-08-24 서라운드 뷰 모니터링 시스템

Publications (1)

Publication Number Publication Date
KR101909391B1 true KR101909391B1 (ko) 2018-10-17

Family

ID=64099496

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170107518A KR101909391B1 (ko) 2017-08-24 2017-08-24 서라운드 뷰 모니터링 시스템

Country Status (1)

Country Link
KR (1) KR101909391B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200047887A (ko) * 2018-10-25 2020-05-08 현대모비스 주식회사 영상 인식 모듈의 공차 보정 최적화 장치 및 방법
KR20230056838A (ko) 2021-10-20 2023-04-28 주식회사 에스엘미러텍 디지털 사이드 미러 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200047887A (ko) * 2018-10-25 2020-05-08 현대모비스 주식회사 영상 인식 모듈의 공차 보정 최적화 장치 및 방법
KR102517026B1 (ko) * 2018-10-25 2023-04-04 현대모비스 주식회사 영상 인식 모듈의 공차 보정 최적화 장치 및 방법
KR20230056838A (ko) 2021-10-20 2023-04-28 주식회사 에스엘미러텍 디지털 사이드 미러 시스템

Similar Documents

Publication Publication Date Title
CN112258579B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
KR101121034B1 (ko) 복수의 이미지들로부터 카메라 파라미터를 얻기 위한 시스템과 방법 및 이들의 컴퓨터 프로그램 제품
US11238647B2 (en) Apparatus for building map using machine learning and image processing
JP2003254748A (ja) ステレオ画像特性検査システム
JP2018098630A5 (ko)
CN110033407B (zh) 一种盾构隧道表面图像标定方法、拼接方法及拼接系统
KR101909391B1 (ko) 서라운드 뷰 모니터링 시스템
Klančar et al. Wide-angle camera distortions and non-uniform illumination in mobile robot tracking
Rudakova et al. Precise correction of lateral chromatic aberration in images
CN112687231B (zh) 亮色度数据提取方法、设备及计算机可读存储介质
CN111243034A (zh) 一种全景辅助泊车标定方法、装置、设备及存储介质
CN111491149A (zh) 基于高清视频的实时抠像方法、装置、设备及存储介质
CN114881899B (zh) 一种用于可见光与红外图像对的快速保色融合方法及装置
CN112927307A (zh) 一种标定方法、装置、电子设备及存储介质
JP2019220887A (ja) 画像処理装置、画像処理方法およびプログラム
CN114331835A (zh) 一种基于最优映射矩阵的全景图像拼接方法及装置
CN104933671A (zh) 图像颜色融合方法
CN112150392A (zh) 一种低照度图像的修复方法及装置
EP3407252B1 (en) Image processing apparatus, image processing method, and storage medium
Klančar et al. Robust and efficient vision system for group of cooperating mobile robots with application to soccer robots
KR101205833B1 (ko) 디지털 줌 시스템을 위한 영상 처리 장치 및 방법
US10083516B2 (en) Method for segmenting a color image and digital microscope
JP5883715B2 (ja) 画像処理ｌｓｉ、画像処理システムおよび画像処理方法
CN111476304A (zh) 一种影像数据处理方法及装置
JP2020160352A (ja) 投写画像調整システム及び方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant