KR101949349B1 - 어라운드 뷰 모니터링 장치 - Google Patents

어라운드 뷰 모니터링 장치 Download PDF

Info

Publication number
KR101949349B1
KR101949349B1 KR1020170040231A KR20170040231A KR101949349B1 KR 101949349 B1 KR101949349 B1 KR 101949349B1 KR 1020170040231 A KR1020170040231 A KR 1020170040231A KR 20170040231 A KR20170040231 A KR 20170040231A KR 101949349 B1 KR101949349 B1 KR 101949349B1
Authority
KR
South Korea
Prior art keywords
image
vehicle
area
detecting
region
Prior art date
Application number
KR1020170040231A
Other languages
English (en)
Other versions
KR20180110534A (ko
Inventor
이중현
유영준
Original Assignee
주식회사 이알랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이알랩 filed Critical 주식회사 이알랩
Priority to KR1020170040231A priority Critical patent/KR101949349B1/ko
Publication of KR20180110534A publication Critical patent/KR20180110534A/ko
Application granted granted Critical
Publication of KR101949349B1 publication Critical patent/KR101949349B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H04N5/23238—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 일 실시 예에 따른 어라운드 뷰 모니터링 장치는 복수의 카메라로부터 영상을 각각 수신하는 영상 수신부, 각 상기 영상으로부터 참조선, 특징점, 차량 영역 중 하나 이상에 따른 복수의 직선을 검출하고, 상기 영상 중 인접한 영상의 상기 직선을 포함하는 면 간의 호모그래피(homography) 행렬을 산출하고, 상기 호모그래피 행렬에 따라 2D 룩업 테이블을 생성하는 2D 테이블 보정부 및 상기 2D 룩업 테이블에 따라 상기 영상을 정합하여 탑 뷰 영상을 생성하는 2D 정합부를 포함한다.

Description

어라운드 뷰 모니터링 장치{APPARATUS AND METHOD FOR AROUND VIEW MONITORING}
본 발명은 어라운드 뷰 모니터링 기술에 관한 것으로, 보다 상세하게는 카메라의 촬영 각도가 변경되는 경우 자동으로 오차를 보정하여 영상을 정합하는 어라운드 뷰 모니터링 기술에 관한 것이다.
어라운드 뷰 모니터링(AVM: Around View Monitoring) 장치는 차량에 설치된 4대의 광각 카메라 영상을 하나의 영상으로 정합하여 차량 주변 환경 정보를 운전자에게 제공하는 기술이다. 어라운드 뷰 모니터링 기술을 플래그쉽 모델 차량에 대부분 적용되어 있는 기술이다.
탑 뷰 AVM(Top View AVM)은 4개의 영상을 정합하여 차량의 위에서 보는 것과 같은 2차원 영상을 표시해주는 기술로써 2000년대에 주로 보급된 AVM 기술이다. 2010년대에는 3차원으로 AVM을 제공하는 3D AVM이 개발되었다.
본 발명의 선행기술로 한국공개특허공보 제 10-2013-0040595호가 있다.
본 발명이 해결하고자 하는 과제는 카메라의 촬영 각도가 변경되더라도 자동으로 룩업 테이블을 보정하는 어라운드 뷰 모니터링 장치 및 방법을 제공하는 것이다.
본 발명의 일 측면에 따르면, 복수의 카메라로부터 영상을 각각 수신하는 영상 수신부; 각 상기 영상으로부터 참조선, 특징점, 차량 영역 중 하나 이상에 따른 복수의 직선을 검출하고, 상기 영상 중 인접한 영상의 상기 직선을 포함하는 면 간의 호모그래피(homography) 행렬을 산출하고, 상기 호모그래피 행렬에 따라 2D 룩업 테이블을 생성하는 2D 테이블 보정부; 및 상기 2D 룩업 테이블에 따라 상기 영상을 정합하여 탑 뷰 영상을 생성하는 2D 정합부;를 포함하는 어라운드 뷰 모니터링 장치가 제공된다.
상기 2D 테이블 보정부는, 상기 영상으로부터 상기 참조선을 검출하는 참조선 검출부; 상기 영상으로부터 특징점에 대응하는 그림자 영역 및 조명 영역을 검출하고, 상기 그림자 영역 및 상기 조명 영역의 외곽선을 구성하는 직선을 산출하는 특징점 검출부; 상기 영상으로부터 차량 영역을 검출하고, 상기 차량 영역의 외곽선을 구성하는 직선을 산출하는 차량 영역 검출부; 상기 참조선, 상기 특징점, 상기 차량 영역 중 하나 이상에 따른 복수의 직선을 포함하는 면 간의 호모그래피 행렬을 산출하는 행렬 산출부; 및 상기 호모그래피 행렬에 따라 상기 2D 룩업 테이블을 생성하는 룩업 테이블 보정부;를 포함할 수 있다.
상기 참조선은 차량에서 미리 지정된 방향으로 투사된 빛이 외부 환경에 의해 반사되어 카메라에 의해 촬영된 상기 영상 내에 나타난 선일 수 있다.
상기 특짐점 검출부는 주간에 차량이 직진 중인 경우, 영상에서 차량 외 영역에 대한 프레임 간 차 영상을 생성하고, 상기 차 영상의 각 픽셀값에 대해 이동 평균 재귀 필터를 적용하고, 상기 이동 평균 재귀 필터를 적용한 상기 픽셀값이 0으로부터 미리 지정된 범위 내인 픽셀들을 포함하는 상기 그림자 영역을 산출하고, 야간에 촬영된 영상에서 차량 외 영역에 대한 프레임 간 차 영상을 생성하고, 상기 차 영상의 각 픽셀값에 대해 이동 평균 재귀 필터를 적용하고, 상기 이동 평균 재귀 필터를 적용한 상기 픽셀값이 0으로부터 미리 지정된 범위 내인 픽셀들을 포함하는 상기 조명 영역을 산출할 수 있다.
상기 차량 영역 검출부는, 상기 영상의 이전 프레임과 현재 프레임의 대응하는 픽셀 간의 차이값에 대해 이동 평균 재귀 필터를 적용한 값이 0으로부터 미리 지정된 범위 내인 픽셀을 포함하는 영역을 상기 차량 영역으로 검출할 수 있다.
상기 탑 뷰 영상으로부터 변환 영역을 검출하고, 상기 변환 영역에 대한 변환을 수행하기 위한 3D 룩업 테이블을 생성하는 3D 테이블 보정부; 및 상기 3D 룩업 테이블에 따라 상기 탑 뷰 영상을 정합하여 3D 영상을 생성하는 3D 정합부를 더 포함할 수 있다.
상기 3D 테이블 보정부는, 상기 탑 뷰 영상으로부터 노면 영역을 검출하는 노면 검출부; 상기 노면 영역에 피팅(fitting)되는 도형을 검출하는 피팅부; 상기 탑 뷰 영상 중 상기 도형의 외부에 해당하는 영역을 상기 변환 영역으로 선정하는 변환 영역 산출부; 및 상기 변환 영역 내의 픽셀의 위치를 지정된 곡률에 따라 변경하도록 하는 3D 룩업 테이블을 생성하는 룩업 테이블 보정부;를 포함할 수 있다.
상기 노면 검출부는, 이전 탑 뷰 영상의 픽셀을 운행 방향으로 차량 속도에 상응하는 거리만큼 이동시켜 예측 영상을 생성하고, 상기 예측 영상의 각 픽셀값과 현재 탑 뷰 영상의 각 픽셀값 간의 차를 각 픽셀값으로 포함하는 예측 차 영상을 생성하고, 상기 예측 차 영상의 각 픽셀값에 대해 이동 평균 재귀 필터를 적용한 값이 0으로부터 미리 지정된 범위 내에 해당하는 픽셀을 상기 노면 영역으로 검출할 수 있다.
상기 피팅부는 상기 탑 뷰 영상 상에 도형 중 상기 노면 영역의 외곽선의 각 픽셀과의 거리합이 가장 작은 도형을 검출할 수 있다.
본 발명의 다른 측면에 따르면, 어라운드 뷰 모니터링 장치가 어라운드 뷰 모니터링을 제공하는 방법에 있어서, 복수의 카메라로부터 영상을 각각 수신하는 단계; 상기 영상으로부터 참조선, 특징점, 차량 영역 중 하나 이상에 따른 복수의 직선을 검출하는 단계; 상기 영상 중 인접한 영상의 상기 직선을 포함하는 면 간의 호모그래피(homography) 행렬을 산출하는 단계; 상기 호모그래피 행렬에 따라 2D 룩업 테이블을 생성하는 단계; 및 상기 2D 룩업 테이블에 따라 상기 영상을 정합하여 탑 뷰 영상을 생성하는 단계; 를 포함하는 어라운드 뷰 모니터링 방법이 제공된다.
상기 영상으로부터 참조선, 특징점, 차량 영역 중 하나 이상에 따른 복수의 직선을 검출하는 단계는 상기 영상으로부터 상기 참조선을 검출하는 단계; 상기 영상으로부터 특징점에 대응하는 그림자 영역 및 조명 영역을 검출하고, 상기 그림자 영역 및 상기 조명 영역의 외곽선을 구성하는 직선을 산출하는 단계; 및 상기 영상으로부터 차량 영역을 검출하고, 상기 차량 영역의 외곽선을 구성하는 직선을 산출하는 단계; 를 포함할 수 있다.
상기 참조선은 차량에서 미리 지정된 방향으로 투사된 빛이 외부 환경에 의해 반사되어 카메라에 의해 촬영된 상기 영상 내에 나타난 선일 수 있다.
상기 영상으로부터 특징점에 대응하는 그림자 영역 및 조명 영역을 검출하고, 상기 그림자 영역 및 상기 조명 영역의 외곽선을 구성하는 직선을 산출하는 단계는, 주간에 차량이 직진 중인 경우, 영상에서 차량 외 영역에 대한 프레임 간 차 영상을 생성하고, 상기 차 영상의 각 픽셀값에 대해 이동 평균 재귀 필터를 적용하고, 상기 이동 평균 재귀 필터를 적용한 상기 픽셀값이 0으로부터 미리 지정된 범위 내인 픽셀들을 포함하는 상기 그림자 영역을 산출하는 단계; 야간에 촬영된 영상에서 차량 외 영역에 대한 프레임 간 차 영상을 생성하고, 상기 차 영상의 각 픽셀값에 대해 이동 평균 재귀 필터를 적용하고, 상기 이동 평균 재귀 필터를 적용한 상기 픽셀값이 0으로부터 미리 지정된 범위 내인 픽셀들을 포함하는 상기 조명 영역을 산출하는 단계; 및 상기 그림자 영역 및 상기 조명 영역의 외곽선에 상응하는 직선을 검출하는 단계;를 포함할 수 있다.
상기 영상으로부터 차량 영역을 검출하고, 상기 차량 영역의 외곽선을 구성하는 직선을 산출하는 단계는, 상기 영상의 이전 프레임과 현재 프레임의 대응하는 픽셀 간의 차이값에 대해 이동 평균 재귀 필터를 적용한 값이 0으로부터 미리 지정된 범위 내인 픽셀을 포함하는 영역을 상기 차량 영역으로 검출하는 단계일 수 있다.
상기 어라운드 뷰 모니터링 방법은 상기 탑 뷰 영상으로부터 변환 영역을 검출하고, 상기 변환 영역에 대한 변환을 수행하기 위한 3D 룩업 테이블을 생성하는 단계; 및 상기 3D 룩업 테이블에 따라 상기 탑 뷰 영상을 정합하여 3D 영상을 생성하는 단계를 더 포함할 수 있다.
상기 탑 뷰 영상으로부터 변환 영역을 검출하고, 상기 변환 영역에 대한 변환을 수행하기 위한 3D 룩업 테이블을 생성하는 단계는, 상기 탑 뷰 영상으로부터 노면 영역을 검출하는 단계; 상기 노면 영역에 피팅(fitting)되는 도형을 검출하는 단계; 상기 탑 뷰 영상 중 상기 도형의 외부에 해당하는 영역을 상기 변환 영역으로 선정하는 단계; 및 상기 변환 영역 내의 픽셀의 위치를 지정된 곡률에 따라 변경하도록 하는 3D 룩업 테이블을 생성하는 단계;를 포함할 수 있다.
상기 탑 뷰 영상으로부터 노면 영역을 검출하는 단계는, 이전 탑 뷰 영상의 픽셀을 운행 방향으로 차량 속도에 상응하는 거리만큼 이동시켜 예측 영상을 생성하는 단계; 상기 예측 영상의 각 픽셀값과 현재 탑 뷰 영상의 각 픽셀값 간의 차를 각 픽셀값으로 포함하는 예측 차 영상을 생성하는 단계; 및 상기 예측 차 영상의 각 픽셀값에 대해 이동 평균 재귀 필터를 적용한 값이 0으로부터 미리 지정된 범위 내에 해당하는 픽셀을 상기 노면 영역으로 검출하는 단계를 포함할 수 있다.
상기 노면 영역에 피팅(fitting)되는 도형을 검출하는 단계는, 상기 탑 뷰 영상 상에 도형 중 상기 노면 영역의 외곽선의 각 픽셀과의 거리합이 가장 작은 도형을 검출하는 단계일 수 있다.
상술한 바와 같이 본 발명에 따르면, 사고 등의 외적인 요인으로 카메라의 촬영 각도가 변경되더라도 자동으로 정상적인 어라운드 뷰 모니터링을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 장치를 예시한 블록도.
도 2는 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 장치의 2D 테이블 보정부를 예시한 블록도.
도 3은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 장치가 촬영하는 차량에서 투사된 참조선을 예시한 도면.
도 4는 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 장치가 생성하는 소실점에 의해 이루어지는 선을 나타낸 도면.
도 5는 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 장치가 기울어진 카메라에 의해 생성된 소실점에 의해 이루어지는 선을 나타낸 도면.
도 6은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 장치의 3D 테이블 보정부를 예시한 블록도.
도 7은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 장치가 어라운드 뷰를 모니터링하는 방법을 예시한 순서도.
도 8은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 장치가 2D 룩업 테이블을 보정하는 과정을 예시한 순서도.
도 9는 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 장치가 3D 룩업 테이블을 생성하는 과정을 예시한 도면.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 장치를 예시한 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 장치는 영상 수신부(110), 2D 테이블 보정부(120), 2D 정합부(130), 3D 테이블 보정부(140) 및 3D 정합부(150)를 포함한다.
영상 수신부(110)는 복수의 카메라로부터 영상을 수신한다. 이 때, 각 카메라는 지정된 방향을 촬영하도록 설치된 카메라이고, 바람직하게는 차량의 전면, 후면, 측면을 각각 촬영하는 4개의 카메라일 수 있다. 영상 수신부(110)는 각 카메라로부터 수신한 영상을 각각 2D 테이블 보정부(120) 및 2D 정합부(130)로 전송할 수 있다.
2D 테이블 보정부(120)는 영상 수신부(110)로부터 수신한 영상을 분석하여 2D 정합부(130)에서 영상을 정합할 때 사용하는 2D 룩업 테이블(2D Geometric Look-up Table)을 보정한다. 2D 테이블 보정부(120)가 2D 룩업 테이블을 보정하는 과정은 추후 도 2를 참조하여 상세히 설명하도록 한다.
2D 정합부(130)는 각 영상을 2D 룩업 테이블에 따라 보정하여 정합하여 차량의 위에서 보는 것과 같은 2차원 영상(이하, 탑 뷰 영상이라 지칭)을 생성한다. 이 때, 2D 정합부(130)는 2D 룩업 테이블을 미리 저장한 이후, 2D 테이블 보정부(120)에 따라 2D 룩업 테이블이 보정된 경우, 보정된 2D 룩업 테이블을 저장할 수 있다. 2D 정합부(130)는 탑 뷰 영상을 3D 테이블 보정부(140) 및 3D 정합부(150)로 전송한다.
3D 테이블 보정부(140)는 2D 정합부(130)로부터 수신한 탑 뷰 영상을 분석하여 3D 정합부(150)에 저장된 3D 룩업 테이블을 보정한다. 추후, 도 6을 참조하여 3D 테이블 보정부(140)가 3D 룩업 테이블을 보정하는 과정을 상세히 설명하도록 한다.
2D 정합부(130)는 각 영상을 3D 룩업 테이블에 따라 보정하여 정합하여 차량의 주위를 다양한 시점에서 볼 수 있는 3차원 영상(이하, 3D 영상이라 지칭)을 생성한다. 이 때, 3D 정합부(150)는 3D 룩업 테이블을 미리 저장한 이후, 3D 테이블 보정부(140)에 따라 3D 룩업 테이블이 보정된 경우, 보정된 3D 룩업 테이블을 저장할 수 있다. 3D 정합부(150)는 3D 영상을 외부(예를 들어, 디스플레이 장치)로 출력할 수 있다.
도 2는 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 장치의 2D 테이블 보정부를 예시한 블록도이고, 도 3은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 장치가 촬영하는 차량에서 투사된 참조선을 예시한 도면이고, 도 4는 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 장치가 생성하는 소실점에 의해 이루어지는 선을 나타낸 도면이고, 도 5는 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 장치가 기울어진 카메라에 의해 생성된 소실점에 의해 이루어지는 선을 나타낸 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 장치의 2D 테이블 보정부(120)는 참조선 검출부(210), 특징점 검출부(220), 차량 영역 검출부(230), 행렬 산출부(240), 소실점 검출부(250), 롤 각도 산출부(260) 및 룩업 테이블 보정부(270)를 포함한다.
참조선 검출부(210)는 영상으로부터 참조선을 검출한다. 이 때, 도 3과 같이 참조선은 차량에서 미리 지정된 방향으로 투사된 빛이 외부 환경에 의해 반사되어 카메라에 의해 촬영된 영상 내에 나타난 선(310)을 의미한다. 이 때, 참조선 검출부(210)는 영상 내에서 미리 지정된 색의 픽셀에 대한 분산이 가장 적은 직선을 Least Mean Square를 통해 검출할 수 있다.
특징점 검출부(220)는 각 영상으로부터 특징점을 검출한다. 특징점 검출부(220)는 주간 주행 중 또는 야간 주행 중 특징점을 각각 추출할 수 있다. 예를 들어, 특징점 검출부(220)는 주간 주행 중 차량이 직진하고 있는지 판단한다. 이 때, 특징점 검출부(220)는 차량의 주간 주행 중 차량으로부터 현재 스티어링 회전각 등을 나타내는 회전 정보를 수신하여, 차량이 현재 직진 또는 회전 중인지 판단할 수 있다. 특징점 검출부(220)는 현재 차량이 직진 중인 경우, 영상에서 차량 영역을 제외한 나머지 영역(이하, 차량 외 영역이라 지칭)에 대한 차영상을 산출한다. 이 때, 차량 영역을 산출하는 과정은 추후 차량 영역 검출부(230)의 설명을 통해 상세히 설명하도록 한다. 특징점 검출부(220)는 영상의 이전 프레임과 현재 프레임의 대응하는 차량 외 영역 상 위치의 픽셀 간의 차를 픽셀값으로 하는 차 영상을 생성할 수 있다. 특징점 검출부(220)는 연속하는 프레임 간의 픽셀값 차에 대해 이동 평균 재귀 필터를 적용한 값이 0으로부터 미리 지정된 범위 내인 픽셀들을 포함하는 차량의 그림자 영역을 산출한다. 즉, 주간 주행 중 특정 프레임 간 픽셀 값의 차이가 지속적으로 0과 유사한 값을 가지는 픽셀은 차량의 그림자에 해당하는 영역으로, 특징점 검출부(220)는 해당 픽셀을 차량의 그림자 영역에 포함시킬 수 있다.
또한, 특징점 검출부(220)는 야간 주행 중 차량 외 영역에 대한 차영상을 산출할 수 있다. 예를 들어, 특징점 검출부(220)는 영상의 이전 프레임과 현재 프레임의 대응하는 차량외 영역 상 위치의 픽셀 간의 차를 픽셀값으로 하는 차 영상을 생성할 수 있다. 특징점 검출부(220)는 연속하는 프레임 간의 픽셀값 차에 대해 이동 평균 재귀 필터를 적용한 값이 0으로부터 미리 지정된 범위 내인 픽셀들을 포함하는 차량의 조명 영역을 산출한다. 즉, 야간 주행 중 특정 프레임 간 픽셀 값의 차이가 지속적으로 0과 유사한 값을 가지는 픽셀은 조명이 투사된 영역으로, 특징점 검출부(220)는 해당 픽셀을 차량의 조명 영역에 포함시킬 수 있다.
따라서, 특징점 검출부(220)는 주간 주행 중 차량의 그림자 영역을 추출하고, 야간 주행 중 차량의 조명 영역을 추출할 수 있다. 이 때, 특징점 검출부(220)는 차량의 그림자 영역 및 조명 영역의 외곽선을 구성하는 직선을 산출할 수 있다.
차량 영역 검출부(230)는 영상으로부터 차량 영역을 검출한다. 예를 들어, 차량 영역 검출부(230)는 모든 촬영 상황의 영상(정차 중, 주간 주행 중 직진 또는 회전 시, 야간 주행 중)의 이전 프레임과 현재 프레임의 대응하는 픽셀 간의 차이값에 대한 평균 재귀 필터를 적용한 값이 미리 지정된 범위 내인 픽셀을 포함하는 영역을 차량 영역으로 검출할 수 있다. 이 때, 차량 영역 검출부(220)가 검출하는 차량 영역은 모든 촬영 상황의 영상에 대한 차이값을 통해 검출하기 때문에 상술한 제한된 상황의 영상으로 검출하는 그림자 영역과 조명 영역과는 구분될 수 있다. 차량 영역 검출부(230)는 차량 영역의 외곽선이 형성하는 직선을 산출할 수 있다.
행렬 산출부(240)는 각 영상 중 인접한 영상의 그림자 영역, 조명 영역 및 차량 영역으로 형성되는 면 간의 틀어짐을 나타내는 호모그래피 행렬(Homography matrix)를 산출한다. 이 때, 행렬 산출부(240)는 호모그래피 행렬을 하기의 수학식 1에 따라 산출할 수 있다.
[수학식 1]
Figure 112017030994322-pat00001
이 때,
Figure 112017030994322-pat00002
는 일 영상의 면 상에 위치하는 점을 의미하고,
Figure 112017030994322-pat00003
는 일 영상과 인접한 타 영상의 면 상에 위치하는 점을 의미하고, s는 x축 및 y 축의 크기 변환 행렬이고, R은 3차원 회전 변환 행렬이고, T는 3차원 이동 변환 행렬이고,
Figure 112017030994322-pat00004
는 호모그래피 행렬을 의미한다.
이 때, 행렬 산출부(240)는 참조선 검출부(210), 특징점 검출부(220) 및 차량 영역 검출부(230)로부터 각 영상에 대한 직선을 나타내는 정보(이하, 직선 정보)를 수신하고, 2개 이상의 직선으로 형성되는 3차원의 면을 검출할 수 있다. 따라서, 행렬 산출부(240)는 각 영상에 대응하는 면을 각각 검출하고, 인접한 영상의 면 간의 틀어짐을 나타내는 호모그래피 행렬을 수학식 1에 따라 산출할 수 있다.
행렬 산출부(240)는 호모그래피 행렬을 룩업 테이블 보정부(270)로 전송한다.
소실점 검출부(250)는 각 영상의 소실점을 산출한다. 이 때, 소실점 검출부(250)는 공지된 소실점 산출방식에 따라 각 영상의 소실점을 산출할 수 있다. 소실점 검출부(250)는 영상의 각 프레임 상 소실점의 위치를 누적한 누적 히스토그램을 생성한다. 소실점 검출부(250)는 누적 히스토그램을 롤 각도 산출부(260)로 전송한다.
롤 각도 산출부(260)는 누적 히스토그램으로부터 각 영상의 롤 각도를 산출한다. 이 때, 카메라가 촬영 방향이 수평으로 차량에 장착된 경우, 도 4의 410과 같이 차량이 회전할 때, 소실점이 영상 상에서 수평선 상에 위치하는 것으로 누적 히스토그램이 표현될 수 있고, 420과 같이 각 소실점을 연결한 선분은 수평선이 될 수 있다. 이 때, 도 5와 같이 카메라의 촬영 방향의 롤 각도가 0도가 아닌 경우(카메라가 틀어져서 장착된 경우), 차량의 요 운동(yaw)에 따른 소실점을 이은 선은 영상 내에서 수평선이 아닌 대각선을 형성할 수 있다. 또한, 카메라의 촬영 방향의 롤 각도가 0도가 아닌 경우, 요철이 있는 노면 상의 차량 주행으로 인해 차량이 피치 운동(pitch) 소실점으로 형성되는 선은 수직선이 아닌 대각선을 형성할 수 있다. 롤 각도 산출부(260)는 누적 히스토그램에서 차량의 요 운동시 소실점으로 형성되는 선과 화면 내 수평선 간의 각도(510) 또는 차량의 피치 운동에 따른 소실점을 이은 선과 영상 상의 수직선 간의 각도를 롤 각도로 산출할 수 있다. 롤 각도 산출부(260)는 롤 각도를 행렬 산출부(240)로 전송한다.
이 때, 행렬 산출부(240)는 롤 각도에 따른 회전 행렬을 포함하는 호모그래피 행렬을 산출할 수 있다. 즉, 행렬 산출부(240)는 수학식 1의 x축 및 y 축의 크기 변환 행렬인 S에 대해 2개의 미지수를 포함하고, 피치, 요 및 롤에 대한 회전 변환 행렬에 대한 3개의 미지수를 포함하고, x축, y축, z축 상 이동 변환 행렬에 대한 3개의 미지수를 포함하는 호모그래피 행렬을 산출한다. 이 때, 회전 변환 행렬 중 롤에 대한 성분값을 롤 각도 산출부(260)로부터 수신하였기 때문에 총 7개의 미지수에 대한 값을 산출 할 수 있다. 따라서, 행렬 산출부(240)는 롤 각도를 이용하여 호모그래피 행렬을 산출하기 때문에 계산 복잡도를 낮출 수 있다.
룩업 테이블 보정부(270)는 호모그래피 행렬에 따라 룩업 테이블의 보정하고, 보정된 룩업 테이블을 2D 정합부(130)로 전송한다. 예를 들어, 룩업 테이블 보정부(270)는 영상의 각 좌표에 대해 호모그래피 행렬 변환을 적용한 좌표를 매칭하여 저장한 2D 룩업 테이블을 생성할 수 있다. 따라서, 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 장치는 사고 등의 원인에 의해 카메라의 촬영 방향이 차량의 생산시와 달리 변경된 경우에도 2D 룩업 테이블을 자동으로 보정하여 탑 뷰 영상을 정상적으로 생성할 수 있다.
도 6은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 장치의 3D 테이블 보정부를 예시한 블록도이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 장치의 3D 테이블 보정부(140)는 노면 검출부(610), 피팅부(620), 변환 영역 산출부(630) 및 룩업 테이블 보정부(640)를 포함한다.
노면 검출부(610)는 차량 속도 및 운행 방향을 차량으로부터 수신한다. 노면 검출부(610)는 차량 속도 및 운행 방향에 따라 이전 탑 뷰 영상의 노면 변화량을 예측한 예측 영상을 생성한다. 즉, 노면 검출부(610)는 이전 탑 뷰 영상의 픽셀을 운행 방향으로 차량 속도에 상응하는 거리만큼 이동시켜 예측 영상을 생성할 수 있다. 노면 검출부(610)는 예측 영상의 각 픽셀값과 현재 탑 뷰 영상의 각 픽셀값 간의 차를 각 픽셀값으로 포함하는 예측 차 영상을 생성한다. 노면 검출부(610)는 예측 차 영상의 각 픽셀값에 대해 이동 평균 재귀 필터를 적용한 값이 0으로부터 미리 지정된 범위 내에 해당하는 픽셀을 노면 영역으로 검출할 수 있다. 노면 검출부(610)는 노면 영역을 나타내는 노면 영역 정보를 피팅부(620)로 전송한다.
피팅부(620)는 노면 영역 정보를 임의의 도형(예를 들어 타원)과 피팅한다. 예를 들어, 피팅부(620)는 탑 뷰 영상에 위치하는 임의의 도형(타원) 중 노면 영역의 외곽선의 각 픽셀과의 거리합이 가장 작은 도형을 산출할 수 있다. 즉, 피팅부(620)는 Least Mean Square에 따른 임의의 도형을 검출한다.
변환 영역 산출부(630)는 탑 뷰 영상 중 산출된 도형의 외부에 해당하는 영역을 변환 영역으로 선정한다.
룩업 테이블 보정부(640)는 변환 영역 상에 위치한 탑 뷰 영상 픽셀의 삼차원 상 위치를 미리 지정된 곡률에 따라 변환한 위치와 변환하기 전의 픽셀 위치를 매칭하여 저장한 3D 룩업 테이블을 생성하여 3D 정합부(150)로 전송한다.
따라서, 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 장치는 3D 룩업 테이블을 탑 뷰 영상의 노면 검출 패턴에 따라 변경하여 카메라의 촬영 방향이 변경된 경우에도 3D 영상을 정상적으로 생성할 수 있다.
도 7은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 장치가 어라운드 뷰를 모니터링하는 방법을 예시한 순서도이다. 이하, 설명하는 각 단계는 어라운드 뷰 모니터링 장치에 포함된 각 기능부 중 하나에 의해 수행되는 과정이나, 발명의 간결하고 명확한 설명을 위해 각 단계의 주체를 어라운드 뷰 모니터링 장치로 통칭하도록 한다.
도 7을 참조하면, 단계 710에서 어라운드 뷰 모니터링 장치는 복수 카메라로부터 영상을 수신한다. 예를 들어, 어라운드 뷰 모니터링 장치는 차량의 전면, 후면, 측면에 설치된 카메라로부터 영상을 각각 수신할 수 있다.
단계 720에서 어라운드 뷰 모니터링 장치는 각 영상으로부터 참조선, 특징점, 차량 영역 및 소실점을 검출하고, 참조선, 특징점, 차량 영역 및 소실점에 따라 2D 룩업 테이블을 보정한다. 단계 420의 상세한 보정 과정은 추후 도 8을 참조하여 상세히 설명하도록 한다.
단계 730에서 어라운드 뷰 모니터링 장치는 2D 룩업 테이블에 따라 각 영상을 정합하여 탑 뷰 영상을 생성한다.
단계 740에서 어라운드 뷰 모니터링 장치는 탑 뷰 영상으로부터 변환 영역을 검출하고, 변환 영역에 따라 3D 룩업 테이블을 보정한다.
단계 750에서 어라운드 뷰 모니터링 장치는 3D 룩업 테이블에 따라 탑 뷰 영상을 정합하여 3D 영상을 생성한다.
도 8은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 장치가 2D 룩업 테이블을 보정하는 과정을 예시한 순서도이다.
도 8을 참조하면, 단계 810에서 어라운드 뷰 모니터링 장치는 각 영상으로부터 참조선을 검출한다. 예를 들어, 영상 내에서 미리 지정된 색의 픽셀에 대한 분산이 가장 적은 직선을 Least Mean Square를 통해 검출할 수 있다.
단계 820에서 어라운드 뷰 모니터링 장치는 각 영상으로부터 특징점을 검출한다. 예를 들어, 어라운드 뷰 모니터링 장치는 주간 주행 중 차량이 직진하고 있는지 판단한다. 이 때, 어라운드 뷰 모니터링 장치는 주간 주행 중 차량으로부터 현재 스티어링 회전각 등을 나타내는 회전 정보를 수신하여, 차량이 현재 직진 또는 회전 중인지 판단할 수 있다. 어라운드 뷰 모니터링 장치는 현재 차량이 직진 중인 경우, 차량 외 영역에 대한 차영상을 산출한다. 어라운드 뷰 모니터링 장치는 영상의 이전 프레임과 현재 프레임의 대응하는 차량 외 영역 상 위치의 픽셀 간의 차를 픽셀값으로 하는 차 영상을 생성할 수 있다. 어라운드 뷰 모니터링 장치는 연속하는 프레임 간의 픽셀값 차에 대해 이동 평균 재귀 필터를 적용한 값이 0으로부터 미리 지정된 범위 내인 픽셀들을 포함하는 차량의 그림자 영역을 산출한다. 즉, 주간 주행 중 특정 프레임 간 픽셀 값의 차이가 지속적으로 0과 유사한 값을 가지는 픽셀은 그림자에 해당하는 영역으로, 어라운드 뷰 모니터링 장치는 해당 픽셀을 차량의 그림자 영역에 포함시킬 수 있다. 또한, 어라운드 뷰 모니터링 장치는 야간 주행 중 차량 외 영역에 대한 차영상을 산출할 수 있다. 예를 들어, 어라운드 뷰 모니터링 장치는 영상의 이전 프레임과 현재 프레임의 대응하는 차량외 영역 상 위치의 픽셀 간의 차를 픽셀값으로 하는 차 영상을 생성할 수 있다. 어라운드 뷰 모니터링 장치는 연속하는 프레임 간의 픽셀값 차에 대해 이동 평균 재귀 필터를 적용한 값이 0으로부터 미리 지정된 범위 내인 픽셀들을 포함하는 차량의 조명 영역을 산출한다. 즉, 야간 주행 중 특정 프레임 간 픽셀 값의 차이가 지속적으로 0과 유사한 값을 가지는 픽셀은 조명이 투사된 영역으로, 어라운드 뷰 모니터링 장치는 해당 픽셀을 차량의 조명 영역에 포함시킬 수 있다. 어라운드 뷰 모니터링 장치는 주간 주행 중 차량의 그림자 영역을 추출하고, 야간 주행 중 차량의 조명 영역을 추출할 수 있다. 이 때, 어라운드 뷰 모니터링 장치는 차량의 그림자 영역 및 조명 영역의 외곽선을 구성하는 직선을 산출할 수 있다.
단계 830에서 어라운드 뷰 모니터링 장치는 각 영상으로부터 차량 영역을 검출한다. 예를 들어, 어라운드 뷰 모니터링 장치는 영상의 이전 프레임과 현재 프레임의 대응하는 픽셀 간의 차이값이 0으로부터 미리 지정된 범위 내인 픽셀을 포함하는 영역을 차량 영역으로 검출할 수 있다. 어라운드 뷰 모니터링 장치는 차량 영역의 외곽선이 형성하는 직선을 산출할 수 있다.
단계 840에서 어라운드 뷰 모니터링 장치는 각 영상으로부터 소실점을 검출한다.
단계 850에서 어라운드 뷰 모니터링 장치는 각 영상의 각 프레임에 상응하는 소실점을 누적 히스토그램으로 저장하고, 누적 히스토그램으로부터 롤 각도를 산출한다. 예를 들어, 차량이 회전한 경우, 소실점이 영상 상에서 수평선 상에 위치하는 것으로 누적 히스토그램이 표현될 수 있다. 이 때, 어라운드 뷰 모니터링 장치는 누적 히스토그램에서 차량의 요 운동시 소실점으로 형성되는 선과 화면 내 수평선 간의 각도 또는 차량의 피치 운동에 따른 소실점을 이은 선과 영상 상의 수직선 간의 각도를 롤 각도로 산출할 수 있다.
단계 860에서 어라운드 뷰 모니터링 장치는 각 영상 중 인접한 영상의 면 간의 호모그래피 행렬을 산출한다. 예를 들어, 어라운드 뷰 모니터링 장치는 각 영상에 대한 참조선, 특징점 및 차량 영역 중 하나 이상에 따른 2개 이상의 직선으로 형성되는 3차원의 면을 검출할 수 있다. 어라운드 뷰 모니터링 장치는 인접한 영상의 면 간의 틀어짐을 나타내는 호모그래피 행렬을 상술한 수학식 1에 따라 산출할 수 있다.
단계 870에서 어라운드 뷰 모니터링 장치는 호모그래피 행렬에 따라 룩업 테이블을 생성한다. 예를 들어, 어라운드 뷰 모니터링 장치는 영상의 각 좌표에 대해 호모그래피 행렬 변환을 적용한 좌표를 매칭하여 저장한 2D 룩업 테이블을 생성할 수 있다. 따라서, 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 장치는 사고 등의 원인에 의해 카메라의 촬영 방향이 차량의 생산시와 달리 변경된 경우에도 2D 룩업 테이블을 자동으로 보정하여 탑 뷰 영상을 정상적으로 생성할 수 있다.
도 9는 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 장치가 3D 룩업 테이블을 생성하는 과정을 예시한 도면이다.
도 9를 참조하면, 단계 910에서 어라운드 뷰 모니터링 장치는 탑 뷰 영상으로부터 노면 영역을 검출한다. 예를 들어, 어라운드 뷰 모니터링 장치는 차량 속도 및 운행 방향에 따라 이전 탑 뷰 영상의 노면 변화량을 예측한 예측 영상을 생성한다. 즉, 노면 검출부(610)는 이전 탑 뷰 영상의 픽셀을 운행 방향으로 차량 속도에 상응하는 거리만큼 이동시켜 예측 영상을 생성할 수 있다. 어라운드 뷰 모니터링 장치는 예측 영상의 각 픽셀값과 현재 탑 뷰 영상 의 각 픽셀값 간의 차를 각 픽셀값으로 포함하는 예측 차 영상을 생성한다. 어라운드 뷰 모니터링 장치는 예측 차 영상의 각 픽셀값에 대해 이동 평균 재귀 필터를 적용한 값이 0으로부터 미리 지정된 범위 내에 해당하는 픽셀을 노면 영역으로 검출할 수 있다.
단계 920에서 어라운드 뷰 모니터링 장치는 노면 영역과 도형을 피팅한다. 예를 들어, 어라운드 뷰 모니터링 장치는 탑 뷰 영상에 위치하는 임의의 도형(예를 들어, 타원) 중 노면 영역의 외곽선의 각 픽셀과의 거리합이 가장 작은 도형을 산출할 수 있다. 즉, 피팅부(620)는 Least Mean Square에 따른 도형을 검출할 수 있다.
단계 930에서 어라운드 뷰 모니터링 장치는 탑 뷰 영상 중 피팅된 도형의 외부 영역을 변환 영역으로 설정한다.
단계 940에서 어라운드 뷰 모니터링 장치는 변환 영역 상에 위치한 탑 뷰 영상 픽셀의 삼차원 상 위치를 미리 지정된 곡률에 따라 변환한 위치와 변환하기 전의 픽셀 위치를 매칭하여 저장한 3D 룩업 테이블을 생성한다.
따라서, 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 장치는 3D 룩업 테이블을 탑 뷰 영상의 노면 검출 패턴에 따라 변경하여 카메라의 촬영 방향이 변경된 경우에도 3D 영상을 정상적으로 생성할 수 있다.
이제까지 본 발명에 대하여 그 실시 예를 중심으로 살펴보았다. 전술한 실시 예 외의 많은 실시 예들이 본 발명의 특허청구범위 내에 존재한다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (18)

  1. 복수의 카메라로부터 영상을 각각 수신하는 영상 수신부;
    각 상기 영상으로부터 차량 영역과, 참조선 및 특징점 중 적어도 하나의 영역에서 복수의 직선을 검출하고, 상기 영상 중 인접한 영상의 상기 직선을 포함하는 면 간의 호모그래피(homography) 행렬을 산출하고, 상기 호모그래피 행렬에 따라 2D 룩업 테이블을 생성하는 2D 테이블 보정부; 및
    상기 2D 룩업 테이블에 따라 상기 영상을 정합하여 탑 뷰 영상을 생성하는 2D 정합부;를 포함하되,
    상기 2D 테이블 보정부는,
    상기 영상으로부터 차량 영역을 검출하고, 상기 차량 영역의 외곽선을 구성하는 직선을 산출하는 차량 영역 검출부;
    상기 영상으로부터 상기 참조선을 검출하는 참조선 검출부;
    상기 영상으로부터 특징점에 대응하는 차량의 그림자 영역 및 조명 영역을 검출하고, 상기 차량의 그림자 영역 및 상기 조명 영역의 외곽선을 구성하는 직선을 산출하는 특징점 검출부;
    상기 차량 영역과, 상기 참조선 및 상기 특징점 중 적어도 하나의 영역에서 산출한 복수의 직선을 포함하는 면 간의 호모그래피 행렬을 산출하는 행렬 산출부; 및
    상기 호모그래피 행렬에 따라 상기 2D 룩업 테이블을 생성하는 룩업 테이블 보정부;를 포함하고,
    상기 참조선은 차량에서 미리 지정된 방향으로 투사된 빛이 외부 환경에 의해 반사되어 카메라에 의해 촬영된 상기 영상 내에 나타난 선이고,
    상기 특짐점 검출부는
    영상에서 차량 외 영역에 대한 프레임 간 차 영상을 생성하고, 상기 차 영상의 각 픽셀값에 대해 이동 평균 재귀 필터를 적용하고, 상기 이동 평균 재귀 필터를 적용한 상기 픽셀값이 0으로부터 미리 지정된 범위 내인 픽셀들을 포함하는 상기 차량의 그림자 영역 또는 상기 차량의 조명 영역을 산출하고,
    상기 차량 영역 검출부는,
    상기 영상의 이전 프레임과 현재 프레임의 대응하는 픽셀 간의 차이값에 대해 이동 평균 재귀 필터를 적용한 값이 0으로부터 미리 지정된 범위 내인 픽셀을 포함하는 영역을 상기 차량 영역으로 검출하는 것을 특징으로 하는 어라운드 뷰 모니터링 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1 항에 있어서,
    상기 탑 뷰 영상으로부터 변환 영역을 검출하고, 상기 변환 영역에 대한 변환을 수행하기 위한 3D 룩업 테이블을 생성하는 3D 테이블 보정부; 및
    상기 3D 룩업 테이블에 따라 상기 탑 뷰 영상을 정합하여 3D 영상을 생성하는 3D 정합부
    를 더 포함하는 것을 특징으로 하는 어라운드 뷰 모니터링 장치.
  7. 제6 항에 있어서,
    상기 3D 테이블 보정부는,
    상기 탑 뷰 영상으로부터 노면 영역을 검출하는 노면 검출부;
    상기 노면 영역에 피팅(fitting)되는 도형을 검출하는 피팅부;
    상기 탑 뷰 영상 중 상기 도형의 외부에 해당하는 영역을 상기 변환 영역으로 선정하는 변환 영역 산출부; 및
    상기 변환 영역 내의 픽셀의 위치를 지정된 곡률에 따라 변경하도록 하는 3D 룩업 테이블을 생성하는 룩업 테이블 보정부;
    를 포함하는 어라운드 뷰 모니터링 장치.
  8. 제7 항에 있어서,
    상기 노면 검출부는,
    이전 탑 뷰 영상의 픽셀을 운행 방향으로 차량 속도에 상응하는 거리만큼 이동시켜 예측 영상을 생성하고,
    상기 예측 영상의 각 픽셀값과 현재 탑 뷰 영상의 각 픽셀값 간의 차를 각 픽셀값으로 포함하는 예측 차 영상을 생성하고,
    상기 예측 차 영상의 각 픽셀값에 대해 이동 평균 재귀 필터를 적용한 값이 0으로부터 미리 지정된 범위 내에 해당하는 픽셀을 상기 노면 영역으로 검출하는 것을 특징으로 하는 어라운드 뷰 모니터링 장치.
  9. 제7 항에 있어서,
    상기 피팅부는 상기 탑 뷰 영상 상에 도형 중 상기 노면 영역의 외곽선의 각 픽셀과의 거리합이 가장 작은 도형을 검출하는 것을 특징으로 하는 어라운드 뷰 모니터링 장치.
  10. 어라운드 뷰 모니터링 장치가 어라운드 뷰 모니터링을 제공하는 방법에 있어서,
    복수의 카메라로부터 영상을 각각 수신하는 단계;
    상기 영상으로부터 차량 영역과, 참조선 및 특징점 중 적어도 하나의 영역에서 복수의 직선을 검출하는 단계;
    상기 영상 중 인접한 영상의 상기 직선을 포함하는 면 간의 호모그래피(homography) 행렬을 산출하는 단계;
    상기 호모그래피 행렬에 따라 2D 룩업 테이블을 생성하는 단계; 및
    상기 2D 룩업 테이블에 따라 상기 영상을 정합하여 탑 뷰 영상을 생성하는 단계를 포함하되,
    상기 영상으로부터 차량 영역과, 참조선 및 특징점 중 적어도 하나에서 복수의 직선을 검출하는 단계는
    상기 영상으로부터 차량 영역을 검출하고, 상기 차량 영역의 외곽선을 구성하는 직선을 산출하는 단계;
    상기 영상으로부터 상기 참조선을 검출하는 단계; 및
    상기 영상으로부터 특징점에 대응하는 차량의 그림자 영역 및 조명 영역을 검출하고, 상기 차량의 그림자 영역 및 상기 조명 영역의 외곽선을 구성하는 직선을 산출하는 단계;
    를 포함하고,
    상기 참조선은 차량에서 미리 지정된 방향으로 투사된 빛이 외부 환경에 의해 반사되어 카메라에 의해 촬영된 상기 영상 내에 나타난 선이고,
    상기 영상으로부터 특징점에 대응하는 차량의 그림자 영역 및 조명 영역을 검출하고, 상기 그림자 영역 및 상기 조명 영역의 외곽선을 구성하는 직선을 산출하는 단계는,
    영상에서 차량 외 영역에 대한 프레임 간 차 영상을 생성하고, 상기 차 영상의 각 픽셀값에 대해 이동 평균 재귀 필터를 적용하고, 상기 이동 평균 재귀 필터를 적용한 상기 픽셀값이 0으로부터 미리 지정된 범위 내인 픽셀들을 포함하는 상기 차량의 그림자 영역 또는 조명 영역을 산출하는 단계;
    상기 차량의 그림자 영역 또는 상기 조명 영역의 외곽선에 상응하는 직선을 출하는 단계를 포함하고,
    상기 영상으로부터 차량 영역을 검출하고, 상기 차량 영역의 외곽선을 구성하는 직선을 산출하는 단계는,
    상기 영상의 이전 프레임과 현재 프레임의 대응하는 픽셀 간의 차이값에 대해 이동 평균 재귀 필터를 적용한 값이 0으로부터 미리 지정된 범위 내인 픽셀을 포함하는 영역을 상기 차량 영역으로 검출하는 단계인 것을 특징으로 하는 어라운드 뷰 모니터링 방법.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 제10 항에 있어서,
    상기 탑 뷰 영상으로부터 변환 영역을 검출하고, 상기 변환 영역에 대한 변환을 수행하기 위한 3D 룩업 테이블을 생성하는 단계; 및
    상기 3D 룩업 테이블에 따라 상기 탑 뷰 영상을 정합하여 3D 영상을 생성하는 단계
    를 더 포함하는 것을 특징으로 하는 어라운드 뷰 모니터링 방법.
  16. 제15 항에 있어서,
    상기 탑 뷰 영상으로부터 변환 영역을 검출하고, 상기 변환 영역에 대한 변환을 수행하기 위한 3D 룩업 테이블을 생성하는 단계는,
    상기 탑 뷰 영상으로부터 노면 영역을 검출하는 단계;
    상기 노면 영역에 피팅(fitting)되는 도형을 검출하는 단계;
    상기 탑 뷰 영상 중 상기 도형의 외부에 해당하는 영역을 상기 변환 영역으로 선정하는 단계; 및
    상기 변환 영역 내의 픽셀의 위치를 지정된 곡률에 따라 변경하도록 하는 3D 룩업 테이블을 생성하는 단계;
    를 포함하는 어라운드 뷰 모니터링 방법.
  17. 제16 항에 있어서,
    상기 탑 뷰 영상으로부터 노면 영역을 검출하는 단계는,
    이전 탑 뷰 영상의 픽셀을 운행 방향으로 차량 속도에 상응하는 거리만큼 이동시켜 예측 영상을 생성하는 단계;
    상기 예측 영상의 각 픽셀값과 현재 탑 뷰 영상의 각 픽셀값 간의 차를 각 픽셀값으로 포함하는 예측 차 영상을 생성하는 단계; 및
    상기 예측 차 영상의 각 픽셀값에 대해 이동 평균 재귀 필터를 적용한 값이 0으로부터 미리 지정된 범위 내에 해당하는 픽셀을 상기 노면 영역으로 검출하는 단계
    를 포함하는 것을 특징으로 하는 어라운드 뷰 모니터링 방법.
  18. 제16 항에 있어서,
    상기 노면 영역에 피팅(fitting)되는 도형을 검출하는 단계는,
    상기 탑 뷰 영상 상에 도형 중 상기 노면 영역의 외곽선의 각 픽셀과의 거리합이 가장 작은 도형을 검출하는 단계인 것을 특징으로 하는 어라운드 뷰 모니터링 방법.
KR1020170040231A 2017-03-29 2017-03-29 어라운드 뷰 모니터링 장치 KR101949349B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170040231A KR101949349B1 (ko) 2017-03-29 2017-03-29 어라운드 뷰 모니터링 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170040231A KR101949349B1 (ko) 2017-03-29 2017-03-29 어라운드 뷰 모니터링 장치

Publications (2)

Publication Number Publication Date
KR20180110534A KR20180110534A (ko) 2018-10-10
KR101949349B1 true KR101949349B1 (ko) 2019-02-21

Family

ID=63876042

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170040231A KR101949349B1 (ko) 2017-03-29 2017-03-29 어라운드 뷰 모니터링 장치

Country Status (1)

Country Link
KR (1) KR101949349B1 (ko)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101504335B1 (ko) * 2013-07-29 2015-03-23 인하대학교 산학협력단 어라운드뷰 제공 장치, 방법 및 차량

Also Published As

Publication number Publication date
KR20180110534A (ko) 2018-10-10

Similar Documents

Publication Publication Date Title
US11170466B2 (en) Dense structure from motion
JP6896044B2 (ja) 道路の垂直輪郭検出
US9378553B2 (en) Stereo image processing device for vehicle
CN107004277B (zh) 机动车辆摄像头系统的在线标定
JP4956452B2 (ja) 車両用環境認識装置
CN109155066B (zh) 用于机动车辆的环境区域的两个图像之间的运动估计的方法，计算装置，驾驶员辅助系统以及机动车辆
WO2018225446A1 (ja) 地図変化点検出装置
US7623700B2 (en) Stereoscopic image processing apparatus and the method of processing stereoscopic images
US20120327189A1 (en) Stereo Camera Apparatus
JP2007300181A (ja) 周辺認識装置、周辺認識方法、プログラム
US10984555B2 (en) Object detection device and vehicle
KR102104005B1 (ko) 자동차의 도로변의 물체를 검출하는 방법, 컴퓨팅 장치, 운전자 보조 시스템 및 자동차
WO2019156072A1 (ja) 姿勢推定装置
JP2011175572A (ja) 車線認識装置
JP6768554B2 (ja) キャリブレーション装置
US11403770B2 (en) Road surface area detection device
KR101949349B1 (ko) 어라운드 뷰 모니터링 장치
JP6032141B2 (ja) 走行路面標示検知装置および走行路面標示検知方法
KR20170114523A (ko) Avm용 주행 자동 공차 보정 장치 및 방법
US11477371B2 (en) Partial image generating device, storage medium storing computer program for partial image generation and partial image generating method
JP5098981B2 (ja) 顔部位検出装置
JP3951734B2 (ja) 車両用外界認識装置
JP2020087210A (ja) キャリブレーション装置及びキャリブレーション方法
JP7311406B2 (ja) 画像処理装置、および、画像処理方法
KR102681321B1 (ko) 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치와 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right