KR101756350B1 - 영상 보정 장치 및 방법 - Google Patents

영상 보정 장치 및 방법 Download PDF

Info

Publication number
KR101756350B1
KR101756350B1 KR1020160022438A KR20160022438A KR101756350B1 KR 101756350 B1 KR101756350 B1 KR 101756350B1 KR 1020160022438 A KR1020160022438 A KR 1020160022438A KR 20160022438 A KR20160022438 A KR 20160022438A KR 101756350 B1 KR101756350 B1 KR 101756350B1
Authority
KR
South Korea
Prior art keywords
camera
noise
image
image captured
vehicle
Prior art date
Application number
KR1020160022438A
Other languages
English (en)
Inventor
하창우
박만수
한창우
양지혁
이준묵
Original Assignee
현대오트론 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대오트론 주식회사 filed Critical 현대오트론 주식회사
Priority to KR1020160022438A priority Critical patent/KR101756350B1/ko
Application granted granted Critical
Publication of KR101756350B1 publication Critical patent/KR101756350B1/ko

Links

Images

Classifications

    • H04N5/2352—
    • H04N5/2257—
    • H04N5/2258—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 영상 보정 장치에 대한 것으로, 본 발명의 실시예에 따른 영상 보정 장치는 차량에 설치되어 차량 전방을 촬상하는 제1 카메라 및 제2 카메라에서 촬상된 영상을 보정하는 영상 보정 장치에 있어서, 상기 제2 카메라에서 촬상된 영상을 상기 제1 카메라에서 촬상된 영상의 좌표와 일치되도록 변형하는 영상 변형부; 상기 영상 변형부에서 변형시킨 상기 제2 카메라에서 촬상된 영상에 존재하는 노이즈를 추출하는 노이즈 추출부; 상기 노이즈 추출부에서 추출된 노이즈를 상기 제1 카메라에서 촬상된 영상에 매칭하여 상기 제1 카메라에서 촬상된 영상의 노이즈를 보정하는 영상 보정부를 포함하고, 상기 노이즈는 상기 차량의 윈드실드에 부착된 이물질이 촬상된 것임을 특징으로 한다.

Description

영상 보정 장치 및 방법{APPARATUS AND METHOD FOR CORRECTING IMAGE}
본 발명은 영상 보정 장치 및 방법에 관한 것으로, 구체적으로 차량에 구비된 카메라를 통해 촬영된 영상의 노이즈를 제거하는 영상 보정 장치 및 방법에 관한 것이다.
오늘날 자동차가 널리 보급되면서 운전자의 편의를 위한 관련기술이 급속도로 발전하고 있다. 특히, 내비게이션, 차량용 블랙박스와 같이 운전자의 운전을 보조하는 ADAS(Advanced Driver Assistance System) 기술이 증가하고 있다. 또한, 영상 기반의 운전자 보조장치가 그 범용성과 경제성으로 인해 점차 수요가 증가하고 있다.
특히, 차량에 장착된 카메라로 촬영된 전방 영상을 처리하여 차선이나 차량을 검출하는 기술도 제안되고 있는데, 종래의 차선 검출 방법으로 모바일 기기를 기반으로 빠르고 간단한 에지(Edge) 추출과 허프 변환(Houghtransform)을 이용한 직선 차선 검출 방법 등이 있다. 한편, 에지(edge)의 방향성을 고려하는 스티어러블 필터(steerable filter)와 레이저 센서(laser sensor)의 전방 스캔(scan) 정보를 사용하여 차선의 검색 영역 최소화 및 장애물로 인한 차선 가림을 해결하는 방법도 있다.
이와 같은 기술들은 차량 내부에 설치된 카메라로 차량의 윈드실드를 통해 차량의 전방을 촬영하여 보행자, 차량 등을 인식하는 방식이 일반적이다. 이때, 악천후 상황 등에서 차량의 윈드실드에 눈 또는 비와 같은 이물질이 붙은 경우 정확한 차량 전방 인식이 어려운 문제점이 있다. 정확한 차량 전방 인식이 어려운 경우 차량간 충돌, 교통사고 등의 위험이 증가하는 문제점도 발생한다.
대한민국특허공개공보 제10-2001-0100700호
본 발명은 복수의 카메라를 설치하여 악천후 상황에서 차량 내부에 설치된 카메라에서 촬상된 영상에 발생되는 눈 또는 비 등의 노이즈를 제거함으로써 개선된 영상을 제공하는데 목적이 있다.
또한, 본 발명은 복수의 카메라를 설치하여 악천후 상황에서 차량 내부에 설치된 카메라에서 촬상된 영상에 발생되는 눈 또는 비 등의 노이즈를 제거함으로써 차량 주행의 안전성을 향상시키는데 목적이 있다.
본 발명의 일 실시예에 따른 영상 보정 장치는 차량에 설치되어 차량 전방을 촬상하는 제1 카메라 및 제2 카메라에서 촬상된 영상을 보정하는 영상 보정 장치에 있어서, 상기 제2 카메라에서 촬상된 영상을 상기 제1 카메라에서 촬상된 영상의 좌표와 일치되도록 변형하는 영상 변형부; 상기 영상 변형부에서 변형시킨 상기 제2 카메라에서 촬상된 영상에 존재하는 노이즈를 추출하는 노이즈 추출부; 상기 노이즈 추출부에서 추출된 노이즈를 상기 제1 카메라에서 촬상된 영상에 매칭하여 상기 제1 카메라에서 촬상된 영상의 노이즈를 보정하는 영상 보정부를 포함하고, 상기 노이즈는 상기 차량의 윈드실드에 부착된 이물질이 촬상된 것임을 특징으로 한다.
상기 제2 카메라는 차량의 윈드실드에 초점이 맞춰져 있을 수 있다.
상기 제1 카메라 및 제2 카메라는 차량 내부에 구비되어 차량의 윈드실드를 통해 차량의 전방을 촬상할 수 있다.
상기 제1 카메라의 화소는 상기 제2 카메라의 화소보다 고 화소일 수 있다.
상기 영상 변형부는 투영 변환 행렬을 이용하여 상기 제2 카메라에서 촬상된 영상의 시점을 상기 제1 카메라에서 촬상된 영상의 시점으로 변환하고, 시점이 변경된 상기 제2 카메라에서 촬상된 영상을 보간법(Interpolation)을 이용하여 상기 제1 카메라에서 촬상된 영상의 좌표와 일치되도록 변형할 수 있다.
상기 보간법(Interpolation)은 2중 선형 보간법(Bilinear Interpolation)을 의미할 수 있다.
상기 보간법(Interpolation)은 3차 회선 보간법(Cubic Convolution Interpolation)을 의미할 수 있다.
상기 노이즈 추출부는 상기 영상 변형부에서 변형시킨 상기 제2 카메라에서 촬상된 영상에서 화소값이 소정값을 넘는 좌표를 노이즈로 추출할 수 있다.
상기 노이즈 추출부는 케니 에지 디텍션(Canny Edge Detection)에 의해 노이즈를 추출할 수 있다.
상기 노이즈 추출부는 소벨 마스크(Sobel Mask) 방법에 의해 노이즈를 추출할 수 있다.
상기 영상 보정부는 상기 노이즈 추출부에서 추출된 노이즈 좌표를 이용하여 상기 제1 카메라에서 촬상된 영상의 노이즈를 제거하고, 상기 노이즈가 제거된 부분을 상기 노이즈가 제거된 부분의 신호 강도와 상기 제1 카메라에서 촬상된 영상의 같은 프레임에서 신호 강도의 유사성을 계산하여 대체함으로써 보정할 수 있다.
상기 영상 보정부는 상기 노이즈 추출부에서 추출된 노이즈 좌표를 이용하여 상기 제1 카메라에서 촬상된 영상의 노이즈를 제거하고, 상기 노이즈가 제거된 부분을 상기 노이즈가 제거된 부분의 신호 강도와 상기 제1 카메라에서 촬상된 영상의 다른 프레임에서 신호 강도의 유사성을 계산하여 대체함으로써 보정할 수 있다.
본 발명의 일 실시예에 따른 영상 보정 방법은 차량에 설치되어 차량 전방을 촬상하는 제1 카메라 및 제2 카메라에서 촬상된 영상을 보정하는 영상 보정 방법에 있어서, 상기 제2 카메라에서 촬상된 영상을 상기 제1 카메라에서 촬상된 영상의 좌표와 일치되도록 변형하는 영상 변형 단계; 상기 영상 변형 단계에서 변형시킨 상기 제2 카메라에서 촬상된 영상에 존재하는 노이즈를 추출하는 노이즈 추출 단계; 상기 노이즈 추출 단계에서 추출된 노이즈를 상기 제1 카메라에서 촬상된 영상에 매칭하여 상기 제1 카메라에서 촬상된 영상의 노이즈를 보정하는 영상 보정 단계를 포함하고, 상기 노이즈는 상기 차량의 윈드실드에 부착된 이물질이 촬상된 것임을 특징으로 한다.
상기 제2 카메라는 차량의 윈드실드에 초점이 맞춰져 있을 수 있다.
상기 제1 카메라 및 제2 카메라는 차량 내부에 구비되어 차량의 윈드실드를 통해 차량의 전방을 촬상할 수 있다.
상기 제1 카메라의 화소는 상기 제2 카메라의 화소보다 고 화소일 수 있다.
상기 영상 변형 단계는 투영 변환 행렬을 이용하여 상기 제2 카메라에서 촬상된 영상의 시점을 상기 제1 카메라에서 촬상된 영상의 시점으로 변환하고, 시점이 변경된 상기 제2 카메라에서 촬상된 영상을 보간법(Interpolation)을 이용하여 상기 제1 카메라에서 촬상된 영상의 좌표와 일치되도록 변형할 수 있다.
상기 보간법(Interpolation)은 2중 선형 보간법(Bilinear Interpolation)을 의미할 수 있다.
상기 보간법(Interpolation)은 3차 회선 보간법(Cubic Convolution Interpolation)을 의미할 수 있다.
상기 노이즈 추출 단계는 상기 영상 변형 단계에서 변형시킨 상기 제2 카메라에서 촬상된 영상에서 화소값이 소정값을 넘는 좌표를 노이즈로 추출할 수 있다.
상기 노이즈 추출 단계는 케니 에지 디텍션(Canny Edge Detection)에 의해 노이즈를 추출할 수 있다.
상기 노이즈 추출 단계는 소벨 마스크(Sobel Mask) 방법에 의해 노이즈를 추출할 수 있다.
상기 영상 보정 단계는 상기 노이즈 추출부에서 추출된 노이즈 좌표를 이용하여 상기 제1 카메라에서 촬상된 영상의 노이즈를 제거하고, 상기 노이즈가 제거된 부분을 상기 노이즈가 제거된 부분의 신호 강도와 상기 제1 카메라에서 촬상된 영상의 같은 프레임에서 신호 강도의 유사성을 계산하여 대체함으로써 보정할 수 있다.
상기 영상 보정 단계는 상기 노이즈 추출부에서 추출된 노이즈 좌표를 이용하여 상기 제1 카메라에서 촬상된 영상의 노이즈를 제거하고, 상기 노이즈가 제거된 부분을 상기 노이즈가 제거된 부분의 신호 강도와 상기 제1 카메라에서 촬상된 영상의 다른 프레임에서 신호 강도의 유사성을 계산하여 대체함으로써 보정할 수 있다.
본 발명은 복수의 카메라를 설치하여 악천후 상황에서 차량 내부에 설치된 카메라에서 촬상된 영상에 발생되는 눈 또는 비 등의 노이즈를 제거함으로써 개선된 영상을 제공하는 효과가 있다.
또한, 본 발명은 복수의 카메라를 설치하여 악천후 상황에서 차량 내부에 설치된 카메라에서 촬상된 영상에 발생되는 눈 또는 비 등의 노이즈를 제거함으로써 차량 주행의 안전성을 향상시키는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 영상 보정 장치가 포함된 블록도이다.
도 2는 차량의 전방을 촬영하는 제1 카메라 및 제2 카메라가 차량 내 배치된 위치를 도시한 설명도이다.
도 3은 본 발명의 일 실시예에 따른 영상 보정 장치의 제1 카메라에서 촬상된 영상을 도시한 설명도이다.
도 4는 본 발명의 일 실시예에 따른 영상 보정 장치의 제2 카메라에서 촬상된 영상을 도시한 설명도이다.
도 5는 본 발명의 일 실시예에 따른 영상 보정 장치의 제2 카메라에서 촬상된 영상을 제1 카메라에서 촬상된 영상의 좌표로 매칭한 영상을 도시한 설명도이다.
도 6은 본 발명의 일 실시예에 따른 영상 보정 장치의 제2 카메라에서 촬상된 영상에서 노이즈 부분을 추출한 영상을 도시한 설명도이다.
도 7은 본 발명의 일 실시예에 따른 영상 보정 장치의 제1 카메라에서 촬상된 영상의 노이즈를 제거한 영상을 도시한 설명도이다.
도 8은 본 발명의 일 실시예에 따른 영상 보정 장치의 영상 보정 방법을 도시한 흐름도이다.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
실시 예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.
마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 각 도면에서 동일한 또는 대응하는 구성요소에는 동일한 참조 번호를 부여하였다.
이하, 도 1 내지 도 7을 참조하여 본 발명의 일 실시예에 따른 영상 보정 장치에 대해 설명한다.
도 1은 본 발명의 일 실시예에 따른 영상 보정 장치가 포함된 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 보정 장치(100)는 영상 변형부(20), 노이즈 추출부(30) 및 영상 보정부(40)를 포함한다.
본 발명의 일 실시예에 따른 영상 보정 장치(100)는 제2 카메라(12)에서 촬상된 영상을 통해 제1 카메라(11)에서 촬상된 영상을 보정할 수 있다. 또는, 본 발명의 일 실시예에 따른 영상 보정 장치(100)는 제1 카메라(11)에서 촬상된 영상을 통해 제1 카메라(12)에서 촬상된 영상을 보정할 수 있다. 이하, 설명의 편의를 위해 제2 카메라(12)에서 촬상된 영상을 통해 제1 카메라(11)에서 촬상된 영상을 보정하는 것으로 설명한다.
영상 변형부(20)는 제2 카메라(12)에서 촬상된 영상을 제1 카메라(11)에서 촬상된 영상의 좌표와 일치되도록 변형한다. 영상 변형부(20)에 대한 구체적인 설명은 후술한다.
노이즈 추출부(30)는 영상 변형부(20)에서 변형시킨 제2 카메라(12)에서 촬상된 영상에 존재하는 노이즈(14)를 추출한다. 이때, 노이즈(14)는 제2 카메라(12)에 존재하는 영상 노이즈를 의미하고, 이는 차량의 윈드실드(13)에 붙어있는 눈 또는 비 등의 이물질이 촬상된 것이다. 노이즈 추출부(30)에 대한 구체적인 설명은 후술한다.
영상 보정부(40)는 노이즈 추출부(30)에서 추출된 노이즈(14)를 제1 카메라(11)에서 촬상된 영상에 매칭하여 제1 카메라(11)에서 촬상된 영상의 노이즈(14)를 보정한다. 영상 보정부(40)에 대한 구체적인 설명은 후술한다.
도 2는 차량의 전방을 촬영하는 제1 카메라 및 제2 카메라가 차량 내 배치된 위치를 도시한 설명도이다.
도 2를 참조하면, 제1 카메라(11) 및 제2 카메라(12)는 차량의 윈드실드(13)와 차량의 룸미러 사이에 위치한다. 또한, 제1 카메라(11)와 제2 카메라(12)는 차량의 윈드실드(13)를 통해 차량의 전방을 촬상한다. 이때, 제1 카메라(11)와 제2 카메라(12)는 나란히 배치되므로, 제1 카메라(11)에서 촬상된 영상과 제2 카메라(12)에서 촬상된 영상은 시점상의 차이가 생긴다.
한편, 제1 카메라(11)의 화소는 제2 카메라(12)의 화소보다 높도록 설정될 수 있다. 따라서, 제1 카메라(11)에서 촬상된 영상이 제2 카메라(12)에서 촬상된 영상에 비해 선명하다.
또한, 제2 카메라(12)는 차량의 윈드실드(13)에 초점이 맞춰져 있다. 따라서, 제2 카메라(12)에서 촬상된 영상은 윈드실드(13) 표면은 선명하게 표시되고, 윈드실드(13) 외부는 상대적으로 흐리게 표시된다. 이에 따라, 제2 카메라(12)는 제1 카메라(11)에 비해 차량의 윈드실드(13)에 붙은 눈 또는 비 등의 이물질을 보다 정확하게 촬상할 수 있다.
도 3은 본 발명의 일 실시예에 따른 영상 보정 장치의 제1 카메라에서 촬상된 영상을 도시한 설명도이다.
도 4는 본 발명의 일 실시예에 따른 영상 보정 장치의 제2 카메라에서 촬상된 영상을 도시한 설명도이다.
도 3 및 도 4를 참조하면, 도 2를 참조하여 상술한 제1 카메라(11)에서 촬상된 영상과 제2 카메라(12)에서 촬상된 영상간의 차이점을 명확하게 확인할 수 있다.
영상 변형부(20)는 제2 카메라(12)에서 촬상된 영상을 제1 카메라(11)에서 촬상된 영상의 좌표와 일치되도록 변형한다. 구체적으로 영상 변형부(20)가 투영 변환 행렬을 이용하여 제2 카메라(12)에서 촬상된 영상의 시점을 제1 카메라(11)에서 촬상된 영상의 시점으로 변환한다. 이는 하기의 수학식을 통해 구할 수 있다.
Figure 112016018553834-pat00001
여기서, x', y' 는 제1 카메라(11)에서 촬상된 영상의 좌표값을 뜻하고, x, y는 제2 카메라(12)에서 촬상된 영상의 좌표값을 뜻한다. 즉, 상기 a,b,c,d,e,f,g,h 값을 알고 있으면 제2 카메라(12)에서 촬상된 영상의 시점을 제1 카메라(11)에서 촬상된 영상의 시점으로 변환할 수 있다. 상기 a,b,c,d,e,f,g,h 값은 하기의 수학식으로 구할 수 있다.
Figure 112016018553834-pat00002
이는 상기 수학식 1에 (x, y)에 대응되는 (x', y') 쌍 4개를 대입하여 정리한 결과이다. 즉, (x1, y1)에 대응되는 (x1', y1'), (x2, y2)에 대응되는 (x2', y2'), (x3, y3)에 대응되는 (x3', y3'), (x4, y4)에 대응되는 (x4', y4')을 수학식 1에 각각 대입한 결과이다. 수학식 2에서 우변 첫번째 행렬의 역행렬을 양변에 곱해주면 상기 a,b,c,d,e,f,g,h 값을 구할 수 있다. 따라서, 상기 a,b,c,d,e,f,g,h 값을 통해 제2 카메라(12)에서 촬상된 영상의 시점을 제1 카메라(11)에서 촬상된 영상의 시점으로 변환할 수 있다.
이후, 영상 변형부(20)는 시점이 변경된 제2 카메라(12)에서 촬상된 영상을 보간법(Interpolation)을 이용하여 제1 카메라(11)에서 촬상된 영상의 좌표와 일치되도록 변형한다. 이때, 상기 보간법(Interpolation)은 2중 선형 보간법(Bilinear Interpolation)을 의미할 수 있다. 또는 상기 보간법(Interpolation)은 3차 회선 보간법(Cubic Convolution Interpolation)을 의미할 수 있다. 상기 2중 선형 보간법(Bilinear Interpolation)은 네 개의 가장 가까운 화소들에 가중치를 곱한 값들의 합으로 새로운 화소값을 계산하는 보간법을 의미한다. 상기 3차 회선 보간법(Cubic Convolution Interpolation)은 고등 차수 보간법중 하나로 3차 회선 함수를 사용하여 새로운 화소를 계산하는 것을 의미한다.
도 5는 본 발명의 일 실시예에 따른 영상 보정 장치의 제2 카메라에서 촬상된 영상을 제1 카메라에서 촬상된 영상의 좌표로 매칭한 영상을 도시한 설명도이다.
도 5를 참조하면, 제2 카메라(12)에서 촬상된 영상을 제1 카메라(11)에서 촬상된 영상의 좌표와 일치되도록 변형한 영상을 확인할 수 있다.
노이즈 추출부(30)는 영상 변형부(20)에서 변형시킨 제2 카메라(12)에서 촬상된 영상에 존재하는 노이즈(14)를 추출한다.
노이즈 추출부(30)는 영상 변형부(20)에서 변형시킨 제2 카메라(12)에서 촬상된 영상에서 화소값이 소정값을 넘는 좌표를 노이즈(14)로 추출할 수 있다. 제2 카메라(12)에서 촬상된 영상은 차량의 윈드실드(13)에 초점이 맞춰져 있어 노이즈(14) 부분이 선명하게 촬상되므로, 제2 카메라(12)에서 촬상된 영상은 노이즈(14) 부분의 화소값이 다른 부분에 비해 높다. 따라서, 화소값이 소정값을 넘는 좌표를 노이즈(14)로 추출할 수 있게 된다.
이때, 노이즈 추출부(30)는 케니 에지 디텍션(Canny Edge Detection)에 의해 노이즈(14)를 추출할 수 있다. 또는 노이즈 추출부(30)는 소벨 마스크(Sobel Mask) 방법에 의해 노이즈(14)를 추출할 수 있다.
도 6은 본 발명의 일 실시예에 따른 영상 보정 장치의 제2 카메라에서 촬상된 영상에서 노이즈 부분을 추출한 영상을 도시한 설명도이다.
도 6을 참조하면, 제2 카메라(12)에서 촬상된 영상에 노이즈(14) 부분을 추출한 영상을 확인할 수 있다.
영상 보정부(40)는 노이즈 추출부(30)에서 추출된 노이즈(14)를 제1 카메라(11)에서 촬상된 영상에 매칭하여 제1 카메라(11)에서 촬상된 영상의 노이즈(14)를 보정한다.
구체적으로, 영상 보정부(40)는 노이즈 추출부(30)에서 추출된 노이즈 좌표를 이용하여 제1 카메라(11)에서 촬상된 영상의 노이즈(14)를 제거한다. 이후, 노이즈(14)가 제거된 부분을 노이즈(14)가 제거된 부분의 신호 강도와 제1 카메라(11)에서 촬상된 영상의 같은 프레임에서 신호 강도의 유사성을 계산하여 대체함으로써 보정할 수 있다. 즉, 제1 카메라(11)에서 촬상된 영상 중 노이즈(14)가 제거된 프레임내에서 노이즈(14)가 제거된 부분과 신호 강도가 가장 유사한 부분으로 노이즈(14)가 제거된 부분을 대체함으로써 보정할 수 있다.
이에 대해 상술하면 먼저, 영상 보정부(40)는 노이즈(14)가 제거된 부분의 각 경계 픽셀에 대해 기울기(Gradient)를 산출하고, 상기 산출한 각 기울기의 방향을 계산하여 소정의 영역으로 분류한 후 상기 소정영역에서 에지(Edge)의 세기를 산출한다.
이후, 영상 보정부(40)는 8개의 에지 방향 영역에 대해 대표 방향을 나타내는 8개의 공간방향벡터들을 산출한다.
이후, 영상 보정부(40)는 상기 산출한 8개의 공간방향벡터들 중에서 임계치를 초과하는 유효 공간방향벡터를 선별한다.
이후, 영상 보정부(40)는 상기 선별한 각 유효 공간방향벡터에 대한 방향성 왜곡값을 계산한다.
이후, 영상 보정부(40)는 상기 계산한 방향성 왜곡값 중 가장 작은 방향성 왜곡값에 해당하는 유효 공간방향벡터를 검출하고, 상기 계산한 방향성 왜곡값 중 두 번째로 작은 방향성 왜곡값에 해당하는 유효 공간 방향벡터를 검출하여, 상기 검출한 두 유효 공간방향벡터를 이용하여 노이즈(14)가 제거된 부분의 보간값을 계산한 후 상기 계산한 보간값과 해당 방향성 왜곡값(가중치)을 이용하여 노이즈(14)가 제거된 부분을 보정할 수 있다.
또는, 영상 보정부(40)는 노이즈 추출부(30)에서 추출된 노이즈 좌표를 이용하여 영상 획득부(10)에서 획득된 상기 제1 카메라(11)에서 촬상된 영상의 노이즈(14)를 제거한다.
이후, 영상 보정부(40)는 노이즈(14)가 제거된 부분을 노이즈(14)가 제거된 부분의 신호 강도와 상기 제1 카메라(11)에서 촬상된 영상의 다른 프레임에서 신호 강도의 유사성을 계산하여 대체함으로써 보정할 수 있다. 즉, 상기 제1 카메라(11)에서 촬상된 영상 중 노이즈(14)가 제거된 프레임과 다른 프레임에서 노이즈(14)가 제거된 부분과 신호 강도가 가장 유사한 부분으로 노이즈(14)가 제거된 부분을 대체함으로써 보정할 수 있다. 이때, 노이즈(14)가 제거된 부분과 신호 강도가 가장 유사한지 여부는 SSD(Sum of Squared Difference)가 최소가 되는 위치를 찾는 것을 의미할 수 있다. 이때, SSD는 하기의 수학식으로 구할 수 있다.
Figure 112016018553834-pat00003
수학식 3에서, Ic(x,y)는 노이즈(14)가 제거된 부분의 신호 강도를 의미하고, Ip(x+i,y+i)는 상기 노이즈가 제거된 프레임과 다른 프레임에서 임의의 부분의 신호 강도를 의미한다. 상기 수학식 3을 통해 SSD가 최소가 되는 좌표를 찾으면 구획화 현상(Blocking Artifact)을 최소화하기 위해 디블로깅 필터(Deblocking Filter)를 적용할 수 있다.
도 7은 본 발명의 일 실시예에 따른 영상 보정 장치의 제1 카메라에서 촬상된 영상의 노이즈를 제거한 영상을 도시한 설명도이다.
도 7을 참조하면, 제1 카메라(11)에서 촬상된 영상에서 노이즈(14) 부분이 제거되어 개선된 영상을 확인할 수 있다.
제어부(200)는 본 발명의 일 실시예에 따른 영상 보정 장치(100)에 의해 개선된 영상을 통해 차량의 주행을 제어한다. 즉, 제어부(200)는 본 발명의 일 실시예에 따른 영상 보정 장치(100)에 따라 개선된 영상을 통해 선행 차량과의 간격 조정, 라인 변경 여부 등을 제어하여 주행의 편의성 및 안전성을 극대화 시킨다.
이하, 도 8을 참조하여 본 발명의 일 실시예에 따른 영상 보정 방법에 대해 설명한다. 이때, 상기 도 1 내지 도 7을 참조하여 설명한 부분과 중복되는 부분은 생략한다.
도 8은 본 발명의 일 실시예에 따른 영상 보정 장치의 영상 보정 방법을 도시한 흐름도이다.
먼저, 영상 변형부(20)는 제2 카메라(12)에서 촬상된 영상을 제1 카메라(11)에서 촬상된 영상의 좌표와 일치되도록 변형한다(S101).
이후, 노이즈 추출부(30)는 S101 단계에서 변형시킨 제2 카메라(12)에서 촬상된 영상에 존재하는 노이즈(14)를 추출한다(S103).
이후, 영상 보정부(40)는 S103 단계에서 추출된 노이즈(14)를 제1 카메라(11)에서 촬상된 영상에 매칭하여 제1 카메라(11)에서 촬상된 영상의 노이즈(14)를 보정한다(S105).
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
한편, 본 명세서와 도면에는 본 발명의 바람직한 실시 예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
100 : 영상 보정 장치 11 : 제1 카메라
12 : 제2 카메라 13 : 윈드실드
14 : 노이즈 20 : 영상 변형부
30 : 노이즈 추출부 40 : 영상 보정부
200 : 제어부

Claims (20)

  1. 차량에 설치되어 차량 전방을 촬상하는 제1 카메라 및 제2 카메라에서 촬상된 영상을 보정하는 영상 보정 장치에 있어서,
    상기 제2 카메라에서 촬상된 영상을 상기 제1 카메라에서 촬상된 영상의 좌표와 일치되도록 변형하는 영상 변형부;
    상기 영상 변형부에서 변형시킨 상기 제2 카메라에서 촬상된 영상에 존재하는 노이즈를 추출하는 노이즈 추출부;
    상기 노이즈 추출부에서 추출된 노이즈를 상기 제1 카메라에서 촬상된 영상에 매칭하여 상기 제1 카메라에서 촬상된 영상의 노이즈를 보정하는 영상 보정부를 포함하고,
    상기 노이즈는 상기 차량의 윈드실드에 부착된 이물질이 촬상된 것이고,
    상기 노이즈 추출부는 상기 제2 카메라에서 촬상된 영상에서 화소값이 소정값을 넘는 좌표를 노이즈로 추출하며,
    상기 영상 보정부는 상기 노이즈 추출부에서 추출된 노이즈 좌표를 이용하여 상기 제1 카메라에서 촬상된 영상의 노이즈를 제거하고, 상기 제1 카메라에서 촬상된 영상에서 노이즈가 제거된 부분을 상기 노이즈가 제거된 부분의 신호 강도를 고려하여 대체함으로써 보정하는 것을 특징으로 하는 영상 보정 장치.
  2. 제 1항에 있어서,
    상기 제2 카메라는 차량의 윈드실드에 초점이 맞춰져 있는 것을 특징으로 하는 영상 보정 장치.
  3. 제 1항에 있어서,
    상기 제1 카메라 및 제2 카메라는 차량 내부에 구비되어 차량의 윈드실드를 통해 차량의 전방을 촬상하는 것을 특징으로 하는 영상 보정 장치.
  4. 제 1항에 있어서,
    상기 제1 카메라의 화소는 상기 제2 카메라의 화소보다 고 화소인 것을 특징으로 하는 영상 보정 장치.
  5. 제 1항에 있어서,
    상기 영상 변형부는 투영 변환 행렬을 이용하여 상기 제2 카메라에서 촬상된 영상의 시점을 상기 제1 카메라에서 촬상된 영상의 시점으로 변환하고, 시점이 변경된 상기 제2 카메라에서 촬상된 영상을 보간법(Interpolation)을 이용하여 상기 제1 카메라에서 촬상된 영상의 좌표와 일치되도록 변형하는 것을 특징으로 하는 영상 보정 장치.
  6. 제 5항에 있어서,
    상기 보간법(Interpolation)은 2중 선형 보간법(Bilinear Interpolation) 또는 3차 회선 보간법(Cubic Convolution Interpolation)인 것을 특징으로 하는 영상 보정 장치.
  7. 삭제
  8. 제 1항에 있어서,
    상기 노이즈 추출부는 케니 에지 디텍션(Canny Edge Detection) 또는 소벨 마스크(Sobel Mask) 방법에 의해 노이즈를 추출하는 것을 특징으로 하는 영상 보정 장치.
  9. 제 1항에 있어서,
    상기 영상 보정부는 상기 노이즈가 제거된 부분을 상기 노이즈가 제거된 부분의 신호 강도와 상기 제1 카메라에서 촬상된 영상의 같은 프레임에서 신호 강도의 유사성을 계산하여 대체함으로써 보정하는 것을 특징으로 하는 영상 보정 장치.
  10. 제 1항에 있어서,
    상기 영상 보정부는 상기 노이즈가 제거된 부분을 상기 노이즈가 제거된 부분의 신호 강도와 상기 제1 카메라에서 촬상된 영상의 다른 프레임에서 신호 강도의 유사성을 계산하여 대체함으로써 보정하는 것을 특징으로 하는 영상 보정 장치.
  11. 차량에 설치되어 차량 전방을 촬상하는 제1 카메라 및 제2 카메라에서 촬상된 영상을 보정하는 영상 보정 방법에 있어서,
    상기 제2 카메라에서 촬상된 영상을 상기 제1 카메라에서 촬상된 영상의 좌표와 일치되도록 변형하는 영상 변형 단계;
    상기 영상 변형 단계에서 변형시킨 상기 제2 카메라에서 촬상된 영상에 존재하는 노이즈를 추출하는 노이즈 추출 단계;
    상기 노이즈 추출 단계에서 추출된 노이즈를 상기 제1 카메라에서 촬상된 영상에 매칭하여 상기 제1 카메라에서 촬상된 영상의 노이즈를 보정하는 영상 보정 단계를 포함하고,
    상기 노이즈는 상기 차량의 윈드실드에 부착된 이물질이 촬상된 것이고,
    상기 노이즈 추출 단계는 상기 제2 카메라에서 촬상된 영상에서 화소값이 소정값을 넘는 좌표를 노이즈로 추출하며,
    상기 영상 보정 단계는 상기 노이즈 추출 단계에서 추출된 노이즈 좌표를 이용하여 상기 제1 카메라에서 촬상된 영상의 노이즈를 제거하고, 상기 제1 카메라에서 촬상된 영상에서 노이즈가 제거된 부분을 상기 노이즈가 제거된 부분의 신호 강도를 고려하여 대체함으로써 보정하는 것을 특징으로 하는 영상 보정 방법.
  12. 제 11항에 있어서,
    상기 제2 카메라는 차량의 윈드실드에 초점이 맞춰져 있는 것을 특징으로 하는 영상 보정 방법.
  13. 제 11항에 있어서,
    상기 제1 카메라 및 제2 카메라는 차량 내부에 구비되어 차량의 윈드실드를 통해 차량의 전방을 촬상하는 것을 특징으로 하는 영상 보정 방법.
  14. 제 11항에 있어서,
    상기 제1 카메라의 화소는 상기 제2 카메라의 화소보다 고 화소인 것을 특징으로 하는 영상 보정 방법.
  15. 제 11항에 있어서,
    상기 영상 변형 단계는 투영 변환 행렬을 이용하여 상기 제2 카메라에서 촬상된 영상의 시점을 상기 제1 카메라에서 촬상된 영상의 시점으로 변환하고, 시점이 변경된 상기 제2 카메라에서 촬상된 영상을 보간법(Interpolation)을 이용하여 상기 제1 카메라에서 촬상된 영상의 좌표와 일치되도록 변형하는 것을 특징으로 하는 영상 보정 방법.
  16. 제 15항에 있어서,
    상기 보간법(Interpolation)은 2중 선형 보간법(Bilinear Interpolation) 또는 3차 회선 보간법(Cubic Convolution Interpolation)인 것을 특징으로 하는 영상 보정 방법.
  17. 삭제
  18. 제 11항에 있어서,
    상기 노이즈 추출 단계는 케니 에지 디텍션(Canny Edge Detection) 또는 소벨 마스크(Sobel Mask) 방법에 의해 노이즈를 추출하는 것을 특징으로 하는 영상 보정 방법.
  19. 제 11항에 있어서,
    상기 영상 보정 단계는 상기 노이즈가 제거된 부분을 상기 노이즈가 제거된 부분의 신호 강도와 상기 제1 카메라에서 촬상된 영상의 같은 프레임에서 신호 강도의 유사성을 계산하여 대체함으로써 보정하는 것을 특징으로 하는 영상 보정 방법.
  20. 제 11항에 있어서,
    상기 영상 보정 단계는 상기 노이즈가 제거된 부분을 상기 노이즈가 제거된 부분의 신호 강도와 상기 제1 카메라에서 촬상된 영상의 다른 프레임에서 신호 강도의 유사성을 계산하여 대체함으로써 보정하는 것을 특징으로 하는 영상 보정 방법.
KR1020160022438A 2016-02-25 2016-02-25 영상 보정 장치 및 방법 KR101756350B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160022438A KR101756350B1 (ko) 2016-02-25 2016-02-25 영상 보정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160022438A KR101756350B1 (ko) 2016-02-25 2016-02-25 영상 보정 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101756350B1 true KR101756350B1 (ko) 2017-07-10

Family

ID=59355663

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160022438A KR101756350B1 (ko) 2016-02-25 2016-02-25 영상 보정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101756350B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100660561B1 (ko) * 2005-12-26 2006-12-22 (재)대구경북과학기술연구원 비전기반 지능형 스마트 와이퍼 시스템 및 그 제어방법
JP2010103810A (ja) * 2008-10-24 2010-05-06 Ricoh Co Ltd 車載用監視装置
JP2014528064A (ja) * 2011-09-07 2014-10-23 ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー 車両のフロントガラス上の雨滴を検出するための方法およびカメラアセンブリ
KR101481503B1 (ko) * 2013-11-20 2015-01-21 금오공과대학교 산학협력단 다중카메라를 이용한 시각방해대상 제거 시스템
KR101597163B1 (ko) * 2014-08-14 2016-02-24 아진산업(주) 스테레오 카메라 교정 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100660561B1 (ko) * 2005-12-26 2006-12-22 (재)대구경북과학기술연구원 비전기반 지능형 스마트 와이퍼 시스템 및 그 제어방법
JP2010103810A (ja) * 2008-10-24 2010-05-06 Ricoh Co Ltd 車載用監視装置
JP2014528064A (ja) * 2011-09-07 2014-10-23 ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー 車両のフロントガラス上の雨滴を検出するための方法およびカメラアセンブリ
KR101481503B1 (ko) * 2013-11-20 2015-01-21 금오공과대학교 산학협력단 다중카메라를 이용한 시각방해대상 제거 시스템
KR101597163B1 (ko) * 2014-08-14 2016-02-24 아진산업(주) 스테레오 카메라 교정 방법 및 장치

Similar Documents

Publication Publication Date Title
JP4437714B2 (ja) 車線認識画像処理装置
JP4622001B2 (ja) 道路区画線検出装置および道路区画線検出方法
US9336574B2 (en) Image super-resolution for dynamic rearview mirror
EP2924654A2 (en) Image processing apparatus and image processing method
EP3203725B1 (en) Vehicle-mounted image recognition device
WO2014084251A1 (ja) 車載画像処理装置
EP2669844A2 (en) Level Difference Recognition System Installed in Vehicle and Recognition Method executed by the Level Difference Recognition System
CN109429007B (zh) 图像处理装置以及拍摄装置
CN107950023B (zh) 车辆用显示装置以及车辆用显示方法
JP6569280B2 (ja) 路面標示検出装置及び路面標示検出方法
EP2770478B1 (en) Image processing unit, imaging device, and vehicle control system and program
JP6152261B2 (ja) 車載用駐車枠認識装置
JP5951785B2 (ja) 画像処理装置及び車両前方監視装置
US20120128211A1 (en) Distance calculation device for vehicle
EP2765532A2 (en) Object detection apparatus, program, and integrated circuit
US11323633B2 (en) Automated creation of a freeform mask for automotive cameras
KR101756350B1 (ko) 영상 보정 장치 및 방법
JP5541099B2 (ja) 道路区画線認識装置
WO2018146997A1 (ja) 立体物検出装置
JP2008042759A (ja) 画像処理装置
KR100880919B1 (ko) 멀티패턴마스크를 이용한 이동차량인식방법
JP5866238B2 (ja) 車外環境認識装置および車外環境認識方法
KR102371588B1 (ko) 영상기반 장애물 인식 시스템 및 방법
JP2009059132A (ja) 物体認識装置
JP5129094B2 (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant