KR102177878B1

KR102177878B1 - 영상 처리 장치 및 방법

Info

Publication number: KR102177878B1
Application number: KR1020190027565A
Authority: KR
Inventors: 윤여민
Original assignee: 현대모비스 주식회사
Priority date: 2019-03-11
Filing date: 2019-03-11
Publication date: 2020-11-12
Also published as: DE102020106598A8; CN111681159B; US11373282B2; KR20200108647A; DE102020106598A1; US20200294215A1; CN111681159A

Abstract

본 발명은 영상 처리 장치 및 방법에 관한 것이다.
본 발명의 일 실시 예에 따른 영상 처리 장치는, 복수의 카메라로부터 수신한 원영상을 탑뷰영상으로 변환하는 변환부와, 탑뷰영상으로부터 추출한 바닥면영상과, 원영상으로부터 추출한 벽면영상을 합성하여 SVM 영상을 생성하는 생성부와, 조정 조건에 따라 바닥면영상의 면적 및 벽면영상의 면적을 조정한 변형된 SVM 영상을 생성하여 디스플레이 신호로 처리하는 처리부를 포함한다.

Description

영상 처리 장치 및 방법{APPARATUS AND METHOD FOR PROCESSING IMAGE}

본 발명은 영상 처리 장치 및 방법에 관한 것이다.

3D SVM(surround view monitor)은 기존의 2D SVM의 영상을 바닥면에 사용하고 벽면영상을 합성하여 사용자에게 직관적이면서도 운전 중에 더 넓은 시야를 제공한다. 그러나 3D SVM은 기존의 2D SVM이 가지고 있는 단차 왜곡을 가지고 있어 바닥면과 단차가 있는 물체가 가까이 접근하게 되면 왜곡이 발생한다.

전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.

국내 공개특허공보 제2011-0126178호

본 발명은 전술한 문제점 및/또는 한계를 해결하기 위해 안출된 것으로, 일 측면에 따른 본 발명의 목적은 3D SVM에서 바닥면영상의 면적을 가변하여 단차가 있는 물체가 접근하여도 영상의 왜곡을 최소화 하는데 있다.

본 발명의 일 실시 예에 따른 영상 처리 장치는, 복수의 카메라로부터 수신한 원영상을 탑뷰영상으로 변환하는 변환부; 상기 탑뷰영상으로부터 추출한 바닥면영상과, 상기 원영상으로부터 추출한 벽면영상을 합성하여 SVM 영상을 생성하는 생성부; 및 조정 조건에 따라 상기 바닥면영상의 면적 및 상기 벽면영상의 면적을 조정한 변형된 SVM 영상을 생성하여 디스플레이 신호로 처리하는 처리부;를 포함할 수 있다.

상기 장치는, 복수의 카메라로부터 수신한 원영상의 왜곡을 보정하여 상기 변환부로 출력하는 왜곡 보정부;를 더 포함할 수 있다.

상기 장치는, 주변의 오브젝트 출현 여부를 감지하는 제1 감지부;를 더 포함하고, 상기 처리부는, 상기 오브젝트가 출현한 제1 조정 조건에 따라, 상기 바닥면영상의 면적을 기존보다 더 넓게 조정하고, 상기 벽면영상의 면적을 기존보다 더 좁게 조정한 변형된 SVM 영상을 생성하여 디스플레이 신호로 처리할 수 있다.

상기 처리부는, 상기 제1 감지부가 감지한 상기 오브젝트의 접근 거리에 따라, 상기 벽면영상의 기울기를 조정한 변형된 SVM 영상을 생성하여 디스플레이 신호로 처리할 수 있다.

상기 제1 감지부 및 상기 처리부는 차량이 주차 중인 경우에 동작할 수 있다.

상기 장치는, 스티어링휠의 조작을 감지하는 제2 감지부; 및 방향 지시기의 조작을 감지하는 제3 감지부;를 더 포함하고, 상기 처리부는, 상기 스티어링휠 또는 상기 방향 지시기가 조작된 제2 조정 조건에 따라, 상기 스티어링휠 또는 상기 방향 지시기의 조작 방향에 대응하는 전방에 대한 상기 바닥면영상의 면적을 기존보다 더 넓게 조정하고, 상기 벽면영상의 면적을 기존보다 더 좁게 조정한 변형된 SVM 영상을 생성하여 디스플레이 신호로 처리할 수 있다.

상기 제2 감지부와, 상기 제3 감지부와, 상기 처리부는 차량이 주행 중인 경우에 동작할 수 있다.

상기 장치는, 주변의 오브젝트 출현 여부를 감지하는 제1 감지부; 스티어링휠의 조작을 감지하는 제2 감지부; 및 방향 지시기의 조작을 감지하는 제3 감지부;를 더 포함하고, 상기 처리부는, 상기 스티어링휠 또는 상기 방향 지시기가 조작된 상태에서 상기 오브젝트가 출현한 제3 조정 조건에 따라, 상기 스티어링휠 또는 상기 방향 지시기의 조작 방향에 대응하는 전방에 대한 상기 바닥면영상의 면적을 기존보다 더 넓게 조정하고, 상기 벽면영상의 면적을 기존보다 더 좁게 조정하며, 상기 제1 감지부가 감지한 상기 오브젝트의 접근 거리에 따라 상기 벽면영상의 기울기를 조정한 변형된 SVM 영상을 생성하여 디스플레이 신호로 처리할 수 있다.

상기 제1 감지부 내지 상기 제3 감지부와, 상기 처리부는 차량이 주차중인 경우 및 주행 중인 경우에 동작할 수 있다.

본 발명의 일 실시 예에 따른 영상 처리 방법은, 변환부에 의해, 복수의 카메라로부터 수신한 원영상을 탑뷰영상으로 변환하는 단계; 생성부에 의해, 상기 탑뷰영상으로부터 추출한 바닥면영상과, 상기 원영상으로부터 추출한 벽면영상을 합성하여 SVM 영상을 생성하는 단계; 및 처리부에 의해, 조정 조건에 따라 상기 바닥면영상의 면적 및 상기 벽면영상의 면적을 조정한 변형된 SVM 영상을 생성하여 디스플레이 신호로 처리하는 단계;를 포함할 수 있다.

상기 방법은, 왜곡 보정부에 의해, 복수의 카메라로부터 수신한 원영상의 왜곡을 보정하여 상기 변환부로 출력하는 단계;를 더 포함할 수 있다.

상기 방법은, 제1 감지부에 의해, 주변의 오브젝트 출현 여부를 감지하는 단계;를 더 포함하고, 상기 처리하는 단계는, 상기 오브젝트가 출현한 제1 조정 조건에 따라, 상기 바닥면영상의 면적을 기존보다 더 넓게 조정하고, 상기 벽면영상의 면적을 기존보다 더 좁게 조정한 변형된 SVM 영상을 생성하여 디스플레이 신호로 처리하는 단계;를 포할 수 있다.

상기 처리하는 단계는, 상기 제1 감지부가 감지한 상기 오브젝트의 접근 거리에 따라, 상기 벽면영상의 기울기를 조정한 변형된 SVM 영상을 생성하여 디스플레이 신호로 처리하는 단계;를 더 포함할 수 있다.

상기 방법은, 제2 감지부에 의해, 스티어링휠의 조작을 감지하는 단계; 및 제3 감지부에 의해, 방향 지시기의 조작을 감지하는 단계;를 더 포함하고, 상기 처리하는 단계는, 상기 스티어링휠 또는 상기 방향 지시기가 조작된 제2 조정 조건에 따라, 상기 스티어링휠 또는 상기 방향 지시기의 조작 방향에 대응하는 전방에 대한 상기 바닥면영상의 면적을 기존보다 더 넓게 조정하고, 상기 벽면영상의 면적을 기존보다 더 좁게 조정한 변형된 SVM 영상을 생성하여 디스플레이 신호로 처리하는 단계;를 포함할 수 있다.

상기 방법은, 제1 감지부에 의해, 주변의 오브젝트 출현 여부를 감지하는 단계; 제2 감지부에 의해, 스티어링휠의 조작을 감지하는 단계; 및 제3 감지부에 의해, 방향 지시기의 조작을 감지하는 단계;를 더 포함하고, 상기 처리하는 단계는, 상기 스티어링휠 또는 상기 방향 지시기가 조작된 상태에서 상기 오브젝트가 출현한 제3 조정 조건에 따라, 상기 스티어링휠 또는 상기 방향 지시기의 조작 방향에 대응하는 전방에 대한 상기 바닥면영상의 면적을 기존보다 더 넓게 조정하고, 상기 벽면영상의 면적을 기존보다 더 좁게 조정하며, 상기 제1 감지부가 감지한 상기 오브젝트의 접근 거리에 따라 상기 벽면영상의 기울기를 조정한 변형된 SVM 영상을 생성하여 디스플레이 신호로 처리하는 단계;를 포함할 수 있다.

상기 제1 감지부 내지 상기 제3 감지부와, 상기 처리부는 차량이 주차중인 경우 및 주행 중인 경우에 동작하는, 영상 처리 방법.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램이 더 제공될 수 있다.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.

실시 예들에 따르면, 3D SVM에서 바닥면영상의 면적을 가변하여 단차가 있는 물체가 접근하여도 영상의 왜곡을 최소화 할 수 있다.

본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시 예에 따른 영상 처리 장치를 개략적으로 설명하기 위하여 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 영상 왜곡을 보정하기 위한 영상 처리를 개략적으로 설명하기 위하여 도시한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 입체감을 살리기 위한 영상 처리를 개략적으로 설명하기 위하여 도시한 도면이다.
도 4 내지 도 7은 본 발명의 일 실시 예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 일 실시 예에 따른 영상 처리 장치를 개략적으로 설명하기 위하여 도시한 도면이다. 도 1을 참조하면, 영상 처리 장치(1)는 카메라(100), 제1 감지부(200), 제2 감지부(300), 제3 감지부(400), 프로세서(500) 및 디스플레이부(600)를 포함할 수 있다.

카메라(100)는 차량 주변의 영상을 촬영하여 프로세서(500)로 전송할 수 있다. 여기서 카메라(100)가 촬영하여 프로세서(500)로 전송하는 하는 영상을 원영상이라 할 수 있다. 본 실시 예에서 카메라(100)는 제1 카메라(110) 내지 제4 카메라(140)를 포함할 수 있으며, 차량의 전/후/좌/우 측에 각각 배치되어 차량의 주변 영상을 촬영할 수 있다.

이러한 후방 카메라(100)는 예컨대 COMS(complementary metal-oxide semiconductor) 모듈 또는 CCD(charge coupled device) 모듈 등을 이용하여 촬영영역 내의 피사체를 촬영할 수 있으며, 입력되는 영상 프레임(또는 동영상)는 렌즈를 통해 COMS 모듈 또는 CCD 모듈로 제공되고, COMS 모듈 또는 CCD 모듈은 렌즈를 통과한 피사체의 광 신호를 전기적 신호(촬영 신호)로 변환하여 출력할 수 있다.

본 실시 예에서 카메라(100)는 광각 카메라를 포함할 수 있다. 여기서 광각 카메라란, 통상의 카메라보다 광시야각의 촬상이 가능한 카메라이며 예를 들면 35 mm환산으로 초점 거리가 35 mm이하, 특히 28 mm이하의 광각 렌즈나 어안 렌즈를 구비할 수 있다. 또한 광각 카메라는 시야각이 120도 이상, 특히 150도 이상의 촬상이 가능한 카메라도 포함할 수 있다.

이러한 카메라(100)는 영상 처리부(미도시)를 더 포함할 수 있다. 영상 처리부 영상 프레임에 대하여 노이즈를 저감하고, 감마 보정(gamma correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 영상 신호 처리를 수행할 수 있다. 또한, 영상 처리부는 기능적으로 색채 처리, 블러 처리, 에지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 수행할 수 있다. 영상 인식 처리로 얼굴 인식, 장면 인식 처리 등을 행할 수 있다. 예를 들어, 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 등 생성 및 영상의 합성 처리 등을 수행할 수 있다. 이러한 영상 처리부는 카메라(100)에 구비되거나, 프로세서(500)에 구비되거나, 별도의 장치로 구비될 수 있다.

제1 감지부(200)는 차량으로 접근하거나 차량의 주변에 존재하는 오브젝트를 감지하고, 차량으로 접근하는 오브젝트와의 거리를 측정하여 프로세서(500)로 전송할 수 있다. 이러한 제1 감지부(200)는 초음파 센서, 적외선 센서, 라이다 센서, 레이더 센서, 레이저 센서 등을 포함할 수 있다. 한편, 본 실시 예를 설명함에 있어서, 제1 감지부(200)는 후방 측면에 한 개씩, 양 측면에 존재하는 것으로 설명하지만 이에 한하지 않으며, 오브젝트의 감지 능력을 향상시키기 위해 다수 개가 존재할 수도 있다.

제2 감지부(300)는 스티어링휠의 조작을 감지하여 프로세서(500)로 전송할 수 있다. 스티어링휠은 차량의 바퀴를 좌우로 움직여 진행 방향을 변경하는데 사용하는 조향 장치로서, 조작에 의해 진행 방향을 왼쪽 방향 또는 오른쪽 방향으로 변경할 수 있다.

제3 감지부(400)는 방향 지시기의 조작을 감지하여 프로세서(500)로 출력할 수 있다. 방향 지시기는 차량의 좌우 회전 진행 방향을 다른 차에 알리기 위해 운전자에 의해 입력될 수 있다.

본 실시 예에서 차량으로 접근하거나 차량의 주변에 존재하는 오브젝트를 감지하고, 차량으로 접근하는 오브젝트와의 거리를 측정하는 제1 감지부(100)와, 스티어링휠의 조작을 감지하는 제2 감지부(300) 및 방향 지시기의 조작을 감지하는 제3 감지부(400)로 한정하고 있으나, 이에 국한되지 않고 차량 주변의 상황이나 차량의 상태를 판단할 수 있는 다른 감지부 또는 이에 대응하는 구성요소가 더 구비되어 프로세서(500)로 출력할 수 있다.

프로세서(500)는 제어부(530)의 제어 하에, 카메라(100)로부터 수신한 원영상을 신호 처리하여 SVM 영상을 생성하고, 제1 감지부(200) 내지 제3 감지부(400)로부터 수신한 감지 신호로 조정 조건을 판단하여, 감지 신호가 조정 조건을 만족하는 경우 변형된 SVM 신호를 생성하여 디스플레이부(600)로 출력할 수 있다. 선택적 실시 예로, 프로세서(500)는 3D SVM 영상을 더 정교하게 표현하기 위해 V2X(vehicle to everything) 통신을 가능하게 하는 통신장치(미도시)와 연계할 수 있으며, V2X 기술을 사용하여 실시간으로 공사 지역, 도로 상황, 교통 상황 등이 디스플레이부(600)에 디스플레이 되도록 처리할 수 있으며, V2X 기술을 이용하여 다른 장치에서도 3D SVM 영상을 조작하거나 볼 수 있다.

본 실시 예에서, 프로세서(500)는 영상 처리부(510), LUT(520) 및 제어부(530)를 포함할 수 있고, 영상 처리부(510)는 왜곡 보정부(511), 변환부(512), 생성부(513), 판단부(514) 및 처리부(515)를 포함할 수 있다.

왜곡 보정부(511)는 제어부(530)의 제어 하에, 카메라(100)로부터 수신한 원영상의 왜곡을 보정할 수 있다. 본 실시 예에서 카메라(100)는 광각 카메라를 포함할 수 있고, 광각 카메라는 촬영되는 영상이 둥근 모양으로 전체적으로 왜곡이 존재하기 때문에 왜곡 보정부(511)는 왜곡을 보정할 수 있다.

변환부(512)는 제어부(530)의 제어 하에, 왜곡 보정부(511)에서 출력된 왜곡이 보정된 영상을 탑뷰영상으로 변환할 수 있다. 여기서 탑뷰영상이란, 차량의 위에서 아래를 내려다 보는 시점의 영상으로, 차량의 운전자는 탑뷰영상을 통하여 차량과 차량의 주변까지 볼 수 있다. 그러나 도 2a는 탑뷰영상의 일 실시 예를 도시하고 있고, 단차가 있는 오브젝트(점선 표시 부분)가 차량으로 접근 시에 오브젝트를 알아 볼 수 없을 정도의 심한 왜곡이 발생하고 있음을 알 수 있다. 이에 본 실시 예에서는 이러한 단차가 있는 오브젝트가 접근하여도 영상의 왜곡을 최소화 할 수 내용을 제시하기로 한다.

생성부(513)는 제어부(530)의 제어 하에, 변환부(512)에서 변환한 탑뷰영상으로부터 바닥면영상을 추출하고, 카메라(100)가 촬영한 원영상으로부터 벽면영상을 추출한 후, 바닥면영상과 벽면영상을 합성하여 SVM 영상을 생성할 수 있다. 생성부(513)는 바닥면영상과 벽면영상을 합성할 때, LUT(520)에 저장된 좌표 정보를 이용할 수 있다. 여기서, LUT(520)에는 탑뷰영상에 포함된 픽셀 각각의 좌표가 원영상의 어디(좌표)에서 왔는지 저장해 놓은 테이블로서, 바닥면영상과 벽면영상을 합성할 때 LUT(520)를 이용한 매칭을 통해 자연스러운 SVM 영상을 생성할 수 있다. 본 실시 예에서 LUT(520)의 구비는 선택적인 사항으로, 바닥면영상과 벽면영상을 합성할 때, LUT(520)에 저장된 좌표 정보를 이용하거나, 또는 실시간으로 계산된 좌표 정보를 이용할 수 있다.

판단부(514)는 제어부(530)의 제어 하에, 변형된 SVM 영상을 생성하기 위한 조정 조건을 판단할 수 있다. 본 실시 예에서 판단부(514)는 제1 조정 조건 내지 제3 조정 조건을 판단할 수 있다. 제1 조정 조건은 제1 감지부(200)로부터 차량 주변에 오브젝트가 출현한 경우에 발생할 수 있으며, 제1 조정 조건은 차량 주차 시에 발생할 수 있다. 제2 조정 조건은 제2 감지부(300)로부터 스티어링휠 조작이 감지되거나, 제3 감지부(400)로부터 방향 지시기 조작이 감지된 경우에 발생할 수 있으며, 제2 조정 조건은 차량 주행 중에 발생할 수 있다. 제3 조정 조건은 제2 감지부(300)로부터 스티어링휠 조작이 감지되거나, 제3 감지부(400)로부터 방향 지시기 조작이 감지된 상태에서, 제1 감지부(200)로부터 차량 주변에 오브젝트가 출현한 경우에 발생할 수 있으며, 제3 조정 조건은 제1 조정 조건 및 제2 조정 조건을 모두 포함하는 통합형 조건일 수 있다.

처리부(515)는 제어부(530)의 제어 하에, 판단부(514)가 판단한 조정 조건에 따라 바닥면영상의 면적 및 벽면영상의 면적을 조정한 변형된 SVM 영상을 생성하여 디스플레이 신호로 처리할 수 있다.

처리부(515)는 오브젝트가 출현한 제1 조정 조건에 따라, 생성부(513)가 생성한 바닥면영상의 면적을 기존보다 더 넓게 조정하고, 벽면영상의 면적을 기존보다 더 좁게 조정한 변형된 SVM 영상을 생성하여 디스플레이 신호로 처리할 수 있다. 여기서 바닥면영상의 면적 및 벽면영상의 면적에 대한 조정 범위는 미리 설정되어 있어서 처리부(515)는 설정된 조정 범위에 따라 바닥면영상의 면적 및 벽면영상의 면적을 조정할 수 있다. 도 2b는 오브젝트 출현 전 바닥면영상 및 벽면영상을 도시하고 있고, 도 2c는 오브젝트 출현 후 바닥면영상 및 벽면영상을 도시하고 있으며, 도 2c의 경우 도 2b보다 바닥면영상의 면적이 더 증가하고, 벽면영상의 면적이 더 감소하였음을 알 수 있다. 상술한 바와 같이 바닥면영상은 탑뷰영상에서 추출되고, 벽면영상을 원영상으로부터 추출되며, LUT(520)에 의해 서로 매칭되어 자연스러운 SVM 영상으로 합성되어 SVM 영상의 왜곡을 최소화 할 수 있다.

선택적 실시 예로, 제1 조정 조건에는 제1 감지부(200)가 감지한 오브젝트의 접근 거리를 더 포함할 수 있다. 이에 처리부(515)는 오브젝트의 접근 거리에 따라 벽면영상의 기울기를 조정한 변형된 SVM 영상을 생성하여 디스플레이 신호로 처리할 수 있다. 여기서, 오브젝트의 접근 거리에 따라 벽면영상의 기울기가 미리 설정되어 있을 수 있다. 예를 들어, 오브젝트에서 차량까지의 기준거리(예를 들어 10m)가 정해진 상태에서 1m씩 접근할 때마다 벽면영상의 기울기를 5도씩 증가시키고, 1m씩 멀어질 때마다 벽면영상의 기울기를 5도씩 감소시킬 수 있으며, 오브젝트가 차량으로부터 10m 이상 멀어지게 되면 벽면영상의 면적 및 기울기를 초기 상태로 변경할 수 있다.

처리부(515)는 스티어링휠 또는 방향 지시기가 조작된 제2 조정 조건에 따라, 스티어링휠 또는 방향 지시기의 조작 방향에 대응하는 전방에 대한 바닥면영상의 면적을 기존보다 더 넓게 조정하고, 벽면영상의 면적을 기존보다 더 좁게 조정한 변형된 SVM 영상을 생성하여 디스플레이 신호로 처리할 수 있다. 처리부(515)는 스티어링휠 또는 방향 지시기의 오른쪽(또는 왼쪽) 방향에 대응하는 전방에 대한 오른쪽(또는 왼쪽) 바닥면영상의 면적을 기존보다 더 넓게 조정하고, 오른쪽(또는 왼쪽) 벽면영상의 면적을 기존보다 더 좁게 조정한 변형된 SVM 영상을 생성하여 디스플레이 신호로 처리할 수 있다. 제2 조정 조건이 해제되면, 즉 스티어링휠이 정면을 향해 조작되거나, 방향 지시기가 조작이 멈춘 경우에는 바닥면영상의 면적 및 벽면영상의 면적을 초기 상태로 변경할 수 있다. 도 3은 오브젝트의 접근 거리에 따라 벽면영상의 기울기 조정을 도시하고 있으며, 오브젝트가 차량에 접근할수록 벽면영상의 기울기가 증가하고, 오브젝트가 차량으로부터 멀어질 수록 벽면영상의 기울기가 감소하여, 입체적인 영상을 제공할 수 있다.

처리부(515)는 스티어링휠 또는 방향 지시기가 조작된 상태에서 오브젝트가 출현한 제3 조정 조건에 따라, 스티어링휠 또는 방향 지시기의 조작 방향에 대응하는 전방에 대한 바닥면영상의 면적을 기존보다 더 넓게 조정하고, 벽면영상의 면적을 기존보다 더 좁게 조정하며, 제1 감지부(200)가 감지한 오브젝트의 접근 거리에 따라 벽면영상의 기울기를 조정한 변형된 SVM 영상을 생성할 수 있다.

도 4는 본 발명의 일 실시 예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다. 이하의 설명에서 도 1 내지 도 3에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.

도 4를 참조하면, S100단계에서, 프로세서(500)는 복수의 카메라(100) 즉, 제1 카메라(110) 내지 제4 카메라(140)로부터 차량 주변을 촬영한 원영상을 수신한다. 여기서 카메라(100)는 광각 카메라를 포함할 수 있다.

S200단계에서, 프로세서(500)는 카메라(100)로부터 수신한 원영상의 왜곡을 보정한다. 광각 카메라는 촬영되는 영상이 둥근 모양으로 전체적으로 왜곡이 존재하기 때문에 왜곡 보정부(511)는 왜곡을 보정할 수 있다.

S300단계에서, 프로세서(500)는 왜곡이 보정된 영상을 탑뷰영상으로 변환한다.

S400단계에서, 프로세서(500)는 탑뷰영상으로부터 바닥면영상을 추출하고, 카메라(100)가 촬영한 원영상으로부터 벽면영상을 추출한 후, 바닥면영상과 벽면영상을 합성하여 SVM 영상을 생성한다. 프로세서(500)는 바닥면영상과 벽면영상을 합성할 때, LUT(520)에 저장된 좌표 정보를 이용할 수 있다. 여기서, LUT(520)에는 탑뷰영상에 포함된 픽셀 각각의 좌표가 원영상의 어디(좌표)에서 왔는지 저장해 놓은 테이블로서, 바닥면영상과 벽면영상을 합성할 때 LUT(520)를 이용한 매칭을 통해 자연스러운 SVM 영상을 생성할 수 있다.

S500단계에서, 프로세서(500)는 조정 조건에 따라 바닥면영상의 면적 및 벽면영상의 면적을 조정한 변형된 SVM 영상을 생성하여 디스플레이 신호로 처리하여 디스플레이부(600)에 출력할 수 있다. 이로써 운전자는 왜곡이 최소화된 SVM 영상을 볼 수 있다.

도 5는 도 4 중 일 실시 예에 따른 변형된 SVM 영상을 생성하는 방법을 설명하기 위한 흐름도이다. 이하의 설명에서 도 1 내지 도 4에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다. 도 5에 도시된 변형된 SVM 영상을 생성하는 방법은 차량의 주차 시에 활성화 되어 동작할 수 있다.

도 5를 참조하면, S511단계에서, 프로세서(500)는 차량 주변에 오브젝트가 출현하였는지 판단한다. 프로세서(500)는 제1 감지부(200)로부터 수신되는 감지 신호에 의해 오브젝트 출현 여부를 판단할 수 있다.

S512단계에서, 프로세서(500)는 차량 주변에 오브젝트가 출현한 경우 제1 조정 조건을 만족한다고 판단한다.

S513단계에서, 프로세서(500)는 오브젝트가 출현한 제1 조정 조건에 따라, 바닥면영상의 면적을 기존보다 더 넓게 조정하고, 벽면영상의 면적을 기존보다 더 좁게 조정한 변형된 SVM 영상을 생성하여 디스플레이 신호로 처리한 후 디스플레이부(600)에 출력한다.

S514단계에서, 프로세서(500)는 제1 감지부(200)로부터의 신호에 의해 오브젝트가 접근하는지 판단한다.

S515단계에서, 오브젝트가 접근하는 경우 프로세서(500)는 벽면영상의 기울기를 증가시킨 변형된 SVM 영상을 생성하여 디스플레이 신호로 처리한 후 디스플레이부(600)에 출력한다.

S516단계에서, 오브젝트가 멀어지는 경우 프로세서(500)는 벽면영상의 기울기를 감소시킨 변형된 SVM 영상을 생성하여 디스플레이 신호로 처리한 후 디스플레이부(600)에 출력한다.

S517단계에서, 프로세서(500)는 오브젝트가 기준 거리 이상 멀어졌는지 판단한다.

S518단계에서, 오브젝트가 기준 거리 이상 멀어진 경우, 프로세서(500)는 제1 조정 조건 해제를 판단하고, 바닥면영상의 면적과, 벽면영상의 면적 및 기울기를 초기 상태로 변경한다.

도 6은 도 4 중 다른 실시 예에 따른 변형된 SVM 영상을 생성하는 방법을 설명하기 위한 흐름도이다. 이하의 설명에서 도 1 내지 도 5에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다. 도 6에 도시된 변형된 SVM 영상을 생성하는 방법은 차량의 주행 시에 활성화 되어 동작할 수 있다.

도 6을 참조하면, S521단계에서, 프로세서(500)는 스티어링휠 또는 방향 지시기의 조작이 감지되었는지 판단한다. 프로세서(500)는 제2 감지부(300) 또는 제3 감지부(400)로부터 수신되는 감지 신호에 의해 스티어링휠 또는 방향 지시기의 조작을 감지할 수 있다.

S522단계에서, 프로세서(500)는 스티어링휠 또는 방향 지시기의 조작이 감지된 경우 제2 조정 조건을 만족한다고 판단한다.

S523단계에서, 프로세서(500)는 스티어링휠 또는 방향 지시기의 조작 방향이 오른쪽인지 판단한다.

S524단계에서, 스티어링휠 또는 방향 지시기의 조작 방향이 오른쪽인 경우, 프로세서(500)는 스티어링휠 또는 방향 지시기의 오른쪽 방향에 대응하는 전방에 대한 오른쪽 바닥면영상의 면적을 기존보다 더 넓게 조정하고, 오른쪽 벽면영상의 면적을 기존보다 더 좁게 조정한 변형된 SVM 영상을 생성하여 디스플레이 신호로 처리한 후 디스플레이부(600)에 출력한다.

S525단계에서, 스티어링휠 또는 방향 지시기의 조작 방향이 왼쪽인 경우, 프로세서(500)는 스티어링휠 또는 방향 지시기의 왼쪽 방향에 대응하는 전방에 대한 왼쪽 바닥면영상의 면적을 기존보다 더 넓게 조정하고, 왼쪽 벽면영상의 면적을 기존보다 더 좁게 조정한 변형된 SVM 영상을 생성하여 디스플레이 신호로 처리한 후 디스플레이부(600)에 출력한다.

S526단계에서, 프로세서(500)는 제2 조정 조건이 해제 되었는지 판단한다. 프로세서(500)는 스티어링휠이 정면을 향해 조작되거나 방향 지시기 조작이 멈춘 경우, 제2 조정 조건이 해제되었다고 판단할 수 있다.

S527단계에서, 제2 조정 조건이 해제된 경우, 바닥면영상의 면적과, 벽면영상의 면적을 초기 상태로 변경한다.

도 7은 도 4 중 또 다른 실시 예에 따른 변형된 SVM 영상을 생성하는 방법을 설명하기 위한 흐름도이다. 이하의 설명에서 도 1 내지 도 6에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다. 도 7에 도시된 변형된 SVM 영상을 생성하는 방법은 차량의 주차 및 주행을 나타내는 통합형으로 동작할 수 있다.

도 7을 참조하면, S531단계에서, 프로세서(500)는 스티어링휠 또는 방향 지시기의 조작이 감지되었는지 판단한다. 프로세서(500)는 제2 감지부(300) 또는 제3 감지부(400)로부터 수신되는 감지 신호에 의해 스티어링휠 또는 방향 지시기의 조작을 감지할 수 있다.

S532단계에서, 프로세서(500)는 스티어링휠 또는 방향 지시기의 조작 방향이 오른쪽인지 판단한다.

S533단계에서, 스티어링휠 또는 방향 지시기의 조작 방향이 오른쪽인 경우, 프로세서(500)는 스티어링휠 또는 방향 지시기의 오른쪽 방향에 대응하는 전방에 대한 오른쪽 바닥면영상의 면적을 기존보다 더 넓게 조정하고, 오른쪽 벽면영상의 면적을 기존보다 더 좁게 조정한 변형된 SVM 영상을 생성하여 디스플레이 신호로 처리한 후 디스플레이부(600)에 출력한다.

S534단계에서, 스티어링휠 또는 방향 지시기의 조작 방향이 왼쪽인 경우, 프로세서(500)는 스티어링휠 또는 방향 지시기의 왼쪽 방향에 대응하는 전방에 대한 왼쪽 바닥면영상의 면적을 기존보다 더 넓게 조정하고, 왼쪽 벽면영상의 면적을 기존보다 더 좁게 조정한 변형된 SVM 영상을 생성하여 디스플레이 신호로 처리한 후 디스플레이부(600)에 출력한다.

S535단계에서, 프로세서(500)는 차량 주변에 오브젝트가 출현하여 접근하는지 판단한다. 프로세서(500)는 제1 감지부(200)로부터 수신되는 감지 신호에 의해 오브젝트 출현 여부 및 접근 여부를 판단할 수 있다.

S536단계에서, 오브젝트가 접근하는 경우 프로세서(500)는 벽면영상의 기울기를 증가시킨 변형된 SVM 영상을 생성하여 디스플레이 신호로 처리한 후 디스플레이부(600)에 출력한다.

S537단계에서, 오브젝트가 멀어지는 경우 프로세서(500)는 벽면영상의 기울기를 감소시킨 변형된 SVM 영상을 생성하여 디스플레이 신호로 처리한 후 디스플레이부(600)에 출력한다.

S538단계에서, 프로세서(500)는 스티어링휠이 정면을 향해 조작되거나 방향 지시기 조작이 멈추고, 오브젝트가 기준 거리 이상 멀어진 경우, 제3 조정 조건 해제를 판단하고, 바닥면영상의 면적과, 벽면영상의 면적 및 기울기를 초기 상태로 변경한다.

이상 설명된 본 발명에 따른 실시 예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.

한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.

본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.

본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

1: 영상 처리 장치
100: 카메라
200: 제1 감지부
300: 제2 감지부
400: 제3 감지부
500: 프로세서
600: 디스플레이부

Claims

복수의 카메라로부터 수신한 원영상을 탑뷰영상으로 변환하는 변환부;
상기 탑뷰영상으로부터 추출한 바닥면영상과, 상기 원영상으로부터 추출한 벽면영상을 합성하여 SVM 영상을 생성하는 생성부; 및
조정 조건에 따라 상기 바닥면영상의 면적 및 상기 벽면영상의 면적을 조정한 변형된 SVM 영상을 생성하여 디스플레이 신호로 처리하는 처리부;를 포함하는, 영상 처리 장치.
제 1항에 있어서, 복수의 카메라로부터 수신한 원영상의 왜곡을 보정하여 상기 변환부로 출력하는 왜곡 보정부;를 더 포함하는, 영상 처리 장치.
제 1항에 있어서,
주변의 오브젝트 출현 여부를 감지하는 제1 감지부;를 더 포함하고,
상기 처리부는,
상기 오브젝트가 출현한 제1 조정 조건에 따라, 상기 바닥면영상의 면적을 기존보다 더 넓게 조정하고, 상기 벽면영상의 면적을 기존보다 더 좁게 조정한 변형된 SVM 영상을 생성하여 디스플레이 신호로 처리하는, 영상 처리 장치.
제 3항에 있어서, 상기 처리부는,
상기 제1 감지부가 감지한 상기 오브젝트의 접근 거리에 따라, 상기 벽면영상의 기울기를 조정한 변형된 SVM 영상을 생성하여 디스플레이 신호로 처리하는, 영상 처리 장치.
제 3항 또는 제4항에 있어서,
상기 제1 감지부 및 상기 처리부는 차량이 주차 중인 경우에 동작하는, 영상 처리 장치.
제 1항에 있어서,
스티어링휠의 조작을 감지하는 제2 감지부; 및
방향 지시기의 조작을 감지하는 제3 감지부;를 더 포함하고,
상기 처리부는,
상기 스티어링휠 또는 상기 방향 지시기가 조작된 제2 조정 조건에 따라, 상기 스티어링휠 또는 상기 방향 지시기의 조작 방향에 대응하는 전방에 대한 상기 바닥면영상의 면적을 기존보다 더 넓게 조정하고, 상기 벽면영상의 면적을 기존보다 더 좁게 조정한 변형된 SVM 영상을 생성하여 디스플레이 신호로 처리하는, 영상 처리 장치.
제 6항에 있어서,
상기 제2 감지부와, 상기 제3 감지부와, 상기 처리부는 차량이 주행 중인 경우에 동작하는, 영상 처리 장치.
제 1항에 있어서,
주변의 오브젝트 출현 여부를 감지하는 제1 감지부;
스티어링휠의 조작을 감지하는 제2 감지부; 및
방향 지시기의 조작을 감지하는 제3 감지부;를 더 포함하고,
상기 처리부는,
상기 스티어링휠 또는 상기 방향 지시기가 조작된 상태에서 상기 오브젝트가 출현한 제3 조정 조건에 따라, 상기 스티어링휠 또는 상기 방향 지시기의 조작 방향에 대응하는 전방에 대한 상기 바닥면영상의 면적을 기존보다 더 넓게 조정하고, 상기 벽면영상의 면적을 기존보다 더 좁게 조정하며, 상기 제1 감지부가 감지한 상기 오브젝트의 접근 거리에 따라 상기 벽면영상의 기울기를 조정한 변형된 SVM 영상을 생성하여 디스플레이 신호로 처리하는, 영상 처리 장치.
제 8항에 있어서,
상기 제1 감지부 내지 상기 제3 감지부와, 상기 처리부는 차량이 주차중인 경우 및 주행 중인 경우에 동작하는, 영상 처리 장치.
변환부에 의해, 복수의 카메라로부터 수신한 원영상을 탑뷰영상으로 변환하는 단계;
생성부에 의해, 상기 탑뷰영상으로부터 추출한 바닥면영상과, 상기 원영상으로부터 추출한 벽면영상을 합성하여 SVM 영상을 생성하는 단계; 및
처리부에 의해, 조정 조건에 따라 상기 바닥면영상의 면적 및 상기 벽면영상의 면적을 조정한 변형된 SVM 영상을 생성하여 디스플레이 신호로 처리하는 단계;를 포함하는, 영상 처리 방법.
제 10항에 있어서,
왜곡 보정부에 의해, 복수의 카메라로부터 수신한 원영상의 왜곡을 보정하여 상기 변환부로 출력하는 단계;를 더 포함하는, 영상 처리 방법.
제 10항에 있어서,
제1 감지부에 의해, 주변의 오브젝트 출현 여부를 감지하는 단계;를 더 포함하고,
상기 처리하는 단계는,
상기 오브젝트가 출현한 제1 조정 조건에 따라, 상기 바닥면영상의 면적을 기존보다 더 넓게 조정하고, 상기 벽면영상의 면적을 기존보다 더 좁게 조정한 변형된 SVM 영상을 생성하여 디스플레이 신호로 처리하는 단계;를 포함하는, 영상 처리 방법.
제 12항에 있어서, 상기 처리하는 단계는,
상기 제1 감지부가 감지한 상기 오브젝트의 접근 거리에 따라, 상기 벽면영상의 기울기를 조정한 변형된 SVM 영상을 생성하여 디스플레이 신호로 처리하는 단계;를 더 포함하는, 영상 처리 방법.
제 12항 또는 제13항에 있어서,
상기 제1 감지부 및 상기 처리부는 차량이 주차 중인 경우에 동작하는, 영상 처리 방법.
제 10항에 있어서,
제2 감지부에 의해, 스티어링휠의 조작을 감지하는 단계; 및
제3 감지부에 의해, 방향 지시기의 조작을 감지하는 단계;를 더 포함하고,
상기 처리하는 단계는,
상기 스티어링휠 또는 상기 방향 지시기가 조작된 제2 조정 조건에 따라, 상기 스티어링휠 또는 상기 방향 지시기의 조작 방향에 대응하는 전방에 대한 상기 바닥면영상의 면적을 기존보다 더 넓게 조정하고, 상기 벽면영상의 면적을 기존보다 더 좁게 조정한 변형된 SVM 영상을 생성하여 디스플레이 신호로 처리하는 단계;를 포함하는, 영상 처리 방법.
제 15항에 있어서,
상기 제2 감지부와, 상기 제3 감지부와, 상기 처리부는 차량이 주행 중인 경우에 동작하는, 영상 처리 방법.
제 10항에 있어서,
제1 감지부에 의해, 주변의 오브젝트 출현 여부를 감지하는 단계;
제2 감지부에 의해, 스티어링휠의 조작을 감지하는 단계; 및
제3 감지부에 의해, 방향 지시기의 조작을 감지하는 단계;를 더 포함하고,
상기 처리하는 단계는,
상기 스티어링휠 또는 상기 방향 지시기가 조작된 상태에서 상기 오브젝트가 출현한 제3 조정 조건에 따라, 상기 스티어링휠 또는 상기 방향 지시기의 조작 방향에 대응하는 전방에 대한 상기 바닥면영상의 면적을 기존보다 더 넓게 조정하고, 상기 벽면영상의 면적을 기존보다 더 좁게 조정하며, 상기 제1 감지부가 감지한 상기 오브젝트의 접근 거리에 따라 상기 벽면영상의 기울기를 조정한 변형된 SVM 영상을 생성하여 디스플레이 신호로 처리하는 단계;를 포함하는, 영상 처리 방법.
제 17항에 있어서,
상기 제1 감지부 내지 상기 제3 감지부와, 상기 처리부는 차량이 주차중인 경우 및 주행 중인 경우에 동작하는, 영상 처리 방법.