KR20180028353A - 다중 뷰 모드에서의 영상 디스플레이 방법 - Google Patents

Abstract

다중 뷰 모드에서의 영상 디스플레이 방법이 개시된다. 본 실시예에 따른 방법은 복수의 출력 모드들 중 희망 출력 모드에서 출력되도록 변환된 타겟 영상을 이용하여, 영상 획득부의 광 노출 시간을 조정하는 단계 및 조정에 따라 획득된 타겟 영상을 디스플레이 하는 단계를 포함한다. 따라서, 본 발명에 따르면, 특정 뷰 모드에 적합하도록 보정된 영상을 사용자에게 제공할 수 있다.

Description

다중 뷰 모드에서의 영상 디스플레이 방법{METHOD FOR DISPLAYING IMAGE IN MULTIPLE VIEW MODES}

본 발명은 다중 뷰 모드에서의 영상 디스플레이 방법에 관한 것으로, 더욱 상세하게는 하나의 영상 획득부에 의해 획득된 영상을 다중 뷰 모드에서 디스플레이 하는 방법에 관한 것이다.

자동차 및 교통량의 증가로 인하여 교통사고 급증이 사회 문제화 되면서 사고를 미연에 방지할 수 있는 운전자 보조 시스템에 대한 연구가 활발하게 이루어지고 있다. 운전자 보조 시스템은 운전자의 안전한 운전을 위해 주행 또는 주차 중에 운전자에게 도움을 주는 시스템이다.

운전자 보조 시스템은 운전자가 운전석에 앉은 상태에서 차량 외부의 상황을 파악할 수 있도록 영상 정보를 제공하는 장치를 필수적으로 포함한다. 그리고 영상 정보를 제공하는 장치는 카메라를 포함한다.

상기 영상 정보를 운전자에게 제공하기 위하여 차량 외부에는 여러 방향을 향하는 복수의 카메라들이 설치될 수 있다. 그리고 각 카메라에서 획득된 영상이 운전자에게 제공됨에 있어서, 획득된 영상들은 여러 가지 뷰 모드에 따라 다르게 변환되어서 운전자에게 제공될 수 있다.

그런데 기존의 기술에 의하면 상기 제공되는 영상들이 실제 운전자가 시각적으로 확인할 수 있는 디스플레이 화면에 표시되는 뷰 모드에 따른 영상에 기초하지 않고 보정되는 경향이 있었다.

자동차에 설치된 카메라에 장착되는 렌즈는 넓은 시야각을 얻기 위해 어안렌즈 또는 비슷한 유형의 광각 렌즈가 사용될 수 있다. 그런데, 상기 렌즈에 의해 획득된 이미지들은 사람의 시각에 기초하는 이미지들과 다르고, 자동차에 설치되는 카메라 렌즈의 방향과 비교하여 최종 출력될 이미지가 탑 뷰(top view) 형태의 이미지이기 때문에 복수의 카메라들에서 획득된 이미지들은 각종 영상 신호 처리를 거쳐야 한다.

이러한 일련의 과정이 필요한 이유는 자동차의 지붕이 정면으로 촬영되도록 자동차에 카메라가 설치될 수 없기 때문이다.

도 1a 및 도 1b는 기존의 기술에 따른 영상을 나타내다.

도 1a 및 도 1b을 참조하면, 도 1a의 영상은 차량의 우측면에 설치된 카메라가 획득한 영상을 나타내고, 도 1b의 영상은 상기 좌측 영상이 포함된 어라운드 뷰 영상을 나타낸다. 도 1a 영상에서 차량의 그림자로 인한 어두운 영역과 조명에 의한 밝은 영역의 비율이, 어라운드 뷰 영상에서는 다르게 나타남으로써 도 1b 영상에서는 조명에 의한 밝은 영역의 밝기가 포화되어 백색광으로 나타나 있다. 이는 e도 1a 영상을 기준으로 광 노출을 조정하거나 화이트 밸런스를 조정함에 따른 결과이다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 특정 뷰 모드에서 표시되는 영상을 해당 뷰 모드에서 디스플레이 되는데 적합하게 보정하여 보정된 영상을 해당 뷰 모드에서 디스플레이 하는 방법을 제공하는 데 있다.

본 발명의 일 실시예에 따른 이미지 처리방법은 하나의 카메라로부터 획득한 이미지를 복수의 모드에 따른 타겟 이미지를 디스플레이하는 방법에 있어서, 제1 모드에서 제2 모드로 변경됨 따라 출력되는 영상이 상기 제1 모드의 제1 타겟 이미지에서 상기 제2 모드의 제2 타겟 이미지로 변경되어 출력되는 단계;및 상기 제2 타겟 이미지의 밝기가 상기 제2 타겟 이미지를 기준으로 조절되는 단계를 포함할 수 있다.

본 발명의 다른 실시예에 따른 다중 모드를 지원하는 이미지 처리 방법은 사용자의 입력에 대응하여 수신 영상에 대한 변환 여부를 결정하고, 상기 변환 여부에 따라 상기 수신 영상을 변환하여 타겟 이미지를 출력하는 단계; 상기 타겟 이미지에서 밝기 정보를 추출하는 단계; 및 상기 밝기 정보에 대응하는 조정값을 상기 수신 영상을 변환하는데 적용시키는 단계를 포함할 수 있다.

또한, 다중 모드를 지원하는 이미지 처리 방법은 상기 타겟 이미지를 바탕으로 카메라 장치의 노출 시간을 조정하는 단계를 더 포함하고, 상기 조정값은 상기 밝기 정보 및 상기 노출 시간에 따라 변할 수 있다.

또한, 다중 모드를 지원하는 이미지 처리 방법은 카메라 장치로부터 획득된 상기 수신 영상에 대한 데이터를 수신하는 단계를 더 포함할 수 있다.

또한, 상기 데이터가 베이어 패턴으로 수신되는 경우, 다중 모드를 지원하는 이미지 처리 방법은 상기 베이어 패턴에 색보간 및 제1이미지처리를 수행하여 영상 이미지를 출력하는 단계를 더 포함할 수 있다.

상기 제1이미지처리는 캘리브레이션(calibration), 렌즈왜곡보정(lens distortion correction), 색 보정(color correction), 감마 보정(gamma correction), 색 공간 변환(color space conversion), 및 에지 인핸스먼트(Edge Enhancement) 중 적어도 하나를 수행하는 것을 포함할 수 있다.

또한, 상기 타겟 이미지를 출력하는 단계는 상기 변환 여부에 대응하여 상기 수신 영상을 변환하여 원근감을 제거한 변환 이미지를 생성하는 단계; 상기 변환된 영상에서 상기 타겟 이미지에 삽입될 영역에 대응하여 추출하는 단계; 추출된 데이터를 상기 타겟 이미지에 배치시키는 단계; 및 상기 타겟 이미지를 디스플레이 장치로 전달하는 단계를 포함할 수 있다.

또한, 상기 변환 이미지는 역투영 이미지 변환(inverse perspective mapping transform)을 수행하여 얻어질 수 있다.

또한, 상기 역투영 이미지 변환 및 상기 타겟 이미지에 배치는 순람표(lookup table)를 통해 함께 이루어질 수 있다.

또한, 상기 수신 영상을 변환하는데 적용시키는 단계는 상기 조정값은 상기 순람표(lookup table)에 배열된 적어도 일부의 데이터를 일괄 변환하는 단계를 포함할 수 있다.

또한, 상기 수신 영상은 차량에 탑재된 카메라 장치로부터 전달되며, 상기 사용자의 입력은 차량에 탑재된 인터페이스를 통해 입력될 수 있다.

또한, 상기 복수의 영상은 상기 차량의 전방, 후방, 좌측방, 우측방 중 하나에 대한 영상 정보이며, 상기 사용자 입력은 탑뷰(top view) 또는 미변환 중 적어도 하나를 선택하는 것을 포함할 수 있다.

또한, 상기 영상 정보에 대응하여 구별되는 순람표(lookup table)를 포함하고, 상기 순람표(lookup table)는 상기 영상 정보에 대응하는 가중치를 포함할 수 있다.

본 발명의 다른 실시예에 따른 컴퓨터 판독 가능한 기록매체는 프로세서에 의해 실행되는 것을 통하여, 전술한 기재된 다중 모드를 지원하는 이미지 처리 방법을 실현하는 것을 특징으로 하는 응용 프로그램이 기록될 수 있다.

본 발명의 또 다른 실시예에 따른 이미지 변환 장치는 적어도 하나의 프로세서와 컴퓨터 프로그램이 저장된 적어도 하나의 메모리 장치를 포함하는 프로세싱 시스템을 포함하고, 상기 프로세싱 시스템은 상기 이미지 변환 장치가 사용자의 입력에 대응하여 수신 영상에 대한 변환 여부를 결정하고, 상기 변환 여부에 따라 상기 수신 영상을 변환하여 타겟 이미지를 출력하는 단계; 상기 타겟 이미지에서 밝기 정보를 추출하는 단계; 및 상기 밝기 정보에 대응하는 조정값을 상기 수신 영상을 변환하는데 적용시키는 단계를 수행하도록 할 수 있다.

또한, 상기 프로세싱 시스템은 상기 이미지 변환 장치가 상기 타겟 이미지를 바탕으로 적어도 하나의 카메라 장치의 노출 시간을 조정하는 단계를 더 수행하도록 하고, 상기 조정값은 상기 밝기 정보 및 상기 노출 시간에 따라 변하는, 다중 모드를 지원할 수 있다.

또한, 상기 프로세싱 시스템은 상기 이미지 변환 장치가 카메라 장치로부터 획득된 상기 수신 영상의 데이터를 수신하는 단계를 수행하도록 할 수 있다.

또한, 상기 데이터가 베이어 패턴으로 수신되는 경우, 상기 프로세싱 시스템은 상기 이미지 변환 장치가 상기 베이어 패턴에 색보간 및 제1이미지처리를 수행하여 영상 이미지를 출력하는 단계를 더 수행하도록 할 수 있다.

또한, 상기 제1이미지처리는 캘리브레이션(calibration), 렌즈왜곡보정(lens distortion correction), 색 보정(color correction), 감마 보정(gamma correction), 색 공간 변환(color space conversion), 및 에지 인핸스먼트(Edge Enhancement) 중 적어도 하나를 수행하는 것을 포함할 수 있다.

또한, 상기 타겟 이미지를 출력하는 단계는 상기 변환 여부에 대응하여 상기 수신 영상에서 원근감을 제거한 변환 이미지를 생성하는 단계; 상기 변환된 영상에서 상기 타겟 이미지에 삽입될 영역에 대응하여 추출하는 단계; 추출된 데이터를 상기 타겟 이미지에 배치시키는 단계; 및 상기 타겟 이미지를 디스플레이 장치로 전달하는 단계를 포함할 수 있다.

또한, 상기 변환 이미지는 역투영 이미지 변환(inverse perspective mapping transform)을 수행하여 얻어질 수 있다.

또한, 상기 역투영 이미지 변환 및 상기 타겟 이미지에 배치는 순람표(lookup table)를 통해 함께 이루어질 수 있다.

또한, 상기 수신 영상을 변환하는데 적용시키는 단계는 상기 조정값은 상기 순람표(lookup table)에 배열된 적어도 일부의 데이터를 일괄 변환하는 단계를 포함할 수 있다.

또한, 상기 수신 영상은 차량에 탑재된 복수의 카메라 장치로부터 전달되며, 상기 사용자의 입력은 차량에 탑재된 인터페이스를 통해 입력될 수 있다.

또한, 상기 수신 영상은 상기 차량의 전방, 후방, 좌측방, 우측방 중 하나에 대한 영상 정보이며, 상기 사용자 입력은 탑뷰(top view) 및 미변환 중 적어도 하나를 선택하는 것을 포함할 수 있다.

또한, 상기 영상 정보에 대응하여 구별되는 순람표(lookup table)를 포함하고, 상기 순람표(lookup table)는 상기 영상 정보에 대응하는 가중치를 포함할 수 있다.

본 발명의 또 다른 실시예에 따른 이미지 처리 장치는 사용자의 입력에 대응하여 수신 영상을 변환하여 타겟 이미지를 출력하는 변환부; 상기 타겟 이미지의 밝기 정보를 전달받아 변환부 내 순람표를 갱신하기 위한 조정값을 출력하는 밝기 제어부; 및 상기 밝기 정보를 전달받아 카메라 장치의 노출시간을 조정하기 위한 제어신호를 출력하는 조정부를 포함할 수 있다.

또한, 이미지 처리 장치는 상기 카메라 장치로부터 전달되는 베이어 패턴에 색 보간(color interpolation, demosaicing), 캘리브레이션(calibration), 렌즈왜곡보정(lens distortion correction), 색 보정(color correction), 감마 보정(gamma correction), 색 공간 변환(color space conversion), 및 에지 인핸스먼트(Edge Enhancement) 등의 작업을 선택적으로 수행하여 상기 수신 영상을 출력할 수 있는 이미지 처리부를 더 포함할 수 있다.

또한, 상기 조정부는 상기 카메라 장치의 노출시간을 조정하는 데 있어 발생하는 변화량 또는 변화율을 상기 밝기 제어부로 전달하고, 상기 밝기 제어부는 상기 변화율과 상기 밝기 정보를 바탕으로 상기 조정값을 결정할 수 있다.

또한, 상기 수신 영상은 상기 차량의 전방, 후방, 좌측방, 우측방 중 하나에 대한 영상 정보이며, 상기 사용자 입력은 탑뷰(top view) 및 미변환 중 적어도 하나를 선택하는 것을 포함할 수 있다.

본 발명의 또 다른 실시예에 따른 다중 뷰 모드에서의 영상 디스플레이 방법은 하나의 영상 획득부가 획득한 타겟 영상(target image)을 복수의 출력 모드들로 디스플레이 하는 방법에 있어서, 상기 복수의 출력 모드들 중 희망 출력 모드에서 출력되도록 변환된 타겟 영상의 밝기를 조정하는 단계; 및 화이트 밸런스가 조정된 상기 타겟 영상을 디스플레이 하는 단계를 포함할 수 있다.

본 발명의 또 다른 실시예에 따른 다중 뷰 모드에서의 영상 디스플레이 방법은 하나의 영상 획득부가 획득한 타겟 영상(target image)을 복수의 출력 모드들로 디스플레이 하는 방법에 있어서, 상기 복수의 출력 모드들 중 희망 출력 모드에서 출력되도록 변환된 타겟 영상을 이용하여, 상기 영상 획득부의 광 노출 시간을 조정하는 단계; 및 상기 조정에 따라 획득된 타겟 영상을 디스플레이 하는 단계를 포함할 수 있다.

본 발명의 또 다른 실시예에 따른 다중 뷰 모드에서의 영상 디스플레이 방법은 하나의 영상 획득부가 획득한 타겟 영상(target image)을 복수의 출력 모드들로 디스플레이 하는 방법에 있어서, 상기 복수의 출력 모드들 중 희망 출력 모드에서 출력되도록 변환된 타겟 영상의 화이트 밸런스를 조정하는 단계; 및 화이트 밸런스가 조정된 상기 타겟 영상을 디스플레이 하는 단계를 포함할 수 있다.

상기 본 발명의 양태들은 본 발명의 바람직한 실시예들 중 일부에 불과하며, 본원 발명의 기술적 특징들이 반영된 다양한 실시예들이 당해 기술분야의 통상적인 지식을 가진 자에 의해 이하 상술할 본 발명의 상세한 설명을 기반으로 도출되고 이해될 수 있다.

본 발명에 따른 장치에 대한 효과에 대해 설명하면 다음과 같다.

본 발명에 의하면, 특정 뷰 모드에 적합하도록 보정된 영상을 사용자에게 제공할 수 있다.

또한, 본 발명은 사용자의 입력에 대응하여 카메라 장치로부터 전달된 영상을 변환, 가공하는 데 필요한 연산, 시간을 줄일 수 있고, 영상 이미지의 품질 저하를 줄일 수 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1a 및 도 1b는 기존의 기술에 따른 영상을 나타낸다.
도 2는 다중 뷰 모드에서의 영상 처리 방법을 설명한다.
도 3은 다중 뷰 모드에서의 영상 처리 시스템의 제1예를 설명한다.
도 4은 다중 뷰 모드에서의 영상 처리 시스템의 제2예를 설명한다.
도 5는 본 발명의 실시예에 따른 다중 뷰 모드에서의 영상 디스플레이 방법을 실행하는 영상 디스플레이 장치(100)의 개략적인 블록도이다.
도 6은 영상 디스플레이 장치(100)가 디스플레이 하는 영상들로서 실제 뷰 모드에서의 정면도(a), 우측면도(b), 후면도(c) 및 좌측면도(d)를 각각 나타낸다.
도 7은 영상 획득부(110)가 획득한 영상들 중에서 탑 뷰(top view) 모드에서 디스플레이될 영상으로 변환된 정면도(a)를 나타낸다.
도 8은 도 7의 4 개의 영상들을 이용하여 생성된 어라운드 뷰(around view) 영상이다.
도 9는 실제 뷰 모드 및 탑 뷰 모드에서의 차이점을 설명하기 위한 차량의 정면도이다.
도 10은 본 발명의 다른 실시예에 따른 다중 뷰 모드에서의 영상 디스플레이 방법에 관한 흐름도이다.
도 11은 본 발명의 또 다른 실시예에 따른 다중 뷰 모드에서의 영상 디스플레이 방법에 관한 흐름도이다.
도 12는 본 발명의 또 다른 실시예에 따른 다중 뷰 모드에서의 영상 디스플레이 방법에 관한 흐름도이다.
도 13은 본 발명의 또 다른 실시예에 따른 다중 뷰 모드에서의 영상 디스플레이 방법에 관한 흐름도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 2는 다중 뷰 모드에서의 영상 처리 방법을 설명한다.

도 2를 참조하면, 다중 뷰 모드에서의 영상 처리 방법은 사용자의 입력에 대응하여 복수의 영상에 대한 정합 여부를 결정하는 단계(12), 복수의 이미지의 추출 영역에서 밝기 정보를 수집하여 보정 기준을 결정하는 단계(14), 및 보정기준에 따라 복수의 이미지를 보정 후 정합하는 단계(15)를 포함할 수 있다.

또한, 다중 뷰 모드에서의 영상 처리 방법은 타겟 이미지를 바탕으로 적어도 하나의 카메라 장치의 노출 시간을 조정하는 단계(16) 및 조정된 노출 시간에 대한 정보와 추출된 밝기 정보에 대응하는 변수를 이미지를 정합하는 데 적용하는 단계(18)를 더 포함할 수 있다. 이 경우, 보정 기준은 밝기 정보 및 노출 시간에 대응하여 변할 수 있다. 노출시간이 조절되는 적어도 하나의 카메라는 타겟 이미지에 배치되는 영상을 촬영하는 해당 카메라일 수 있다. 예를들면, 타겟 이미지가 하나의 제1 카메라로 촬영된 영상으로 이루어진 경우 제1 카메라의 노출시간을 조절할 수 있다. 단일 카메라의 노출시간은 타겟 이미지에서 단일 카메라 또는 복수의 카메라 중 각각의 카메라가 촬영한 영상에서 타겟 이미지에 출력되는 영역을 고려하여 변경할 수 있다. 특히, 모드 변경에 따라 출력되는 타겟 이미지의 변경이 있는 경우 카메라가 촬영한 영상 중 타겟 이미지를 구성하는 부분은 변경될 수 있고, 이를 고려하여 노출시간을 조절할 수 있다.

또한, 다중 뷰 모드에서의 영상 처리 방법은 복수의 카메라 장치의 각각으로부터 획득된 복수의 영상 데이터를 수신하는 단계(10)를 더 포함할 수 있다. 예를 들어, 복수의 카메라 장치는 차량에 탑재된 카메라를 포함할 수 있다. 차량의 전방, 후방, 우측방, 좌측방을 각각 촬영할 수 있는 영상 장비는 차량의 주변 정보를 획득할 수 있다. 실시예에 따라, 이러한 복수의 카메라 장치는 배이어 패턴으로 구성되는 영상 데이터를 출력할 수 있다.

일반적으로, 카메라 장치는 복수의 렌즈를 통해 형성되는 경로를 통해 입사되는 광 신호를 전기 신호로 변환하는 이미지 센서를 포함하고 있다. 이러한 이미지 센서는 색 별로 패턴을 이루며 배치된 화소로 구성된다. 예를 들면, 이미지 센서는 화소수 만큼 배열된 단색 화소 셀들 위에 R, G, B 색상 필터들이 특정한 패턴을 가지고 배치되어 있다. R, G, B 색상 패턴은 사용자(즉, 인간)의 시각 특성에 따라 교차하며 배치되는 데 이를 베이어 패턴(Bayer pattern)이라고 한다. 각각의 패턴은 색(color)을 감지하는 것이 아니라 흑백의 밝기만을 감지하는 단색(monochrome) 화소이고, 이러한 패턴을 가지는 데이터를 출력하면, 색 보간(color interpolation 혹은 demosaicing) 과정을 거쳐 여러 색으로 구성되는 이미지 영상의 형태로 바뀔 수 있다.

이미지 형태의 데이터보다 베이어 패턴은 데이터 양이 크게 작다. 따라서, 차량 내 통신망에 의해 전달되는 데이터의 크기를 줄일 수 있어 자율 주행 차량에 적용하더라도 차량에 배치된 복수의 카메라 장치로부터 획득된 주변 정보가 분석되는 데 통신 방식, 통신 속도 등에 의해 발생하는 문제를 제거할 수 있다.

만약, 복수의 영상 데이터가 베이어 패턴으로 수신되는 경우, 다중 뷰 모드에서의 영상 처리 방법은 베이어 패턴에 색보간 및 제1이미지처리를 수행하여 영상 이미지를 출력하는 단계를 더 포함할 수 있다. 여기서, 제1이미지처리는 색 보정(color correction), 감마 보정(gamma correction), 색 공간 변환(color space conversion), 및 에지 인핸스먼트(Edge Enhancement) 중 적어도 하나를 수행하는 것을 포함할 수 있다.

실시예에 따라, 차량에 탑재된 각각의 카메라 장치가 이미지 센서가 출력하는 베이어 패턴에 색보간 및 제1이미지처리를 수행한 후 이미지 형태의 데이터를 출력할 수도 있다. 이 경우, 이미지 처리 장치에서는 색 보간 및 제1이미지처리에 대한 작업을 수행할 필요가 없다.

도시되지 않았지만, 복수의 이미지를 정합하여 타겟 이미지를 출력하는 단계(14)는 정합 여부에 대응하여 복수의 영상 중 적어도 하나를 선택하는 단계, 캘리브레이션(calibration), 렌즈왜곡보정(lens distortion correction), 또는 선택된 영상에서 원근감을 제거한 변환 이미지를 생성하는 단계, 변환된 영상에서 타겟 이미지에 삽입될 영역에 대응하여 추출하는 단계, 추출된 데이터를 타겟 이미지에 배치시키는 단계, 및 타겟 이미지를 디스플레이 장치로 전달하는 단계를 포함할 수 있다.

차량에 탑재된 카메라 모듈에서 획득된 이미지를 탑뷰 영상의 형태로 변환하기 위해서는 이미지 내에 객체와 사물에 대한 원근 효과를 제거할 필요가 있다. 복수의 이미지를 정합하는 과정에서 차량에 탑재된 카메라 장치를 통해 얻어진 영상에 원근감을 제거하여 변환된 이미지를 생성할 수 있다. 예를 들어, 이러한 변환 이미지는 역투영 이미지 변환(inverse perspective mapping transform)을 수행하여 얻어질 수 있다.

이미지를 변환하는 작업과 적어도 두 개의 이미지를 정합하는 과정, 즉 역투영 이미지 변환 및 타겟 이미지에 배치는 순람표(lookup table)를 통해 함께 이루어질 수 있다. 차량에 카메라가 설치된 높이와 각도, 카메라의 수평, 수직 화각 정보가 있으면, 카메라를 통해 획득되는 영상 평면과 운전자 또는 사용자에게 보여줄 실제 평면(탑뷰 형태의 타겟이미지 평면)과의 관계를 알 수 있다. 또한, 차량에 탑재된 카메라 장치는 고정되어 있으므로, 복수의 카메라 장치가 획득하는 영상을 정합하는 경우 정합되는 영역을 미리 설정할 수 있다. 따라서, 이러한 정보들을 순람표(lookup table) 형태로 정리해 놓으면, 변환과 정합을 위한 연산 과정과 시간을 단축할 수 있다.

한편, 복수의 영상을 정합하는데 적용시키는 단계(18)는 조정값은 상기 순람표(lookup table)에 배열된 적어도 일부의 데이터를 일괄 변환하는 단계를 포함할 수 있다. 정합되는 각각의 이미지는 서로 다른 위치에 배치된 카메라로부터 획득된 것이고, 서로 다른 방향의 대상을 촬영한 것이므로, 영상마다 빛의 양이 다를 수 밖에 없다. 기존과 같이 밝기를 조정하기 위해 각각의 카메라가 밝기 조정을 개별적으로 진행할 경우, 이미지 처리 장치가 수신할 수 있는 영상 정보는 계속 달라질 수 밖에 없고, 이를 보정하기 위한 연산량은 줄어들지 않을 수 있다. 따라서, 정합된 이미지로부터 밝기 정보를 수집하여 이를 바탕으로 카메라 장치의 노출 시간을 조정할 뿐만 아니라, 복수의 이미지를 정합할 때 사용되는 순람표 내 데이터를 조정하면, 보다 나은 품질의 결과 영상을 얻을 수 있다.

전술한 바와 같이, 복수의 영상은 차량에 탑재된 복수의 카메라 장치로부터 전달될 수 있으며, 사용자 또는 운전자의 입력은 차량에 탑재된 인터페이스를 통해 입력될 수 있다. 예를 들어, 차량의 헤드 유닛 또는 멀티미디어 장치(Audio-video-navigation)와 같은 사용자 또는 운전자가 주행 중 조작이 가능한 인터페이스를 통해 사용자 또는 운전자가 원하는 방향, 공간의 정보를 선택할 수 있다.

예를 들면, 복수의 영상은 상기 차량의 전방, 후방, 좌측방, 우측방에 대한 영상 정보이며, 사용자 입력은 탑뷰(top view), 전방뷰, 후방뷰, 좌측방뷰, 우측방뷰 및 그에 따른 조합 중 적어도 하나를 포함할 수 있다. 예를 들어, 사용자가 탑뷰(top view)와 전방뷰를 원하는 경우, 이미지 처리 장치는 탑뷰(top view)의 이미지 영상을 출력하기 위해 전방, 후방, 좌측방, 우측방에 대한 영상 정보를 정합할 수 있고, 전방뷰는 전방 카메라의 정보를 출력할 수 있다. 이 경우, 탑뷰와 전방뷰는 사용자에게 보여지는 정보가 상이하고, 해당 정보를 구성하는 이미지에도 차이가 있어 서로 다른 밝기를 가질 수 있다.

또한, 사용자의 입력에 대응하여 각각의 카메라에서 획득된 영상 정보 중 출력되는 타겟 이미지를 위해 추출되는 영역이 달라질 수 있다. 예를 들어, 사용자가 전방뷰를 원하는 경우에는 전방 정보를 수집하는 카메라로부터 획득된 영상 정보 중에 많은 부분을 사용자에게 보여줄 수 있다. 하지만, 사용자가 탑뷰를 원하는 경우에는 전방 정보를 수집하는 카메라로부터 획득된 영상 정보 중에 상대적으로 적은 부분을 사용자에게 보여줄 수 있다. 즉, 사용자가 어떠한 영상을 확인하고자 하는 가에 따라 어떠한 카메라에서 획득된 영상을 사용할 지가 달라지거나, 특정 카메라에서 획득한 영상 중에서도 사용자에게 보여주기 위해 추출되는 영역이 달라지게 된다. 따라서, 사용자에게 실제로 제공되는 영역, 즉 복수의 영상 각각에서 정합을 위해 추출되는 추출 영역의 이미지 밝기를 고려하여 이미지를 정합하는 경우, 사용자에게 보다 고품질의 이미지를 제공할 수 있다.

한편, 복수의 이미지가 정합된 탑뷰 영상 등의 밝기 정보를 이용하여 복수의 카메라의 노출시간을 제어할 경우, 다중 뷰에 따른 밝기 차이를 줄일 수 있다.

한편, 이미지 처리 장치는 영상 정보 각각에 대응하여 구별되는 복수의 순람표(lookup table)를 포함하고, 복수의 순람표(lookup table)는 영상 정보에 대응하는 가중치를 포함할 수 있다. 이는 카메라 장치마다 서로 다른 방향의 대상을 촬영한 것이므로, 영상마다 빛의 양이 다를 수 밖에 없기 때문에 필요할 수 있다.

도 3은 다중 뷰 모드에서의 영상 처리 시스템의 제1예를 설명한다.

도 3을 참조하면, 영상 처리 시스템은 카메라 장치(30), 이미지 처리 장치(40), 차량용 멀티미디어 장치(20)를 포함할 수 있다.

카메라 장치(30)는 유입되는 광신호를 수집하는 복수의 렌즈를 포함하는 렌즈어셈블리(32), 렌즈어셈블리(32)를 통해 수집된 광신호를 전기신호로 변환하여 베이어 패턴(BP)을 출력하는 이미지 센서(34)를 포함할 수 있다. 카메라 장치(30)는 색 보간, 이미지 보정 등의 작업없이 이미지 센서(34)에서 출력되는 베이어 패턴(BP)를 이미지 처리 장치(40)로 전달할 수 있다.

이미지 처리 장치는(40)는 카메라 장치(30)로부터 전달된 베이어 패턴(BP)에 색 보간(color interpolation, demosaicing), 캘리브레이션(calibration), 렌즈왜곡보정(lens distortion correction), 색 보정(color correction), 감마 보정(gamma correction), 색 공간 변환(color space conversion), 및 에지 인핸스먼트(Edge Enhancement) 등의 작업을 선택적으로 수행할 수 있는 이미지 처리부(42), 이미지 처리부(42)에서 출력되는 영상 이미지(CI)을 변환하여 타겟 이미지(OI)를 출력하는 변환부(44), 변환부(44)에서 출력되는 타겟 이미지(OI)의 이미지 정보(예, 밝기 정보(BI))를 전달받아 변환부(44) 내 순람표를 갱신하기 위한 변수, 조정값(LC0)을 출력하는 밝기 제어부(48), 변환부(44)에서 출력되는 타겟 이미지(OI)의 이미지 정보(예, 밝기 정보(BI))를 전달받아 카메라 장치(30)의 노출시간을 조정하기 위한 제어신호(ETC)를 출력하는 조정부(46)를 포함할 수 있다.

조정부(46)는 카메라 장치(30)의 노출시간을 조정하는 데 있어 발생하는 변화량 또는 변화율(ETR)을 밝기 제어부(48)로 전달할 수 있다. 밝기 제어부(148)는 변화율(ETR)과 타겟 이미지(OI)의 이미지 정보(예, 밝기 정보(BI))를 바탕으로 조정값(LC0)을 결정할 수 있다.

한편, 변환부(44)는 차량용 멀티미디어 장치(20)의 사용자 인터페이스(22)를 통해 사용자가 원하는 변환 여부에 대한 모드제어신호(VC)를 전달받을 수 있다. 변환부(44)는 사용자의 입력에 대응하여 이미지 영상을 변환할 수 있다.

사용자가 변환을 요구할 경우, 변환부(44)는 이미지에서 원근감을 제거한 변환 이미지를 생성하기 위한 작업을 수행할 수 있다. 예를 들어, 차량에 탑재된 카메라 모듈에서 획득된 이미지를 탑뷰 영상의 형태로 변환하기 위해서는 이미지 내에 객체와 사물에 대한 원근 효과를 제거할 필요가 있다. 차량에 카메라가 설치된 높이와 각도, 카메라의 수평, 수직 화각 정보가 있으면, 카메라를 통해 획득되는 영상 평면과 운전자 또는 사용자에게 보여줄 실제 평면(탑뷰 형태의 타겟이미지 평면)과의 관계를 알 수 있다. 이러한 관계를 이용하여, 카메라에서 획득된 영상 평면을 사용자에게 보여줄 평면으로 변환할 수 있다.

또한, 차량용 멀티미디어 장치(20)는 변환부(44)에서 전달되는 타겟 이미지(OI)를 사용자 또는 운전자에게 표시할 수 있는 디스플레이 장치(24)를 포함할 수 있다.

도 4은 다중 뷰 모드에서의 영상 처리 시스템의 제2예를 설명한다.

도 4을 참조하면, 영상 처리 시스템은 카메라 장치(50), 이미지 처리 장치(60), 차량용 멀티미디어 장치(20)를 포함할 수 있다. 도4에서 설명하는 영상 처리 시스템은 도3에서 설명하는 영상 처리 시스템과 유사할 수 있다. 이하에서는 차이점을 중심으로 설명한다.

카메라 장치(50)는 유입되는 광신호를 수집하는 복수의 렌즈를 포함하는 렌즈어셈블리(32), 렌즈어셈블리(32)를 통해 수집된 광신호를 전기신호로 변환하여 베이어 패턴(BP)을 출력하는 이미지 센서(34) 및 이미지 센서(34)에서 출력되는 베이어 패턴(BP)을 색 보간, 이미지 보정 등의 작업을 통해 영상 이미지(I-I)를 출력할 수 있다.

복수의 영상 이미지(I-I)를 수신하는 이미지 처리 장치(60)는 변환부(44), 밝기 제어부(48), 조정부(46)를 포함할 수 있다. 여기서, 변환부(44), 밝기 제어부(48), 조정부(46)는 도3에서 설명한 것과 유사하게 동작할 수 있다.

또한, 차량용 멀티미디어 장치(20)는 사용자 인터페이스(24)와 디스플레이(22)를 포함할 수 있고, 도3에서 설명한 것과 유사하게 동작할 수 있다.

도 5는 본 발명의 실시예에 따른 다중 뷰 모드에서의 영상 디스플레이 방법을 실행하는 영상 디스플레이 장치(100)의 개략적인 블록도이다.

도 5를 참조하면 영상 디스플레이 장치는 영상 획득부(110), 영상 변환부(120), 제어부(130), 영상 보정부(140) 및 출력부(150)을 포함하고, 추가적으로 메모리(160)를 더 포함할 수 있다.

영상 획득부(110)는 이미지 센서를 이용하여 디지털 영상을 획득한다. 여기서, 출력부(150)를 통해 디스플레이 하기 위해 획득된 디지털 영상을 타겟 영상(target image)이라 부르기로 한다. 영상 획득부(110)는 피사체를 촬영하기 위해 독립적으로 설치되는 카메라 또는 임의의 장치에 부품 형태로 설치되는 카메라 모듈 형태로 구현될 수 있다. 특히 영상 획득부(110)는 카메라 모듈 형태로 차량의 진행 방향, 우측 방향, 역 방향, 및 좌측 방향을 향하면서 차량이 위치해 있는 지면을 포함하는 뷰를 촬영하도록 차량의 외부면에 설치되는 것이 바람직하다.

영상 변환부(120)는 영상 획득부(110)가 획득한 타겟 영상을 전송 받아 뷰 모드에 맞게, 즉 뷰 모드에 적합한 형태의 영상으로 변환한다. 여기서 뷰 모드는 출력 모드의 변경에 따라 변경되는 뷰 포인트(시점)에 따른 모드를 의미한다.

영상 획득부(110)에서 획득된 모든 타겟 영상이 영상 변환부(120)를 통해 변환되는 것은 아니다. 타겟 영상의 변환은 뷰 모드의 변경에 따른 타겟 영상의 변환을 의미한다. 예를 들어 영상의 변환이란, 차량의 후면에 설치된 영상 획득부(110)에서 획득한 타겟 영상을 차량 위의 일정 높이에 설치된 가상의 영상 획득부(110)에 의해 획득된 영상, 즉 탑 뷰 모드에서의 영상으로 변환하는 것을 의미한다. 따라서 영상 획득부(110)에서 획득된 타겟 영상을 실제 뷰 모드로 출력하는 경우에는 타겟 영상을 따로 변환할 필요가 없다. 여기서 실제 뷰 모드란, 뷰 포인트(시점)의 변화가 없는 것을 말한다. 즉 특정 위치의 영상 획득부(110)가 획득한 타겟 영상을 변환 없이 그대로 출력하는 경우를 말한다.

제어부(130)는 영상 획득부(110)에서 획득된 타겟 영상 또는 영상 변환부(120)에서 변환된 타겟 영상의 속성에 기반하여, 그 속성을 나타내는 파라미터를 조정하기 위하여 영상 획득부(110)를 제어할 수 있다. 예를 들어 제어부(130)는 변환된 타겟 영상의 평균 밝기(AVG)를 이용하여 미리 설정된 기준 평균 밝기(TH)를 기반으로 영상 변환부(110)에 구비된 카메라의 광 노출 정도를 조정할 수 있다. 여기서 기준 평균 밝기는 타겟 영상의 평균 밝기와 비교되는 기준 영상의 평균 밝기를 의미한다. 그리고 광 노출의 조정은 노출 시간을 조정하는 것으로서 영상 획득부(110)의 카메라의 셔터 스피드를 조정하거나 조리개를 조정할 수 있다. 결과적으로 상기 조정에 의해 포토 다이오드의 전하 축적 시간 및 게인(gain)이 조정될 수 있다.

영상 보정부(140)는 영상 획득부(110)에서 획득된 영상 또는 영상 변환부(120)에서 해당 뷰 모드에 맞게 변환된 타겟 영상을 보정할 수 있다. 예를 들어 영상 보정부(140)는 변환된 타겟 영상의 평균 밝기(AVG)를 이용하여 미리 설정된 평균 밝기(TH)를 기반으로 타겟 영상의 화이트 밸런스를 조정할 수 있다.

출력부(150)는 영상 보정부(140)가 보정한 타겟 영상을 해당 뷰 모드에서 출력할 수 있다. 출력부(150)는 LCD 디스플레이 장치 등으로 구현될 수 있다. 출력에 앞서 제어부(130)는 출력 모드 즉 뷰 모드를 변경할 수 있다.

그리고 메모리(160)는 상기 타겟 영상의 평균 밝기 및 기준 평균 밝기를 저장할 수 있다.

영상 변환부(120), 제어부(130) 및 영상 보정부(140)는 메모리(160)에 저장된 프로그램 명령(program command)을 실행할 수 있다. 그리고 영상 변환부(120), 제어부(130) 및 영상 보정부(140)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU) 또는 본 발명에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다.

또한 메모리(160)는 휘발성 저장 매체 및/또는 비휘발성 저장 매체로 구성될 수 있다. 예를 들어, 메모리(160)는 읽기 전용 메모리(read only memory, ROM) 및/또는 랜덤 액세스 메모리(random access memory, RAM)로 구성될 수 있다.

도 6은 영상 디스플레이 장치(100)가 디스플레이 하는 영상들로서 실제 뷰 모드에서의 정면도(a), 우측면도(b), 후면도(c) 및 좌측면도(d)를 각각 나타낸다.

도 6을 참조하면, 영상 디스플레이 장치(100), 더 구체적으로는 영상 획득부(110)가 획득한 영상이 디스플레이 하는 정면도(a), 우측면도(b), 후면도(c) 및 좌측면도(d)에 해당하는 영상들이 각각 나타나 있다. 영상 획득부(110)에 해당하는 카메라 모듈들은 차량 외부의 정면, 우측면, 후면 및 우측면에 일정 높이에 설치될 수 있다. 상기 카메라 모듈들이 설치되는 위치는 차량의 라디에이터(radiator) 그릴, 우측 및 좌측 지시등들 그리고 차량 트렁크 덮개가 될 수 있다. 그리고 상기 카메라 모듈은, 렌즈 면이 설치 위치에서 비스듬하게 지면 쪽의 방향을 향하도록, 설치될 수 있다. 따라서 도 3에 나타나 있는 영상들은 실제 모습보다 상기 방향으로 영상이 길게 늘어져 보일 수 있다.

도 7은 영상 획득부(110)가 획득한 영상들 중에서 탑 뷰(top view) 모드에서 디스플레이될 영상으로 변환된 정면도(a)를 나타낸다. 도 7을 참조하면, 영상 변환부(120)에 의해 변환된 정면도(a)의 영상은 도 3의 실제 뷰 모드에서 디스플레이 되는 변환 전의 정면도(a)의 영상과 차이를 보이고 있음을 알 수 있다. 즉 차량 위의 일정 높이에서 바로 보는 탑 뷰 모드의 영상은 실제 모습에 가깝게 보정된 영상이다.

도 8은 도 7의 4 개의 영상들을 이용하여 생성된 어라운드 뷰(around view) 영상이다.

도 8을 참조하면, 탑 뷰 모드에서 디스플레이 되는 어라운드 뷰 영상이 나타나 있다. 상기 설명한 바와 같이 어라운드 뷰 영상은, 차량 위에 설치된 가상의 카메라를 통해 촬영된 듯 한 영상을 의미한다. 어라운드 뷰 영상은 차량의 지붕을 포함하여 주로 주차 선이 표시된 주변의 지면을 디스플레이 하기 위해 이용된다. 상기 도 4와 마찬가지로 실제 촬영된 4 개의 타겟 영상들과 이를 기초로 생성된 어라운드 뷰 영상은 차이를 보이고 있다. 즉 실제 촬영된 영상 속의 일정 영역의 넓이가 전체에서 차지하는 비율이 어라운드 뷰 모드에서는 변동 될 수 있다. 특히 어안 렌즈를 사용하여 타겟 영상을 획득하는 경우에는 상기 비율이 더 크게 변할 수 있다. 예를 들어 도 3에 나타난 (a) 내지 (d)의 도면에서 A-2 하부의 면적은, 카메라와 가장 가까운 영역으로서 전체 영역에서 높은 비율을 차지하는 것처럼 보이나, 실제 탑 뷰의 영상인 도 5에서는 그 비율이 축소되어 나타나 있다.

그리고 이러한 내용은 실제 촬영된 타겟 영상의 속성이 어라운드 뷰 모드의 영상에서도 변동될 수 있음을 의미한다.

도 9는 실제 뷰 모드 및 탑 뷰 모드에서의 차이점을 설명하기 위한 차량의 정면도이다.

도 9를 참조하면, 영상 획득부(100)로서 차량에 설치되는 카메라 모듈이 나타나 있다. 실제 카메라 모듈(L-1, R-1)은 좌측 또는 우측 지시등에 설치된 카메라 모듈이다. 카메라 모듈(L-2, R-2)은 가상의 카메라 모듈이다. 도 6를 참조하면, 실제 카메라 모듈들과 가상의 카메라 모듈들이 피사체를 촬영하는 각도의 차이로 인하여 두 카메라 모듈들이 획득하는 영상들의 모습에는 차이가 발생할 수 있다. 그리고 이러한 차이를 최소한으로 줄여, 뷰 모드에 따라 출력되는 영상이 실제 모습에 가깝게 출력되도록 실제 카메라 모듈들이 획득한 타겟 영상들은 뷰 모드에 맞도록 변환될 수 있다.

그럼 본 출원발명의 다른 실시예에 따른 다중 뷰 모드에서의 영상 디스플레이 방법에 대해 설명하기로 한다.

도 10은 본 발명의 다른 실시예에 따른 다중 뷰 모드에서의 영상 디스플레이 방법에 관한 흐름도이다.

먼저 조정을 위한 기준 값이 설정되고, 이 기준 값은 메모리 등에 저장될 수 있다(S110).

다음으로 영상 획득부(110)는 타겟 영상을 획득한다(S120).

다음으로 영상 변환부(120)는 획득된 타겟 영상을 희망 출력 모드, 즉 뷰 모드에 맞도록 변환한다(S130).

다음으로 타겟 영상을 보정한다(S140). 타겟 영상의 보정은 2가지 방법으로 수행될 수 있다. 결국 타겟 영상의 보정은 타겟 영상의 밝기를 조정하는 것에 귀결될 수 있다. 그 중 하나로서 제어부(130)는 타겟 영상의 평균 밝기를 계산하고, 계산된 타겟 영상의 평균 밝기를 이용하여 상기 기준 평균 밝기에 기반하여 영상 획득부(110)의 카메라의 광 노출을 조정할 수 있다. 나머지 하나로서 영상 보정부(140)는 상기 타겟 영상의 평균 밝기를 이용하여 상기 기준 평균 밝기에 기반하여 타겟 영상의 화이트 밸런스를 조정할 수 있다.

다음으로 출력부(150)는 보정된 타겟 영상을 디스플레이 한다(S150).

S150에 앞서서 제어부(130)는 출력부(150)의 출력 모드를 변환할 수 있다. 여기서 출력 모드의 변경에 따라 타겟 영상이 출력되는 뷰 포인트가 변경됨으로써 뷰 모드가 변경될 수 있다. 그리고, 카메라 광량의 조정 또는 타겟 영상의 화이트 밸런스 조정은 획득된 상기 타겟 영상이 디스플레이될 서로 다른 뷰 모드의 개수만큼 수행될 수 있다.

도 11은 본 발명의 또 다른 실시예에 따른 다중 뷰 모드에서의 영상 디스플레이 방법에 관한 흐름도이다.

먼저 조정을 위한 기준 값이 설정되고, 이 기준 값은 메모리 등에 저장될 수 있다(S210).

다음으로 영상 획득부(110)는 타겟 영상을 획득한다(S220).

다름으로 영상 변환부(120)는 획득된 타겟 영상을 희망 출력 모드, 즉 뷰 모드에 맞도록 변환하는데, 특히 획득된 타겟 영상을 어라운드 뷰 영상으로 변환한다(S230).

다음으로 S240 및 S250는 상기 S140 및 S150과 공통되므로 이에 대한 설명은 생략하기로 한다.

도 12는 본 발명의 또 다른 실시예에 따른 다중 뷰 모드에서의 영상 디스플레이 방법에 관한 흐름도이다.

먼저 제어부(130)는 타겟 영상의 디스플레이를 위한 출력 모드 즉, 뷰 모드를 변환한다(S310).

다음으로 영상 보정부(140)는 변환된 뷰 모드에 맞도록 타겟 영상을 보정 또는 역보정한다(S320). 여기서 역보정이란 상기 보정이 없는 상태로 되돌리는 것을 의미한다. 영상 보정부(140)는 뷰 모드의 변환에 따라 타겟 영상을 변환된 뷰 모드에 맞도록 보정을 하는 한편, 뷰 모드의 변환이 없는 경우가 되면 보정된 타겟 영상을 보정되지 않은 타겟 영상으로 되돌릴 수 있다.

마지막으로 출력부(150)는 보정 또는 역보정된 타겟 영상을 디스플레이 한다.

도 13은 본 발명의 또 다른 실시예에 따른 다중 뷰 모드에서의 영상 디스플레이 방법에 관한 흐름도이다.

특히 도 13은 카메라 모듈 등으로 구현될 수 있는 영상 획득부(110)의 광 노출 시간을 조정하는 흐름도를 나타낸다. 도 13을 참조하면, 먼저 기준(threshold, TH) 값이 미리 설정되고 이 기준 값은 메모리 등에 미리 저장될 수 있다(S410).

다음으로 영상 획득부(110)에 의해 획득된 타겟 영상이 제어부(130)에 입력된다(S420).

다음으로 제어부(130)는 타겟 영상의 평균 밝기(AVG)를 계산한다(S430).

타겟 영상의 평균 밝기와 기준 평균 밝기가 비교하여, 평균 밝기와 기준 값이 같으면(S440), 현재의 노출 시간은 유지된다(S441). 또한 평균 밝기와 기준 값이 다르고(S445), 평균 밝기와 기준 값을 비교하여(S445), 평균 밝기가 기준 값보다 크면 현재의 노출 시간은 조정에 의해 감소될 수 있고(S442), 평균 밝기가 기준 값보다 크지 않으면 현재의 노출 시간은 조정에 의해 증가될 수 있다(S443).

본 발명의 또 다른 실시예에 따른 다중 뷰 모드에서의 영상 디스플레이 방법은, 획득된 타겟 영상을 해당 뷰 모드에 적합한 영상으로 변환하기 전에 가중치를 이용하여 타겟 영상을 구성하는 각 픽셀의 밝기를 조정할 수 있다. 여기서 각 픽셀은 가중치는 각 픽셀의 위치에 따라 고정된 가중치를 갖는 것이 특징이다.

본 발명의 도 5에서는 설명의 편의를 위하여, 각 구성을 각각 다른 블록에 도시화하여 예를 들어 설명하였으나, 각각의 구성은 하나의 블록으로 구성될 수 있다. 예를 들면, 각각의 블록은 제어부(controller) 또는 프로세서(processor) 등에 구성되어 전술한 일련의 동작들을 수행할 수 있다.

상기와 같이 본 발명에 따르면 기존의 기술에 따른 문제점을 해결할 수 있다. 즉 변환된 뷰 모드에서 출력되는 영상을 기준으로 타겟 영상의 밝기를 조정함으로써 도 1b에 나타난 밝기가 포화되는 영역을 방지할 수 있다.

이상 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100: 영상 디스플레이 장치,
110: 영상 획득부,
120: 영상 변환부,
130: 제어부,
140: 영상 보정부
150: 출력부,
160: 메모리

Claims (38)

1. 하나의 카메라로부터 획득한 이미지를 복수의 모드에 따른 타겟 이미지를 디스플레이하는 방법에 있어서,
   제1 모드에서 제2 모드로 변경됨 따라 출력되는 영상이 상기 제1 모드의 제1 타겟 이미지에서 상기 제2 모드의 제2 타겟 이미지로 변경되어 출력되는 단계;및
   상기 제2 타겟 이미지의 밝기가 상기 제2 타겟 이미지를 기준으로 조절되는 단계를 포함하는 이미지 처리방법.
2. 제 1항에 있어서,
   밝기가 조절된 상기 제2 타겟 이미지가 출력되는 단계
   를 더 포함하는 이미지 처리방법.
3. 제 1항에 있어서,
   상기 제2 타겟 이미지를 구성하기 위한 상기 카메라로 획득되는 이미지의 밝기 조절을 통해서 상기 제2 타겟 이미지의 밝기가 조절되는 이미지 처리방법.
4. 제 1항에 있어서,
   상기 제1 타겟 이미지와 상기 제2 타겟 이미지는 상기 하나의 카메라의 영상을 포함하고,
   상기 제1 모드일때 싱기 하나의 카메라의 노출시간과 상기 제 2모드일 때 상기 하나의 카메라의 노출시간이 서로 다른 이미지 처리방법.
5. 제 1항에 있어서,
   상기 제1모드에서의 상기 제1 타겟 이미지는 적어도 일부가 상기 제2모드에서의 제2 타겟 이미지의 일부와 중첩되는 이미지 처리방법.
6. 제 1항에 있어서,
   상기 제1 모드 및 제2 모드는 상기 하나의 카메라로부터 획득된 이미지로 이루어진 서로 다른 영상을 출력하는 이미지 처리방법.
7. 하나의 카메라로부터 획득한 이미지를 복수의 모드에 따른 타겟 이미지를 디스플레이 하는 방법에 있어서,
   상기 모드에 따라 상기 복수의 영상 각각에서 추출 영역를 결정하는 단계;
   상기 추출 영역에 대한 밝기 정보를 수집하는 단계; 및
   상기 복수의 영상의 상기 추출 영역을 정합하여 타겟 이미지를 출력하는 단계를 포함하고,
   상기 밝기 정보에 따라 상기 타겟 이미지의 밝기가 조절되는 다중 모드를 지원하는 이미지 처리 방법.
8. 사용자의 입력에 대응하여 수신 영상에 대한 변환 여부를 결정하고, 상기 변환 여부에 따라 상기 수신 영상을 변환하여 타겟 이미지를 출력하는 단계;
   상기 타겟 이미지에서 밝기 정보를 추출하는 단계; 및
   상기 밝기 정보에 대응하는 조정값을 상기 수신 영상을 변환하는데 적용시키는 단계
   를 포함하는, 다중 모드를 지원하는 이미지 처리 방법.
9. 제8항에 있어서,
   상기 타겟 이미지를 바탕으로 카메라 장치의 노출 시간을 조정하는 단계를 더 포함하고,
   상기 조정값은 상기 밝기 정보 및 상기 노출 시간에 따라 변하는, 다중 모드를 지원하는 이미지 처리 방법.
10. 제8항에 있어서,
    카메라 장치로부터 획득된 상기 수신 영상에 대한 데이터를 수신하는 단계
    를 더 포함하는, 다중 모드를 지원하는 이미지 처리 방법.
11. 제10항에 있어서,
    상기 데이터가 베이어 패턴으로 수신되는 경우,
    상기 베이어 패턴에 색보간 및 제1이미지처리를 수행하여 영상 이미지를 출력하는 단계
    를 더 포함하는, 다중 모드를 지원하는 이미지 처리 방법.
12. 제11항에 있어서,
    상기 제1이미지처리는 캘리브레이션(calibration), 렌즈왜곡보정(lens distortion correction), 색 보정(color correction), 감마 보정(gamma correction), 색 공간 변환(color space conversion), 및 에지 인핸스먼트(Edge Enhancement) 중 적어도 하나를 수행하는 것을 포함하는, 다중 모드를 지원하는 이미지 처리 방법.
13. 제8항에 있어서,
    상기 타겟 이미지를 출력하는 단계는
    상기 변환 여부에 대응하여 상기 수신 영상을 변환하여 원근감을 제거한 변환 이미지를 생성하는 단계;
    상기 변환된 영상에서 상기 타겟 이미지에 삽입될 영역에 대응하여 추출하는 단계;
    추출된 데이터를 상기 타겟 이미지에 배치시키는 단계; 및
    상기 타겟 이미지를 디스플레이 장치로 전달하는 단계
    를 포함하는, 다중 모드를 지원하는 이미지 처리 방법.
14. 제13항에 있어서,
    상기 변환 이미지는 역투영 이미지 변환(inverse perspective mapping transform)을 수행하여 얻어지는, 다중 모드를 지원하는 이미지 처리 방법.
15. 제14항에 있어서,
    상기 역투영 이미지 변환 및 상기 타겟 이미지에 배치는 순람표(lookup table)를 통해 함께 이루어질 수 있는, 다중 모드를 지원하는 이미지 처리 방법.
16. 제15항에 있어서,
    상기 수신 영상을 변환하는데 적용시키는 단계는
    상기 조정값은 상기 순람표(lookup table)에 배열된 적어도 일부의 데이터를 일괄 변환하는 단계
    를 포함하는, 다중 모드를 지원하는 이미지 처리 방법.
17. 제8항에 있어서,
    상기 수신 영상은 차량에 탑재된 카메라 장치로부터 전달되며,
    상기 사용자의 입력은 차량에 탑재된 인터페이스를 통해 입력되는,
    다중 모드를 지원하는 이미지 처리 방법.
18. 제17항에 있어서,
    상기 복수의 영상은 상기 차량의 전방, 후방, 좌측방, 우측방 중 하나에 대한 영상 정보이며,
    상기 사용자 입력은 탑뷰(top view) 또는 미변환 중 적어도 하나를 선택하는 것을 포함하는,
    다중 모드를 지원하는 이미지 처리 방법.
19. 제18항에 있어서,
    상기 영상 정보에 대응하여 구별되는 순람표(lookup table)를 포함하고,
    상기 순람표(lookup table)는 상기 영상 정보에 대응하는 가중치를 포함하는,
    다중 모드를 지원하는 이미지 처리 방법.
20. 프로세서에 의해 실행되는 것을 통하여, 청구항 제8항 내지 제19항 중 어느 한 항에 기재된 다중 모드를 지원하는 이미지 처리 방법을 실현하는 것을 특징으로 하는 응용 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
21. 적어도 하나의 프로세서와 컴퓨터 프로그램이 저장된 적어도 하나의 메모리 장치를 포함하는 프로세싱 시스템을 포함하는 이미지 변환 장치에 있어서,
    상기 프로세싱 시스템은 상기 이미지 변환 장치가
    사용자의 입력에 대응하여 수신 영상에 대한 변환 여부를 결정하고, 상기 변환 여부에 따라 상기 수신 영상을 변환하여 타겟 이미지를 출력하는 단계;
    상기 타겟 이미지에서 밝기 정보를 추출하는 단계; 및
    상기 밝기 정보에 대응하는 조정값을 상기 수신 영상을 변환하는데 적용시키는 단계
    를 수행하도록 하는, 이미지 변환 장치.
22. 제21항에 있어서,
    상기 프로세싱 시스템은 상기 이미지 변환 장치가
    상기 타겟 이미지를 바탕으로 적어도 하나의 카메라 장치의 노출 시간을 조정하는 단계를 더 수행하도록 하고,
    상기 조정값은 상기 밝기 정보 및 상기 노출 시간에 따라 변하는, 다중 모드를 지원하는, 이미지 변환 장치.
23. 제21항에 있어서,
    상기 프로세싱 시스템은 상기 이미지 변환 장치가
    카메라 장치로부터 획득된 상기 수신 영상의 데이터를 수신하는 단계
    를 수행하도록 하는, 이미지 변환 장치.
24. 제23항에 있어서,
    상기 데이터가 베이어 패턴으로 수신되는 경우,
    상기 프로세싱 시스템은 상기 이미지 변환 장치가
    상기 베이어 패턴에 색보간 및 제1이미지처리를 수행하여 영상 이미지를 출력하는 단계
    를 더 수행하도록 하는, 이미지 변환 장치.
25. 제24항에 있어서,
    상기 제1이미지처리는 캘리브레이션(calibration), 렌즈왜곡보정(lens distortion correction), 색 보정(color correction), 감마 보정(gamma correction), 색 공간 변환(color space conversion), 및 에지 인핸스먼트(Edge Enhancement) 중 적어도 하나를 수행하는 것을 포함하는, 이미지 변환 장치.
26. 제21항에 있어서,
    상기 타겟 이미지를 출력하는 단계는
    상기 변환 여부에 대응하여 상기 수신 영상에서 원근감을 제거한 변환 이미지를 생성하는 단계;
    상기 변환된 영상에서 상기 타겟 이미지에 삽입될 영역에 대응하여 추출하는 단계;
    추출된 데이터를 상기 타겟 이미지에 배치시키는 단계; 및
    상기 타겟 이미지를 디스플레이 장치로 전달하는 단계
    를 포함하는, 이미지 변환 장치.
27. 제26항에 있어서,
    상기 변환 이미지는 역투영 이미지 변환(inverse perspective mapping transform)을 수행하여 얻어지는, 이미지 변환 장치.
28. 제27항에 있어서,
    상기 역투영 이미지 변환 및 상기 타겟 이미지에 배치는 순람표(lookup table)를 통해 함께 이루어질 수 있는, 이미지 변환 장치.
29. 제28항에 있어서,
    상기 수신 영상을 변환하는데 적용시키는 단계는
    상기 조정값은 상기 순람표(lookup table)에 배열된 적어도 일부의 데이터를 일괄 변환하는 단계
    를 포함하는, 이미지 변환 장치.
30. 제27항에 있어서,
    상기 수신 영상은 차량에 탑재된 복수의 카메라 장치로부터 전달되며,
    상기 사용자의 입력은 차량에 탑재된 인터페이스를 통해 입력되는, 이미지 변환 장치.
31. 제30항에 있어서,
    상기 수신 영상은 상기 차량의 전방, 후방, 좌측방, 우측방 중 하나에 대한 영상 정보이며,
    상기 사용자 입력은 탑뷰(top view) 및 미변환 중 적어도 하나를 선택하는 것을 포함하는, 이미지 변환 장치.
32. 제31항에 있어서,
    상기 영상 정보에 대응하여 구별되는 순람표(lookup table)를 포함하고,
    상기 순람표(lookup table)는 상기 영상 정보에 대응하는 가중치를 포함하는, 이미지 변환 장치.
33. 사용자의 입력에 대응하여 수신 영상을 변환하여 타겟 이미지를 출력하는 변환부;
    상기 타겟 이미지의 밝기 정보를 전달받아 변환부 내 순람표를 갱신하기 위한 조정값을 출력하는 밝기 제어부; 및
    상기 밝기 정보를 전달받아 카메라 장치의 노출시간을 조정하기 위한 제어신호를 출력하는 조정부
    를 포함하는 이미지 처리 장치.
34. 제33항에 있어서,
    상기 카메라 장치로부터 전달되는 베이어 패턴에 색 보간(color interpolation, demosaicing), 캘리브레이션(calibration), 렌즈왜곡보정(lens distortion correction), 색 보정(color correction), 감마 보정(gamma correction), 색 공간 변환(color space conversion), 및 에지 인핸스먼트(Edge Enhancement) 등의 작업을 선택적으로 수행하여 상기 수신 영상을 출력할 수 있는 이미지 처리부
    를 더 포함하는, 이미지 처리 장치.
35. 제33항에 있어서,
    상기 조정부는 상기 카메라 장치의 노출시간을 조정하는 데 있어 발생하는 변화량 또는 변화율을 상기 밝기 제어부로 전달하고,
    상기 밝기 제어부는 상기 변화율과 상기 밝기 정보를 바탕으로 상기 조정값을 결정하는, 이미지 처리 장치.
36. 제33항에 있어서,
    상기 수신 영상은 상기 차량의 전방, 후방, 좌측방, 우측방 중 하나에 대한 영상 정보이며,
    상기 사용자 입력은 탑뷰(top view) 및 미변환 중 적어도 하나를 선택하는 것을 포함하는, 이미지 처리 장치.
37. 하나의 카메라로부터 획득한 이미지를 복수의 모드에 따른 타겟 이미지를 디스플레이하는 장치에 있어서,
    제1 모드에서 제2 모드로 변경됨 따라 출력되는 영상이 상기 제1 모드의 제1 타겟 이미지에서 상기 제2 모드의 제2 타겟 이미지로 변경하여 출력하는 변환부;및
    상기 제2 타겟 이미지의 밝기가 상기 제2 타겟 이미지를 기준으로 조절하는 제어부를 포함하는 이미지 처리 장치.
38. 적어도 하나의 프로세서와 컴퓨터 프로그램이 저장된 적어도 하나의 메모리 장치를 포함하는 프로세싱 시스템을 포함하며 하나의 카메라로부터 획득한 이미지를 복수의 모드에 따른 타겟 이미지를 디스플레이하는 이미지 처리 장치에 있어서,
    상기 프로세싱 시스템은 상기 이미지 변환 장치가
    제1 모드에서 제2 모드로 변경됨 따라 출력되는 영상이 상기 제1 모드의 제1 타겟 이미지에서 상기 제2 모드의 제2 타겟 이미지로 변경되어 출력되는 단계;및
    상기 제2 타겟 이미지의 밝기가 상기 제2 타겟 이미지를 기준으로 조절되는 단계
    를 수행하도록 하는, 이미지 처리 장치.

Images