KR20190075034A

KR20190075034A - 차량용 영상 생성 장치 및 방법

Info

Publication number: KR20190075034A
Application number: KR1020190073722A
Authority: KR
Inventors: 김영근; 성민제; 이완희; 오병윤; 김성진; 이현제
Original assignee: 주식회사 아이닉스
Priority date: 2019-06-20
Filing date: 2019-06-20
Publication date: 2019-06-28
Also published as: KR102235951B1

Abstract

본 발명은 사용자의 선택, 차량의 주행 상태, 운전자의 운전 상태 등에 따라 차량 주변 및 차량 내부의 영상을 화면에 나타내도록 할 수 있는 차량용 영상 생성 장치 및 방법에 관한 것으로, 본 발명에 따른 차량용 영상 생성 장치는 차량에 부착되는 복수의 광각 카메라를 포함하는 다중 카메라부, 복수의 영상 생성 코어 및 영상합성부를 포함하고, 상기 복수의 영상 생성 코어의 각각은 상기 광각 카메라에서 촬영한 영상들 중의 하나를 입력 영상으로 하고, 설정된 파라미터에 따른 시점을 가지는 가상 카메라를 모델링하고, 상기 입력 영상으로부터 상기 가상 카메라의 시점에서 보여지는 영상을 생성하여 출력하고, 상기 영상합성부는 상기 복수의 영상 생성 코어에서 출력하는 영상을 설정된 화면 구성에 따라 합성하여 출력 영상을 생성하는 영상생성부, 상기 복수의 영상 생성 코어의 각 영상 생성 코어가 영상을 생성하기 위하여 필요한 상기 가상 카메라의 시점을 포함하는 파라미터를 설정하고, 상기 영상합성부에서의 영상 합성을 위한 상기 화면 구성을 설정하는 처리부 및 상기 영상생성부에서 생성한 상기 출력 영상을 출력하는 화면부를 포함할 수 있다.
본 발명에 의하면, 복수의 광각 카메라를 이용하여 차량 주변 및/또는 실내 영상을 촬영하여, 운전자가 안전하게 주행할 수 있도록 하는 다양한 형태의 영상을 생성하여 제공할 수 있고, 또한 차량의 주행 속도나 주행 방향에 맞추어 필요한 영상을 자동으로 생성하여 운전자에게 제공함으로써 운전의 편의성 및 안전성 향상에 도움을 줄 수 있을 것이다.

Description

차량용 영상 생성 장치 및 방법 {Imaging Apparatus and method for Automobile}

본 발명은 차량용 영상 생성 장치 및 방법에 관한 것으로, 더욱 자세하게는 사용자의 선택, 차량의 주행 상태, 운전자의 운전 상태 등에 따라 차량 주변 및 차량 내부의 영상을 화면에 나타내도록 할 수 있는 차량용 영상 생성 장치 및 방법에 관한 것이다.

차량의 안전 운행을 위하여는 운전자가 주변 상황을 인지하고 판단하는 것이 반드시 필요하다. 이를 위하여 차량의 전면은 운전자의 시야를 가능한 한 확보할 수 있도록 설계되고 있으며, 운전자가 바로 볼 수 없는 측방 및 후방의 시야를 확보하기 위하여 사이드미러나 백 미러를 차량의 좌/우 및 실내에 두고 있다. 하지만, 이러한 종래의 거울에 의한 후/측방 인지에는 운전자가 볼 수 없는 상당한 사각지대가 존재하고 있으며 이는 사고를 유발할 수 있는 가능성을 내재하고 있다.

이러한 문제점을 해결하고, 차량의 미관을 사이드미러를 없애고 카메라를 이용하여 후방이나 측방의 영상을 확보하고 이를 운전자에게 보여주는 특허(한국 등록특허 10-1486670호, 10-1660806호)가 제시되고 있지만 그 적용이 사이드미러의 대체제나 보완제로만 한정되어 있다.

[1] KR10-1486670, '디지털 카메라 사이드미러,' 등록일: 2015년 1월 20일 [2] KR10-1660806, '차량의 측후방 시야 확보를 위한 시스템,' 등록일 2016년 9월 22일

본 발명의 목적은 사용자에게 차량 주변 및 내부의 상황을 빠르게 인지시키기 위하여, 사용자의 선택, 차량의 주행 상태, 운전자의 운전 상태 등에 따라 차량 주변 및/또는 내부의 영상을 디스플레이하도록 할 수 있는 주행감응형 차량용 영상 생성 장치 및 방법을 제공함에 있다.

전술한 목적을 달성하기 위한 본 발명에 따른 차량용 영상 생성 장치는 차량에 부착되는 복수의 광각 카메라를 포함하는 다중 카메라부, 복수의 영상 생성 코어 및 영상합성부를 포함하고, 상기 복수의 영상 생성 코어의 각각은 상기 광각 카메라에서 촬영한 영상들 중의 하나를 입력 영상으로 하고, 설정된 파라미터에 따른 시점을 가지는 가상 카메라를 모델링하고, 상기 입력 영상으로부터 상기 가상 카메라의 시점에서 보여지는 영상을 생성하여 출력하고, 상기 영상합성부는 상기 복수의 영상 생성 코어에서 출력하는 영상을 설정된 화면 구성에 따라 합성하여 출력 영상을 생성하는 영상생성부, 상기 복수의 영상 생성 코어의 각 영상 생성 코어가 영상을 생성하기 위하여 필요한 상기 가상 카메라의 시점을 포함하는 파라미터를 설정하고, 상기 영상합성부에서의 영상 합성을 위한 상기 화면 구성을 설정하는 처리부 및 상기 영상생성부에서 생성한 상기 출력 영상을 출력하는 화면부를 포함할 수 있다. 이에 더하여 상기 차량의 주행 상태 정보를 획득하는 차량 센서부 및/또는 사용자로부터 상기 출력 영상을 생성하기 위한 설정 정보 및/또는 요구사항을 입력받는 입력부를 더 포함하고, 상기 처리부는 상기 입력부를 통해 입력된 설정 정보, 요구사항 및/또는 상기 차량 센서부에서 획득한 상기 주행 상태 정보를 바탕으로 상기 파리미터 및/또는 상기 화면 구성을 설정할 수 있다.

또한, 본 발명에 따른 차량용 영상 생성 장치는 상기 복수의 광각 카메라에서 촬영한 영상 및 상기 영상생성부에서 생성한 출력 영상 중 적어도 하나를 저장하는 저장부를 더 포함하고, 상기 저장부는 상기 복수의 광각 카메라에서 촬영한 영상을 저장하는 경우, 상기 복수의 광각 카메라의 각 광각 카메라가 동일 시간대에 촬영한 영상에 동일한 인덱스를 부여함으로써 상기 복수의 광각 카메라에서 촬영한 영상을 동기화시켜 저장하고, 상기 영상생성부에서 생성한 출력 영상을 저장하는 경우, 상기 출력 영상을 생성하기 위해 설정된 상기 복수의 영상 생성 코어의 상기 가상 카메라의 시점을 포함하는 파라미터 및 상기 화면 구성을 함께 저장할 수 있다.

그리고 상기 다중 카메라부의 상기 복수의 광각카메라는 상기 차량의 전방을 촬영하는 전방 카메라, 상기 차량의 후방을 촬영하는 후방 카메라, 상기 차량의 좌, 우 측방을 촬영하는 측방 카메라, 및 실내를 촬영하는 실내 카메라를 포함할 수 있고, 상기 처리부는 상기 전방 카메라의 전방 광각 뷰, 탑(top) 뷰, 버드 아이 뷰, 상기 측방 카메라의 사각지대 뷰, 인접 차선 뷰, 탑 뷰, 상기 후방 카메라의 후방 광각 뷰, 탑 뷰, 도로 영상 뷰, 상기 실내 카메라의 운전석 뷰, 보조석 뷰, 전방 뷰, 전방위 실내 뷰 중의 적어도 하나가 상기 화면부에 출력되도록 상기 화면 구성을 설정할 수 있다.

또한, 상기 화면부는 상기 차량의 왼쪽 창, 오른쪽 창, 센터페시아, 룸미러(room mirror), 전면 유리, 및 앞좌석 뒤쪽 중의 적어도 하나에 위치할 수 있다.

좀 더 상세히 살펴보면, 상기 처리부는 전처리부, 후처리부, 및 주처리부를 포함하고, 상기 전처리부는 상기 다중 카메라부의 복수의 광각 카메라가 촬영한 영상들을 수신하고, 수신한 영상들 각각에 대하여 불량 픽셀의 값 보정(Defect correction), 잡음 제거(Noise Reduction), 및 광역 보정(Wide Dynamic Range) 중의 적어도 하나를 수행하는 전처리 과정을 통해 전처리 영상들을 생성하고, 상기 전처리 영상들을 상기 후처리부로 전달하고, 상기 후처리부는 상기 전처리부로부터 수신한 상기 전처리 영상들 각각에 대하여 밝기 및 색상 신호 분리, 경계부 개선(Edge Enhancement), 감마 보정(Gamma Correction), 색상 보정(Color Correction), 밝기 개선(Contrast Enhancement) 중의 적어도 하나를 포함하는 후처리 과정을 수행하여 후처리 영상들을 생성하여 상기 영상생성부로 전달하고, 상기 주처리부는 상기 입력부를 통해 입력된 설정 정보, 요구사항, 및 상기 차량 센서부에서 획득한 상기 주행 상태 정보 중 적어도 하나를 바탕으로 상기 복수의 영상 생성 코어의 각 영상 생성 코어가 영상을 생성하기 위하여 필요한 상기 가상 카메라의 시점을 포함하는 파라미터를 설정하고, 상기 영상합성부에서의 영상 합성을 위한 상기 화면 구성을 설정할 수 있다.

또한, 상기 주처리부는 상기 복수의 광각 카메라 중 적어도 하나가 촬영한 영상에 대하여 상기 광역 보정을 수행하도록 설정하고, 촬영한 영상에 대하여 광역 보정을 수행하도록 설정된 적어도 하나의 광각 카메라에 대하여 노출이 적은 저 노출 영상 및 노출이 많은 고 노출 영상을 촬영하여 상기 전처리부로 전달할 수 있도록 파라미터를 설정하고, 상기 전처리부는 각 픽셀에 대하여 상기 저 노출 영상 및 상기 고 노출 영상 중 어느 하나의 대응되는 픽셀 값을 선택하여 값을 결정함으로써 광역 보정을 수행할 수 있다.

또한, 상기 후처리부는 상기 후처리 영상에서 움직임을 감지하는 움직임 검출기, 상기 후처리 영상에서 차선을 검출하는 차선 검출기 및 상기 후처리 영상에서 물체를 추적하는 물체 추적기 중 적어도 하나를 포함하고 상기 움직임 검출기에서 획득한 움직임 정보, 상기 차선 검출기에서 획득한 차선 정보 및 상기 물체 추적기에 획득한 물체 추적 정보 중 적어도 하나를 생성하고, 상기 주처리부는 상기 입력부를 통해 입력된 설정 정보, 요구사항, 상기 차량 센서부에서 획득한 상기 주행 상태 정보, 상기 후처리부에서 생성한 상기 움직임 정보, 상기 차선 정보 및 상기 물체 추적 정보 중 적어도 하나를 바탕으로 상기 파라미터 및/또는 상기 화면 구성을 설정할 수 있다.

또한, 상기 주처리부는 상기 후처리부에서 생성한 상기 움직임 정보, 상기 차선 정보 및 상기 물체 추적 정보 중 적어도 하나를 바탕으로 차선, 주차선, 및/또는 차량이 증강현실 방식으로 화면에 추가적으로 합성되도록 상기 화면 구성을 설정할 수 있고, 상기 입력부를 통해 입력된 설정 정보, 요구사항, 상기 차량 센서부에서 획득한 상기 주행 상태 정보, 상기 후처리부에서 생성한 상기 움직임 정보, 상기 차선 정보 및 상기 물체 추적 정보 중 적어도 하나를 바탕으로 미리 설정된 시나리오에 따라 영상이 화면부에 출력되도록 상기 파라미터 및/또는 상기 화면 구성을 설정할 수 있다.

그리고 상기 전처리부는 상기 수신한 영상으로부터 상기 복수의 광각 카메라가 촬영한 각 영상에 대하여 자동 색온도 보정(Auto White Balance), 자동 노출(Auto Exposure), 및 자동 초점(Auto Focus) 중 적어도 하나와 연관된 정보를 추출하여 상기 주처리부로 전달하고, 상기 주처리부는 상기 전처리부로부터 수신한 자동 색온도 보정, 자동 노출, 및 자동 초점 중 적어도 하나와 연관된 정보를 바탕으로 상기 복수의 광각 카메라의 촬영을 위한 파라미터를 설정하는데, 상기 복수의 광각 카메라의 촬영을 위한 파라미터로 셔터 속도(Shutter speed), 색상 이득 값(color gains), 영상해상도, 프레임 레이트(frame rate) 중 적어도 하나를 사용할 수 있다.

또한, 상기 전처리부는 상기 수신한 영상으로부터 상기 복수의 광각 카메라가 촬영한 각 영상에 대하여 자동 색 온도 보정(Auto White Balance), 자동 노출(Auto Exposure), 및 자동 초점(Auto Focus) 중 적어도 하나와 연관된 정보를 추출하여 상기 주처리부로 전달하고, 상기 주처리부는 상기 전처리부로부터 수신한 자동 색 온도 보정, 자동 노출, 및 자동 초점 중 적어도 하나와 연관된 정보, 상기 입력부를 통해 입력된 설정 정보, 요구사항, 상기 차량 센서부에서 획득한 상기 주행 상태 정보, 상기 후처리부에서 생성한 상기 움직임 정보, 상기 차선 정보, 및 상기 물체 추적 정보 중 적어도 하나를 바탕으로 상기 복수의 광각 카메라의 촬영을 위한 파라미터를 설정할 수 있다.

그리고 상기 후처리부는 상기 저장부가 있는 경우, 상기 후처리 영상들을 비디오 코덱을 이용하여 압축하여 상기 저장부로 추가적으로 전달할 수 있다.

그리고 상기 영상 생성 코어는 상기 처리부에 의해 설정되는 파라미터에 따라 각각의 시점 및 유형을 가지는 하나 이상의 가상 카메라를 모델링하는 가상 카메라 모델부, 상기 하나 이상의 가상 카메라의 각 가상 카메라에 의해 보여지는 영상인 출력 영상과 상기 광각 카메라에 의해 촬영된 영상인 입력 영상 간에 매핑 시 영상 효과를 추가하기 위하여 사용되는 2차 곡면을 제공하는 2차 곡면 모델부 및 상기 입력 영상에 포함되어 있는 왜곡을 제거하면서 각 가상 카메라별 상기 출력 영상과 입력 영상 간의 매핑을 수행하도록 하는 카메라 투영 모델을 제공하는 카메라 투영 모델부를 포함할 수 있고, 여기서 상기 카메라 투영 모델부는 상기 가상 카메라 모델부의 각 가상 카메라의 광축 중심과 출력 영상 상의 한 점을 연결하는 직선인 투영선과 상기 2차 곡면의 교차점을 계산하고, 상기 교차점을 상기 입력 영상에 포함되어 있는 왜곡을 제거하기 위한 왜곡 보정 매핑 함수를 이용하여 상기 입력 영상 상의 한 점으로 매핑함으로써, 상기 각 가상 카메라별 출력 영상과 상기 입력 영상 간의 매핑을 수행할 수 있다.

전술한 목적을 달성하기 위한 본 발명에 따른 차량용 영상 생성 방법은 복수의 광각 카메라로 복수의 영상을 촬영하는 단계, 출력 화면 구성 및 출력 영상을 설정하는 단계, 상기 출력 화면 구성 및 상기 출력 영상을 생성하기 위하여 가상 카메라의 시점을 포함하는 파라미터를 설정하는 단계, 가상 카메라 기반의 영상생성부 내의 복수의 영상 생성 코어 각각이 상기 복수의 영상 중의 하나를 입력 영상으로 하고, 설정된 상기 가상 카메라의 시점을 포함하는 파라미터에 따라 가상 카메라를 모델링하고, 상기 입력 영상으로부터 상기 가상 카메라의 시점에서 보여지는 영상을 생성하고, 상기 복수의 영상 생성 코어에서 생성한 영상을 설정된 상기 출력 화면 구성에 따라 합성하여 출력 영상을 생성하는 단계 및 상기 출력 영상을 화면에 표시하는 단계를 포함할 수 있다.

이에 더하여 상기 차량의 주행 상태 정보를 획득하는 단계, 사용자로부터 상기 출력 화면 구성 및 상기 출력 영상을 생성하기 위한 사용자 설정 정보를 입력받는 단계 중 적어도 하나의 단계를 더 포함하고, 상기 출력 화면 구성 및 출력 영상을 설정하는 단계는 상기 주행 상태 정보 및 상기 사용자 설정 정보 중 적어도 하나를 바탕으로 출력 화면 구성 및 출력 영상을 설정하는 단계를 포함하고, 상기 파라미터를 설정하는 단계는 상기 주행 상태 정보 및 상기 사용자 설정 정보 중 적어도 하나를 바탕으로 파라미터를 설정하는 단계를 포함할 수 있고, 상기 주행 상태 정보 및 상기 사용자 설정 정보 중 적어도 하나를 바탕으로 출력 화면 구성 및 출력 영상을 설정하는 단계는 상기 주행 상태 정보 중 차량 진행 속도에 맞춰 가상 카메라의 줌 및 틸트 파라미터들을 설정하여 상기 가상 카메라의 시점을 설정하는 단계, 또는 상기 주행 상태 정보 중 차량 진행 방향에 맞춰 가상 카메라의 줌 및 팬 파라미터들을 설정하여 상기 가상 카메라의 시점을 설정하는 단계, 또는 상기 사용자 설정 정보에 따라 가상 카메라의 줌, 팬 및 틸트 파라미터들을 설정하여 상기 가상 카메라의 시점을 설정하는 단계를 포함할 수 있다.

또한, 상기 방법은 상기 복수의 광각 카메라에서 촬영한 영상 및 상기 출력 영상 중 적어도 하나를 저장하는 단계를 더 포함할 수 있는데, 이 단계는 상기 복수의 광각 카메라에서 촬영한 영상을 저장하는 경우, 상기 복수의 광각 카메라의 각 광각 카메라가 동일 시간대에 촬영한 영상에 동일한 인덱스를 부여함으로써 상기 복수의 광각 카메라에서 촬영한 영상을 동기화시켜 저장하는 단계를 포함할 수 있고, 상기 출력 영상을 저장하는 경우, 상기 출력 영상을 생성하기 위해 설정된 상기 가상 카메라의 시점을 포함하는 파라미터를 함께 저장할 수 있다.

그리고 상기 출력 화면 구성 및 출력 영상을 설정하는 단계는 전방 카메라의 전방 광각 뷰, 탑(top) 뷰, 버드 아이 뷰, 측방 카메라의 사각지대 뷰, 인접 차선 뷰, 탑 뷰, 후방 카메라의 후방 광각 뷰, 탑 뷰, 도로 영상 뷰, 실내 카메라의 운전석 뷰, 보조석 뷰, 전방 뷰, 전방위 실내 뷰 중의 적어도 하나를 포함하도록 출력 화면 구성 및 출력 영상을 설정하는 단계를 포함할 수 있다.

또한, 상기 출력 영상을 생성하는 단계는 상기 복수의 광각 카메라가 촬영한 복수의 영상들을 수신하고, 수신한 복수의 영상들 각각에 대하여 불량 픽셀의 값 보정(Defect correction), 잡음 제거(Noise Reduction), 및 광역 보정(Wide Dynamic Range) 중의 적어도 하나를 수행하여 전처리 영상들을 생성하는 전처리 단계, 상기 전처리 단계에서 생성된 상기 전처리 영상들 각각에 대하여 밝기 및 색상 신호 분리, 경계부 개선(Edge Enhancement), 감마 보정(Gamma Correction), 색상 보정(Color Correction), 및 밝기 개선(Contrast Enhancement) 중의 적어도 하나를 수행하여 후처리 영상들을 생성하는 후처리 단계, 가상 카메라 기반의 영상생성부 내의 복수의 영상 생성 코어 각각이 상기 후처리 영상들 중의 하나를 입력 영상으로 하고, 설정된 상기 가상 카메라의 시점을 포함하는 파라미터에 따라 가상 카메라를 모델링하고, 상기 입력 영상으로부터 상기 가상 카메라의 시점에서 보여지는 영상을 생성하는 단계 및 상기 복수의 영상 생성 코어에서 생성한 영상들을 설정된 상기 출력 화면 구성에 따라 합성하여 출력 영상을 생성하는 단계를 포함할 수 있다.

또한, 상기 전처리 단계의 광역 보정은 광각 카메라의 셔터 속도를 조절하여 노출이 서로 다른 2장의 광역 보정용 영상을 생성하는 단계, 상기 2장의 광역 보정용 영상을 바탕으로 광역 보정 임계치를 설정하는 단계, 상기 광역 보정 임계치를 바탕으로 영상 내의 각 픽셀의 값에 대하여 노출이 적은 저 노출 영상의 대응하는 픽셀 값을 사용할 것인지 아니면 노출이 많은 고 노출 영상의 대응하는 픽셀 값을 사용할 것인지를 결정하여 노출 영역 정보로 저장하는 단계 및 광역 보정된 전처리 영상을 생성하기 위하여, 광역 보정된 전처리 영상의 각 픽셀 값을 결정하되, 상기 노출 영역 정보에 따라 선택된 상기 광각 카메라에서 입력되는 노출이 서로 다른 2장의 영상 중의 하나의 픽셀 값으로 결정하는 단계를 포함할 수 있다.

또한, 상기 파라미터를 설정하는 단계는 상기 후처리 영상에서 움직임을 감지하여 움직임 정보를 획득하는 단계, 상기 후처리 영상에서 차선을 검출하여 차선 정보를 획득하는 단계, 및 상기 후처리 영상에서 물체를 추적하여 물체 추적 정보를 획득하는 단계 중 적어도 하나를 포함하고, 상기 움직임 정보, 상기 차선 정보, 상기 물체 추적 정보 상기 주행 상태 정보, 및 상기 사용자 설정 정보 중 적어도 하나를 바탕으로 파라미터를 설정하는 단계를 포함할 수 있다.

또한, 상기 전처리 단계는 상기 수신한 영상으로부터 상기 복수의 광각 카메라가 촬영한 각 영상에 대하여 자동 색온도 보정(Auto White Balance), 자동 노출(Auto Exposure), 및 자동 초점(Auto Focus) 중 적어도 하나와 연관된 정보를 추출하는 단계를 더 포함하고, 상기 파라미터를 설정하는 단계는 상기 전처리부단계에서 추출한 상기 자동 색온도 보정, 자동 노출, 및 자동 초점 중 적어도 하나와 연관된 정보, 상기 움직임 정보, 상기 차선 정보, 상기 물체 추적 정보 상기 주행 상태 정보, 및 상기 사용자 설정 정보 중 적어도 하나를 바탕으로 상기 복수의 광각 카메라의 촬영을 위한 파라미터를 설정하는 단계를 포함할 수 있다.

또한, 상기 가상 카메라 기반의 영상생성부 내의 복수의 영상 생성 코어 각각이 상기 후처리 영상들 중의 하나를 입력 영상으로 하고, 설정된 상기 가상 카메라의 시점을 포함하는 파라미터에 따라 가상 카메라를 모델링하고, 상기 입력 영상으로부터 상기 가상 카메라의 시점에서 보여지는 영상을 생성하는 단계는 설정된 상기 파라미터에 따라 가상 카메라를 모델링하는 단계, 상기 가상 카메라에 의해 보여지는 영상과 상기 입력 영상 간에 매핑 시 영상 효과를 추가하기 위하여 사용되는 2차 곡면을 모델링하는 단계, 상기 입력 영상에 포함되어 있는 왜곡을 제거하면서 상기 가상 카메라의 시점에서 보여지는 영상과 입력 영상 간의 매핑을 수행하도록 하는 카메라 투영 모델 생성 단계, 상기 가상 카메라의 광축 중심과 상기 가상 카메라의 시점에서 보여지는 영상상의 한 점을 연결하는 직선인 투영선과 상기 2차 곡면의 교차점을 계산하는 단계 및 상기 교차점을 상기 입력 영상에 포함되어 있는 왜곡을 제거하기 위한 왜곡 보정 매핑 함수를 이용하여 상기 입력 영상 상의 한 점으로 매핑하는 단계를 포함할 수 있다.

또한, 컴퓨터 또는 프로세서상에서 실행될 때, 상술한 방법 중 어느 하나에 따른 방법을 실행하는 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램을 포함할 수 있다.

본 발명에 의하면, 복수의 광각 카메라를 이용하여 차량 주변 및/또는 실내 영상을 촬영하여, 운전자가 안전하게 주행할 수 있도록 하는 다양한 형태의 영상을 생성하여 제공하는 효과가 있다.

또한, 본 발명에 의하면, 차량 진행 방향에 따라 자동으로 줌 (zoom) 및 팬 (pan)이 되는 영상, 차량 진행속도에 따라 자동으로 줌 (zoom) 및 틸트 (tilt) 되는 영상, 차량 진행 방향에 따라 자동으로 줌 (zoom) 및 팬 (pan) 이 되는 영상, 운전자의 시야에서 벗어나 보이지 않는 영역의 사각 지대 영상, 차량의 위에서 보는 것과 같은 듯한 탑 뷰(top view) 영상, 차량을 외부에서 조종하는 것과 같은 3인칭 시점 (viewpoint) 의 버드아이(bird-eye) 영상, 또는 인접 차선 차량의 동선 및 진행 속도 등을 확인할 수 있도록 자동으로 추적해서 보여주는 추적 영상 등을 생성하여 제공하는 효과가 있다.

또한, 본 발명에 의하면, 실내에 여러 대의 카메라를 설치해서 촬영한 것과 같은 다중뷰 영상을 제공하고, 이에 더하여 운전자의 운전상태를 확인할 수 있는 운전석 뷰, 보조석의 상황을 확인할 수 있는 보조석 뷰, 실내 상황을 전체적을 확인할 수 있는 전방위 실내 뷰, 실내 상황을 보여주는 뷰들과 함께 전방 주행상황도 같이 확인할 수 있는 전방 뷰 등을 생성하여 제공하는 효과가 있다.

또한, 본 발명에 의하면, 전방뷰 생성시 실내와 실외의 심한 조도차를 맞추기 위해 광역 보정 (wide dynamic range) 기술을 적용하며, 유리창과 같은 임의의 보정 윈도우를 자동으로 설정하는 기능을 제공하는 효과가 있다.

또한, 본 발명에 의하면, 차량의 속도에 따라 적절히 영상 센서를 제어하여 영상 해상도 및 프레임 레이트 (frame rate)를 가변하여 촬영하고 저장하는 기능을 제공하여 고속 주행시 혹은 차량 충돌시 프레임 레이트를 높여 초고속 영상을 제공하거나, 저속 주행시에는 프레임 레이트를 낮추면서 해상도를 높여 초고해상도 영상을 제공함으로써, 운전자가 빠르게 상황을 인지할 수 있도록 도와주고, 저장된 영상으로 사고 후처리가 용이하도록 도울 수 있는 효과가 있다.

또한, 본 발명에 의하면, 주차후 문열림시, 후방에서 오는 차량 여부들을 확인할 수 있도록 측면 및 후방 카메라에서 후방 차량을 확인하기 편리한 시야각의 영상을 생성하여 미러 혹은 실내 디스플레이 창에 표시하고, 검출 차량의 위치, 차선 변경 가능 여부, 주차선 등의 정보도 함께 표시하는 기능을 포함하여 하차시의 안전을 도모하는 효과가 있다.

도 1은 본 발명의 일 실시 예에 따른 차량용 영상 생성 장치를 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 차량에 설치된 복수의 광각 카메라들을 이용하여 구성된 다중 카메라부(100)를 도시한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 화면부(800)의 영상 출력 구성을 도시한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 임의 시점의 가상 카메라 기반의 영상생성부(700)의 구성을 도시한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 가상 카메라 모델부(710)의 개략적인 구성을 도시한 도면이다.
도 6은 장면 좌표계(world coordinate)와 비교한 가상 카메라 좌표계 {n}을 도시한다.
도 7은 가상 카메라의 광축 중심을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 2차 곡면 모델부의 개략적인 구성을 도시한 도면이다.
도 9a 및 도 9b는 본 발명의 일 실시 예에 따른 타원체 모델(324), 실린더 모델(325), 및 포물면 모델(326)에 대한 파라미터를 도시한 도면이다.
도 10은 본 발명의 일 실시 예에 따른 카메라 투영 모델부(730)의 개략적인 구성을 도시한 도면이다.
도 11은 2차 곡면 모델과 가상 카메라의 투영선의 교차점(

)의 일 예를 도시한 도면이다.
도 12는 본 발명의 일 실시 예에 따른 장면 좌표계상의 한 점(

)을 왜곡 없는 이상적인 영상 평면(

)의 대응하는 점으로 매핑하는 과정을 도시한다.
도 13은 본 발명의 일 실시 예에 따른 가상 카메라의 투영선과 2차 곡면 모델과의 교차점(

)이 왜곡이 해소된 이상적인 영상 평면상의 좌표(

)에 재투영되는 것을 도시한 도면이다.
도 14는 영상생성부(700)의 영상 생성 코어에 입력되는 입력 영상 및 이에 포함된 왜곡을 보정하여 영상 생성 코어에서 출력하는 영상의 일 예를 도시한 도면이다.
도 15는 본 발명의 일 실시 예에 따른 차량 진행 속도에 따라 자동으로 가상 카메라가 줌 및 틸트되도록 영상 생성 코어를 설정한 결과를 도시한 도면이다.
도 16은 본 발명의 일 실시 예에 따른 차량 진행 방향에 따라 자동으로 가상 카메라가 줌 및 팬이 되도록 영상 생성 코어를 설정한 결과를 도시한 도면이다.
도 17은 측면 광각 카메라(도 2의 C2 또는 C3)가 촬영한 영상(도 17 (a))으로부터 사각 지대 영상, 위에서 보는 듯한 영상, 인접 차선 영상을 생성한 결과를 도시한 도면이다.
도 18은 후방 광각 카메라(도 2의 C4)가 촬영한 영상(도 18 (a))으로부터 주행 시 필요한 광각의 후방 영상, 후진 주차 시 차량과 주차선을 함께 표시한 도로 영상, 정확한 주차선을 보여주기 위한 위에서 보는 듯한 top 뷰 영상 등을 생성한 결과를 도시한 도면이다.
도 19는 실내 광각 카메라(도 2의 C5)가 촬영한 영상(도 19 (a))으로부터 운전자 상황을 확인할 수 있는 운전석 뷰, 보조석 뷰, 전방위 실내 뷰, 전방 주행상황을 동시에 확인할 수 있는 전방 뷰 등을 생성한 결과를 도시한 도면이다.
도 20은 본 발명의 일 실시 예에 따른 주행감응형 차량용 영상 생성 방법을 도시한 도면이다.
도 21은 본 발명의 일 실시 예에 따른 차량용 영상 생성 장치에서 출력 영상을 생성하는 방법을 도시한 도면이다.
도 22는 본 발명의 일 실시 예에 따른 광역 보정 방법을 도시한 도면이다.
도 23은 본 발명의 일 실시 예에 따른 영상 생성 코어에서 영상을 생성하는 방법을 도시한 도면이다.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

어느 부분이 다른 부분의 "위에" 있다고 언급하는 경우, 이는 바로 다른 부분의 위에 있을 수 있거나 그 사이에 다른 부분이 수반될 수 있다. 대조적으로 어느 부분이 다른 부분의 "바로 위에" 있다고 언급하는 경우, 그 사이에 다른 부분이 수반되지 않는다.

제1, 제2 및 제3 등의 용어들은 다양한 부분, 성분, 영역, 층 및/또는 섹션들을 설명하기 위해 사용되나 이들에 한정되지 않는다. 이들 용어들은 어느 부분, 성분, 영역, 층 또는 섹션을 다른 부분, 성분, 영역, 층 또는 섹션과 구별하기 위해서만 사용된다. 따라서, 이하에서 서술하는 제1부분, 성분, 영역, 층 또는 섹션은 본 발명의 범위를 벗어나지 않는 범위 내에서 제2부분, 성분, 영역, 층 또는 섹션으로 언급될 수 있다.

여기서 사용되는 전문 용어는 단지 특정 실시 예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.

"아래", "위" 등의 상대적인 공간을 나타내는 용어는 도면에서 도시된 한 부분의 다른 부분에 대한 관계를 보다 쉽게 설명하기 위해 사용될 수 있다. 이러한 용어들은 도면에서 의도한 의미와 함께 사용 중인 장치의 다른 의미나 동작을 포함하도록 의도된다. 예를 들면, 도면 중의 장치를 뒤집으면, 다른 부분들의 "아래"에 있는 것으로 설명된 어느 부분들은 다른 부분들의 "위"에 있는 것으로 설명된다. 따라서 "아래"라는 예시적인 용어는 위와 아래 방향을 전부 포함한다. 장치는 90˚ 회전 또는 다른 각도로 회전할 수 있고, 상대적인 공간을 나타내는 용어도 이에 따라서 해석된다.

다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련 기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.

이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

본 발명에서 제시하는 차량용 영상 생성 장치 및 방법은 복수의 광각 카메라를 이용하여 차량 주변 및/또는 실내 영상을 촬영하여, 운전자가 안전하게 주행할 수 있도록 하는 다양한 형태의 영상을 생성하여 제공할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 차량용 영상 생성 장치를 도시한 도면이다.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 차량용 영상 생성 장치는 다중 카메라부(100), 다중 카메라부(100)로부터 오는 영상을 전처리하여 후처리부(400)로 전달하는 전처리부(200), 전처리부(200)에서 오는 현재 영상 또는 저장부(300)로부터 읽어 들이는 과거 영상 내에서 움직임 정보나 물체 추적 정보를 획득하여 주처리부(500)로 전달하는 후처리부(400), 사용자의 요구 사항, 설정 사항 등을 입력 받기 위한 입력부(600), 차량의 현재 속도, 가속도, 각속도 등의 주행 상태 정보를 획득하는 차량 센서부(900), 입력부(600)를 통해 입력되는 사용자의 요구 사항, 차량 센서부(900)를 통해 입력되는 차량의 상태 정보, 및/또는 후처리부(400)로부터 오는 움직임 정보나 물체 추적 정보를 바탕으로 영상생성부(700)를 위한 파라미터들을 설정하는 주처리부(500), 후처리부(400)에서 입력되는 영상 및 주처리부(500)에서 입력되는 설정을 바탕으로 임의 시점의 가상 카메라 모델을 생성하여 다양한 영상을 생성하는 영상생성부(700), 및 영상생성부(700)에서 생성한 영상을 표시하는 화면부(800)를 포함할 수 있다. 영상생성부(700)에서 생성한 영상은 또한 저장부(300)에 저장될 수 있다. 상기 전처리부(200), 후처리부(400), 및 주처리부(500)는 하나의 프로세스로 구현되어 처리부를 구성할 수 있다.

이하 각 부를 좀 더 상세히 살펴본다.

도 2는 본 발명의 일 실시 예에 따른 차량에 설치된 복수의 광각 카메라들을 이용하여 구성된 다중 카메라부(100)를 도시한 도면이다.

도 2를 참조하면, 본 발명의 일 실시 예에 따라 차량에는 C1부터 C5까지의 5개의 광각 카메라가 각각 전방, 좌측면, 우측면, 후방 및 실내에 구비될 수 있다. 각 광각 카메라의 위치는 십자 (cross) 마크 ('+')로 표시하였으며, 이들이 볼 수 있는 화각 (field of view)은 부채꼴 형태 또는 원형의 회색 영역으로 표현될 수 있다. 전방 광각 카메라(C1)는 차량의 앞 단에 위치할 수 있으며, 운전자 시야보다 앞선 전방 상황을 촬영할 수 있다. 주차장 등에서 후진 주차 시, 좌우에 위치한 차들에 의해 운전자의 시야가 가려질 수 있고, 이에 따라 운전자는 측면에서 다가오는 차량을 확인하기 어려워 사고 가능성이 커진다. 이러한 경우 앞 단에 위치한 전방 광각 카메라(C1)의 영상은 운전자로 하여금 전방 상황을 쉽게 확인할 수 있도록 도와줄 수 있다. 좌측, 우측 측면 광각 카메라(C2, C3)는 운전자의 시점과 비슷한 시점으로 넓은 범위의 측면 영상을 얻을 수 있도록 하기 위하여 종래 사이드미러 근처에 위치할 수 있다. 후방 광각 카메라(C4)는 후방 상황을 먼저 확인할 수 있도록 트렁크 손잡이 근처 혹은 트렁크 상단에 위치할 수 있으며, 실내 광각 카메라(C5)는 운전석, 보조석, 뒷열 좌석 및 전방 유리창 등 차량의 실내를 모두 포함할 수 있도록 전방 유리 상단 혹은 룸 미러 근처에 위치할 수 있다.

도 2의 일 실시 예에서는 5개의 광각 카메라가 차량에 구비된 것을 설명하였지만 1개의 옴니(omni) 카메라 또는 2개의 광각 카메라가 차량의 지붕에 구비되어 차량의 주변을 촬영하고, 1개의 카메라가 차량의 실내를 촬영하는 형태의 2개 또는 3개의 카메라로 다중 카메라부(100)를 구성할 수 있다.

도 2의 일 실시 예에 도시된 것처럼 다중 카메라부(100)는 복수의 광각 카메라를 구비하고 있고, 각각의 광각 카메라는 광각 렌즈가 장착되어 있으며, 직렬 디지털 인터페이스 (Serial Digital Interface; SDI) 혹은 병렬 디지털 인터페이스 (Parallel Digital Interface; PDI) 방식을 이용하여 촬영한 영상을 전처리부(200)로 전달할 수 있고, 각 광각 카메라를 제어하기 위한 해상도 및 프레임 레이트(frame rate) 등을 포함하는 제어 파라미터를 주처리부(500)로부터 받을 수 있다.

도 3은 본 발명의 일 실시 예에 따른 화면부(800)의 영상 출력 구성을 도시한 도면이다.

영상생성부(700)에서 생성된 영상은 화면부(800)에 표시될 수 있는데, 화면부(800)의 화면은 차량의 왼쪽 창 및 오른쪽 창에 위치할 수 있고, 특히 종래의 사이드미러와 운전자의 시야 사이의 왼쪽 창 및 오른쪽 창에 위치할 수 있다. 또는, 대시 보드(Dash board)의 센터페시아(Center fascia), 룸미러(room mirror), 차량의 전면 유리 등에 위치할 수도 있으며, 차량의 앞좌석 뒤쪽에 위치하여 탑승자에게 영상을 제공할 수도 있다. 화면부(800)는 사용자 입력에 따라 PIP(Picture in Picture) 기능을 포함한 다양한 조합으로 영상생성부(700)에서 생성한 영상들을 표시할 수 있다.

도 3을 참조하면, 도 3의 (a)는 화면부(800) 전체에 도 2의 5개의 광각 카메라 영상 중 하나를 선택하여 표시하는 화면부(800)의 구성을 도시하고 있고, (b)는 화면부(800)를 4 분할하여 C1 내지 C4의 광각 카메라로 촬영한 영상을 각 분할된 화면에 보여주는 화면부(800)의 구성을 도시하고 있고, (c) 및 (d)는 화면부(800)를 임의 크기로 4 분할하고 C1 내지 C4의 광각 카메라로 촬영한 영상을 각 분할된 화면에 보여주는 화면부(800)의 구성을 도시하고 있고, (e)는 화면부(800)를 임의 크기로 5 분할하고 C1 내지 C5의 광각 카메라로 촬영한 영상을 각 분할된 화면에 보여주는 화면부(800)의 구성을 도시하고 있다. 특히 각 화면부(800)의 구성에 있어서 각 광각 카메라가 표시되는 분할 화면의 위치는 각 광각 카메라의 차량의 위치에 맞추어 주는 것이 바람직할 것이다. 이외에도 사용자 설정에 따라 다양한 조합으로 화면부(800)를 구성할 수 있다.

그리고 화면부(800)의 전체 화면이 분할되어 몇 개의 화면을 구성하는 경우 각 화면의 크기는 차량 주행 상황에 따라 실시간으로 변경될 수 있다. 일 예로서, 차량이 좌회전하고자 하는 경우 왼쪽 측방 카메라 및 전방 카메라에 의해 촬영된 영상을 출력하는 화면은 커지고, 후방 카메라 및 오른쪽 측방 카메라에 의해 촬영된 영상을 출력하는 화면은 작아질 수 있다. 그리고 다시 직진을 하게 되면 원래 설정된 화면 크기로 돌아올 수 있다. 또 다른 일 예로서, 차량이 직진하고 있을 때 왼쪽 추월 차선에서 다른 차량이 자신의 차량을 추월하고 있는 경우 후방 카메라에 의해 촬영된 영상을 출력하는 화면이 커졌다가 다음으로 왼쪽 카메라에 의해 촬영된 영상을 출력하는 화면을 키우면서 추월하는 다른 차량을 추적하면서 보여줄 수 있다.

다시 도 1을 참조하면, 전처리부(200)는 다중 카메라부(100)로부터 입력되는 영상을 수신하여 입력되는 영상으로부터 자동 색온도 보정(Auto White Balance; AWB), 자동 노출(Auto Exposure; AE), 자동 초점(Auto Focus; AF) 등의 광각 카메라를 제어하는데 필요한 정보를 추출하여 주처리부(500)로 전달하고, 불량 픽셀의 값 보정(Defect correction), 잡음 제거(Noise Reduction; NR) 및 광역 보정(Wide Dynamic Range; WDR)의 과정을 수행한 전처리 영상을 생성하고, 전처리 영상을 후처리부(400)로 전달할 수 있다. 이러한 전처리는 다중 카메라부(100)의 각 카메라에서 촬영한 각 영상에 대하여 별도로 수행될 수도 있거나 통합하여 함께 수행될 수도 있다.

이 중 전처리부(200)의 광역 보정 기능은 차량 실내외 조도차를 제거하여 선명한 영상을 생성하기 위하여 수행할 수 있다. 도 2의 C5 광각 카메라처럼 실내에 설치된 카메라의 경우, 차량의 실내와 실외를 모두 촬영할 수 있다. 그런데 실내와 실외의 조도차가 크기 때문에, 하나의 카메라를 이용하여 실내와 실외 영상을 모두 촬영하기 위해서는 광역 보정 기술이 절대적으로 요구된다. 하지만, 종래의 광역 보정 기술은 하나의 화면에 대하여 셔터(Shutter) 속도를 달리하여 저 노출 영상과 고 노출 영상을 촬영하고, 픽셀별로 저 노출 영상 및 고 노출 영상의 대응하는 픽셀 값을 조합하여 최종 픽셀 값을 정하는 방식을 일반적으로 사용한다. 여기서, 저 노출 영상은 카메라의 노출을 작게 하였기 때문에 밝은 부분도 어둡게 표현되는 영상이고, 고 노출 영상은 카메라의 노출을 크게 하였기 때문에 어두운 부분도 밝게 표현되는 영상이다. 그러나 이러한 종래의 광역 보정 기술은 한 영상 내에 고조도 영상과 저조도 영상이 구분되어 포함되어 있는 차량용 카메라 영상에는 적합하지 않다. 이러한 차량용 카메라 영상의 경우에는 픽셀별로 고 노출 영상 또는 저 노출 영상 중의 하나만을 선택하는 것이 더 적합할 수 있다. 즉, 조도가 높아 밝은 부분에 해당하는 픽셀은 저 노출 영상의 대응하는 픽셀 값을, 조도가 낮아 어두운 부분에 해당하는 픽셀은 고 노출 영상의 대응하는 픽셀 값을 그 값으로 할 수 있다.

본원 발명에서 제시하는 광역 보정 기술은 광각 카메라가 차량에 고정되어 부착되어 있는 것이 일반적이고, 따라서 광각 카메라로 촬영한 한 영상 내에서 고조도 영상(밝은 부분의 영상; 주로 차량 실외)과 저조도 영상(어두운 부분의 영상; 주로 차량 실내)이 위치하는 곳이 항상 일정할 것이다. 이를 바탕으로 초기 설정 모드에서 픽셀별로 고 노출 영상을 사용할 것인지 저 노출 영상을 사용할 것인지를 결정하여 노출 영역 정보로 설정하여 놓고, 이후 실제 운용 시에는 설정한 노출 영역 정보에 따라 각 픽셀의 값을 고 노출로 촬영한 영상의 것을 사용하거나 또는 저 노출로 촬영한 영상의 것을 사용함으로써 차량 실내외 조도차를 제거한 선명한 영상을 생성할 수 있다.

본원 발명에서 제시하는 광역 보정 기술의 초기 설정 모드 동작을 보면, 먼저 광각 카메라의 셔터 속도를 조절하여, 두 가지의 노출 값을 적용한 두 장의 광역 보정용 영상, 즉 저 노출 영상 및 고 노출 영상(I₁ 및 I₂)을 입력받는다. 이때 광각 카메라의 프레임 레이트는 60 fps(frame per second)일 수 있다. 일반적으로 영상은 30 fps로 생성되고, 광역 보정 기술은 한 화면에 대하여 저 노출 영상과 고 노출 영상 2개를 사용하여야 하므로 광각 카메라는 60 fps 속도로 영상을 생성하여야 한다. 전처리부(200)의 광대역 영상 보정 기능은 입력된 광역 보정용 영상 I₁ 및 I₂를 바탕으로 광역 보정 임계치를 설정하고, 이 광역 보정 임계치를 바탕으로 영상 내의 각 픽셀에 대하여 저 노출 영상의 대응하는 픽셀 값을 사용할 것인지 아니면 고 노출 영상의 대응하는 픽셀 값을 사용할 것인지를 결정하고, 노출 영역 정보를 생성한다. 이렇게 생성된 노출 영역 정보는 저장부(300)에 저장될 수 있고, 추후 실제 운용 중에 광역 보정을 위하여 사용될 수 있다.

일반 운용 모드에서도 광각 카메라는 셔터 속도를 조절하여 저 노출 영상과 고 노출 영상을 촬영하여 전처리부(200)로 전송한다. 전처리부(200)의 광대역 영상 보정 모듈은 초기 설정 모드에서 결정한 노출 영역 정보를 바탕으로 픽셀별로 저 노출 영상의 픽셀 값을 가져오거나 또는 고 노출 영상의 픽셀 값을 가져와서 새로운 영상을 생성하여 후처리부(400)로 전달할 수 있다. 상술한 방법을 통해 실내, 실외에 해당하는 영역을 영상에서 자동으로 판별하여 노출 영역 정보를 설정함으로써 실내, 실외의 조도차를 제거할 수 있다.

이와 같은 전처리부(200)의 광대역 영상 보정 기능은 차량에 구비된 모든 광각 카메라의 영상에 적용될 수도 있지만 조도차가 확연히 나타나는 실내와 실외를 동시에 촬영할 수 있는 광각 카메라(도 2의 예에서는 C5)의 영상에만 적용할 수 있다. 따라서 주처리부(500)는 다중 카메라부(100)의 복수의 광각 카메라로부터 입력되는 영상 중 광역 보정 기술을 적용할 영상을 생성할 광각 카메라에 대하여는 60fps로 프레임 레이트를 설정할 수 있고, 또한 저 노출 영상을 위한 셔터 속도 및 고 노출 영상을 위한 셔터 속도를 설정할 수 있다. 반면에 광역 보정 기술을 적용하지 않는 광각 카메라에 대하여는 30 fps로 프레임 레이트를 설정할 수 있고, 셔터 속도 또한 하나의 값으로 설정할 수 있다.

후처리부(400)는 전처리부(200)를 통해 다중 카메라부(100)에서 촬영한 영상들을 전처리한 영상들을 입력받거나 또는 저장부(300)로부터 과거에 촬영하여 저장해 놓았던 과거 영상들을 입력받을 수 있다. 후처리부(400)는 전처리 영상들에 대하여는 밝기 및 색상 신호 분리, 경계부 개선(Edge Enhancement), 감마 보정(Gamma Correction), 색상 보정(Color Correction), 밝기 개선(Contrast Enhancement) 등의 후처리 과정을 수행한 후처리 영상을 생성하고, 후처리 영상을 비디오 코덱을 이용하여 압축하여 저장부(300)에 전달함으로써 저장부에서 메모리 등에 저장하도록 할 수 있다. 또한 후처리부(400)는 움직임 검출기(Motion Detector), 차선 검출기(Lane Detector), 및/또는 물체 추적기(Object Tracker) 등을 이용하여 후처리 영상 또는 저장부(300)로부터 받은 과거 영상으로부터 움직임 검출 정보나 차선 검출 정보, 물체 추적 정보 등을 획득하여 주처리부(500)로 전달할 수 있다. 또한, 후처리부(400)는 후처리 영상 또는 저장부(300)로부터 받은 과거 영상을 영상생성부(700)로 전달할 수 있다.

주처리부(500)는 후처리부(400)로부터 오는 정보, 입력부(600)로부터 오는 사용자 입력 정보, 및/또는 차량 센서부(900)로부터 오는 속도, 가속도, 각가속도 등의 차량 상태 정보를 바탕으로 영상생성부(700)에 필요한 설정 정보를 생성하여 영상생성부(700)로 전달할 수 있고, 또한 다중 카메라부(100)에 구비된 복수의 광각 카메라의 촬영을 위한 파라미터를 설정할 수 있다.

일 실시 예로서 주처리부(500)는 차량 속도에 따라 다중 카메라부(100)에 구비된 복수의 광각 카메라의 각각에 대한 영상 해상도, 셔터 속도 및 프레임 레이트(frame rate)를 변경할 수 있다. 예를 들면, 주처리부(500)는 차량이 고속 주행 시 혹은 차량 충돌 시 등에서는 광각 카메라의 프레임 레이트를 높이도록 제어하여 광각 카메라가 초고속 영상을 생성할 수 있도록 하고, 저속 주행 시에는 프레임 레이트를 낮추고 해상도를 높이도록 제어하여 주변 상황에 대한 초고해상도 영상을 생성하도록 제어할 수 있다. 또한, 상술한 바처럼 광대역 보정 기술을 적용할 것인지에 따라 프레임 레이트를 다르게 할 수 있다.

이러한 주처리부(500)에 의한 다중 카메라부(100)의 광각 카메라들을 위한 설정은 입력부(600)에서의 사용자 입력, 후처리부(400)에서의 움직임 검출 정보, 차선 검출 정보, 물체 추적 정보, 차량 센서부(900)로부터의 차량 주행 정보 및/또는 전처리부(200)로부터 오는 자동 색온도 보정(Auto White Balance; AWB), 자동 노출(Auto Exposure; AE), 자동 초점(Auto Focus; AF)을 포함하는 영상 정보 등을 바탕으로 수행될 수 있으며, 각 조합된 조건에 따라 타당한 해상도 및 프레임 레이트로 설정할 수 있을 것이다.

또한 주처리부(500)는 영상생성부(700)에 필요한 설정 정보를 생성하여 영상생성부(700)가 요구되는 영상을 생성하도록 제어할 수 있는데 이에 대한 상세한 설명은 영상생성부(700)에 대한 설명이후 계속한다.

영상생성부(700)는 광각 카메라를 이용하여 넓은 범위를 촬영한 영상을 바탕으로 사용자의 설정에 의한 특정 시점에서 보여지는 영상을 생성할 수 있다. 즉 영상생성부(700)는 복수의 영상 생성 코어 및 영상합성부를 포함하고 있고, 각각의 영상 생성 코어는 다중 카메라부(100)에 있는 복수의 광각 카메라가 촬영한 영상들 중의 하나를 입력 영상으로 하고, 상술한 처리부에 의해 설정된 파라미터에 따른 시점을 가지는 가상 카메라를 모델링하고, 입력 영상으로부터 가상 카메라의 시점에서 보여지는 영상을 생성하여 출력한다. 그리고 영상합성부는 각 영상 생성 코어의 출력 영상을 처리부가 설정한 화면 구성에 따라 합성하여 최종 출력 영상을 생성할 수 있다.

도 4는 본 발명의 일 실시 예에 따른 임의 시점의 가상 카메라 기반의 영상생성부(700)의 구성을 도시한 도면이다.

도 4에 도시된 것처럼 영상생성부(700)는 차량에 구비된 복수의 광각 카메라 각각에 대응하여 입력되는 설정에 따라 영상을 생성할 수 있는 영상 생성 코어(701, 702, 703)를 포함하고 있고, 각 영상 생성 코어(701, 702, 703)에서 생성된 영상들은 영상 합성부(740)에서 화면부(800)의 구성에 맞추어서 출력 영상으로 합성이 될 수 있다. 그리고 이렇게 합성된 출력 영상은 화면부(800)로 출력되거나 저장부(300)에 저장될 수 있다.

영상생성부(700)의 각 영상 생성 코어(701, 702, 703)에 필요한 설정 입력은 주처리부(500)에서 제공하고, 각 영상 입력은 후처리부(400)를 통해 입력될 수 있다.

이하 하나의 영상 생성 코어의 기능을 설명한다.

도 4를 참조하면, 본 발명의 일 실시 예에 따른 영상생성부(700)의 각 영상 생성 코어(701, 702, 703)는 가상 카메라 모델부(710), 2차 곡면 모델부(720), 및 카메라 투영 모델부(730)를 포함할 수 있다.

가상 카메라 모델부(710)는 각 영상 생성 코어에서 생성하는 영상이 임의 시점에서 보는 것처럼 표시되도록 하기 위하여, 설정된 임의의 위치에 가상 카메라가 있는 것처럼 모델링을 할 수 있다. 또한, 가상 카메라 모델부(710)는 디지털 PTZ(Pan, Tilt, Zoom) 기능 및 특수 렌즈 효과를 생성할 수 있는데 이를 위하여 일반적인 원근 효과를 갖는 원근 투영 카메라(perspective projection camera), 원근 효과가 제거된 렌즈를 모방할 수 있는 직각 투영 카메라(orthographic projection camera), 극좌표(polar coordinate) 영상 모델을 사용하여 파노라마 영상을 생성하는 파노라마 카메라 모델 등으로 가상 카메라를 모델링 할 수 있다. 이 경우 하나의 입력 영상에 대하여 복수 개의 영상을 출력하기 위하여 하나 이상의 가상 카메라가 모델링될 수도 있다. 2차 곡면 모델부(720)는 가상 카메라 모델부(710)에서 모델링된 가상 카메라에 의해 보여지는 영상인 영상 생성 코어(701, 702, 703)의 출력 영상과 입력 영상 매핑(mapping)시 다양한 영상 효과를 추가하기 위하여 사용할 수 있는 거울 기능을 하는 2차 곡면을 제공하고, 카메라 투영 모델부(730)는 입력 영상에 포함되어 있는 왜곡을 제거하면서 가상 카메라에 의해 보여지는 영상의 한 점을 입력 영상의 한 점으로 매핑시킬 수 있다.

각 부를 좀 더 자세히 살펴보기 전에 먼저 본 발명에서 사용되는 몇 가지 좌표계를 설명한다. 본 발명에서는 가상 카메라에 의해서 보여지는 영상의 한 점 또는 픽셀을 나타내기 위한 가상 카메라 좌표계 {n}, 2차 곡면의 중심을 영점으로 하여 좌표를 나타내는 2차 곡면 좌표계 {q}, 실제 주변을 촬영한 광각 카메라에 의해 찍힌 각 영상 내의 좌표를 나타내기 위한 카메라 좌표계 {c}를 사용한다. 그리고 이러한 좌표계에 의해 표시되는 좌표는 기준 좌표계인 장면 좌표계(Worldwide Coordinate) {0}상의 좌표로 변환될 수 있다.

가상 카메라 모델부(710)는 기계적인 구동부 및 전동 줌 렌즈를 사용하여 팬(pan), 틸트(tilt), 및 줌(zoom) 기능을 갖는 PTZ(pan, tilt, zoom) 카메라와 유사하게 가상 카메라(virtual camera)가 임의의 시점에서 보는 것과 같은 영상을 생성할 수 있도록 가상 카메라의 위치 및 자세를 모델링하고, 그에 따른 가상 카메라의 시점에서 보여지는 영상(J)의 점(픽셀)을 모델링할 수 있다. 이때 가상 카메라 좌표계가 사용될 수 있다.

도 5는 본 발명의 일 실시 예에 따른 가상 카메라 모델부(710)의 개략적인 구성을 도시한 도면이다.

도 5를 참조하면, 본 발명의 일 실시 예에 따른 가상 카메라 모델부(710)는 직각좌표 표시모듈(311), 극좌표 표시모듈(312), 크기 조정 모듈(313), 위치설정 모듈(314), 변환 모듈(315), 및 광축중심 설정모듈(316)을 포함할 수 있다.

직각좌표 표시모듈(311)은 가상 카메라의 시점에서 보여지는 영상(J)의 한 점의 좌표(u)를 직각 좌표 형식으로 표시할 수 있다. 직각좌표 표시모듈(311)은 좌표(u)를 가상 카메라의 시점에서 보여지는 영상(J)의 중심에 대한 상대 좌표로 나타낼 수 있다. 따라서 직각좌표 표시모듈(311)은

에 의해서 구해지는

의 직각 좌표 형식으로 좌표(u)를 표시할 수 있다. 여기서

는 가상 카메라의 시점에서 보여지는 영상(J)의 중심을 직각 좌표 형식으로 나타낸 것이고, 설정 가능한 파라미터이다. 이처럼 영상 좌표를 직각 좌표 형식을 이용하여 표시하는 영상은 원근 투영 카메라 또는 직각 투영 카메라에서 사용될 수 있다.

극좌표 표시모듈(312)은 가상 카메라의 시점에서 보여지는 영상(J)의 한 점의 좌표(u)를 극좌표 형식으로 표시할 수 있다. 이때 사용되는 파라미터로는 극좌표 형식에서 사용할 반지름의 최소값(

)과 최대값(

), 반지름 방향 픽셀 수(

), 각도의 최소값(

) 과 최대값(

), 그리고 가상 카메라상에서의 극좌표 변환을 위한 극좌표 형식에서의 중심 (

)을 포함하며, 설정가능한 파라미터들이다. 그러면 좌표(u)를 나타내는 극좌표 (r, θ)는 다음과 같이 표현될 수 있다.

여기서,

이다. 그리고 극좌표 형식으로 표시되는 영상 좌표

는 다음과 같이 표현될 수 있다.

즉, 극좌표 표시모듈(312)은

의 극좌표 형식으로 좌표(u)를 표시할 수 있다. 이러한 극 좌표 형식의 표시는 파노라마 영상을 생성하는데 이용될 수 있다.

가상 카메라 모델은 가상 카메라의 시점에서 보여지는 영상(J)의 한 점의 좌표(u)를 직각 좌표 형식 또는 극좌표 형식으로 표현할 수 있으며, 사용자의 선택(

)에 의하여 어떤 표현 방식을 사용할 것인지를 결정할 수 있다.

크기 조정 모듈(313)은 사용자가 보기 편리한 형태로 가상 카메라 영상의 크기 보상을 수행하는 과정으로, 영상의 가로축과 세로축으로의 크기 비율을 조정할 수 있다. 이러한 크기 비율은 상술한 다양한 화면의 구성 방식에 따라 변화될 수 있고, 각 영상 생성 코어 별로 다르게 설정될 수 있다. 그리고 이에 따라 가상 카메라의 시점에서 보여지는 영상(J)의 한 점의 좌표(u)를 조정할 수 있다. 즉, 크기 조정 모듈(313)은 가상 카메라에서 생성된 영상과 사용자의 눈에 보이는 실제 공간과의 이질감이 발생하면, 사용자는 그 영상을 보면서 어지러움 등을 느낄 수 있고, 거리감이 없어져 공간적인 감각이 떨어진다. 이러한 이질감을 최소화하기 위하여 크기 조정 모듈(313)을 사용할 수 있다. 즉, 크기 조정 모듈(313)은 사용자의 선택(

)에 의해 직각 좌표 형식 또는 극좌표 형식으로 표현되는 가상 카메라 영상의 한 점의 좌표 (u')를 크기 보상 행렬과 초점거리를 이용하여 가상 카메라 좌표계 상의 좌표 (

)로 표현할 수 있다. 이때의 좌표(

)는 다음 식을 이용하여 구할 수 있다.

여기서,

은 가로축과 세로축 크기 보상값들로 구성된 대각행렬(diagonal matrix)이고,

은 가상카메라의 초점 거리(focal length)다.

위치 설정 모듈(314)은 가상 카메라의 위치와 자세를 설정한다.

가상 카메라 모델은 기계적인 구동부 및 전동 줌 렌즈를 사용하여 팬(pan), 틸트(tilt), 및 줌(zoom) 기능을 갖는 PTZ(pan, tilt, zoom) 카메라와 유사하게 가상 카메라(virtual camera)가 임의의 시점에서 보는 것과 같은 영상을 생성할 수 있도록 가상 카메라의 위치 및 자세를 모델링할 수 있다. 이때 가상 카메라의 위치와 자세 설정을 위하여 가상 카메라 좌표계가 사용될 수 있다.

도 6은 장면 좌표계(world coordinate)와 비교한 가상 카메라 좌표계 {n}을 도시한다.

가상 카메라 좌표계 {n}는 팬, 틸트 기능을 위해 장면 좌표계의 중심(10)을 기준으로 상하좌우 회전이 가능하고, 줌 기능을 위해 시점의 위치를 z_n 방향으로 이동할 수 있다. 도 5를 참조하면, φ_n, θ_n을 각각 가상 카메라의 장면 좌표계의 z축(11)에 대한 수평 회전각(azimuth) 및 수직 회전각(elevation)으로 둘 수 있고,

을 장면 좌표계 {0} 상에서의 가상 카메라의 위치,

를 장면 좌표계 {0} 상에서의 2차 곡면모델의 중심 위치이며 가상 카메라의 팬, 틸트 회전의 중심으로 두면, 장면 좌표계 {0} 상에서 2차 곡면모델로 매핑되는 가상 카메라 좌표계 {n}를 표현한 변환 행렬(

)은 다음과 같이 표현할 수 있다.

여기서, trans(·)는 3차원 공간상의 이동 행렬(3-D translational matrix)을 나타내고, rot_z(·)와 rot_x(·)는 각각 z축과 x축을 회전축으로 하는 회전 행렬들(3-D rotational matrices)이다. 그리고 상기 변환 행렬(

)은

의 단위 벡터 형태로 표현될 수 있다. 여기서,

,

, 및

은 각각 가상 카메라 좌표계 {n} 상에서의 각 단위 벡터({1,0,0}, {0,1,0}, 및 {0,0,1})를 장면 좌표계 {0} 상의 좌표로 변환했을 때의 단위 벡터 표현이고,

은 가상 카메라 좌표계 {n} 상에서의 원점({0,0,0})을 장면 좌표계 {0} 상의 좌표로 변환했을 때의 단위 벡터 표현이다. 상술한 것과 같이 수평 회전각과 수직 회전각을 사용한 가상 좌표계의 표현은 상하가 뒤집히지 않고, 어떤 중심을 기준으로 하여도 회전이 가능하며, 줌 기능을 효과적으로 표현할 수 있으므로 기계적인 구동부를 사용한 PTZ 기능을 거의 흡사하게 동작시킬 수 있는 장점이 있다. 이러한 가상 좌표계의 표현 이외에도 사용자의 설정에 따라 임의 방식으로 가상 좌표계를 표현하는 것도 가능하다.

즉, 위치 설정 모듈(314)은 장면 좌표계상에서의 2차 곡면 모델의 중심(

), 장면 좌표계상에서의 가상 카메라의 위치(

), 및 가상 카메라의 장면 좌표계의 z축(11)에 대한 수평 회전각(φ_n) 및 수직 회전각(θ_n)을 파라미터로 입력받아 장면 좌표계 상에서 가상 좌표계를 표현한 변환 행렬(

)을 계산한다. 이 변환 행렬에 의하여 가상 카메라의 시점에서 보여지는 영상(J)의 한 점의 좌표(u)를 장면 좌표계의 한 좌표(

)로 변환할 수 있다.

변환 모듈(315)은 위치 설정 모듈(314)에서 계산한 변환 행렬(

)을 이용하여 가상 카메라의 시점에서 보여지는 영상(J)의 한 점의 좌표(u)에 대응되는 장면 좌표계의 한 좌표(

)를 계산한다.

광축중심 설정모듈(316)은 가상 카메라의 광축 중심을 설정하기 위한 것이다.

도 7은 가상 카메라의 광축 중심을 설명하기 위한 도면이다.

도 7을 참조하면, 원근 투영 카메라와 직각 투영 카메라는 투영선(projection ray)이 광축 중심점(optical center)으로 모이는지에 따라 달라질 수 있다. 원근 투영 카메라에서는 도 7의 (a)에 도시되어 있는 것처럼 모든 투영선이 하나의 중심점으로 모이고, 직각 투영 카메라에서는 도 7의 (b)에 도시되어 있는 것처럼 모든 투영선이 광축(principal axis)과 평행하게 된다. 따라서 광축 중심(

)은 다음과 같이 표현될 수 있다. 여기서

의 왼쪽 위에 있는 '0'은 좌표계를 나타내는 것으로 {0}은 장면 좌표계상의 좌표로 표시됨을 나타낸다.

여기서,

은 초점 거리(focal length)이고,

는 상술한 바와 같이 가상 카메라의 시점에서 보여지는 영상(J)의 한 점의 좌표(u)에 대응되는 장면 좌표계의 좌표이고,

및

은 상술한 것처럼 변환 행렬(

)을 단위 벡터 형태인

으로 표현할 때의 단위 벡터들이다.

상술한 바와 같이 가상 카메라 모델은 가상 카메라의 위치, 직각 좌표 형식을 사용할 것인지 아니면 극좌표 형식을 사용할 것인지에 관한 파라미터를 입력받아 가상 카메라의 시점에서 보여지는 영상(J)의 한 점의 좌표(u)에 대응되는 장면 좌표계의 좌표(

) 및 가상 카메라의 광축(

) 중심에 대한 정보를 계산하여 출력할 수 있다.

다시 도 4를 참조하면, 2차 곡면 모델부(720)에서 생성하는 2차 곡면 모델은 가상 카메라의 시점에서 보여지는 영상(J)의 한 점을 왜곡을 포함하는 입력 영상의 대응하는 점(픽셀)으로 매핑하는 거울과 같은 기능을 수행할 수 있다. 이때 원하는 효과에 따라 다양한 2차 곡면을 모델링하는 2차 곡면 모델이 사용될 수 있다. 일 예로서, 타원체(Ellipsoid) 모델은 구 형태의 거울 모양으로 표현되어 가상 카메라의 PTZ 효과를 얻기 위해 주로 사용될 수 있고, 실린더(Cylinder) 모델은 실린더 기둥 모양의 거울 형태로 표현되어 광각의 영상 생성시 주로 사용될 수 있으며, 포물면(Paraboloid) 모델은 반구 형태의 거울 모양으로 표현되어 영상의 일정 부분만을 매핑한 효과 생성시 사용될 수 있다.

도 8은 본 발명의 일 실시 예에 따른 2차 곡면 모델부의 개략적인 구성을 도시한 도면이다.

도 8을 참조하면, 본 발명의 일 실시 예에 따른 2차 곡면 모델부(720)는 2차 곡면 모델 선정 모듈(321), 좌표 설정 모듈(322) 및 변환 모듈(323)을 포함할 수 있다.

2차 곡면 모델 선정 모듈(321)은 사용자가 원하는 효과를 얻기 위하여 복수 개의 2차 곡면 모델 중에서 하나를 선정하게 할 수 있다. 즉, 도 7에 도시되어 있는 바와 같이 파라미터 q_sel을 이용하여 타원체 모델(324), 실린더 모델(325), 포물면 모델(326), 및 사용자 설정 2차 곡면 모델(327) 중의 하나를 선택할 수 있다.

3차원 공간상에서의 상술한 2차 곡면 모델들은 다음과 같은 공통된 행렬 형태로 표현할 수 있다.

여기서,

는

로 모델링되는 2차 곡면상의 한점이고, 2차 곡면 모델(

)은 다음과 같이 4x4 대칭 행렬로 표현될 수 있다.

이때, 2차 곡면 모델(

) 행렬 내의 각 값은 2차 곡면별로 다를 수 있는데, 도 9a 및 도 9b는 본 발명의 일 실시 예에 따른 타원체 모델(324), 실린더 모델(325), 및 포물면 모델(326)에 대한 파라미터를 도시하고 있다. 여기서 도 9a 및 도 9b의 x_c, y_c, z_c는 장면 좌표계 {0} 상에서의 각 모델의 중심 위치를 나타낸다.

좌표 설정 모듈(322)은 2차 곡면을 장면 좌표계 {0} 상에서 정의하기 위해 사용되고, 가상 카메라의 위치 설정과 마찬가지로 사용자 설정이 용이한 수평회전각(φ_q) 및 수직회전각(θ_q)을 이용하여 표현할 수 있다. 즉, 좌표 설정 모듈(322)은 2차 곡면상의 점들을 대응하는 장면 좌표계 상의 점들로 변환하기 위한 변환행렬(

)을 생성할 수 있고, 이때의 변환행렬(

)은 다음 식을 이용하여 구할 수 있다.

변환 모듈(323)은 타원체 모델(324), 실린더 모델(325), 포물면 모델(326), 또는 사용자 설정 2차 곡면 모델(327)에 의하여 생성되는 2차 곡면을 표현하는 행렬(

)을 장면 좌표계 상에서의 선택된 2차 곡면 모델을 표현하는 행렬(

)로 변환할 수 있다. 장면 좌표계에서의 2차 곡면 모델을 표현하는 행렬 (

)는 다음 식을 이용하여 구할 수 있다.

카메라 투영 모델부(730)는 가상 카메라에서 2차 곡면 모델에 매핑 후 영상 왜곡을 포함하는 입력 영상으로 재투영하는 것으로, 영상 왜곡을 보정하는 카메라 캘리브레이션(calibration)과 카메라 투영 모델을 포함할 수 있다.

도 10은 본 발명의 일 실시 예에 따른 카메라 투영 모델부(730)의 개략적인 구성을 도시한 도면이다.

도 10을 참조하면, 본 발명의 일 실시 예에 따른 카메라 투영 모델부(730)는 교차점 모듈(331), 변환 모듈(332), 좌표 계산 모듈(333), 보간 모듈(334), 및 메모리(335)를 포함할 수 있다.

교차점 모듈(331)은 2차 곡면 모델부(720)에서 선정한 2차 곡면 모델과 가상 카메라 모델부(710)에서 모델링된 가상 카메라의 투영선의 교차점을 계산할 수 있다.

도 11은 2차 곡면 모델과 가상 카메라의 투영선의 교차점(

)의 일 예를 도시한 도면이다.

도 11을 참조하면, 가상 카메라의 광축 중심(

)과 가상 카메라의 시점에서 보여지는 영상(J)의 한 점(

)을 잇는 직선인 투영선(910)이 2차 곡면 모델과 만나기 위하여는 다음 식을 만족하여야 한다.

여기서,

은 가상 카메라의 광축 중심이고,

으로 표현되는데

는 가상 카메라의 시점에서 보여지는 영상(J)의 한 점이다. 그리고 점

는 투영선(910) 상에 존재하는 점이면서, 2차 곡면 모델 상에 존재하는 교차점이 된다. 이 교차점의 위치는

에 의해서 결정되는데,

는 다음과 같이 계산될 수 있다.

여기서,

이고,

이다.

즉, 교차점 모듈(331)은 상술한 식을 바탕으로 가상 카메라의 시점에서 보여지는 영상(J)의 한 점(

)의 투영선(910)과 교차하는 2차 곡면상의 한 점(

)을 계산하여 출력할 수 있다.

그리고 상술한 2차 곡면상의 한 점(

)은 전방향 카메라 모델(336)에 의하여 입력 영상의 한 점으로 투영될 수 있다.

도 12는 본 발명의 일 실시 예에 따른 장면 좌표계상의 한 점(

)을 왜곡 없는 이상적인 영상 평면(

)의 대응하는 점으로 매핑하는 과정을 도시한다.

도 12를 참조하면, 장면 좌표계상의 한 점

에서 광각 카메라의 광축 중심으로의 투영선(1010) 상에 벡터

가 존재하고, 이는 일반적인 원근 투영 기하를 따르고 다음 식의 관계가 성립된다.

여기서

는 회전 행렬

과 이동 벡터

로 구성된 카메라 투영 행렬(projection matrix)이며,

는 장면 좌표계상의 한 점

의 동차 표현(homogenous representation)이다.

벡터

의

는 장면 좌표계 상의 한 점

를 이상적인 영상 평면(

) 상의 한 점(

)으로 매핑하는 왜곡보정 매핑함수이며, 광각 카메라의 왜곡 현상을 이론적으로 분석한 모델(analytic model) 또는 수치적으로 근사한 모델(approximation model) 등을 사용하여 표현할 수 있다. 이에 의하여 이상적인 영상 평면(

)은 왜곡이 없는 영상 평면을 의미할 수 있다. 일 실시 예로서 Scaramuzza가 제안한 것과 같은 테일러 확장(Taylor expansion series) 기반의 근사 모델을 사용하여 표현할 수 있다.

그리고 벡터

을 입력 영상(I)에서의 실제 픽셀 좌표라고 가정하면, 입력 영상(I)과 이상적인 영상 평면(

)의 관계는 어파인(affine) 변환 행렬로 다음과 같이 표현될 수 있다.

여기에서

는 어파인 변환 행렬이고,

는 이동 벡터를 나타낸다.

상술한 바와 같이 장면 좌표계 상의 한 점

는 입력 영상(I)에서 픽셀 좌표

으로 매핑되므로, 만약 이식들이 역변환 관계가 존재한다면, 입력 영상(I)에서 원래 장면 좌표계 상의 한 점

의 픽셀 값을 구할 수 있다.

장면 좌표계 {0} 상의 한 점

를 카메라 좌표계 {c} 상의 한 점

로 왜곡 보정을 하면서 매핑시키기 위하여서는 상술한 바처럼 광각 카메라의 위치와 자세 및 왜곡보정 매핑함수(

)의 계수들을 미리 알아야만 한다.

이를 위하여 가로, 세로의 격자 크기가 미리 알려진 보정용 차트(calibration chart)를 이용하여 영상 센서의 위치, 자세, 및 촬영한 영상에 포함되어 있는 왜곡을 인지할 수 있다. 일 예로 보정용 차트의 가로, 세로 크기를 20cm x 20cm로 설정할 수 있고, 광각 카메라에 의해 촬영된 보정용 차트 영상에서의 각 격자의 기울기 및 외곽 쪽에서의 격자의 크기 등을 측정함으로써 촬영된 영상에 포함되어 있는 왜곡을 측정할 수 있다. 그리고 이렇게 측정된 왜곡을 바탕으로 상술한 회전 행렬

과 이동 벡터

왜곡보정 매핑함수(

)의 계수, 및 어파인 변환 행렬(

)를 획득할 수 있다.

도 13은 본 발명의 일 실시 예에 따른 가상 카메라의 투영선과 2차 곡면 모델과의 교차점(

)이 왜곡이 해소된 이상적인 영상 평면상의 좌표(

)에 재투영되는 것을 도시한 도면이다.

도 13을 참조하면, 2차 곡면은 가상 카메라의 투영선(1110)을 광각 카메라의 투영선(1120)으로 반사하는 거울과 같은 역할을 수행할 수 있다. 여기서 광각 카메라의 투영선(1120)은 광각 카메라의 광축 중심과 교차점(

)을 연결하는 선이 된다.

가상 카메라의 투영선(1110)과 2차 곡면이 만나는 점이 교차점(

)가 되고,

교차점(

)은 다음 식을 이용하여 카메라 좌표계의 좌표(

)로 변환될 수 있다.

여기서

는 장면 좌표계상에서 표현된 광각 카메라의 위치와 자세를 나타내는 변환 행렬로써 카메라 투영행렬(

)의

과

로 구성될 수 있다.

가상 카메라의 투영선(1110)과 2차 곡면과의 교차점(

)은 도 12에 도시된 한 점(

)과 마찬가지로 광각 카메라 광축 중심으로의 투영선(1120) 상에 존재할 수 있고, 이 투영선(1120)은 광각 카메라의 광축을 중심으로 방사형으로 대칭이므로 이상적인 영상 평면(

)과 교차점(

)과의 각도로 표현할 수 있다. 즉,

의 관계식을 얻을 수 있는데 여기서,

는 이상적인 영상 평면(

)과 교차점(

)와의 각도로서,

로 표현된다.

그리고 광각 카메라의 광축 중심으로의 투영선(1120)과 왜곡 보정 매핑 함수(

)는 상술한 바처럼 모두

의 함수이므로, 이들의 해를 구하면 이상적인 영상 평면상의 좌표(

)를 구할 수 있고, 어파인 변환 행렬을 이용하여 입력 영상(I)에서의 픽셀값(

)을 구할 수 있다. 따라서, 가상 카메라의 시점에서 보여지는 영상(J) 내의 한 점(

)의 픽셀값은 광각 카메라에서 촬영한 왜곡이 포함된 원본 영상(I)으로부터 얻어지고, 가상 카메라의 시점에서 보여지는 영상(J) 내의 각 점에 대하여 상술한 기능을 수행하면 각 영상 생성 코어의 최종 결과 영상인 가상 카메라의 시점에서 보여지는 영상(J)을 획득할 수 있고, 이 영상은 임의 시점에서 생성한 렌즈 왜곡이 제거된 영상이 된다.

다시 도 10을 참조하면, 상술한 작업을 수행하기 위하여 카메라 투영 모델부(730)의 변환 모듈(332)은 장면 좌표계상에서 표현된 광각 카메라의 위치와 자세를 나타내는 변환 행렬(

)를 이용하여 교차점(

)을 카메라 좌표계의 좌표(

)로 변환한다.

그리고 좌표 계산 모듈(333)은 어파인 변환 행렬(

), 이동 벡터(

), 장면 좌표계상의 한 점

를 이상적인 영상 평면(

) 상의 한 점(

)으로 매핑하는 역할을 수행하는 테일러 확장 기반의 근사 모델의 계수들을 파라미터로 입력받아 가상 카메라의 투영선과 2차 곡면 모델과의 교차점(

)으로부터 왜곡이 포함된 입력 영상(I)에서의 실제 픽셀 좌표를 나타내는 벡터(

)를 획득한다. 좌표 계산 모듈(333)에서 사용하는 상술한 테일러 확장 기반의 근사 모델은 광각 렌즈의 왜곡 현상을 이론적으로 분석하고, 이를 해소하기 위하여 수치적으로 근사화한 것으로 이에 의하여 원본 영상에 존재하는 왜곡 현상을 제거할 수 있다. 도 14는 입력 영상 (a)로부터 왜곡이 보정된 영상 (b), (c)를 생성한 일 예를 보여준다.

그리고 보간 모듈(334)은 실제 픽셀 좌표를 나타내는 벡터

를 이용하여 입력 영상(I)에서 해당 좌표의 주변 픽셀값을 읽어 들이고 양선형 보간 (bilinear interpolation) 등의 방법 등으로 해당 좌표의 값을 계산 하여 출력할 수 있다.

상술한 영상생성부(700)를 이용함으로써 본원 발명은 하나 이상의 임의 시점에서 보여지는 영상을 생성할 수 있으며, 각각의 영상에 대하여 왜곡이 없도록 영상을 보정함으로써 사용자가 보기에 편안한 영상을 생성할 수 있다.

도 14는 영상생성부(700)의 영상 생성 코어에 입력되는 입력 영상 및 이에 포함된 왜곡을 보정하여 영상 생성 코어에서 출력하는 영상의 일 예를 도시한 도면이다.

도 14를 참조하면, (a)는 피쉬아이 렌즈를 사용하여 획득한 왜곡을 포함한 광각 카메라 영상이고, (b)는 일반적인 방법으로 왜곡이 보정된 영상을 나타낸다. (b)처럼 왜곡 보정된 영상에는 영상의 끝쪽으로 갈수록 실제 크기 및 거리감의 차이가 크게 발생한다. 그 이유는 카메라의 왜곡된 영상의 한 점으로 들어오는 투영선 상에는 공간상의 수많은 점들이 존재할 수 있고, 공간 복원(structure reconstruction)을 위해서는 두 개 이상의 투영선이 존재해야 이 점의 실제 공간상의 위치를 알 수 있게 되기 때문이다. 하지만, 본 출원에서 제안하는 방식을 이용하고, 필요한 파라미터들을 적절하게 설정하면 (c)에서 보는 것과 같이 사용자가 보기에 편안한 영상을 생성할 수 있다.

상술한 바처럼 영상생성부(700)의 각 영상 생성 코어(701, 702, 703)는 필요한 파라미터들을 적절히 설정하면 왜곡을 제거하면서 임의 시점에서 보여지는 영상을 생성할 수 있다. 이때 영상생성부(700)의 각 영상 생성 코어(701, 702, 703)에서 필요로 하는 파라미터들을 정리하면 가상 카메라 모델부(710)의 각 가상 카메라 모델에 필요한 파라미터로, 가상 카메라의 시점에서 보여지는 영상(J)의 각 점을 직각좌표 형식으로 표시할 것인지 아니면 극좌표 형식으로 표시할 것인지를 설정하는 파라미터(

), 가상 카메라의 시점에서 보여지는 영상(J)의 직각 좌표 형식의 중심(

), 극좌표 형식에서 사용할 반지름의 최소값(

)과 최대값(

), 반지름 방향 픽셀 수(

), 각도의 최소값(

) 과 최대값(

), 크기 보상을 위한 파라미터

, 가상카메라의 초점 거리(focal length)

, 가상 카메라의 장면 좌표계의 z축(11)에 대한 수평 회전각(azimuth) φ_n 및 수직 회전각(elevation) θ_n, 장면 좌표계 {0} 상에서의 가상 카메라의 위치

, 장면 좌표계 {0} 상에서의 2차 곡면모델의 중심 위치이며 가상 카메라의 팬, 틸트 회전의 중심

, 광축 중심 선택 파라미터 (V_psel)등을 설정할 필요가 있다.

그리고 2차 곡면 모델부를 위한 파라미터로 어떤 2차 곡면 모델을 사용할 것인지를 나타내는 파라미터 q_sel, 각 2차 곡면 모델의 특징을 설정하기 위한 복수의 파라미터들, 2차 곡면을 장면 좌표계 {0} 상에서 정의하기 위한 파리미터들인 수평회전각(φ_q) 및 수직회전각(θ_q)이 있을 수 있다.

그리고 카메라 투영 모델부(730)를 위한 파라미터들로 입력 영상에 포함되어 있는 왜곡을 보정하기 위한 왜곡보정 매핑함수의 각 계수들, 어파인 변환 행렬

, 장면 좌표계상에서 표현된 광각 카메라의 위치와 자세를 나타내는 변환 행렬

등이 있을 수 있다.

이러한 영상생성부(700)의 각 영상 생성 코어에서 필요한 파라미터들은 주처리부(500)에 의해서 설정될 수 있다. 즉, 주처리부(500)는 차량 센서부(900)에서 제공하는 차량 진행 속도 및 방향을 포함하는 차량 주행 정보, 후처리부(400)에서 제공하는 움직임 정보, 물체 추적 정보, 및 차선 정보, 그리고 입력부(600)를 통해 입력되는 사용자의 설정 정보 등을 바탕으로 영상생성부(700)의 각 영상 생성 코어에서 필요한 파라미터들을 설정할 수 있다. 이러한 파라미터들은 매 영상 프레임마다 변경되어 사용자가 원하는 영상 또는 차량 및 운전자의 안전을 확보할 수 있도록 하는 영상이 화면부(800)에 출력되도록 할 수 있다.

일 실시 예로서 주처리부(500)는 차량 진행속도에 따라, 즉 차량의 진행 속도를 빠름, 보통, 및 느림으로 구분하여 설정할 수 있고 이에 따라 자동으로 가상카메라가 줌, 팬 및 틸트되도록 영상 생성 코어를 설정할 수 있고, 차량 진행 방향, 즉 좌회전, 우회전, 및 후진에 따라 자동으로 가상카메라가 줌 및 팬이 되도록 영상 생성 코어를 설정할 수도 있다.

도 15는 본 발명의 일 실시 예에 따른 차량 진행 속도에 따라 자동으로 가상 카메라가 줌 및 틸트되도록 영상 생성 코어를 설정한 결과를 도시한 도면이다.

도 15를 참조하면, 도면의 상단에는 차량의 속도에 따라 화면부(800)에 표시되는 영상의 상대적 관계가 도시되어 있고, 중간에는 입력 영상(1512, 1522, 1532)이 그리고 하단에는 화면부(800)에 표시되는 출력 영상(1514, 1524, 1534)이 도시되어 있다. 도면의 상단에 도시되어 있는 것처럼 차량의 속도에 따라, 저속에서는 가까운 곳을 넓게 보여주도록(1511) 가상 카메라의 줌 및 틸트 파라미터를 설정하고, 고속에서는 멀리 있는 곳을 확대해서 보여주도록(1531) 가상 카메라의 줌 및 틸트 파라미터들을 설정할 수 있다. 따라서, 고속 주행시 확대된 출력 영상(1534)에서는 중앙의 멀리 있는 차량을 운전자가 영상을 통해 식별할 수 있게 된다. 입력 영상(1512, 1522, 1532)의 중앙에 표시된 격자(1513, 1523, 1533)들은 출력 영상(1514, 1524, 1534)을 생성하기 위해 입력 영상에 매핑된 영역을 나타내고, 이 격자 영역들의 매핑 모양에 따라 다양한 형태의 영상들이 생성될 수 있다.

도 16은 본 발명의 일 실시 예에 따른 차량 진행 방향에 따라 자동으로 가상 카메라가 줌 및 팬이 되도록 영상 생성 코어를 설정한 결과를 도시한 도면이다.

도 16을 참조하면, 도면의 상단에는 차량의 진행 방향에 따라 화면부(800)에 표시되는 영상의 상대적 관계가 도시되어 있고, 중간에는 입력 영상(1612, 1622, 1632)이 그리고 하단에는 화면부(800)에 표시되는 출력 영상(1614, 1624,1634)이 도시되어 있다.

도면의 상단에는 차량에서 획득한 차량 진향 방향 정보 혹은 핸들의 회전 정도에 따라, 우회전 정도가 적은 경우에는 중앙 부분(1611)을 보여주도록 가상 카메라의 줌 및 팬 파라미터들을 설정하고, 우회전 정도가 심한 경우에는 우측 부분(1631)을 보여주도록 가상 카메라의 줌 및 팬 파라미터들을 설정할 수 있다. 따라서, 주행 방향 변경시, 아직 운전자 시야에 들어오지 않은 부분들을 출력 영상(1614, 1624,1634)을 통해 보여줌으로써, 운전자가 영상을 통해 도로 상황을 미리 파악할 수 있게 된다. 입력 영상(1612, 1622, 1632)의 중앙에 표시된 격자(1613, 1623, 1633)들은 출력 영상(1614, 1624, 1634)을 생성하기 위해 입력 영상에 매핑된 영역을 나타내고, 이 격자 영역들의 매핑 모양에 따라 다양한 형태의 영상들을 생성할 수 있다.

상술한 바처럼 차량 진행속도에 따라 또는 차량 진행 방향에 따라 자동으로 가상 카메라가 줌, 팬, 및/또는 틸트가 되도록 영상 생성 코어를 설정할 수도 있는 것 이외에, 주처리부(500)는 또 다른 일 실시 예로서 운전자의 시야에서 벗어나 보이지 않는 영역인 사각지대 영상, 차량의 위에서 보는 것과 같은 탑 뷰 영상, 차량을 외부에서 조종하는 것과 같은 3인칭 시점의 버드-아이 영상, 물체 추적기를 이용하여 인접 차선의 차량을 자동으로 추적하여 보여주는 추적 영상 등이 화면부(800)에 출력되도록 영상 생성 코어를 설정할 수 있다. 또한, 주행 시 넓은 시야를 제공하는 광각의 후방 영상, 후진 주차 시 후방 차량과 주차선을 동시에 표시되는 도로 영상, 주차상황을 정확히 확인할 수 있도록 주차선을 위에서 보여주는 탑 뷰 영상이 화면부(800)에 출력되도록 영상 생성 코어를 설정할 수 있다. 또한, 실내에 여러 대의 카메라를 설치해서 촬영한 것과 같은 다중 뷰 영상, 운전자의 운전상태를 확인할 수 있는 운전석 뷰, 보조석의 상황을 확인할 수 있는 보조석 뷰, 실내 상황을 전체적으로 확인할 수 있는 전방위 실내 뷰, 실내 상황을 보여주는 뷰들과 함께 전방 주행상황도 같이 확인할 수 있는 전방 뷰 영상 등을 생성할 수 있도록 영상 생성 코어를 설정할 수 있다. 특히 전방뷰 생성시 실내와 실외의 심한 조도차를 맞추기 위해 상술한 광역 보정 기술을 적용할 수 있으며 이를 위하여 영상 생성 코어를 설정하는 것과 함께 다중 카메라부(100)의 광각 카메라의 제어 신호를 설정할 수도 있다. 또는 사용자 설정 입력에 따라 영상이 화면부(800)에 출력되도록 적절히 가상 카메라를 제어할 수도 있다.

도 17 내지 도 19는 본 발명의 일 실시 예에 따라 광각 카메라에서 촬영한 입력 영상 및 화면부(800)에 출력되는 출력 영상들을 도시한 도면이다.

도 17 내지 도 19를 참조하면, 화면부(800)에 출력되는 출력 영상은 하나의 광각 카메라에서 촬영한 입력 영상에 대하여 여러 개의 시점에서 동시에 보는 것과 같은 영상을 보여줄 수 있다. 즉, 다양한 위치와 각도에 카메라들이 존재하는 것과 같은 효과를 갖도록 영상생성부(700)의 파라미터들을 설정할 수 있다. 이러한 영상은 복수 개의 영상 생성 코어에 대하여 동일한 입력 영상(가령 도 2의 C1 광각 카메라에서 촬영한 영상)을 제공하고 각 영상 생성 코어의 가상 카메라 모델링부가 모델링하는 가상 카메라의 시점을 서로 다르게 설정함으로써 획득될 수 있다. 또 다른 방법으로는 하나의 영상 생성 코어의 가상 카메라 모델링부에서 모델링하는 가상 카메라를 복수 개 두고 각 가상 카메라의 시점을 서로 다르게 설정함으로써 획득될 수도 있다.

도 17은 측면 광각 카메라(도 2의 C2 또는 C3)가 촬영한 영상(도 17 (a))으로부터 사각지대 영상, 위에서 보는 듯한 영상, 인접 차선 영상을 생성한 결과를 도시한 도면이다. 도 17 (a)의 격자들은 출력 영상을 생성하기 위해 입력 영상에 매핑된 영역을 나타내고, 이 격자 영역들의 매핑 모양에 따라 다양한 형태의 영상들을 생성할 수 있다.

도 18은 후방 광각 카메라(도 2의 C4)가 촬영한 영상(도 18 (a))으로부터 주행 시 필요한 광각의 후방 영상, 후진 주차 시 차량과 주차선을 함께 표시한 도로 영상, 정확한 주차선을 보여주기 위한 위에서 보는 듯한 top 뷰 영상 등을 생성한 결과를 도시한 도면이다.

도 19는 실내 광각 카메라(도 2의 C5)가 촬영한 영상(도 19 (a))으로부터 운전자 상황을 확인할 수 있는 운전석 뷰, 보조석 뷰, 전방위 실내 뷰, 전방 주행상황을 동시에 확인할 수 있는 전방 뷰 등을 생성한 결과를 도시한 도면이다.

사용자는 입력부(600)를 이용하여 주행 상황에 따라 적합한 카메라 및 뷰를 선택하여 화면부(800)에 원하는 영상이 출력되도록 설정할 수 있다. 여기서 카메라는 전방, 후방, 좌우 측면, 실내 카메라들이 해당될 수 있고, 전방 카메라의 뷰로는 전방 광각 뷰, 탑 뷰, 버드아이 뷰 등이 있고, 측방 카메라의 경우에는 사각지대 뷰, 인접 차선 뷰, 탑 뷰 등이 있고, 후방 카메라의 경우에는 후방 광각 뷰, 탑 뷰, 도로 영상 뷰 등이 있을 수 있으며, 실내 카메라의 경우에는 운전석 뷰, 보조석 뷰, 전방 뷰, 전방위 실내 뷰 등이 있을 수 있다. 특히 측방 카메라의 경우에는 종래의 사이드미러와 동일한 뷰가 영상으로 출력되도록 설정할 수 있다. 각각의 뷰들은 주행상황에 따라 줌, 팬, 틸트 및 시점 변환이 자동 혹은 사용자 설정에 따라 주처리부(500)에 의해 조절이 될 수 있다. 상술한 종래의 사이드미러와 동일한 뷰를 출력하는 경우에는 사용자는 종래의 사이드미러 조절용 스위치를 그대로 사용하여 출력되는 영상의 설정을 변경할 수도 있다.

이에 더하여 화면부(800)에 차선, 주차선, 차량 등 영상에서 인식한 정보를 증강현실(augmented reality) 방식으로 추가적으로 합성하여 표시할 수도 있다.

가능한 화면부(800)의 출력 장치의 위치로는 차량의 왼쪽 창 및 오른쪽 창, 특히 종래의 사이드미러와 운전자의 시야 사이의 왼쪽 창 및 오른쪽 창, 대시 보드(Dash board)의 센터페시아(Center fascia), 룸미러(room mirror), 차량의 전면 유리, 또는 차량의 앞좌석 뒤쪽일 수 있다.

또한 주처리부(500)는 차량의 주행 상태를 기반으로 미리 설정된 시나리오에 따라 영상을 생성하도록 영상생성부(700)를 설정할 수 있다.

가능한 시나리오들의 일 실시 예로서, 주행 시에는 화면부(800)를 도 3의 (d)처럼 구성하도록 설정하고, 전방 카메라의 전방 광각 뷰, 좌우 측방 카메라의 사각지대 뷰 또는 인접 차선뷰 또는 추적뷰, 및 후방 카메라의 광각 뷰가 화면부(800)로 출력되어 운전자가 가능한 넓은 범위의 시야를 확보하도록 도울 수 있다. 이 경우 영상생성부(700)의 각 영상 생성 코어는 전방 카메라의 촬영 영상, 좌우 측방 카메라의 촬영 영상, 및 후방 카메라의 촬영 영상을 입력 영상으로 하고, 주처리부(500)의 설정에 따라 전방 광각 뷰, 좌우 사각지대 뷰 또는 인접 차선뷰 또는 추적뷰, 및 후방 광각 뷰를 생성하고, 영상 합성부(740)는 영상 생성 코어가 생성한 각 뷰가 화면부(800)의 설정된 위치에 오도록 합성하여 최종 출력 영상을 생성하여 화면부(800)로 출력할 수 있다.

가능한 시나리오들의 또 다른 일 실시 예로서, T자 전진 주차시에는 측면 광각 카메라가 촬영한 영상을 주로 사용하여 인접 차선 뷰, 버드아이 뷰, 탑 뷰 등을 선택하여 화면부(800)에 출력하도록 할 수 있고, T자 후진 주차시에는 후방 카메라가 촬영한 영상을 주로 사용하여, 도 17에 도시된 것과 같은 후방 광각 뷰, 탑 뷰, 도로 영상 뷰 등을 선택하여 화면부(800)에 출력하도록 할 수 있으며, 평행 주차시에는 측면과 후방 광각 카메라가 촬영한 영상들을 적절히 혼합하여 영상을 제공하도록 함으로서 사용자의 원활한 주차를 도모할 수 있다.

가능한 시나리오들의 또 다른 일 실시 예로서, 정차 후 열리는 문에 따라 적절히 카메라를 선정하여 영상을 제공하도록 설정하여, 내리는 사람이 후방에서 오는 차량 여부를 쉽게 확인할 수 있도록 할 수 있다. 좌측 문 열림의 경우에는 좌측 카메라, 우측 문 열림의 경우에는 우측 카메라를 선택하여 접근 차량 확인이 편리한 시야각의 영상을 생성할 수 있고, 동시에 후방 카메라에서도 후방 차량을 확인하기 편리한 시야각의 영상을 생성하여 화면부(800)에 출력하도록 할 수 있다. 이때 영상 출력과 함께, 검출 차량의 위치, 거리 등의 정보를 함께 표시할 수 있고, 소리를 이용하여 탑승자에게 알람을 줄 수 있는 기능을 추가할 수도 있다.

본 발명에서 제시하는 주행감응형 차량용 영상 생성 장치의 각 카메라에서 촬영한 영상 및 영상생성부에서 생성된 영상들은 화면부(800)에 바로 출력될 수 있지만 동시에 저장장치에 저장될 수 있다. 특히, 다중 카메라부(100)의 각 광각 카메라에서 촬영한 영상들은 보존 및 사고 후처리 등의 목적으로 다시 보기 위해 저장장치에 저장될 수 있으며, 이 경우 복수 개의 원본 영상은 하나의 파일에 동기화되어 저장될 수 있다. 각 광각 카메라에서 촬영한 영상들을 동기화하여 저장하기 위하여 장치에 내장되어 있는 타이머를 기준으로 기준 시간(일 예로서, 30fps가 기본 프레임 레이트라면 33.3ms)이내에 각 광각 카메라에서 촬영한 영상에 동일한 인덱스(index)를 부여하고, 동일한 인덱스를 가진 영상은 같은 시간에 촬영된 영상으로 판단함으로서 각 광각 카메라에서 촬영한 영상들을 동기화할 수 있다.

이때, 일반적인 녹화장치에 원본 영상을 저장시, 데이터 크기가 커서 저장장치의 저장 공간 크기가 문제될 수 있으므로, 저장장치의 성능과 저장 공간을 고려하여 비디오 코덱을 통해 압축된 영상 데이터를 저장할 수 있다. 저장된 파일에는 각종 음성정보, 자동차 상태정보, 가속도 정보, 및/또는 GPS 정보들이 같이 저장될 수 있다.

사용자의 입력부(600)를 이용한 설정에 따라 기존에 생성하여 저장해 놓은 영상 또는 저장되어 있는 원본 영상을 화면부(800)에서 재생할 수 있다. 또한, 기존에 저장되어 있는 원본 영상을 바탕으로 새로운 설정으로 영상생성부(700)에서 생성한 영상을 화면부(800)로 출력할 수도 있다. 새로 생성한 영상 또는 기존에 저장되어 있던 영상은 다른 디스플레이 장치로 전송할 수 있으며, 실시간으로 사용자 입력을 받아서 가상 카메라의 위치 및 자세 등을 변경함으로써 임의 시점의 영상을 실시간으로 보여줄 수 있다. 파일 저장 형식으로는 AVI, MP4 등을 예로 들 수 있고, 저장장치로는 Micro SD card 등이 해당하며, 사용 가능한 비디오 코덱으로는 H.264/MPEG-4 AVC 혹은 H.265 등을 사용할 수 있다.

입력부(600)는 상술한 바와 같이 사용자로부터 요구 사항, 설정 정보 등을 입력받을 수 있다. 즉, 화면부(800)에 표시될 화면 구성 정보, 다중 카메라부(100)의 복수의 광각 카메라의 설치 위치에 대한 정보, 시나리오 정보 및 저장된 영상을 사용할지 아니면 현재 촬영된 영상을 사용할지에 대한 정보 등을 사용자가 입력부(600)를 통해 입력할 수 있다.

도 20은 본 발명의 일 실시 예에 따른 주행감응형 차량용 영상 생성 방법을 도시한 도면이다.

도 20을 참조하면, 본 발명의 일 실시 예에 따른 주행감응형 차량용 영상 생성 방법은 차량에 부착된 복수의 광각 카메라를 이용하여 차량 주변 및/또는 차량 실내를 포함하는 복수의 영상을 촬영(S100)할 수 있다. 이때 어안 렌즈와 같은 광각 카메라에 의해 촬영하는 것이기에 촬영되는 영상에는 상당한 왜곡이 포함되어 있다.

그리고 사용자의 입력에 따라 수동으로 또는 물체 추적 정보, 움직임 검지 정보, 또는 차량 주행 정보 등에 따라 자동으로 출력 화면 구성 및 출력될 영상을 설정(S200)할 수 있다. 또는 사용자의 입력에 따라 자동으로 장치가 필요한 출력 화면 구성 및 출력될 영상을 설정할 수도 있다.

출력 화면 구성에는 도 3의 예에서 도시된 것처럼 전체 화면에 하나의 영상을 출력하도록 구성할 수도 있고, 또는 전체 화면을 2 분할, 4 분할, 또는 5 분할하여 각각의 분할된 화면에 서로 다른 영상을 출력하도록 구성할 수 있다. 또는 PIP(Picture in Picture) 형태로 전체 화면에 영상을 출력하면서도 그 일부에는 다른 영상을 출력하도록 구성할 수도 있다.

그리고 출력 화면에 대한 구성에 맞추어서 분할된 각 화면 또는 전체 화면으로 출력될 영상을 설정할 수 있다.

일 실시 예로 전방 카메라의 촬영 영상을 바탕으로 전방 광각 영상, 하늘에서 보는 것과 같은 영상, 버드아이 뷰 등이 화면에 출력되도록 설정할 수 있고, 또는 측방 카메라의 촬영 영상을 바탕으로 사각지대 영상, 인접 차선 영상, 인접 차량 추적 영상, 하늘에서 보는 것과 같은 영상 등이 화면에 출력되도록 설정할 수 있고, 후방 카메라의 촬영 영상을 바탕으로 후방 광각 영상, 하늘에서 보는 것과 같은 영상, 도로 영상 등이 출력되도록 설정할 수 있고, 실내 카메라의 촬영 영상을 바탕으로 운전석 영상, 보조석 영상, 전방 영상, 전방위 실내 영상 등이 화면에 출력되도록 설정할 수 있다.

출력화면 구성 및 출력 영상 설정의 일 실시 예로서, 사용자의 선택에 의하여 전체 화면에 상술한 영상 중의 하나가 출력되도록 설정할 수 있으며, 또 다른 일 실시 예로서 사용자의 선택에 의하여 전체 화면을 3 분할하고, 왼쪽 위 화면에는 왼쪽 사각지대 영상이, 오른쪽 위 화면에는 오른쪽 사각지대 영상이, 아래 화면에는 후방 광각 영상이 출력되도록 설정할 수 있다.

또 다른 일 실시 예로서, 차량이 주행중임을 인식하고, 자동으로 전체 화면을 도 3의 (d)처럼 구성하도록 설정하고, 전방 광각 영상, 좌/우 사각지대 영상, 후방 광각 영상이 출력되도록 설정할 수 있다.

또 다른 일 실시 예로서, T자 전진 주차 중임을 인식하고, 자동으로 전체 화면을 4 분할하고, 인접 차선 영상, 버드아이 영상, 하늘에서 보는 것과 같은 영상 및 후방 광각 영상이 출력되도록 설정할 수도 있다.

그리고 이렇게 설정된 출력 화면 구성 및 출력 영상을 생성하기 위하여 가상 카메라의 시점을 포함하는 영상생성부에서 영상 생성을 위한 파라미터를 설정(S300)할 수 있다.

그리고 단계(S300)에서 설정한 파라미터를 바탕으로 가상 카메라 기반 영상생성부에서 설정된 출력 영상을 생성(S400)한다. 즉, 상술한 바와 같이 본 발명에서 제시하는 차량용 영상 생성 장치의 영상생성부(700)는 복수 개의 영상 생성 코어를 포함하고 있고, 각 영상 생성 코어를 위한 파라미터를 적절히 설정해 줌으로써 각 영상 생성 코어가 상기 단계(S100)에서 복수의 광각 카메라에서 촬영한 영상들 중의 하나를 입력 영상으로 하고, 단계(S300)에서 설정된 파라미터에 따라 가상 카메라를 모델링하고, 상기 입력 영상으로부터 상기 가상 카메라의 시점에서 보여지는 영상을 생성하고, 상기 복수의 영상 생성 코어에서 생성한 영상을 상기 설정된 출력 화면 구성에 따라 합성하여 출력 영상을 생성할 수 있다.

단계(S400)에서 생성된 영상은 화면부에 표시(S500)될 수 있다.

이에 더하여 차량용 영상 생성 장치는 차량의 주행 상태 정보를 획득하거나 또는 사용자로부터 출력 화면 구성 및 출력 영상을 생성하기 위한 사용자 설정 정보를 입력받아 이를 바탕으로 출력 화면 구성 및 출력 영상을 설정하고, 그리고 가상 카메라 기반 영상생성부의 파라미터를 설정할 수 있다.

이에 더하여 추가적으로 복수의 광각 카메라를 제어할 수 있다. 단계(S200)에서 설정된 출력 영상에 따라 광각 카메라의 프레임 레이트 및 해상도 설정을 자동으로 변경할 수 있다. 일 실시 예로 고속 주행시 혹은 차량 충돌시에는 자동으로 광각 카메라의 프레임 레이트를 높여 초고속 영상을 제공하거나, 저속 주행시에는 프레임 레이트를 낮추면서 해상도를 높여 초고해상도 영상을 제공할 수 있다.

그리고 복수의 광각 카메라에서 촬영된 영상들 및/또는 단계(S400)에서 출력되는 영상은 저장장치에 저장될 수 있다. 특히 복수의 광각 카메라에서 촬영된 영상들은 서로 동기시켜 저장할 수 있다. 좀 더 상세히 보면, 동일한 시간에 촬영된 영상들은 동일한 인덱스를 가지도록 하여 저장할 수 있다.

그리고 상술한 생성 방법은 실시간으로 수동 또는 자동으로 출력 화면 구성의 설정을 변경하거나, 출력될 영상을 변경할 수 있어 운전자가 안전하게 운전할 수 있도록 도울 수 있는 다양한 영상을 상황에 맞게 생성하여 제공할 수 있다.

도 21은 본 발명의 일 실시 예에 따른 차량용 영상 생성 장치에서 출력 영상을 생성하는 방법을 도시한 도면이다.

도 21을 참조하면, 본 발명의 일 실시 예에 따른 차량용 영상 생성 장치는 출력 영상을 생성하기 위하여 먼저 복수의 광각 카메라에서 촬영한 복수의 영상에 대하여 불량 픽셀의 값 보정(Defect correction), 잡음 제거(Noise Reduction; NR) 및 광역 보정(Wide Dynamic Range; WDR)의 과정을 수행하여 전처리 영상을 생성(S410)한다.

특히 광역 보정 기능은 차량 실내외 조도차를 제거하여 선명한 영상을 생성하기 위하여 수행할 수 있다.

도 22는 본 발명의 일 실시 예에 따른 광역 보정 방법을 도시한 도면이다.

도 22를 참조하면, 광역 보정을 위하여 초기 설정 모드와 운용 모드가 있을 수 있다. 초기 설정 모드는 저 노출 영상과 고 노출 영상 중에서 어느 것을 사용할 것인지를 결정하여 그 결과를 포함하는 노출 영역 정보를 설정한다. 그리고 운용 모드에서는 운용 중에 실시간으로 초기 설정 모드에서 설정한 노출 영역 정보를 바탕으로 광역 보정된 전처리 영상을 생성한다. 이를 위하여 초기 설정 모드에서는 먼저 광역 카메라의 셔터 속도를 달리함으로써 노출이 서로 다른 2장의 광역 보정용 영상을 생성(S510)한다. 그리고 노출이 서로 다른 2장의 광역 보정용 영상 중 저 노출 영상에서의 픽셀값이 매우 낮은 부분과 고 노출 영상에서의 픽셀값이 매우 높은 부분을 서로 비교하여, 두 영상 간의 겹치는 영역이 최소화되도록 광역 보정 임계치를 설정(S520)한다. 그리고 광역 보정된 전처리 영상의 각 픽셀의 값으로 노출이 적은 저 노출 영상의 픽셀 값을 사용할 것인지 아니면 노출이 많은 고 노출 영상의 픽셀 값을 사용할 것인지를 광역 보정 임계치를 바탕으로 선택하여, 픽셀별로 해당 픽셀이 저 노출 영역 혹은 고 노출 영역에 해당하는지의 노출 영역 정보를 영상 형태로 저장(S530)한다. 그리고 실제 운용 모드에서는 매 프레임별로 광각카메라에서 입력되는 노출이 서로 다른 2장의 영상(저 노출 영상과 고 노출 영상)의 대응하는 픽셀 값 중에서 하나를, 이미 저장된 각 픽셀의 노출 영역 정보에 따라 선택하여 광역 보정된 전처리 영상의 픽셀 값으로 결정(S540)한다.

이처럼 광역 보정은 저 노출 영상과 고 노출 영상을 합성하여 1개의 광역 보정된 영상을 생성하는 것이므로 매 프레임별로 노출이 다른 2장의 영상이 광각 카메라에서 촬영되어 입력되어야 한다. 따라서 광역 보정이 필요 없는 카메라에 비하여 프레임 레이트가 2배로 크게 설정될 필요가 있다.

다시 도 21을 참고하면, 전처리 영상은 후처리 단계를 거치게 되는데 후처리 단계는 전처리 단계(S410)에서 생성된 전처리 영상들 각각에 대하여 밝기 및 색상 신호 분리, 경계부 개선(Edge Enhancement), 감마 보정(Gamma Correction), 색상 보정(Color Correction), 및 밝기 개선(Contrast Enhancement) 중의 적어도 하나를 수행하여 후처리 영상들을 생성(S420)할 수 있다.

그리고 가상 카메라 기반의 영상생성부 내의 복수의 영상 생성 코어 각각은 후처리 영상들 중의 하나를 입력 영상으로 하고, 설정된 파라미터에 따라 가상 카메라를 모델링하고, 입력 영상으로부터 가상 카메라의 시점에서 보여지는 영상을 생성(S430)할 수 있다.

영상 생성 코어는 도 21에 도시된 방법에 따라 입력 영상으로부터 가상 카메라의 시점에서 보여지는 영상을 생성할 수 있다.

도 23은 본 발명의 일 실시 예에 따른 영상 생성 코어에서 영상을 생성하는 방법을 도시한 도면이다.

도 23을 참조하면, 본 발명의 일 실시 예에 따른 각 영상 생성 코어는 설정된 파라미터에 따라 가상 카메라 모델을 생성(S610)한다. 이때 하나의 입력 영상으로부터 하나 이상의 영상을 생성하고자 하는 경우에는 하나 이상의 가상 카메라 모델을 생성할 수 있다. 즉, 주처리부(500)에서 가상 카메라의 수 및 각 가상 카메라의 위치 및 자세를 파라미터로 설정할 수 있다. 여기서 설정된 위치 및 자세는 기계식 카메라의 디지털 팬, 틸트, 줌 기능을 에뮬레이션하게 된다. 그리고 특수 렌즈 효과를 가지도록 하는 가상 카메라의 유형 및 각 유형별 파라미터들이 설정된다. 가상 카메라의 유형, 위치, 및 자세에 대한 설정이 완료되면 이를 바탕으로 가상 카메라의 시점에서 보여지는 영상(J)의 한 점에 대한 장면 좌표계의 좌표(

) 및 광축 중심(

)을 계산할 수 있다.

그리고 2차 곡면 모델을 생성(S620)할 수 있다. 2차 곡면 모델은 얻고자 하는 효과에 따라 복수 개의 모델 중에서 하나를 선택할 수 있다. 복수 개의 모델에는 가상 카메라의 팬, 틸트, 줌 효과를 얻기 위해 사용될 수 있는 타원체(Ellipsoid) 모델, 광각 영상 생성을 위한 실린더(Cylinder) 모델, 영상의 일정 부부만을 매핑한 효과를 얻기 위한 포물면 모델, 그리고 사용자가 임의로 설정할 수 있는 사용자 2차 곡면 모델을 포함할 수 있다. 2차 곡면 모델 선택 시에는 각 모델에 적합한 파라미터를 같이 설정할 수 있다. 설정된 2차 곡면 모델은 4x4 행렬(

)로 표현될 수 있고, 설정된 자세 및 위치에 따라 장면 좌표계상의 2차 곡면 모델(

)로 변환될 수 있다.

다음으로, 광각 카메라로 촬영한 영상에 포함되어 있는 왜곡을 제거하기 위한 카메라 투영 모델을 생성(S630)할 수 있다. 영상에 포함되어 있는 왜곡을 제거하기 위하여 카메라 투영 모델은 이론적으로 분석한 모델과 수치적으로 근사한 모델 등에 의하여 구해진 왜곡 보정 매핑 함수를 사용할 수 있는데, 바람직하게는 테일러 확장(Taylor expansion series) 기반의 근사 모델을 사용할 수 있다. 이와 같은 왜곡 보정 매핑 함수를 이용하여 왜곡을 제거할 수 있는 입력 영상의 한 점으로 매핑할 수 있다.

그리고 상술한 바처럼 설정된 파라미터에 따라 생성된 모델을 바탕으로 가상 카메라 모델의 투영선과 2차 곡면 모델의 교차점을 계산(S640)한다. 여기서 투영선은 가상 카메라의 광축 중심과 가상 카메라의 시점에서 보여지는 영상의 한 점을 잇는 직선이다. 즉, 가상 카메라에서 보여지는 영상을 생성하기 위하여 가상 카메라에서 보여지는 영상의 한 점(픽셀)에 입력 영상의 어느 한 점(픽셀)을 매핑시켜야 하는데 그 1 단계 작업으로서 투영선과 2차 곡면 모델의 교차점을 계산하는 것이다. 그리고 상기 교차점을 다시 왜곡 보정 매핑 함수를 포함하는 카메라 투영 모델을 이용하여 입력 영상의 한 점으로 매핑하여 가상 카메라에서 보여지는 최종 영상을 생성(S650)한다. 이때의 입력 영상의 한 점은 입력 영상에 포함되어 있는 왜곡을 제거할 수 있는 점이다.

상술한 방법을 이용하여 복수의 영상 생성 코어 각각은 하나 이상의 영상을 생성할 수 있으며, 다시 도 19를 참조하면, 복수의 영상 생성 코어에서 생성된 복수의 영상들을 설정된 출력 화면 구성에 따라 합성하여 출력 영상을 생성(S440)할 수 있다. 이렇게 생성된 출력 영상은 화면에 표시될 수 있다.

상술한 것처럼 본 발명에서 제시하는 차량용 영상 생성 장치 및 방법에 의하면 차량에 부착되어 있는 복수의 광각 카메라로 촬영한 영상을 바탕으로 운전자가 안전하게 운전할 수 있도록 도와줄 수 있는 다양한 영상을 운전자에게 제공할 수 있을 것이다. 특히 차량의 주행 속도나 주행 방향에 맞추어 필요한 영상을 자동으로 생성하여 운전자에게 제공함으로써 운전의 편의성 및 안전성 향상에 도움을 줄 수 있을 것이다.

본 발명이 속하는 기술 분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 다중 카메라부
200: 전처리부
300: 저장부
400: 후처리부
500: 주처리부
600: 입력부
700: 영상생성부
701, 702, 703: 영상 생성 코어
710: 가상 카메라 모델부
720: 2차곡면 모델부
730: 카메라 투영 모델부
800: 화면부
900: 차량 센서부

Claims

차량용 영상 생성 장치로서,
차량에 부착되는 복수의 광각 카메라를 포함하는 다중 카메라부;
복수의 영상 생성 코어 및 영상합성부를 포함하고, 상기 복수의 영상 생성 코어의 각각은 상기 광각 카메라에서 촬영한 영상들 중의 하나를 입력 영상으로 하고, 설정된 파라미터에 따른 시점을 가지는 가상 카메라를 모델링하고, 상기 입력 영상으로부터 상기 가상 카메라의 시점에서 보여지는 영상을 생성하여 출력하고, 상기 영상합성부는 상기 복수의 영상 생성 코어에서 출력하는 영상을 설정된 화면 구성에 따라 합성하여 출력 영상을 생성하는 영상생성부;
상기 복수의 영상 생성 코어의 각 영상 생성 코어가 영상을 생성하기 위하여 필요한 상기 가상 카메라의 시점을 포함하는 파라미터를 설정하고, 상기 영상합성부에서의 영상 합성을 위한 상기 화면 구성을 설정하는 처리부; 및
상기 영상생성부에서 생성한 상기 출력 영상을 설정된 화면 구성에 따라 복수의 분할 화면들을 통해 출력하는 화면부;
상기 차량의 주행 상태 정보를 획득하는 차량 센서부;
사용자로부터 상기 출력 영상을 생성하기 위한 설정 정보 및 요구사항 중 적어도 하나를 입력받는 입력부; 및
상기 복수의 광각 카메라에서 촬영한 영상 및 상기 영상생성부에서 생성한 출력 영상 중 적어도 하나를 저장하는 저장부를 포함하고,
상기 처리부는 전처리부, 후처리부 및 주처리부를 포함하고,
상기 전처리부는 상기 다중 카메라부의 복수의 광각 카메라가 촬영한 영상들로부터 전처리 영상들을 생성하고,
상기 후처리부는 상기 전처리 영상들로부터 후처리 영상들을 생성하고, 상기 후처리 영상에서 움직임을 감지하는 움직임 검출기, 상기 후처리 영상에서 차선을 검출하는 차선 검출기 및 상기 후처리 영상에서 물체를 추적하는 물체 추적기 중 적어도 하나를 포함하고, 상기 움직임 검출기에서 획득한 움직임 정보, 상기 차선 검출기에서 획득한 차선 정보 및 상기 물체 추적기에서 획득한 물체 추적 정보 중 적어도 하나를 생성하고,
상기 주처리부는 상기 영상합성부에서의 영상 합성을 위한 화면 구성을 설정하고, 상기 화면 구성은 상기 표시부에서 출력되는 복수의 분할 화면들의 위치와 크기를 포함하고,
상기 주처리부는,
상기 입력부를 통해 입력된 설정 정보, 요구사항, 상기 차량 센서부에서 획득한 상기 주행 상태 정보, 상기 후처리부에서 생성한 상기 움직임 정보, 상기 차선 정보 및 상기 물체 추적 정보 중 적어도 하나를 바탕으로 상기 차량의 주행 상태를 판단하고,
판단된 상기 차량의 주행 상태에 해당하는 시나리오를 결정하고,
결정된 시나리오에 해당하는 화면 구성을 설정하고,
상기 영상생성부는,
상기 복수의 광각 카메라가 촬영한 영상들 중 상기 주처리부에 의해 결정된 시나리오에 해당하는 화면 구성에 사용되는 영상들을 입력 영상으로 선택하고,
상기 주처리부에 의해 결정된 시나리오에 해당하는 화면 구성에 따라 선택된 입력 영상들을 합성하고,
최종 출력 영상을 생성하고,
상기 화면부는 상기 최종 출력 영상을 상기 설정된 화면 구성에 따라 상기 복수의 분할 화면들을 통해 출력하고, 상기 복수의 분할 화면들 각각의 크기는 상기 설정된 화면 구성에 따라 조절되는,
차량용 영상 생성 장치.
제1항에 있어서,
상기 시나리오는 상기 차량이 주행 중인 시나리오, 상기 차량이 T자 전진 주차시인 시나리오 및 상기 차량이 정차 후 문이 열리는 시나리오 중 적어도 하나인,
차량용 영상 생성 장치.
제1항에 있어서, 상기 저장부는,
상기 복수의 광각 카메라에서 촬영한 영상을 저장하는 경우,
상기 복수의 광각 카메라의 각 광각 카메라가 동일 시간대에 촬영한 영상에 동일한 인덱스를 부여함으로써 상기 복수의 광각 카메라에서 촬영한 영상을 동기화시켜 저장하는,
차량용 영상 생성 장치.
제1항에 있어서, 상기 저장부는,
상기 영상생성부에서 생성한 출력 영상을 저장하는 경우,
상기 출력 영상을 생성하기 위해 설정된 상기 복수의 영상 생성 코어의 상기 가상 카메라의 시점을 포함하는 파라미터 및 상기 화면 구성을 함께 저장하는,
차량용 영상 생성 장치.
제1항에 있어서,
상기 다중 카메라부의 상기 복수의 광각카메라는 상기 차량의 전방을 촬영하는 전방 카메라, 상기 차량의 후방을 촬영하는 후방 카메라, 상기 차량의 좌, 우 측방을 촬영하는 측방 카메라, 및 실내를 촬영하는 실내 카메라를 포함하는,
차량용 영상 생성 장치.
제5항에 있어서,
상기 처리부는 상기 전방 카메라의 전방 광각 뷰, 탑(top) 뷰, 버드 아이 뷰, 상기 측방 카메라의 사각지대 뷰, 인접 차선 뷰, 탑 뷰, 상기 후방 카메라의 후방 광각 뷰, 탑 뷰, 도로 영상 뷰, 상기 실내 카메라의 운전석 뷰, 보조석 뷰, 전방 뷰, 전방위 실내 뷰 중의 적어도 하나가 상기 화면부에 출력되도록 상기 화면 구성을 설정하는,
차량용 영상 생성 장치.
제1항에 있어서,
상기 화면부는 상기 차량의 왼쪽 창, 오른쪽 창, 센터페시아, 룸미러(room mirror), 전면 유리, 및 앞좌석 뒤쪽 중의 적어도 하나에 위치하는,
차량용 영상 생성 장치.
제1항에 있어서,
상기 전처리부는 상기 다중 카메라부의 복수의 광각 카메라가 촬영한 영상들을 수신하고, 수신한 영상들 각각에 대하여 불량 픽셀의 값 보정(Defect correction), 잡음 제거(Noise Reduction), 및 광역 보정(Wide Dynamic Range) 중의 적어도 하나를 수행하는 전처리 과정을 통해 전처리 영상들을 생성하고, 상기 전처리 영상들을 상기 후처리부로 전달하고,
상기 후처리부는 상기 전처리부로부터 수신한 상기 전처리 영상들 각각에 대하여 밝기 및 색상 신호 분리, 경계부 개선(Edge Enhancement), 감마 보정(Gamma Correction), 색상 보정(Color Correction), 밝기 개선(Contrast Enhancement) 중의 적어도 하나를 포함하는 후처리 과정을 수행하여 후처리 영상들을 생성하여 상기 영상생성부로 전달하고,
상기 주처리부는 상기 입력부를 통해 입력된 설정 정보, 요구사항, 및 상기 차량 센서부에서 획득한 상기 주행 상태 정보 중 적어도 하나를 바탕으로 상기 복수의 영상 생성 코어의 각 영상 생성 코어가 영상을 생성하기 위하여 필요한 상기 가상 카메라의 시점을 포함하는 파라미터를 설정하고, 상기 영상합성부에서의 영상 합성을 위한 상기 화면 구성을 설정하는,
차량용 영상 생성 장치.
제8항에 있어서,
상기 주처리부는,
상기 복수의 광각 카메라 중 적어도 하나가 촬영한 영상에 대하여 상기 광역 보정을 수행하도록 설정하고, 촬영한 영상에 대하여 광역 보정을 수행하도록 설정된 적어도 하나의 광각 카메라에 대하여 노출이 서로 다른 두 개의 영상을 촬영하여 상기 전처리부로 전달할 수 있도록 파라미터를 설정하고,
상기 전처리부는,
각 픽셀에 대하여 상기 노출이 서로 다른 두 개의 영상 중 어느 하나의 대응되는 픽셀 값을 선택하여 값을 결정함으로써 광역 보정을 수행하는,
차량용 영상 생성 장치.
제1항에 있어서,
상기 주처리부는,
상기 후처리부에서 생성한 상기 움직임 정보, 상기 차선 정보 및 상기 물체 추적 정보 중 적어도 하나를 바탕으로 차선, 주차선, 및 차량 중 적어도 하나가 증강현실 방식으로 화면에 추가적으로 합성되도록 상기 화면 구성을 설정하는,
차량용 영상 생성 장치.
제8항에 있어서,
상기 전처리부는,
상기 수신한 영상으로부터 상기 복수의 광각 카메라가 촬영한 각 영상에 대하여 자동 색온도 보정(Auto White Balance), 자동 노출(Auto Exposure), 및 자동 초점(Auto Focus) 중 적어도 하나와 연관된 정보를 추출하여 상기 주처리부로 전달하고,
상기 주처리부는,
상기 전처리부로부터 수신한 자동 색온도 보정, 자동 노출, 및 자동 초점 중 적어도 하나와 연관된 정보를 바탕으로 상기 복수의 광각 카메라의 촬영을 위한 파라미터를 설정하는,
차량용 영상 생성 장치.
제11항에 있어서, 상기 주처리부는,
상기 복수의 광각 카메라의 촬영을 위한 파라미터로 셔터 속도(Shutter speed), 색상 이득 값(color gains), 영상해상도, 프레임 레이트 중 적어도 하나를 사용하는,
차량용 영상 생성 장치.
제8항에 있어서,
상기 전처리부는,
상기 수신한 영상으로부터 상기 복수의 광각 카메라가 촬영한 각 영상에 대하여 자동 색 온도 보정(Auto White Balance), 자동 노출(Auto Exposure), 및 자동 초점(Auto Focus) 중 적어도 하나와 연관된 정보를 추출하여 상기 주처리부로 전달하고,
상기 주처리부는,
상기 전처리부로부터 수신한 자동 색 온도 보정, 자동 노출, 및 자동 초점 중 적어도 하나와 연관된 정보, 상기 입력부를 통해 입력된 설정 정보, 요구사항, 상기 차량 센서부에서 획득한 상기 주행 상태 정보, 상기 후처리부에서 생성한 상기 움직임 정보, 상기 차선 정보, 및 상기 물체 추적 정보 중 적어도 하나를 바탕으로 상기 복수의 광각 카메라의 촬영을 위한 파라미터를 설정하는,
차량용 영상 생성 장치.
제8항에 있어서, 상기 후처리부는,
상기 저장부가 있는 경우, 상기 후처리 영상들을 비디오 코덱을 이용하여 압축하여 상기 저장부로 추가적으로 전달하는,
차량용 영상 생성 장치.
제1항에 있어서, 상기 영상 생성 코어는,
상기 처리부에 의해 설정되는 파라미터에 따라 각각의 시점 및 유형을 가지는 하나 이상의 가상 카메라를 모델링하는 가상 카메라 모델부;
상기 하나 이상의 가상 카메라의 각 가상 카메라에 의해 보여지는 영상인 출력 영상과 상기 광각 카메라에 의해 촬영된 영상인 입력 영상 간에 매핑 시 영상 효과를 추가하기 위하여 사용되는 2차 곡면을 제공하는 2차 곡면 모델부; 및
상기 입력 영상에 포함되어 있는 왜곡을 제거하면서 각 가상 카메라별 상기 출력 영상과 입력 영상 간의 매핑을 수행하도록 하는 카메라 투영 모델을 제공하는 카메라 투영 모델부;를 포함하는,
차량용 영상 생성 장치.
제15항에 있어서,
상기 카메라 투영 모델부는,
상기 가상 카메라 모델부의 각 가상 카메라의 광축 중심과 출력 영상 상의 한 점을 연결하는 직선인 투영선과 상기 2차 곡면의 교차점을 계산하고,
상기 교차점을 상기 입력 영상에 포함되어 있는 왜곡을 제거하기 위한 왜곡 보정 매핑 함수를 이용하여 상기 입력 영상 상의 한 점으로 매핑함으로써,
상기 각 가상 카메라별 출력 영상과 상기 입력 영상 간의 매핑을 수행하는,
차량용 영상 생성 장치.
차량용 영상 생성 방법에 있어서,
복수의 광각 카메라로 복수의 영상을 촬영하는 단계;
출력 화면 구성 및 출력 영상을 설정하는 단계;
상기 출력 화면 구성 및 상기 출력 영상을 생성하기 위하여 가상 카메라의 시점을 포함하는 파라미터를 설정하는 단계;
가상 카메라 기반의 영상생성부 내의 복수의 영상 생성 코어 각각이 상기 복수의 영상 중의 하나를 입력 영상으로 하고, 설정된 상기 가상 카메라의 시점을 포함하는 파라미터에 따라 가상 카메라를 모델링하고, 상기 입력 영상으로부터 상기 가상 카메라의 시점에서 보여지는 영상을 생성하고, 상기 복수의 영상 생성 코어에서 생성한 영상을 설정된 상기 출력 화면 구성에 따라 합성하여 출력 영상을 생성하는 단계; 및
상기 출력 영상을 설정된 상기 출력 화면 구성에 따라 복수의 분할 화면들을 통해 표시하는 단계;를 포함하고,
상기 차량의 주행 상태 정보를 획득하는 단계;
사용자로부터 상기 출력 화면 구성 및 상기 출력 영상을 생성하기 위한 설정 정보 및 요구사항 중 적어도 하나를 입력받는 단계;를 포함하고,
상기 출력 영상을 생성하는 단계는,
복수의 광각 카메라가 촬영한 영상들로부터 전처리 영상들을 생성하고,
상기 전처리 영상들로부터 후처리 영상들을 생성하고, 상기 후처리 영상에서 움직임 정보 및 차선 정보 중 적어도 하나를 검출하는 단계를 포함하고,
상기 출력 화면 구성 및 출력 영상을 설정하는 단계는,
상기 입력된 설정 정보, 요구사항, 차량 주행 상태 정보, 상기 검출된 움직임 정보 및 차선 정보 중 적어도 하나를 바탕으로 상기 차량의 주행 상태를 판단하고,
판단된 상기 차량의 주행 상태에 해당하는 시나리오를 결정하고,
결정된 시나리오에 해당하는 화면 구성을 설정하는 단계를 포함하고,
상기 화면 구성은 상기 표시되는 복수의 분할 화면들의 위치와 크기를 포함하고,
상기 출력 영상을 생성하는 단계는,
상기 복수의 광각 카메라가 촬영한 영상들 중 상기 결정된 시나리오에 해당하는 화면 구성에 사용되는 영상들을 입력 영상으로 선택하고,
상기 결정된 시나리오에 의해 해당하는 화면 구성에 따라 선택된 입력 영상들을 합성하고,
최종 출력 영상을 생성하고,
상기 복수의 분할 화면들을 통해 표시하는 단계는,
상기 최종 출력 영상을 상기 설정된 화면 구성에 따라 상기 복수의 분할 화면들을 통해 출력하고, 상기 복수의 분할 화면들 각각의 크기는 상기 설정된 화면 구성에 따라 조절되는,
차량용 영상 생성 방법.
제17항에 있어서,
상기 파라미터를 설정하는 단계는,
상기 주행 상태 정보 및 상기 설정 정보 중 적어도 하나를 바탕으로 파라미터를 설정하는 단계를 포함하는,
차량용 영상 생성 방법.
제17항에 있어서,
상기 출력 화면 구성 및 출력 영상을 설정하는 단계는,
상기 주행 상태 정보 중 차량 진행 속도에 맞춰 가상 카메라의 줌 및 틸트 파라미터들을 설정하여 상기 가상 카메라의 시점을 설정하는 단계;
또는 상기 주행 상태 정보 중 차량 진행 방향에 맞춰 가상 카메라의 줌 및 팬 파라미터들을 설정하여 상기 가상 카메라의 시점을 설정하는 단계;
또는 상기 설정 정보에 따라 가상 카메라의 줌, 팬 및 틸트 파라미터들을 설정하여 상기 가상 카메라의 시점을 설정하는 단계를 포함하는,
차량용 영상 생성 방법.
제17항에 있어서
상기 복수의 광각 카메라에서 촬영한 영상 및 상기 출력 영상 중 적어도 하나를 저장하는 단계;를 더 포함하는,
차량용 영상 생성 방법.
제20항에 있어서,
상기 복수의 광각 카메라에서 촬영한 영상 및 상기 출력 영상 중 적어도 하나를 저장하는 단계는,
상기 복수의 광각 카메라에서 촬영한 영상을 저장하는 경우,
상기 복수의 광각 카메라의 각 광각 카메라가 동일 시간대에 촬영한 영상에 동일한 인덱스를 부여함으로써 상기 복수의 광각 카메라에서 촬영한 영상을 동기화시켜 저장하는 단계;를 포함하는,
차량용 영상 생성 방법.
제17항에 있어서,
상기 복수의 광각 카메라에서 촬영한 영상 및 상기 출력 영상 중 적어도 하나를 저장하는 단계는,
상기 출력 영상을 저장하는 경우,
상기 출력 영상을 생성하기 위해 설정된 상기 가상 카메라의 시점을 포함하는 파라미터를 함께 저장하는,
차량용 영상 생성 방법.
제17항에 있어서,
상기 출력 화면 구성 및 출력 영상을 설정하는 단계는,
전방 카메라의 전방 광각 뷰, 탑(top) 뷰, 버드 아이 뷰, 측방 카메라의 사각지대 뷰, 인접 차선 뷰, 탑 뷰, 후방 카메라의 후방 광각 뷰, 탑 뷰, 도로 영상 뷰, 실내 카메라의 운전석 뷰, 보조석 뷰, 전방 뷰, 전방위 실내 뷰 중의 적어도 하나를 포함하도록 출력 화면 구성 및 출력 영상을 설정하는 단계를 포함하는,
차량용 영상 생성 방법.
제17항에 있어서,
상기 출력 영상을 생성하는 단계는,
상기 복수의 광각 카메라가 촬영한 복수의 영상들을 수신하고, 수신한 복수의 영상들 각각에 대하여 불량 픽셀의 값 보정(Defect correction), 잡음 제거(Noise Reduction), 및 광역 보정(Wide Dynamic Range) 중의 적어도 하나를 수행하여 전처리 영상들을 생성하는 전처리 단계;
상기 전처리 단계에서 생성된 상기 전처리 영상들 각각에 대하여 밝기 및 색상 신호 분리, 경계부 개선(Edge Enhancement), 감마 보정(Gamma Correction), 색상 보정(Color Correction), 및 밝기 개선(Contrast Enhancement) 중의 적어도 하나를 수행하여 후처리 영상들을 생성하는 후처리 단계;
가상 카메라 기반의 영상생성부 내의 복수의 영상 생성 코어 각각이 상기 후처리 영상들 중의 하나를 입력 영상으로 하고, 설정된 상기 가상 카메라의 시점을 포함하는 파라미터에 따라 가상 카메라를 모델링하고, 상기 입력 영상으로부터 상기 가상 카메라의 시점에서 보여지는 영상을 생성하는 단계; 및
상기 복수의 영상 생성 코어에서 생성한 영상들을 설정된 상기 출력 화면 구성에 따라 합성하여 출력 영상을 생성하는 단계;를 포함하는,
차량용 영상 생성 방법.
제24항에 있어서,
상기 전처리 단계의 광역 보정은,
광각 카메라의 셔터 속도를 조절하여 노출이 서로 다른 2장의 광역 보정용 영상을 생성하는 단계;
상기 2장의 광역 보정용 영상을 바탕으로 광역 보정 임계치를 설정하는 단계;
상기 광역 보정 임계치를 바탕으로 영상 내의 각 픽셀의 값에 대하여 노출이 서로 다른 2장의 광역 보정용 영상 중 픽셀 값을 사용할 영상을 결정하여 노출 영역 정보로 저장하는 단계; 및
광역 보정된 전처리 영상을 생성하기 위하여, 광역 보정된 전처리 영상의 각 픽셀 값을 결정하되, 상기 노출 영역 정보에 따라 선택된 상기 광각 카메라에서 입력되는 노출이 서로 다른 2장의 영상 중의 선택된 하나의 영상의 픽셀 값으로 결정하는 단계;를 포함하는,
차량용 영상 생성 방법.
제24항에 있어서,
상기 파라미터를 설정하는 단계는,
상기 후처리 영상에서 움직임을 감지하여 움직임 정보를 획득하는 단계, 상기 후처리 영상에서 차선을 검출하여 차선 정보를 획득하는 단계, 및 상기 후처리 영상에서 물체를 추적하여 물체 추적 정보를 획득하는 단계 중 적어도 하나를 포함하고,
상기 움직임 정보, 상기 차선 정보, 상기 물체 추적 정보 상기 주행 상태 정보, 및 상기 설정 정보 중 적어도 하나를 바탕으로 파라미터를 설정하는 단계;를 포함하는,
차량용 영상 생성 방법.
제26항에 있어서,
상기 전처리 단계는,
상기 수신한 영상으로부터 상기 복수의 광각 카메라가 촬영한 각 영상에 대하여 자동 색 온도 보정(Auto White Balance), 자동 노출(Auto Exposure), 및 자동 초점(Auto Focus) 중 적어도 하나와 연관된 정보를 추출하는 단계를 더 포함하고,
상기 파라미터를 설정하는 단계는
상기 전처리 단계에서 추출한 상기 자동 색 온도 보정, 자동 노출, 및 자동 초점 중 적어도 하나와 연관된 정보, 상기 움직임 정보, 상기 차선 정보, 상기 물체 추적 정보, 상기 주행 상태 정보, 및 상기 설정 정보 중 적어도 하나를 바탕으로 상기 복수의 광각 카메라의 촬영을 위한 파라미터를 설정하는 단계;를 포함하는,
차량용 영상 생성 방법.
제24항에 있어서,
상기 가상 카메라 기반의 영상생성부 내의 복수의 영상 생성 코어 각각이 상기 후처리 영상들 중의 하나를 입력 영상으로 하고, 설정된 상기 가상 카메라의 시점을 포함하는 파라미터에 따라 가상 카메라를 모델링하고, 상기 입력 영상으로부터 상기 가상 카메라의 시점에서 보여지는 영상을 생성하는 단계는,
설정된 상기 파라미터에 따라 가상 카메라를 모델링하는 단계;
상기 가상 카메라에 의해 보여지는 영상과 상기 입력 영상 간에 매핑 시 영상 효과를 추가하기 위하여 사용되는 2차 곡면을 모델링하는 단계;
상기 입력 영상에 포함되어 있는 왜곡을 제거하면서 상기 가상 카메라의 시점에서 보여지는 영상과 입력 영상 간의 매핑을 수행하도록 하는 카메라 투영 모델 생성 단계;
상기 가상 카메라의 광축 중심과 상기 가상 카메라의 시점에서 보여지는 영상 상의 한 점을 연결하는 직선인 투영선과 상기 2차 곡면의 교차점을 계산하는 단계; 및
상기 교차점을 상기 입력 영상에 포함되어 있는 왜곡을 제거하기 위한 왜곡 보정 매핑 함수를 이용하여 상기 입력 영상 상의 한 점으로 매핑하는 단계;를 포함하는,
차량용 영상 생성 방법.
컴퓨터 또는 프로세서상에서 실행될 때, 제17항에 따른 방법을 실행하는 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램.