KR20160051129A

KR20160051129A - 차량 어라운드뷰 영상 생성 장치 및 차량 어라운드뷰 영상 생성 방법

Info

Publication number: KR20160051129A
Application number: KR1020140150586A
Authority: KR
Inventors: 장원준
Original assignee: 현대모비스 주식회사
Priority date: 2014-10-31
Filing date: 2014-10-31
Publication date: 2016-05-11
Also published as: KR102227853B1

Abstract

본 발명은 다수의 카메라로부터 영상을 입력 받는 영상입력부, 상기 영상 출력 화소 단위로 색 표현 정보 또는 상기 영상의 좌표 정보가 기록된 레코드들로 구성되는 복수의 룩업 테이블을 저장하는 좌표저장부 및 상기 저장된 룩업 테이블 중 적어도 어느 하나를 고려하여 영상을 합성하는 영상처리부를 포함하는 차량 어라운드뷰 영상 생성 장치에 관한 것이다.

Description

차량 어라운드뷰 영상 생성 장치 및 차량 어라운드뷰 영상 생성 방법 {Apparatus and method for generating vehicle around-view video}

본 발명은 차량 어라운드뷰 영상 생성 장치 및 차량 어라운드뷰 영상 생성 방법에 관한 것으로, 보다 상세하게는 복수의 카메라가 출력한 영상이 입력되면 입력된 영상의 좌표 정보를 담은 룩업 테이블을 좌표저장부에 저장하고, 화면이 전환될 때 저장된 룩업 테이블에 가중치를 주어 현재 화면에서 전환될 화면이 연속적으로 부드럽게 전환되도록 하여 운전자에게 차량 영상을 제공하는 차량 어라운드뷰 영상 생성 장치 및 차량 어라운드뷰 영상 생성 방법에 관한 것이다.

AVM(Around-View Monitoring) 시스템은 차량 주변 영상을 운전자에게 제공하여 사고를 방지한다. 또한 AVM 영상에서 차선을 인식하여 주차 지원 시스템이 동작하기도 한다.

AVM 시스템은 차량 주변 영상을 개략적으로 보여주거나 자세히 보여줄 수 있는데, 운전자가 원하는 차량 영상을 출력할 때 화면을 급격하게 전화시키면 운전자에게 혼란을 주어 차량 운전 시 방해가 될 수 있다.

최근에 운전자가 원하는 화면 전환 시 이질감이 없는 화면을 운전자에게 제공하는 기술이 연구 중에 있다.

본 발명이 해결하고자 하는 과제는 복수의 카메라가 출력한 영상이 입력되면 입력된 영상의 좌표 정보를 담은 룩업 테이블을 좌표저장부에 저장하고, 화면이 전환될 때 저장된 룩업 테이블에 가중치를 주어 현재 화면에서 전환될 화면이 연속적으로 부드럽게 전환되도록 하여 운전자에게 차량 영상을 제공하는 차량 어라운드뷰 영상 생성 장치 및 차량 어라운드뷰 영상 생성 방법을 제공함에 있다.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 과제를 달성하기 위하여, 본 발명의 실시례에 따른 차량 어라운드뷰 생성 장치는, 다수의 카메라로부터 영상을 입력 받는 영상입력부, 상기 영상 출력 화소 단위로 색 표현 정보 또는 상기 영상의 좌표 정보가 기록된 레코드들로 구성되는 복수의 룩업 테이블을 저장하는 좌표저장부 및 상기 저장된 룩업 테이블 중 적어도 어느 하나를 고려하여 영상을 합성하는 영상처리부를 포함한다.

상기 복수의 룩업 테이블 중 적어도 둘 이상의 룩업 테이블의 데이터를 가중치를 주어 보간 계산하여 새로운 룩업 테이블을 산출하는 좌표추정부를 더 포함하고 상기 영상처리부는 상기 고려된 룩업 테이블 및 상기 새로운 룩업 테이블 중 적어도 어느 하나를 고려하여 상기 영상을 합성한다.

상기 영상처리부는 상기 합성 영상의 뷰 모드 변환 시 상기 보간 계산에 이용된 룩업 테이블 중간에 새로운 룩업 테이블을 고려하여 상기 영상을 합성한다.

상기 좌표추정부는 프레임 마다 상기 보간의 값에 변화를 주어 상기 보간 계산한다.

상기 좌표추정부는 상기 보간의 값을, 설정된 단위시간마다 일정한 값을 감소 시킴으로써 변화시킨다.

상기 과제를 달성하기 위하여, 본 발명의 실시례에 따른 차량 어라운드뷰 생성 방법은, 다수의 카메라로부터 영상을 입력 받는 단계, 상기 영상 출력 화소 단위로 색 표현 정보 또는 상기 영상의 좌표 정보가 기록된 레코드들로 구성되는 복수의 룩업 테이블이 저장되는 단계 및 상기 저장된 룩업 테이블 중 적어도 어느 하나를 고려하여 영상을 합성하는 단계를 포함한다.

상기 복수의 룩업 테이블 중 적어도 둘 이상의 룩업 테이블의 데이터를 가중치를 주어 보간 계산하여 새로운 룩업 테이블을 산출하는 단계를 더 포함하고 상기 영상 합성 단계에서 상기 고려된 룩업 테이블 및 상기 새로운 룩업 테이블 중 적어도 어느 하나를 고려하여 상기 영상을 합성한다.

상기 영상 합성 단계에서 상기 합성 영상의 뷰 모드 변환 시 상기 보간 계산에 이용된 룩업 테이블 중간에 새로운 룩업 테이블이 고려되어 상기 영상을 합성한다.

상기 룩업 테이블 저장 단계에서 프레임 마다 상기 보간의 값에 변화를 주어 상기 보간 계산한다.

상기 룩업 테이블 저장 단계에서 상기 보간의 값이, 설정된 단위시간마다 일정한 값을 감소 시킴으로써 변화된다.

기타 실시례들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 차량 어라운드뷰 영상 생성 장치 및 차량 어라운드뷰 영상 생성 방법에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.

첫째,　화면 전환 시 운전자에게 이질감없는 화면을 제공하여 운전 편의에 기여하는 장점이 있다.

둘째,　좌표추정부는 저장된 복수의 룩업 테이블을 가중치를 주어 보간 계산하여 출력된 새로운 룩업 테이블을 영상 합성에 이용하는 장점도 있다.

셋째,　좌표추정부는 보간의 값을 설정된 단위시간마다 일정한 값을 감소 시킴으로써 화면의 전환이 연속적으로 자연스럽게 이뤄지는 장점도 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일실시례에 따른 차량 어라운드뷰 영상 생성 장치의 구성을 도시한 구성도이다.
도 2는 도 1의 구성에 의한 차량 어라운드뷰 영상 생성 방법의 제어 흐름을 도시한 제어흐름도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시례들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시례들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시례들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하, 본 발명의 실시례들에 의하여 차량 어라운드뷰 영상 생성 장치를 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.

도 1은 본 발명의 일실시례에 따른 차량 어라운드뷰 영상 생성 장치의 구성을 도시한 구성도이다. 본 발명의 일실시례에 따른 차량 어라운드뷰 영상 생성 장치는 카메라(100), 영상입력부(200), 좌표저장부(300), 좌표추정부(400), 영상처리부(500) 및 모니터(600)를 포함한다.

카메라(100)는 차량 전방 영상, 차량 후방 영상 및 차량 측방 영상 중 적어도 어느 하나를 출력한다.

영상입력부(200)는 다수의 카메라(100)로부터 영상을 입력 받는다. 영상입력부(200) 입력 받은 영상의 영상 출력 화소 단위로 색 표현 정보 또는 영상의 좌표 정보를 획득한다. 영상입력부(200)는 좌표 정보를 좌표저장부(300)에 출력한다.

좌표저장부(300)는 영상 출력 화소 단위로 색 표현 정보 또는 영상의 좌표 정보가 기록된 레코드들로 구성되는 복수의 룩업 테이블을 저장한다. 좌표저장부(300)는 운전자가 현재 설정한 화면의 좌표 정보가 기록된 레코드들로 구성되는 룩업 테이블(luta) 및 운전자가 선택할 화면의 좌표 정보가 기록된 레코드들로 구성되는 룩업 테이블(lutb)을 저장한다.

좌표추정부(400)는 복수의 룩업 테이블 중 적어도 둘 이상의 룩업 테이블(luta, lutb)의 데이터를 가중치를 주어 보간 계산하여 새로운 룩업 테이블(lutc)을 산출한다. 즉 좌표추정부(400)는 운전자의 화면 전환 선택 시 현재 화면에서 선택 화면으로 불연속적으로 바뀌는 것을 방지하기 위해 현재 화면과 선택 화면의 가중치를 점차 변경시킨다.

좌표추정부(400)는 프레임 마다 보간의 값에 변화를 주어 보간 계산한다.

좌표추정부(400)는 (수학식 1)에서 현재 화면의 룩업 테이블(luta)의 좌표 정보에 가중치(α)를 주고 전환 선택된 화면의 룩업 테이블(lutb)의 좌표 정보에 가중치(1- α)를 주어 중간 변환 화면의 룩업 테이블(lutc)의 좌표 정보를 산출한다.

좌표추정부(400)는 보간의 값을, 설정된 단위시간마다 일정한 값을 감소 시킴으로써 변화시킨다. 일실시례에 따른 좌표추정부(400)는 가중치(α)를 1에서 설정된 단위시간마다 0.1씩 감소시킨다. 좌표추정부(400)가 가중치를 0.1씩 변경하는 과정을 (표 1)에 나타낸다.

좌표추정부(400)는 (표 1)에서 스텝(step)에 따라 산출된 좌표정보를 저장한 룩업 테이블(lutc)를 영상처리부(500)에 출력한다. 좌표추정부(400)에 설정된 가중치는 설정에 따라 변경될 수 있으며, 어느 특정한 값에 한정되지 않는다.

영상처리부(500)는 저장된 룩업 테이블 중 적어도 어느 하나를 고려하여 영상을 합성한다. 영상처리부(500)는 고려된 룩업 테이블(luta, lutb) 및 새로운 룩업 테이블(lutc) 중 적어도 어느 하나를 고려하여 영상을 합성한다. 영상처리부(500)는 합성 영상의 전환 시 상기 보간 계산에 이용된 룩업 테이블(luta, lutb) 중간에 새로운 룩업 테이블(lutc)을 고려하여 영상을 합성한다. 영상처리부(500)는 새로운 룩업 테이블(lutc)에 의해 합성된 영상을 모니터(600)에 출력한다.

모니터(600)는 수신한 영상을 화면으로 출력한다. 모니터(600)는 AVM(Around-View Monitoring) 시스템 화면일 수 있다. 모니터(600)는 HUD(Head-Up Display)일 수도 있다.

상기와 같이 구성되는 본 발명에 따른 차량 어라운드뷰 영상 생성 방법의 작용을 설명하면 다음과 같다. 도 2는 도 1의 구성에 의한 차량 어라운드뷰 영상 생성 방법의 제어 흐름을 도시한 제어흐름도이다.

카메라(100)는 차량 전방 영상, 차량 후방 영상 및 차량 측방 영상 중 적어도 어느 하나를 출력한다. 영상입력부(200)가 다수의 카메라로부터 영상을 입력 받는다(S100).

좌표저장부(300)는 영상 출력 화소 단위로 색 표현 정보 또는 영상의 좌표 정보가 기록된 레코드들로 구성되는 복수의 룩업 테이블을 저장한다(S110). 좌표저장부(300)는 운전자가 현재 설정한 화면의 좌표 정보가 기록된 레코드들로 구성되는 룩업 테이블(luta) 및 운전자가 선택할 화면의 좌표 정보가 기록된 레코드들로 구성되는 룩업 테이블(lutb)을 저장한다.

좌표추정부(400)는 복수의 룩업 테이블 중 적어도 둘 이상의 룩업 테이블의 데이터를 가중치를 주어 보간 계산하여 새로운 룩업 테이블(lutc)을 산출한다(S120). 좌표추정부(400)는 프레임 마다 보간의 값에 변화를 주어 보간 계산한다. 좌표추정부(400)는 보간의 값을, 설정된 단위시간마다 일정한 값을 감소 시킴으로써 변화시킨다. 좌표추정부(400)는 운전자의 화면 전환 선택 시 현재 화면에서 선택 화면으로 불연속적으로 바뀌는 것을 방지하기 위해 현재 화면과 선택 화면의 가중치를 점차 변경시킨다. 좌표추정부(400)는 프레임 마다 보간의 값에 변화를 주어 보간 계산한다.

좌표추정부(400)는 가중치를 설정된 단위시간마다 일정한 값을 감소 시킴으로써 변화시킨다. 일실시례에 따른 좌표추정부(400)는 가중치(α)를 1에서 설정된 단위시간마다 0.1씩 감소시킨다. 좌표추정부(400)가 보간의 값을 0.1씩 변경하는 과정을 (표 1)에 나타내며, (표 1)은 위에서 기 표시하였다.

좌표추정부(400)는 (표 1)에서 스텝(step)에 따라 산출된 좌표정보를 저장한 룩업 테이블(lutc)를 영상처리부(500)에 출력한다. 좌표추정부(400)에 설정된 가중치(α)는 설정에 따라 변경될 수 있으며, 어느 특정한 값에 한정되지 않는다.

영상처리부(500)는 고려된 룩업 테이블(luta, lutb) 및 새로운 룩업 테이블(lutc) 중 적어도 어느 하나를 고려하여 영상을 합성한다(S130). 영상처리부(500)는 저장된 룩업 테이블 중 적어도 어느 하나를 고려하여 영상을 합성한다. 영상처리부(500)는 새로운 룩업 테이블(lutc)에 의해 합성된 영상을 모니터(600)에 출력한다.

모니터(600)는 수신한 영상을 화면으로 출력한다(S140). 모니터(600)는 AVM(Around-View Monitoring) 시스템 화면일 수 있다. 모니터(600)는 HUD(Head-Up Display)일 수도 있다.

이상에서는 본 발명의 바람직한 실시례에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시례에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

100 : 카메라
200 : 영상입력부
300 : 좌표저장부
400 : 좌표추정부
500 : 영상처리부
600 : 모니터

Claims

다수의 카메라로부터 영상을 입력 받는 영상입력부;
상기 영상 출력 화소 단위로 색 표현 정보 또는 상기 영상의 좌표 정보가 기록된 레코드들로 구성되는 복수의 룩업 테이블을 저장하는 좌표저장부; 및
상기 저장된 룩업 테이블 중 적어도 어느 하나를 고려하여 영상을 합성하는 영상처리부; 를 포함하는 차량 어라운드뷰 영상 생성 장치.
제 1 항에 있어서
상기 복수의 룩업 테이블 중 적어도 둘 이상의 룩업 테이블의 데이터를 가중치에 따라 보간 계산하여 새로운 룩업 테이블을 산출하는 좌표추정부; 를 더 포함하고,
상기 영상처리부는 상기 고려된 룩업 테이블 및 상기 새로운 룩업 테이블 중 적어도 어느 하나를 고려하여 상기 영상을 합성하는 차량 어라운드뷰 영상 생성 장치.
제 2 항에 있어서
상기 영상처리부는 상기 합성 영상의 전환 시 상기 보간 계산에 이용된 룩업 테이블 중간에 새로운 룩업 테이블을 고려하여 상기 영상을 합성하는 차량 어라운드뷰 영상 생성 장치.
제 2 항에 있어서
상기 좌표추정부는 프레임 마다 상기 보간의 값에 변화를 주어 상기 보간 계산하는 차량 어라운드뷰 영상 생성 장치.
제 4 항에 있어서
상기 좌표추정부는 상기 보간의 값을, 설정된 단위시간마다 일정한 값을 감소 시킴으로써 변화시키는 차량 어라운드뷰 영상 생성 장치.
다수의 카메라로부터 영상을 입력 받는 단계;
상기 영상 출력 화소 단위로 색 표현 정보 또는 상기 영상의 좌표 정보가 기록된 레코드들로 구성되는 복수의 룩업 테이블이 저장되는 단계; 및
상기 저장된 룩업 테이블 중 적어도 어느 하나를 고려하여 영상을 합성하는 단계; 를 포함하는 차량 어라운드뷰 영상 생성 방법.
제 6 항에 있어서
상기 복수의 룩업 테이블 중 적어도 둘 이상의 룩업 테이블의 데이터를 가중치에 따라 보간 계산하여 새로운 룩업 테이블을 산출하는 단계; 를 더 포함하고,
상기 영상 합성 단계에서 상기 고려된 룩업 테이블 및 상기 새로운 룩업 테이블 중 적어도 어느 하나를 고려하여 상기 영상을 합성하는 차량 어라운드뷰 영상 생성 방법.
제 7 항에 있어서
상기 영상 합성 단계에서 상기 합성 영상의 뷰 모드 변환 시 상기 보간 계산에 이용된 룩업 테이블 중간에 새로운 룩업 테이블이 고려되어 상기 영상을 합성하는 차량 어라운드뷰 영상 생성 방법.
제 7 항에 있어서
상기 룩업 테이블 저장 단계에서 프레임 마다 상기 보간의 값에 변화를 주어 상기 보간 계산하는 차량 어라운드뷰 영상 생성 방법.
제 9 항에 있어서
상기 룩업 테이블 저장 단계에서 상기 보간의 값이, 설정된 단위시간마다 일정한 값을 감소 시킴으로써 변화되는 차량 어라운드뷰 영상 생성 방법.