KR20180086794A

KR20180086794A - 차량 주변의 객체를 나타내는 영상을 생성하는 방법 및 장치.

Info

Publication number: KR20180086794A
Application number: KR1020170010677A
Authority: KR
Inventors: 홍현석; 임태규; 박상규; 이영록; 한승훈
Original assignee: 삼성전자주식회사
Priority date: 2017-01-23
Filing date: 2017-01-23
Publication date: 2018-08-01
Also published as: EP3561774A4; US10964048B2; US20190385334A1; WO2018135745A1; EP3561774A1

Abstract

일 측면에 따른 영상을 생성하는 장치는 차량 주변을 센싱한 결과를 이용하여 상기 차량 주변의 적어도 하나의 객체를 검출하고, 상기 검출된 적어도 하나의 객체의 방향 및 거리를 결정하고, 상기 결정된 방향 및 거리에 기초하여, 상기 차량 주변을 나타내는 영상을 생성하는 프로세서;를 포함한다.

Description

차량 주변의 객체를 나타내는 영상을 생성하는 방법 및 장치. {Method and apparatus for generating an image representing an object around a vehicle}

차량 주변의 객체를 나타내는 영상을 생성하는 방법 및 장치에 관한다.

차량(vehicle)에 적용되는 기술들이 발전함에 따라, 차량의 창(window) 등에 차량의 운행과 관련된 정보를 디스플레이하는 다양한 방법들이 개발되고 있다.

한편, 차량에 탑승한 운전자 및 동승자는 시야의 한계로 인하여 차량 주변의 보행자, 건물, 다른 차량 등을 정확하게 식별하지 못할 수도 있다. 이에 따라, 차량 주변의 객체들의 위치 및 형상을 정확하게 나타내는 영상을 차량의 디스플레이 장치를 통해 제공하는 기술에 대한 수요가 증가하고 있다.

차량 주변의 객체를 나타내는 영상을 생성하는 방법 및 장치를 제공하는 데 있다. 또한, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다. 해결하려는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

다른 측면에 따른 영상을 생성하는 방법은 차량 주변을 센싱한 결과를 이용하여, 상기 차량 주변의 적어도 하나의 객체를 검출하는 단계; 상기 차량으로부터 상기 검출된 적어도 하나의 객체까지의 방향 및 거리를 결정하는 단계; 및 상기 결정된 방향 및 거리에 기초하여, 상기 차량 주변을 나타내는 영상을 생성하는 단계;를 포함한다.

도 1은 일 실시예에 따른 차량에 영상을 디스플레이하는 일 예를 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 왜곡된 3차원 영상의 일 예를 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 영상을 생성하는 방법의 일 예를 나타내는 흐름도이다.
도 4는 일 실시예에 따른 프로세서가 영상에서 객체를 검출하는 일 예를 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 프로세서가 객체의 방향 및 거리를 이용하여 메쉬를 결정하는 일 예를 나타내는 흐름도이다.
도 6은 일 실시예에 따른 카메라가 모노 카메라인 경우에 프로세서가 차량으로부터 객체까지의 거리를 연산하는 일 예를 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 카메라가 스테레오 카메라인 경우에 프로세서가 차량으로부터 차선의 끝점까지의 거리를 연산하는 일 예를 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 프로세서가 영상을 이용하여 차량으로부터 객체까지의 거리 및 방위각을 연산하는 일 예를 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 프로세서가 반사 신호를 이용하여 차량으로부터 객체까지의 거리 및 방위각을 연산하는 일 예를 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 프로세서가 메쉬를 결정하는 일 예를 나타내는 흐름도이다.
도 11은 일 실시예에 따른 프로세서가 메쉬의 일 부분을 절단하는 일 예를 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 프로세서가 메쉬를 결정하는 다른 예를 나타내는 흐름도이다.
도 13은 일 실시예에 따른 프로세서가 기 저장된 복수의 메쉬들 중에서 어느 하나를 선택하는 일 예를 설명하기 위한 도면이다.
도 14는 일 실시예에 따른 프로세서가 기 저장된 복수의 메쉬들 중에서 픽셀에 매핑된 메쉬를 선택하는 일 예를 설명하기 위한 도면이다.
도 15는 일 실시예에 따른 프로세서가 메쉬를 결정하는 또 다른 예를 나타내는 흐름도이다.
도 16은 일 실시예에 따른 프로세서가 메쉬의 일 부분의 종횡비를 변경하는 일 예를 설명하기 위한 도면이다.
도 17은 일 실시예에 따른 프로세서가 복수의 객체들에 따라 메쉬의 종횡비를 변경하는 일 예를 설명하기 위한 도면이다.
도 18은 일 실시예에 따른 영상을 생성하는 방법의 다른 예를 나타내는 흐름도이다.
도 19a 내지 도 19c는 일 실시예에 따른 영상이 출력되는 디스플레이 장치의 예들을 설명하기 위한 도면들이다.
도 20a 내지 도 20d는 일 실시예에 따라 디스플레이되는 영상의 예들을 설명하기 위한 도면들이다.
도 21 및 도 22는 일 실시예에 따른 프로세서를 포함하는 차량 주행 보조 장치의 예들을 나타내는 구성도들이다.

실시 예들에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 “…부”, “…모듈” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

이하에서는 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다.

도 1은 일 실시예에 따른 차량에 영상을 디스플레이하는 일 예를 설명하기 위한 도면이다.

도 1에는 차량의 디스플레이 장치(10)에 차량의 주변을 촬영한 영상(20)이 디스플레이된 예가 도시되어 있다. 예를 들어, 디스플레이 장치(10)는 중앙 정보 디스플레이(Center Information Display) 장치 일 수 있으나, 이에 한정되지 않는다. 영상(20)은 차량에 포함된 센싱부가 동작함에 따라 생성될 수 있다.

디스플레이 장치(10)에 디스플레이되는 영상(20)이 3차원 영상인 경우, 3차원 영상(20)은 3차원 메쉬(mesh)에 2차원 영상이 와핑(warping)됨으로써 생성될 수 있다. 이때, 3차원 메쉬의 구조에 따라, 3차원 영상(20)에는 차량 주변의 객체들이 왜곡되어 표현될 수 있다. 예를 들어, 3차원 영상(20)에는 차량 주변의 객체들의 모양 또는 크기 등이 왜곡되어 나타날 수 있다.

이하, 도 2를 참조하여 3차원 영상(20)에서 차량 주변의 객체들이 왜곡되어 표현된 일 예를 설명한다.

도 2는 일 실시예에 따른 왜곡된 3차원 영상의 일 예를 설명하기 위한 도면이다.

도 2를 참조하면, 차량(210)은 도로 위를 주행하고 있고, 차량(210)의 주변에는 나무(220) 및 건물(230)이 위치한다고 가정한다. 또한, 차량(210)에 포함된 적어도 하나의 카메라에 의하여 차량(210)의 주변이 촬영된다고 가정한다.

카메라가 동작함에 따라 생성된 영상은 3차원 메쉬에 와핑(warping)됨에 따라 3차원 영상(240)으로 렌더링될 수 있다. 이때, 3차원 메쉬의 구조에 의하여, 객체들(220, 230)은 실제 위치와는 관계 없이 3차원 모델링이 수행될 수 있다. 예를 들어, 차량(210)과 가까운 영역은 수평면으로 모델링되고, 차량(210)으로부터 먼 영역은 수직면으로 모델링됨에 따라 3차원 영상(240)은 버드 뷰(bird view) 영상이 될 수 있다.

따라서, 3차원 영상(240)이 디스플레이되는 경우, 사용자(예를 들어, 차량(210)의 탑승자)는 객체들(220, 230)의 정확한 위치 및 형상을 식별하기 어려울 수 있다. 또한, 3차원 영상(240)의 왜곡 정도에 따라, 사용자는 차량(210)의 주변에 객체들(220, 230)이 위치하는지 여부를 정확하게 판단하기 어려울 수 있다.

다시 도 1을 참조하면, 일 실시예에 따른 프로세서는 차량 주변의 객체의 실제 위치에 따라 3차원 메쉬를 변형할 수 있다. 또는, 프로세서는 차량 주변의 객체의 실제 위치에 따라 기 저장된 3차원 메쉬들 중에서 적절한 3차원 메쉬를 선택할 수 있다. 따라서, 3차원 영상(20)에는 객체의 형상 및 차량과 객체 사이의 위치 관계가 정확하게 표현될 수 있다.

구체적으로, 프로세서는 차량 주변을 촬영한 결과를 이용하여 차량 주변의 객체를 검출한다. 그리고, 프로세서는 검출된 객체의 위치를 이용하여 객체를 포함하는 영상에 적용될 메쉬(예를 들어, 3차원 메쉬)를 결정한다. 그리고, 프로세서는 결정된 메쉬에 기초하여 차량 주변을 나타내는 영상(20)을 생성한다. 예를 들어, 프로세서는 차량으로부터 객체까지의 거리 및 차량을 기준으로 한 객체의 방위각을 연산할 수 있고, 연산된 거리 및 방위각에 기초하여 메쉬를 결정할 수 있다.

이하, 도 3 내지 도 17을 참조하여, 프로세서가 차량 주변을 나타내는 영상을 생성하는 예들을 설명한다.

도 3은 일 실시예에 따른 영상을 생성하는 방법의 일 예를 나타내는 흐름도이다.

310 단계에서, 프로세서는 차량 주변을 센싱한 결과를 이용하여 차량 주변의 적어도 하나의 객체를 검출한다. 차량 주변을 센싱하는 센싱부는 이미지 센서, 라이다 모듈, 레이더 모듈 등을 포함할 수 있다. 이미지 센서는 카메라를 포함할 수 있고, 카메라는 모노(mono) 카메라, 스테레오(stereo) 카메라, 적외선 카메라, 초음파 카메라 또는 열화상 카메라를 의미할 수 있으나, 이에 한정되지 않는다.

예를 들어, 프로세서는 차량에 포함된 센싱부로부터 차량 주변을 촬영한 결과를 수신하고, 수신된 정보를 이용하여 차량 주변의 객체를 검출할 수 있다. 여기에서, 객체는 차량이 주행 중인 차로의 주변에 위치하는 사람, 동물, 식물 또는 사물을 의미한다. 예를 들어, 객체는 사람, 동물, 식물뿐 만 아니라 신호등, 교통 표지판, 중앙 분리대, 전신주 또는 다른 차량 등이 포함될 수 있다.

일 예로서, 차량의 카메라가 차량 주변을 촬영하고, 프로세서는 카메라가 동작함에 따라 생성된 영상에서 객체를 검출할 수 있다.

다른 예로서, 차량의 레이더(radar) 모듈 또는 라이다(lidar) 모듈이 차량 주변에 신호를 발신하고, 프로세서는 발신된 신호가 객체에서 반사되어 돌아온 신호(이하, '반사 신호'라고 함)를 분석하여 객체의 위치 및 객체의 종류를 판별할 수 있다. 예를 들어, 레이더 모듈의 안테나는 멀티 어레이(multi-array) 구조 또는 파라볼릭(parabolic) 구조를 갖을 수 있으나, 이에 한정되지 않는다.

또 다른 예로서, 프로세서는 차량의 카메라 및 차량의 레이더/라이다 모듈을 함께 이용하여 객체의 위치 및 객체의 종류를 판별할 수도 있다.

예를 들어, 자동차가 주행 중인 상황(예를 들어, 안개가 낀 날씨)에 의하여, 차량과 인접한 위치의 객체는 카메라가 촬영한 영상에서 식별 가능하나, 차량과 멀리 떨어진 위치의 객체는 식별이 어려울 수 있다. 다만, 프로세서는 카메라에 의하여 촬영된 영상에서 식별하지 못한 객체라고 하더라도, 레이더/라이더 모듈에 의하여 수신된 반사 신호를 분석하여 객체를 검출할 수 있다. 따라서, 프로세서는 카메라 및 레이더/라이더 모듈을 이용하여, 차량이 주행 중인 환경에 구애 받지 않고 차량 주변의 객체들을 검출할 수 있다.

이하, 도 4를 참조하여, 프로세서가 영상에서 객체를 검출하는 일 예를 설명한다.

도 4는 일 실시예에 따른 프로세서가 영상에서 객체를 검출하는 일 예를 설명하기 위한 도면이다.

도 4에는 차량(410)이 도로 위를 주행하고, 차량(410)의 주변에 보행자(420)가 지나가고 있는 일 예가 도시되어 있다. 차량(410)에 포함된 카메라가 차량(410)의 주변을 촬영함에 따라, 보행자(420)가 포함된 영상(430)이 생성될 수 있다. 이때, 차량(410)의 카메라가 1회 동작함에 따라 정지 영상이 생성될 수도 있고, 차량(410)의 카메라가 연속적으로 동작함에 따라 동영상이 생성될 수도 있다.

프로세서는 영상(430)을 분석하여, 영상(430)에서 객체(440)를 분리할 수 있다. 예를 들어, 프로세서는 영상(430)의 그래프를 구성하고, 구성된 그래프에 그래프 컷 알고리즘(graph cut algorithm)을 적용함으로써, 영상(430)에서 객체(440)를 분리할 수 있다. 여기에서, 그래프 컷 알고리즘은 역치 값을 이용하여 그래프를 구분함(cut)으로써, 영상(430)에 포함된 픽셀들을 객체(440)에 해당되는 픽셀들과 객체(440)에 해당되지 않은 픽셀들로 분리하는 알고리즘을 의미한다. 다만, 프로세서가 그래프 컷 알고리즘을 이용하여 객체를 분리하는 것은 일 예에 불과하고, 프로세서는 다양한 영상 분리 방법들을 이용하여 영상(430)에서 객체(440)를 분리할 수 있다.

그리고, 프로세서는 분리된 객체(440)의 종류를 식별할 수 있다. 예를 들어, 프로세서는 객체(440)의 형상을 메모리에 저장된 정보들과 비교함에 따라, 객체(440)가 사람인 것을 식별할 수 있다.

다시 도 3을 참조하면, 320 단계에서, 프로세서는 차량으로부터 검출된 객체까지의 방향 및 거리를 결정한다.

예를 들어, 차량의 주변 영역이 편평하다고 가정하면, 프로세서는 영상의 세로 방향 해상도에 기초하여 차량으로부터 객체까지의 거리를 연산할 수 있다. 영상에서 객체가 식별되면, 프로세서는 영상을 촬영한 카메라로부터 식별된 객체까지의 거리를 연산할 수 있다. 예를 들어, 높이가 있는 객체의 경우, 프로세서는 객체의 바닥면을 기준으로 하여 카메라로부터 객체까지의 거리를 연산할 수 있다. 일반적으로, 영상의 하단에 위치하는 객체보다 상단에 위치하는 객체가 카메라로부터 더 먼 거리에 위치한다. 영상의 한 픽셀에 대응하는 실제 거리에 대한 정보는 기 저장되어 있을 수 있다. 또한, 카메라가 차량에 임베디드(embedded)된 위치에 대한 정보도 기 저장되어 있을 수 있다. 따라서, 프로세서는 영상에서 객체가 어디에 위치하는지에 기초하여 카메라로부터 객체까지의 거리를 연산할 수 있다. 그리고, 프로세서는 카메라로부터 객체까지의 거리에 기초하여 차량으로부터 객체까지의 거리도 연산할 수 있다.

한편, 차량에 포함된 카메라의 종류에 따라 차량으로부터 객체까지의 거리를 연산하는 방법이 달라질 수도 있다. 일 예로서, 카메라가 모노 카메라인 경우, 프로세서가 차량으로부터 객체까지의 거리를 연산하는 예는 도 6을 참조하여 후술한다. 다른 예로서, 카메라가 스테레오 카메라인 경우, 프로세서가 차량으로부터 객체까지의 거리를 연산하는 예는 도 7을 참조하여 후술한다. 또 다른 예로서, 카메라가 적외선 카메라 또는 열화상 카메라인 경우, 프로세서는 카메라에서 발신된 적외선 신호의 TOA(time of arrival)을 이용하여 차량으로부터 객체까지의 거리를 연산할 수 있다. 다시 말해, 프로세서는 적외선 신호가 객체에서 반사되어 카메라로 돌아온 시간 및 그 적외선 신호의 속도를 이용하여 차량으로부터 객체까지의 거리를 연산할 수 있다.

한편, 차량의 레이더 모듈/라이더 모듈은 방사(radial) 신호들을 발신하고, 프로세서는 방사 신호들에 대응하는 반사 신호들의 패턴을 분석함으로써 차량으로부터 객체까지의 거리를 추정할 수 있다. 또한, 프로세서는 반사 신호의 방향각 및 도플러 주파수에 기초하여 객체의 방위각을 추정할 수 있고, 객체가 이동체라고 가정하면 이동 속도 및/또는 이동 방향을 추정할 수 있다.

330 단계에서, 프로세서는 결정된 방향 및 거리에 기초하여 차량 주변을 나타내는 영상을 생성한다.

예를 들어, 프로세서는 차량으로부터 객체까지의 거리 및 차량을 기준으로 한 객체의 방향을 이용하여 객체를 포함하는 영상에 적용될 메쉬를 결정한다.

구체적으로, 프로세서는 검출된 객체의 위치를 고려하여 객체에 대응하는 메쉬를 생성할 수 있다. 일 예로서, 프로세서는 객체의 위치에 따라 기 저장된 메쉬의 일 부분을 절단함으로써, 객체에 대응하는 메쉬를 생성할 수 있다. 다른 예로서, 프로세서는 객체의 위치에 따라 기 저장된 복수의 메쉬들 중에서 객체에 대응하는 메쉬를 선택할 수 있다. 또 다른 예로서, 프로세서는 객체의 위치에 따라 기 저장된 메쉬의 일 부분의 종횡비(aspect ratio)를 변경함으로써, 객체에 대응하는 메쉬를 생성할 수 있다.

여기에서, 객체의 위치는 차량과 객체 사이의 거리 관계를 의미할 수 있다. 예를 들어, 객체의 위치는 차량의 센싱부를 기준으로 한 객체까지의 거리 및/또는 방위각을 의미할 수도 있고, 차량의 중심점을 기준으로 한 객체까지의 거리 및/또는 방위각을 의미할 수도 있다.

프로세서가 객체의 위치를 이용하여 메쉬를 결정하는 예들은 도 5 내지 도 17을 참조하여 후술한다.

예를 들어, 프로세서는 카메라가 동작함에 따라 생성된 2차원 영상을 결정된 메쉬에 와핑(warping)함에 따라 3차원 영상을 생성할 수 있다. 2차원 영상이 메쉬에 와핑되는 예는 당해 기술 분야에서의 통상의 지식을 가진 자에게 자명하므로, 구체적인 설명은 생략한다.

도 5는 일 실시예에 따른 프로세서가 객체의 방향 및 거리를 이용하여 메쉬를 결정하는 일 예를 나타내는 흐름도이다.

510 단계에서, 프로세서는 차량으로부터 객체까지의 거리를 연산한다.

일 예로서, 프로세서는 카메라에 의하여 촬영된 영상에서 객체의 형상을 분리하고, 분리된 형상의 최저점을 기준으로 차량으로부터 객체까지의 거리를 연산할 수 있다. 다른 예로서, 프로세서는 레이더 모듈 또는 라이더 모듈이 수신한 반사 신호의 도착 시간 및 반사 신호의 속도를 이용하여 차량으로부터 객체까지의 거리를 연산할 수 있다.

520 단계에서, 프로세서는 차량으로부터 객체까지의 방위각을 연산한다.

일 예로서, 프로세서는 영상에서 객체의 형상이 소정의 선(예를 들어, 영상의 중심선)을 기준으로 얼마나 떨어져 있는지에 기초하여 차량을 기준으로 한 객체의 방위각을 연산할 수 있다. 다른 예로서, 프로세서는 반사 신호가 레이더 모듈 또는 라이더 모듈에 도달한 방향에 기초하여 차량을 기준으로 한 객체의 방위각을 연산할 수 있다.

프로세서가 차량으로부터 객체까지의 거리 및 방위각을 연산하는 예들은 도 6 내지 도 9를 참조하여 후술한다. 구체적으로, 도 6을 참조하여, 카메라가 모노 카메라인 경우, 프로세서가 차량으로부터 객체까지의 거리를 연산하는 예를 설명한다. 또한, 도 7을 참조하여, 카메라가 스테레오 카메라인 경우, 프로세서가 차량으로부터 객체까지의 거리를 연산하는 예를 설명한다. 또한, 도 8을 참조하여 프로세서가 영상에 기초하여 거리 및 방위각을 연산하는 예를 설명하고, 도 9를 참조하여 프로세서가 레이더 모듈 또는 라이더 모듈이 수신한 반사 신호에 기초하여 거리 및 방위각을 연산하는 예를 설명한다.

530 단계에서, 프로세서는 연산된 거리 및 방위각에 기초하여 메쉬를 결정한다. 일 예로서, 프로세서는 연산된 거리 및 방위각에 따라 기 저장된 메쉬의 일 부분을 절단함으로써, 객체에 대응하는 메쉬를 생성할 수 있다. 다른 예로서, 프로세서는 연산된 거리 및 방위각에 따라 기 저장된 복수의 메쉬들 중에서 객체에 대응하는 메쉬를 선택할 수 있다. 또 다른 예로서, 프로세서는 연산된 거리 및 방위각에 따라 기 저장된 메쉬의 일 부분의 종횡비(aspect ratio)를 변경함으로써, 객체에 대응하는 메쉬를 생성할 수 있다. 프로세서가 메쉬를 결정하는 예들은 도 10 내지 도 17을 참조하여 후술한다.

도 6은 일 실시예에 따른 카메라가 모노 카메라인 경우에 프로세서가 차량으로부터 객체까지의 거리를 연산하는 일 예를 설명하기 위한 도면이다.

차량(610)에 모노 카메라(P)가 포함된 경우, 프로세서는 모노 카메라(P)로부터 객체(620, 630)까지의 거리를 연산할 수 있다. 이때, 모노 카메라(P)가 차량(610)에 임베디드(embedded)된 위치에 대한 정보는 기 저장되어 있을 수 있다. 따라서, 프로세서는 차량(610)으로부터 객체(620, 630)까지의 거리를 연산할 수 있다. 도 6에서는 설명의 편의를 위하여 객체(620, 630)가 나무 인 것으로 도시하였으나, 객체(620, 630)는 나무에 한정되지 않는다.

예를 들어, 프로세서는 아래의 수학식 1에 기초하여 차량(610)으로부터 객체(620, 630)까지의 거리를 연산할 수 있다.

수학식 1에서 y는 영상(I) 내에서의 높이를 의미한다. 또한, f는 모노 카메라(P)의 렌즈의 초점 거리를 의미하고, H는 지면으로부터 모노 카메라(P)까지의 높이를 의미한다. 그리고, Z는 모노 카메라(P)로부터 객체(620, 630)까지의 거리를 의미한다.

수학식 1의 변수들 중에서 f 및 H는 미리 설정되어 있을 수 있다. 따라서, 프로세서는 영상(I)내에서 객체(620, 630)의 아래면(바닥과 만나는 부분)의 위치(y)를 찾고, 수학식 1에 의해 위치(y)로부터 객체(620, 630)까지의 거리(Z)를 연산할 수 있다.

도 7은 일 실시예에 따른 카메라가 스테레오 카메라인 경우에 프로세서가 차량으로부터 차선의 끝점까지의 거리를 연산하는 일 예를 설명하기 위한 도면이다.

차량에 스테레오 카메라(711, 712)가 포함된 경우, 프로세서는 스테레오 카메라(711, 712)로부터 객체(Q)까지의 거리를 연산할 수 있다. 이때, 스테레오 카메라(711, 712)가 차량에 임베디드(embedded)된 위치에 대한 정보는 기 저장되어 있을 수 있다. 따라서, 프로세서는 차량으로부터 객체(Q)까지의 거리를 연산할 수 있다. 도 6에서는 설명의 편의를 위하여 객체(Q)가 나무 인 것으로 도시하였으나, 객체(Q)는 나무에 한정되지 않는다.

도 7에서 스테레오 카메라(711, 712)는 왼쪽 카메라(611) 및 오른쪽 카메라(712)를 포함하고, 왼쪽 카메라(711)에 의하여 생성된 영상을 좌영상(721)이라고 하고, 오른쪽 카메라(712)에서 생성된 영상을 우영상(722)이라고 한다.

예를 들어, 프로세서는 아래의 수학식 2에 기초하여 차량으로부터 객체(Q)까지의 거리를 연산할 수 있다.

수학식 2에서 Z는 스테레오 카메라(711, 712)와 객체(Q) 사이의 거리를 의미하고, B는 왼쪽 카메라(711)와 오른쪽 카메라(712) 사이의 거리를 의미한다. 또한, f는 스테레오 카메라(711, 712)의 렌즈의 초점 거리를 의미하고, d는 좌영상(721)과 우영상(722)의 시차를 의미한다.

수학식 2의 변수들 중에서 f 및 B는 미리 설정되어 있을 수 있다. 따라서, 프로세서는 좌영상(721)과 우영상(722)의 시차(d)에 기초하여 차량으로부터 객체(Q)까지의 거리(Z)를 연산할 수 있다.

도 8은 일 실시예에 따른 프로세서가 영상을 이용하여 차량으로부터 객체까지의 거리 및 방위각을 연산하는 일 예를 설명하기 위한 도면이다.

도 8에는 차량(810)의 센서부(820)에 의하여 촬영된 영상(830)의 일 예가 도시되어 있다. 여기에서, 센서부(820)는 카메라, 레이더 모듈, 라이더 모듈 또는 카메라와 레이더 모듈의 조합 중 어느 하나를 의미한다. 따라서, 도 8에 도시된 영상(830)은 센서부(820)가 동작함에 따라 획득된 정보에 기초하여 생성된 영상을 의미한다. 영상(830)에는 객체들(841, 842, 843)이 포함되어 있다.

프로세서는 영상(830) 내에서의 객체들(841, 842, 843)의 위치에 기초하여 차량(810) 또는 센서부(820)로부터 객체들(841, 842, 843)까지의 거리를 연산할 수 있다.

일반적으로, 영상(830)의 아래에는 센서부(820)와 근접한 객체(843)가 나타나고, 영상(830)의 위에는 센서부(820)로부터 먼 객체(841)가 나타난다. 또한, 센서부(820)의 해상도에 따라 영상(830)에 포함된 픽셀들의 수는 미리 결정되어 있을 수 있다. 따라서, 영상(830)에 포함된 픽셀들 각각에는 센서부(820)로부터의 거리가 사전에 매핑되어 있을 수 있다. 다시 말해, 영상(830)에 객체(841)가 나타난 경우, 프로세서는 객체(841)에 대응하는 픽셀들의 위치를 이용하여 센서부(820)로부터 객체(841)까지의 거리를 연산할 수 있다.

예를 들어, 프로세서는 영상(830)에서 객체(841)의 형상을 분리하고, 분리된 형상의 최저점에 대응하는 픽셀의 위치를 선택할 수 있다. 그리고, 프로세서는 선택된 픽셀에 사전에 매핑된 거리(예를 들어, 20m)를 확인하고, 센서부(820)로부터 객체(841)까지의 거리를 확인된 거리(예를 들어, 20m)로 결정할 수 있다.

또한, 차량(810)에는 센서부(820)가 고정된 위치에 내장(embedded)될 수 있다. 따라서, 차량(810)의 소정의 위치(예를 들어, 중심점)과 센서부(820) 사이의 위치 관계는 미리 설정되어 있을 수 있다. 따라서, 프로세서는 영상(830)을 분석하여 연산된 센서부(820)로부터 객체(841)까지의 거리를 이용하여 차량(810)의 소정의 위치로부터 객체(841)까지의 거리도 연산할 수 있다.

상술한 바와 같이, 프로세서는 영상(830)에서 다른 객체들(842, 843) 각각의 형상을 분리하고, 차량(810) 또는 센서부(820)로부터 객체들(842, 843)까지의 거리를 연산할 수 있다.

또한, 프로세서는 영상(830) 내에서의 객체들(841, 842, 843)의 위치에 기초하여 차량(810) 또는 센서부(820)를 기준으로 한 객체들(841, 842, 843)의 방위각을 연산할 수 있다.

일반적으로, 영상(830)의 중심선(850)에 나타난 객체(841)는 센서부(820)의 정면에 위치한다. 또한, 센서부(820)의 해상도에 따라 영상(830)에 포함된 픽셀들의 수는 미리 결정되어 있을 수 있다. 따라서, 영상(830)에 포함된 픽셀들 각각에는 센서부(820)를 기준으로 한 방위각이 사전에 매핑되어 있을 수 있다. 다시 말해, 중심선(850)에 위치한 픽셀들의 방위각을 0°라고 가정하면, 중심선(850)으로부터 먼 픽셀일수록 방위각이 커질 수 있다.

예를 들어, 영상(830)이 1920*1080 픽셀들을 포함하고, 센서부(820)가 차량(810)의 중심을 기준으로 좌우 0°~ 90° 내의 객체(841, 842, 843)를 검출할 수 있다고 가정한다. 이 경우, 영상(830)의 중심선(850)을 기준으로 좌측 또는 우측으로 한 열(column) 당 0.09375°(= 90°/960)의 방위각을 갖는다. 따라서, 객체(842)의 중심선(860)이 중심선(860)으로부터 좌측으로 107 번째 열이라고 가정하면, 프로세서는 객체(842)가 센서부(820)를 기준으로 우측 10°의 방위각을 갖는다고 판단할 수 있다.

프로세서는 영상(830)에서 객체(842)의 형상을 분리하고, 분리된 형상의 중심선(860)에 위치한 픽셀들에 사전에 매핑된 방위각(예를 들어, 10°)을 확인하고, 센서부(830)로부터 객체(842)까지의 방위각을 확인된 방위각(예를 들어, 10°)으로 결정할 수 있다.

또한, 차량(810)과 센서부(820) 사이의 위치 관계가 미리 설정되어 있을 수 있음은 상술한 바와 같다. 따라서, 프로세서는 영상(830)을 분석하여 연산된 센서부(820)로부터 객체(842)까지의 방위각을 이용하여 차량(810)의 소정의 위치로부터 객체(842)까지의 방위각도 연산할 수 있다.

상술한 바와 같이, 프로세서는 영상(830)에서 다른 객체들(841, 843) 각각의 형상을 분리하고, 차량(810) 또는 센서부(820)로부터 객체들(841, 843)까지의 방위각을 연산할 수 있다.

만약, 센서부(820)가 시간의 흐름에 따라 연속으로 차량(810)의 주변을 촬영한다고 가정하면, 프로세서는 도 8을 참조하여 상술한 방법에 따라 복수의 영상들 각각을 분석하여 객체들(841, 842, 843)의 이동 속도 및/또는 이동 방향을 추정할 수도 있다.

도 9는 일 실시예에 따른 프로세서가 반사 신호를 이용하여 차량으로부터 객체까지의 거리 및 방위각을 연산하는 일 예를 설명하기 위한 도면이다.

도 9에는 복수의 라이더 모듈들(921, 922, 923, 924)이 내장된 차량(910)이 도시되어 있다. 도 9에는 라이더 모듈들(921, 922, 923, 924)의 수가 4개인 것으로 도시되어 있으나, 이에 한정되지 않는다. 또한, 도 9의 라이더 모듈들(921, 922, 923, 924)은 레이더 모듈 또는 신호를 발신/수신할 수 있는 다른 장치일 수 있다.

라이더 모듈들(921, 922, 923, 924)은 각각 좁은 사잇각(예를 들어, 2°이하)을 갖는 방사(radial) 신호들을 발신하고, 프로세서는 방사 신호들에 대응하는 반사 신호들의 패턴을 분석함으로써 객체(930)의 형상을 추정할 수 있다. 또한, 프로세서는 반사 신호의 방향각 및 도플러 주파수에 기초하여 객체(930)의 방위각을 추정할 수 있고, 객체(930)가 이동체라고 가정하면 이동 속도 및/또는 이동 방향을 추정할 수 있다.

또한, 프로세서는 라이더 모듈들(921, 922, 923, 924)에서 발신된 신호의 TOA(time of arrival)을 이용하여 라이더 모듈들(921, 922, 923, 924)로부터 객체(930)까지의 거리를 연산할 수 있다. 다시 말해, 프로세서는 신호가 객체(930)에서 반사되어 라이더 모듈들(921, 922, 923, 924)로 돌아온 시간 및 그 신호의 속도를 이용하여 라이더 모듈들(921, 922, 923, 924)로부터 객체(930)까지의 거리를 연산할 수 있다.

또한, 차량(910)과 라이더 모듈들(921, 922, 923, 924)사이의 위치 관계가 미리 설정되어 있을 수 있다. 따라서, 프로세서는 차량(910)의 소정의 위치(예를 들어, 차량(910)의 중심점)로부터 객체(930)까지의 거리 및 방위각도 연산할 수 있다.

도 10은 일 실시예에 따른 프로세서가 메쉬를 결정하는 일 예를 나타내는 흐름도이다.

1010 단계에서, 프로세서는 차량과 객체의 위치 관계를 식별한다.

예를 들어, 프로세서는 차량으로부터 객체까지의 거리 및 차량을 기준으로 한 객체의 방위각을 식별할 수 있다. 프로세서가 차량으로부터 객체까지의 거리 및 차량을 기준으로 한 객체의 방위각을 연산하는 예들은 도 5 내지 도 9를 참조하여 상술한 바와 같다.

1020 단계에서, 프로세서는 위치 관계에 따라 기 저장된 메쉬의 일 부분을 절단한다.

예를 들어, 프로세서는 기본 메쉬의 중심에 차량이 위치한다고 가정하고, 기본 메쉬에서 객체가 위치하는 지점을 결정할 수 있다. 그리고, 프로세서는 기본 메쉬에서 객체가 위치하는 지점을 기준으로 기본 메쉬를 절단함으로써, 새로운 메쉬를 생성할 수 있다. 이하, 도 11을 참조하여, 프로세서가 기본 메쉬의 일 부분을 절단하는 예를 설명한다.

도 11은 일 실시예에 따른 프로세서가 메쉬의 일 부분을 절단하는 일 예를 설명하기 위한 도면이다.

도 11에는 기 저장된 메쉬(1110) 및 메쉬(1110)에서 객체(1120)가 위치하는 지점의 일 예가 도시되어 있다. 메쉬(1110)의 중심에 차량이 위치한다고 가정한다. 따라서, 메쉬(1110)에 기초하여 생성된 3차원 영상은 차량을 중심으로 한 주변 환경을 나타내는 영상이 될 수 있다.

만약, 메쉬(1110)에 기초하여 3차원 영상을 생성할 경우, 3차원 영상에서 객체(1120)는 왜곡되어 표현될 수 있다. 다시 말해, 메쉬(1110)에 기초하여 생성된 3차원 영상에서는 메쉬(1110)의 외곽선을 따라 위치한 객체들만 수직면으로 모델링될 수 있다. 따라서, 메쉬(1110)의 내부에 위치한 객체(1120)의 경우, 3차원 영상에서 객체(1120)의 높이(예를 들어, 객체(1120)가 사람일 경우, 사람의 키)가 적절하게 표현되지 않을 수 있다.

프로세서는 메쉬(1110)에서의 객체(1120)의 위치를 기준으로 메쉬(1110)를 절단함으로써 새로운 메쉬(1130)를 생성할 수 있다. 구체적으로, 프로세서는 객체(1120)가 위치하는 지점을 기준으로 메쉬(1110)의 일 부분(1140)을 삭제할 수 있다. 따라서, 객체(1120)가 메쉬(1130)의 외곽선에 위치할 수 있기에, 메쉬(1130)에 기초하여 생성된 3차원 영상에서는 객체(1120)의 높이가 적절하게 표현될 수 있다.

한편, 프로세서는 새롭게 생성된 메쉬(1130)를 메모리에 저장할 수 있다.

도 12는 일 실시예에 따른 프로세서가 메쉬를 결정하는 다른 예를 나타내는 흐름도이다.

1210 단계에서, 프로세서는 차량과 객체의 위치 관계를 식별한다.

1220 단계에서, 프로세서는 위치 관계에 따라 기 저장된 복수의 메쉬들 중에서 어느 하나를 선택한다.

예를 들어, 메모리에는 객체의 위치에 따라 기본 메쉬가 변형된 다양한 메쉬들이 저장되어 있을 수 있다. 프로세서는 차량으로부터 객체까지의 거리 및 차량을 기준으로 한 객체의 방위각에 따라 메모리에 저장된 메쉬들 중에서 객체에 적합한 메쉬를 선택하여 독출할 수 있다. 이하, 도 13 내지 도 14를 참조하여, 프로세서가 기 저장된 복수의 메쉬들 중에서 어느 하나를 선택하는 예를 설명한다.

도 13은 일 실시예에 따른 프로세서가 기 저장된 복수의 메쉬들 중에서 어느 하나를 선택하는 일 예를 설명하기 위한 도면이다.

도 13에는 차량(1310)과 차량(1310)의 주변에 객체(1320)(예를 들어, 사람)가 위치한 일 예가 도시되어 있다.

프로세서는 차량(1310)과 객체(1320)의 위치 관계를 식별한다. 구체적으로, 프로세서는 차량(1310)으로부터 객체(1320)까지의 거리 및 객체(1320)가 차량(1310)을 기준으로 어느 방향에 위치하는지를 확인한다. 예를 들어, 프로세서가 카메라에 의하여 촬영된 영상 또는 라이더/레이더 모듈을 통하여 차량(1310)과 객체(1320)의 위치 관계를 식별할 수 있음은 도 3 내지 도 9를 참조하여 상술한 바와 같다.

차량(1310)의 메모리에는 복수의 메쉬들(1331, 1332, 1333)이 저장되어 있을 수 있다. 예를 들어, 메모리에는 객체(1341, 1342, 1343)의 위치 및/또는 객체(1341, 1342, 1343)의 종류에 따라 기본 메쉬의 일 부분이 절단된 메쉬들(1331, 1332, 1333)이 저장되어 있을 수 있다.

프로세서는 차량(1310)과 객체(1320)의 위치 관계에 따라 기 저장된 메쉬들 메쉬들(1331, 1332, 1333) 중에서 객체(1320)를 표현하기에 적합한 메쉬(1333)를 선택할 수 있다. 따라서, 프로세서는 새로운 메쉬를 생성하는데 소요되는 연산 과정을 거치지 않고 객체(1320)를 표현하기에 적합한 메쉬(1333)를 획득할 수 있다.

한편, 프로세서가 영상을 이용하여 차량(1310)과 객체(1320)의 위치 관계 및 객체(1320)의 종류를 식별하는 경우, 프로세서는 기 저장된 메쉬들(1331, 1332, 1333) 중에서 영상에서 객체(1320)를 나타내는 픽셀들의 위치에 대응하는 메쉬를 선택할 수도 있다. 이하, 도 14를 참조하여 프로세서가 기 저장된 복수의 메쉬들 중에서 픽셀에 매핑된 메쉬를 선택하는 예를 설명한다.

도 14는 일 실시예에 따른 프로세서가 기 저장된 복수의 메쉬들 중에서 픽셀에 매핑된 메쉬를 선택하는 일 예를 설명하기 위한 도면이다.

도 14에는 차량(1420)이 중심에 위치하고, 객체(1430)가 차량(1420)의 주변에 위치하는 영상(1410)의 일 예가 도시되어 있다.

차량(1420)에 복수의 카메라들이 내장되어 있고, 카메라들의 위치가 서로 다를 경우, 프로세서는 카메라들 각각이 동작함에 따라 생성된 영상들을 조합하여 차량(1420)을 중심으로 한 영상(1410)을 생성할 수 있다. 또한, 프로세서는 영상(1410)을 복수의 구역들로 나누고, 각각의 구역과 기 저장된 메쉬를 매핑할 수 있다. 여기에서, 구역들은 영상(1410)에 포함된 픽셀들을 그룹핑함으로써 생성될 수 있다.

또한, 프로세서는 객체(1430)의 종류에 따라 기 저장된 메쉬를 매핑할 수도 있다. 예를 들어, 영상(1410)내의 '구역 10'에 표현된 객체(1430)가 사람인 경우의 메쉬(1443)와 '구역 10'에 표현된 객체(1430)가 차량인 경우의 메쉬(1444)를 서로 다르게 매핑할 수 있다.

프로세서는 영상(1410) 내에서 객체(1430)가 위치한 구역 및 객체(1430)의 종류를 확인한다. 그리고, 프로세서는 기 저장된 메쉬들(1441, 1442, 1443, 1444) 중에서 객체(1430)를 표현하기에 적합한 메쉬(1443)를 선택할 수 있다. 따라서, 프로세서는 새로운 메쉬를 생성하는데 소요되는 연산 과정을 거치지 않고 객체(1430)를 표현하기에 적합한 메쉬(1443)를 획득할 수 있다.

도 15는 일 실시예에 따른 프로세서가 메쉬를 결정하는 또 다른 예를 나타내는 흐름도이다.

1510 단계에서, 프로세서는 차량과 객체의 위치 관계를 식별한다.

1520 단계에서, 프로세서는 위치 관계에 따라 기 저장된 메쉬의 일 부분의 종횡비를 변경한다.

예를 들어, 프로세서는 기본 메쉬의 중심에 차량이 위치한다고 가정하고, 기본 메쉬에서 객체가 위치하는 지점을 결정할 수 있다. 그리고, 프로세서는 기본 메쉬에서 객체가 위치하는 지점에 기본 메쉬의 외곽선이 위치하도록 기본 메쉬의 종횡비를 변경으로써, 새로운 메쉬를 생성할 수 있다. 이하, 도 16 내지 도 17을 참조하여, 프로세서가 메쉬의 일 부분을 절단하는 예를 설명한다.

도 16는 일 실시예에 따른 프로세서가 메쉬의 일 부분의 종횡비를 변경하는 일 예를 설명하기 위한 도면이다.

도 16에는 기 저장된 메쉬(1610) 및 메쉬(1610)에서 객체(1620)가 위치하는 지점의 일 예가 도시되어 있다. 또한, 메쉬(1610)의 중심에 차량이 위치한다고 가정한다. 따라서, 메쉬(1610)에 기초하여 생성된 3차원 영상은 차량을 중심으로 한 주변 환경을 나타내는 영상이 될 수 있다.

메쉬(1610)는 원기둥, 원뿔 또는 원기둥과 원뿔이 조합된 형상을 갖을 수 있다. 다시 말해, 메쉬(1610)를 위에서 바라보면 반경이 a인 원일 수 있다.

프로세서는 메쉬(1610)에서의 객체(1620)의 위치를 기준으로 메쉬(1610)의 일 부분의 종횡비를 변경함으로써 새로운 메쉬(1630)를 생성할 수 있다. 예를 들어, 프로세서는 메쉬(1610)에서 객체(1620)의 위치에 대응하는 부분의 종횡비를 변경할 수 있다.

여기에서, 종횡비는 메쉬(1610)의 표면(1640)의 가로 길이 대 세로 길이의 비율을 의미한다. 메쉬(1610)를 위에서 바라보면, 표면(1640)은 원 또는 타원의 형상을 나타낼 수 있다. 만약, 표면(1640)이 원이라고 가정하면, 메쉬(1610)의 종횡비는 1:1이 된다. 한편, 표면(1640)이 타원이고, 가로 방향의 반지름이 a이고, 세로 방향의 반지름이 r이라고 가정하면, 메쉬(1610)의 종횡비는 a:r이 된다.

프로세서는 객체(1620)가 메쉬(1610)의 외곽선에 위치하도록 메쉬(1610)의 종횡비를 변경할 수 있다. 예를 들어, 메쉬(1630)를 위에서 바라보면, 객체(1620)의 위치에 대응하는 부분의 가로 방향의 반지름이 a에서 b로 작아질 수 있다. 따라서, 객체(1620)가 메쉬(1630)의 외곽선에 위치할 수 있기에, 메쉬(1630)에 기초하여 생성된 3차원 영상에서는 객체(1620)의 높이가 적절하게 표현될 수 있다.

도 16에는 설명의 편의를 위하여, 프로세서가 메쉬(1610)의 가로 방향의 반지름(a)만 변경하는 예를 도시하였으나, 객체(1620)의 위치에 따라 프로세서는 메쉬(1610)의 세로 방향의 반지름(r)을 변경하거나, 가로 방향의 반지름(a) 및 세로 방향의 반지름(r)을 모두 변경할 수 있다.

한편, 프로세서는 새롭게 생성된 메쉬(1630)를 메모리에 저장할 수 있다.

또한, 차량의 주변에 복수의 객체들이 위치하는 경우에도 프로세서는 객체들 각각의 위치에 기초하여 기 저장된 메쉬(1610)의 종횡비를 변경할 수 있다. 이하, 도 17을 참조하여, 프로세서가 복수의 객체들 각각의 위치에 기초하여 메쉬의 종횡비를 변경하는 예를 설명한다.

도 17은 일 실시예에 따른 프로세서가 복수의 객체들에 따라 메쉬의 종횡비를 변경하는 일 예를 설명하기 위한 도면이다.

도 17에는 메쉬(1710)를 위에서 바라본 일 예가 도시되어 있다. 도 16을 참조하여 상술한 바와 같이, 메쉬(1710)는 원기둥, 원뿔 또는 원기둥과 원뿔이 조합된 형상을 갖을 수 있다. 따라서, 메쉬(1710)를 위에서 바라보면 원일 수 있다. 또한, 메쉬(1710)의 중심에 차량(1720)이 위치한다고 가정한다.

차량(1720)의 주변에 객체(1730)가 위치하는 경우, 프로세서는 메쉬(1710)의 종횡비를 변경할 수 있음은 도 16을 참조하여 상술한 바와 같다. 한편, 차량(1720)의 주변에 다른 객체(1740)가 위치하는 경우, 프로세서는 객체(1740)가 메쉬(1710)의 외곽선에 위치하도록 메쉬(1710)의 종횡비를 추가적으로 변경할 수 있다. 따라서, 차량(1720)의 주변에 복수의 객체들(1730, 1740)이 위치한다고 하더라도, 프로세서는 객체들(1730, 1740)이 왜곡되지 않게 표현될 수 있는 매쉬(1750)를 생성할 수 있다.

한편, 프로세서는 새롭게 생성된 메쉬(1750)를 메모리에 저장할 수 있다.

도 18은 일 실시예에 따른 영상을 생성하는 방법의 다른 예를 나타내는 흐름도이다.

도 18을 참조하면, 영상을 생성하는 방법은 도 1 내지 도 17을 참조하여 상술한 프로세서에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라 하더라도 도 1 내지 도 17을 참조하여 상술한 프로세서에 관하여 이상에서 기술된 내용은 도 18의 영상을 생성하는 방법에도 적용됨을 알 수 있다.

도 18의 1810 단계 내지 1830 단계는 도 3의 310 단계 내지 330 단계와 동일하다. 따라서, 이하에서는 1810 단계 내지 1830 단계에 대한 구체적인 설명은 생략한다.

1840 단계에서, 프로세서는 생성된 영상을 차량에 디스플레이한다.

예를 들어, 프로세서는 영상을 변경하는 사용자 입력을 수신함에 따라, 영상에 표현된 차량 및 객체들 중 적어도 하나가 제외된 영상을 디스플레이할 수 있다. 또한, 프로세서는 사용자 입력을 수신함에 따라, 버드 뷰 영상 또는 3차원 영상을 디스플레이할 수 있다. 차량에 디스플레이되는 영상의 예는 도 20a 내지 도 20c를 참조하여 후술한다.

프로세서는 생성된 영상(예를 들어, 3차원 영상)을 차량에 포함된 헤드 업 디스플레이, 미러 디스플레이 및 중앙 정보 디스플레이 중 적어도 하나에 출력할 수 있다. 이하, 도 19a 내지 도 19c를 참조하여 프로세서가 영상을 출력하는 디스플레이 장치의 예를 설명한다.

도 19a 내지 도 19c는 일 실시예에 따른 영상이 출력되는 디스플레이 장치의 예들을 설명하기 위한 도면들이다.

도 19a 및 도 19c를 참조하면, 프로세서는 3차원 영상(1910)을 차량에 디스플레이 할 수 있다. 일 예로서, 프로세서는 차량의 창에 헤드 업 디스플레이 장치를 통하여 3차원 영상(1910)를 디스플레이할 수 있다. 다른 예로서, 프로세서는 미러 디스플레이 장치를 통하여 차량의 사이드 미러(side mirror)에 3차원 영상(1920)을 디스플레이할 수도 있다. 또 다른 예로서, 프로세서는 차량의 중앙 정보 디스플레이 장치(또는 차량 주행 보조 장치와 유선 또는 무선으로 연결된 디스플레이 장치)의 화면에 3차원 영상(1930)을 디스플레이할 수도 있다.

도 20a 내지 도 20d는 일 실시예에 따라 디스플레이되는 영상의 예들을 설명하기 위한 도면들이다.

프로세서는 사용자 입력을 수신함에 따라 디스플레이 장치(2100)에 디스플레이되는 영상을 변경할 수 있다. 여기에서, 디스플레이 장치(2100)는 도 21 및 도 22에 도시된 차량 주행 보조 장치(2000)일 수 있다. 예를 들어, 디스플레이 장치(2100)의 화면에 영상을 변경하는 지시자(indicator)(예를 들어, 아이콘)(2110)가 디스플레이될 수 있다. 지시자(2110)를 선택하는 사용자 입력이 수신됨에 따라, 프로세서는 디스플레이 장치(2100)에 디스플레이된 영상을 변경할 수 있다.

일 예로서, 도 20a 및 도 20c을 참조하면, 프로세서는 사용자 입력에 따라 3차원 영상(2210, 2230)을 디스플레이할 수 있다. 구체적으로, 프로세서는 차량 및 객체들이 출력된 3차원 영상(2210) 또는 객체들만 출력된 3차원 영상(2230)을 디스플레이할 수 있다.

다른 예로서, 도 20b 및 도 20d를 참조하면, 프로세서는 사용자 입력에 따라 버드 뷰 영상(2220, 2240)을 디스플레이할 수 있다. 구체적으로, 프로세서는 차량 및 객체들이 출력된 버드 뷰 영상(2220) 또는 객체들만 출력된 버드 뷰 영상(2240)을 디스플레이할 수 있다.

도 21 및 도 22는 일 실시예에 따른 프로세서를 포함하는 차량 주행 보조 장치의 예들을 나타내는 구성도들이다.

도 20을 참조하면, 차량 주행 보조 장치(2000)는 프로세서(2030), 메모리(2070) 및 통신부(2050)를 포함한다.

그러나, 도 20에 도시된 구성 요소들 모두가 차량 주행 보조 장치(2000)의 필수 구성 요소인 것은 아니다. 도 20에 도시된 구성 요소들보다 많은 구성 요소에 의해 차량 주행 보조 장치(2000)가 구현될 수도 있고, 도 20에 도시된 구성 요소보다 적은 구성 요소들에 의해 차량 주행 보조 장치(2000)가 구현될 수도 있다.

예를 들어, 도 21에 도시된 바와 같이, 차량 주행 보조 장치(2000)는, 프로세서(2030), 메모리(2070) 및 통신부(2050) 이외에 사용자 입력부(2010), 출력부(2020), 센싱부(2040) 및 구동부(2060)를 더 포함할 수도 있다.

사용자 입력부(2010)는 사용자가 장치(2000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(2010)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.

사용자 입력부(2010)는 사용자의 음성 입력에 대한 답변 메시지를 요청하고 답변 메시지에 관련된 동작을 실행하기 위한 사용자 입력을 수신할 수 있다.

출력부(2020)는 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있다. 출력부(2020)는 디스플레이부(2021), 음향 출력부(2021) 및 진동 모터(2023) 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다.

디스플레이부(2021)는 장치(2000)에서 처리되는 정보를 표시 출력한다. 예를 들어, 디스플레이부(2021)는 사용자의 음성 입력에 대한 답변 메시지를 요청하고 답변 메시지에 관련된 동작을 실행하기 위한 사용자 인터페이스를 디스플레이할 수 있다. 또한, 디스플레이부(2021)는 차량 주변을 나타내는 3차원 영상을 디스플레이할 수 있다.

음향 출력부(2021)는 통신부(2050)로부터 수신되거나 메모리(2070)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(2021)는 장치(2000)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다.

프로세서(2030)는 통상적으로 장치(2000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(2030)는 메모리(2070)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(2010), 출력부(2020), 센싱부(2040), 통신부(2050), 구동부(2060) 등을 전반적으로 제어할 수 있다. 또한, 프로세서(2030)는 메모리(2070)에 저장된 프로그램들을 실행함으로써, 도 1 내지 도 19를 참조하여 상술한 기능을 수행할 수 있다. 예를 들어, 프로세서(2030)는 MCU(micro controller unit)일 수 있다. 또한, 프로세서(2030)는 인식 프로세서(cognitive processor)의 기능을 수행할 수도 있다.

예를 들어, 프로세서(2030)는 차량 주변을 촬영한 결과를 이용하여 차량 주변의 적어도 하나의 객체를 검출할 수 있다. 그리고, 프로세서(2030)는 검출된 객체의 위치 정보를 이용하여 객체를 포함하는 영상에 적용될 메쉬를 결정할 수 있다. 그리고, 프로세서(2030)는 결정된 메쉬에 기초하여 차량 주변을 나타내는 영상(예를 들어, 3차원 영상)을 생성할 수 있다.

또한, 프로세서(2030)는 차량으로부터 객체까지의 거리 및 차량을 기준으로 한 객체의 방위각을 연산할 수 있다.

또한, 프로세서(2030)는 객체의 위치에 따라 기 저장된 메쉬의 일 부분을 절단 할 수 있다. 또한, 프로세서(2030)는 객체의 위치에 따라 메모리(2070)에 기 저장된 복수의 메쉬들 중에서 어느 하나를 선택할 수 있다. 또한, 프로세서(2030)는 객체의 위치에 따라 기 저장된 메쉬의 일 부분의 종횡비를 변경할 수 있다.

또한, 프로세서(2030)는 차량 주변을 나타내는 영상(예를 들어, 3차원 영상)을 디스플레이부(2021)를 통하여 디스플레이할 수 있다.

센싱부(2040)는 장치(2000)의 상태를 감지하고, 감지된 정보를 프로세서(2030)로 전달할 수 있다. 또한, 센싱부(2040)는 사용자 또는 차량의 주변 상황(예를 들어, 객체의 유무 등)을 나타내는 컨텍스트 정보를 획득하거나 생성하는데 이용될 수 있다.

센싱부(2040)는 GPS(Global Positioning System) 모듈(2041), IMU(Inertial Measurement Unit)(2042), 레이더 모듈(2043), 라이더 모듈(2044), 이미지 센서(2045), 환경 센서(2046), 근접 센서(2047), RGB 센서(illuminance sensor)(2048), 움직임 센서(2049) 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다. 센싱부(2040)에 포함된 구성들의 기능은 그 명칭으로부터 당해 기술 분야에서의 일반적인 지식을 가진 자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.

IMU(2042)는 관성 가속도에 기초하여 차량의 위치 및 배향 변화들을 감지하는데 이용될 수 있다. 예를 들어, IMU(2042)는 가속도계들 및 자이로스코프들을 포함할 수 있다.

레이더 모듈(2043)은 무선 신호를 사용하여 차량의 주변 환경 내의 객체들을 감지하는데 이용될 수 있다. 또한, 레이더 모듈(2043)은 객체들의 속도 및/또는 방향을 감지할 수 있다.

라이더 모듈(2044)은 레이저를 사용하여 차량의 주변 환경 내의 객체들을 감지하는데 이용될 수 있다. 구체적으로, 라이더 모듈(2044)은 레이저를 방출하도록 구성되는 레이저 광원 및/또는 레이저 스캐너와, 레이저의 반사를 검출하도록 구성되는 검출기를 포함할 수 잇다. 라이더 모듈(2044)은 코히런트(coherent)(예를 들어, 헤티로다인 검출을 사용함) 또는 비코히런트(incoherent) 검출 모드에서 동작하도록 구성될 수 있다.

이미지 센서(2045)는 차량의 내부 및 외부를 나타내는 영상들을 생성하는데 이용되는 카메라를 포함할 수 있다. 예를 들어, 카메라는 모노(mono) 카메라, 스테레오(stereo) 카메라, 적외선 카메라 또는 열화상 카메라를 의미할 수 있으나, 이에 한정되지 않는다. 이미지 센서(2045)는 다수의 카메라들을 포함할 수 있고, 다수의 카메라들은 차량의 내부 및 외부의 다수의 위치들에 배치될 수 있다.

환경 센서(2046)은 날씨를 포함하는 차량의 외부 환경을 감지하는데 이용될 수 있다. 예를 들어, 환경 센서(2046)는 온/습도 센서(20461), 적외선 센서(20462) 및 기압 센서(20463)를 포함할 수 있다.

근접 센서(2047)는 차량에 접근하는 객체를 감지하는데 이용될 수 있다.

움직임 센서(2049)는 차량의 움직임을 센싱하는데 이용될 수 있다. 예를 들어, 움직임 센서(2049)는 지자기 센서(Magnetic sensor)(20491), 가속도 센서(Acceleration sensor)(20492) 및 자이로스코프 센서(20493)를 포함할 수 있다.

통신부(2050)는 장치(2000)가 차량의 다른 장치, 외부 장치 또는 외부 서버와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 외부 장치는 컴퓨팅 장치이거나, 센싱 장치일 수 있으나, 이에 한정되지 않는다. 예를 들어, 통신부(2050)는 근거리 통신부(2051), 이동 통신부(2052) 및 방송 수신부(2053) 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다.

근거리 통신부(short-range wireless communication unit)(2051)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

이동 통신부(2052)는 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.

또한, 통신부(2050)는 사용자의 음성 입력에 대한 답변 메시지를 요청하고 답변 메시지에 관련된 동작을 실행하기 위한 필요한 정보를, 외부 장치 및 외부 서버와 송수신할 수 있다.

구동부(2060)는 차량의 구동(운행) 및 차량 내부의 장치들의 동작에 이용되는 구성들을 포함할 수 있다. 구동부(2060)는 전원 공급부(2061), 추진부(2062), 주행부(2063) 및 주변 장치부(2064) 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다.

전원 공급부(2061)는 차량의 구성요소들 중 일부 또는 전부에 전력을 제공하도록 구성될 수 있다. 예를 들어, 전원 공급부(2061)는 재충전가능 리튬 이온 또는 납산(lead-acid) 배터리를 포함할 수 있다.

추진부(2062)는 엔진/모터, 에너지원, 변속기 및 휠/타이어를 포함할 수 있다.

엔진/모터는 내연 기관, 전기 모터, 증기 기관, 및 스틸링 엔진(stirling engine) 간의 임의의 조합이 될 수 있다. 예를 들어, 차량이 가스-전기 하이브리드 자동차(gas-electric hybrid car)인 경우, 엔진/모터는 가솔린 엔진 및 전기 모터가 될 수 있다.

주변 장치부(2064)는 네비게이션, 라이트, 방향 지시등, 와이퍼, 내부 조명, 히터 및 에어컨을 포함할 수 있다.

여기에서, 네비게이션은 차량에 대한 운행 경로를 결정하도록 구성되는 시스템일 수 있다. 네비게이션은 차량이 주행하고 있는 동안 동적으로 운행 경로를 갱신하도록 구성될 수 있다. 예를 들어, 네비게이션은 차량에 대한 운행 경로를 결정하기 위해, GPS 모듈(2041)에 의하여 수집된 데이터를 이용할 수 있다.

메모리(2070)는 프로세서(2030)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 외부 장치 또는 외부 서버로 전송되거나 외부 장치 또는 외부 서버로부터 수신되는 데이터를 저장할 수도 있다.

메모리(2070)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

메모리(2070)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, 메모리(2070)는 UI 모듈(2071), 터치 스크린 모듈(2072) 및 알림 모듈(2073) 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다.

UI 모듈(2071)은, 애플리케이션 별로 장치(2000)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(2072)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 프로세서(2030)로 전달할 수 있다. 일부 실시예에 따른 터치 스크린 모듈(2072)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(2072)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.

상술한 바에 따르면, 프로세서는 차량 주변의 객체의 실제 위치에 따라 3차원 메쉬를 변형할 수 있다. 또는, 프로세서는 차량 주변의 객체의 실제 위치에 따라 기 저장된 3차원 메쉬들 중에서 적절한 3차원 메쉬를 선택할 수 있다. 따라서, 차량에 디스플레이되는 3차원 영상에는 객체의 형상 및 차량과 객체 사이의 위치 관계가 정확하게 표현될 수 있다.

한편, 상술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 램, USB, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.

또한, 상술한 방법은 컴퓨터로 읽을 수 있는 기록매체에 유지되는 프로그램들 중 적어도 하나의 프로그램에 포함된 명령어(instructions)의 실행을 통하여 수행될 수 있다. 상기 명령어가 컴퓨터에 의해 실행될 경우, 상기 적어도 하나의 컴퓨터는 상기 명령어에 해당하는 기능을 수행할 수 있다. 여기서, 명령어는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 본 개시에서, 컴퓨터의 일 예는, 프로세서가 될 수 있으며, 기록매체의 일 예는 메모리가 될 수 있다.

상술한 실시예들과 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

10: 디스플레이 장치
20: 3차원 영상

Claims

차량 주변을 센싱한 결과를 이용하여 상기 차량 주변의 적어도 하나의 객체를 검출하고, 상기 검출된 적어도 하나의 객체의 방향 및 거리를 결정하고, 상기 결정된 방향 및 거리에 기초하여, 상기 차량 주변을 나타내는 영상을 생성하는 프로세서;를 포함하는 영상을 생성하는 장치.
제 1 항에 있어서,
상기 프로세서는
상기 결정된 방향 및 거리를 고려하여 상기 적어도 하나의 객체에 대응하는 상기 메쉬를 생성하는 장치.
제 1 항에 있어서,
상기 프로세서는
상기 결정된 방향 및 거리에 따라 기 저장된 메쉬의 일 부분을 절단(cut)하는 장치.
제 1 항에 있어서,
상기 프로세서는
상기 결정된 방향 및 거리에 따라 기 저장된 복수의 메쉬들 중에서 어느 하나를 선택하는 장치.
제 1 항에 있어서,
상기 프로세서는
상기 결정된 방향 및 거리에 따라 기 저장된 메쉬의 일 부분의 종횡비(aspect ratio)를 변경하는 장치.
제 1 항에 있어서,
상기 프로세서는
상기 차량에 포함된 카메라 및 레이더 장치 중 적어도 하나로부터 수신한 정보를 이용하여 상기 적어도 하나의 객체를 검출하는 장치.
제 1 항에 있어서,
상기 프로세서는
상기 생성된 영상을 상기 차량에 포함된 디스플레이 장치에게 전송하는 장치.
제 1 항에 있어서,
상기 프로세서는
영상의 시점(view point)을 선택하는 사용자 입력을 수신함에 따라, 상기 생성된 영상에 표현된 상기 차량 및 상기 적어도 하나의 객체 중 적어도 하나가 제외된 영상을 상기 차량에 포함된 디스플레이 장치에게 전송하는 장치.
제 1 항에 있어서,
상기 결정된 메쉬를 저장하는 메모리;를 더 포함하는 장치.
차량 주변을 센싱한 결과를 이용하여, 상기 차량 주변의 적어도 하나의 객체를 검출하는 단계;
상기 차량으로부터 상기 검출된 적어도 하나의 객체까지의 방향 및 거리를 결정하는 단계; 및
상기 결정된 방향 및 거리에 기초하여, 상기 차량 주변을 나타내는 영상을 생성하는 단계;를 포함하는 영상을 생성하는 방법.
제 10 항에 있어서,
상기 생성하는 단계는
상기 결정된 방향 및 거리를 고려하여 상기 적어도 하나의 객체에 대응하는 메쉬를 생성하고, 상기 생성된 메쉬에 기초하여 상기 영상을 생성하는 방법.
제 10 항에 있어서,
상기 생성하는 단계는
상기 결정된 방향 및 거리에 따라 기 저장된 메쉬의 일 부분을 절단(cut)하고, 상기 절단된 메쉬에 기초하여 상기 영상을 생성하는 방법.
제 10 항에 있어서,
상기 생성하는 단계는
상기 결정된 방향 및 거리에 따라 기 저장된 복수의 메쉬들 중에서 어느 하나를 선택하고, 상기 선택된 메쉬에 기초하여 상기 영상을 생성하는 방법.
제 10 항에 있어서,
상기 생성하는 단계는
상기 결정된 방향 및 거리에 따라 기 저장된 메쉬의 일 부분의 종횡비(aspect ratio)를 변경하고, 상기 변경된 메쉬에 기초하여 상기 영상을 생성하는 방법.
제 10 항에 있어서,
상기 검출하는 단계는
상기 차량에 포함된 카메라 및 레이더 장치 중 적어도 하나로부터 수신된 정보를 이용하여 상기 객체를 검출하는 방법.
제 10 항에 있어서,
상기 생성된 영상을 상기 차량에 디스플레이하는 단계;를 더 포함하는 방법.
제 16 항에 있어서,
상기 디스플레이하는 단계는
영상을 변경하는 사용자 입력을 수신함에 따라, 상기 생성된 영상에 표현된 상기 차량 및 상기 적어도 하나의 객체 중 적어도 하나가 제외된 영상을 디스플레이하는 방법.