KR20160134075A - 운전자 보조 장치 및 그 제어방법 - Google Patents

Abstract

본 발명은 운전자 보조 장치 및 그 제어방법에 관한 것으로서, 본 발명의 일 실시예에 따른 운전자 보조 장치는, 디스플레이부; 차량의 전방에 대한 주행 영상을 생성하는 제1 카메라; 상기 차량의 실내 영상을 생성하는 제2 카메라; 사용자 음성을 수신하는 오디오 입력부; 및 운전자 보조 모드 진입 시, 상기 실내 영상 및 상기 사용자 음성을 기초로, 상기 주행 영상에 나타나는 적어도 하나 이상의 오브젝트를 선택하고, 상기 선택된 오브젝트에 대한 정보를 표시하도록 상기 디스플레이부를 제어하는 프로세서;를 포함한다.

Description

운전자 보조 장치 및 그 제어방법{DRIVER ASSISTANCE APPARATUS AND CONTROL METHOD FOR THE SAME}

본 발명은 운전자 보조 장치 및 그 제어방법에 관한 것으로서, 보다 상세하게는 차량 주행 시, 사용자(운전자 또는 동승자)의 움직임을 기초로 오브젝트와 관련된 동작을 수행하는 운전자 보조 장치 및 그 제어방법에 관한 것이다.

차량이란 사람 또는 화물을 운송할 목적으로 차륜을 구동시켜 도로나 선로를 주행하는 장치를 말한다. 예컨대, 오토바이와 같은 2륜차, 세단과 같은 4륜차는 물론 기차 등이 차량에 속한다.

최근 디스플레이 기술의 비약적인 발전에 힘입어, 다양한 유형의 디스플레이가 차량에 탑재되고 있는데, 현재 차량용 디스플레이로는 TFT-LCD(Thin Film Transistor Liquid Crystal Display)가 주로 사용 중에 있으며, 운전자의 안전 및 주행의 편의와 관련된 정보의 전달이 중요해짐에 따라 HUD(Head Up Display)과 같은 새로운 타입의 디스플레이 역시 상용화되었다.

한편, 차량에 탑재되는 디스플레이는 차속, 연비, 연료량 등 주행과 관련된 각종 정보를 표시하여 사용자에게 도움을 주고 있으나, 이러한 정보는 미리 설정된 극히 제한적인 카테고리 내에 속하여 활용도가 높지 않다.

또한, 사용자는 주행 중 타차량이나 시설에 대한 정보가 제공되기를 희망하는 경우가 빈번히 존재하지만, 이를 위해서는 사용자가 시선을 이동시키거나 복잡한 입력 과정을 여러 번 거쳐야 한다는 번거로움이 있다.

따라서, 사용자의 움직임 및 음성을 기초로, 사용자가 원하는 오브젝트를 선택하고, 선택된 오브젝트와 관련된 정보를 직관적인 형태로 제공함과 아울러 차량의 제어에 반영할 수 있는 새로운 기술에 대한 필요성이 존재한다.

본 발명은 주행 영상, 실내 영상 및 사용자 음성 중 적어도 어느 하나를 기초로, 차량의 주변에 존재하는 각종 오브젝트에 관한 정보를 사용자에게 제공할 수 있는 운전자 보조 장치 및 그 제어방법을 제공하는 데에 그 목적이 있다고 할 것이다.

또한, 본 발명은 차량의 주변에 존재하는 각종 오브젝트에 관한 정보를 기초로, 차량의 동작(예, 감속, 가속, 조향, 주행 모드 변경)을 제어하는 운전자 보조 장치 및 그 제어방법을 제공하는 데에 그 목적이 있다고 할 것이다.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 디스플레이부; 차량의 전방에 대한 주행 영상을 생성하는 제1 카메라; 상기 차량의 실내 영상을 생성하는 제2 카메라; 사용자 음성을 수신하는 오디오 입력부; 및 운전자 보조 모드 진입 시, 상기 실내 영상 및 상기 사용자 음성을 기초로, 상기 주행 영상에 나타나는 적어도 하나 이상의 오브젝트를 선택하고, 상기 선택된 오브젝트에 대한 정보를 표시하도록 상기 디스플레이부를 제어하는 프로세서;를 포함하는, 운전자 보조 장치가 제공된다. 기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명에 따른 이동 단말기 및 그 제어 방법의 효과에 대해 설명하면 다음과 같다.

본 발명의 실시예들 중 적어도 하나에 의하면, 주행 영상, 실내 영상 및 사용자 음성 중 적어도 어느 하나를 기초로, 차량의 주변에 존재하는 각종 오브젝트에 관한 정보를 사용자에게 제공함으로써, 사용자가 전방을 주시한 상태에서도 자신이 제공받기를 원하는 정보를 선택적으로 제공받을 수 있다는 장점이 있다.

또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 사용자 움직임을 기초로, 오브젝트를 검출하기 위한 영역을 설정함으로써, 차량의 주변 전체 영역으로부터 오브젝트를 검출하는 경우에 비하여, 연산량이 저감되고, 오브젝트에 관한 정보를 신속히 제공할 수 있다는 장점이 있다.

또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 사용자 음성의 길이를 기초로, 차량의 주변에 위치하는 복수개의 오브젝트 중 사용자가 의도한 오브젝트만을 정확히 선택하여 정보를 제공할 수 있으므로, 사용자 편의성이 증대된다.

또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 사용자 음성을 텍스트로 변환한 결과를 기초로, 차량의 주변에 위치하는 복수개의 오브젝트 중 사용자가 의도한 오브젝트만을 정확히 선택하여 정보를 제공할 수 있으므로, 사용자 편의성이 증대된다.

또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 주행 영상에 나타나는 특정 오브젝트까지의 경로를 제공함으로써, 종래 경로 탐색을 위한 입력 과정 등의 번거로움을 해소할 수 있다는 장점이 있다.

또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 특정 오브젝트까지의 경로를 따라 자율주행 기능을 실행함으로써, 운전자가 차량의 주행에 개입하지 않더라도 운전자를 특정 오브젝트까지 안전하고 신속하게 운송할 수 있다는 장점이 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1a 및 도 1b는 본 발명의 실시예들에 따른 운전자 보조 장치가 구비될 수 있는 차량을 개략적으로 도시한 것이다.
도 2는 도 1에 도시된 차량의 기능 다이어그램이다.
도 3은 본 발명의 일 실시예에 따른 운전자 보조 장치의 블록 다이어그램을 보여준다.
도 4는 도 3에 도시된 프로세서의 블록 다이어그램의 일 예를 보여준다.
도 5는 운전자 보조 장치의 디스플레이부가 HUD(Head Up Display)인 경우에 정보를 표시하는 개념을 보여주는 도면이다.
도 6은 본 발명의 일 실시예에 따른 운전자 보조 장치의 제어방법을 보여주는 순서도이다.
도 7은 본 발명의 실시예에 따른 운전자 보조 장치가 운전자 보조 모드에 진입하는 상황을 예시한다.
도 8a 및 도 8b는 본 발명의 실시예에 따른 운전자 보조 장치가 사용자의 움직임을 기초로 주행 영상에 선택 영역을 설정하는 동작을 보여주는 도면이다.
도 9는 본 발명의 실시예에 따른 운전자 보조 장치가 사용자 음성을 기초로, 주행 영상에 나타나는 어느 한 오브젝트를 선택하는 동작의 일 예를 보여주는 도면이다.
도 10a 및 도 10b는 본 발명의 실시예에 따른 운전자 보조 장치가 사용자 음성을 기초로, 주행 영상에 나타나는 어느 한 오브젝트를 선택하는 동작의 다른 예를 보여주는 도면이다.
도 11a 및 도 11b는 본 발명의 실시예에 따른 운전자 보조 장치가 사용자 음성을 기초로, 주행 영상에 나타나는 어느 한 오브젝트를 선택하는 동작의 다른 예를 보여주는 도면이다.
도 12a 및 도 12b는 본 발명의 실시예에 따른 운전자 보조 장치가 사용자 음성을 기초로, 주행 영상에 나타나는 어느 한 오브젝트를 선택하는 동작의 다른 예를 보여주는 도면이다.
도 13a 및 도 13b는 본 발명의 실시예에 따른 운전자 보조 장치가 사용자 음성을 기초로, 주행 영상에 나타나는 어느 한 오브젝트를 선택하는 동작의 다른 예를 보여주는 도면이다.
도 14a 및 도 14b는 본 발명의 실시예에 따라 선택된 오브젝트에 대한 정보를 제공하는 동작의 일 예를 보여주는 도면이다.
도 15는 본 발명의 실시예에 따라 선택된 오브젝트에 대한 정보를 제공하는 동작의 다른 예를 보여주는 도면이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 또한, 어떤 구성요소가 다른 구성요소를 제어한다고 언급된 때에는, 그 다른 구성요소를 직접적으로 제어할 수도 있지만, 중간의 또 다른 구성요소의 중개를 통해 제어를 수행할 수도 있는 것으로 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하에서는, 본 발명의 실시예에 따른 운전자 보조 장치(100)를 구비할 수 있는 차량에 대하여 살펴본 후, 본 발명의 각 실시예에 따른 운전자 보조 장치(100)를 차례대로 설명하기로 한다.

도 1a 및 도 1b는 본 발명의 실시예들에 따른 운전자 보조 장치(100)가 구비될 수 있는 차량(1)을 개략적으로 도시한 것이다. 도 1a는 차량(1)의 외관을 보여주고, 도 1b는 차량(1)의 실내를 보여준다. 설명의 편의를 위해, 4륜 차량(1)을 기준으로 설명하기로 한다.

도 1a를 참조하면, 차량(1)은 차륜(11), 원도우(12), 필러(pillar)(13), 사이드 미러(14) 및 루프(16) 등을 포함할 수 있다.

차륜(11)은 차량(1)의 전방 좌우에 배치는 전방 차륜(11A, 11B)과 후방 좌우에 배치되는 후방 차륜(11C, 11D)을 포함하여, 차량(1)의 하중을 지탱한다.

윈도우(12)는 프론트 윈도우(12A), 사이드 윈도우(12B), 리어 윈도우(12C)를 포함할 수 있다.

필러(pillar)(13)는 차체와 루프를 연결하는 기둥으로서, 차량(1)의 강도를 더해 준다. 구체적으로, 프론트 윈도우(12A)와 사이드 윈도우(12B)의 사이에 구비되는 프론트 필러(13A), 앞쪽 도어와 뒤쪽 도어 사이에 구비되는 센터 필러(13B) 및 사이드 윈도우(12B)와 리어 윈도우(12C) 사이에 구비되는 리어 필러(13C)를 포함할 수 있다. 프론트 필러(13A), 센터 필러(13B) 및 리어 필러(13C)는 각각 한쌍씩 구비될 수 있다.

사이드 미러(14)에는 외부 배경이 비추어져, 사용자가 차량(1)의 좌우측 후방의 상황을 확인할 수 있도록 한다. 도시된 바와 같이, 사이드 미러(14)는 차량(1)의 운전석 외측에 장착되는 제1 사이드 미러(14A)와 조수석 외측에 장착되는 제2 사이드 미러(14B)를 포함할 수 있다. 본 발명에서 사용자란, 운전자와 동승자를 포괄하는 의미일 수 있다.

또한, 차량(1)은 적어도 하나 이상의 카메라(20)를 포함할 수 있다. 구체적으로, 차량(1)에는 차량(1)의 전방을 촬영하는 적어도 하나 이상의 카메라(21)(이하, '제1 카메라'라고 칭함)가 포함될 수 있다. 또한, 차량(1)에는 차량(1)의 실내를 촬영하는 적어도 하나 이상의 카메라(22)(이하, '제2 카메라'라고 칭함)가 포함될 수 있다.

또한, 좌측방 영상을 생성하는 카메라(23)하며, 우측방 영상을 생성하는 카메라(24) 및 후방 영상을 생성하는 카메라(25)를 포함할 수 있다.

또한, 차량(1)은 적어도 하나 이상의 장애물 센서(141)를 포함할 수 있다. 장애물 센서(141)로는 예를 들어, 레이더, 라이다, 초음파 센서 등 차량의 주변에 위치하는 각종 오브젝트에 대한 센싱 정보를 획득할 수 있는 센서가 이용될 수 있다. 도 1a에는 4개의 장애물 센서(141A-141D)가 차량의 외관에 서로 이격되어 배치된 것으로 도시되어 있으나, 이에 한정되는 것은 아니다. 즉, 더 적거나 많은 장애물 센서(141)가 차량(1)의 다른 위치에 배치될 수도 있다.

도 1b를 참조하면, 차량(1)의 실내에는 대쉬보드(31), 스티어링 휠(32), 시트(33) 등이 구비될 수 있다.

또한, 차량(1)의 실내에는 디스플레이부(170)가 구비될 수 있다. 디스플레이부(170)는 투명 디스플레이, HUD(Head Up Display) 등을 포함할 수 있다. 또한, 디스플레이부(170)는 도시된 바와 같이, 클러스터, 내비게이션 스크린 등과 같은 디스플레이를 포함할 수 있다. HUD(Head Up Display)의 개념에 대하여는 이하 도 5를 참조하여 별도로 살펴보기로 한다.

한편, 제1 카메라(21)는 차량(1)의 실내 또는 실외의 일 영역에 장착되어 주행 영상을 생성할 수 있다. 또한, 제2 카메라(22)는 차량(1)의 실내 일 측에 배치되어, 사용자가 위치하는 영역을 촬영할 수 있다. 도 1b에는 제1 카메라(21)와 제2 카메라(22)가 모두 프론트 윈도우(12A)의 상당 일 측에 장착되는 것으로 도시되어 있으나, 이는 예시적인 것이며, 그 밖에 다양한 위치에 장착될 수 있다. 즉, 제1 카메라(21)는 차량(1)의 주행 영상을 생성할 수 있는 위치라면 차량(1)의 실내 또는 실외의 어느 지점이라도 장착될 수 있다. 유사하게, 제2 카메라(22)는 차량(1)에 탑승한 사용자가 나타나는 실내 영상을 생성할 수 있는 위치라면 차량(1)의 실내의 어느 지점이라도 장착될 수 있다.

물론, 앞서 언급한 바와 같이, 본 발명의 실시예들에 따른 운전자 보조 장치(100)가 구비될 수 있는 차량(1)은 도 1에 도시된 것과 같은 4륜 차량에 한정되는 것은 아니다.

도 2는 도 1에 도시된 차량(1)의 기능 다이어그램이다.

도 2를 참조하면, 차량(1)은 카메라(20), 입력부(110), 통신부(120), 메모리(130), 센서부(140), 음향 출력부(150), 구동부(160), 디스플레이부(170), 전원 공급부(180) 및 제어부(190)를 포함할 수 있다.

카메라(20)는 제1 카메라(21) 및 제2 카메라(22)를 포함할 수 있다. 제1 카메라(21)는 차량(1)의 주행 영상을 생성하고, 제2 카메라(22)는 차량(1)의 실내 영상을 생성할 수 있다. 카메라(20) 각각은 이미지 센서와 영상 처리 모듈을 포함할 수 있다. 카메라(195)는 이미지 센서(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다. 영상 처리 모듈은 이미지 센서를 통해 획득된 정지영상 또는 동영상을 가공하여, 필요한 정보를 추출하고, 추출된 정보를 제어부(770)에 전달할 수 있다.

입력부(110)는 사용자로부터 각종 형태의 입력을 수신한다. 이러한 입력부(110)는 적어도 하나 이상의 오디오 입력부(111)를 포함할 수 있다. 오디오 입력부(111)는 차량(1)에 탑승한 사용자의 음성이 입력받고, 입력된 사용자의 음성을 이에 대응하는 전기신호로 변환하여, 후술할 운전자 보조 장치(100)의 프로세서 또는 차량(1)의 제어부(190)로 제공할 수 있다. 또한, 입력부(110)는 적어도 하나 이상의 물리적 버튼(111), 조이스틱, 터치 패널 등을 포함할 수 있다. 예를 들어, 사용자는 입력부(110)를 통해 차량(1)의 시동 온(on)/오프(off), 볼륨, 실내 온도, 라디오 채널 등을 조절하거나, 목적지, 주행 모드 등을 입력할 수 있다.

통신부(120)는 외부 장치와 유선 또는 무선 방식으로 각종 데이터를 송수신할 수 있다. 예컨대, 통신부(120)는 사용자의 이동 단말기 또는 서버와 무선 통신 링크를 형성하여, 각종 데이터를 교환할 수 있다. 무선 데이터 통신 방식으로는, 블루투스(Bluetooth), WiFi Direct, WiFi, APiX 등 다양할 수 있으며, 특별히 한정하지 않는다.

또한, 통신부(120)는 외부 기기로부터 날씨 정보, 위치 정보, 교통 상황 정보, 경로 정보, 방송 정보 등의 다양한 정보를 수신할 수 있다. 예를 들어, 통신부(120)는 TPEG(Transport Protocol Expert Group) 정보를 수신할 수 있다.

또한, 통신부(120)는 자동으로 또는 이동 단말기의 요청에 따라, 사용자의 이동 단말기와 페어링을 수행할 수 있다.

메모리(130)는 제어부(190)의 데이터 처리 또는 제어를 위한 각종 애플리케이션 프로그램, 사용자가 설정한 설정 정보 등 차량과 관련된 전반적인 동작을 위한 다양한 데이터를 저장할 수 있다. 가령, 메모리(130)에는 차량(1)의 내부 환경 정보 또는 외부 환경 정보에 따라 디스플레이부(170)에 표시할 정보정보가 미리 저장될 수 있다.

센서부(140)는 차량(1)의 내부 또는 외부의 환경과 관련된 각종 정보 내지 신호를 감지한다. 사용자에 의한 터치를 감지하는 터치 센서, 차량(1) 주변에 존재하는 장애물을 감지하는 장애물 센서(141, 도 1a 참조) 등을 포함할 수 있다.

그 밖에, 센서부(140)는 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 위치 센서(position sensor), 속도 센서, 차체 경사 감지센서, 배터리 센서, 연료 센서, 타이어 공기압 센서, 충돌 센서, 온도 센서, 습도 센서 등을 포함할 수 있다. 센서부(140)는 차량(1)의 주행 방향, 주행 속도, 가속도, 차체 기울기, 배터리 잔여량, 연료 정보, 타이어 공기압, 엔진 온도, 실내 온도, 실내 습도 등에 대한 정보를 획득할 수 있다.

또한, 센서부(140)는 차량(1)에 대한 외부 환경 정보를 획득하는 레이더, 라이다, 초음파 센서 등을 포함할 수 있다. 여기서 외부 환경 정보란, 차량(1)의 주변에서 주행 중인 타차량에 대한 정보(예, 타차량의 위치, 상대속도, 절대속도, 크기, 유형), 차량(1)의 주변 시설 정보(예, 건물), 차량(1) 주변의 장애물 정보(예, 낙하물, 보행자), 노면 상태에 대한 정보(예, 경사도, 커브의 곡률) 등을 의미할 수 있다.

음향 출력부(150)는 제어부(190)로부터 제공되는 제어 신호를 오디오 신호로 변환하여 출력한다. 음향 출력부(150)는 적어도 하나 이상의 스피커를 포함할 수 있다. 예를 들어, 차량(1)의 시동이 걸린 상태에서 안전벨트가 미체결된 경우, 음향 출력부(150)는 소정의 비트음을 출력할 수 있다.

구동부(160)는 램프 구동부(161), 조향 구동부(162), 브레이크 구동부(163), 동력원 구동부(164), 공조 구동부(165), 윈도우 구동부(166), 시트 구동부(167) 등을 포함할 수 있다.

램프 구동부(161)는 차량(1)에 구비되는 각종 램프의 턴 온/턴 오프를 조절할 수 있다. 또한, 램프 구동부(161)는 턴 온된 램프로부터 방출되는 빛의 양, 점멸 주기, 빛의 지향 방향 등을 제어할 수 있다.

조향 구동부(162)는 차량(1)의 조향 장치(예, 스티어링 휠(32))에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 차량(1)의 진행 방향을 변경할 수 있다. 또는, 조향 구동부(162)는 차량(1)의 조향 장치(예, 스티어링 휠(32))의 위치 또는 자세를 변경할 수 있다. 예컨대, 사용자는 조향 구동부(162)를 이용하여, 자신의 신체 사이즈에 맞춰 스티어링 휠(32)의 인출 길이를 조절할 수 있다.

브레이크 구동부(163)는 차량(1)의 브레이크 장치에 대한 전자식 제어를 수행할 수 있다. 예를 들어, 차륜에 구비되는 브레이크의 동작을 제어하여, 차량(1)의 속도를 줄일 수 있다. 다른 예를 들어, 브레이크 구동부(163)는 차량(1)의 주행 상황에 따라 차륜 각각의 제동력을 다르게 분배하여, 차체의 자세를 안정적으로 유지시킬 수 있다.

동력원 구동부(164)는 차량(1)의 동력원에 대한 전자식 제어를 수행할 수 있다. 예를 들어, 차량(1)이 엔진을 동력원으로 사용하는 경우, 동력원 구동부(164)는 엔진의 토크 등을 제어할 수 있다. 다른 예로, 차량(1)이 전기 기반의 모터를 동력원으로 사용하는 경우, 동력원 구동부(164)는 모터의 회전 속도, 토크 등을 제어할 수 있다. 동력원 구동부(164)는 모터 또는 엔진으로 공급되는 연료(예, 휘발유, 경유, 전력, 수소, LPG 등)의 양을 조절하여, 차량의 가속 또는 감소의 정도를 변경할 수 있다.

공조 구동부(165)는 차량(1)의 공조 장치에 대한 전자식 제어를 수행할 수 있다. 예를 들어, 차량(1) 실내의 온도가 높은 경우, 공조 구동부(165)는 에어컨 등의 공조 장치를 동작시켜 냉기가 실내로 유입되도록 제어할 수 있다.

윈도우 구동부(166)는 차량(1)의 각종 윈도우를 개별적으로 개방 또는 폐쇄할 수 있다.

시트 구동부(167)는 차량(1)에 구비되는 시트(33)의 위치 또는 자세를 수동이 아닌 전동식으로 조절한다. 구체적으로, 시트 구동부(167)는 전동 펌프 또는 전기 모터를 이용하여, 시트(33)를 상하좌우로 이동시키거나, 등받이 각도를 조절할 수 있다. 이러한 시트 구동부(167)의 구동에 따라 전동식으로 조절되는 시트(33)는 파워 시트(power seat)로 명명될 수 있다.

디스플레이부(170)는 차량(1)과 관련된 각종 정보를 시각적으로 표시한다. 예를 들어, 차량(1)에 대한 직접적인 제어를 위한 차량 제어 정보, 또는 차량(1)의 운전자에게 운전 가이드를 위한 차량 운전 보조 정보가 디스플레이부(170)를 통해 표시될 수 있다. 또한, 디스플레이부(170)는 현재 차량(1)의 상태를 알려주는 차량 상태 정보 또는 차량의 운행과 관련되는 차량 운행 정보를 표시할 수 있다.

디스플레이부(170)는 투명 디스플레이 및 HUD(Head Up Display) 중 적어도 어느 하나를 포함할 수 있다. 여기서, 투명 디스플레이란, 일정 수준 이상의 투과도를 가져, 사용자가 투명 디스플레이를 사이에 두고 반대편에 위치하는 사물을 인지할 수 있는 디스플레이를 의미할 수 있다. 디스플레이부(170)는 차량(1)의 다양한 위치에 여러 개가 장착될 수 있다. 예컨대, 투명 디스플레이는 도 1a에 도시된 각종 윈도우(12) 중 적어도 어느 하나의 위치에 장착될 수 있다.

또한, 디스플레이부(170)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수도 있다.

이러한 디스플레이부(170)는 제어부(190)의 제어에 따라 동작하면서, 각종 정보를 정보표시하거나, 표시 상태를 변경할 수 있다. 예컨대, 디스플레이부(170)는 제어부(190)로부터 제공되는 서로 다른 제어신호에 따라, 디스플레이부(170)에 표시되는 정보정보의 종류, 형태, 개수, 색상, 위치 또는 크기 등을 변경하거나, 디스플레이부(170)의 밝기, 투과도, 색상 등을 변경할 수 있다.

전원 공급부(180)는 제어부(190)의 제어에 따라 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다.

제어부(190)는 차량에 포함되는 각 유닛의 전반적인 동작을 제어할 수 있다. 예컨대, 제어부(190)는 입력부(110) 또는 센서부(140) 등으로부터 제공되는 신호에 기초하여, 디스플레이부(170)에 표시되는 정보의 속성을 변경할 수 있다.

제어부(190)는 하드웨어적으로, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.

한편, 차량(1)은 사용자가 직접 운전하는 수동 주행 모드로 주행 가능함은 물론, 자율주행 기능이 탑재될 수 있다. 여기서, 자율주행 기능이란, 주행 시 외부 정보 감지 및 감지된 외부 정보의 처리 기능을 이용하여 주변 환경을 인식하고, 주행 경로를 자체적으로 결정하며, 차량(1) 자체의 동력을 이용하여 독립적으로 주행하는 기능을 의미한다. 즉, 제어부(190)는 자율주행 모드에 진입하여, 사용자의 조작을 받지 않고도, 차량(1)을 특정 경로를 따라 자동으로 주행시킬 수 있다. 자율주행 기능은 사용자로부터 어떠한 조작도 받지 않고도 직접 차량의 주행을 제어한다는 점에서, 차량(1)의 속도와 주행방향이 운전자의 직접적인 조작에 따라 조절되는 수동 모드와는 구별될 수 있다.

한편, 도 2를 참조하여 전술한 차량(1)에 포함된 구성요소 중 일부는, 후술할 본 발명의 실시예들에 따른 운전자 보조 장치(100)에 포함될 수 있다. 즉, 운전자 보조 장치(100)는 차량(1)에 포함된 일부 구성만을 포함하는 방식으로 구현될 수 있다. 또는, 도 2를 참조하여 전술한 차량(1)에 포함된 구성요소 중 일부는, 후술할 본 발명의 실시예들에 따른 운전자 보조 장치(100)와 공유될 수 있다.

본 발명의 실시예들에 따른 운전자 보조 장치(100)는, 차량(1)의 내부 환경 정보, 외부 환경 정보 또는 주행 모드에 따라, 디스플레이부(170)에 표시되는 정보 또는 차량(1)의 동작 제어하기 위한 제어신호를 생성하여, 결과적으로 주행 중 안전성을 높이고, 사용자의 편의성을 증대할 수 있는바, 이하에서 더욱 상세하게 설명하기로 한다.

도 3은 본 발명의 일 실시예에 따른 운전자 보조 장치(100)의 블록 다이어그램을 보여준다.

도 3을 참조하면, 운전자 보조 장치(100)는 프로세서(200)를 포함할 수 있다. 또한, 운전자 보조 장치(100)는 도 2에 도시된 제1 카메라(21), 제2 카메라(22), 오디오 입력부(112), 디스플레이부(170)를 더 포함할 수 있다. 즉, 운전자 보조 장치(100)는 제1 카메라(21), 제2 카메라(22), 오디오 입력부(112), 디스플레이부(170)를 차량(1)과 공유할 수 있다. 또한, 필요에 따라, 메모리(130), 전원 공급부(180) 등을 더 포함할 수 있다.

제1 카메라(21)는 차량(1)에 실내측 또는 실외측에 장착되어, 차량(1)의 주행에 따른 주행 영상을 생성한다. 예컨대, 제1 카메라(21)는 차량의 전방에 대한 주행 영상을 생성할 수 있다. 제1 카메라(21)에 의해 생성되는 주행 영상에는 적어도 하나 이상의 오브젝트가 나타날 수 있다. 주행 영상에 나타나는 오브젝트에는, 예를 들어, 타차량, 보행자, 차선, 시설물(예, 건물) 등을 들 수 있다. 즉, 차량(1)에 주변에 존재하는 것이라면 그 종류에 무관하게 오브젝트로서 주행 영상 내에 나타날 수 있다.

제2 카메라(22)는 차량(1)에 실내측에 장착되어, 실내 영상을 생성한다. 이때, 제2 카메라(22)는 사용자가 나타나는 실내 영상을 생성할 수 있다. 이를 위해, 제2 카메라(22)는 차량(1)의 실내 중, 사용자로부터 소정 거리 이상 이격된 위치에 장착될 수 있다.

제1 카메라(21)와 제2 카메라(22)는 차량(1)의 윈도우(12)의 실내측면 또는 실외측면 등에 탈부착될 수 있다. 또한, 제1 카메라(21)와 제2 카메라(22) 중 적어도 어느 하나는 스테레오 카메라일 수 있다. 스테레오 카메라는 촬영 방향에 대응하는 공간에 대한 3차원 거리 정보를 획득할 수 있다. 또는, 제1 카메라(21)와 제2 카메라(22) 중 적어도 어느 하나는 적외선 카메라일 수 있다.

제2 카메라(22)에 의해 생성되는 실내 영상에는 사용자의 움직임에 대한 정보가 포함될 수 있다. 예를 들어, 제2 카메라(22)에 의해 생성되는 실내 영상에는 사용자의 얼굴, 눈동자, 제스쳐 등 사용자의 움직임이 나타나며, 후술할 프로세서(200)는 사용자의 얼굴, 눈동자, 제스쳐 등 사용자의 움직임이 나타나는 실내 영상으로부터, 사용자의 얼굴, 시선, 제스쳐 등을 검출할 수 있다.

오디오 입력부(112)는 사용자 음성을 수신할 수 있다. 예를 들어, 오디오 입력부(112)는 적어도 하나 이상의 마이크로폰을 포함할 수 있고, 마이크로폰로 입력되는 음성을 그에 대응하는 전기 신호로 변환하여, 프로세서(200)로 제공할 수 있다. 프로세서(200)는 사용자 음성에 대응하는 전기 신호를 기초로, 각종 제어신호를 생성할 수 있다. 이때, 오디오 입력부(112)는 차량(1)의 실내 중 사용자의 음성을 수신할 수 있는 위치에 배치될 수 있다.

디스플레이부(170)는 프로세서(200)로부터 제공되는 각종 제어신호를 기초로, 정보를 표시할 수 있다. 디스플레이부(170)는 화면에 각종 정보를 표시하는 경우, 다양한 사용자 유저 인터페이스를 제공하는 것도 가능하며, 제공되는 유저 인터페이스에 대한 터치 입력이 가능한 터치 센서를 구비하는 것도 가능하다. 한편, 디스플레이부(170)가 정보를 표시하는 화면은, 디스플레이부(170)에 구비된 스크린이거나, 차량(1)의 윈도우(12)일 수 있다. 예를 들어, 디스플레이부(170)가 HUD(Head Up Display) 인 경우, 디스플레이부(170)에는 별도의 스크린이 구비되지 않을 수 있으며, 차량(1)의 윈도우(12)를 화면으로 활용할 수 있다. 이를 위해, HUD(Head Up Display)는 투사 모듈(172, 도 3 참조)을 포함할 수 있다.

프로세서(200)는 운전자 보조 장치(100) 내의 각 유닛의 전반적인 동작을 제어한다.

구체적으로, 프로세서(200)는 컴퓨터 비젼(computer vision) 기반의 신호 처리를 수행할 수 있다. 이에 따라, 프로세서(200)는 제1 카메라(21)로부터 수신된 주행 영상을 기초로, 적어도 하나 이상의 오브젝트 검출을 수행할 수 있다. 예를 들어, 제1 카메라(21)가 스테레오 카메라인 경우, 제1 카메라(21)로부터 수신된 좌안 영상과 우안 영상에 대한 디스패러티 연산을 수행하고, 연산된 디스패러티 정보에 기초하여, 주행 영상에 나타나는 오브젝트 검출을 수행할 수 있다. 또한, 프로세서(200)는 주행 영상으로부터 검출한 오브젝트의 변화(예, 크기 변화, 방향 변화, 속도 변화, 색상 변화 등)를 실시간 또는 주기적으로 트래킹할 수 있다.

또한, 프로세서(200)는 차선 검출(Lane Detection), 주변 차량 검출(vehicle Detection), 보행자 검출(Pedestrian Detection), 교통 표지판 검출(Traffic Sign Detection), 도로면 검출 등을 수행하여, 주행 영상으로부터 차선, 타차량, 보행자, 교통 표지판 등을 검출할 수 있다. 또한, 프로세서(200)는 각 오브젝트에 대한 검출 결과를 기초로, 오브젝트에 대한 정보를 획득할 수 있다.

예를 들어, 프로세서(200)는 검출된 오브젝트가 차량(1)의 주변에서 주행 중인 타차량인 경우, 차량(1)으로부터 타차량까지의 거리 연산, 타차량의 절대속도나 상대속도 연산 등을 수행할 수 있다. 이를 위해, 프로세서(200)는 검출된 오브젝트와 관련된 정보를 추출 시, 센서부(140)로부터 출력되는 센싱 신호를 이용할 수 있다. 일 예로, 프로세서(200)는 센서부(140)에 의해 감지된 오브젝트 중 제1 카메라(21)에 의해 생성된 주행 영상에 나타나는 오브젝트를 추출하고, 주행 영상과 센싱 신호를 조합하여, 특정 오브젝트에 대한 정보를 획득할 수 있다.

또한, 프로세서(200)는 주행 영상으로부터 검출한 오브젝트를 기초로, 차량(1) 주변의 교통 상황을 판단할 수 있다. 예를 들어, 검출된 오브젝트의 수가 많아질수록, 차량(1)의 현 위치의 교통정체 레벨이 높은 것으로 판단할 수 있다. 다른 예를 들어, 주행 영상 전체 면적에 대하여 검출된 오브젝트의 총 면적이 차지하는 비율이 작아질수록, 차량(1)의 현 위치의 교통정체 레벨이 낮은 것으로 판단할 수 있다.

프로세서(200)는 운전자 보조 모드에 진입할 수 있다. 본 발명에서 운전자 보조 모드란, 사용자 움직임 및 음성 중 적어도 어느 하나를 기초로, 차량(1) 주변의 오브젝트 중 적어도 어느 하나를 선택하고, 선택된 오브젝트에 대한 정보를 사용자에게 제공하는 모드를 의미한다. 운전자 보조 모드에서 사용자에게 제공하는 오브젝트에 관한 정보의 형태는 다양할 수 있다. 예를 들어, 사용자에게 제공하는 정보는 시각적, 청각적, 촉각적 등의 형태로 제공될 수 있다.

구체적으로, 프로세서(200)는 미리 정해진 입력을 수신 시, 운전자 보조 모드에 진입할 수 있다. 예를 들어, 차량(1)의 입력부 중 운전자 보조 모드에 대응하는 버튼이 푸쉬되는 경우, 프로세서(200)는 운전자 보조 모드에 진입할 수 있다. 다른 예를 들어, 오디오 입력부(112)를 통해 미리 정해진 단어에 대응하는 음성이 입력되는 경우, 프로세서(200)는 운전자 보조 모드에 진입할 수 있다. 또 다른 예를 들어, 운전자의 시선이 특정 영역 내에서 기 설정된 시간 이상 유지되거나, 운전자의 눈 깜빡임 패턴이 기 설정된 패턴에 대응하는 경우, 프로세서(200)는 운전자 보조 모드에 진입할 수 있다. 다만, 이는 예시적인 것에 불과하며, 그 밖의 다양한 입력이 운전자 보조 모드로의 진입을 위해 미리 설정될 수 있다.

프로세서(200)는 운전자 보조 모드 진입 시, 실내 영상 및 사용자 음성 중 적어도 어느 하나를 기초로, 주행 영상에 나타나는 적어도 하나 이상의 오브젝트를 선택할 수 있다.

구체적으로, 프로세서(200)는 실내 영상으로부터 사용자의 시선 및 제스쳐 중 적어도 어느 하나를 검출할 수 있다. 사용자의 시선 및 제스쳐 중 적어도 어느 하나에 대한 검출이 완료된 경우, 프로세서(200)는 사용자의 시선 및 제스쳐 중 적어도 어느 하나를 기초로, 주행 영상에 선택 영역을 설정할 수 있다.

여기서, 선택 영역이란, 주행 영상 전체 중 일부 영역으로서, 사용자의 시선 및 제스쳐 중 적어도 어느 하나가 가리키는 방향에 대응하는 지점을 포함하는 영역을 의미한다. 선택 영역을 설정함으로써, 오브젝트를 선택하기 위한 범위를 좁혀, 사용자가 정보를 제공받기를 원하는 오브젝트에 대한 정보를 신속히 제공할 수 있다.

이때, 선택 영역은 주행 영상에 포함된 어느 한 포인트이거나, 소정의 면적을 갖는 영역일 수 있다. 예를 들어, 프로세서(200)는 사용자의 시선 또는 제스쳐에 대응하는 가상선이 프론트 윈도우(12A)와 만나는 제1 위치를 산출하고, 주행 영상 중 제1 위치에 대응하는 제2 위치를 산출하며, 제2 위치를 중심으로 하고 소정의 반지름을 가지는 원으로 둘러싸인 영역을 전술한 선택 영역으로 설정할 수 있다.

선택 영역이 설정되는 경우, 프로세서(200)는 주행 영상 전체에 나타나는 모든 오브젝트가 아닌, 선택 영역에 나타나는 오브젝트만을 정보 제공의 대상으로 하므로, 오브젝트의 정보 획득에 요구되는 연산량을 저감할 수 있다.

한편, 프로세서(200)는 선택 영역을 안내하는 그래픽 객체를 표시하도록 하는 제어신호를 디스플레이부(170)로 제공할 수 있다. 이에, 디스플레이부(170)는 선택 영역을 안내하는 그래픽 객체를 자신의 화면에 직접 표시하거나, 차량(1)의 프론트 윈도우(12A) 등에 투사할 수 있다.

또한, 프로세서(200)는 주행 영상에 대한 선택 영역의 설정을 완료한 경우, 사용자 음성을 기초로, 선택 영역에 나타나는 적어도 하나 이상의 오브젝트 중 어느 하나를 선택할 수 있다.

구체적으로, 프로세서(200)는 사용자 음성에 대응하는 텍스트를 기초로, 선택 영역에 나타나는 적어도 하나 이상의 오브젝트 중 적어도 어느 하나를 선택할 수 있다. 예를 들어, 프로세서(200)는 사용자 음성에 음성 인식(speech recognition) 알고리즘을 적용하여, 사용자 음성에 대응하는 텍스트를 획득할 수 있다.

프로세서(200)는 선택 영역에 나타나는 적어도 하나 이상의 오브젝트 중, 사용자 음성으로부터 획득한 텍스트에 대응하는 오브젝트를 선택할 수 있다. 예를 들어, 선택 영역에 보행자와 건물이 나타나는 상태에서, 사용자 음성으로부터 획득한 텍스트가 "빌딩"인 경우, 프로세서(200)는 선택 영역에 나타나는 보행자 및 건물 중 건물을 선택할 수 있다. 이때, 차량(1)의 통신부(120)는 차량(1)의 현 위치에 대한 주변 시설 정보를 수신할 수 있는바, 프로세서(200)는 통신부(120)에 의해 수신된 주변 시설 정보 중 선택 영역에 포함되고 텍스트에 대응하는 주변 시설을 선택할 수 있다.

한편, 선택 영역에는 사용자 음성으로부터 획득한 텍스트에 대응하는 오브젝트가 둘 이상 나타나는 경우가 존재할 수 있다. 예를 들어, 선택 영역에 2대의 타차량이 나타나는 상태에서, 사용자 음성으로부터 획득한 텍스트가 "차량"인 경우가 존재할 수 있다. 이러한 경우, 프로세서(200)는 기 입력된 사용자 음성 또는 추가적으로 입력되는 사용자 음성을 기초로, 선택 영역에 나타나고 동일한 텍스트에 대응하는 둘 이상의 오브젝트 중 어느 하나만을 선택할 수 있다.

구체적으로, 프로세서(200)는 기 입력된 사용자 음성의 길이를 기초로, 선택 영역에 나타나는 적어도 하나 이상의 오브젝트 중 어느 하나를 선택할 수 있다. 이를 위해, 프로세서(200)는 사용자 음성이 수신되는 경우, 해당 사용자 음성의 길이를 측정하는 과정을 선행할 수 있다. 프로세서(200)는 측정된 사용자 음성의 길이에 대응하는 거리를 획득할 수 있다. 메모리(130)에는 사용자 음성의 길이별 거리가 기 저장될 수 있으며, 프로세서(200)는 메모리(130)로부터 사용자 음성의 길이에 대응하는 거리를 제공받을 수 있다. 예들 들어, 사용자 음성의 길이 0.1초는 3m의 거리에 대응할 수 있으며, 사용자 음성의 총 길이가 0.4초인 경우, 프로세서(200)는 선택 영역에 나타나는 둘 이상의 오브젝트 중 차량(1)으로부터 12m만큼 이격된 거리에 가장 가깝게 위치하는 하나의 오브젝트를 선택할 수 있다.

이때, 프로세서(200)는 사용자 음성으로부터 획득한 텍스트가 미리 정해진 문자열(예, 단어, 문장 등)인 경우에 한하여, 사용자 음성의 길이를 측정할 수 있다. 이에 따라, 운전자 보조 모드 진입 시, 미리 정해진 문자열이 마치 암호처럼 작용하여, 사용자의 개인적인 대화 등에 의해 의도치 않게 오브젝트가 선택되는 상황을 방지할 수 있다.

또는, 프로세서(200)는 기 입력된 사용자 음성과는 다른, 추가 입력된 사용자 음성을 기초로, 선택 영역에 나타나고 동일한 텍스트에 대응하는 둘 이상의 오브젝트 중 어느 하나만을 선택할 수 있다.

구체적으로, 추가 입력된 사용자 음성에 대응하는 텍스트가 색상에 관한 것인 경우, 프로세서(200)는 선택 영역에 나타나고 동일한 텍스트에 대응하는 둘 이상의 오브젝트 중 해당 색상과 가장 유사한 색상을 가지는 어느 한 오브젝트를 선택할 수 있다. 예를 들어, 기 입력된 사용자 입력에 대응하는 텍스트가 "차량"이고, 선택 영상 내에 흰색 타차량과 검정색 타차량이 나타나는 경우, 추가 입력된 사용자 음성에 대응하는 텍스트가 "검정"이면, 프로세서(200)는 흰색 타차량이 아닌 검정색 타차량을 선택할 수 있다.

또한, 프로세서(200)는 추가 입력된 사용자 음성에 대응하는 텍스트가 방향에 관한 것인 경우, 프로세서(200)는 선택 영역에 나타나고 동일한 텍스트에 대응하는 둘 이상의 오브젝트 중 해당 방향과 가장 유사한 방향을 가지는 어느 한 오브젝트를 선택할 수 있다. 예를 들어, 기 입력된 사용자 입력에 대응하는 텍스트가 "차량"이고, 2대의 차량이 각각 선택 영역의 좌측과 우측에 나타나는 경우, 추가 입력된 사용자 음성에 대응하는 텍스트가 "왼쪽"이면, 프로세서(200)는 선택 영역의 좌측에 나타나는 오브젝트를 선택할 수 있다.

또한, 프로세서(200)는 추가 입력된 사용자 음성에 대응하는 텍스트가 크기에 관한 것인 경우, 프로세서(200)는 선택 영역에 나타나고 동일한 텍스트에 대응하는 둘 이상의 오브젝트 중 해당 크기와 가장 유사한 크기를 가지는 어느 한 오브젝트를 선택할 수 있다. 예를 들어, 기 입력된 사용자 입력에 대응하는 텍스트가 "차량"이고, 2대의 차량이 각각 컴팩트 카와 대형트럭인 경우, 추가 입력된 사용자 음성에 대응하는 텍스트가 "작은 것"이면, 프로세서(200)는 선택 영역에 나타나는 컴팩트 카와 대형트럭 중 컴팩트 카를 선택할 수 있다.

또한, 프로세서(200)는 추가 입력된 사용자 음성에 대응하는 텍스트가 거리에 관한 것인 경우, 프로세서(200)는 선택 영역에 나타나고 동일한 텍스트에 대응하는 둘 이상의 오브젝트 중 해당 거리와 가장 근접한 거리에 위치하는 어느 한 오브젝트를 선택할 수 있다. 예를 들어, 기 입력된 사용자 입력에 대응하는 텍스트가 "차량"이고, 2대의 타차량이 서로 전후에 위치하는 경우, 추가 입력된 사용자 음성에 대응하는 텍스트가 "먼 것"이면, 프로세서(200)는 선택 영역에 나타나는 2대의 타차량 중 차량(1)으로부터 상대적으로 더 먼 거리에 위치하는 타차량을 선택할 수 있다.

또한, 프로세서(200)는 사용자 음성에 대한 음성 인식을 통해 획득한 텍스트 중, 미리 정해진 문자열이 반복되는 속도 또는 횟수를 기초로, 선택 영역에 포함된 적어도 하나 이상의 오브젝트 중 텍스트에 대응하는 오브젝트를 선택할 수 있다. 예를 들어, 사용자가 제1 시간 내에 "차량"을 두 번 말하는 경우에 선택되는 타차량은, 제1 시간보다 긴 제2 시간 동안 "차량"을 두 번 말하는 경우에 선택되는 타차량보다 차량과 가까운 거리에 위치할 수 있다. 즉, 프로세서(200)는 사용자 음성 내의 소정 문자열이 빠르게 반복될수록 차량으로부터 가까운 거리에 위치하는 오브젝트를 선택하고, 소정 문자열이 느리게 반복될수록 차량으로부터 먼 거리에 위치하는 오브젝트를 선택할 수 있다.

또한, 프로세서(200)는 추가 입력된 사용자 음성으로부터 획득한 텍스트가 기 입력된 사용자 음성으로부터 획득한 텍스트와 동일 단어인 경우, 동일 단어의 반복 횟수를 기초로, 선택 영역에 나타나는 적어도 하나 이상의 오브젝트 중 어느 하나를 선택할 수 있다. 예를 들어, 기 입력된 사용자 음성에 대응하는 텍스트가 "차량"이고, 선택 영상 내에 서로 다른 3대의 타차량이 나타나는 경우, 추가 입력된 사용자 음성으로부터 획득한 텍스트에 "차량"이 1회 반복되면, 프로세서(200)는 3대의 타차량 중 차량(1)과 가장 가까운 거리의 타차량을 선택하고, 추가 입력된 사용자 음성으로부터 획득한 텍스트에 "차량"이 2회 반복되면, 3대의 타차량 중 차량(1)과 두번째로 가까운 거리의 타차량을 선택하며, 추가 입력된 사용자 음성으로부터 획득한 텍스트에 "차량"이 3회 반복되면, 3대의 타차량 중 차량(1)과 가장 먼 거리의 타차량을 선택하고, 추가 입력된 사용자 음성으로부터 획득한 텍스트에 "차량"이 4회 반복되면, 3대의 타차량 중 차량(1)과 가장 가까운 거리의 타차량을 다시 선택할 수 있다.

또한, 프로세서(200)는 선택 영역에 나타나는 오브젝트 중 사용자 음성을 기초로 선택된 오브젝트에 대한 정보를 제공할 수 있다. 일 예로, 프로세서(200)는 선택된 오브젝트에 대한 정보를 표시하도록 디스플레이부(170)를 제어할 수 있다.

선택된 오브젝트에 대한 정보에는 예를 들어, 선택된 오브젝트의 유형(예, 보행자, 차선, 타차량, 건물 등), 속도(예, 절대속도, 상대속도 등), 방향(예, 좌측 이동, 직진, 우측 이동, 후진), 크기, 색상, 차량(1)과의 거리, 차량(1)의 위치로부터 선택된 오브젝트까지의 경로 등의 다양한 정보들 중 적어도 어느 하나가 포함될 수 있다.

또한, 선택된 오브젝트가 건물 등의 시설물인 경우, 해당 시설물의 층수, 면적, 이용시간, 주차장 위치, 해당 시설물까지의 남은 거리 등의 상세 정보를 제공할 수 있다.

프로세서(200)는 차량(1)의 통신부(120)를 통해 수신된 차량(1)의 현 위치 정보, 메모리(130)에 저장된 맵 정보 및 선택된 오브젝트에 대한 정보를 기초로, 선택된 오브젝트까지의 경로에 대한 탐색 요청을 차량(1)의 내비게이션 시스템(미도시)로 전송하고, 탐색 요청에 따라 내비게이션 시스템으로부터 제공된 경로 정보에 대응하는 그래픽 객체를 표시하도록 디스플레이부(170)를 제어할 수 있다.

또한, 프로세서(200)는 선택된 오브젝트까지의 경로에 대하여 자율주행 모드에 진입하도록 하는 제어신호를 생성할 수 있다. 자율주행 모드에 진입하도록 하는 제어신호는 차량(1)의 제어부(190) 또는 구동부(160)로 제공될 수 있다. 차량(1)은 자율주행 모드 진입 시, 운전자로부터의 조작이 인가되지 않더라도, 스스로 차선 변경, 앞차와의 거리 유지, 제동, 가속, 감속 등을 수행하면서 선택된 오브젝트를 목적지로 하여 탐색된 경로를 따라 주행할 수 있다.

메모리(130)는 프로세서(200)의 처리 또는 제어를 위한 프로그램 등, 운전자 보조 장치(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다. 이러한 메모리(130)는 프로세서(200)에 포함되는 것일 수 있다.

전원 공급부(180)는, 프로세서(200)의 제어에 의해, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원 공급부(180)는 차량(1) 내부의 배터리 등으로부터 전원을 공급받을 수 있다.

도 4는 도 3에 도시된 프로세서(200)의 블록 다이어그램의 일 예를 보여준다. 설명의 편의를 위해, 제1 카메라(21)는 스테레오 카메라인 것으로 가정하기로 한다.

도 4를 참조하면, 프로세서(200)는 영상 전처리부(410), 디스패러티 연산부(420), 오브젝트 검출부(434) 및 오브젝트 트래킹부(440)를 포함할 수 있다.

영상 전처리부 (410)는 제1 카메라(21)로부터 수신된 주행 영상에 대한 전처리(preprocessing)를 수행할 수 있다. 여기서, 제1 카메라(21)로부터 수신된 주행 영상은 좌안 영상 및 우안 영상을 포함할 수 있다.

구체적으로, 영상 전처리부(410)는 주행 영상에 대한, 노이즈 리덕션(noise reduction), 렉티피케이션(rectification), 캘리브레이션(calibration), 색상 강화(color enhancement), 색상 공간 변환(color space conversion;CSC), 인터폴레이션(interpolation), 카메라 게인 컨트롤(camera gain control) 등을 수행할 수 있다. 이에 따라, 제1 카메라(21)에서 촬영된 주행 영상보다 선명한 전처리 영상을 획득할 수 있다.

디스패러티 연산부(disparity calculator)(420)는, 영상 전처리부(410)에서 신호 처리된 주행 영상를 수신하고, 신호 처리된 주행 영상에 대한 스테레오 매칭(stereo matching)을 수행할 수 있다. 이후, 디스패러티 연산부 (420)는 스테레오 매칭의 결과를 기초로, 디스패러티 맵(dispartiy map)을 획득한다. 한편, 디스패러티 맵은, 이미지, 즉 좌안 영상과 우안 영상의 시차(時差) 정보(binocular parallax information)를 수치로 나타낸 맵을 의미할 수 있다. 즉, 차량 주변 공간에 대한, 디스패러티 정보를 획득할 수 있다. 이때, 스테레오 매칭은, 주행 영상에 포함된 이미지들의 픽셀 단위로 또는 소정 블록 단위로 수행될 수 있다.

세그멘테이션부(segmentation unit)(432)는 디스패러티 연산부(420)에 의해 획득된 디스페러티 정보를 기초로, 주행 영상 내의 세그먼트(segment) 및 클러스터링(clustering)을 수행할 수 있다.

구체적으로, 세그멘테이션부(432)는 디스페러티 정보에 기초하여, 주행 영상에 포함된 이미지 프레임 중 적어도 하나에 대해, 배경(background)과 전경(foreground)을 분리할 수 있다. 예를 들어, 디스패리티 맵 내에서 디스페러티 정보가 소정치 이하인 영역을, 배경으로 연산하고, 해당 부분을 제외시킬 수 있다. 이에 의해, 상대적으로 전경이 분리될 수 있다. 다른 예로, 디스패리티 맵 내에서 디스페러티 정보가 소정치 이상인 영역을, 전경으로 연산하고, 해당 부분을 추출할 수 있다. 이에 의해, 전경이 분리될 수 있다. 이와 같이, 디스페러티 정보 정보에 기초하여, 전경과 배경을 분리함으로써, 이후의, 오브젝트 검출시, 신호 처리 속도, 신호 처리 양 등을 단축할 수 있게 된다.

오브젝트 검출부(object detector)(434)는 세그멘테이션부(432)에 의한 세그먼팅 결과를 기초로, 주행 영상에 나타나는 오브젝트를 검출할 수 있다. 즉, 오브젝트 검출부(434)는, 디스페러티 정보 정보에 기초하여, 주행 영상에 포함된 이미지 중 적어도 하나에 나타나는 오브젝트를 검출할 수 있다. 예를 들어, 주행 영상 중 세그멘테이션부(432)에 의해 분리된 전경으로부터 오브젝트를 검출할 수 있다.

오브젝트 확인부(object verification unit)(436)는 검출된 오브젝트를 분류(classify)하거나, 식별(identify)할 수 있다. 이를 위해, 오브젝트 확인부(436)는 뉴럴 네트워크(neural network)를 이용한 식별법, SVM(Support Vector Machine) 기법, Haar-like 특징을 이용한 AdaBoost에 의해 식별하는 기법, 또는 HOG(Histograms of Oriented Gradients) 기법 등을 사용할 수 있다.

한편, 오브젝트 확인부(436)는 메모리(130)에 기 저장된 기준 패턴과, 검출된 오브젝트를 비교하여, 오브젝트의 종류를 식별할 수 있다.

예를 들어, 오브젝트 확인부(436)는 검출된 오브젝트가 타차량, 차선, 도로면, 보행자, 건물, 표지판, 위험 지역 또는 터널 등의 다양한 유형 중 어느 것에 해당하는 오브젝트인지 확인할 수 있다. 이를 위해, 메모리(130)에는 오브젝트의 종류별로 기준 패턴이 미리 저장될 수 있으며, 오브젝트 확인부(436)는 현재 검출된 오브젝트와의 유사도가 가장 높은 기준 패턴을 이용하여, 현재 검출된 오브젝트가 어떤 종류의 오브젝트인지 식별할 수 있다.

오브젝트 트래킹부(object tracking unit)(440)는 식별된 오브젝트에 대한 트래킹을 수행한다. 예를 들어, 순차적으로 획득되는 주행 영상에 내의 오브젝트를 확인하고, 확인된 오브젝트의 움직임 또는 움직임 벡터를 연산하며, 연산된 움직임 또는 움직임 벡터에 기초하여, 해당 오브젝트의 이동 등을 트래킹할 수 있다. 이에 따라, 차량 주변에 위치하는, 주변 차량, 차선, 도로면, 표지판, 위험 지역, 등을 트래킹할 수 있게 된다. 또한, 오브젝트 트래킹부(440)는 주행 영상으로부터 식별된 복수개의 오브젝트 중, 사용자 입력에 대응하는 특정 오브젝트만을 트래킹할 수도 있다. 또한, 오브젝트 트래킹부(440)는 주행 영상으로부터 식별된 오브젝트의 과거 움직임을 기초로, 해당 오브젝트의 미래 움직임을 예측할 수도 있다.

한편, 도 에서는 프로세서(200)가 제1 카메라(21)에 의해 생성된 주행 영상으로부터 오브젝트를 검출하는 동작을 중심으로 설명하였으나, 프로세서(200)의 동작이 이에 한정되는 것은 아니다. 예를 들어, 후술할 바와 같이, 프로세서(200)는 제2 카메라(22)에 의해 생성된 실내 영상으로부터 사용자 움직임을 검출할 수 있다. 또한, 프로세서(200)는 주행 영상으로부터 검출된 오브젝트, 실내 영상으로부터 검출된 사용자 움직임 및 사용자 음성 중 하나 또는 둘 이상을 조합한 결과를 기초로, 차량(1)의 제어를 수행하기 위한 각종 제어신호를 생성할 수 있다.

도 5는 운전자 보조 장치(100)의 디스플레이부(170)가 HUD(Head Up Display)인 경우에 정보를 표시하는 개념을 보여주는 도면이다.

도 5를 참조하면, 디스플레이부(170)는 정보 표시 모듈(171) 및 투사 모듈(172)을 포함할 수 있다. 정보 표시 모듈(171)은 백라이트와 액정 디스플레이를 포함할 수 있고, 액정 디스플레이는 백라이트로부터 출력된 광에 대응하여 각종 정보를 나타내는 이미지를 투사 모듈(172)로 전달한다. 예컨대, 정보 표시 모듈은 VFD(Vacuum Fluorescent Display), CRT(Cathode Ray Tube), LCD, LED 등과 같은 다양한 종류의 광원을 이용하여, 정보를 표시하기 위한 광을 발산한다.

투사 모듈(172)은 적어도 하나 이상의 렌즈 및 거울을 포함할 수 있다. 투사 모듈(172)은 정보 표시 모듈로부터 전달되는 광을 투사면(12A)을 향하여 반사한다. 이때, 투사 모듈(172) 또는 정보 표시 모듈(171)의 위치를 변경하는 모터(미도시)를 더 포함할 수 있다. 즉, 모터의 구동에 따라 투사면(12A)의 전체 영역 중 투사 모듈(172)에 의해 반사된 광이 맺히는 위치가 조절될 수 있다. 이에, 프로세서(200)는 디스플레이부(170)에 포함된 모터의 회전량과 회전방향을 제어하여, 차량(1)의 주행 상황에 따라 적절한 위치에 정보가 표시되도록 할 수 있다.

투사 모듈(172)에 의해 반사된 광이 투사면에 입사되면, 운전자의 눈과 반사광이 입사된 투사면(12A)의 위치를 연결하는 선의 연장선 상에 가상 이미지(V)가 결상되며, 운전자는 결상된 가상 이미지(V)를 인지할 수 있다.

한편, 도 5에 도시된 HUD(Head Up Display)의 동작 원리는 예시적인 것이며, 그 밖의 다양한 공지된 방식을 통해 투사면(12A)에 정보를 표시할 수도 있다.

프로세서(200)는 사용자 입력 또는 차량(1)의 주행 상황(예, 속도, 주변 장애물 위치, 방향 지시 레버의 위치 등)에 따라, 디스플레이부(170)가 투사면(예, 프론트 윈도우(12A))을 향하여 각종 정보에 대응하는 이미지를 투사하는 위치를 변경할 수 있다.

이하에서는, 디스플레이부(170)가 HUD(Head Up Display)이고, HUD(Head Up Display)로부터 투사된 이미지가 맺히는 투사면은 프론트 윈도우(12A)인 것으로 가정하여 설명하기로 한다. 다만, 디스플레이부(170)는 투명 디스플레이 등 HUD(Head Up Display)와는 다른 타입일 수 있고, 프론트 윈도우(12A) 외의 차량의 다른 부분이 투사면으로 활용될 수 있다는 것을 당업자라면 쉽게 이해할 수 있을 것이다.

도 6은 본 발명의 일 실시예에 따른 운전자 보조 장치(100)의 제어방법을 보여주는 순서도이다.

도 6을 참조하면, 먼저 프로세서(200)는 운전자 보조 모드에 진입할 수 있다(S610). 본 발명에서 운전자 보조 모드란, 사용자 움직임 및 음성 중 적어도 어느 하나를 기초로, 차량(1) 주변의 오브젝트 중 적어도 어느 하나에 대한 정보를 사용자에게 제공하는 모드를 의미한다. 운전자 보조 모드에서 사용자에게 제공하는 오브젝트에 관한 정보의 형태는 다양할 수 있다. 예를 들어, 사용자에게 제공하는 정보는 시각적, 청각적, 촉각적 등의 형태로 제공될 수 있다.

구체적으로, 프로세서(200)는 미리 정해진 입력을 수신 시, 운전자 보조 모드에 진입할 수 있다. 예를 들어, 차량(1)의 입력부(110) 중 운전자 보조 모드에 대응하는 버튼(111)이 푸쉬되는 경우, 프로세서(200)는 운전자 보조 모드에 진입할 수 있다. 다른 예를 들어, 오디오 입력부(112)를 통해 미리 정해진 단어에 대응하는 음성이 입력되는 경우, 프로세서(200)는 운전자 보조 모드에 진입할 수 있다. 또 다른 예를 들어, 운전자의 시선이 특정 영역 내에서 기 설정된 시간 이상 유지되거나, 운전자의 눈 깜빡임 패턴이 기 설정된 패턴에 대응하는 경우, 프로세서(200)는 운전자 보조 모드에 진입할 수 있다. 다만, 이는 예시적인 것에 불과하며, 그 밖의 다양한 입력이 운전자 보조 모드로의 진입을 위해 미리 설정될 수 있다. 한편, 운전자 보조 모드는 미리 정해진 입력의 수신 여부와는 무관하게, 차량(1)의 주행 중인 경우 항상 실행될 수도 있다.

다음으로, 프로세서(200)는 제1 카메라에 의해 생성된 주행 영상 및 제2 카메라에 의해 생성된 실내 영상을 수신한다(S620). 이때, 프로세서(200)는 주행 영상보다 실내 영상을 먼저 수신하거나, 실내 영상보다 주행 영상을 먼저 수신할 수 있으며, 주행 영상과 실내 영상을 동시에 수신할 수도 있다. 주행 영상에는 적어도 하나 이상의 오브젝트가 나타날 수 있으며, 이 중 적어도 하나 이상의 오브젝트가 후술할 사용자 음성 및 움직임 중 적어도 하나를 기초로 선택될 수 있다. 또한, 실내 영상에는 사용자(예, 운전자)의 움직임이 나타날 수 있다.

이어서, 프로세서(200)는 오디오 입력부(112)가 입력받은 사용자 음성을 수신한다(S630). 여기서, 프로세서(200)가 사용자 음성을 수신한다는 것은, 사용자 음성이 오디오 입력부(112)에 의해 변환된 전기 신호를 수신하는 것을 의미할 수 있다.

다음으로, 프로세서(200)는 단계 S620을 통해 수신한 실내 영상 및 단계 S630을 통해 수신한 사용자 음성 중 적어도 어느 하나를 기초로, 단계 S620을 통해 수신한 주행 영상에 나타나는 오브젝트 중 적어도 하나 이상의 오브젝트를 선택한다(S640). 예를 들어, 프로세서(200)는 실내 영상에 나타나는 사용자의 움직임으로부터 사용자의 시선 및 제스쳐 중 적어도 어느 하나를 검출하고, 검출된 사용자의 시선 또는 제스쳐를 기초로, 주행 영상에 나타나는 오브젝트 중 적어도 하나 이상의 오브젝트를 선택할 수 있다. 다른 예를 들어, 프로세서(200)는 주행 영상에 나타나는 오브젝트 중 사용자 음성에 대응하는 적어도 어느 한 오브젝트를 선택할 수 있다. 또 다른 예를 들어, 프로세서(200)는 사용자의 시선 및 제스쳐 중 적어도 어느 하나와 사용자 음성을 조합하여, 주행 영상에 나타나는 오브젝트 중 적어도 하나 이상의 오브젝트를 선택할 수 있다.

이어서, 프로세서(200)는 단계 S640을 통해 선택된 오브젝트에 대한 정보를 표시하도록 디스플레이부(170)를 제어할 수 있다(S650). 예를 들어, 선택된 오브젝트에 대한 정보에는, 선택된 오브젝트의 유형(예, 보행자, 차선, 타차량, 건물 등), 속도(예, 절대속도, 상대속도 등), 방향(예, 좌측 이동, 직진, 우측 이동, 후진), 크기, 차량(1)과의 거리, 차량(1)의 위치로부터 선택된 오브젝트까지의 경로 등의 다양한 정보들 중 적어도 어느 하나가 포함될 수 있다.

다음으로, 프로세서(200)는 선택된 오브젝트까지의 경로에 대하여 자율주행 모드에 진입하도록 하는 제어신호를 생성할 수 있다(S660). 차량(1)의 제어부는 자율주행 모드 진입 시, 운전자로부터의 조작이 인가되지 않더라도, 스스로 차선 변경, 앞차와의 거리 유지, 제동, 가속, 감속 등을 수행하면서 선택된 오브젝트를 목적지로 하여 탐색된 경로를 따라 주행할 수 있다. 한편, 차량(1)의 제어부는 자율주행 모드 진입한 상태에서, 차량(1)의 주행에 대한 운전자의 개입(예, 스티어링 휠, 브레이크 페달 등에 대한 수동 조작)이 감지되면, 자율주행 모드를 해제하여 차량(1)의 제어권을 운전자에게 반환할 수 있다.

이하 도 7 내지 도 15를 참조하여, 본 발명의 실시예에 따른 운전자 보조 장치(100)의 동작에 대하여 더욱 상세히 살펴보기로 한다.

도 7은 본 발명의 실시예에 따른 운전자 보조 장치(100)가 운전자 보조 모드에 진입하는 상황을 예시한다.

먼저 도 7a를 참조하면, 프로세서(200)는 차량(1)의 입력부 중 운전자 보조 모드에 대응하는 버튼(111)이 푸쉬되는 경우, 프로세서(200)는 운전자 보조 모드에 진입할 수 있다. 또한, 운전자 보조 모드에 대응하는 버튼(111)이 다시 푸쉬되는 경우, 프로세서(200)는 운전자 보조 모드를 해제할 수 있다. 도 7a에는 운전자 보조 모드가 푸쉬 방식의 버튼(111)을 통해 온오프(on/off)되는 것으로 도시되어 있으나, 입력부(110)에 대한 입력 방식은 이에 한정되는 것은 아니며, 터치 방식 등의 기타 방식 등을 통해 운전자 보조 모드에 진입할 수도 있다.

도 7b를 참조하면, 프로세서(200)는 오디오 입력부(112)를 통해 미리 정해진 단어에 대응하는 음성(예, "운전자 보조 모드 실행")이 입력되는 경우, 운전자 보조 모드에 진입할 수 있다. 이 경우, 운전자 보조 모드에 진입하도록 미리 정해진 단어는 사용자(500) 입력에 따라 변경될 수 있다.

도 7c를 참조하면, 프로세서(200)는 사용자(500)의 시선이 특정 영역 내에서 기 설정된 시간 이상 유지되거나, 운전자의 눈 깜빡임 패턴이 기 설정된 패턴에 대응하는 경우, 운전자 보조 모드에 진입할 수 있다. 예를 들어, 도시된 바와 같이, 프로세서(200)는 제2 카메라(22)에 의해 생성된 실내 영상을 기초로, 운전자의 시선(L1)을 검출하고, 검출된 시선(L1)이 프론트 윈도우(12A)의 임의의 영역 내에 기 설정된 시간 이상 머무르는 경우, 운전자 보조 모드에 진입할 수 있다.

도 8a 및 도 8b는 본 발명의 실시예에 따른 운전자 보조 장치(100)가 사용자(500)의 움직임을 기초로 주행 영상에 선택 영역을 설정하는 동작을 보여주는 도면이다. 설명의 편의를 위해, 제1 카메라(21)에 의해 생성되는 주행 영상은 사용자(500)가 프론트 윈도우(12A) 너머로 보이는 외부 전경과 동일한 것으로 가정한다.

먼저, 도 8a를 참조하면, 프로세서(200)는 제2 카메라(22)에 의해 생성된 실내 영상에 나타나는 사용자(500)의 움직임 중 시선(line of sight)(L2)을 검출할 수 있다. 구체적으로, 예를 들어, 프로세서(200)는 실내 영상에 나타나는 사용자(500)의 얼굴 중, 기 설정된 눈동자 패턴에 대응하는 영역을 사용자(500)의 눈으로 인식할 수 있다. 다른 예를 들어, 프로세서(200)는 제2 카메라(22)에 구비된 광원(미도시)이 사용자(500)의 얼굴로 빛(예, 적외선)을 방사하고, 방사된 빛이 사용자(500)의 각막에 의해 반사된 반사광의 위치를 동공의 위치와 비교한 결과를 기초로, 사용자(500)의 시선(L2)을 검출 및 추적할 수 있다.

프로세서(200)는 프론트 윈도우(12A)의 전체 영역 중 사용자(500)의 시선(L2)이 만나는 위치(P1)를 산출하고, 산출된 위치(P1)를 포함하는 소정 영역을 선택 영역(S1)으로 설정할 수 있다. 예컨대, 도시된 바와 같이, 선택 영역(S1)은 프론트 윈도우(12A)와 시선이 만나는 위치를 중심으로 하고, 소정의 반지름(r)을 가지는 원 내부 영역일 수 있다.

살펴보면, 프로세서(200)는 선택 영역(S1)에 나타나는 제1 건물(1004), 제1 타차량(1001) 및 제2 타차량(1002)만을 정보 제공의 대상으로 포함시키고, 주행 영상에는 나타나지만 선택 영역(S1)에는 나타나지 않는 제2 건물(1005), 제3 건물(1006) 및 제3 차량(1003)은 정보 제공의 대상에서 제외시킬 수 있다.

다음으로, 도 8b를 참조하면, 프로세서(200)는 제2 카메라(22)에 의해 생성된 실내 영상에 나타나는 사용자(500)의 움직임 중 제스쳐를 검출할 수 있다. 구체적으로, 예를 들어, 프로세서(200)는 실내 영상에 나타나는 사용자(500)의 손가락을 제스쳐로 인식하고, 인식된 손가락이 향하는 방향의 연장선(L3)과 프론트 윈도우(12A)가 만나는 위치(P2)를 산출하며, 산출된 위치(P2)를 포함하는 소정 영역을 선택 영역(S2)으로 설정할 수 있다. 다른 예를 들어, 제2 카메라(22)에 구비된 광원(미도시)이 사용자(500)를 향하여 빛(예, 적외선)을 방사하고, 방사된 빛이 사용자(500)에 의해 반사된 반사광을 제2 카메라(22)가 수신하여 실내 영상(예, 적외선 영상)을 생성하면, 프로세서(200)는 실내 영상 중 기 설정된 손가락 패턴에 대응하는 영역을 사용자(500)의 손가락으로 인식하고, 인식된 손가락의 향하는 방향을 연장하는 경우 프론트 윈도우(12A)의 어느 지점과 만나게 되는지 산출할 수 있다. 프로세서(200)는 프론트 윈도우(12A)의 전체 영역 중 사용자(500)의 제스쳐가 가리키는 위치(P2)를 중심으로 하고, 소정의 반지름(r)을 가지는 원 내부 영역을 선택 영역(S2)으로 설정할 수 있다.

살펴보면, 도 8a에 도시된 바와는 달리, 프로세서(200)는 선택 영역(S2)에 나타나는 제2 건물(1005), 제2 타차량(1002) 및 제3 타차량(1003)만을 정보 제공의 대상으로 포함시키고, 주행 영상에는 나타나지만 선택 영역(S2)에는 나타나지 않는 제1 차량(1001), 제1 건물(1004) 및 제3 차량(1003)은 정보 제공의 대상에서 제외시킬 수 있다.

즉, 프로세서(200)는 선택 영역(S1, S2)에 나타나는 오브젝트만을 정보 제공의 대상으로 처리함으로써, 사용자(500)가 의도한 오브젝트에 관한 정보만을 선별적으로 제공할 수 있음과 아울러 오브젝트 선택을 위한 연산량을 저감할 수 있다는 장점이 있다.

한편, 도시된 바와 가팅, 프로세서(200)는 선택 영역(S1, S2)의 설정을 완료 시, 설정된 선택 영역(S1, S2)을 가리키는 그래픽 객체를 프론트 윈도우(12A)에 투사하도록 디스플레이부(180)를 제어할 수 있다.

도 9는 본 발명의 실시예에 따른 운전자 보조 장치(100)가 사용자 음성을 기초로, 주행 영상에 나타나는 어느 한 오브젝트를 선택하는 동작의 일 예를 보여주는 도면이다. 설명의 편의를 위해, 도 8a에 도시된 선택 영역(S1)이 설정된 후 입력되는 사용자 음성을 기초로, 오브젝트를 선택하는 것으로 가정한다.

도 9를 참조하면, 프로세서(200)는 오디오 입력부(112)가 입력받은 사용자 음성에 대응하는 전기신호를 기초로, 음성 인식을 수행할 수 있다. 예컨대, 프로세서(200)는 사용자 음성을 이에 대응하는 텍스트로 변환할 수 있다. 프로세서(200)는 음성의 변환을 통해 획득한 텍스트에 대응하는 오브젝트가 선택 영역에 나타나는지 확인할 수 있다. 만약, 텍스트에 대응하는 오브젝트가 선택 영역에 나타나지 않는 경우, 프로세서(200)는 이를 알리는 정보를 표시하도록 디스플레이부(170)를 제어할 수 있다.

한편, 텍스트에 대응하는 오브젝트가 선택 영역에 나타나는 경우, 프로세서(200)는 선택 영역에 나타나는 나머지 오브젝트를 텍스트에 대응하는 오브젝트와 구별되도록 하기 위한 정보를 표시하도록 디스플레이부(170)를 제어할 수 있다.

도시된 바와 같이, 사용자 음성의 인식 결과 "건물"에 해당하는 텍스트가 획득된 경우, 프로세서(200)는 선택 영역에 나타나는 오브젝트 중 "건물"에 대응하는 오브젝트(1004)를 선택할 수 있다. 또한, 프로세서(200)는 프론트 윈도우(12A)의 전체 영역 중 "건물"에 대응하는 오브젝트(1004)가 나타나는 위치를 가리키는 소정의 그래픽 객체(1101)를 투사하도록 디스플레이부(170)를 제어할 수 있다. 이에 따라, 사용자(500)는 자신의 의도에 맞는 오브젝트가 선택되었는지 여부를 직관적으로 인지할 수 있다.

도 10a 및 도 10b는 본 발명의 실시예에 따른 운전자 보조 장치(100)가 사용자 음성을 기초로, 주행 영상에 나타나는 어느 한 오브젝트를 선택하는 동작의 다른 예를 보여주는 도면이다. 설명의 편의를 위해, 도 8a에 도시된 선택 영역(S1)이 설정된 후 입력되는 사용자 음성을 기초로, 오브젝트를 선택하는 것으로 가정한다.

우선, 도 10a 및 도 10b에 따르면, 오디오 입력부(112)는 사용자(500)로부터 "차량"이라는 음성을 입력받을 수 있다. 프로세서(200)는 사용자 음성인 "차량"에 대응하는 전기신호를 기초로, 사용자 음성에 대응하는 텍스트인 "차량"임을 인식할 수 있다. 이에, 프로세서(200)는 선택 영역(S1)에 나타나는 오브젝트들 중, 사용자 음성에 대응하는 텍스트인 "차량"에 대응하는 오브젝트(1001, 1002) 중 적어도 어느 하나를 선택할 수 있다.

만약, 도시된 바와 같이 사용자 음성에 대응하는 텍스트인 "차량"에 대응하는 오브젝트가 둘 이상(1001, 1002)인 경우, 프로세서(200)는 사용자 음성의 길이를 기초로, 어느 한 오브젝트만을 선택할 수 있다.

도 10a와 도 10b를 비교하면, 사용자 음성에 대응하는 텍스트는 "차량"으로 동일하지만, 도 10a에 따른 사용자 음성의 길이는 도 10b에 따른 사용자 음성의 길이에 비하여 상대적으로 짧다. 만약, 사용자 음성의 길이 및 이에 대응하는 거리가 비례적인 관계에 있는 경우, 프로세서(200)는 사용자 음성의 길이가 길어질수록, 차량(1)으로부터 상대적으로 더 먼 거리에 위치하는 오브젝트를 선택할 수 있다.

구체적으로, 도 10a를 참조하면, 제1 타차량(1001)은 제2 타차량(1002)보다 차량(1)으로부터 더 먼 거리에 위치하고 있으며, 사용자 음성의 길이는 기준시간보다 짧다고 가정할 때, 프로세서(200)는 제1 타차량(1001)과 제2 타차량(1002) 중 차량(1)으로부터 상대적으로 가까운 거리에 위치하는 제2 타차량(1002)을 선택할 수 있다. 이 경우, 프로세서(200)는 둘 이상의 오브젝트들(1001, 1002) 중 어느 오브젝트가 선택되었는지를 안내하기 위한 그래픽 객체를 표시하도록 디스플레이부(170)를 제어할 수 있다. 예를 들어, 도시된 바와 같이, 프로세서(200)는 프론트 윈도우(12A)의 전체 영역 중 제2 타차량(1002)이 나타나는 위치를 가리키는 소정의 그래픽 객체(1102)를 투사하도록 디스플레이부(170)를 제어할 수 있다.

다음으로, 도 10b를 참조하면, 도 10a와 비교할 때, 사용자 음성의 길이는 기준시간보다 긴 것으로 가정하면, 프로세서(200)는 제1 타차량(1001)과 제2 타차량(1002) 중 차량(1)으로부터 상대적으로 먼 거리에 위치하는 제1 타차량(1001)을 선택할 수 있다. 이 경우, 프로세서(200)는 둘 이상의 오브젝트들(1001, 1002) 중 어느 오브젝트가 선택되었는지를 안내하기 위한 그래픽 객체를 표시하도록 디스플레이부(170)를 제어할 수 있다. 예를 들어, 도시된 바와 같이, 프로세서(200)는 프론트 윈도우(12A)의 전체 영역 중 제1 타차량(1001)이 나타나는 위치를 가리키는 소정의 그래픽 객체(1103)를 투사하도록 디스플레이부(170)를 제어할 수 있다.

도 11a 및 도 11b는 본 발명의 실시예에 따른 운전자 보조 장치(100)가 사용자 음성을 기초로, 주행 영상에 나타나는 어느 한 오브젝트를 선택하는 동작의 다른 예를 보여주는 도면이다. 설명의 편의를 위해, 선택 영역(미도시)에는 차량(1)으로부터 동일한 거리에 좌우로 위치하는 2대의 타차량(1007, 1008)이 나타나는 것으로 가정한다.

프로세서(200)는 선택 영역에 차량(1)으로부터의 거리 및 유형이 서로 동일한 오브젝트(1007, 1008)가 둘 이상 나타나는 경우, 방향을 가리키는 사용자 음성을 기초로, 어느 한 오브젝트를 선택할 수 있다.

도 11a를 참조하면, 프로세서(200)는 오디오 입력부(112)를 통해 입력된 사용자 음성에 대한 음성 인식 결과, 해당 음성이 방향과 관련된 경우, 음성이 가리키는 방향에 대응하는 오브젝트를 선택할 수 있다. 즉, 도시된 바와 같이, 사용자 음성이 "왼쪽"이면, 프로세서(200)는 제4 타차량(1007) 및 제5 타차량(1008) 중 상대적으로 좌측에 위치하는 제4 타차량(1007)을 선택할 수 있다. 이 경우, 프로세서(200)는 둘 이상의 오브젝트들(1007, 1008) 중 어느 오브젝트가 선택되었는지를 안내하기 위한 그래픽 객체를 표시하도록 디스플레이부(170)를 제어할 수 있다. 예를 들어, 도시된 바와 같이, 프로세서(200)는 프론트 윈도우(12A)의 전체 영역 중 제4 타차량(1007)이 나타나는 위치를 가리키는 소정의 그래픽 객체(1104)를 투사하도록 디스플레이부(170)를 제어할 수 있다.

반면, 도 11b를 참조하면, 프로세서(200)는 오디오 입력부(112)를 통해 입력된 사용자 음성에 대한 음성 인식 결과, 도시된 바와 같이, 사용자 음성이 "오른쪽"이면, 프로세서(200)는 제4 타차량(1007) 및 제5 타차량(1008) 중 상대적으로 우측에 위치하는 제5 타차량(1008)을 선택할 수 있다. 이 경우, 프로세서(200)는 둘 이상의 오브젝트들(1007, 1008) 중 어느 오브젝트가 선택되었는지를 안내하기 위한 그래픽 객체를 표시하도록 디스플레이부(170)를 제어할 수 있다. 예를 들어, 도시된 바와 같이, 프로세서(200)는 프론트 윈도우(12A)의 전체 영역 중 제5 타차량(1008)이 나타나는 위치를 가리키는 소정의 그래픽 객체(1105)를 투사하도록 디스플레이부(170)를 제어할 수 있다.

물론, 프로세서(200)는 주행 영상에는 나타나지만 선택 영역에는 나타나지 않는 오브젝트들(1009, 1010, 1011)들을 사용자 음성을 기초로한 선택 대상에서 제외시킬 수 있다.

도 12a 및 도 12b는 본 발명의 실시예에 따른 운전자 보조 장치(100)가 사용자 음성을 기초로, 주행 영상에 나타나는 어느 한 오브젝트를 선택하는 동작의 다른 예를 보여주는 도면이다. 설명의 편의를 위해, 도 8a에 도시된 선택 영역(S1)이 설정된 후 입력되는 사용자 음성을 기초로, 오브젝트를 선택하는 것으로 가정한다.

프로세서(200)는 선택 영역(S1)에 차량(1)으로부터의 거리가 서로 다른 오브젝트가 둘 이상 나타나는 경우, 거리를 가리키는 사용자 음성을 기초로, 어느 한 오브젝트를 선택할 수 있다.

프로세서(200)는 오디오 입력부(112)를 통해 입력된 사용자 음성에 대한 음성 인식 결과, 해당 음성이 거리와 관련된 경우, 음성이 가리키는 거리에 대응하는 오브젝트를 선택할 수 있다. 거리와 관련된 음성이란, 예를 들어 "앞”, "뒤", "더 먼 것", "더 가까운 것", "5m", "3~10m 사이" 등 거리와 관련된 의미 내용을 갖는 음성을 의미할 수 있다.

도 12a를 참조하면, 사용자 음성이 "가까운 것"이면, 프로세서(200)는 제1 타차량(1001), 제2 타차량(1002) 및 제1 건물(1004) 중 차량(1)으로부터 가장 가까운 거리에 위치하는 제2 타차량(1002)을 선택할 수 있다. 이 경우, 프로세서(200)는 둘 이상의 오브젝트들 중 어느 오브젝트가 선택되었는지를 안내하기 위한 그래픽 객체를 표시하도록 디스플레이부(170)를 제어할 수 있다. 예를 들어, 도시된 바와 같이, 프로세서(200)는 프론트 윈도우(12A)의 전체 영역 중 제2 타차량(1002)이 나타나는 위치를 가리키는 소정의 그래픽 객체(1106)를 투사하도록 디스플레이부(170)를 제어할 수 있다.

반면, 도 12b를 참조하면, 프로세서(200)는 오디오 입력부(112)를 통해 입력된 사용자 음성에 대한 음성 인식 결과, 도시된 바와 같이, 사용자 음성이 "중간 위치"이면, 프로세서(200)는 제1 타차량(1001), 제2 타차량(1002) 및 제1 건물(1004) 중 가장 가까운 위치의 제2 타차량(1002) 및 가장 먼 위치의 제1 건물(1004)을 제외한 제1 타차량(1001)을 선택할 수 있다. 이 경우, 프로세서(200)는 둘 이상의 오브젝트들 중 어느 오브젝트가 선택되었는지를 안내하기 위한 그래픽 객체를 표시하도록 디스플레이부(170)를 제어할 수 있다. 예를 들어, 도시된 바와 같이, 프로세서(200)는 프론트 윈도우(12A)의 전체 영역 중 제1 타차량(1001)이 나타나는 위치를 가리키는 소정의 그래픽 객체(1107)를 투사하도록 디스플레이부(170)를 제어할 수 있다.

도 13a 및 도 13b는 본 발명의 실시예에 따른 운전자 보조 장치(100)가 사용자 음성을 기초로, 주행 영상에 나타나는 어느 한 오브젝트를 선택하는 동작의 다른 예를 보여주는 도면이다. 설명의 편의를 위해, 도 8a에 도시된 선택 영역(S1)이 설정된 후 입력되는 사용자 음성을 기초로, 오브젝트를 선택하는 것으로 가정한다.

프로세서(200)는 선택 영역에 차량(1)으로부터의 거리가 서로 다른 오브젝트가 둘 이상 나타나는 경우, 동일한 단어가 반복되는 사용자 음성을 기초로, 어느 한 오브젝트를 선택할 수 있다. 즉, 프로세서(200)는 사용자 음성에서 특정 단어가 반복되는 횟수를 기초로, 선택 영역에 나타나는 복수개의 오브젝트 중 어느 하나를 선택할 수 있다. 이때, 프로세서(200)는 사용자 음성에 대한 음성 인식을 통해 획득한 텍스트 중 미리 정해진 단어가 반복되는 횟수만을 오브젝트 선택 시 활용할 수 있다. 즉, 프로세서(200)는 사용자 음성에서 특정 단어가 반복되더라도, 해당 단어가 미리 정해진 단어가 아닌 경우에는 오브젝트 선택에 활용하지 않을 수 있다. 이하에서는, 오브젝트 선택을 위해 미리 정해진 단어가 "다음"인 것으로 가정한다.

도 13a를 참조하면, 사용자 음성에 "다음"이 1회만 발음되면, 프로세서(200)는 제1 타차량(1001), 제2 타차량(1002) 및 제1 건물(1004) 중 차량(1)으로부터 가장 가까운 거리에 위치하는 제2 타차량(1002)을 선택할 수 있다. 이 경우, 프로세서(200)는 둘 이상의 오브젝트들 중 어느 오브젝트가 선택되었는지를 안내하기 위한 그래픽 객체를 표시하도록 디스플레이부(170)를 제어할 수 있다. 예를 들어, 도시된 바와 같이, 프로세서(200)는 프론트 윈도우(12A)의 전체 영역 중 제2 타차량(1002)이 나타나는 위치를 가리키는 소정의 그래픽 객체(1108)를 투사하도록 디스플레이부(170)를 제어할 수 있다.

반면, 도 13b를 참조하면, 프로세서(200)는 오디오 입력부(112)를 통해 입력된 사용자 음성에 대한 음성 인식 결과, 도시된 바와 같이, 사용자 음성에 "다음"이 2회 반복되면, 프로세서(200)는 제1 타차량(1001), 제2 타차량(1002) 및 제1 건물(1004) 중 차량(1)으로부터 두번째로 가까운 위치의 제1 타차량(1001)을 선택할 수 있다. 도시하지는 않았으나, 사용자 음성에 "다음"이 3회 반복되면, 제1 타차량(1001), 제2 타차량(1002) 및 제1 건물(1004) 중 차량(1)으로부터 가장 먼 위치의 제1 건물(1004)을 선택할 수 있음은 물론이다. 또한, 사용자 음성에 "다음"이 4회 반복되면, 제1 타차량(1001), 제2 타차량(1002) 및 제1 건물(1004) 중 차량(1)으로부터 가장 가까운 위치의 제2 타차량(1002)을 재선택할 수도 있다.

이 경우, 프로세서(200)는 둘 이상의 오브젝트들 중 어느 오브젝트가 선택되었는지를 안내하기 위한 그래픽 객체를 표시하도록 디스플레이부(170)를 제어할 수 있다. 예를 들어, 도시된 바와 같이, 프로세서(200)는 프론트 윈도우(12A)의 전체 영역 중 제1 타차량(1001)이 나타나는 위치를 가리키는 소정의 그래픽 객체(1109)를 투사하도록 디스플레이부(170)를 제어할 수 있다.

도 14a 및 도 14b는 본 발명의 실시예에 따라 선택된 오브젝트에 대한 정보를 제공하는 동작의 일 예를 보여주는 도면이다.

도 14a는 도 10a와 같이 제1 타차량(1001)이 선택된 경우에 제공되는 정보를 예시한다. 도 14a를 참조하면, 프로세서(200)는 제2 타차량(1002)에 관한 정보(1201)를 프론트 윈도우(12A)의 일 영역에 표시하도록 디스플레이부(170)를 제어할 수 있다.

도시된 바와 같이, 제2 타차량(1002)에 관한 정보(1201)에는 차량 종류인 'SUV', 제1 타차량(1001)의 속도인 '70km/h', 차량(1)과의 거리인 '11m' 등의 다양한 정보를 포함할 수 있다. 프로세서(200)의 제어에 따라 디스플레이부(170)를 통해 표시되는 정보는, 제1 카메라(21)에 의해 생성된 주행 영상을 분석하여 획득한 것이거나, 차량(1)의 통신부(120)가 제1 타차량(1001)과의 V2V(Vehicle-To-Vehicle)를 통해 수신한 것일 수 있다.

한편, 도 14b는 도 9와 같이 제1 건물(1004)이 선택된 경우에 제공되는 정보를 예시한다. 도 14b를 참조하면, 프로세서(200)는 제1 건물(1004)에 관한 정보(1202)를 프론트 윈도우(12A)의 일 영역에 표시하도록 디스플레이부(170)를 제어할 수 있다.

도시된 바와 같이, 제1 건물(1004)에 관한 정보(1202)에는 명칭 'LG R&D 센터', 층수인 '10층', 남은 거리인 '350m' 등의 다양한 정보를 포함할 수 있다. 프로세서(200)의 제어에 따라 디스플레이부(170)를 통해 표시되는 정보는, 제1 카메라(21)에 의해 생성된 주행 영상을 분석하여 획득한 것이거나, 차량(1)의 메모리(130)에 저장된 맵 정보로부터 추출한 것이거나, 차량(1)의 통신부(120)가 외부 장치(예, 사용자의 휴대 단말기, 교통정보 서버)를 통해 수신한 것일 수 있다. 예컨대, 프로세서(200)는 맵 정보에 포함된 전체 도로 및 시설 정보 중, 선택된 오브젝트인 제1 건물(1004)에 대응하는 정보를 추출하여, 이를 사용자가 인지할 수 있는 형태로 출력할 수 있다.

한편, 도 14a 및 도 14b에서는 선택된 오브젝트에 관한 정보가 디스플레이부(170)를 통해 시각적으로만 제공되는 것으로 도시되어 있으나, 이에 한정되는 것은 아니다. 예를 들어, 선택된 오브젝트에 관한 정보는 스피커 등을 통해 음성으로 제공될 수 있다. 다른 예를 들어, 선택된 오브젝트에 관한 정보는 차량(1)의 통신부(120)를 통해 사용자의 휴대 단말기로 전송될 수 있으며, 이 경우 사용자는 휴대 단말기의 화면 등을 통해 해당 정보를 제공받을 수 있다.

도 15는 본 발명의 실시예에 따라 선택된 오브젝트에 대한 정보를 제공하는 동작의 다른 예를 보여주는 도면이다. 설명의 편의를 위해, 디스플레이부(170)는 HUD이며, HUD(170)가 제5 건물(1012)이 선택된 상태임을 안내하는 그래픽 객체(1110)를 프론트 윈도우(12A) 상에 투사하는 상황을 예시한다.

도 15를 참조하면, 전술한 바와 같이, 프로세서(200)는 선택된 오브젝트(1012)에 관한 정보(1203) 및 선택된 오브젝트(1012)까지의 경로를 안내하는 그래픽 객체(1204)를 표시하도록 디스플레이부(170)를 제어할 수 있다.

구체적으로, 선택된 오브젝트(1012)에 관한 정보(1203)에는 남은 거리인 '163m', 선택된 오브젝트(1012)까지의 경로에 대한 보조 메시지인 '80m 직진 후 좌회전 하세요' 등이 포함될 수 있다. 비록 도시하지는 않았으나, 프로세서(200)는 선택된 오브젝트(1012)까지의 남은 거리에 따라 그래픽 객체(1204)의 색상, 굵기 등을 변경하도록 디스플레이부(170)를 제어할 수 있다. 예컨대, 선택된 오브젝트(1012)까지의 남은 거리가 300m 이상인 경우 그래픽 객체(1204)를 청색으로 표시하다가, 남은 거리가 300m 미만이 되면, 그래픽 객체(1204)를 적색으로 표시할 수 있다. 이에 따라, 사용자가 선택된 오브젝트(1012)를 지나지치 않도록 보조할 수 있다.

또한, 프로세서(200)는 자동 또는 사용자 입력에 따라, 차량의 현 위치로부터 상기 선택된 오브젝트인 제5 건물(1012)까지의 경로에 대한 자율주행 모드에 진입하도록 하는 제어신호를 생성할 수 있다. 이에 따라, 차량(1)의 구동부(160)는 프로세서(200)로부터 제공되는 제어신호를 기초로, 차량(1)에 대한 가속 제어, 감속 제어, 조항 제어 등을 수행하여 제5 건물(1012)까지 주행할 수 있다.

한편, 본 발명의 운전자 보조 장치(100) 및 그 제어방법은 차량 등에 구비된 프로세서(200)가 읽을 수 있는 기록매체에 프로세서(200)가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서(200)가 읽을 수 있는 기록매체는 프로세서(200)에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서(200)가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서(200)가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서(200)가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

1: 차량
100: 운전자 보조 장치

Claims (15)

1. 디스플레이부;
   차량의 전방에 대한 주행 영상을 생성하는 제1 카메라;
   상기 차량의 실내 영상을 생성하는 제2 카메라;
   사용자 음성을 수신하는 오디오 입력부; 및
   운전자 보조 모드 진입 시, 상기 실내 영상 및 상기 사용자 음성을 기초로, 상기 주행 영상에 나타나는 적어도 하나 이상의 오브젝트를 선택하고,
   상기 선택된 오브젝트에 대한 정보를 표시하도록 상기 디스플레이부를 제어하는 프로세서;
   를 포함하는, 운전자 보조 장치.
2. 제1항에 있어서,
   상기 프로세서는,
   상기 실내 영상으로부터 상기 사용자의 시선 및 제스쳐 중 적어도 어느 하나를 검출하는, 운전자 보조 장치.
3. 제2항에 있어서,
   상기 프로세서는,
   상기 사용자의 시선 및 제스쳐 중 적어도 어느 하나를 기초로, 상기 주행 영상에 선택 영역을 설정하고,
   상기 사용자 음성을 기초로, 상기 선택 영역에 나타나는 적어도 하나 이상의 오브젝트 중 어느 하나를 선택하며,
   상기 선택된 오브젝트에 대한 정보를 표시하도록 상기 디스플레이부를 제어하는, 운전자 보조 장치
4. 제3항에 있어서,
   상기 선택 영역은,
   상기 주행 영상의 전체 영역 중, 상기 사용자의 시선 또는 제스쳐에 대응하는 지점을 포함하는 영역인, 운전자 보조 장치.
5. 제1항에 있어서,
   상기 디스플레이부는,
   상기 선택된 오브젝트에 대한 정보를 상기 차량의 윈도우에 투사하는 HUD(Head Up Display)인, 운전자 보조 장치.
6. 제3항에 있어서,
   상기 프로세서는,
   상기 사용자 음성을 텍스트로 변환하고,
   상기 선택 영역에 포함된 적어도 하나 이상의 오브젝트 중 상기 텍스트에 대응하는 오브젝트를 선택하는, 운전자 보조 장치.
7. 제6항에 있어서,
   성기 선택된 오브젝트는,
   상기 차량의 통신부에 의해 수신된 주변 시설 정보 중, 상기 선택 영역에 포함되고 상기 텍스트에 대응하는 주변 시설인, 운전자 보조 장치.
8. 제3항에 있어서,
   상기 프로세서는,
   상기 사용자 음성을 텍스트로 변환하고,
   상기 사용자 음성의 길이를 측정하며,
   상기 선택 영역에 포함된 적어도 하나 이상의 오브젝트 중 상기 텍스트 및 상기 사용자 음성의 길이에 대응하는 오브젝트를 선택하는, 운전자 보조 장치.
9. 제8항에 있어서,
   상기 프로세서는,
   상기 텍스트가 미리 정해진 문자열인 경우에 한하여, 상기 사용자 음성의 길이를 측정하는, 운전자 보조 장치.
10. 제3항에 있어서,
    상기 프로세서는,
    상기 사용자 음성을 텍스트로 변환하고,
    상기 텍스트 중 미리 정해진 문자열이 반복되는 속도 및 횟수 중 적어도 어느 하나를 기초로, 상기 선택 영역에 포함된 적어도 하나 이상의 오브젝트 중 상기 텍스트에 대응하는 오브젝트를 선택하는, 운전자 보조 장치.
11. 제1항에 있어서,
    상기 프로세서는,
    상기 주행 영상에 나타나는 오브젝트 중, 상기 선택된 오브젝트를 나머지 오브젝트와 구별하여 표시하도록 상기 디스플레이부를 제어하는, 운전자 보조 장치.
12. 제1항에 있어서,
    상기 선택된 오브젝트에 대한 정보는,
    상기 선택된 오브젝트의 유형, 속도, 방향, 상기 차량과의 거리 및 상기 차량의 위치로부터 상기 선택된 오브젝트까지의 경로 중 적어도 어느 하나를 포함하는, 운전자 보조 장치.
13. 제1항에 있어서,
    상기 프로세서는,
    상기 차량의 위치로부터 상기 선택된 오브젝트까지의 경로를 안내하는 그래픽 객체를 표시하도록 상기 디스플레이부를 제어하는, 운전자 보조 장치.
14. 제1항에 있어서,
    상기 프로세서는,
    상기 차량의 위치로부터 상기 선택된 오브젝트까지의 경로에 대한 자율주행 모드에 진입하도록 하는 제어신호를 생성하는, 운전자 보조 장치.
15. 제1항에 있어서,
    상기 프로세서는,
    미리 정해진 입력을 수신 시, 상기 운전자 보조 모드에 진입하는, 운전자 보조 장치.
    

Images