KR102548369B1 - 운전 보조 장치 및 방법 - Google Patents

Abstract

본 발명은 운전 보조 장치 및 방법에 관한 것으로서, 본 발명의 일 실시예에 따른, 복수개의 주변 장치들이 구비된 차량에 장착되는 운전 지원 장치는, 상기 차량에 탑승한 사용자의 음성 입력에 대응하는 제1 제어 명령을 생성하는 음성 인식부, 상기 사용자의 제스처 입력에 대응하는 제2 제어 명령을 생성하는 모션 인식부 및 상기 음성 인식부 및 상기 모션 인식부와 연결되는 통합 처리부를 포함하고, 상기 통합 처리부는 상기 제1 제어 명령 및 상기 제2 제어 명령을 기초로, 상기 차량에서 제공 가능한 복수의 기능들 중 어느 한 특정 기능에 대한 통합 제어 명령을 생성하고, 상기 복수개의 주변 장치 중, 상기 특정 기능을 실행하는 적어도 하나의 주변 장치로 상기 통합 제어 명령을 제공한다.

Description

운전 보조 장치 및 방법{APPARATUS AND METHOD FOR ASSISTING DRIVER}

본 발명은 운전 보조 장치 및 방법에 관한 것으로서, 보다 상세하게는 멀티모달 인터페이스(multimodal interface)를 이용하여, 차량에 탑승한 사용자로부터의 입력에 대응하는 기능을 실행하는 운전 보조 장치 및 그 방법에 관한 것이다.

차량이란, 어느 한 장소로부터 다른 장소까지 사람이나 화물 등을 운송하는 장치를 말한다. 최근, 사용자의 편의를 증대시키기 위한 기술 개발의 일환으로, 운전 보조 장치가 개발되어 상용화 단계에 이르렀다.

운전 보조 장치가 올바르게 동작하기 위해서는, 사용자가 실행시키고자 하는 기능을 정확히 판단하는 것이 무엇보다 중요하다.

이를 위해, 운전 보조 장치는 차량 또는 자체적으로 구비된 입력 수단을 통해 사용자 입력을 수신해야 한다. 예를 들어, 차량의 스티어링 휠 등에는 차량에서 실행 가능한 여러 기능들 각각에 대응하는 복수의 버튼들이 구비되고, 사용자는 이러한 복수의 버튼들을 클릭하는 행동을 통해, 자신이 원하는 기능을 선택 및 실행시킬 수 있다.

한편, 운행 중 버튼의 클릭 등과 같은 조작 행위는, 운전자의 시선을 분산시켜 사고 위험성을 높일 수 있다는 문제가 있다. 이러한 문제를 어느 정도 해소시킬 수 있는 방안으로 음성 인식 기술이 존재한다. 운전자는 전방을 주시하면서도 음성 인식 기술을 통해 차량의 여러 기능을 제어하는 것이 가능해짐에 따라, 그 활용도가 점차 증대되고 있다.

하지만, 기존의 사용자와 차량 간의 인터페이스 방식은, 몇 가지 문제점을 지니고 있다. 예컨대, 사용자의 음성이 길어질수록, 음성 인식의 정확성이 떨어지는 경향이 있다. 또한, 음성 인식을 통한 특정 기능의 제어 중에는, 다른 형태의 입력(예, 제스처)이 고려되지 않거나, 제스처 인식을 통한 특정 기능의 제어 중에는, 다른 형태의 입력(예, 음성)이 고려되지 않는다는 한계가 있다. 즉, 둘 이상의 서로 다른 비접촉식 입력이 동시에 고려되는 기술이 제공되지 않아, 차량에서 사용 가능한 특정 기능을 선택하거나 실행시키는 데에 많은 시간이 소요되고 있다.

본 발명은 전술한 문제점을 해결하기 위해서 안출된 것으로서, 본 발명은 차량에 탑승한 사용자의 음성 입력 및 제스처 입력을 상호 연관시키는 멀티모달 인터페이스 방식을 이용하여, 사용자의 의도에 대응하는 기능을 신속하고 정확하게 실행할 수 있는 운전 보조 장치 및 방법을 제공하는 것을 목적으로 한다.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 복수개의 주변 장치들이 구비된 차량에 장착되는 운전 지원 장치에 있어서, 상기 차량에 탑승한 사용자의 음성 입력에 대응하는 제1 제어 명령을 생성하는 음성 인식부, 상기 사용자의 제스처 입력에 대응하는 제2 제어 명령을 생성하는 모션 인식부 및 상기 음성 인식부 및 상기 모션 인식부와 연결되는 통합 처리부를 포함하고, 상기 통합 처리부는 상기 제1 제어 명령 및 상기 제2 제어 명령을 기초로, 상기 차량에서 제공 가능한 복수의 기능들 중 어느 한 특정 기능에 대한 통합 제어 명령을 생성하고, 상기 복수개의 주변 장치 중, 상기 특정 기능을 실행하는 적어도 하나의 주변 장치로 상기 통합 제어 명령을 제공하고, 제1 제어 명령의 생성 시점과 상기 제2 제어 명령의 생성 시점 사이의 간격이 기 설정된 제한 시간 내인 경우, 상기 제1 제어 명령 및 상기 제2 제어 명령을 기초로 상기 통합 제어 명령을 출력하고, 상기 제1 제어 명령 및 제2 제어 명령 중 어느 하나는 상기 차량에서 제공 가능한 복수의 기능들 중 어느 한 특정 기능의 선택에 대한 것이고, 나머지 하나는 선택된 상기 특정 기능의 세부 파라미터 선택에 대한 것인 운전 지원 장치가 제공된다.

또한, 상기 통합 처리부는, 상기 제1 제어 명령 및 상기 제2 제어 명령 중 어느 하나를 기초로, 상기 복수의 기능들 중 상기 특정 기능을 선택하고, 상기 제1 제어 명령 및 상기 제2 제어 명령 중 다른 하나를 기초로, 상기 특정 기능의 파라미터를 결정하며, 상기 통합 제어 명령은 상기 복수개의 주변 장치들 중 적어도 하나가 상기 특정 기능을 상기 파라미터에 따라 실행하도록 지시하는 명령일 수 있다.

또한, 상기 통합 처리부는, 상기 제2 제어 명령을 기초로, 상기 제스처가 취해진 영역을 판단하고, 상기 제스처가 취해진 영역이 미리 정해진 3차원 영역 내인 경우, 상기 통합 제어 명령을 생성할 수 있다.

또한, 상기 통합 처리부는, 상기 제2 제어 명령을 기초로, 상기 제스처의 손가락 개수를 판단하고, 상기 손가락 개수에 따라 상기 특정 기능의 파라미터를 결정할 수 있다.

또한, 상기 통합 처리부는, 상기 제2 제어 명령을 기초로, 상기 제스처의 이동 방향 및 이동 거리를 판단하고, 상기 제스처의 이동 방향 및 이동 거리에 따라 상기 특정 기능의 파라미터를 결정할 수 있다.

또한, 상기 통합 처리부는, 상기 제2 제어 명령을 기초로, 상기 제스처의 모양을 판단하고, 상기 제스처의 모양에 따라 상기 특정 기능의 파라미터를 결정할 수 있다.

삭제

또한, 상기 복수개의 주변 장치들은 멀티미디어 장치를 포함하고, 상기 통합 처리부는, 상기 통합 제어 명령에 따른 상기 특정 기능의 실행 결과 정보를 상기 멀티미디어 장치에 구비된 디스플레이에 표시할 수 있다.

본 발명에 따른 운전 보조 장치 및 그 제어 방법의 효과에 대해 설명하면 다음과 같다.

본 발명의 실시예들 중 적어도 하나에 의하면, 차량에 탑승한 사용자의 음성 입력 및 제스처 입력을 상호 연관시키는 멀티모달 인터페이스 방식을 이용하여, 사용자의 의도에 대응하는 기능을 신속하고 정확하게 실행할 수 있다는 장점이 있다.

특히, 음성 및 제스처 중 어느 하나의 형태의 입력만을 이용하여 차량의 기능을 실행시키는 경우에 비하여, 인식 결과의 오류를 저감하고 보다 빠른 피드백을 사용자에게 제공할 수 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 운전 보조 장치의 블록 다이어그램을 보여준다.
도 2는 차량에 구비되는 주변 장치와 관련된 예시적인 기능들을 보여주며, 도 3은 본 발명과 관련된 차량의 예시적인 실내뷰를 보여준다.
도 4는 본 발명의 일 실시예에 따른 운전 보조 장치에 의한 예시적인 음성 인식 프로세스를 보여준다.
도 5a 및 도 5b는 본 발명의 일 실시예에 따른 운전 보조 장치가 제스처 입력을 수신하는 동작을 설명하는 데에 참조되는 도면이다.
도 6은 본 발명의 일 실시예에 따른 운전 보조 장치가 제스처 입력에 대응하는 제어 명령을 생성하는 예시적인 프로세스를 보여준다.
도 7a 내지 도 7e는 모션 인식부가 제스처 입력을 인식하는 예시적인 동작을 설명하는 데에 참조되는 도면이다.
도 8은 본 발명의 일 실시예에 따른 운전 보조 장치에 의해 수행되는 예시적인 프로세스를 보여준다.
도 9는 본 발명의 일 실시예에 따른 운전 보조 장치가 음성 입력 및 제스처 입력에 따라 차량의 특정 기능을 제어하는 방법의 예시적인 구현예를 보여준다.
도 10은 본 발명의 일 실시예에 따른 운전 보조 장치가 음성 입력 및 제스처 입력에 따라 차량의 특정 기능을 제어하는 방법의 예시적인 구현예를 보여준다.
도 11은 본 발명의 일 실시예에 따른 운전 보조 장치가 음성 입력 및 제스처 입력에 따라 차량의 특정 기능을 제어하는 방법의 예시적인 구현예를 보여준다.
도 12는 본 발명의 일 실시예에 따른 운전 보조 장치가 음성 입력 및 제스처 입력에 따라 차량의 특정 기능을 제어하는 방법의 예시적인 구현예를 보여준다.
도 13은 본 발명의 일 실시예에 따른 운전 보조 장치가 음성 입력 및 제스처 입력에 따라 차량의 특정 기능을 제어하는 방법의 예시적인 구현예를 보여준다.
도 14은 본 발명의 일 실시예에 따른 운전 보조 장치가 음성 입력 및 제스처 입력에 따라 차량의 특정 기능을 제어하는 방법의 예시적인 구현예를 보여준다.
도 15은 본 발명의 일 실시예에 따른 운전 보조 장치가 음성 입력 및 제스처 입력에 따라 차량의 특정 기능을 제어하는 방법의 예시적인 구현예를 보여준다.
도 16은 본 발명의 일 실시예에 따른 운전 보조 장치 음성 입력 및 제스처 입력에 따라 차량의 특정 기능을 제어하는 방법의 예시적인 구현예를 보여준다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

도 1은 본 발명의 일 실시예에 따른 운전 보조 장치(100)의 블록 다이어그램을 보여주고, 도 2는 차량(10)에 구비되는 주변 장치(200)와 관련된 예시적인 기능들을 보여주며, 도 3은 본 발명과 관련된 차량(10)의 예시적인 실내뷰를 보여준다.

도 1을 참조하면, 운전 보조 장치(100)는 차량(10)에 포함되는 것일 수 있다.

구체적으로, 운전 보조 장치(100)는, 입력부(110), 멀티모달 인터페이스부(120), 통신부(130), 메모리(140), 통합 처리부(150)를 포함할 수 있다. 이때, 운전 보조 장치(100)에 포함된 어느 한 구성요소는 다른 구성요소와 직접 또는 간접적으로 연결될 수 있다. 이하에서는, 설명의 편의를 위해, 멀티모달 인터페이스부(120)를 인터페이스부(120)라고 칭하기로 한다.

입력부(110)는 사용자에 의한 비접촉식 입력 및/또는 접촉식 입력을 수신할 수 있다. 비접촉식 입력이란 음성이나 제스처 등 사용자의 신체 일부나 임의의 물체와 물리적으로 접촉되지 않는 형태의 입력을 말하고, 접촉식 입력이란 클릭이나 터치 등 사용자의 신체 일부나 임의의 물체와 물리적으로 접촉됨에 따라 발생하는 형태의 입력을 말한다.

입력부(110)는 비접촉식 입력을 수신하는 마이크로폰(111) 및 카메라(112)를 포함할 수 있다.

마이크로폰(111)은 사용자의 음성 입력을 수신하고, 수신된 음성 입력에 대응하는 전기 신호(즉, 음성 신호)를 생성할 수 있다. 예컨대, 마이크로폰(111)은 도시된 바와 같이 차량(10)의 대쉬보드나 스티어링 휠 등에 구비될 수 있다.

카메라(112)는 차량(10)에 탑승한 사용자를 촬영하여, 실내 영상을 생성할 수 있다. 즉, 카메라(112)는 사용자로부터의 제스처 입력을 수신하고, 수신된 제스처 입력을 포함하는 실내 영상을 생성할 수 있다.

카메라(112)는 적어도 하나의 적외선 카메라(112)를 포함할 수 있다. 일 실시예에서, 카메라(112)는 차량(10) 실내에 운전석을 향하도록 배치되어, 운전석에 착석한 운전자의 신체 일부(예, 손, 팔)가 나타나는 영상을 생성할 수 있다. 이때, 카메라(112)는 운전자로부터 (i)기 설정된 거리 내이고, (ii)운전자의 신체 움직임에 장애가 되지 않으며, (iii)외부광에 의한 인식률 변화량이 소정치 미만일 것을 만족하는, 차량(10) 실내위 일 위치에 배치될 수 있다. 예컨대, 도시된 바와 같이, 카메라(112)는 제1 카메라(112a) 및 제2 카메라(112b)를 포함할 수 있고, 제1 카메라(112a)는 멀티미디어 장치(210)의 하단에 배치되고, 제2 카메라(112b)는 스티어링 휠의 일 측에 배치될 수 있다. 이 경우, 제1 카메라(112a)는 스티어링 휠에서 이격된 운전자의 손을 촬영하고, 제2 카메라(112b)는 스티어링 휠을 파지하고 있는 운전자의 손을 촬영할 수 있다.

멀티미디어 장치(210)는 자체적으로 디스플레이를 구비하는 AVN 또는 텔레메틱스 단말일 수 있다. 멀티미디어 장치(210)는 통합 처리부(150)의 제어에 따라 임의의 정보를 시각적으로 출력하거나, 이에 포함된 스피커(211)를 통해 임의의 정보를 청각적으로 출력할 수 있다.

또한, 입력부(110)는 접촉식 입력을 수신하는 접촉식 입력수단을 포함할 수 있다. 예컨대, 접촉식 입력수단은 적어도 하나의 버튼, 조그휠 또는 터치 센서 등을 포함할 수 있다.

인터페이스부(120)는 적어도 둘 이상의 서로 다른 비접촉식 입력과 관련된 신호를 수신한다. 일 실시예서, 인터페이스부(120)는 입력부(110)와 연결되어, 입력부(110)로부터 음성 신호 및 실내 영상을 수신할 수 있다. 이때, 음성 신호는 마이크로폰(111)으로부터 제공되는 것이고, 실내 영상은 카메라(112)로부터 제공되는 것일 수 있다.

인터페이스부(120)는 음성 인식부(121) 및 모션 인식부(122)를 포함할 수 있다.

음성 인식부(121)는 음성 신호를 기초로, 사용자의 음성 입력에 대응하는 제어 명령(이하, '제1 제어 명령'이라고 칭함)을 생성할 수 있다.

모션 인식부(122)는 실내 영상을 기초로, 사용자의 제스처 입력에 대응하는 제어 명령(이하, '제2 제어 명령'이라고 칭함)을 생성할 수 있다.

통신부(130)는 차량(10) 실내 또는 외부에 위치하는 다른 장치와 무선 통신을 수행한다. 예를 들어, 통신부(130)는 차량(10) 실내에 위치하는 휴대 단말과 근거리 무선 통신을 개시하여, 휴대 단말과 각종 데이터를 송수신할 수 있다. 다른 예로, 통신부(130)는 GPS 위성으로부터 차량(10)의 GPS 위치 정보를 수신할 수 있다. 다른 예로, 통신부(130)는 외부 서버(예, 교통 서버)에 접속하여, 외부 서버와 각종 데이터를 송수신할 수 있다.

메모리(140)는 차량(10)과 관련된 각종 정보를 저장한다. 구체적으로, 메모리(140)는 입력부(110)에 의해 수신된 사용자 입력에 관한 정보를 임시적으로 저장할 수 있다.

또한, 메모리(140)는 입력부(110), 인터페이스부(120) 및 통합 처리부(150) 각각의 동작을 위한 각종 프로그램이나, 입출력되는 데이터들을 저장할 수 있다. 또한, 메모리(140)는 후술할 통합 처리부(150)의 요청에 따라, 기 저장된 각종 정보 중 적어도 일부를 통합 처리부(150)로 제공할 수 있다. 또한, 메모리(140)는 전자 지도를 저장할 수 있다. 메모리(140)에 저장되는 전자 지도에는 도로 유형, 제한 속도, 주변 시설, 위치별 좌표 등의 데이터가 포함될 수 있다.

또한, 메모리(140)는 차량(10)에서 제공되는 다양한 기능의 실행을 위한 복수의 어플리케이션들을 저장할 수 있다. 일 실시예에서, 도시된 바와 같이, 차량(10)에는 여러 가지 주변 장치(200)가 구비될 수 있는바, 메모리(140)에는 각 주변 장치(200)가 담당하는 기능과 관련된 각종 어플리케이션들이 저장될 수 있다.

예컨대, 도시된 바와 같이, 차량(10)에는 멀티미디어 장치(210), 공조 장치(220), 윈도우 구동 장치(230), 와이퍼 구동 장치(240) 등이 구비될 수 있고, 각각의 주변 장치(200)는 통합 처리부(150)에 의해 제어될 수 있다.

도 2를 참조하면, 멀티미디어 장치(210) 및 공조 장치(220) 각각에 의해 제공 가능한 기능들을 예시한다. 멀티미디어 장치(210)에 의해 제공 가능한 기능(210)에는, 음악 재생 기능, 영화 재생 기능, 내비게이션 기능, 라디오 기능, DMB 기능, 통화 기능 등이 포함될 수 있다. 또한, 공조 장치(220)에 의해 제공 가능한 가능(220)에는, 온도 조절 기능, 풍향 조절 기능, 풍량 조절 기능, 내외기 전환 기능 등이 포함될 수 있다.

한편, 전술한 각 기능은 적어도 하나의 서브 기능을 포함할 수 있다. 예를 들어, 음악 재생 기능에는, 음악 볼륨 조절 기능, 음악 검색 기능, 음악 리스트 반복 기능, 가사 보기 기능 등의 서브 기능들이 포함될 수 있다. 다른 예를 들어, 내비게이션 기능에는, 지도 확대/축소 기능, 안내 볼륨 조절 기능, 위치 검색 기능 등의 서브 기능들이 포함될 수 있다.

이러한 메모리(140)는, 램(random access memory; RAM), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), SSD 타입(Solid State Disk type), 플래시 메모리(140) 타입(flash memory type), 하드디스크 타입(hard disk type), 카드 타입의 메모리(140), 자기 디스크, 광디스크 등의 각종 타입의 저장매체 중 적어도 하나를 포함할 수 있다.

통합 처리부(150)는 운전 보조 장치(100)의 전반적인 동작을 제어한다. 예컨대, 통합 처리부(150)는 적어도 하나의 프로세스를 포함하고, 프로세서는 메모리(140)에 저장된 명령어들을 실행하여, 운전 보조 장치(100)의 전반적인 동작을 제어할 수 있다. 구체적으로, 통합 처리부(150)는 입력부(110), 인터페이스부(120), 통신부(130) 및 메모리(140)를 통해 입출력되는 신호, 데이터, 정보 등을 처리할 수 있다. 또한, 통합 처리부(150)는 주변 장치(200)로부터 수신하거나 주변 장치(200)로 제공할 신호, 데이터, 정보 등을 처리할 수 있다.

또한, 통합 처리부(150)는 메모리(140)에 저장된 어플리케이션을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공할 수 있다.

통합 처리부(150)는 음성 인식부(121) 및 모션 인식부(122)로부터 제공되는 제1 제어 명령 및 제2 제어 명령을 통합 처리하여 통합 제어 명령을 생성할 수 있다.

일 실시예에서, 통합 처리부(150)는 제1 제어 명령을 기초로 차량(10)에서 제공 가능한 복수개의 기능들 중 적어도 하나의 기능을 선택하고, 제2 제어 명령을 기초로 상기 선택된 기능의 파라미터를 결정하며, 상기 선택된 기능이 상기 결정된 파라미터에 따라 실행되도록 하는 통합 제어 명령을 생성할 수 있다. 일 예로, 통합 처리부(150)는 제1 제어 명령을 기초로 음악 볼륨 조절 기능을 선택하고, 제2 제어 명령을 기초로 음악 볼륨의 증감량을 결정할 수 있다.

일 실시예에서, 통합 처리부(150)는 제2 제어 명령을 기초로 차량(10)에서 제공 가능한 복수개의 기능들 중 적어도 하나의 기능을 선택하고, 제1 제어 명령을 기초로 상기 선택된 기능의 파라미터를 결정하며, 상기 선택된 기능이 상기 결정된 파라미터에 따라 실행되도록 하는 통합 제어 명령을 생성할 수 있다. 일 예로, 통합 처리부(150)는 제2 제어 명령을 기초로 온도 조절 기능을 선택하고, 제1 제어 명령을 기초로 온도 증감량을 결정할 수 있다.

도 4는 본 발명의 일 실시예에 따른 운전 보조 장치(100)에 의한 예시적인 음성 인식 프로세스를 보여준다.

단계 S410에서, 운전 보조 장치(100)는 마이크로폰(111)을 이용하여 사용자로부터의 음성 입력을 수신할 수 있다. 마이크로폰(111)은 수신된 음성 입력을 이에 대응하는 전기 신호로 변환할 수 있다.

단계 S420에서, 운전 보조 장치(100)는 수신된 음성 입력을 녹음할 수 있다. 즉, 운전 보조 장치(100)는 수신된 음성 입력을 메모리(140)에 저장할 수 있다.

단계 S430에서, 운전 보조 장치(100)는 녹음된 음성을 음성 인식 서버에 전송할 수 있다. 이때, 운전 보조 장치(100)는, 사용자의 음성 입력이 종료될때까지 녹음된 음성을 음성 인식 서버에 전송할 수 있다. 예컨대, 마이크로폰(111)에 의해 마지막 음성 입력이 수신된 시점부터 기 설정된 시간 내에 새로운 음성 입력이 수신되지 않는 경우, 운전 보조 장치(100)는 사용자의 음성 입력이 종료된 것으로 판단할 수 있다. 운전 보조 장치(100)는 통신부(130)를 이용하여 음성 인식 서버에 접속된 상태에서, 단계 S420을 통해 녹음된 음성에 대응하는 음성 인식 결과를 제공해줄 것을을 음성 인식 서버에 요청할 수 있다.

단계 S440에서, 음성 인식 서버는 운전 보조 장치(100)로부터 수신된 녹음 음성의 특징을 추출할 수 있다. 이후, 단계 S450에서, 음성 인식 서버는 상기 추출된 특징을 기초로, 녹음 음성을 인식할 수 있다. 즉, 녹음 음성의 의미 내용을 획득할 수 있다.

단계 S460에서, 음성 인식 서버는 인식된 음성을 이에 대응하는 텍스트로 변환할 수 있다. 예컨대, 음성 인식 서버는 음성-텍스트 변환 기법(Voice-To-Text)를 이용하여, 차량(10)의 사용자에 의해 발성된 음성에 대응하는 텍스트를 획득할 수 있다.

단계 S470에서, 음성 인식 서버는 상기 변환을 통해 얻은 텍스트를 운전 보조 장치(100)로 전송할 수 있다. 즉, 운전 보조 장치(100)는 음성 인식 서버로부터 사용자의 음성 입력에 대응하는 텍스트를 수신할 수 있다.

단계 S480에서, 운전 보조 장치(100)는 음성 인식 서버로부터 수신한 텍스트에 대응하는 제어 명령(즉, 제1 제어 명령)을 생성할 수 있다. 예컨대, 메모리(140)에는 복수의 텍스트 각각과 연관된 제어 명령이 저장될 수 있고, 통합 처리부(150)는 음성 인식 서버로부터 수신한 텍스트에 대응하는 특정 제어 명령을 메모리(140)로부터 획득할 수 있다.

한편, 도 4에서는 운전 보조 장치(100)가 음성 인식 서버의 지원으로, 사용자의 음성 입력을 해석 및 인식하는 것으로 설명하였으나, 음성 인식부(121)가 직접 음성 인식 기법을 이용하여, 사용자의 음성 입력의 의미 내용을 판단하고, 이에 대응하는 제1 제어 명령을 생성할 수도 있는 것으로 이해되어야 한다.

도 5a 및 도 5b는 본 발명의 일 실시예에 따른 운전 보조 장치(100)가 제스처 입력을 수신하는 동작을 설명하는 데에 참조되는 도면이다.

도 5a를 참조하면, 카메라(112)는 차량(10) 실내의 미리 정해진 영역 내에서 발생하는 제스처 입력을 수신할 수 있다. 이를 위해, 메모리(140)에는 제스처 입력의 수신이 가능한 영역을 정의하기 위한 좌표값들이 미리 저장될 수 있다.

도시된 바와 같이, 차량(10)의 전장 방향, 전폭 방향, 전고 방향을 각각을 순서대로, x축, y축 및 z축인 것으로 가정하기로 한다.

예컨대, 카메라(112)가 제스처 입력을 수신하는 3차원 영역은, 카메라(112)로부터 x축 방향으로 소정 범위 내에서 이격되고, 단면이 4개의 좌표 (y1, z1), (y2, z1), (y2, z2) 및 (y1, z2)를 꼭지점으로 하는 사각형인 영역일 수 있다.

도 5b는 카메라(112)의 예시적인 상태 천이도를 보여준다. 카메라(112)는 오프(off) 상태, 준비(ready) 상태 및 온(on) 상태 중 어느 하나에서 다른 하나로 천이될 수 있다. 오프 상태는 카메라(112)의 ECU의 전원이 꺼진 상태이고, 준비 상태는 카메라(112)의 ECU의 전원이 켜진 후 영상이 정상적으로 입력될 때까지 대기하는 상태이며, 온 상태는 영상이 정상적으로 입력되는 상태일 수 있다. 준비 상태에서는 제스처 입력에 대한 인식 과정이 중지되어, 제스처 인식 결과(즉, 제2 제어 명령)이 통합 처리부(150)에 전달되지 않는다. 또한, 온 상태에서, 카메라(112)는 제스처 입력이 포함된 실내 영상을 주기적으로 모션 인식부(122)에 제공할 수 있다.

도 6은 본 발명의 일 실시예에 따른 운전 보조 장치(100)가 제스처 입력에 대응하는 제어 명령을 생성하는 예시적인 프로세스를 보여준다.

단계 S610에서, 운전 보조 장치(100)는 제스처 입력을 포함하는 영상을 캡처할 수 있다. 즉, 운전 보조 장치(100)는 카메라(112)를 이용하여, 사용자의 제스처 입력을 포함하는 실내 영상을 생성할 수 있다.

단계 S620에서, 운전 보조 장치(100)는 단계 S610에서 캡쳐된 영상을 이진화할 수 있다. 즉, 운전 보조 장치(100)는 단계 S610에서 캡쳐된 영상을 이진화 영상으로 변환할 수 있다. 여기서, 이진화 영상이란, 캡쳐된 영상을 구성하는 각 픽셀이 흑 또는 백으로 표현되는 영상을 의미할 수 있다.

단계 S630에서, 운전 보조 장치(100)는 이진화 영상에 대한 세그멘테이션을 수행할 수 있다. 즉, 운전 보조 장치(100)는 모션 인식부(122)를 이용하여, 이진화 영상으로부터 제스처에 대응하는 객체를 추출할 수 있다. 예컨대, 제스처 입력이 사용자의 손에 의한 것인 경우, 모션 인식부(122)는 이진화 영상으로부터 사용자의 손에 대응하는 부분을 제스처에 대응하는 객체로 추출할 수 있다.

단계 S640에서, 운전 보조 장치(100)는 이진화 영상으로부터 추출된 객체의 좌표를 산출할 수 있다. 또한, 운전 보조 장치(100)는 기 설정된 시간 동안의 상기 추출된 객체의 좌표 변화량을 산출할 수 있다.

단계 S650에서, 운전 보조 장치(100)는 상기 산출된 좌표 변화량이 기 설정된 임계값을 초과하는지 판단할 수 있다. 이는, 사용자에 의한 제스처 입력이 정지 제스처인지 이동 제스처인지 구별하기 위함일 수 있다. 만약, 상기 산출된 좌표 변화량이 기 설정된 임계값을 초과하는 경우 단계 S662가 수행되고, 반대의 경우에는 단계 S664가 수행될 수 있다.

단계 S662에서, 운전 보조 장치(100)는 상기 객체의 이동 방향 및 이동 거리를 산출할 수 있다. 즉, 운전 보조 장치(100)는 상기 추출된 객체가 어느 방향으로 얼마만큼 이동하였는지 산출할 수 있다.

단계 S664에서, 운전 보조 장치(100)는 상기 객체의 모양을 산출할 수 있다. 예컨대, 제스처 입력이 사용자의 손에 의한 것인 경우, 모션 인식부(122)는 사용자의 손가락이 펴진 개수, 기준 방향에 대하여 손가락이 이루는 각도 등을 산출할 수 있다.

단계 S670에서, 운전 보조 장치(100)는 단계 S662 또는 단계 S664의 산출 결과를 기초로, 상기 제스처 입력에 대응하는 제어 명령(즉, 제2 제어 명령)을 생성할 수 있다. 모션 인식부(122)는 상기 생성된 제2 제어 명령을 통합 처리부(150)에 제공할 수 있다.

도 7a 내지 도 7e는 모션 인식부(122)가 제스처 입력을 인식하는 예시적인 동작을 설명하는 데에 참조되는 도면이다. 설명의 편의를 위해, 제스처 입력은 사용자의 손에 의해 발생하는 것으로 가정한다.

도 7a를 참조하면, 모션 인식부(122)는 카메라(112)로부터 원본 영상(710)을 수신할 수 있다. 예컨대, 원본 영상(710)은 단계 S610에서 생성되는 실내 영상일 수 있다.

이후, 모션 인식부(122)는 원본 영상(710)를 이진화하여, 이진화 영상(720)을 획득할 수 있다. 다음, 모션 인식부(122)는 이진화 영상(720)에 대한 세그멘테이션을 수행하여, 이진화 영상(720)으로부터 사용자의 손에 대응하는 객체를 포함하는 부분을 추출할 수 있다. 예컨대, 모션 인식부(122)는 미리 정해진 영역(도 5a 참조)에 대응하는 서브 마스크를 이용하여, 이진화 영상(720) 중 일부분을 제거할 수 있다. 이어서, 모션 인식부(122)는 영상 라벨링(image labelling) 기법을 이용하여, 일부분이 제거된 이진화 영상(720)의 노이즈를 제거하여, 사용자의 손에 대응하는 객체(730)를 나머지 부분으로부터 구별할 수 있다.

도 7b는 사용자의 손에 대응하는 객체(730)가 정지된 상태인 경우, 객체(730)의 모양을 기초로, 제스처 입력의 손가락 개수를 인식하는 일 예를 보여준다. 일 실시예에서, 모션 인식부(122)는 convex hull 기법을 이용하여, 객체(730) 중 적어도 하나의 꼭지점을 나타나는 좌표들(P1-P5)을 획득하고, 좌표들(P1-P5) 간의 빈 공간(defect)의 유무를 검사함으로써, 손가락의 개수를 인식할 수 있다. 예컨대, 도 7b에서 좌표들(P1-P5) 사이에 4개의 빈 공간(defect)이 존재하는바, 모션 인식부(122)는 객체(730)로부터 5개의 손가락을 인식할 수 있다.

도 7c는 도 7b와 달리 객체(730)로부터 한 개의 손가락만이 인식된 경우를 예시한다. 모션 인식부(122)는 한 개의 손가락만이 인식된 경우, 인식된 손가락이 기 설정된 기준 방향에 대하여 이루는 각도를 산출할 수 있다. 예컨대, 모션 인식부(122)는 손가락의 시작점과 끝점을 연결한 선이 기준 방향(예, z축)에 대하여 좌측 또는 우측으로 기울어졌는지 여부 판단하고, 기울어진 것으로 판단 시 그 각도를 산출할 수 있다.

도 7d는 사용자의 손에 대응하는 객체(730)가 이동된 상태인 경우, 객체(730)의 모양을 기초로, 제스처 입력의 이동 방향 및 이동 거리를 산출하는 일 예를 보여준다. 도시된 바와 같이, 모션 인식부(122)는 객체(730)가 최초 인식된 시점의 위치(P10)와 제한 시간 경과된 후의 위치(P10) 간의 좌표값 차이를 기초로, 객체(730)가 제한 시간 동안 어느 방향으로 얼마만큼 이동하였는지 판단할 수 있다.

도 7e는 모션 인식부(122)에 의해 분류 가능한 다양한 유형의 제스처를 보여준다. 도 7e를 참조하면, 모션 인식부(122)는, 1개의 손가락만 펴진 제1 제스처(751), 2개의 손가락이 펴진 제2 제스처(752), 4개의 손가락이 펴진 제4 제스처(753)를 구분할 수 있다. 또한, 모션 인식부(122)는 1개의 손가락이 좌측으로 기울어진 제4 제스처(754)과 1개의 손가락이 우측으로 기울어진 제5 제스처(755)를 구분할 수 있다. 또한, 모션 인식부(122)는 손이 좌우로 이동하는 제6 제스처(756) 및 상하로 이동하는 제7 제스처(757)를 구분할 수 있다.

이때, 제1 내지 제5 제스처(751-755)는 정지 제스처에 해당하고, 제 6 및 제 7 제스처(756, 757)는 이동 제스처에 해당할 수 있다.

다만, 도 7e에 도시된 제스처들은 예시적인 것이며, 그 밖에 다양한 유형의 제스처가 모션 인식부(122)에 의해 구분될 수 있음은 물론이다.

도 8은 본 발명의 일 실시예에 따른 운전 보조 장치(100)에 의해 수행되는 예시적인 프로세스를 보여준다.

단계 S810에서, 통합 처리부(150)는 음성 입력에 대응하는 제1 제어 명령을 수신할 수 있다. 제1 제어 명령은 음성 인식부(121)로부터 제공되는 것일 수 있다.

단계 S820에서, 통합 처리부(150)는 제스처 입력에 대응하는 제2 제어 명령을 수신할 수 있다. 제2 제어 명령은 모션 인식부(122)로부터 제공되는 것일 수 있다.

단계 S830에서, 통합 처리부(150)는 차량(10)에서 제공 가능한 것으로 미리 정해진 복수개의 기능들 중, 제1 제어 명령에 대응하는 기능을 결정할 수 있다. 제1 제어 명령에 대응하는 기능은 둘 이상일 수 있다.

단계 S840에서, 통합 처리부(150)는 상기 결정된 기능에 대하여 미리 정해진 파라미터의 범위 내에서, 제2 제어 명령에 대응하는 파라미터를 결정할 수 있다. 예컨대, 상기 결정된 기능이 공조 장치(220)에서 제공되는 온도 조절 기능이고, 온도 조절 가능 범위가 5도 이상 40도 이하인 경우, 통합 처리부(150)는 제2 제어 명령에 대응하는 파라미터로서 +5도를 결정할 수 있다.

단계 S850에서, 통합 처리부(150)는 상기 결정된 기능을 상기 결정된 파라미터로 실행할 것을 지시하는 통합 제어 명령을 생성할 수 있다.

단계 S860에서, 통합 처리부(150)는 상기 통합 제어 명령을 이용하여 상기 차량(10)에 구비된 복수개의 주변 기기 중 적어도 하나를 제어할 수 있다. 예컨대, 전술한 바와 같이, 상기 결정된 기능이 공조 장치(220)의 온도 조절 기능이고, 상기 결정된 파라미터가 +5도인 경우, 공조 장치(220)는 통합 처리부(150)로부터 제공되는 상기 통합 제어 명령에 응답하여, 기 설정된 실내 온도를 5도 높일 수 있다.

도 9는 본 발명의 일 실시예에 따른 운전 보조 장치(100)가 음성 입력 및 제스처 입력에 따라 차량(10)의 특정 기능을 제어하는 방법의 예시적인 구현예를 보여준다.

도 9의 (a)를 참조하면, 멀티미디어 장치(210)의 화면에는 음악 재생 화면(910)이 표시되고 있을 수 있다.

사용자는 음악 재생 화면(910)에 대응하는 음악 파일의 재생 볼륨을 높이고자 할 수 있다. 예컨대, 현재 음악 재생 화면(910)은 음악 파일의 재생 볼륨이 '레벨 5'인 것을 나타내고 있을 수 있다.

사용자는 음악 파일의 재생 볼륨을 '레벨 5'보다 높이기 위해, 도시된 것과 같은 음성 입력(921) 및 제스처 입력(922)을 행할 수 있다.

음성 입력(921) 및 제스처 입력(922)은 각각 마이크로폰(111)과 카메라(112)에 의해 수신된 후, 통합 처리부(150)에 의해 통합 제어 명령의 형태로 변환될 수 있다.

예를 들어, 통합 처리부(150)는 "음악 볼륨 업"이라는 음성 입력(921)에 응답하여, 멀티미디어 장치(210)의 '음악 볼륨 증가 기능'을 결정하고, 손가락 1개가 펴진 제스처 입력(922)에 응답하여, '음악 볼륨 증가 기능'에 대한 파라미터로서 '레벨 +1'을 결정할 수 있다.

도 9의 (b)는 멀티미디어 장치(210)가 통합 처리부(150)로부터 제공되는 통합 제어 명령에 따라 제어된 상태를 예시한다. 도 9의 (a)와 비교할 때, 음악 재생 화면(910)은 음악 파일의 재생 볼륨이 '레벨 5'로부터 '레벨 6'으로 변화된 것을 확인할 수 있다.

도 9에 따르면, 사용자는 음성 입력(921) 및 제스처 입력(922)을 동시에 입력하여, 음악 파일의 재생 볼륨을 증가시킬 수 있다. 이는, 음성 입력(921) 또는 제스처 입력(922) 중 어느 하나만을 이용하는 경우에 비하여, 음악 파일의 재생 볼륨을 신속하고 정확하게 증가시킬 수 있다.

도 10은 본 발명의 일 실시예에 따른 운전 보조 장치(100)가 음성 입력 및 제스처 입력에 따라 차량(10)의 특정 기능을 제어하는 방법의 예시적인 구현예를 보여준다.

도 10의 (a)를 참조하면, 멀티미디어 장치(210)의 화면에는 음악 재생 화면(1010)이 표시되고 있을 수 있다.

사용자는 음악 재생 화면(1010)에 대응하는 음악 파일의 재생 볼륨을 높이고자 할 수 있다. 예컨대, 현재 음악 재생 화면(910)은 음악 파일의 재생 볼륨이 '레벨 5'인 것을 나타내고 있을 수 있다.

사용자는 음악 파일의 재생 볼륨을 '레벨 5'보다 높이기 위해, 도시된 것과 같은 음성 입력(931) 및 제스처 입력(932)을 행할 수 있다.

음성 입력(931) 및 제스처 입력(932)은 각각 마이크로폰(111)과 카메라(112)에 의해 수신된 후, 통합 처리부(150)에 의해 통합 제어 명령의 형태로 변환될 수 있다.

예를 들어, 통합 처리부(150)는 "음악 볼륨 다운"이라는 음성 입력(931)에 응답하여, 멀티미디어 장치(210)의 '음악 볼륨 감소 기능'을 결정하고, 손가락 2개가 펴진 제스처 입력(932)에 응답하여, '음악 볼륨 증가 기능'에 대한 파라미터로서 '레벨 -2'을 결정할 수 있다.

도 10의 (b)는 멀티미디어 장치(210)가 통합 처리부(150)로부터 제공되는 통합 제어 명령에 따라 제어된 상태를 예시한다. 도 10의 (a)와 비교할 때, 음악 재생 화면(910)은 음악 파일의 재생 볼륨이 '레벨 5'로부터 '레벨 3'으로 변화된 것을 확인할 수 있다.

도 10에 따르면, 사용자는 음성 입력(931) 및 제스처 입력(932)을 동시에 입력하여, 음악 파일의 재생 볼륨을 감소시킬 수 있다. 이는, 음성 입력(931) 또는 제스처 입력(932) 중 어느 하나만을 이용하는 경우에 비하여, 음악 파일의 재생 볼륨을 신속하고 정확하게 감소시킬 수 있다.

도 11은 본 발명의 일 실시예에 따른 운전 보조 장치(100)가 음성 입력 및 제스처 입력에 따라 차량(10)의 특정 기능을 제어하는 방법의 예시적인 구현예를 보여준다.

도 11의 (a)를 참조하면, 멀티미디어 장치(210)의 화면에는 공조 상태 안내 화면(1110)이 표시되고 있을 수 있다.

사용자는 차량(10) 실내 온도를 높이고자 할 수 있다. 예컨대, 현재 공조 상태에 대한 정보를 제공하는 안내 화면(1110)은 현재 차량(10)에 설정된 실내 온도가 '20도'인 것을 나타내고 있을 수 있다.

사용자는 실내 온도를 '20도'보다 높이기 위해, 도시된 것과 같은 음성 입력(1121) 및 제스처 입력(1122)을 행할 수 있다.

음성 입력(1121) 및 제스처 입력(1122)은 각각 마이크로폰(111)과 카메라(112)에 의해 수신된 후, 통합 처리부(150)에 의해 통합 제어 명령의 형태로 변환될 수 있다.

예를 들어, 통합 처리부(150)는 "온도"이라는 음성 입력(1121)에 응답하여, 공조 장치(220)의 '온도 조절 기능'을 결정하고, 손가락 1개가 우측으로 기울어진 제스처 입력(1122) 및 제스처 입력(1122)의 지속 시간을 기초로, '온도 조절 기능'에 대한 파라미터로서 '+5도'을 결정할 수 있다. 구체적으로, 통합 처리부(150)는 손가락 1개가 우측으로 기울어진 제스처 입력(1122)이 인식되면, '온도 조절 기능'의 서브 기능으로서 '온도 증가 기능'을 결정할 수 있다. 또한, 통합 처리부(150)는 제스처 입력(1122)의 지속 시간을 기초로, 파라미터의 크기를 결정할 수 있다. 예컨대, 통합 처리부(150)는 제스처 입력(1122)의 지속 시간이 1초 경과할때마다 파라미터의 크기는 1씩 증가시킬 수 있다. 만약, 제스처 입력(1122)이 5초 동안 지속되는 경우, 통합 처리부(150)는 파라미터를 '+5도'로 결정할 수 있다.

도 11의 (b)는 공조 장치(220)가 통합 처리부(150)로부터 제공되는 통합 제어 명령에 따라 제어된 상태를 예시한다. 도 11의 (a)와 비교할 때, 안내 화면(1110)은 차량(10) 실내의 설정 온도가 '20도'로부터 '25도'로 증가한 것을 확인할 수 있다.

도 11에 따르면, 사용자는 음성 입력(1121) 및 제스처 입력(1122)을 동시에 입력하여, 차량(10) 실내 온도의 설정값을 증가시킬 수 있다. 이는, 음성 입력(1121) 또는 제스처 입력(1122) 중 어느 하나만을 이용하는 경우에 비하여, 차량(10) 실내 온도를 신속하고 정확하게 증가시킬 수 있다.

도 12는 본 발명의 일 실시예에 따른 운전 보조 장치(100)가 음성 입력 및 제스처 입력에 따라 차량(10)의 특정 기능을 제어하는 방법의 예시적인 구현예를 보여준다.

도 12의 (a)를 참조하면, 멀티미디어 장치(210)의 화면에는 공조 상태 안내 화면(1210)이 표시되고 있을 수 있다.

사용자는 차량(10) 실내 온도를 높이고자 할 수 있다. 예컨대, 현재 공조 상태에 대한 정보를 제공하는 안내 화면(1210)은 현재 차량(10)에 설정된 실내 온도가 '20도'인 것을 나타내고 있을 수 있다.

사용자는 실내 온도를 '20도'보다 낮추기 위해, 도시된 것과 같은 음성 입력(1131) 및 제스처 입력(1132)을 행할 수 있다.

음성 입력(1131) 및 제스처 입력(1132)은 각각 마이크로폰(111)과 카메라(112)에 의해 수신된 후, 통합 처리부(150)에 의해 통합 제어 명령의 형태로 변환될 수 있다.

예를 들어, 통합 처리부(150)는 "온도"이라는 음성 입력(1131)에 응답하여, 공조 장치(220)의 '온도 조절 기능'을 결정하고, 손가락 1개가 좌측으로 기울어진 제스처 입력(1132) 및 제스처 입력(1132)의 지속 시간을 기초로, '온도 조절 기능'에 대한 파라미터로서 '-3도'를 결정할 수 있다. 구체적으로, 통합 처리부(150)는 손가락 1개가 좌측으로 기울어진 제스처 입력(1132)이 인식되면, '온도 조절 기능'의 서브 기능으로서 '온도 감소 기능'을 결정할 수 있다. 또한, 통합 처리부(150)는 제스처 입력(1132)의 지속 시간을 기초로, 파라미터의 크기를 결정할 수 있다. 예컨대, 통합 처리부(150)는 제스처 입력(1132)의 지속 시간이 1초 경과할때마다 파라미터의 크기는 1씩 증가시킬 수 있다. 만약, 제스처 입력(1132)이 3초 동안 지속되는 경우, 통합 처리부(150)는 파라미터를 '-3도'로 결정할 수 있다.

도 12의 (b)는 공조 장치(220)가 통합 처리부(150)로부터 제공되는 통합 제어 명령에 따라 제어된 상태를 예시한다. 도 12의 (a)와 비교할 때, 안내 화면(1210)은 차량(10) 실내의 설정 온도가 '20도'로부터 '17도'로 감소한 것을 확인할 수 있다.

도 12에 따르면, 사용자는 음성 입력(1131) 및 제스처 입력(1132)을 동시에 입력하여, 차량(10) 실내 온도의 설정값을 감소시킬 수 있다. 이는, 음성 입력(1131) 또는 제스처 입력(1132) 중 어느 하나만을 이용하는 경우에 비하여, 차량(10) 실내 온도를 신속하고 정확하게 감소시킬 수 있다.

도 13은 본 발명의 일 실시예에 따른 운전 보조 장치(100)가 음성 입력 및 제스처 입력에 따라 차량(10)의 특정 기능을 제어하는 방법의 예시적인 구현예를 보여준다.

도 13의 (a)를 참조하면, 멀티미디어 장치(210)의 화면에는, 도 12와 유사하게 공조 상태 안내 화면(1110)이 표시되고 있을 수 있다.

사용자는 풍량을 낮추고자 할 수 있다. 예컨대, 현재 공조 상태에 대한 정보를 제공하는 안내 화면(1110)은 현재 차량(10)에 설정된 풍량이 총 5개의 단계 중 '3단계'인 것을 나타내고 있을 수 있다.

사용자는 풍량을 '3단계'보다 낮추기 위해, 도시된 것과 같은 음성 입력(1131) 및 제스처 입력(1132)을 행할 수 있다.

음성 입력(1131) 및 제스처 입력(1132)은 각각 마이크로폰(111)과 카메라(112)에 의해 수신된 후, 통합 처리부(150)에 의해 통합 제어 명령의 형태로 변환될 수 있다.

예를 들어, 통합 처리부(150)는 "풍량"이라는 음성 입력(1131)에 응답하여, 공조 장치(220)의 '풍량 조절 기능'을 결정하고, 제스처 입력(1312)의 이동 방향 및 이동 거리를 기초로, '풍량 조절 기능'에 대한 파라미터로서 '-1'을 결정할 수 있다.

구체적으로, 통합 처리부(150)는 좌측으로 이동하는 제스처 입력(1132)이 인식되면, '풍량 조절 기능'의 서브 기능으로서 '풍량 감소 기능'을 결정할 수 있다. 또한, 통합 처리부(150)는 제스처 입력(1132)의 이동 거리를 기초로, 파라미터의 크기를 결정할 수 있다. 예컨대, 통합 처리부(150)는 제스처 입력(1132)의 이동 거리가 10cm씩 늘어날때마다 파라미터의 크기를 1씩 증가시킬 수 있다. 만약, 제스처 입력(1132)가 좌측으로 10cm 이동하는 경우, 통합 처리부(150)는 파라미터를 '-1'로 결정할 수 있다.

도 13의 (b)는 공조 장치(220)가 통합 처리부(150)로부터 제공되는 통합 제어 명령에 따라 제어된 상태를 예시한다. 도 13의 (a)와 비교할 때, 안내 화면(1110)은 풍량이 '3단계'로부터 '2단계'로 감소한 것을 확인할 수 있다.

도 13에 따르면, 사용자는 음성 입력(1131) 및 제스처 입력(1132)을 동시에 입력하여, 차량(10) 풍량의 설정값을 감소시킬 수 있다. 이는, 음성 입력(1131) 또는 제스처 입력(1132) 중 어느 하나만을 이용하는 경우에 비하여, 공조 장치(220)에 의해 출력되는 풍량을 신속하고 정확하게 감소시킬 수 있다.

한편, 도 13에서는 음성 입력(1131) 및 제스처 입력(1132)을 이용하여 풍량을 감소시키는 동작을 기준으로 설명하였으나, 반대 동작도 가능하다. 예컨대, 제스처 입력(1132)이 우측으로 이동하는 경우, 공조 장치(220)에 의해 출력되는 풍량은 '단계 4' 또는 '단계5'로 증가할 수 있다.

도 14은 본 발명의 일 실시예에 따른 운전 보조 장치(100)가 음성 입력 및 제스처 입력에 따라 차량(10)의 특정 기능을 제어하는 방법의 예시적인 구현예를 보여준다.

도 14의 (a)를 참조하면, 멀티미디어 장치(210)의 화면에는, 도 12와 유사하게 공조 상태 안내 화면(1110)이 표시되고 있을 수 있다.

사용자는 풍향을 변경하고자 할 수 있다. 예컨대, 현재 공조 상태에 대한 정보를 제공하는 안내 화면(1110)은 현재 차량(10)에 설정된 풍향이 사용자의 '얼굴 방향'인 것을 나타내고 있을 수 있다.

사용자는 풍향을 얼굴보다 아래로 낮추기 위해, 도시된 것과 같은 음성 입력(1411) 및 제스처 입력(1412)을 행할 수 있다.

음성 입력(1411) 및 제스처 입력(1412)은 각각 마이크로폰(111)과 카메라(112)에 의해 수신된 후, 통합 처리부(150)에 의해 통합 제어 명령의 형태로 변환될 수 있다.

예를 들어, 통합 처리부(150)는 "풍향"이라는 음성 입력(1411)에 응답하여, 공조 장치(220)의 '풍향 조절 기능'을 결정하고, 제스처 입력(1412)의 이동 방향을 기초로, '풍향 조절 기능'에 대한 파라미터인 '발끝 방향'을 결정할 수 있다. 구체적으로, 통합 처리부(150)는 사용자의 손이 위에서 아래로 이동하는 제스처 입력(1412)이 인식되면, '풍향 조절 기능'에 대한 파라미터로서, 현재의 풍향인 '얼굴 방향'보다 아래인 '발끝 방향'을 결정할 수 있다.

도 14의 (b)는 공조 장치(220)가 통합 처리부(150)로부터 제공되는 통합 제어 명령에 따라 제어된 상태를 예시한다. 도 14의 (a)와 비교할 때, 안내 화면(1110)은 풍향이 '얼굴 방향'보다 아래의 방향인 '발끝 방향'으로 변경된 것을 확인할 수 있다.

도 14에 따르면, 사용자는 음성 입력(1411) 및 제스처 입력(1412)을 동시에 입력하여, 차량(10) 풍향을 조절할 수 있다. 이는, 음성 입력(1411) 또는 제스처 입력(1412) 중 어느 하나만을 이용하는 경우에 비하여, 공조 장치(220)에 의해 출력되는 풍향을 신속하고 정확하게 변경시킬 수 있다.

한편, 도 14에서는 음성 입력(1411) 및 제스처 입력(1412)을 이용하여 풍향을 상대적으로 아래로 변경시키는 동작을 기준으로 설명하였으나, 반대 동작도 가능하다. 예컨대, 제스처 입력(1412)이 아래에서 위로 이동하는 경우, 공조 장치(220)에 의해 출력되는 풍향은 '얼굴 방향'보다 위쪽으로 변경될 수 있다.

도 15은 본 발명의 일 실시예에 따른 운전 보조 장치(100)가 음성 입력 및 제스처 입력에 따라 차량(10)의 특정 기능을 제어하는 방법의 예시적인 구현예를 보여준다.

도 15의 (a)를 참조하면, 멀티미디어 장치(210)의 화면에는 지도가 나타나는 경로 안내 화면(1510)이 표시되고 있을 수 있다.

사용자는 경로 안내 화면(1510)의 지도를 확대하고자 할 수 있다. 예컨대, 경로 안내 화면(1510)에는 지도의 축척을 안내하는 인디케이터(1511)가 표시될 수 있고, 인디케이터(1511)는 현재 지도의 축척이 '1:200'(즉, 지도 상 거리 : 실제 거리)인 것을 나타내고 있을 수 있다.

사용자는 경로 안내 화면(1510)에 표시되는 지도의 축척을 '1/200'보다 높이기 위해, 도시된 것과 같은 음성 입력(1521) 및 제스처 입력(1522)을 행할 수 있다.

음성 입력(1521) 및 제스처 입력(1522)은 각각 마이크로폰(111)과 카메라(112)에 의해 수신된 후, 통합 처리부(150)에 의해 통합 제어 명령의 형태로 변환될 수 있다.

예를 들어, 통합 처리부(150)는 "지도 확대"이라는 음성 입력(1521)에 응답하여, 멀티미디어 장치(210)의 '지도 확대 기능'을 결정하고, 손가락 2개가 펴진 제스처 입력(1522)에 응답하여, '지도 확대 기능'에 대한 파라미터로서 '2배'를 결정할 수 있다. 구체적으로, 통합 처리부(150)는 제스처 입력(1522)의 손가락 개수가 인식되면, 인식된 손가락 개수를 기초로, '지도 확대 기능'에 대한 파라미터인 지도 확대 비율을 결정할 수 있다.

도 15의 (b)는 멀티미디어 장치(210)가 통합 처리부(150)로부터 제공되는 통합 제어 명령에 따라 제어된 상태를 예시한다. 도 15의 (a)와 비교할 때, 경로 안내 화면(1510)의 인디케이터(1511)를 통해 안내되는 지도의 축척이 '1:100'으로 변경된 것을 확인할 수 있다. 즉, 멀티미디어 장치(210)는 통합 제어 명령에 따라, 지도가 2배 확대할 수 있다.

도 15에 따르면, 사용자는 음성 입력(1521) 및 제스처 입력(1522)을 동시에 입력하여, 경로 안내 화면(1510)의 지도의 크기를 확대할 수 있다. 이는, 음성 입력(1521) 또는 제스처 입력(1522) 중 어느 하나만을 이용하는 경우에 비하여, 지도의 크기를 신속하고 정확하게 증가시킬 수 있다.

한편, 도 15에서는 음성 입력(1521) 및 제스처 입력(1522)을 이용한 지도 확대 동작을 기준으로 설명하였으나, 반대 동작도 가능하다. 예컨대, 제스처 입력(1522)은 손가락 2개가 펴진 상태이고, 음성 입력이 "지도 축소"인 경우, 멀티미디어 장치(210)의 화면에 표시되는 지도의 크기는 1/2로 축소될 수 있다.

도 16은 본 발명의 일 실시예에 따른 운전 보조 장치(100)가 음성 입력 및 제스처 입력에 따라 차량(10)의 특정 기능을 제어하는 방법의 예시적인 구현예를 보여준다.

도 16의 (a)를 참조하면, 멀티미디어 장치(210)의 화면에는 라디오 안내 화면(1610)이 표시되고 있을 수 있다. 라디오 안내 화면(1610)에는 현재 청취 중인 라디오 주파수를 안내하는 인디케이터(1611)가 표시될 수 있다. 예컨대, 도 16의 (a)에서 인디케이터(1611)는 사용자가 현재 FM 89.1 주파수의 라디오를 청취 중임을 안내하고 있다.

사용자는 다른 주파수의 라디오를 청취하고자 할 수 있다. 이를 위해, 사용자는 도시된 것과 같은 음성 입력(1621) 및 제스처 입력(1622)을 행할 수 있다.

음성 입력(1621) 및 제스처 입력(1622)은 각각 마이크로폰(111)과 카메라(112)에 의해 수신된 후, 통합 처리부(150)에 의해 통합 제어 명령의 형태로 변환될 수 있다.

예를 들어, 통합 처리부(150)는 손가락을 모두 편 제스처 입력(1622)에 응답하여, 멀티미디어 장치(210)의 '라디오 채널 변경 기능'을 결정하고, "채널 2개 증가"라는 음성 입력(1621)에 응답하여, 기 탐색된 라디어 채널을 중 현재 채널로부터 2번째에 위치하는 라디오 채널을 결정할 수 있다.

일 실시예에서, 메모리(140)에는 제스처의 종류와 기능들 간의 연관 관계를 정의하는 데이터가 저장될 수 있는바, 통합 처리부(150)는 제스처 입력(1622)의 손가락 개수가 인식되면, 인식된 손가락 개수에 연관된 특정 기능을 메모리(140)로부터 획득할 수 있다. 예컨대, 메모리(140)에 손가락을 모두 편 제스처와 '라디오 채널 변경 기능' 간의 연관 관계가 저장되어 있는 경우, 통합 처리부(150)는 제스처 입력(1622)을 기초로, '라디오 채널 변경 기능'을 제어 대한 기능으로 결정할 수 있다. 또한, 통합 처리부(150)는 음성 입력(1621)을 기초로, '라디오 채널 변경 기능'에 대한 파마리터로서 '채널 +2'를 결정할 수 있다.

도 16의 (b)는 멀티미디어 장치(210)가 통합 처리부(150)로부터 제공되는 통합 제어 명령에 따라 제어된 상태를 예시한다. 도 16의 (a)와 비교할 때, 라디오 안내 화면(1610)의 인디케이터(1611)를 통해 안내되는 라디오 주파수가 FM 98.1로 변경된 것을 확인할 수 있다. 즉, 멀티미디어 장치(210)는 통합 제어 명령에 따라, 총 6개의 라디오 주파수 중, 현재 라디오 주파수(즉, FM 89.1)를 기준으로 두번째에 앞에 위치하는 라디오 주파수의 채널을 선택할 수 있다.

도 16에 따르면, 사용자는 음성 입력(1621) 및 제스처 입력(1622)을 동시에 입력하여, 멀티미디어 장치(210)가 수신하는 라디오 주파수를 변경할 수 있다. 이는, 음성 입력(1621) 또는 제스처 입력(1622) 중 어느 하나만을 이용하는 경우에 비하여, 라디오 주파수를 신속하고 정확하게 증가시킬 수 있다.

한편, 도 9 내지 도 16에서는 주변 장치들(200) 중 멀티미디어 장치(210)와 공조 장치(220)를 기준으로 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 운전 보조 장치(100)는 음성 입력 및 제스처 입력을 기초로, 윈도우 구동 장치(230)의 앞쪽 사이드 윈도우 열림 기능 또는 뒤쪽 사이드 윈도우 닫힘 해제 기능 등을 제어할 수 있다. 다른 예를 들어, 운전 보조 장치는 음성 입력 및 제스처 입력을 기초로, 와이퍼 구동 장치(230)의 앞유리 와이퍼 속도 조절 기능, 뒷유리 와이퍼 속도 조절 기능 등을 제어할 수 있다. 그 밖에, 운전 보조 장치(100)는 차량(10)에 구비되는 기타의 주변 장치(200)에서 제공 가능한 기능을 선택적으로 제어할 수 있는 것으로 이해되어야 할 것이다.

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.

또한, 이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니라, 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수 있다.

10: 차량
100: 운전 보조 장치
200: 주변 장치

Claims (8)

1. 복수개의 주변 장치들이 구비된 차량에 장착되는 운전 지원 장치에 있어서,
   상기 차량에 탑승한 사용자의 음성 입력에 대응하는 제1 제어 명령을 생성하는 음성 인식부;
   상기 사용자의 제스처 입력에 대응하는 제2 제어 명령을 생성하는 모션 인식부; 및
   상기 음성 인식부 및 상기 모션 인식부와 연결되는 통합 처리부를 포함하고,
   상기 통합 처리부는,
   상기 제1 제어 명령 및 상기 제2 제어 명령을 기초로, 상기 차량에서 제공 가능한 복수의 기능들 중 어느 한 특정 기능에 대한 통합 제어 명령을 생성하고,
   상기 복수개의 주변 장치 중, 상기 특정 기능을 실행하는 적어도 하나의 주변 장치로 상기 통합 제어 명령을 제공하고,
   상기 제1 제어 명령의 생성 시점과 상기 제2 제어 명령의 생성 시점 사이의 간격이 기 설정된 제한 시간 내인 경우, 상기 제1 제어 명령 및 상기 제2 제어 명령을 기초로 상기 통합 제어 명령을 출력하고,
   상기 제1 제어 명령 및 제2 제어 명령 중 어느 하나는 상기 차량에서 제공 가능한 복수의 기능들 중 어느 한 특정 기능의 선택에 대한 것이고, 나머지 하나는 선택된 상기 특정 기능의 세부 파라미터 선택에 대한 것인,
   운전 지원 장치.
2. 제1항에 있어서,
   상기 통합 처리부는,
   상기 제1 제어 명령 및 상기 제2 제어 명령 중 어느 하나를 기초로, 상기 복수의 기능들 중 상기 특정 기능을 선택하고, 상기 제1 제어 명령 및 상기 제2 제어 명령 중 다른 하나를 기초로, 상기 특정 기능의 파라미터를 결정하며,
   상기 통합 제어 명령은,
   상기 복수개의 주변 장치들 중 적어도 하나가 상기 특정 기능을 상기 파라미터에 따라 실행하도록 지시하는 명령인, 운전 지원 장치.
3. 제1항에 있어서,
   상기 통합 처리부는,
   상기 제2 제어 명령을 기초로, 상기 제스처가 취해진 영역을 판단하고, 상기 제스처가 취해진 영역이 미리 정해진 3차원 영역 내인 경우, 상기 통합 제어 명령을 생성하는, 운전 지원 장치.
4. 제1항에 있어서,
   상기 통합 처리부는,
   상기 제2 제어 명령을 기초로, 상기 제스처의 손가락 개수를 판단하고, 상기 손가락 개수에 따라 상기 특정 기능의 파라미터를 결정하는, 운전 지원 장치.
5. 제1항에 있어서,
   상기 통합 처리부는,
   상기 제2 제어 명령을 기초로, 상기 제스처의 이동 방향 및 이동 거리를 판단하고, 상기 제스처의 이동 방향 및 이동 거리에 따라 상기 특정 기능의 파라미터를 결정하는, 운전 지원 장치.
6. 제1항에 있어서,
   상기 통합 처리부는,
   상기 제2 제어 명령을 기초로, 상기 제스처의 모양을 판단하고, 상기 제스처의 모양에 따라 상기 특정 기능의 파라미터를 결정하는, 운전 지원 장치.
7. 삭제
8. 제1항에 있어서,
   상기 복수개의 주변 장치들은 멀티미디어 장치를 포함하고,
   상기 통합 처리부는,
   상기 통합 제어 명령에 따른 상기 특정 기능의 실행 결과 정보를 상기 멀티미디어 장치에 구비된 디스플레이에 표시하는, 운전 지원 장치.

Images