KR20210000464A

KR20210000464A - Control system using gesture in vehicle

Info

Publication number: KR20210000464A
Application number: KR1020190075607A
Authority: KR
Inventors: 안성준; 김경훈; 이승환; 최명빈; 김태훈
Original assignee: 현대모비스 주식회사
Priority date: 2019-06-25
Filing date: 2019-06-25
Publication date: 2021-01-05

Abstract

The present invention relates to a control system using a gesture input in a vehicle and, more specifically, to a system for controlling the execution of a vehicle by receiving a gesture of a passenger of a vehicle. According to the present invention, the control system using a gesture input of a passenger of a vehicle comprises: an input unit receiving a gesture and voice of a user; a memory in which a control program using the gesture input in the vehicle is embedded; and a processor executing the control program. The processor transmits a device control command according to the gesture and voice of the user.

Description

Control system using in-vehicle gesture input {CONTROL SYSTEM USING GESTURE IN VEHICLE}

본 발명은 차량 내 제스처 입력을 이용한 제어 시스템에 관한 것으로, 보다 상세하게는 탑승자의 제스처를 입력 받아 차량의 기능 실행을 제어하는 시스템에 관한 것이다. The present invention relates to a control system using an in-vehicle gesture input, and more particularly, to a system for controlling the execution of functions of a vehicle by receiving a gesture of an occupant.

차량은 기본적인 주행 기능 외에도 오디오, 비디오, 내비게이션, 공조 제어, 조명 제어 등 사용자의 편의를 위한 부가적인 기능을 제공한다. In addition to basic driving functions, the vehicle provides additional functions for user convenience such as audio, video, navigation, air conditioning control, and lighting control.

이러한 기능을 수행하기 위해서 차량은 하드 키 방식, 터치 스크린 방식, 제스처 인식 방식 등으로 사용자로부터 동작 명령을 입력 받게 된다. In order to perform this function, the vehicle receives an operation command from a user using a hard key method, a touch screen method, a gesture recognition method, or the like.

차량용 제스처 인식 시스템은 머신 비전으로 데이터를 수집하고, 차량 내 휴먼 머신 인터페이스를 통해 차량 내 다양한 운전자 지원 기능을 조작하도록 하는 전자 시스템으로 정의된다. The vehicle gesture recognition system is defined as an electronic system that collects data through machine vision and manipulates various driver assistance functions in the vehicle through the human machine interface in the vehicle.

그런데, 종래 기술에 따른 차량용 제스처 인식 기술은 단순히 제스처를 입력 받고 해당 제스처에 대응되는 기능을 제공함에 그쳐, 운전자는 해당 기능을 실행하기 위한 제스처(예컨대, 에어컨의 온도 상승을 위해서는 손을 펴고 손을 아래에서 위로 올리고, 오디오의 볼륨 상승을 위해서는 검지와 중지를 펴고 손을 아래에서 위로 올리는 등)를 일일이 학습하여야 하여, 사용자 편의성이 떨어지는 문제점이 있고, 동일한 제스처에 대해 상황 별로 다른 입력 제어를 수행하는 것이 불가능한 문제점이 있다. However, the gesture recognition technology for a vehicle according to the prior art simply receives a gesture and provides a function corresponding to the gesture, so that the driver performs a gesture to execute the function (e.g., to increase the temperature of the air conditioner, open the hand and press the hand). In order to raise the volume of the audio from the bottom up, and to increase the volume of the audio, it is necessary to learn one by one (for example, stretching the index finger and middle finger and raising the hand from the bottom to the top), so there is a problem that the user's convenience is poor. There is a problem that it is impossible to do.

본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 음성 정보와 제스처 정보를 분석한 결과에 따라, 보다 다양한 기능을 실행하도록 하는 차량 내 제스처 입력을 이용한 제어 시스템을 제공하는데 그 목적이 있다. The present invention has been proposed to solve the above-described problem, and an object of the present invention is to provide a control system using an in-vehicle gesture input to execute more various functions according to a result of analyzing voice information and gesture information.

본 발명에 따른 차량 내 제스처 입력을 이용한 제어 시스템은 사용자의 제스처 및 음성을 수신하는 입력부와, 차량 내 제스처 입력을 이용한 제어 프로그램이 내장된 메모리 및 제어 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 사용자의 제스처 및 음성에 따라 기기 제어 명령을 전송한다. A control system using an in-vehicle gesture input according to the present invention includes an input unit for receiving a user's gesture and voice, a memory in which a control program using the in-vehicle gesture input is embedded, and a processor for executing a control program, and the processor is a user Sends device control commands according to the user's gesture and voice.

제스처 정보는 차 내에 배치된 3D 카메라를 통해 인식된다. Gesture information is recognized through a 3D camera placed in the vehicle.

프로세서는 사용자의 제스처를 통해 선택된 객체에 대한 정보를 제공한다. The processor provides information on the selected object through the user's gesture.

프로세서는 선택된 객체에 대한 정보를 영상 정보 또는 음성 정보로 표출시킨다. The processor displays information on the selected object as video information or audio information.

프로세서는 사용자의 제스처로부터 선택된 외부 객체에 대하여, 상기 음성에 대응되는 메시지를 전달한다. The processor transmits a message corresponding to the voice to an external object selected from the user's gesture.

프로세서는 외부 객체가 다른 차량인 경우, 음성에 대응되는 메시지와 함께 다른 차량의 기기를 제어하는 명령을 전송한다. When the external object is another vehicle, the processor transmits a command to control the device of the other vehicle together with a message corresponding to the voice.

프로세서는 제스처를 고려하여 차량 내 기기를 선택하고, 음성을 고려하여 선택된 차량 내 기기의 기능을 제어한다. The processor selects an in-vehicle device in consideration of a gesture and controls a function of the selected in-vehicle device in consideration of a voice.

프로세서는 음성을 고려하여 차량 내 기기를 선택하고, 제스처를 고려하여 선택된 차량 내 기기의 기능을 제어한다. The processor selects an in-vehicle device in consideration of voice, and controls a function of the selected in-vehicle device in consideration of a gesture.

본 발명의 실시예에 따르면, 운전자의 음성 인식에 따라 동일 제스처에 대해 상이한 기능을 제공하는 것이 가능한 효과가 있다. According to an embodiment of the present invention, it is possible to provide different functions for the same gesture according to the driver's voice recognition.

본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects that are not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템을 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 객체 선택 제스처를 나타내는 예시도이다.
도3은 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 객체 선택 제스처 및 음성 입력에 따른 제어를 나타내는 예시도이다.
도 4및 도 5는 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 기기 선택 제스처 및 음성 입력에 따른 제어를 나타내는 예시도이다.
도 6은 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 접촉 상태 스와이프 제스처 입력에 대한 예시도이다.
도 7은 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 비접촉 상태 스와이프 제스처 입력에 대한 예시도이다.
도 8은 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 블록도이다.
도 9는 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 운전자 감정 상태에 따른 제스처 입력 제어를 나타내는 예시도이다.
도 10은 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 보행자 안내 표시를 위한 제스처 입력을 나타내는 예시도이다.
도 11은 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 보행자를 향한 문구 표시를 나타내는 예시도이다.
도 12는 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 주변 차량을 향한 경고 표시를 나타내는 예시도이다.
도 13은 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 보행자 미감지 시 제스처 입력에 따른 제어를 나타내는 예시도이다.
도 14는 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 주변 차량을 향한 외부 커뮤니케이션을 위한 제스처 입력을 나타내는 예시도이다.
도 15는 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 주변 차량을 향한 외부 커뮤니케이션의 양태로서 문구 표출을 나타내는 예시도이다.
도 16은 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 윈드실드 내 영상이 겹쳐진 상황에서 운전자의 선택 제스처 및 음성 입력을 나타내는 예시도이다.
도 17은 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 운전자의 선택 제스처 및 음성 입력에 따른 정보 표출과 영상 이동을 나타내는 예시도이다.
도 18은 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 영상 영역 복귀를 나타내는 예시도이다. 1 is a block diagram illustrating a control system using an in-vehicle gesture input according to an embodiment of the present invention.
2 is an exemplary diagram illustrating an object selection gesture of a control system using an in-vehicle gesture input according to an embodiment of the present invention.
3 is an exemplary view showing an object selection gesture and control according to a voice input in a control system using an in-vehicle gesture input according to an embodiment of the present invention.
4 and 5 are exemplary diagrams illustrating control according to a device selection gesture and a voice input of a control system using an in-vehicle gesture input according to an embodiment of the present invention.
6 is an exemplary diagram illustrating a swipe gesture input of a contact state of a control system using an in-vehicle gesture input according to another embodiment of the present invention.
7 is an exemplary diagram for a non-contact swipe gesture input of a control system using an in-vehicle gesture input according to another embodiment of the present invention.
8 is a block diagram of a control system using an in-vehicle gesture input according to another embodiment of the present invention.
9 is an exemplary diagram illustrating gesture input control according to a driver's emotional state in a control system using an in-vehicle gesture input according to another embodiment of the present invention.
10 is an exemplary diagram illustrating a gesture input for displaying a pedestrian guide by a control system using an in-vehicle gesture input according to another embodiment of the present invention.
FIG. 11 is an exemplary diagram showing a text display for a pedestrian in a control system using an in-vehicle gesture input according to another embodiment of the present invention.
12 is an exemplary view showing a warning display for a nearby vehicle of a control system using an in-vehicle gesture input according to another embodiment of the present invention.
13 is an exemplary view showing control according to a gesture input when a pedestrian is not detected in a control system using an in-vehicle gesture input according to another embodiment of the present invention.
14 is an exemplary view showing a gesture input for external communication to a nearby vehicle of a control system using an in-vehicle gesture input according to another embodiment of the present invention.
FIG. 15 is an exemplary diagram illustrating expression of a phrase as an aspect of external communication to a surrounding vehicle of a control system using an in-vehicle gesture input according to another embodiment of the present invention.
16 is an exemplary diagram illustrating a driver's selection gesture and a voice input in a situation in which images in a windshield of a control system using an in-vehicle gesture input according to another embodiment of the present invention are overlapped.
17 is an exemplary view showing information display and image movement according to a driver's selection gesture and voice input in a control system using an in-vehicle gesture input according to another embodiment of the present invention.
18 is an exemplary view showing an image region return of a control system using an in-vehicle gesture input according to another embodiment of the present invention.

본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. The above-described objects and other objects, advantages, and features of the present invention, and methods of achieving them will become apparent with reference to the embodiments described below in detail together with the accompanying drawings.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in a variety of different forms, and only the following embodiments are for the purpose of the invention to those of ordinary skill in the art, It is only provided to easily inform the composition and effect, and the scope of the present invention is defined by the description of the claims.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.Meanwhile, terms used in the present specification are for explaining embodiments and are not intended to limit the present invention. In this specification, the singular form also includes the plural form unless specifically stated in the phrase. As used in the specification, "comprises" and/or "comprising" refers to the presence of one or more other components, steps, actions and/or elements in which the recited component, step, operation and/or element is Or does not preclude addition.

도 1은 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템을 나타내는 블록도이다. 1 is a block diagram illustrating a control system using an in-vehicle gesture input according to an embodiment of the present invention.

본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템은 사용자의 제스처 및 음성을 수신하는 입력부(110)와, 차량 내 제스처 입력을 이용한 제어 프로그램이 내장된 메모리(120) 및 제어 프로그램을 실행시키는 프로세서(130)를 포함하고, 프로세서(130)는 사용자의 제스처와 음성에 따라 기기 제어 명령을 전송한다.A control system using in-vehicle gesture input according to an embodiment of the present invention executes an input unit 110 for receiving a user's gesture and voice, a memory 120 in which a control program using in-vehicle gesture input is embedded, and a control program. Including a processor 130, the processor 130 transmits a device control command according to the user's gesture and voice.

프로세서(130)는 사용자의 제스처를 통해 선택된 객체에 대한 정보를 제공한다. The processor 130 provides information on an object selected through a user's gesture.

프로세서(130)는 선택된 객체에 대한 정보를 영상 정보 또는 음성 정보로 표출시킨다. The processor 130 displays information on the selected object as image information or audio information.

프로세서(130)는 사용자의 제스처로부터 선택된 외부 객체에 대하여, 상기 음성에 대응되는 메시지를 전달한다. The processor 130 transmits a message corresponding to the voice to an external object selected from a user's gesture.

프로세서(130)는 외부 객체가 다른 차량인 경우, 음성에 대응되는 메시지와 함께 다른 차량의 기기를 제어하는 명령을 전송한다. When the external object is another vehicle, the processor 130 transmits a command for controlling a device of the other vehicle together with a message corresponding to a voice.

프로세서(130)는 제스처를 고려하여 차량 내 기기를 선택하고, 음성을 고려하여 선택된 차량 내 기기의 기능을 제어한다. The processor 130 selects an in-vehicle device in consideration of a gesture and controls a function of the selected in-vehicle device in consideration of voice.

프로세서(130)는 음성을 고려하여 차량 내 기기를 선택하고, 제스처를 고려하여 선택된 차량 내 기기의 기능을 제어한다. The processor 130 selects an in-vehicle device in consideration of voice and controls a function of the selected in-vehicle device in consideration of a gesture.

도 2는 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 객체 선택 제스처를 나타내는 예시도이다. 2 is an exemplary diagram illustrating an object selection gesture of a control system using an in-vehicle gesture input according to an embodiment of the present invention.

도 2를 참조하면, 운전자는 손(H)을 이용하여 차량 주변의 관심 객체를 선택하는 제스처를 입력한다. Referring to FIG. 2, the driver inputs a gesture of selecting an object of interest around the vehicle using a hand H.

예컨대, 차량 주변에는 다른 차량(C), 보행자(P), 교통표지판, 건물 등이 존재하게 되는데, 운전자는 손(H)을 이용하여 외부의 객체를 선택하는 제스처를 행하며, 또한, 운전자의 시선 정보를 트랙킹하여 외부 객체를 선택하는 것 역시 가능하다. For example, there are other vehicles (C), pedestrians (P), traffic signs, and buildings around the vehicle, and the driver makes a gesture to select an external object using the hand (H), and also, the driver's gaze It is also possible to select external objects by tracking information.

본 실시예에 따르면, 프로세서(130)는 운전자의 손을 이용한 가상 제스처 선택에 따라, 선택된 전방 차량(C)의 정보(속도, 차종, 차량번호, 타 차량 공유 메시지 정보)를 표시하도록 제어하며, 이러한 전방 차량의 정보는 AVN 화면, 클러스터 게이지, HUD, 윈드실드 글라스 등 다양한 영역에 표시된다. According to this embodiment, the processor 130 controls to display information (speed, vehicle type, vehicle number, other vehicle sharing message information) of the selected front vehicle C according to a virtual gesture selection using a driver's hand, The information of the vehicle in front is displayed on various areas such as AVN screen, cluster gauge, HUD, and windshield glass.

프로세서(130)는 운전자의 손을 이용한 가상 제스처 선택에 따라, 선택된 보행자의 정보(움직임, 도로 접근 상황), 선택된 건물의 정보(이름, 입점 업체, 편의시설), 선택된 교통 표지판의 정보를 표시하도록 제어하며, 이러한 정보들은 전술한 바와 같이 다양한 영역에 표시된다. The processor 130 displays information of a selected pedestrian (movement, road access situation), information of a selected building (name, location company, convenience facility), and information of a selected traffic sign according to a virtual gesture selection using a driver's hand. Control, and such information is displayed in various areas as described above.

입력부(110)는 운전자의 제스처뿐 아니라 운전자의 발화 음성을 수신하고, 프로세서(130)는 선택된 객체(사물, 차량, 기타)에게 음성 수신에 따라 메시지를 전달한다. The input unit 110 receives not only the driver's gestures but also the driver's speech voice, and the processor 130 transmits a message to the selected object (object, vehicle, etc.) according to the voice reception.

예컨대, 도 3을 참조하여, 전방 차량(C)의 후미등이 고장난 상태임을 예를 들어 설명한다. For example, referring to FIG. 3, it will be described by way of example that the tail light of the front vehicle C is in a broken state.

입력부(110)는 운전자의 손(H)이 전방 차량(C)를 선택하였음에 대한 객체 선택 정보를 수신하고, 운전자의 음성인 "후미등이 고장났어요"라는 음성 정보를 수신한다. The input unit 110 receives object selection information indicating that the driver's hand H has selected the front vehicle C, and receives the driver's voice, “The rear light is broken”.

프로세서(130)는 운전자의 제스처와 음성에 따라, 해당 객체인 전방 차량(C)으로 후미등 고장에 대한 알림을 전송하는데, 이러한 알림은 V2V를 통해 전방 차량의 윈드실드나 AVN을 통해 제공된다. The processor 130 transmits a notification about a failure of the tail light to the corresponding object, the front vehicle C, according to the driver's gesture and voice, and this notification is provided through the windshield or AVN of the vehicle in front through V2V.

또는, 전술한 알림은 차량의 외부 커뮤니케이션 장치(예: 텍스트를 표출하는 디스플레이)를 통해 해당 차량(C)의 운전자가 인지할 수 있도록, 차량이 해당 차량을 추월하는 경우, 차량의 후면에 배치된 외부 커뮤니케이션 장치를 통해 후미등 고장을 알리는 텍스트 메시지를 표출하고, 차량이 해당 차량과 나란히 달리는 경우, 차량의 타 차량 방향 측면에 배치된 외부 커뮤니케이션 장치를 통해 후미등 고장을 알리는 텍스트 메시지를 표출한다. Alternatively, the above-described notification is arranged on the rear side of the vehicle when the vehicle passes the vehicle so that the driver of the vehicle C can recognize it through an external communication device of the vehicle (eg, a display displaying text). A text message notifying the failure of the tail light is displayed through an external communication device, and when the vehicle is running in parallel with the vehicle, a text message indicating the failure of the tail light is displayed through an external communication device arranged on the side of another vehicle of the vehicle.

예를 들어, 차량(C)이 야간 주행 상황에서 전조등을 켜지 않고 주행하고 있는 경우이고, 입력부(110)를 통해 해당 차량(C)을 선택하는 제스처와 함께 "램프 켜고 안전운전하세요"라는 음성이 입력된 경우, 해당 음성에 관한 텍스트 메시지가 전술한 외부 커뮤니케이션 장치를 통해 표출되거나, V2V를 통해 전방 차량으로 알림이 제공된다. For example, when the vehicle (C) is driving without turning on the headlight in a night driving situation, a gesture to select the vehicle (C) through the input unit 110 and a voice saying "Turn on the lamp and drive safely" When input, a text message related to the voice is displayed through the above-described external communication device, or a notification is provided to the vehicle in front through V2V.

또한, 전방 해당 차량(C)이 좌우로 휘청거리며 졸음운전인 것으로 의심되는 경우, 입력부(110)는 운전자의 손(H)이 해당 차량(C)을 선택함에 대한 제스처 정보를 입력받고, 음성 정보로서 "조심하세요"를 입력 받는다. In addition, when it is suspected that the vehicle C in front of the vehicle (C) is wheezing from side to side and is a drowsy driving, the input unit 110 receives gesture information for the driver's hand (H) to select the vehicle (C), and voice information "Be careful" is entered as

이 때, 프로세서(130)는 긴박한 상황임에 따라, 전방 차량으로 졸음 운전을 하지 말라는 운전자의 음성 정보에 기반한 메시지를 V2V로 전송하고, 이러한 메시지는 수신한 전방 차량으로 하여금 시트 진동 등을 일으켜 전방 차량의 운전자에게 알람을 제공한다. At this time, the processor 130 transmits a message based on the voice information of the driver not to do drowsy driving in the vehicle in front, to the V2V, and this message causes the received vehicle in front to vibrate the seat and Provides an alarm to the vehicle's driver.

또한, 프로세서(130)는 전술한 바와 같이, 운전자의 제스처와 음성에 따라, 해당 차량(C)으로 졸음 운전을 하지 말라는 알림 메시지를 텍스트 메시지로서, 외부 커뮤니케이션 장치를 통해 표출하도록 제어한다. In addition, as described above, the processor 130 controls to display a notification message notifying that the vehicle C is not drowsy, according to the driver's gesture and voice, as a text message, through an external communication device.

입력부(110)를 통해 차량 주변의 건물을 선택하는 제스처와 함께 "OO시에 XX명 예약해주세요"라는 운전자의 음성이 입력된 경우, 프로세서(130)는 해당 지점으로 예약 메시지를 전달한다. When the driver's voice "Please reserve XX people at OO" is input with a gesture of selecting a building around the vehicle through the input unit 110, the processor 130 transmits a reservation message to the corresponding point.

입력부(110)를 통해 차량 주변의 건물을 선택하는 제스처가 입력되면, 프로세서(130)는 해당 건물의 전화 번호 정보를 표출시키고, 운전자의 음성 또는 제스처에 의해 전화 연결에 대한 요청이 수신되면, 해당 전화번호로 전화 발신 처리한다. When a gesture for selecting a building around the vehicle is input through the input unit 110, the processor 130 displays information on the phone number of the corresponding building, and when a request for telephone connection is received by the driver's voice or gesture, the corresponding Handles outgoing calls to phone numbers.

입력부(110)를 통해 교통표지판을 선택하는 제스처와 함께 "교통사고, 119신고"라는 운전자의 음성이 입력된 경우, 프로세서(130)는 119 관제센터로 사고 신고 메시지를 전송하고, 이 때 운전자가 교통표지판을 선택한 제스처 정보에 따라, 교통표지판의 정보를 포함하는 사고 신고 메시지를 전송함으로써, 안전/위급상황에 대한 정보를 전달한다. When the driver's voice “traffic accident, 119 report” is input together with a gesture of selecting a traffic sign through the input unit 110, the processor 130 transmits an accident report message to the 119 control center, and at this time, the driver Information on safety/emergency situations is transmitted by transmitting an accident report message including information on the traffic sign according to the gesture information selected for the traffic sign.

입력부(110)를 통해 차량 주변의 무단횡단을 하는 보행자(P)가 선택되고, 그와 함께 "무단횡단 하지 마세요"라는 운전자의 음성이 입력된 경우, 프로세서(130)는 해당 보행자에게 해당 메시지를 외부 커뮤니케이션 장치를 통해 텍스트 메시지로 표출한다. When a pedestrian (P) crossing the vehicle around the vehicle is selected through the input unit 110 and a driver's voice saying "Do not cross the street" is input, the processor 130 transmits a corresponding message to the pedestrian. It is expressed as a text message through an external communication device.

프로세서(130)는 음성 정보 저장 및 판단을 통해, 운전자와 동승자 중 발화자를 구분 인식하고, 송부 메시지의 중요도를 분류한다. The processor 130 distinguishes and recognizes the speaker among the driver and passengers through the storage and determination of voice information, and classifies the importance of the transmitted message.

발화자가 운전자인지 동승자인지 여부에 따라 중요도 및 알람 제어가 달라지며(동승자 내용 필터링), 운전자로부터 동승자로 중요도와 관련하여 권한이 이양됨에 따라 메시지를 전달하는 것이 가능하다. The importance and alarm control are different depending on whether the talker is a driver or a passenger (passenger content filtering), and messages can be delivered as the authority is transferred from the driver to the passenger in relation to the importance.

또한, 프로세서(130)는 음성을 통한 공통의 공유 메시지를 전달함으로써, 전방 도로 상황 등 정보에 대해 타 차량의 확인이 가능하도록 한다. In addition, the processor 130 transmits a common shared message through voice, so that other vehicles can check information such as road conditions ahead.

도 4및 도 5는 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 기기 선택 제스처 및 음성 입력에 따른 제어를 나타내는 예시도이다. 4 and 5 are exemplary diagrams illustrating control according to a device selection gesture and a voice input of a control system using an in-vehicle gesture input according to an embodiment of the present invention.

프로세서(130)는 입력부(110)가 수신한 운전자의 제스처에 따라, 에어제스처/에어터치 기능을 기본적으로 제공하도록 제어한다. The processor 130 controls the input unit 110 to basically provide an air gesture/air touch function according to the driver's gesture received.

이는 버튼 클릭, 모드 실행 등 기본 제스처 동작에 관한 것으로, 화면 내 표현된 버튼, 모드 선택 및 실행을 포함한다. This relates to basic gesture operations such as button click and mode execution, and includes buttons displayed in the screen and mode selection and execution.

입력부(110)는 사용자의 제스처가 가리키는 차량 내 기기에 관한 정보를 수신하고, 그와 함께 사용자의 음성 정보를 수신한다. The input unit 110 receives information on the in-vehicle device indicated by the user's gesture, and receives voice information of the user along with the information.

프로세서(130)는 입력부(110)가 수신한 제스처에 따라 선택된 차량 내 기기에 관한 정보 및 사용자의 음성 정보를 고려하여, 음성 정보에 따른 동작을 실행한다(숏컷 기능, 퀵 실행). The processor 130 executes an operation according to the voice information in consideration of information on the in-vehicle device selected according to the gesture received by the input unit 110 and the voice information of the user (shortcut function, quick execution).

도 4에 도시된 바와 같이, 입력부(110)가 사용자의 손(H) 제스처에 따라(t1→t2) 공조기(600) 영역에 대한 선택인 것을 수신하고, 사용자의 음성(예: 바람세기와 관련한 강하게, 약하게/ 풍향과 관련한 상, 하, 좌, 우/ 공조 모드에 관련한 에어컨, 온도 등)을 수신하면, 프로세서(130)는 사용자의 손이 가리키는 영역에 해당하는 차량 내 기기인 공조기에 대한 동작 실행을 제어한다. As shown in FIG. 4, the input unit 110 receives a selection for the air conditioner 600 region according to the user's hand (H) gesture (t1 → t2), and the user's voice (e.g., Strongly, weakly/Up, down, left, right/air conditioner related to the air conditioning mode, temperature, etc. related to the wind direction), the processor 130 operates on the air conditioner, which is an in-vehicle device corresponding to the area indicated by the user's hand. Control the execution.

도 5에 도시된 바와 같이, 입력부(110)가 사용자의 손(H) 제스처에 따라(t1→t2) 네비게이션(400) 영역에 대한 선택인 것을 수신하고, 사용자의 음성(예: "목적지")을 수신하면, 프로세서(130)는 목적지 검색 화면으로 이동하거나, 목적지 검색 리스트를 표출하거나, 목적지를 자동 설정하는 등의 동작 실행을 제어한다. As shown in FIG. 5, the input unit 110 receives the selection for the navigation 400 area according to the user's hand (H) gesture (t1 → t2), and the user's voice (eg, "destination") Upon receiving, the processor 130 controls execution of an operation such as moving to a destination search screen, displaying a destination search list, or automatically setting a destination.

입력부(110)가 사용자의 손(H) 제스처에 따라(t1→t2) 오디오 기기 영역에 대한 선택인 것을 수신하고, 사용자의 음성(예: 음원 제목, 가수, 장르 등)을 수신하면, 프로세서(130)는 사용자의 음성에 따라 음원 검색 화면으로 이동하거나, 음원 검색 리스트를 표출하거나, 음악을 자동 플레이하도록 동작 실행을 제어한다. When the input unit 110 receives the selection for the audio device region according to the user's hand (H) gesture (t1 → t2) and receives the user's voice (eg, sound source title, singer, genre, etc.), the processor ( 130) controls the execution of an operation to move to a sound source search screen, display a sound source search list, or automatically play music according to the user's voice.

프로세서(130)는 운전자의 제스처와 운전자의 음성을 함께 고려하여 기기의 실행을 제어하므로, 동일한 제스처라고 하더라도 운전자의 상이한 음성 입력에 따라 상이한 기능 실행 제어가 가능하다. Since the processor 130 controls the execution of the device by considering the driver's gesture and the driver's voice together, it is possible to control execution of different functions according to different voice inputs of the driver even with the same gesture.

예컨대, 운전자가 "볼륨"이라고 하며 손을 아래에서 위로 올리는 제스처를 수행한 경우, 프로세서는 오디오 기기의 음량을 높이도록 실행 제어하고, 운전자가 "바람"이라고 하며 손을 아래에서 위로 올리는 제스처를 수행한 경우, 프로세서(130)는 공조기 기기의 풍량을 세게 하도록 실행 제어한다. For example, if the driver performs a gesture of raising his hand from bottom to top, which is called "volume", the processor controls execution to increase the volume of the audio device, and the driver performs a gesture of raising his hand from bottom to top called "wind". In one case, the processor 130 performs execution control to increase the air volume of the air conditioner device.

또한, 운전자가 "화면"이라고 하며 손을 아래에서 위로 올리는 제스처를 수행한 경우, 프로세서(130)는 화면의 밝기를 밝게 하도록 실행 제어한다. In addition, when the driver performs a gesture of raising his hand from the bottom to the top, which is referred to as "screen", the processor 130 performs execution control to brighten the brightness of the screen.

또한, 운전자가 "내비게이션"이라고 하며 손을 아래에서 위로 올리는 제스처를 수행한 경우, 프로세서(130)는 지도 화면에 대한 확대를 수행한다. In addition, when the driver performs a gesture of raising his hand from the bottom to the top, which is referred to as "navigation", the processor 130 magnifies the map screen.

프로세서(130)는 운전자의 제스처가 검지 손가락으로 입술에 갖다 대는 것이고, 운전자의 음성이 "쉿"인 경우, AVN에서 송출되는 사운드에 대해 음소거시킨다. The processor 130 mutes the sound transmitted from the AVN when the driver's gesture is touching the lips with the index finger and the driver's voice is "shhh".

또한, 주 기능이 겹쳤을 때에는 특정 제스처를 통한 숏컷(short cut)기능 제공이 가능한데, AVN에서 사운드가 송출되는 중(라디오, 음악 감상 등), 전화가 왔을 때 제스처를 통해 수신되는 전화를 거절하는 것이 가능하다. In addition, when the main functions are overlapped, it is possible to provide a short cut function through a specific gesture. While sound is being transmitted from AVN (radio, listening to music, etc.), when a call is received, the incoming call is rejected through the gesture. It is possible.

또한, 프로세서(130)는 운전자가 "뮤직" 음성을 발화하고 특정 제스처를 입력시키는 경우, 제스처에 따라 컨텐츠/메뉴/재생 리스트 등을 서칭(드래그)하고, "OK, 정지, 스톱"등 운전자의 발화 시 해당 음원의 위치 또는 범위 내에 선택창을 정지시킨다. In addition, when the driver utters a “music” voice and inputs a specific gesture, the processor 130 searches (drags) contents/menus/playlists, etc. according to the gesture, and performs “OK, stop, stop”, etc. of the driver. When speaking, the selection window is stopped within the location or range of the sound source.

또한, 프로세서(130)는 운전자가 음악 감상 중 긍정의 언어(예: 좋다, 최고다 등)와 함께 엄지 손가락을 드는 제스처를 취한 경우, 음악에 대한 정보를 저장하고, 음원을 다운로드 받으며, 플레이스트에 추가시키고, 차량 내 SNS를 통해 긍정적인 피드백을 보내는 등의 절차를 수행한다. In addition, the processor 130 stores information about music, downloads a sound source, and plays music when the driver makes a gesture of raising a thumb together with a positive language (eg, good, best, etc.) while listening to music. Add it to and send a positive feedback through the in-vehicle SNS.

프로세서(130)는 제스처와 다른 입력 정보(터치, 음성, 주변 환경 등)를 통해 선택된 영상(예: 윈드쉴드 디스플레이 내 엔터테인먼트)을 타 기기(휴대단말, 2열 승객 디스플레이, 타 차량)으로 전송한다. The processor 130 transmits an image (eg, entertainment in the windshield display) selected through gestures and other input information (touch, voice, surrounding environment, etc.) to another device (mobile terminal, second row passenger display, other vehicle). .

이 때, 2열 승객 디스플레이로 영상 전송 시, 화면을 그대로 전송하고, 휴대단말로 전송 시 화면 사이즈를 고려하여 필수 정보를 추출하여 수정된 영상을 전송한다. At this time, when the image is transmitted to the second-row passenger display, the screen is transmitted as it is, and when transmitted to the mobile terminal, essential information is extracted in consideration of the screen size and the modified image is transmitted.

타 차량 전송 시, V2X 통신으로 전송하되, 교통 혼잡 지역에서의 혼잡 제어를 고려하여 전송한다. When transmitting other vehicles, it is transmitted through V2X communication, but is transmitted in consideration of congestion control in a congested area.

이 때, 패킷 유실률이 높을 시 미전송하고, 안전 관련 정보만을 전송한다. In this case, when the packet loss rate is high, it is not transmitted, and only safety-related information is transmitted.

프로세서는 영상 정보 자체를 전송하지 않고, 제스처 심볼만을 전송하며, 수신 디바이스에서 제스처 심볼에 따른 후속 기능 제어를 처리함으로써 데이터 패킷량을 감소시킨다. The processor does not transmit the image information itself, but transmits only the gesture symbol, and reduces the amount of data packets by processing subsequent function control according to the gesture symbol in the receiving device.

도 6 및 도 7을 참조하면, 본 발명의 다른 실시예에 다른 따른 차량 내 제스처 입력을 이용한 제어 시스템은 사용 양태에 따라 동일한 사용자의 제스처에 대해 상이한 기능을 실행시킨다. 6 and 7, a control system using an in-vehicle gesture input according to another embodiment of the present invention executes different functions for a gesture of the same user according to a usage mode.

본 발명의 다른 실시예에 다른 따른 차량 내 제스처 입력을 이용한 제어 시스템은 사용자의 제스처를 수신하는 입력부와, 차량 내 제스처 입력을 이용한 제어 프로그램이 내장된 메모리 및 제어 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 사용 양태에 따라 동일한 사용자의 제스처에 대해 상이한 기능을 실행하도록 하는 명령을 전송한다. A control system using an in-vehicle gesture input according to another embodiment of the present invention includes an input unit for receiving a user's gesture, a memory in which a control program using in-vehicle gesture input is embedded, and a processor for executing a control program, The processor sends instructions to perform different functions for the same user's gesture according to the usage aspect.

본 발명의 다른 실시예에 따른 입력부는 3D 카메라(ToF, 스트럭쳐, 스테레오, DSM-Driver Status Monitoring 카메라 등)가 사용자(운전자, 동승자)의 제스처 동작을 감지한 정보를 입력 받고, 사용자의 제스처에 수반되는 작동 상태(사용 양태)를 수신한다. The input unit according to another embodiment of the present invention receives information on which a 3D camera (ToF, structure, stereo, DSM-Driver Status Monitoring camera, etc.) detects a gesture of a user (driver, passenger), and accompanies the user's gesture Receive the operating state (mode of use) to be performed.

프로세서는 사용자의 제스처에 수반되는 작동 상태를 포함하는 사용 양태에 따라, 동일 제스처에 대해 상이한 차량 내 기능을 실행하도록 하는 명령을 전송한다. The processor transmits instructions to execute different in-vehicle functions for the same gesture, according to a usage aspect including an operating state accompanying the user's gesture.

터치 패드(300) 또는 암래스트 접촉 상태는 사용자의 제스처에 수반되는 작동 상태의 일례이다. The touch pad 300 or the armlast contact state is an example of an operation state accompanying a user's gesture.

도 6은 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 접촉 상태 스와이프 제스처 입력에 대한 예시도이고, 도 7은 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 비접촉 상태 스와이프 제스처 입력에 대한 예시도이다. 6 is an exemplary diagram illustrating a swipe gesture input of a contact state of a control system using an in-vehicle gesture input according to an embodiment of the present invention, and FIG. 7 is a control system using an in-vehicle gesture input according to an embodiment of the present invention. It is an exemplary diagram for a non-contact state swipe gesture input.

이 때, 도 6 및 도 7에 도시된 바와 같이, 스와이프 제스처 입력은 사용자가 오른손을 이용하여 왼쪽에서 오른쪽으로 스와이프(t1→t2)하는 제스처인 것으로 가정한다. In this case, as shown in FIGS. 6 and 7, it is assumed that the swipe gesture input is a gesture in which the user swipes from left to right using a right hand (t1→t2).

도 6을 참조하면, 윈드실드 영역은 제1 영역(A1) 및 제2 영역(A2)을 포함한다. Referring to FIG. 6, the windshield area includes a first area A1 and a second area A2.

도 6에 도시한 바와 같이, 사용자가 터치패드(300)에 팔을 접촉한 상태에서 오른손을 왼쪽에서 오른쪽으로 스와이프하는 제스처를 입력하는 경우, 입력부는 카메라에 의해 획득된 사용자의 제스처 동작과 관련된 정보를 수신하고 터치패드에 의해 획득된 팔의 거치 상태와 관련된 정보를 수신한다. As shown in FIG. 6, when the user inputs a gesture of swiping the right hand from left to right while touching the touch pad 300 with the arm, the input unit is related to the user's gesture motion acquired by the camera. It receives information and receives information related to the arm's mounting state obtained by the touch pad.

프로세서는 해당 제스처 및 팔의 거치 상태에 대응되는 동작 명령으로써, 영상의 표출 영역을 제1 영역에서 제2 영역으로 이동(A1→A2)시키는 명령을 전송한다. The processor transmits a command for moving (A1→A2) an image display area from the first area to the second area as an operation command corresponding to the gesture and the arm's mounting state.

예컨대, 도 6에 도시한 바와 같이, 터치패드(300)의 접촉 상태에서 기설정된 스와이프 제스처 입력 시, 네비게이션 화면을 제1 영역(A1)에서 제2 영역(A2)으로 이동시키는 것이 가능하다. For example, as shown in FIG. 6, when a preset swipe gesture is input in a contact state of the touch pad 300, it is possible to move the navigation screen from the first area A1 to the second area A2.

도 7을 참조하면, 사용자가 터치패드(300)에 팔을 접촉하지 않은 상태에서 오른손을 왼쪽에서 오른쪽으로 스와이프(t1→t2)하는 제스처를 입력하는 경우, 입력부는 카메라에 의해 획득된 사용자의 제스처 동작과 관련된 정보를 수신하고 터치패드(300)에 의해 획득된 팔의 거치 상태와 관련된 정보를 수신한다. Referring to FIG. 7, when a user inputs a gesture of swiping a right hand from left to right (t1 → t2) without touching an arm to the touch pad 300, the input unit Receives information related to a gesture operation and receives information related to a mounting state of an arm obtained by the touch pad 300.

프로세서는 해당 제스처를 통해, 현재 제1 영역(A1)에서 디스플레이되고 있는 영상 콘텐츠에 대해 "뒤로 가기" 명령을 전송한다. The processor transmits a "backward" command to the image content currently being displayed in the first area A1 through the gesture.

예컨대, 제1 영역(A1)에 영화 콘텐츠가 표출되고 있고, 해당 영화 콘텐츠에 대한 재생(▶), 일시 정지(ll), 뒤로 가기(<<), 앞으로 가기(>>), 정지(■) 중, 해당 스와이프 제스처에 대응되는 기능인 "뒤로 가기" 명령을 전송하고, 해당 콘텐츠에 대해 재생 시점을 변경시킨다(예: 현재 1:00:04→ 스와이프 동작에 따라 재생 시간을 10초 앞인 0:59:54로 변경). For example, movie content is displayed in the first area (A1), and play (▶), pause (ll), go back (<<), go forward (>>), and stop (■) for the movie content. In the middle, it transmits a "backward" command, which is a function corresponding to the swipe gesture, and changes the playback timing for the content (eg, 1:00:04 → 0, which is 10 seconds ahead of the playback time according to the swipe operation). :59:54).

본 발명의 다른 실시예에 따르면, 운전자의 스와이프 동작이 시작되는 지점과 종료되는 지점 사이의 거리를 고려하여, "뒤로 가기"의 기능을 상이하게 제공할 수 있다(예컨대, 스와이프 동작을 10cm로 짧게 하는 경우 10초 뒤로 가기, 스와이프 동작을 30cm로길게 하는 경우 30초 뒤로 가기 등).According to another embodiment of the present invention, in consideration of the distance between the starting point and the ending point of the driver's swipe operation, a function of "backward" may be provided differently (e.g., a swipe operation of 10 cm If you shorten it, go back 10 seconds, if you shorten the swipe motion to 30 cm, go back 30 seconds, etc.)

즉, 본 발명의 다른 실시예에 따르면 사용자 제스처에 수반되는 작동 상태(예: 터치패드에 대한 터치 여부)에 따라, 동일한 제스처(오른손을 왼쪽에서 오른쪽으로 스와이프하는 제스처)에 대해 상이한 기능 제공(터치패드 접촉 시에는 영상이 표출되는 영역을 이동하는 기능 제공, 터치패드 비접촉 시에는 영상 콘텐츠의 재생 시점을 이동하는 기능 제공)이 가능하다. That is, according to another embodiment of the present invention, different functions are provided for the same gesture (a gesture of swiping the right hand from left to right) according to the operation state (eg, whether a touch pad is touched) accompanying the user gesture ( When the touch pad is in contact, the function of moving the area where the image is displayed is provided, and when the touch pad is not contacted, the function of moving the playback time of the video content is possible.

본 발명의 다른 실시예에 따른 프로세서는 사용자의 손 위치와 팔 거치 형태에 따라 제스처 입력에 따른 제어를 상이하게 수행하는데, 예컨대 터치패드에 손이 닿은 경우 터치에 대한 우선 조작권을 부여하고, 터치패드로부터 손이 떨어져 있을 경우 제스처에 따른 조작을 수행한다. The processor according to another embodiment of the present invention performs control according to a gesture input differently according to the position of the user's hand and the shape of the arm mounting. For example, when a hand touches a touch pad, priority manipulation is given to the touch, and the touch When the hand is away from the pad, it operates according to the gesture.

본 발명의 다른 실시예에 따르면 터치패드 또는 암래스트 접촉 여부에 따라 제스처 인식 컨셉이 변화되는데, 예컨대 IVI 영역에 대한 제스처 입력 시, 콘솔부 터치패드 또는 암래스트에 팔꿈치를 기댄 채로 조작을 하는 경우, 지정된 손 모양의 동작에 대한 에어제스처를 인식하고, 그에 대응되는 시스템 동작 명령을 전송한다. According to another embodiment of the present invention, the concept of gesture recognition is changed depending on whether the touch pad or the armlast is contacted. For example, when a gesture is input for the IVI area, the operation is performed while the elbow is leaning against the touchpad or armlast of the console unit, Recognizes the air gesture for a designated hand-shaped motion and transmits a system operation command corresponding thereto.

이 때, 시스템 동작 명령으로는 IVI 디스플레이 영역 화면 전환, 모드 선택, 타 차량 보조 기능 실행 등이 포함된다. At this time, system operation commands include switching the screen of the IVI display area, selecting a mode, and executing other vehicle auxiliary functions.

본 발명의 다른 실시예에 따르면, 접촉 상태에서 비접촉 상태로 변경되는 경우, UI가 변화되며 가상 터치(에어 터치)에 따른 조작 제스처를 인식한다. According to another embodiment of the present invention, when changing from a contact state to a non-contact state, the UI is changed and a manipulation gesture according to a virtual touch (air touch) is recognized.

사용자는 윈드실드(Head Up Display, 대화면 디스플레이 등) 또는 다른 아이템 조작을 위해 팔을 들어 비접촉 상태에서 가상 터치 조작을 수행하고, UI(윈드실드 또는 IVI 디스플레이 내 이미지) 변경에 따라 가상 터치 동작을 통해 빠른 실행 요청을 입력할 수 있다. The user raises his arm to manipulate the windshield (Head Up Display, large screen display, etc.) or other items and performs virtual touch operation in a non-contact state, and through a virtual touch operation according to changes in UI (windshield or image in the IVI display). You can enter a quick execution request.

본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 방법은 작동 상태 정보 및 제스처를 수신하는 단계, 작동 상태 정보가 기설정 조건에 만족되는지 여부를 확인하는 단계, 작동 상태 정보가 기설정 조건에 만족되는지 여부에 따라, 제1 제스처에 대응되는 제1 기능 또는 제2 기능을 제공하는 단계를 포함한다. A control method using an in-vehicle gesture input according to another embodiment of the present invention includes the steps of receiving operation state information and gestures, checking whether the operation state information is satisfied with a preset condition, and the operation state information being set to a preset condition. And providing a first function or a second function corresponding to the first gesture according to whether or not is satisfied.

작동 상태 정보 및 제스처를 수신하는 단계는 차 내 탑승자의 제스처를 인식하는 영상 획득부로부터 탑승자의 제스처(예: 손을 왼쪽에서 오른쪽으로 스와이프하는 동작)를 수신하고, 이와 함께 작동 상태 정보를 수신한다.In the step of receiving operation status information and gestures, a gesture of the occupant (eg, swiping a hand from left to right) from an image acquisition unit that recognizes the gesture of the occupant in the vehicle, and the operation status information are received together. do.

일례로, 작동 상태 정보 및 제스처를 수신하는 단계는 터치패드에 사용자의 팔이 접촉되었는지 여부를 작동 상태 정보로서 수신한다. For example, in the step of receiving the operation state information and the gesture, whether the user's arm is in contact with the touch pad is received as the operation state information.

기설정 조건 확인 단계는 사용자의 팔이 터치패드에 접촉되었는지 여부를 확인하고, 사용자의 팔이 터치패드에 접촉된 경우, 다음 단계로서 작동 상태 정보 및 제스처를 수신하는 단계에서 수신한 제스처(제1 제스처)에 대응되는 제1 기능(컨텐츠가 디스플레이되는 영역을 이동함)을 제공한다. In the step of confirming the preset condition, it is checked whether the user's arm is in contact with the touch pad, and when the user's arm is in contact with the touch pad, the gesture received in the step of receiving operation status information and gesture (first A first function (moving an area in which content is displayed) corresponding to a gesture) is provided.

기설정 조건 확인 단계에서 사용자의 팔이 터치패드에 비접촉된 것으로 확인되면, 다음 단계로서 작동 상태 정보 및 제스처를 수신하는 단계에서 수신한 제스처(제1 제스처)에 대응되는 제2 기능(표출되고 있는 영상 컨텐츠의 재생 시점을 조절-뒤로가기 하는 기능)을 제공한다. If it is confirmed that the user's arm is not in contact with the touch pad in the predetermined condition check step, the second function corresponding to the gesture (first gesture) received in the step of receiving operation state information and gesture as a next step It provides a function to control the playback time of video content-go back.

본 발명의 다른 실시예에 따르면, 단순히 제스처를 인식함에 그치는 것이 아니고, 제스처가 이루어지는 작동 상태 정보를 함께 고려하여, 동일한 제스처에 대해서도 상황에 따라 다른 기능을 실행하는 것으로 제스처-기능을 매칭시킴으로써, 사용자 편의성이 증대되는 효과가 있다. According to another embodiment of the present invention, the user is not limited to simply recognizing the gesture, but by considering the operation state information in which the gesture is made, and executing other functions depending on the situation for the same gesture. There is an effect of increasing convenience.

다른 예로서, 작동 상태 정보 및 제스처를 수신하는 단계는 작동 상태 정보로서 운전자의 감정 상태, 운전자의 보이스(음성) 입력 상태, 운전자의 졸림 상태 등을 수신하고, 이에 따라 동일한 제스처에 대해 상이한 기능을 제공하는 것이 가능하다. As another example, the step of receiving the operation state information and the gesture may receive the driver's emotional state, the driver's voice (voice) input state, the driver's sleepiness state, etc. as the operation state information, and thus perform different functions for the same gesture. It is possible to provide.

예컨대, 작동 상태 정보 및 제스처를 수신하는 단계에서 운전자의 감정 상태를 작동 상태 정보로서 수신하고, 현재 음악이 스트리밍되고 있는 상태를 가정한다. For example, in the step of receiving operation state information and gestures, it is assumed that the driver's emotional state is received as operation state information, and music is currently being streamed.

이 때, 운전자의 감정 상태는 차 내 비치된 카메라를 통해 획득된 운전자의 얼굴 영상을 분석하여, 평온한 감정인지, 찡그린 표정(화난 감정)인지 여부를 판단한다. At this time, the driver's emotional state is determined by analyzing the driver's face image acquired through a camera installed in the vehicle, and whether it is a calm emotion or a frowning expression (an angry emotion).

또는, 운전자의 웨어러블 디바이스로부터 생체 정보를 공유 받아, 현재 운전자의 감정 상태를 확인하는 것이 가능하다. Alternatively, it is possible to check the current emotional state of the driver by receiving biometric information from the driver's wearable device.

또는, 운전자의 스마트폰의 일정 애플리케이션 등을 통해, 운전자가 휴가 중이어서 마음이 평온한 상태인지, 운전자가 빠듯한 업무 일정 중이어서 피로한 감정 상태인지 여부에 대해 확인하는 것이 가능하다. Alternatively, it is possible to check whether the driver is in a calm state because the driver is on vacation, or whether the driver is in a fatigued state due to a tight work schedule, through a schedule application on the driver's smartphone.

차 내 비치된 카메라를 통해 획득된 운전자의 얼굴 영상이 찡그린 표정인 것으로 판단되고, 운전자가 다음 노래를 플레이하도록 하는 제스처(오른 손으로 왼쪽에서 오른쪽으로 스와이프하는 동작)를 입력하는 경우, 기설정 조건 확인 단계는 운전자의 감정상태가 "화남"에 해당하는 기설정 조건이 만족된 것으로 확인하고, 다음 단계로서 해당 제스처에 대해 단순히 플레이리스트 상 다음 순서의 노래를 재생하는 것이 아니라, 운전자의 기분이 좋아지도록 하는 노래를 다음 노래로 추천하여 스트리밍하는 제1 기능을 제공한다. If the driver's face image acquired through the camera installed in the car is judged to be a frowning expression, and the driver inputs a gesture to play the next song (swiping from left to right with the right hand), the preset In the condition check step, it is confirmed that the preset condition corresponding to the driver's emotional state is satisfied, and the next step is not simply to play the next song in the playlist for the gesture, but the driver's mood. It provides the first function of recommending and streaming a song that makes you like the next song.

이 때, 기존에 운전자가 노래를 들은 뒤 좋은 피드백을 제공하였던 노래를 추천하여 스트리밍하거나, 빅데이터 분석을 통해 다수의 다른 사용자가 선호하는 노래를 추천하여 스트리밍하거나, 계절, 날씨, 운전자의 성별, 나이, 운전자가 평소 즐겨 듣는 시대/가수/장르를 고려하여 운전자가 선호할만한 노래를 추천하여 스트리밍한다. At this time, the driver recommends and streams the song that provided good feedback after listening to the song, or recommends and streams the song that many other users prefer through big data analysis, or the season, weather, driver's gender, Considering the age, the age/singer/genre that the driver usually enjoys, it recommends and streams songs that the driver may prefer.

차 내 비치된 카메라를 통해 획득된 운전자의 얼굴 영상이 평온한 표정인 것으로 판단되고, 운전자가 다음 노래를 플레이하도록 하는 제스처(오른 손으로 왼쪽에서 오른쪽으로 스와이프하는 동작)를 입력하는 경우, 기설정 조건 확인 단계는 운전자의 감정상태가 평온한 상태로서 기설정 조건이 만족되지 않은 것으로 확인하고, 다음 단계로서 해당 제스처에 대해 플레이리스트 상에서 다음 순서의 노래를 플레이하는 제2 기능을 제공한다. When it is determined that the driver's face image acquired through a camera installed in the car is a calm expression, and the driver inputs a gesture to play the next song (swipe from left to right with the right hand), the preset In the condition check step, it is determined that the driver's emotional state is a calm state and the preset condition is not satisfied, and as a next step, a second function of playing the next song in the playlist for the gesture is provided.

다른 예로서, 운전자의 음성을 입력 받고, 오른 손을 아래에서 위로 올리는 제스처를 입력 받는다. As another example, a driver's voice is input and a gesture of raising the right hand from the bottom to the top is input.

기설정 조건 확인 단계에서 운전자의 음성이 "온도"인 것을 확인하면, 다음 단계는 운전자의 음성 입력이 공조기를 제어하는 것으로 판단하여 설정 온도를 1도씨 상승시키는 제1 기능을 제공한다. When it is confirmed that the driver's voice is "temperature" in the predetermined condition check step, the next step provides a first function of increasing the set temperature by 1 degree Celsius by determining that the driver's voice input controls the air conditioner.

기설정 조건 확인 단계에서 운전자의 음성이 "조수석 창문"인 것을 확인하면, 다음 단계는 운전자의 음성 입력이 조수석 창문의 개폐를 제어하는 것으로 판단하여 조수석의 창문을 올려 폐문하는 제2 기능을 제공한다. If it is confirmed that the driver's voice is the "passenger seat window" in the pre-set condition check step, the next step is to provide a second function of raising the passenger seat window and closing the door by determining that the driver's voice input controls the opening and closing of the passenger seat window. .

전술한 바와 같이, 본 발명의 다른 실시예에 따르면 사용자 제스처에 수반되는 작동 상태 정보에 따라, 동일한 제스처에 대해 상이한 기능 제공을 제공하는 것이 가능하다.As described above, according to another embodiment of the present invention, it is possible to provide different functions for the same gesture according to operation state information accompanying the user gesture.

도 8은 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 블록도이고, 도 9는 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 운전자 감정 상태에 따른 제스처 입력 제어를 나타내는 예시도이다. 8 is a block diagram of a control system using an in-vehicle gesture input according to another embodiment of the present invention, and FIG. 9 is a gesture according to a driver's emotional state of the control system using an in-vehicle gesture input according to another embodiment of the present invention. It is an exemplary diagram showing input control.

본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템은 운전자의 상태를 인식하는 운전자 상태 인식부(110a)와, 제스처 정보를 수신하는 제스처 입력부(110b) 및 운전자 상태와 제스처 정보에 따라 동일한 제스처 정보에 대해 상이한 기능을 선별적으로 대응시켜 제공하는 제어부(140)를 포함한다. A control system using an in-vehicle gesture input according to another embodiment of the present invention includes a driver state recognition unit 110a that recognizes a driver's state, a gesture input unit 110b that receives gesture information, and the driver's state and gesture information. It includes a control unit 140 that selectively matches and provides different functions for the same gesture information.

운전자 상태 인식부(110a)는 운전자의 감정 상태 정보를 수신하는 것으로, 차 내 DSM 카메라를 통해 운전자의 표정으로부터 감정 상태 정보를 생성하거나, 운전자의 웨어러블 디바이스를 통해 운전자의 생체 정보로부터 감정 상태 정보를 생성하거나, 운전자의 스마트 디바이스의 일정 애플리케이션과 연동되어 운전자의 심리 상태 정보를 생성하는 것이 가능하다. The driver state recognition unit 110a receives the driver's emotional state information, and generates emotional state information from the driver's facial expressions through the in-vehicle DSM camera, or receives emotional state information from the driver's biometric information through the driver's wearable device. It is possible to generate or generate the driver's mental state information by interlocking with a schedule application of the driver's smart device.

이하에서는 운전자의 감정 상태 정보와 제스처 정보에 따라, 동일한 제스처 정보에 대해 상이한 기능을 선별적으로 대응시켜 제공하는 실시예에 대하여 서술한다. Hereinafter, according to the driver's emotional state information and gesture information, an embodiment in which different functions are selectively associated with the same gesture information and provided will be described.

도 9에 도시된 바와 같이, 운전자가 주행 중 음악을 듣고 있는 상황에서, 오른손을 왼쪽에서 오른쪽으로(t1→t2) 스와이프하는 제스처를 입력하면, 제스처 입력부(110b)는 카메라(200)를 통해 인지된 운전자의 제스처 정보를 수신한다. As shown in FIG. 9, in a situation where the driver is listening to music while driving, when a gesture of swiping the right hand from left to right (t1 → t2) is input, the gesture input unit 110b is transmitted through the camera 200. Receives gesture information of the recognized driver.

오른손을 왼쪽에서 오른쪽으로(t1→t2) 스와이프하는 제스처와 연동되는 기본 기능은 다음 노래를 재생시키는 기능으로 설정되어 있다. The basic function linked to the gesture of swiping the right hand from left to right (t1 → t2) is set to play the next song.

이 때, 운전자 상태 인식부(110a)가 카메라(200)를 통해 수신한 운전자의 표정을 "화남/흥분"으로 분류하면, 제어부(140)는 해당 제스처에 연동되는 기본 기능에 따라 단순히 플레이리스트 상 다음 순서의 노래를 재생시키는 것이 아니라, 운전자의 기분이 좋아지도록 하는 노래를 추천하여 재생시키도록 별도의 기능 실행을 제어한다. At this time, when the driver's state recognition unit 110a classifies the driver's expression received through the camera 200 as "anger/excitement", the controller 140 simply displays the playlist according to the basic function linked to the gesture. It controls the execution of a separate function to recommend and play a song that makes the driver feel better, rather than playing the next song.

예컨대, 다수의 사용자로부터 기분이 좋아지는 음악으로 추천된 노래, 해당 운전자의 선호도가 높은 노래(계절, 날씨, 시간대 별로 주로 플레이한 것으로 히스토리가 구축된 사용자의 선호도가 높은 노래), 운전자 데이터를 분석한 결과 기분이 좋아지는 변화가 기존에 있었던 노래 등을 추천하여 재생시킨다. For example, a song that is recommended as a music that makes you feel good from a number of users, a song with a high preference of the driver (a song with a history of which the user has mainly played by season, weather, and time), and driver data are analyzed. As a result, the changes that make you feel better are recommended and played back songs that existed.

반면, 운전자 상태 인식부(110a)가 카메라(200)를 통해 인식된 운전자의 표정을 "평온"으로 분류하면, 제어부(140)는 해당 제스처의 기본 기능에 따라 플레이리스트 상의 다음 순서의 노래를 재생시키도록 제어한다. On the other hand, if the driver's state recognition unit 110a classifies the driver's expression recognized through the camera 200 as "tranquility", the controller 140 plays the next song in the playlist according to the basic function of the gesture. Control to make it.

본 실시예에 따르면, 동일 제스처에 대해 운전자의 감정 상태에 따라 상이한 기능을 동작시키는 것이 가능하며, 이는 제스처로 인해 조작되는 엔터테인먼트 기능인 것이 바람직하다. According to the present embodiment, it is possible to operate different functions for the same gesture according to the driver's emotional state, which is preferably an entertainment function operated by the gesture.

운전자 상태 인식부(110a) 및 제스처 입력부(110b)를 통해, 운전자의 기분 좋은 표정과 손 또는 얼굴 움직임 동작이 있는 것으로 판단하면, 제어부(140)는 무드램프 이퀄라이징 효과를 통해 운전자의 좋은 기분을 더욱 고취시키도록 제어한다. When it is determined that there is a pleasant expression of the driver and a hand or facial movement through the driver state recognition unit 110a and the gesture input unit 110b, the controller 140 further enhances the driver's good mood through the mood lamp equalizing effect. Control to inspire.

운전자 상태 인식부(110a)가 운전자의 찡그린 표정을 인식하고, 제스처 입력부(110b)가 운전자의 코 막음 제스처를 인식하는 경우, 제어부(140)는 공조기의 내/외기를 전환시키거나, 공기청정 모드를 동작시키도록 제어한다. When the driver state recognition unit 110a recognizes the driver's frowning expression and the gesture input unit 110b recognizes the driver's nose-clogging gesture, the controller 140 switches the inside/outside air of the air conditioner or the air cleaning mode. Control to operate.

제스처 입력부(110b)를 통해 입력되는 스와이프 동작은 기본적으로 표출되고 있는 화면/컨텐츠 넘김 동작을 수행하기 위한 제스처로 설정되는데, 차 내 시스템과 연동된 운전자의 스마트폰으로 전화가 오는 경우, 운전자 상태 인식부(110a)를 통해 찡그리는 얼굴 또는 부정적인 음성이 인식되면, 제어부(140)는 해당 스와이프 동작에 따라 전화 수신 거절 명령을 전송한다. The swipe operation input through the gesture input unit 110b is basically set as a gesture for performing the displayed screen/contents flipping operation.When a call comes to the driver's smartphone linked to the in-vehicle system, the driver status When a frowning face or negative voice is recognized through the recognition unit 110a, the control unit 140 transmits a call rejection command according to the swipe operation.

제스처 입력부(110b)를 통해 입력되는 제스처가 운전자가 자신의 가슴 등의 위치에 손을 지속적으로 대는 것이거나, 가슴을 치는 등의 제스처이고, 운전자 상태 인식부(110a)로부터 운전자의 찡그린 표정을 인식한 경우, 제어부(140)는 운전자의 건강 상태 이상이 있음을 판단하고 인근의 병원 위치를 운전자에게 알려주도록 제어한다. The gesture inputted through the gesture input unit 110b is a gesture such as a driver's continuous touch of his or her hand on a position such as his or her chest, or a gesture such as hitting his chest, and recognizes the driver's frowning expression from the driver's state recognition unit 110a. In one case, the controller 140 determines that there is an abnormal health condition of the driver and controls to inform the driver of the location of a nearby hospital.

또한, 제어부(140)는 운전자의 건강 상태 이상이 있음에 대해 주변의 구조대원, 병원, 운전자의 지인 등에게 알림을 전송한다. In addition, the controller 140 transmits a notification to nearby rescue workers, hospitals, and acquaintances of the driver about the presence of an abnormal health condition of the driver.

전술한 실시예에 따르면, 별도의 생체 인식 센서를 구비하지 않은 경우에도, 운전자의 얼굴 인식 결과 및 행동 분석에 따라 운전자의 건강 상태의 이상이 있는지 여부를 판별하고 그에 대응되는 차량 기능(예: 병원 위치 안내, 구조대원 및 지인 연락)을 제공하는 것이 가능하다. According to the above-described embodiment, even when a separate biometric sensor is not provided, it is determined whether there is an abnormality in the driver's health condition according to the driver's face recognition result and behavior analysis, and a vehicle function corresponding thereto (e.g., hospital It is possible to provide location guidance, contact with rescuers and acquaintances).

제어부(140)는 운전자 상태 인식부(110a)의 상태 인식 결과에 따라, 차량의 주행 모드를 전환시킨다. The control unit 140 switches the driving mode of the vehicle according to the state recognition result of the driver state recognition unit 110a.

제어부(140)는 운전자의 감정 상태가 "화남/흥분"으로 분류되면, 자율주행 모드로 차량을 구동시키고, 운전자의 감정 상태가 "평온함"으로 분류되면, 자율 주행 또는 수동 주행에 대한 모드를 운전자로부터 선택 받거나, 최근에 저장된 주행 모드를 자동으로 실행시킨다. When the driver's emotional state is classified as “anger/excitement”, the control unit 140 drives the vehicle in the autonomous driving mode, and if the driver’s emotional state is classified as “peaceful”, the driver selects a mode for autonomous driving or manual driving. It is selected from or automatically executes the recently saved driving mode.

이 때, 운전자 상태 인식부(110a)는 운전자가 차량에 탑승하기 전 운전자의 휴대단말로부터 감정 정보를 수신하는 것이 가능하고, 운전자가 차량에 탑승한 후에는 전술한 카메라(200) 등을 통해 운전자의 감정 상태를 인식하는 것이 가능하다. At this time, the driver state recognition unit 110a may receive emotion information from the driver's mobile terminal before the driver boards the vehicle, and after the driver boards the vehicle, the driver through the above-described camera 200 It is possible to recognize your emotional state.

추가적으로, 운전자 상태 인식부(110a)는 운전자의 행동이나 표정으로부터 운전자의 상태를 인식함에 그치지 않고, 수동 주행 시 주행 패턴 등 외부 정보를 통해 운전자의 상태를 추정하는 것이 가능하다. Additionally, the driver state recognition unit 110a may not only recognize the driver's state from the driver's actions or facial expressions, but may estimate the driver's state through external information such as a driving pattern during manual driving.

예컨대, 운전자가 급출발, 급정거, 급격한 차선 변경을 하고 있는 경우, 운전자가 "화남/흥분" 상태에서 운전을 하고 있는 것으로 추정하고, 추정 결과에 따라 주행 모드를 자동 변경하거나 주행 모드 변경에 대해 추천하는 것이 가능하다. For example, if the driver is making a sudden start, sudden stop, or sudden lane change, it is assumed that the driver is driving in a "anger/excited" state, and the driving mode is automatically changed or recommended for changing the driving mode according to the estimation result. It is possible.

운전자의 탑승 후 주행이 진행됨에 따라, 운전자 상태 인식부(110a)는 감정 상태를 모니터링하고, 제어부(140)는 모니터링 결과를 고려하여 전술한 자율주행 모드를 유지하거나, 수동 주행 모드에서 자율주행 모드로 전환시킨다. As driving progresses after the driver's boarding, the driver state recognition unit 110a monitors the emotional state, and the control unit 140 maintains the above-described autonomous driving mode in consideration of the monitoring result, or the autonomous driving mode in the manual driving mode. Convert to

제어부(140)는 운전자의 감정 상태를 주변 차량에 디스플레이하도록 제어한다. The controller 140 controls the driver's emotional state to be displayed on nearby vehicles.

이 때, 외부 커뮤니케이션 디스플레이를 통해 문구를 표출하거나, V2V를 통해 운전자의 감정 상태 정보를 전송한다. At this time, a phrase is displayed through an external communication display or the driver's emotional state information is transmitted through V2V.

예컨대, A차량의 운전자가 "화남/흥분" 상태에서도 수동 주행을 하는 경우, 난폭 운전이 될 수 있는데, A 차량은 이러한 운전자의 감정 상태를 주변 차량에 알려줌으로써, 주변의 B 차량(자율주행 모드 시) 또는 B차량의 운전자(수동주행 모드 시)가 A 차량의 난폭 운전에 대해 미리 대비(예: 안전거리 확보하여 운행, A차량 앞으로 차선변경 자제)하는 것이 가능하다. For example, if the driver of vehicle A drives passively even in the "angry/excited" state, it may be reckless driving. Vehicle A informs the neighboring vehicle of the driver's emotional state, so that the surrounding vehicle B (autonomous driving mode It is possible for the driver of vehicle A or vehicle B (in manual driving mode) to prepare in advance for reckless driving of vehicle A (e.g., drive by securing a safe distance, refrain from changing lanes in front of vehicle A).

다른 실시예로서, 운전자 상태 인식부(110a)는 운전자의 졸음 운전 여부에 대한 상태 정보를 수신한다. In another embodiment, the driver state recognition unit 110a receives state information on whether the driver is drowsy.

이는 카메라(200)를 통해 운전자의 눈이 감기거나, 고개를 끄덕이는 등 졸음 운전에 해당하는 운전자 상태를 인식하는 경우이거나, 또는 제스처 입력부(110b)를 통해 운전자가 자신의 눈을 부비거나 뒷목을 주무르는 등의 제스처를 입력하는 경우, 제어부(140)는 운전자가 졸음 운전 중인 것으로 판단한다. This is the case when the driver's eyes are closed or the driver's state corresponding to drowsy driving is recognized through the camera 200, or the driver rubs his or her eyes through the gesture input unit 110b. When a gesture such as kneading is input, the controller 140 determines that the driver is drowsy driving.

운전자가 주행 중 음악을 듣고 있는 상황에서, 오른손을 왼쪽에서 오른쪽으로(t1→t2) 스와이프하는 제스처를 입력하면, 제스처 입력부(110b)는 카메라(200)를 통해 인지된 운전자의 제스처 정보를 수신한다. In a situation where the driver is listening to music while driving, when a gesture of swiping the right hand from left to right (t1 → t2) is input, the gesture input unit 110b receives the driver's gesture information recognized through the camera 200. do.

오른손을 왼쪽에서 오른쪽으로(t1→t2) 스와이프하는 제스처는 다음 노래를 재생시키는 제스처인데, 이 때, 운전자 상태 인식부(110a) 및 제스처 입력부(110b)를 통해 운전자의 졸음 운전이 예상되는 경우, 제어부(140)는 단순히 플레이리스트 상의 다음 순서의 노래를 재생시키는 것이 아니라, 운전자의 졸음을 깨울 수 있는 빠른 템포의 노래를 추천하여 재생시키도록 제어한다. The gesture of swiping the right hand from left to right (t1 → t2) is a gesture to play the next song. In this case, when the driver's drowsy driving is expected through the driver state recognition unit 110a and the gesture input unit 110b , The controller 140 does not simply play the next song on the playlist, but instead controls to recommend and play a song of a fast tempo that can wake the driver's drowsiness.

또는, 제어부(140)는 해당 제스처에 따라 운전자의 의도를 반영하여 플레이리스트 상의 다음 순서의 노래를 재생시키되, 운전자의 졸음 운전 상태임을 고려하여 볼륨을 1.5배로 크게 한다. Alternatively, the controller 140 plays the next song in the playlist by reflecting the driver's intention according to the corresponding gesture, but increases the volume by 1.5 times in consideration of the driver's drowsy driving state.

도 10은 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 보행자 안내 표시를 위한 제스처 입력을 나타내는 예시도이다. 10 is an exemplary diagram illustrating a gesture input for displaying a pedestrian guide by a control system using an in-vehicle gesture input according to another embodiment of the present invention.

본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템은 주변 상황 정보 및 사용자의 제스처를 수신하는 입력부와, 차량 내 제스처 입력을 이용한 제어 프로그램이 내장된 메모리 및 제어 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 주변 상황 정보 및 사용자의 제스처에 따라, 동일한 사용자의 제스처에 대해 상이한 기능을 실행하도록 하는 명령을 전송한다. A control system using an in-vehicle gesture input according to another embodiment of the present invention includes an input unit for receiving surrounding situation information and a user's gesture, a memory in which a control program using in-vehicle gesture input is embedded, and a processor for executing a control program. Including, the processor transmits a command to execute a different function for the gesture of the same user according to the surrounding context information and the gesture of the user.

본 실시예에서는 주변 상황 정보로서 차량 전방 횡단보도에서 도로를 횡단하려는 보행자가 존재하는지 여부에 관한 정보가 사용된다. In the present embodiment, information on whether a pedestrian who wants to cross the road exists in the crosswalk in front of the vehicle is used as the surrounding situation information.

도 10을 참조하면, 차량 전방 횡단보도(신호등이 없는 횡단보도)에서 횡단하려고 기다리는 보행자(P)가 존재하고, 운전자가 손을 좌우로 흔들어 (t1→t2→t3→t4) 건너가라는 의사 표시를 제스처로 입력한다. Referring to FIG. 10, there is a pedestrian P waiting to cross at a crosswalk in front of the vehicle (crosswalk without a traffic light), and the driver shakes his hand left and right to indicate the intention to cross (t1 → t2 → t3 → t4). Type by gesture.

종래에는 차량 내부에서 운전자의 수신호를 보고 보행자가 차량이 정차할 것임을 인지하고 길을 건넜지만, 썬팅 또는 야간 주행 상황 등 차량 내부가 보이지 않는 경우에는 이러한 식별이 어려우므로, 본 실시예에서는 카메라(200)를 통해 인식한 운전자의 제스처를 통해, 프로세서는 보행자에게 길을 건너가라는 메시지를 표출하도록 제어한다. Conventionally, a pedestrian crosses the road after seeing the driver's hand signal inside the vehicle, but when the inside of the vehicle is not visible, such as tinting or night driving, such identification is difficult, so in this embodiment, the camera 200 Through the driver's gesture recognized through ), the processor controls to display a message to the pedestrian to cross the street.

도 11을 참조하면, 전술한 상황에서 도 10과 같은 사용자의 제스처가 수신되면, 차량의 전방에 배치되는 외부 커뮤니케이션 장치(700)가 "건너 가십시오"라는 문구를 디스플레이하여, 보행자(P)가 이를 확인하고 횡단할 수 있도록 한다. Referring to FIG. 11, when a user's gesture as shown in FIG. 10 is received in the above-described situation, the external communication device 700 disposed in front of the vehicle displays the phrase "Go Across", and the pedestrian P Make sure you can check and cross.

이러한 보행자 안내는 전술한 텍스트 메시지 뿐 아니라, 외부 지향성 스피커 등을 통해 오디오 메시지로 제공될 수 있으며, 또한 외부 조명 장치를 통해 횡단 보도를 초록색으로 비춤으로써 보행자로 하여금 횡단하도록 유도하는 것 역시 가능하다. In addition to the above-described text message, the pedestrian guide may be provided as an audio message through an external directional speaker, and it is also possible to induce pedestrians to cross the crosswalk by illuminating the crosswalk in green through an external lighting device.

전방에 보행자가 존재하지 않는 경우, 운전자의 해당 제스처는 도 13에 도시된 바와 같이 본래의 명령(제1 영역에 위치한 콘텐츠를 제2 영역으로 이동시키는 명령)을 수행하는 것으로 입력되고, 그에 따라 콘텐츠의 영역 이동이 이루어진다. If there is no pedestrian in front, the corresponding gesture of the driver is input as performing an original command (a command to move the content located in the first area to the second area) as shown in FIG. The movement of the area is made.

즉, 본 실시예에 따르면 주변 상황 정보(횡단을 하기 위해 기다리는 보행자의 존재 여부에 관한 정보)에 따라, 동일한 제스처에 대해 상이한 기능을 실행시키는 효과가 있다. That is, according to the present embodiment, there is an effect of executing different functions for the same gesture according to the surrounding situation information (information on whether or not a pedestrian waiting to cross the street exists).

도 12는 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 주변 차량을 향한 경고 표시를 나타내는 예시도이다. 12 is an exemplary view showing a warning display for a nearby vehicle of a control system using an in-vehicle gesture input according to another embodiment of the present invention.

프로세서는 차량의 전방 횡단보도에서 보행자(P)가 길을 건너고 있을 때, 후측방에서 접근하는 다른 차량(C)의 존재에 관한 정보를 수신하면, 이 때 차량에 의해 보행자가 가려져 다른 차량(C)에 의한 보행자 추돌 사고 위험이 있으므로, 다른 차량(C)에게 경고 알림을 제공한다. When the processor receives information on the presence of another vehicle (C) approaching from the rear side when the pedestrian (P) is crossing the street at the crosswalk in front of the vehicle, the pedestrian is covered by the vehicle at this time and the other vehicle (C) Because there is a risk of a pedestrian collision due to ), a warning notification is provided to another vehicle (C).

프로세서는 다른 차량(C)이 접근하는 방향으로 차량의 램프를 깜빡이도록 제어하여, 다른 차량(C)의 감속을 유도한다. The processor induces a deceleration of the other vehicle C by controlling the lamp of the vehicle to blink in the direction the other vehicle C approaches.

또는, 프로세서는 차량의 후면에 배치된 외부 커뮤니케이션 장치(700b)를 통해, "전방 보행자 주의"라는 메시지를 디스플레이하여, 다른 차량(C)으로 하여금 전방 보행자 존재에 관한 정보를 인지하고 감속하도록 유도한다. Alternatively, the processor displays a message "Attention for pedestrians ahead" through the external communication device 700b disposed at the rear of the vehicle, and induces the other vehicle C to recognize information on the presence of a pedestrian in front and to decelerate. .

또한, 프로세서는 차량의 전면에 배치된 외부 커뮤니케이션 장치(700a)의 문구를 전환하여, "접근 차량에 주의하십시오"라는 메시지를 디스플레이함으로써, 보행자(P)로 하여금 다른 차량(c)의 접근 여부를 인지하고, 안전한 횡단이 이루어질 수 있도록 유도한다. In addition, the processor converts the phrase of the external communication device 700a disposed in the front of the vehicle to display a message saying "Please be careful of approaching vehicles", thereby allowing the pedestrian P to determine whether or not the other vehicle c is approaching. Recognize and induce a safe crossing.

도 14는 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 주변 차량을 향한 외부 커뮤니케이션을 위한 제스처 입력을 나타내는 예시도이다. 14 is an exemplary view showing a gesture input for external communication to a nearby vehicle of a control system using an in-vehicle gesture input according to another embodiment of the present invention.

예를 들어 사용자가 손(H)을 이용하여 왼쪽 또는 오른쪽으로 들어올리는 제스처를 수행할 경우, 프로세서는 차선변경(끼어들기)에 따른 양해를 구하고자 하는 운전자의 의도가 있는 것으로 파악하고, 외부 커뮤니케이션 장치를 통해 메시지를 디스플레이한다. For example, when the user performs a gesture of lifting to the left or right using the hand (H), the processor determines that there is an intention of the driver to seek understanding due to lane change (interruption), and external communication Display a message through the device.

예컨대, 도 15에 도시한 바와 같이, 제스처 방향에 따라 턴 시그널 램프가 동시에 동작하며, 차량의 측면에 배치된 외부 커뮤니케이션 장치(700c)를 통해 "감사합니다"라는 양해를 구하는 문구를 디스플레이한다. For example, as shown in FIG. 15, the turn signal lamps operate simultaneously according to the gesture direction, and the phrase "thank you" is displayed through the external communication device 700c disposed on the side of the vehicle.

이 때, 운전자의 제스처 인식은 시트 착좌 자세에서 기설정된 위치(높이) 이상에서 제스처 조작 시 인식됨이 바람직하다. In this case, it is preferable that the driver's gesture recognition is recognized when a gesture is manipulated above a predetermined position (height) in the seat sitting posture.

차선 변경이 완료되면, 차량의 후면에 배치된 외부 커뮤니케이션 장치를 통해 "미안합니다"라는 양해 문구를 디스플레이한다. When the lane change is complete, the phrase "I'm sorry" is displayed through an external communication device placed at the rear of the vehicle.

또한, 프로세서는 차량의 급정거가 발생한 경우, 운전자가 손을 들어올리는 제스처에 따라, 후면에 배치된 외부 커뮤니케이션 장치를 통해 "미안합니다"라는 양해 문구를 디스플레이하는 것이 가능하다. In addition, when the vehicle suddenly stops, the processor may display the phrase "I'm sorry" through an external communication device arranged at the rear according to a gesture of raising a hand by the driver.

프로세서는 운전자의 제스처와 주행 히스토리 정보를 고려하여, 동일한 제스처에 대해 상이한 기능을 제공한다. The processor provides different functions for the same gesture in consideration of the driver's gesture and driving history information.

예컨대, 급정거 상황이 아니라 일반적인 감속 상황인 경우, 운전자가 손을 들어올리는 제스처에 따라 공조기의 바람 세기를 크게 하는 기능(제1 기능)을 제공하고, 급정거 상황에서는 운전자가 손을 들어올리는 제스처에 따라 전술한 "미안합니다"라는 양해 문구를 디스플레이하는 기능(제2 기능)을 제공한다. For example, in the case of a general deceleration situation rather than a sudden stop situation, a function to increase the wind strength of the air conditioner according to a gesture of raising a hand by the driver (first function) is provided. It provides a function (second function) of displaying the above-mentioned "I'm sorry" understanding phrase.

도 16은 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 윈드실드 내 영상이 겹쳐진 상황에서 운전자의 선택 제스처 및 음성 입력을 나타내는 예시도이다. 16 is an exemplary diagram illustrating a driver's selection gesture and a voice input in a situation where images in a windshield of a control system using an in-vehicle gesture input according to another embodiment of the present invention are overlapped.

본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템은 사용자의 제스처를 수신하는 입력부와, 차량 내 제스처 입력을 이용한 제어 프로그램이 내장된 메모리 및 제어 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 사용자의 제스처에 따라 화면 내 겹쳐진(layered) 영역에 대한 정보 표시 제어를 수행한다. A control system using in-vehicle gesture input according to another embodiment of the present invention includes an input unit for receiving a user's gesture, a memory in which a control program using in-vehicle gesture input is embedded, and a processor for executing a control program, and a processor Performs information display control on a layered area in the screen according to a user's gesture.

종래 기술에 따르면, 화면(예: 윈드쉴드)의 영역을 분할하고, 영역 간에 콘텐츠를 이동하는 구성이 제안되었으나, 화면 내 겹쳐진(layered) 창의 이동에 대한 제스처 컨트롤 방법을 제안하지 못한 문제점이 있다. According to the prior art, a configuration for dividing an area of a screen (eg, a windshield) and moving content between areas has been proposed, but there is a problem in that a gesture control method for movement of a layered window in the screen has not been proposed.

도 16을 참조하면, 카메라(200)는 운전자의 손 (H)을 통해 입력되는 제스처 정보를 입력부로 전달한다. Referring to FIG. 16, the camera 200 transmits gesture information input through the driver's hand H to an input unit.

운전자의 손(H)이외에도, 운전자의 시선 방향을 인식하여 아이트래킹으로 운전자의 관심 객체(건물/사물)이 무엇인지 판별하는 것이 가능하다. In addition to the driver's hand (H), it is possible to recognize the driver's gaze direction and to determine what the driver's object of interest (building/object) is through eye tracking.

도 16은, 차량 내 윈드쉴드(layer 1, 주 화면)의 기설정 영역(A1)에 네비게이션 정보가 표출되어 있고(layer 2, 내비게이션, 엔터테인먼트 등), 운전자가 영역(A1)을 응시하던 중 네비게이션 정보 표출에 의해 가려진 외부에 있는 사물(R)에 대한 정보 확인 욕구가 있는 경우를 도시한다. 16, navigation information is displayed in a preset area A1 of a windshield (layer 1, main screen) in the vehicle (layer 2, navigation, entertainment, etc.), and navigation while the driver is staring at the area A1 It shows a case in which there is a desire to check information about an object R in the outside that is obscured by information display.

즉, 운전자는 손(H)으로 사물(R)을 선택하는 제스처를 입력시키고, 음성(V)를 통해 '저기 어디지?', '정보 확인' 등의 음성을 발화한다. That is, the driver inputs a gesture of selecting an object R with the hand H, and utters voices such as'Where are you?' and'Check information' through the voice V.

도 17을 참조하면, 프로세서는 도 16에 도시한 바와 같이 입력된 운전자의 제스처와 음성에 따라, 윈드쉴드에 운전자 관심 객체에 대한 정보를 표시한다. Referring to FIG. 17, the processor displays information on an object of interest to a driver on a windshield according to an input gesture and voice of the driver as shown in FIG. 16.

예컨대, 프로세서는 사물(R)이 여수에 위치한 빅오쇼 조형물인 경우, 윈드쉴드의 소정 영역(R1)에서 빅오쇼의 공연 정보(매일 18시부터 22시까지 30분 단위로 쇼 시작, 소요 시간: 15분)를 표출시키며, 이는 텍스트 뿐 아니라 음성을 통해 제공될 수 있다. For example, if the object R is a Big O Show sculpture located in Yeosu, the performance information of the Big O Show in a predetermined area R1 of the windshield (show starts every 30 minutes from 18:00 to 22:00 every day, time required: 15 minutes), which can be provided through voice as well as text.

또한, 이러한 정보 제공에 연동되어, 공연 예매 등에 관한 후속 기능을 제공하는 것이 가능하다. In addition, it is possible to provide a follow-up function related to a performance reservation or the like in connection with such information provision.

전술한 예는 공연을 위한 조형물에 대해 서술한 것으로, 운전자의 관심 객체가 식당인 경우, 메뉴 정보, 운영 정보 등을 표출하고, 식당 예약을 위한 예약 메시지 전송 또는 식당으로의 전화 연결 등의 후속 기능을 제공한다. The above example describes a sculpture for a performance, and when the driver's object of interest is a restaurant, it displays menu information, operation information, etc., and follow-up functions such as sending a reservation message for restaurant reservation or connecting a phone to the restaurant. Provides.

운전자 관심 객체에 대한 정보가 표출되는 경우, 기존에 영역(A1)에서 표출되던 네비게이션 화면 정보는 차량의 AVN(400)으로 전달되어, AVN(400)에서 해당 정보를 표시하게 된다. When information on an object of interest to the driver is displayed, the navigation screen information previously displayed in the area A1 is transmitted to the AVN 400 of the vehicle, and the AVN 400 displays the corresponding information.

3개 이상의 레이어가 존재하고, 전술한 운전자의 제스처 입력이 이루어지는 경우, 각 영상을 복수 개의 디스플레이(윈드쉴드, AVN, 클러스터, CMS 모니터 등)에 이동하여 표시하는 것이 가능하다. When three or more layers exist and the driver's gesture input is made, each image can be moved and displayed on a plurality of displays (windshield, AVN, cluster, CMS monitor, etc.).

프로세서는 영상의 레이어 처리를 위해 화면 이동 제어를 수행하며, 사용자 의도에 의해 선순위로 보여져야 할 정보(조형물 R에 대한 정보)를 주 화면(기존에 운전자가 응시하고 있던 윈드쉴드)에 표출시키고, 기존에 주화면에 표출되던 영상을 후순위 디스플레이(AVN, 클러스터, 조수석 디스플레이 등)으로 이동시키도록 제어한다. The processor performs screen movement control for layer processing of the image, and displays information that should be displayed as a priority (information on sculpture R) on the main screen (the windshield that the driver was staring at) according to the user's intention, Controls to move the image previously displayed on the main screen to a subordinate display (AVN, cluster, passenger seat display, etc.).

프로세서는 차량의 주행 모드(수동/자율주행)에 따라, 후순위 디스플레이들 간의 순위를 조정하는 것이 가능하다. The processor is able to adjust the ranking among the subordinated displays according to the driving mode (manual/autonomous driving) of the vehicle.

이 때, 운전자의 제스처, 음성, 아이트래킹 등 조작에 의해, 디스플레이되는 화면을 다른 디스플레이로 이동하여 정보를 표시할 수 있고, "OO 디스플레이로 이동하겠습니다"라는 안내 음성 제공 후 디스플레이를 자동이동 시킬 수 있다. At this time, by operating the driver's gesture, voice, eye tracking, etc., the displayed screen can be moved to another display to display information, and the display can be automatically moved after providing a guidance voice saying “I will move to the OO display”. have.

도 18은 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 영상 영역 복귀를 나타내는 예시도이다. 18 is an exemplary view showing an image region return of a control system using an in-vehicle gesture input according to another embodiment of the present invention.

운전자가 전술한 조형물에 대한 정보를 확인하고, "확인 완료" 등의 음성을 발화시키거나, 스와이프 동작을 통해 조형물에 대한 정보를 더 이상 디스플레이하지 않도록 하거나, 조형물에 대한 정보가 표시되고 기설정 시간(예: 20초)가 지난 후의 경우 등에는, AVN(400)으로 이동되었던 네비게이션 화면이 기존에 표출되던 윈드쉴드 내 영역(A1)으로 이동하여 복귀된다. The driver checks the information on the above-described sculpture, utters a voice such as "confirmation completed", or stops displaying information on the sculpture through a swipe operation, or displays information on the sculpture and sets a preset When the time (eg, 20 seconds) has elapsed, the navigation screen that was moved to the AVN 400 moves to the area A1 in the windshield that was previously displayed and is restored.

이 때, 이동된 콘텐츠가 네비게이션 화면과 같이 실시간성을 가진 정보가 아닌 경우(예컨대 영화 콘텐츠인 경우), 영화 콘텐츠는 도 17에 도시한 바와 같이 이동되는 시점에서 일시 정지되며, 도 18에 도시한 바와 같이 기존 영역으로 복귀한 시점에서 다시 재생된다. At this time, when the moved content is not information having real-time properties such as a navigation screen (for example, in the case of movie content), the movie content is paused at the time it is moved, as shown in FIG. As shown, when it returns to the existing area, it is played again.

한편, 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.Meanwhile, the control method using an in-vehicle gesture input according to an embodiment of the present invention may be implemented in a computer system or recorded on a recording medium. The computer system may include at least one processor, memory, user input device, data communication bus, user output device, and storage. Each of the above-described components performs data communication through a data communication bus.

컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다. The computer system may further include a network interface coupled to the network. The processor may be a central processing unit (CPU) or a semiconductor device that processes instructions stored in a memory and/or storage.

메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.The memory and storage may include various types of volatile or nonvolatile storage media. For example, the memory may include ROM and RAM.

따라서, 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 제어 방법을 수행할 수 있다.Accordingly, a control method using an in-vehicle gesture input according to an embodiment of the present invention may be implemented in a computer-executable method. When a control method using an in-vehicle gesture input according to an embodiment of the present invention is performed in a computer device, commands readable by a computer may perform the control method according to the present invention.

한편, 상술한 본 발명에 따른 차량 내 제스처 입력을 이용한 제어 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.Meanwhile, the control method using an in-vehicle gesture input according to the present invention may be implemented as a computer-readable code on a computer-readable recording medium. The computer-readable recording medium includes all types of recording media in which data that can be decoded by a computer system is stored. For example, there may be read only memory (ROM), random access memory (RAM), magnetic tape, magnetic disk, flash memory, optical data storage device, and the like. In addition, the computer-readable recording medium can be distributed in a computer system connected through a computer communication network, and stored and executed as code that can be read in a distributed manner.

이제까지 본 발명의 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다. So far, we have looked at the center of the embodiments of the present invention. Those of ordinary skill in the art to which the present invention pertains will be able to understand that the present invention may be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments should be considered from an illustrative point of view rather than a limiting point of view. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope equivalent thereto should be construed as being included in the present invention.

Claims

An input unit for receiving a user's gesture and voice;
A memory in which a control program using in-vehicle gesture input is embedded; And
Including a processor for executing the control program,
The processor transmits a device control command according to the user's gesture and voice
A control system using an in-vehicle gesture input, characterized in that.

The method of claim 1,
The gesture information is recognized through a 3D camera placed in a vehicle.
Control system using in-vehicle gesture input.

The method of claim 1,
The processor provides information on an object selected through the user's gesture
Control system using in-vehicle gesture input.

The method of claim 3,
The processor is to display information on the selected object as video information or audio information.
Control system using in-vehicle gesture input.

The method of claim 1,
The processor delivers a message corresponding to the voice to an external object selected from the user's gesture
Control system using in-vehicle gesture input.

The method of claim 5,
When the external object is another vehicle, the processor transmits a command for controlling a device of the other vehicle together with a message corresponding to the voice
Control system using in-vehicle gesture input.

The method of claim 1,
The processor selects an in-vehicle device in consideration of the gesture and controls a function of the selected in-vehicle device in consideration of the voice
Control system using in-vehicle gesture input.

The method of claim 1,
The processor selects an in-vehicle device in consideration of the voice, and controls a function of the selected in-vehicle device in consideration of the gesture
Control system using in-vehicle gesture input.