KR20150072074A - System and control method for gesture recognition of vehicle - Google Patents
System and control method for gesture recognition of vehicle Download PDFInfo
- Publication number
- KR20150072074A KR20150072074A KR1020130159334A KR20130159334A KR20150072074A KR 20150072074 A KR20150072074 A KR 20150072074A KR 1020130159334 A KR1020130159334 A KR 1020130159334A KR 20130159334 A KR20130159334 A KR 20130159334A KR 20150072074 A KR20150072074 A KR 20150072074A
- Authority
- KR
- South Korea
- Prior art keywords
- gesture
- display
- hud
- vehicle
- function
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/005—Electro-mechanical devices, e.g. switched
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 발명은 차량 제스처 인식 시스템 및 그 제어 방법에 관한 것으로서, 보다 상세하게는 차량 내 복수의 디스플레이와 연계하여 제스처 인식을 시작하고 그 표시된 정보를 교환하는 제스처 인식 시스템 및 그 제어 방법에 관한 것이다.The present invention relates to a vehicle gesture recognition system and a control method thereof, and more particularly, to a gesture recognition system and a control method thereof that start gesture recognition in association with a plurality of displays in a vehicle and exchange the displayed information.
일반적으로 차량에 적용되는 카메라 기반 제스처 인식 시스템은 사용자가 차량 내 각종 편의 기능을 제스처를 통해 안전하고 편리하게 조작할 수 있도록 하는 신개념의 사용자 인터페이스로(UI)로 적용되고 있다.In general, a camera-based gesture recognition system applied to a vehicle is applied as a new conceptual user interface (UI) that allows a user to safely and conveniently operate various convenience functions through a gesture.
이러한 카메라 기반 제스처 인식 시스템에서는 사용자의 제스처 입력을 정확히 인식하는 인식 성공률과 획득된 영상에서 제스처 인식을 빠르게 처리하는 응답성이 매우 중요한 요소로 여겨지고 있다.In this camera - based gesture recognition system, it is considered that the recognition success rate that accurately recognizes user 's gesture input and the responsiveness to quickly process the gesture recognition in the acquired image are very important factors.
종래의 제스처 인식 시스템은 제스처 시작 버튼이 존재하여 제스처 시작(ON) 버튼을 누른 후에 제스처 인식을 시작할 수 있으며, 제스처 입력이 되면 종료(OFF) 버튼을 눌러 제스처 인식을 종료해야 하는 불편함이 있다.In the conventional gesture recognition system, there is a gesture start button to start the gesture recognition after the start gesture ON button is pressed, and when the gesture input is made, there is an inconvenience to end the gesture recognition by pressing the OFF button.
한편, 차량에는 운전 및 탑승자의 편의를 위한 사이드브레이크, 도어, 공조, 램프, AV 시스템(Audio Visual System), DIS(Diagnostic Information System) 시스템, 썬루프, 열선시트, 통풍시트, 와이퍼 스위치, 시트 변경, 헤드업 디스플레이(Head Up Display, HUD), 텔레매틱스 기능 등의 다양한 편의 기능이 적용되고 있다.On the other hand, the vehicle is provided with a side brake, a door, an air conditioner, a lamp, an audio visual system, a diagnostic information system (DIS) system, a sunroof, a heating sheet, a ventilation sheet, , Head Up Display (HUD), and Telematics function.
반면에 사용자가 취할 수 있는 제스처는 그 수가 한정되어 있기 때문에 차량에 적용된 다양한 편의기능을 일일이 시작하기 위한 제스처를 구별하는 데에는 한계가 있다.On the other hand, since the number of gestures that a user can take is limited, there is a limit to distinguishing gestures for starting various convenience functions applied to a vehicle.
그렇다고, 제스처의 종류가 많아지거나 이를 위해 제스처가 복잡해지는 경우 사용자가 기능별로 매칭된 제스처를 기억하기 어려울 뿐 아니라, 제스처 인식 시스템이 복잡한 제스처를 인식하는 데에도 어려움이 있어 인식 성공률이 떨어지는 문제점이 있다.However, when the number of kinds of gestures is increased or the gesture is complicated for the user, it is difficult for the user to remember the gesture matched to each function, and the gesture recognition system has difficulties in recognizing the complicated gesture, .
한편, 최근 차량에는 적용되고 있는 헤드업 디스플레이(Head Up Display, HUD)는 운전자 앞창의 가시영역 내에 운전에 필요한 정보를 제공하므로, 운전자의 시선이 분산 없이 도로교통 상황에만 정신을 집중할 수 있어서 안전운전을 지원하고 있다.On the other hand, the Head Up Display (HUD), which is applied to recent vehicles, provides information necessary for driving in the visible area of the driver's front window, so that the driver's attention can be focused only on the road traffic situation, .
그러나, HUD는 특성상 표시되는 정보를 선명하게 볼 수 있는 가시범위(Eyebox)가 한정되어 있어 그 정보를 동승자와 공유하는데 어려움이 있으며, 그로인해 차량의 기능 조작이 운전자에게 집중되는 문제점이 있다.However, due to the nature of the HUD, there is a limited visual range (Eyebox) in which the displayed information can be clearly seen, and it is difficult to share the information with the passenger, thereby causing a problem that the function of the vehicle is manipulated by the driver.
따라서, 차량용 제스처 인식 시스템을 개발하는데 있어서 그 시작 및 제스처 입력이 용이하고, 표시된 정보를 공유할 수 있는 방안이 절실히 요구된다.Accordingly, in developing a gesture recognition system for a vehicle, it is urgently required to start and input gestures easily and to share displayed information.
본 발명의 실시 예는 사용자의 시작 인식 제스처를 통해 차량의 기능별 제스처 인식을 시작하고, 특정 기능 실행에 따라 표시되는 정보를 제스처 인식을 통해 동승자와 자유롭게 교환함으로써 기능조작을 공유할 수 있는 차량 제스처 인식 시스템 및 그 제어 방법을 제공하고자 한다.The embodiment of the present invention is a vehicle gesture recognition apparatus that starts recognizing gestures of each function of a vehicle through a start recognition gesture of a user and can share a function operation by freely exchanging information displayed according to a specific function execution with a passenger through gesture recognition System and a control method thereof.
본 발명의 일 측면에 따르면, 차량 제스처 인식 시스템은, 차량 내 설치되어 차량 내부를 촬영하는 카메라부; 차량 내 각종 편의 기능제어에 따른 동작화면을 표시하는 HUD(Head Up Display)를 포함하는 복수의 디스플레이 장치로 구성된 표시부; 차량 내 각종 편의 기능과 매칭되는 제스처 설정정보 및 각 기능별 제스처 인식을 선택적으로 시작하여 지정된 디플레이 장치에 표시하는 시작 제스처 명령을 저장하는 저장부; 사용자의 손위치를 추적 하여 사용자의 손이 제1 기능의 터치영역을 터치하는 것을 검출하고, 상기 터치가 이루어진 후에 제1 디스플레이 장치 영역으로 이동하는 시작 제스처 명령을 인식하는 제스처 인식부; 및 상기 시작 제스처 명령 인식에 따른 제1 기능을 실행하고 상기 제1 기능의 동작 화면을 상기 제1 디스플레이 장치에 표시하는 제어부를 포함한다.According to an aspect of the present invention, a vehicle gesture recognition system includes: a camera unit installed in a vehicle and photographing the inside of the vehicle; A display unit including a plurality of display devices including a head up display (HUD) for displaying an operation screen according to control of various convenience functions in the vehicle; A storage unit for storing gesture setting information matched with various convenience functions in the vehicle, and a start gesture instruction for selectively starting gesture recognition for each function and displaying the gesture recognition on a designated display device; A gesture recognizing unit for recognizing a start gesture instruction for tracing a user's hand position to detect that the user's hand touches the touch region of the first function and moving to the first display device region after the touch is performed; And a controller for executing a first function according to the recognition of the start gesture command and displaying an operation screen of the first function on the first display device.
한편, 본 발명의 일 측면에 따른, 차량 제스처 인식 시스템은, 차량 내 설치되어 차량 내부를 촬영하는 카메라부; 차량 내 편의 기능별 조작 부위에 각각 설치되어 사용자의 손이 제1 기능의 조작 부위를 터치하는 것을 검출하는 터치센서; 차량 내 각종 편의 기능제어에 따른 동작화면을 표시하는 HUD(Head Up Display)를 포함하는 복수의 디스플레이 장치로 구성된 표시부; 차량 내 편의 기능과 매칭되는 제스처 설정정보를 저장하는 저장부; 카메라부를 통해 상기 손이 상기 제1 기능의 터치가 이루어진 후 제1 디스플레이 장치 영역으로 이동하는 시작 제스처 명령을 인식하는 제스처 인식부; 및 상기 시작 제스처 명령 인식에 따른 제1 기능을 실행하고 상기 제1 기능의 동작 화면을 상기 제1 디스플레이 장치에 표시하는 제어부를 포함한다.According to an aspect of the present invention, there is provided a vehicle gesture recognition system including: a camera unit installed in a vehicle and photographing an inside of the vehicle; A touch sensor which is provided at each function-based operation portion of the vehicle and detects that the user's hand touches the operation portion of the first function; A display unit including a plurality of display devices including a head up display (HUD) for displaying an operation screen according to control of various convenience functions in the vehicle; A storage unit for storing gesture setting information matched with a function in the vehicle; A gesture recognition unit for recognizing a start gesture command that the hand moves to a first display device area after a touch of the first function is made through the camera unit; And a controller for executing a first function according to the recognition of the start gesture command and displaying an operation screen of the first function on the first display device.
한편, 본 발명의 일 측면에 따른, 차량 제스처 인식 시스템 제어 방법은, a) 사용자의 손이 작동을 원하는 제1 기능의 터치영역을 터치하고, 제1 HUD(Head Up Display)이 지정된 시작 제스처 명령을 인식하는 단계; b) 상기 시작 제스처 명령에 매칭된 상기 제1 기능을 실행하고 상기 제1 기능의 동작 화면을 운전석 측의 상기 제1 HUD에 표시하는 단계; c) 사용자의 손 위치를 추적하여 사용자의 손이 상기 제1 HUD 영역에서 보조석 측의 제2 HUD 영역으로 이동하는 디스플레이 전환 제스처 명령을 인식하는 단계; 및 d) 상기 제1 HUD에서 표시하고 있는 화면을 제2 HUD로 전환하여 표시하는 단계를 포함한다.According to an aspect of the present invention, there is provided a method for controlling a vehicle gesture recognition system, comprising the steps of: a) touching a touch region of a first function for which a user's hand desires to operate; ; b) executing the first function matched to the start gesture command and displaying the operation screen of the first function on the first HUD on the driver's seat side; c) tracking a hand position of the user and recognizing a display switching gesture command in which the user's hand moves from the first HUD area to the second HUD area on the assistant seat side; And d) switching the screen displayed in the first HUD to the second HUD and displaying the screen.
한편, 본 발명의 일 측면에 따른, 외부에 의한 기능 시작에 따른 차량 제스처 인식 시스템 제어 방법은, a) 차량의 블루투스와 연동된 휴대폰으로 전화가 오면 운전석 측의 제1 HUD(Head Up Display)에 착신 화면을 표시하는 단계; b) 상기 착신으로 인해 제스처 인식 기능을 자동으로 시작하는 단계; c) 운전자의 손 위치를 추적하여 상기 손이 상기 제1 HUD 영역에서 보조석 측의 제2 HUD 영역으로 이동하는 디스플레이 전환 제스처 명령을 인식하는 단계; 및 d) 상기 제1 HUD에서 표시하고 있는 상기 착신 화면을 보조석 측의 제2 HUD로 전환하여 표시하는 단계를 포함한다.Meanwhile, according to an aspect of the present invention, a method of controlling a vehicle gesture recognition system according to an external start function includes the steps of: a) when a phone calls to a mobile phone interfaced with Bluetooth of a vehicle, the first HUD (Head Up Display) Displaying an incoming call screen; b) automatically starting the gesture recognition function due to the incoming call; c) tracking a hand position of the driver to recognize a display switching gesture command that the hand moves from the first HUD area to the second HUD area on the assistant seat side; And d) switching the incoming call screen displayed in the first HUD to a second HUD on the assistant's seat side and displaying the converted incoming call screen.
또한, 본 발명의 일 측면에 따른, 후방 카메라 작동 따른 차량 제스처 인식 시스템 제어 방법은, a) 차량의 후진 변속기 조작에 따른 후방 카메라 작동화면을 운전자 측의 제1 HUD(Head Up Display)에 표시하는 단계; b) 카메라부를 통해 운전자의 손 위치를 추적하여 상기 손이 상기 제1 HUD 영역에서 뒷창 측의 제3 HUD 영역으로 이동하는 디스플레이 전환 제스처 명령을 인식하는 단계; 및 c) 상기 제1 HUD에서 표시하고 있는 상기 후방 카메라화면을 상기 제3 HUD로 전환하여 표시하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method of controlling a vehicle gesture recognition system in accordance with an aspect of the present invention, including the steps of: a) displaying a rear camera operation screen according to an operation of a reverse transmission of a vehicle on a first HUD (Head Up Display) step; b) tracking a driver's hand position through the camera unit to recognize a display switching gesture command that the hand moves from the first HUD area to a third HUD area on the rear window side; And c) switching the rear camera screen displayed in the first HUD to the third HUD and displaying the converted rear camera screen.
본 발명의 실시 예에 따르면, 사용자의 시작 제스처 인식을 통해 차량의 기능별 제스처 인식을 시작하고, 특정 기능 실행에 따라 표시되는 정보를 제스처 인식을 통해 동승자와 자유롭게 교환함으로써 기능조작을 공유할 수 있다.According to the embodiment of the present invention, it is possible to start recognizing gestures of each function of the vehicle through the recognition of the start gesture of the user, and to share the function operation by freely exchanging information displayed according to the execution of the specific function with the passenger through gesture recognition.
또한, 차량 내 각종 편의 기능을 조작하기 위해서 따로 포즈 제스처를 사용해야 할 필요가 없으므로 사용자가 일일이 기능 실행을 위한 포즈 제스처를 기억해야 하는 불편이 없으며 직접 기기를 터치 후 디스플레이 방향으로 밀듯이 이동하는 동작만으로 기기를 선택할 수 있어 편의성을 향상시킬 수 있다.In addition, there is no need to use a pause gesture to operate various convenience functions in the vehicle, so there is no inconvenience that a user has to memorize a pause gesture for performing a function individually, and only by directly moving the device, So that convenience can be improved.
도 1은 본 발명의 제1 실시 예에 따른 차량 제스처 인식 시스템의 구성을 개략적으로 나타낸다.
도 2는 본 발명의 제2 실시 예에 따른 차량 제스처 인식 시스템의 구성을 개략적으로 나타낸다.
도 3은 본 발명의 실시 예에 따른 차량 제스처 인식 시스템 제어 방법을 나타낸 흐름도이다.
도 4는 본 발명의 실시 예에 따른 차량 제스처 인식 시스템 제어 방법을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 측면에 따른 외부에 의한 기능 시작에 따른 차량 제스처 인식 시스템 제어 방법을 나타낸다.
도 6은 본 발명의 일 측면에 따른 후방 카메라 작동 따른 차량 제스처 인식 시스템 제어 방법을 나타낸다.
도 7은 본 발명의 일 측면에 따른 동승자간 표시정보를 교환하는 차량 제스처 인식 시스템 제어 방법을 나타낸다.1 schematically shows a configuration of a vehicle gesture recognition system according to a first embodiment of the present invention.
2 schematically shows a configuration of a vehicle gesture recognition system according to a second embodiment of the present invention.
3 is a flowchart illustrating a method of controlling a vehicle gesture recognition system according to an embodiment of the present invention.
4 is a diagram for explaining a method of controlling a vehicle gesture recognition system according to an embodiment of the present invention.
FIG. 5 illustrates a method of controlling a vehicle gesture recognition system according to an exemplary embodiment of the present invention.
6 illustrates a method of controlling a vehicle gesture recognition system according to an aspect of the present invention.
FIG. 7 illustrates a method of controlling a vehicle gesture recognition system for exchanging passenger display information according to an aspect of the present invention.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when an element is referred to as "comprising ", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise. Also, the terms " part, "" module," and " module ", etc. in the specification mean a unit for processing at least one function or operation and may be implemented by hardware or software or a combination of hardware and software have.
이제 본 발명의 실시 예에 따른 차량 제스처 인식 시스템 및 그 제어 방법에 대하여 도면을 참조로 하여 상세하게 설명한다.Now, a vehicle gesture recognition system and a control method thereof according to an embodiment of the present invention will be described in detail with reference to the drawings.
[제1 실시 예][First Embodiment]
도 1은 본 발명의 제1 실시 예에 따른 차량 제스처 인식 시스템의 구성을 개략적으로 나타낸다.1 schematically shows a configuration of a vehicle gesture recognition system according to a first embodiment of the present invention.
첨부된 도 1을 참조하면, 본 발명의 제1 실시 예에 따른 차량 제스처 인식 시스템(100)은 카메라부(110), 표시부(120), 저장부(130), 제스처 인식부(140) 및 제어부(150)를 포함한다.1, a vehicle
카메라부(110)는 차량 내 설치되어 차량 내부를 촬영하고 촬영된 영상을 제스처 인식부(140)로 전달한다.The
카메라부(110)는 적외선 기능을 가지는 3차원 비전센서 또는 스테레오 카메라로 구성하여 손 위치를 3D(X, Y, Z)로 검출하도록 구성할 수 있다.The
표시부(120)는 차량 내 각종 편의 기능제어에 따른 동작상태를 표시하는 복수의 디스플레이 장치를 포함한다.The
예컨대, 표시부(120)는 차량 기능 동작상태에 따른 영상 데이터를 수신하여 운전석 앞창에 표시하는 제1 HUD(121) 및 보조석 앞창에 표시하는 제2 HUD(122)를 포함할 수 있다.For example, the
그리고, 도 1에서는 생략되었으나, 수신된 영상 데이터를 뒷창(Back window)에 표시하는 제3 HUD(123), 후석 좌측 디스플레이(124) 및 후석 우측 디스플레이(125) 중 적어도 하나를 포함할 수 있다.And may include at least one of a
저장부(130)는 제스처 인식 시스템(100)의 구현을 위한 각종 설정 정보 및 프로그램을 저장하고, 제스처 인식 시스템(100)의 구동에 따라 생성되는 데이터를 저장한다.The
저장부(130)는 차량 내 각종 편의 기능별로 매칭되는 제스처 정보를 저장하고, 별도의 시작 버튼 입력 없이 각 기능별 제스처 인식을 선택적으로 시작하여 지정된 디플레이 장치에 표시하도록 하는 시작 제스처 명령을 저장한다. The
예컨대, 저장부(130)는 사용자의 손이 특정 기능의 조작계가 위치한 부위(이하, 터치영역이라 명명함)를 터치하고 특정 디스플레이장치가 위치한 방향으로 밀듯이 이동하는 시작 제스처 명령을 저장한다.For example, the
이를 위해, 저장부(130)는 차량 내부의 공간 좌표계 기반, 도 1에서와 같이 AVN, 썬루프, 공조 기능, 클러스터, 시트 조절기능 등의 조작계가 위치한 부위별 터치영역을 설정하여 저장할 수 있다.To this end, the
또한, 저장부(130)는 특정 디스플레이 장치가 표시하고 있는 화면을 다른 디스플레이 장치에 표시하도록 전환하는 디스플레이 전환 제스처를 저장할 수 있다.In addition, the
제스처 인식부(140)는 카메라부(110)를 통해 획득된 영상에서 미리 저장된 손의 형태에 따른 특징점을 추출하여 손 골과 손끝 좌표를 검출하고, 검출된 손 골과 손 끝의 이동 패턴을 추적하여 제스처를 인식한다.The
특히, 제스처 인식부(140)는 사용자의 손위치를 추적 하여 사용자의 손이 차량 내 특정 기능의 터치영역을 터치하는 것을 검출하고, 상기 터치가 이루어진 후에 특정 디스플레이장치가 위치한 방향으로 밀듯이 이동하는 시작 제스처 명령을 인식한다.In particular, the
이 때, 상기 시작 제스처 명령은 사용자의 손이 터치영역을 터치하여 선택된 기능 정보와 그 기능의 동작상태를 표시하고자 하는 디스플레이 장치 정보를 포함한다.At this time, the start gesture command includes display function information for displaying a selected function information and an operation state of the function by touching a touch area by a user's hand.
즉, 도 1에서와 같이 사용자의 손이 AVN 터치영역을 터치한 후에 운전석 앞창의 제1 HUD(121) 영역으로 밀듯이 이동하면, 사용자가 AVN 기능을 시작하여 그 동작 화면을 제1 HUD(121)에 표시하려 하는 시작 제스처 명령으로 인식한다.1, if the user's hand touches the AVN touch area and then moves to the
마찬가지로, 사용자의 손이 AVN 터치영역을 터치한 후에 보조석 앞창의 제2 HUD(122) 영역으로 밀듯이 이동하면, AVN 기능을 시작하여 그 동작 화면을 제2 HUD(122)에 표시하는 시작 제스처 명령으로 인식한다.Similarly, when the user's hand touches the AVN touch area and then moves toward the
제어부(150)는 제스처 인식부(140)로부터 시작 제스처 명령을 수신하면, 상기 시작 제스처 명령과 매칭된 기능을 저장부(130)에서 검출하고 지정된 디스플레이 장치에 영상 데이터를 인가하여 동작 화면을 표시한다. Upon receiving the start gesture instruction from the
그리고, 제어부(150)는 상기 시작 제스처 명령에 따른 기능 시작 및 동작 화면을 표시한 후에 제스처 인식부(140)에서 인식된 제스처에 매칭된 기능을 제어하고 관련 동작상태를 계속 표시한다.The
이를 위해 제어부(150)는 AVN 시스템 및 차량의 기능별 각종 전자 제어 유닛과 연동하여 해당 기능을 제어하고, 관련 영상 데이터를 확보할 수 있다.To this end, the
한편, 제어부(150)는 제스처 인식부(140)로부터 디스플레이 전환 제스처 명령을 수신하면, 현재 표시하고 있는 디스플레이 장치의 화면을 지정된 다른 디스플레이 장치로 전환하여 표시한다.On the other hand, when receiving the display switching gesture command from the
예컨대, 제어부(150)는 상기 디스플레이 전환 제스처 명령에 따라 운전석 측의 제1 HUD(121)에서 표시하고 있는 화면을 보조석 측의 제2 HUD(122)로 전환하여 표시할 수 있다.For example, the
이 때, 제어부(150)는 운전석 측의 제어 권한을 보조석 측으로 인계할 수 있다. 따라서, 제2 HUD(122)로의 화면 전환 이후 보조석에 있는 동승자의 제스처 입력으로도 기능제어가 이루어질 수 있다.At this time, the
여기서, 상기 제어권한을 보조석 측으로 인계하는 것은 카메라부(110)가 일정 범위의 제스처 인식 영역을 운전자의 제스처 입력이 유리한 위치에서 동승자의 제스처 입력이 유리한 위치로 변경하는 것을 의미할 수 있다.Here, taking over the control right to the assistant seat may mean that the
또한, 제어부(150)는 이와 같은 방식으로 상기 디스플레이 전환 제스처 명령에 따라 제1 HUD(121)에서 표시하고 있는 화면을 뒷창의 제3 HUD(123), 후석 좌측 디스플레이(124) 및 후석 우측 디스플레이(125) 중 적어도 하나로 자유롭게 전환할 수 있다.In this way, the
또한, 제어부(150)는 하나의 기능 화면을 복수의 디스플레이 장치에서 동시에 표시하도록 하여 공유할 수 있다.
In addition, the
[제 2 실시 예][Second Embodiment]
한편, 도 2는 본 발명의 제2 실시 예에 따른 차량 제스처 인식 시스템의 구성을 개략적으로 나타낸다.2 schematically shows a configuration of a vehicle gesture recognition system according to a second embodiment of the present invention.
첨부된 도 2를 참조하면, 본 발명의 제2 실시 예에 따른 차량 제스처 인식 시스템(100)은 앞서 설명한 제1 실시예와 유사하며, 다만 사용자의 기능별 부위 터치를 인식하는 터치센서(160)를 더 포함하는 점만 다르다.Referring to FIG. 2, the vehicle
즉, 제1 실시 예와 같이 카메라부(110)의 손 위치 추적에 따른 기능별 터치영역을 인식하는 것이 아닌, 각 기기에 장착된 터치센서(160)를 통해 사용자의 기능 선택을 인식할 수 있다.That is, similar to the first embodiment, it is possible to recognize the function selection of the user through the touch sensor 160 mounted on each device, instead of recognizing the function-specific touch area according to the hand position tracking of the
여기서, 상기 터치센서(160)는 근접센서나 동작인식 센서로 구성될 수 있다.Here, the touch sensor 160 may include a proximity sensor or a motion recognition sensor.
그리고, 나머지 구성에 대한 설명은 제1 실시 예에서 설명한 시작 제스처 명령 인식 및 디스플레이 전환 제스처 명령 인식에 따른 해당 기능 시작 및 화면 전환제어의 내용과 동일하므로 생략한다. The description of the rest of the configuration is omitted because it is the same as the contents of the corresponding function start and screen switching control according to the recognition of the start gesture command and the display switching gesture command described in the first embodiment.
한편, 다음의 도 3 및 도 4를 통하여 본 발명의 가장 기본적인 차량 제스처 인식 시스템 제어 방법을 설명한다.3 and 4, the most basic vehicle gesture recognition system control method of the present invention will be described.
도 3은 본 발명의 실시 예에 따른 차량 제스처 인식 시스템 제어 방법을 나타낸 흐름도이다.3 is a flowchart illustrating a method of controlling a vehicle gesture recognition system according to an embodiment of the present invention.
도 4는 본 발명의 실시 예에 따른 차량 제스처 인식 시스템 제어 방법을 설명하기 위한 예시도이다.4 is a diagram for explaining a method of controlling a vehicle gesture recognition system according to an embodiment of the present invention.
본 발명의 실시 예에 따른 제스처 인식 시스템(100)은 사용자의 손이 작동을 원하는 제1 기능의 터치영역을 터치하고, 제1 HUD(121)이 지정된 시작 제스처 명령을 인식한다(S101).The
예컨대, 제스처 인식시스템(100)은 도 4의 (A)와 같이 운전자의 손이 AVN 시스템 터치영역(터치센서)을 터치한 후에 제1 HUD(121)가 위치한 방향으로 밀듯이 이동하는 시작 제스처 명령을 인식할 수 있다.For example, the
제스처 인식 시스템(100)은 상기 시작 제스처 명령에 매칭된 상기 제1 기능을 실행하고 상기 제1 기능의 동작 화면을 제1 HUD(121)에 표시한다(S102).The
제스처 인식 시스템(100)은 카메라부(110)의 제스처 인식 영역 내에서 이루어진 사용자의 제스처 동작을 인식한다(S103).The
이 때, 제스처 인식 시스템(100)은 카메라부(110)를 통해 획득된 영상에서 미리 저장된 손의 형태에 따른 특징점을 추출하여 손 골과 손 끝 좌표를 검출한다. 그리고, 검출된 손 골과 손 끝 좌표의 이동패턴을 추적하여 입력된 제스처를 인식할 수 있다.At this time, the
제스처 인식 시스템(100)은 인식된 제스처와 매칭된 기능을 검출하여 해당 기능을 제어한다(S104).The
이 때, 제스처 인식 시스템(100)은 도 4의 (B)와 같이 제스처 입력에 따른 AVN 시스템의 네비게이션 기능을 실행하여 네비게이션 화면을 제1 HUD(121)를 통해 표시할 수 있다.At this time, the
제스처 인식 시스템(100)은 사용자의 제스처 입력에 따른 디스플레이 전환 제스처 명령 인식한다(S104).The
이 때, 제스처 인식 시스템(100)은 도 4의 (C)와 같이 운전자의 손이 제1 HUD(121) 영역에서 제2 HUD(122)의 영역으로 이동하는 것으로 디스플레이 전환 제스처 명령을 인식할 수 있다.At this time, the
제스처 인식 시스템(100)은 현재 제1 HUD(121)를 통해 표시하고 있는 화면을 지정된 다른 디스플레이 장치로 전환하여 표시한다(S105).The
이 때, 제스처 인식 시스템(100)은 도 4의 (D)와 같이 제1 HUD(121)에서 표시하고 있는 네비게이션 화면을 보조석 측의 제2 HUD(122)로 전환하여 표시할 수 있다. 그리고, 제스처 인식 시스템(100)는 운전석 측의 제어 권한을 보조석으로 넘겨 보조석에 있는 동승자의 제스처 입력으로도 기능제어가 이루어지도록 할 수 있다.At this time, the
다만, 상기 보조석 측의 제어 권한과 화면은 운전자가 제1 HUD(121) 측으로 권환 회수 제스처를 취하면 언제든지 회수할 수 있다.
However, the control authority and the screen of the assistant seat can be retrieved at any time when the driver takes the number-of-times gesture to the
한편, 전술한 본 발명의 실시 예에 따른 차량 제스처 인식 시스템(100)의 구성과 그 제어 방법을 기준으로 다양한 측면으로 응용될 수 있는 차량 제스처 인식 시스템 제어 방법을 설명한다.A vehicle gesture recognition system control method that can be applied to various aspects based on the configuration of the vehicle
도 5는 본 발명의 일 측면에 따른 외부에 의한 기능 시작에 따른 차량 제스처 인식 시스템 제어 방법을 나타낸다.FIG. 5 illustrates a method of controlling a vehicle gesture recognition system according to an exemplary embodiment of the present invention.
첨부된 도 5를 참조하면, 본 발명의 실시 예에 따른 제스처 인식 시스템(100)은 운전 중 차량의 블루투스에 연동된 휴대폰에 전화가 오면 운전석 측의 제1 HUD(121)에 착신 화면을 표시한다(S11).5, the
제스처 인식 시스템(100)은 착신과 함께 자동으로 제스처 인식이 활성화 되며, 운전자로부터 전화 끊기, 전화 받기 및 통화를 동승자에게 인계하는 디스플레이 전환 제스처 명령을 입력 받을 수 있다.The
이 때, 제스처 인식 시스템(100)은 운전자의 손이 제1 HUD(121) 영역에서 제2 HUD(122)의 영역으로 이동하는 디스플레이 전환 제스처 명령을 인식하면, 제1 HUD(121)를 통해 표시하고 있는 착신 화면을 지정된 제2 HUD(122)로 전환하여 표시한다(S12).At this time, when the
그리고, 제스처 인식 시스템(100)는 보조석측으로 제어 권한을 인계하여 보조석에 있는 동승자의 제스처 입력으로 전화를 받거나 끊을 수 있다(S13).
Then, the
한편, 도 6은 본 발명의 일 측면에 따른 후방 카메라 작동 따른 차량 제스처 인식 시스템 제어 방법을 나타낸다.Meanwhile, FIG. 6 shows a method of controlling a vehicle gesture recognition system according to an aspect of the present invention.
첨부된 도 6을 참조하면, 본 발명의 실시 예에 따른 제스처 인식 시스템(100)은 운전자가 주차를 할 경우, 특정 제스처를 통해 후방 카메라 작동화면을 제1 HUD(121)에 표시한다(S21).Referring to FIG. 6, a
제스처 인식 시스템(100)은 주차의 편리성을 위해서 특정 제스처를 통해 뒷창 측의 제3 HUD(123)로 후방 카메라 작동화면을 넘긴다. 이 때, 제스처 인식 시스템(100)은 운전자의 손이 제1 HUD(121) 영역에서 제3 HUD(123) 방향으로 이동하는 디스플레이 전환 제스처 명령을 인식하고(S22), 제1 HUD(121)를 통해 표시하고 있는 착신 화면을 지정된 제3 HUD(123)로 전환하여 표시한다(S23).The
따라서, 운전자는 몸을 돌려 뒤의 상황을 확인하고 후방 카메라 작동화면을 동시에 확인하면서 주차가 가능하다.
Therefore, the driver can turn around and check the rear situation and simultaneously check the rear camera operation screen.
한편, 도 7은 본 발명의 일 측면에 따른 동승자간 표시정보를 교환하는 차량 제스처 인식 시스템 제어 방법을 나타낸다.Meanwhile, FIG. 7 shows a method of controlling a vehicle gesture recognition system for exchanging display information between passengers according to an aspect of the present invention.
첨부된 도 7을 참조하면, 본 발명의 실시 예에 따른 제스처 인식 시스템(100)은 오디오를 실행하고 운전자의 디스플레이 전환 제스처 명령을 입력 받아 오디오 재생화면을 제1 HUD(121)에서 제2 HUD(122)로 전환하여 표시한다(S31).7, the
그리고, 제스처 인식 시스템(100)은 동승자의 디플레이 전환 제스처 명령을 입력 받아서 오디오 재생화면을 후석 우측 디스플레이(125)로 전환하여 표시한다(S32). Then, the
이 밖에도, 제스처 인식 시스템(100)은 동승자끼리 현재 디스플레이에 표시되어 있는 정보를 다른 동승자 디스플레이에도 더 표시하도록 하여 표시정보를 공유할 수 있다.In addition, the
이와 같이 본 발명의 실시 예에 따르면, 사용자의 시작 제스처 인식을 통해 차량의 기능별 제스처 인식을 시작하고, 특정 기능 실행에 따라 표시되는 정보를 제스처 인식을 통해 동승자와 자유롭게 교환함으로써 기능조작을 공유할 수 있는 효과가 있다.As described above, according to the embodiment of the present invention, it is possible to start recognition of gestures according to functions of the vehicle through the recognition of the start gesture of the user, and to share the function operation by freely exchanging the information displayed according to the execution of the specific function with the passenger through gesture recognition There is an effect.
또한, 차량 내 각종 편의 기능을 조작하기 위해서 따로 포즈 제스처를 사용해야 할 필요가 없으므로 사용자가 일일이 기능 실행을 위한 포즈 제스처를 기억해야 하는 불편이 없으며 직접 기기를 터치 후 디스플레이 방향으로 밀듯이 이동하는 동작만으로 기기를 선택할 수 있어 편의성을 향상시킬 수 있다.In addition, there is no need to use a pause gesture to operate various convenience functions in the vehicle, so there is no inconvenience that a user has to memorize a pause gesture for performing a function individually, and only by directly moving the device, So that convenience can be improved.
본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시 예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시 예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.The embodiments of the present invention are not limited to the above-described apparatuses and / or methods, but may be implemented through a program for realizing functions corresponding to the configuration of the embodiment of the present invention, a recording medium on which the program is recorded And such an embodiment can be easily implemented by those skilled in the art from the description of the embodiments described above.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.
100: 제스처 인식 시스템 110: 카메라부
120: 표시부 121: 제1 HUD
122: 제2 HUD 123: 제3 HUD
124: 후석 좌측 디스플레이 125: 후석 우측 디스플레이
130: 저장부 140: 제스처 인식부
150: 제어부100: gesture recognition system 110: camera part
120: Display section 121: 1st HUD
122: 2nd HUD 123: 3rd HUD
124: Bottom left display 125: Bottom right display
130: storage unit 140: gesture recognition unit
150:
Claims (16)
차량 내 각종 편의 기능제어에 따른 동작화면을 표시하는 HUD(Head Up Display)를 포함하는 복수의 디스플레이 장치로 구성된 표시부;
차량 내 각종 편의 기능과 매칭되는 제스처 설정정보 및 각 기능별 제스처 인식을 선택적으로 시작하여 지정된 디플레이 장치에 표시하는 시작 제스처 명령을 저장하는 저장부;
사용자의 손위치를 추적 하여 사용자의 손이 제1 기능의 터치영역을 터치하는 것을 검출하고, 상기 터치가 이루어진 후에 제1 디스플레이 장치 영역으로 이동하는 시작 제스처 명령을 인식하는 제스처 인식부; 및
상기 시작 제스처 명령 인식에 따른 제1 기능을 실행하고 상기 제1 기능의 동작 화면을 상기 제1 디스플레이 장치에 표시하는 제어부
를 포함하는 차량 제스처 인식 시스템.A camera unit installed in the vehicle and photographing the inside of the vehicle;
A display unit including a plurality of display devices including a head up display (HUD) for displaying an operation screen according to control of various convenience functions in the vehicle;
A storage unit for storing gesture setting information matched with various convenience functions in the vehicle, and a start gesture instruction for selectively starting gesture recognition for each function and displaying the gesture recognition on a designated display device;
A gesture recognizing unit for recognizing a start gesture instruction for tracing a user's hand position to detect that the user's hand touches the touch region of the first function and moving to the first display device region after the touch is performed; And
A controller for executing a first function according to the recognition of the start gesture command and displaying an operation screen of the first function on the first display device,
And a vehicle gesture recognition system.
상기 표시부는,
화면을 운전석 앞창에 표시하는 제1 HUD, 보조석 앞창에 표시하는 제2 HUD, 뒷창에 표시하는 제3 HUD, 후석 좌측 디스플레이 및 후석 우측 디스플레이 중 적어도 하나를 포함하는 차량 제스처 인식 시스템.The method according to claim 1,
The display unit includes:
A vehicle gesture recognition system comprising at least one of a first HUD for displaying a screen in a driver's front window, a second HUD for displaying in an assistant front window, a third HUD for displaying in a rear window, a left door display in the rear and a right display in the rear right.
상기 저장부는,
차량 내부의 좌표계 기반 각 기능별 조작계가 위치한 부위별 터치영역을 설정하여 저장하는 차량 제스처 인식 시스템.The method according to claim 1,
Wherein,
A vehicle gesture recognition system for setting and storing a touch area for each part in which an operation system of each function based on the coordinate system of a vehicle is located.
상기 저장부는,
상기 제1 디스플레이 장치가 표시하고 있는 화면을 다른 제2 디스플레이 장치에 표시하도록 전환하는 디스플레이 전환 제스처 명령을 저장하는 차량 제스처 인식 시스템.4. The method according to any one of claims 1 to 3,
Wherein,
And a display switching gesture command for switching the display of the first display device to be displayed on another second display device.
상기 제스처 인식부는,
사용자의 손이 상기 제1 디스플레이 장치 영역에서 상기 제2 디스플레이장치 영역으로 이동하는 디스플레이 전환 제스처 명령을 인식하는 차량 제스처 인식 시스템.5. The method of claim 4,
The gesture recognizing unit recognizes,
Wherein the user recognizes a display switching gesture command in which a user's hand moves from the first display device area to the second display device area.
상기 제어부는,
상기 디스플레이 전환 제스처 명령에 따라 상기 제1 디스플레이 장치에서 표시하고 있는 화면을 상기 제2 디스플레이 장치로 전환하여 표시하거나, 두 디스플레이 장치에 상기 화면을 공유하여 표시하는 차량 제스처 인식 시스템.5. The method of claim 4,
Wherein,
Wherein the display switching gesture command displays the screen displayed on the first display device by switching to the second display device or displays the same on both display devices.
상기 제어부는,
상기 디스플레이 전환 제스처 명령에 따른 화면 전환과 표시와 함께 제어 권한을 동승자에게 인계하는 차량 제스처 인식 시스템.The method according to claim 6,
Wherein,
Wherein the control means transfers control authority to the passenger along with the screen switching and display according to the display switching gesture command.
상기 제어부는,
운전자가 상기 제1 HUD의 영역으로 권한 회수 제스처를 입력하면 전환된 화면과 동승자에게 인계된 제어 권한을 회수하는 차량 제스처 인식 시스템.8. The method of claim 7,
Wherein,
When the driver inputs the right recovery gesture to the area of the first HUD, retrieves the control authority inherited to the converted screen and the passenger.
차량 내 편의 기능별 조작 부위에 각각 설치되어 사용자의 손이 제1 기능의 조작 부위를 터치하는 것을 검출하는 터치센서;
차량 내 각종 편의 기능제어에 따른 동작화면을 표시하는 HUD(Head Up Display)를 포함하는 복수의 디스플레이 장치로 구성된 표시부;
차량 내 편의 기능과 매칭되는 제스처 설정정보를 저장하는 저장부;
카메라부를 통해 상기 손이 상기 제1 기능의 터치가 이루어진 후 제1 디스플레이 장치 영역으로 이동하는 시작 제스처 명령을 인식하는 제스처 인식부; 및
상기 시작 제스처 명령 인식에 따른 제1 기능을 실행하고 상기 제1 기능의 동작 화면을 상기 제1 디스플레이 장치에 표시하는 제어부
를 포함하는 차량 제스처 인식 시스템.A camera unit installed in the vehicle and photographing the inside of the vehicle;
A touch sensor which is provided at each function-based operation portion of the vehicle and detects that the user's hand touches the operation portion of the first function;
A display unit including a plurality of display devices including a head up display (HUD) for displaying an operation screen according to control of various convenience functions in the vehicle;
A storage unit for storing gesture setting information matched with a function in the vehicle;
A gesture recognition unit for recognizing a start gesture command that the hand moves to a first display device area after a touch of the first function is made through the camera unit; And
A controller for executing a first function according to the recognition of the start gesture command and displaying an operation screen of the first function on the first display device,
And a vehicle gesture recognition system.
a) 사용자의 손이 작동을 원하는 제1 기능의 터치영역을 터치하고, 제1 HUD(Head Up Display)이 지정된 시작 제스처 명령을 인식하는 단계;
b) 상기 시작 제스처 명령에 매칭된 상기 제1 기능을 실행하고 상기 제1 기능의 동작 화면을 운전석 측의 상기 제1 HUD에 표시하는 단계;
c) 사용자의 손 위치를 추적하여 사용자의 손이 상기 제1 HUD 영역에서 보조석 측의 제2 HUD 영역으로 이동하는 디스플레이 전환 제스처 명령을 인식하는 단계; 및
d) 상기 제1 HUD에서 표시하고 있는 화면을 제2 HUD로 전환하여 표시하는 단계를 포함하는 차량 제스처 인식 시스템 제어 방법.A method of controlling a vehicle gesture recognition system,
a) touching a touch area of a first function for which a user's hand desires to operate, and recognizing a start gesture command designated by a first HUD (Head Up Display);
b) executing the first function matched to the start gesture command and displaying the operation screen of the first function on the first HUD on the driver's seat side;
c) tracking a hand position of the user and recognizing a display switching gesture command in which the user's hand moves from the first HUD area to the second HUD area on the assistant seat side; And
d) switching the screen displayed in the first HUD to a second HUD and displaying the second HUD.
상기 a) 단계는,
카메라를 통해 손이 상기 제1 기능의 터치영역을 터치하는 것을 검출하거나, 또는 상기 제1 기능의 터치센서를 통해 상기 손이 터치하는 것을 검출하는 단계를 포함하는 차량 제스처 인식 시스템 제어 방법.11. The method of claim 10,
The step a)
Detecting whether the hand touches the touch area of the first function through the camera or detecting that the hand touches the touch area of the first function.
상기 d) 단계는,
상기 보조석에 위치한 동승자에게 제스처 입력 제어 권한을 인계하는 단계를 포함하는 차량 제스처 인식 시스템 제어 방법.11. The method of claim 10,
The step d)
And transferring the gesture input control authority to the passenger located in the assistant seat.
상기 d) 단계는,
상기 보조석에 위치한 동승자의 디스플레이 전환 제스처 명령을 인식하여 상기 제2 HUD에서 표시하고 있는 화면을 후석에 있는 디스플레이로 전환하여 표시하는 단계를 더 포함하는 차량 제스처 인식 시스템 제어 방법.13. The method of claim 12,
The step d)
Recognizing the display switching gesture command of the passenger located in the assistant seat and switching the display screen displayed on the second HUD to a display on the background, and displaying the display.
a) 차량의 블루투스와 연동된 휴대폰으로 전화가 오면 운전석 측의 제1 HUD(Head Up Display)에 착신 화면을 표시하는 단계;
b) 상기 착신으로 인해 제스처 인식 기능을 자동으로 시작하는 단계;
c) 운전자의 손 위치를 추적하여 상기 손이 상기 제1 HUD 영역에서 보조석 측의 제2 HUD 영역으로 이동하는 디스플레이 전환 제스처 명령을 인식하는 단계; 및
d) 상기 제1 HUD에서 표시하고 있는 상기 착신 화면을 보조석 측의 제2 HUD로 전환하여 표시하는 단계를 포함하는 차량 제스처 인식 시스템 제어 방법.A method of controlling a vehicle gesture recognition system according to an external function,
a) displaying an incoming call screen on a first HUD (Head Up Display) on the driver's seat when a call comes in to a mobile phone interlocked with the Bluetooth of the vehicle;
b) automatically starting the gesture recognition function due to the incoming call;
c) tracking a hand position of the driver to recognize a display switching gesture command that the hand moves from the first HUD area to the second HUD area on the assistant seat side; And
d) switching the incoming call screen displayed in the first HUD to a second HUD on the assistant seat side and displaying the converted incoming call screen.
상기 d) 단계는,
상기 보조석에 위치한 동승자의
상기 보조석 측으로 제어 권한을 넘겨 보조석에 있는 동승자의 제스처 입력으로 전화를 받거나 끊는 단계를 포함하는 차량 제스처 인식 시스템 제어 방법.15. The method of claim 14,
The step d)
The passenger
And transferring the control authority to the assistant seat to receive or terminate the call with the gesture input of the passenger in the assistant seat.
a) 차량의 후진 변속기 조작에 따른 후방 카메라 작동화면을 운전자 측의 제1 HUD(Head Up Display)에 표시하는 단계;
b) 카메라부를 통해 운전자의 손 위치를 추적하여 상기 손이 상기 제1 HUD 영역에서 뒷창 측의 제3 HUD 영역으로 이동하는 디스플레이 전환 제스처 명령을 인식하는 단계; 및
c) 상기 제1 HUD에서 표시하고 있는 상기 후방 카메라화면을 상기 제3 HUD로 전환하여 표시하는 단계를 포함하는 차량 제스처 인식 시스템 제어 방법.A method of controlling a vehicle gesture recognition system according to a rear camera operation,
a) displaying a rear camera operation screen according to a backward transmission operation of the vehicle on a first HUD (Head Up Display) on the driver side;
b) tracking a driver's hand position through the camera unit to recognize a display switching gesture command that the hand moves from the first HUD area to a third HUD area on the rear window side; And
and c) switching the rear camera screen displayed in the first HUD to the third HUD and displaying the converted rear camera screen.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130159334A KR102029842B1 (en) | 2013-12-19 | 2013-12-19 | System and control method for gesture recognition of vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130159334A KR102029842B1 (en) | 2013-12-19 | 2013-12-19 | System and control method for gesture recognition of vehicle |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20150072074A true KR20150072074A (en) | 2015-06-29 |
KR102029842B1 KR102029842B1 (en) | 2019-10-08 |
Family
ID=53518171
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130159334A KR102029842B1 (en) | 2013-12-19 | 2013-12-19 | System and control method for gesture recognition of vehicle |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102029842B1 (en) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170061453A (en) * | 2015-11-26 | 2017-06-05 | 현대모비스 주식회사 | Apparatus and method for assisting driver |
WO2017138702A1 (en) * | 2016-02-12 | 2017-08-17 | 엘지전자 주식회사 | Vehicle user interface device and vehicle |
KR20180025378A (en) * | 2016-08-30 | 2018-03-09 | 자동차부품연구원 | System and method for provision of head up display information based on driver's gesture |
KR20190016362A (en) * | 2017-08-08 | 2019-02-18 | 엘지전자 주식회사 | Vehicle control device mounted on vehicle and method for controlling the vehicle |
KR20190030089A (en) * | 2017-09-13 | 2019-03-21 | 엘지전자 주식회사 | Apparatus for user-interface |
KR101960723B1 (en) * | 2018-12-18 | 2019-03-21 | 코어다 주식회사 | Smart car control system using motion recognition |
GB2568669A (en) * | 2017-11-17 | 2019-05-29 | Jaguar Land Rover Ltd | Vehicle controller |
CN109828655A (en) * | 2017-11-23 | 2019-05-31 | 英属开曼群岛商麦迪创科技股份有限公司 | The more screen control systems of vehicle and the more screen control methods of vehicle |
KR101986157B1 (en) * | 2018-05-28 | 2019-06-05 | 주식회사 디젠 | Apparatus for communizing information of AVN device |
WO2019132078A1 (en) * | 2017-12-26 | 2019-07-04 | 엘지전자 주식회사 | In-vehicle display device |
CN110126759A (en) * | 2019-04-02 | 2019-08-16 | 爱驰汽车有限公司 | Reminding method, device and the automobile of running information |
KR102179289B1 (en) * | 2019-05-31 | 2020-11-17 | 연세대학교 산학협력단 | Large Display Interaction System and Method of Autonomous Vehicles |
US20200410264A1 (en) * | 2019-06-25 | 2020-12-31 | Hyundai Mobis Co., Ltd. | Control system using in-vehicle gesture input |
WO2021194177A1 (en) * | 2020-03-23 | 2021-09-30 | 엘지전자 주식회사 | Display control device |
US11554668B2 (en) | 2019-06-25 | 2023-01-17 | Hyundai Mobis Co., Ltd. | Control system and method using in-vehicle gesture input |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102274334B1 (en) | 2021-03-29 | 2021-07-08 | (주)복서 | Method, device and system for comtrolling vehical interior of user-responsive using hologram |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008162376A (en) * | 2006-12-27 | 2008-07-17 | Takata Corp | Vehicular working system, and vehicle |
US20090027332A1 (en) * | 2007-07-27 | 2009-01-29 | Continental Automotive Gmbh | Motor vehicle cockpit |
-
2013
- 2013-12-19 KR KR1020130159334A patent/KR102029842B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008162376A (en) * | 2006-12-27 | 2008-07-17 | Takata Corp | Vehicular working system, and vehicle |
US20090027332A1 (en) * | 2007-07-27 | 2009-01-29 | Continental Automotive Gmbh | Motor vehicle cockpit |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170061453A (en) * | 2015-11-26 | 2017-06-05 | 현대모비스 주식회사 | Apparatus and method for assisting driver |
WO2017138702A1 (en) * | 2016-02-12 | 2017-08-17 | 엘지전자 주식회사 | Vehicle user interface device and vehicle |
US11040620B2 (en) | 2016-02-12 | 2021-06-22 | Lg Electronics Inc. | User interface apparatus for vehicle, and vehicle |
KR20180025378A (en) * | 2016-08-30 | 2018-03-09 | 자동차부품연구원 | System and method for provision of head up display information based on driver's gesture |
KR20190016362A (en) * | 2017-08-08 | 2019-02-18 | 엘지전자 주식회사 | Vehicle control device mounted on vehicle and method for controlling the vehicle |
KR20190030089A (en) * | 2017-09-13 | 2019-03-21 | 엘지전자 주식회사 | Apparatus for user-interface |
GB2568669A (en) * | 2017-11-17 | 2019-05-29 | Jaguar Land Rover Ltd | Vehicle controller |
GB2568669B (en) * | 2017-11-17 | 2020-03-25 | Jaguar Land Rover Ltd | Proximity based vehicle controller |
CN109828655A (en) * | 2017-11-23 | 2019-05-31 | 英属开曼群岛商麦迪创科技股份有限公司 | The more screen control systems of vehicle and the more screen control methods of vehicle |
KR20190088090A (en) * | 2017-12-26 | 2019-07-26 | 엘지전자 주식회사 | Display device mounted on vehicle |
WO2019132078A1 (en) * | 2017-12-26 | 2019-07-04 | 엘지전자 주식회사 | In-vehicle display device |
KR101986157B1 (en) * | 2018-05-28 | 2019-06-05 | 주식회사 디젠 | Apparatus for communizing information of AVN device |
KR101960723B1 (en) * | 2018-12-18 | 2019-03-21 | 코어다 주식회사 | Smart car control system using motion recognition |
CN110126759A (en) * | 2019-04-02 | 2019-08-16 | 爱驰汽车有限公司 | Reminding method, device and the automobile of running information |
KR102179289B1 (en) * | 2019-05-31 | 2020-11-17 | 연세대학교 산학협력단 | Large Display Interaction System and Method of Autonomous Vehicles |
US20230045996A1 (en) * | 2019-06-25 | 2023-02-16 | Hyundai Mobis Co., Ltd. | Control system using in-vehicle gesture input |
US11514687B2 (en) | 2019-06-25 | 2022-11-29 | Hyundai Mobis Co., Ltd. | Control system using in-vehicle gesture input |
US11554668B2 (en) | 2019-06-25 | 2023-01-17 | Hyundai Mobis Co., Ltd. | Control system and method using in-vehicle gesture input |
US20200410264A1 (en) * | 2019-06-25 | 2020-12-31 | Hyundai Mobis Co., Ltd. | Control system using in-vehicle gesture input |
US11820228B2 (en) | 2019-06-25 | 2023-11-21 | Hyundai Mobis Co., Ltd. | Control system and method using in-vehicle gesture input |
US12056939B2 (en) | 2019-06-25 | 2024-08-06 | Hyundai Mobis Co., Ltd. | Control system using in-vehicle gesture input |
WO2021194177A1 (en) * | 2020-03-23 | 2021-09-30 | 엘지전자 주식회사 | Display control device |
US12075183B2 (en) | 2020-03-23 | 2024-08-27 | Lg Electronics Inc. | Display control device |
Also Published As
Publication number | Publication date |
---|---|
KR102029842B1 (en) | 2019-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20150072074A (en) | System and control method for gesture recognition of vehicle | |
CN113994312B (en) | Method for operating a mobile terminal by means of a gesture recognition and control device, motor vehicle, and output device that can be worn on the head | |
KR101219933B1 (en) | System for controlling device in vehicle using augmented reality and thereof method | |
US10489100B2 (en) | Electronic device and method for sharing images | |
EP2914475B1 (en) | System and method for using gestures in autonomous parking | |
US9235269B2 (en) | System and method for manipulating user interface in vehicle using finger valleys | |
US9965169B2 (en) | Systems, methods, and apparatus for controlling gesture initiation and termination | |
CN110395182B (en) | Motor vehicle with electronic rear view mirror | |
US20110169750A1 (en) | Multi-touchpad multi-touch user interface | |
US20150205943A1 (en) | Manipulation apparatus | |
KR101542986B1 (en) | System and control method for gestures recognition using holographic | |
KR101438615B1 (en) | System and method for providing a user interface using 2 dimension camera in a vehicle | |
EP3018629B1 (en) | Imaging system | |
JP7077615B2 (en) | Parking control method and parking control device | |
CA2914712C (en) | Gesture input apparatus for car navigation system | |
KR101490908B1 (en) | System and method for providing a user interface using hand shape trace recognition in a vehicle | |
JP2010184600A (en) | Onboard gesture switch device | |
WO2018061413A1 (en) | Gesture detection device | |
CN111231860B (en) | Operation module, operation method, operation system, and storage medium for vehicle | |
JP3933139B2 (en) | Command input device | |
JP5136948B2 (en) | Vehicle control device | |
KR101500412B1 (en) | Gesture recognize apparatus for vehicle | |
US20200218347A1 (en) | Control system, vehicle and method for controlling multiple facilities | |
US20230249552A1 (en) | Control apparatus | |
WO2014184902A1 (en) | User interface device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |