KR20140080300A - Control system for vehicle using hand gesture - Google Patents

Control system for vehicle using hand gesture Download PDF

Info

Publication number
KR20140080300A
KR20140080300A KR1020120149951A KR20120149951A KR20140080300A KR 20140080300 A KR20140080300 A KR 20140080300A KR 1020120149951 A KR1020120149951 A KR 1020120149951A KR 20120149951 A KR20120149951 A KR 20120149951A KR 20140080300 A KR20140080300 A KR 20140080300A
Authority
KR
South Korea
Prior art keywords
image
hand gesture
vehicle
hand
graphic
Prior art date
Application number
KR1020120149951A
Other languages
Korean (ko)
Inventor
김성운
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020120149951A priority Critical patent/KR20140080300A/en
Priority to DE201310223419 priority patent/DE102013223419A1/en
Priority to CN201310596768.5A priority patent/CN103885580A/en
Publication of KR20140080300A publication Critical patent/KR20140080300A/en

Links

Images

Classifications

    • B60K35/10—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K35/60—
    • B60K35/80—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • B60K2360/48—
    • B60K2360/563—
    • B60K2360/782—

Abstract

According to the present invention, a vehicle control system using hand gesture includes: a filming unit which films a user′s hand in a vehicle; an image processing unit which extracts a hand gesture image from the filmed hand image; overlaps the extracted hand gesture image with the windshield glass of a vehicle and displays the overlapped image; a graphic display unit which displays a graphic screen on the windshield glass; and a user interface unit which controls the graphic screen through the hand gesture image.

Description

핸드 제스처를 이용한 차량용 제어 시스템{CONTROL SYSTEM FOR VEHICLE USING HAND GESTURE}[0001] CONTROL SYSTEM FOR VEHICLE USING HAND GESTURE [0002]

본 발명의 실시 예는 차량용 제어 시스템 및, 그 제어 방법에 관한 것으로, 좀 더 구체적으로 핸드 제스처를 이용한 차량용 제어 시스템 및, 그 제어 방법에 관한 것이다.An embodiment of the present invention relates to a vehicle control system and a control method thereof, and more particularly to a vehicle control system using a hand gesture and a control method thereof.

차량의 실내에는 네비게이션, 라디오, TV, 인터넷 등을 사용할 수 있는 디스플레이 수단 등이 갖추어져 있다. 그리고, 이 디스플레이 수단에 표시되는 각종 기능을 조작하는 유저 인터페이스(User Interface, UI)는 직접 조작 방식과 간접 조작 방식 등이 있다.The interior of the vehicle is equipped with a display means capable of using navigation, radio, TV, internet and the like. A user interface (UI) for operating various functions displayed on the display means includes a direct operation mode and an indirect operation mode.

여기서, 직접 조작 방식은 터치 스크린 화면을 사용자가 직접 터치해서 조작하는 방식이고, 간접 조작 방식은 별도의 조작 수단을 통해서 디스플레이 화면을 조작하는 방식이다.Here, the direct operation method is a method in which a user directly touches a touch screen screen, and the indirect operation method is a method of operating a display screen through a separate operation means.

터치 스크린을 통한 직접 조작 방식은 화면을 직접 조작할 수 있어서 사용자가 직관적으로 인식할 수 있으나, 사용자가 운전시에 사용하는 경우에는 사용자의 시선이 분산되는 문제가 있다.A direct operation method using a touch screen allows the user to intuitively recognize the screen by directly operating the screen, but there is a problem that the user's gaze is dispersed when the user uses the device during operation.

그리고, 간접 조작 방식은 사용자가 조작 수단을 더듬어서 찾고, 사용자의 핸들을 잡은 채, 버튼을 눌러야 하는 점에서 불편할 수 있으며, 디스플레이 화면과 조작 수단이 분리되어 사용자의 직관이 떨어지는 단점이 있다.In addition, the indirect operation method may be inconvenient in that the user must search for the operation means, grasp the handle of the user, press the button, and the display screen and the operation means are separated from each other.

본 발명의 실시 예를 통해 해결하고자 하는 기술적 과제는, 사용자의 핸드 제스처 이미지를 통해 차량의 윈드쉴드 글래스에 표시된 그래픽을 조작할 수 있는 차량용 제어 시스템을 제공하는 것이다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a vehicle control system capable of operating a graphic displayed on a windshield glass of a vehicle through a hand gesture image of a user.

또한, 본 발명의 실시 예를 통해 해결하고자 하는 기술적 과제는, 사용자의 핸드 제스처 이미지를 통해 차량의 윈드쉴드 글래스에 표시된 그래픽을 조작할 수 있는 차량용 제어 방법을 제공하고자 한다.It is another object of the present invention to provide a vehicle control method capable of operating a graphic displayed on a windshield glass of a vehicle through a hand gesture image of a user.

본 발명의 일 양태에 따른 핸드 제스처를 이용한 차량용 제어 시스템은 차량 내에서 사용자의 손 영상을 촬영하는 촬영 수단, 촬영된 상기 손 영상으로부터 핸드 제스처 이미지를 추출하고, 추출된 상기 핸드 제스처 이미지를 상기 차량의 윈드쉴드 글래스에 중첩하여 표시하는 영상 처리 수단, 상기 윈드쉴드 글래스에 그래픽 화면을 표시하는 그래픽 표시 수단, 그리고 상기 핸드 제스처 이미지를 통해 상기 그래픽 화면을 조작하도록 제어하는 사용자 인터페이스부를 포함한다.A control system for a vehicle using a hand gesture according to an embodiment of the present invention includes a photographing unit for photographing a hand image of a user in a vehicle, a hand gesture image extracting unit for extracting the hand gesture image from the hand image, And a user interface unit for controlling the graphic screen to be manipulated through the hand gesture image. According to the present invention, there is also provided an image processing apparatus comprising: a windshield glass;

상기 영상 처리 수단은 운전자의 전방에 위치하는 그래픽 표시 장치에 상기 핸드 제스처 이미지를 중첩하여 표시하고, 사용자 인터페이스부가 상기 핸드 제스처 이미지가 상기 그래픽 표시 장치의 그래픽 화면을 조작하도록 제어할 수 있다.The image processing means may display the hand gesture image superimposed on the graphic display device positioned in front of the driver and the user interface may control the hand gesture image to operate the graphic screen of the graphic display device.

상기 그래픽 표시 수단은 헤드업 디스플레이(Head Up Display, HUD)로 이루어질 수 있다.The graphic display means may comprise a Head Up Display (HUD).

상기 그래픽 표시 수단은 에이브이엔(Audio Visual Navigation, AVN) 시스템으로 이루어질 수 있다.The graphic display means may be an AVN (Audio Visual Navigation) system.

상기 사용자 인터페이스부는 상기 핸드 제스처 이미지가 상기 윈드쉴드 글래스에 표시된 상기 그래픽 화면의 아이콘 선택, 플리킹(flicking) 및, 드래그(drag) 동작을 조작할 수 있다.The user interface unit can operate the icon selection, flicking, and drag operations of the graphic screen displayed on the windshield glass.

본 발명의 실시예에 따르면, 사용자의 손 움직임을 통해 차량의 앞유리에 표시된 그래픽을 직관적으로 조작하여 운전중에도 사용자의 시선 분산을 방지할 수 있는 환경을 제공한다.According to an embodiment of the present invention, an image can be intuitively manipulated through a hand movement of a user to display an image on a windshield of an automobile, thereby preventing an observer's divergence during operation.

또한, 본 발명은 사용자의 핸드 제스처 이미지를 통해 차량 내의 다양한 디스플레이 장치를 조작함으로써, 운전자의 편의와 안전을 보장할 수 있는 환경을 제공한다.Further, the present invention provides an environment that can guarantee the convenience and safety of the driver by operating various display devices in the vehicle through the hand gesture image of the user.

도 1은 본 발명의 한 실시예에 따른 핸드 제스처를 이용한 차량용 제어 시스템의 개략적인 구성을 도시한 도면이다.
도 2는 본 발명에 따라 사용자의 핸드 제스처 이미지를 추출해 표시하는 과정을 도시한 순서도이다.
도 3은 본 발명의 한 실시예에 따른 핸드 제스처를 이용한 차량용 제어 방법의 순서를 도시한 순서도이다.
도 4는 본 발명의 차량용 제어 시스템을 통해 핸드 제스처 이미지를 차량에 투사하는 것을 도시한 도면이다.
도 5는 본 발명에 따른 핸드 제스처 이미지를 통해 그래픽 화면의 아이콘을 선택하고, 그래픽 화면을 드래그해 조작하는 것을 도시한 도면이다.FIG. 1 is a view showing a schematic configuration of a vehicle control system using a hand gesture according to an embodiment of the present invention.
2 is a flowchart illustrating a process of extracting and displaying a hand gesture image of a user according to the present invention.
3 is a flowchart showing a procedure of a control method for a vehicle using a hand gesture according to an embodiment of the present invention.
4 is a diagram showing the projection of a hand gesture image onto a vehicle through the vehicle control system of the present invention.
FIG. 5 is a view showing an icon of a graphic screen through a hand gesture image according to the present invention, and dragging and manipulating the graphic screen.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when an element is referred to as "comprising ", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise.

이하 첨부된 도 1 내지 도 5을 참조하여 본 발명의 실시예를 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 한 실시예에 따른 핸드 제스처를 이용한 차량용 제어 시스템의 개략적인 구성을 도시한 도면이다.FIG. 1 is a view showing a schematic configuration of a vehicle control system using a hand gesture according to an embodiment of the present invention.

도 1에 따른 본 발명의 핸드 제스처를 이용한 차량용 제어 시스템(100)은 촬영 수단(110), 영상 처리 수단(120), 그래픽 표시 수단(130) 및, 사용자 인터페이스부(140)를 포함한다.The vehicle control system 100 using the hand gesture of the present invention according to the present invention shown in FIG. 1 includes a photographing unit 110, an image processing unit 120, a graphic display unit 130, and a user interface unit 140.

촬영 수단(110)은 차량 내에 배치되며, 차량 내에서 사용자의 손 영상을 촬영하는 수단이다. 촬영 수단(110)은 본 발명의 일 실시예에 따라 카메라로 이루어질 수 있다. 그리고, 촬영 수단(110)은 조명 수단(미도시)을 포함하며, 조명 수단이 사용자의 손을 비추어 촬영 수단(110)이 사용자의 손 영상을 용이하게 추출할 수 있다.The photographing means 110 is disposed in the vehicle, and is means for photographing the hand image of the user in the vehicle. The photographing means 110 may be a camera according to an embodiment of the present invention. The photographing means 110 includes lighting means (not shown), and the lighting means illuminates the user's hand so that the photographing means 110 can easily extract the hand image of the user.

영상 처리 수단(120)은 촬영 수단(110)에 의해 촬영된 영상으로부터 손 이미지(이하, 핸드 제스처 이미지)만을 추출하는 수단이다. 그리고, 영상 처리 수단(120)은 추출된 핸드 제스처 이미지를 차량의 앞유리(이하, 윈드쉴드 글래스)에 중첩하여 표시할 수 있다.The image processing means 120 is means for extracting only a hand image (hereinafter referred to as a hand gesture image) from the image photographed by the photographing means 110. [ Then, the image processing means 120 can superimpose the extracted hand gesture image on the windshield (hereinafter referred to as windshield glass) of the vehicle and display it.

또한, 영상 처리 수단(120)은 본 발명의 일실시예 따라 이미지 추출 수단(122)과 표시 수단(124)을 포함할 수 있다. 여기서, 이미지 추출 수단(122)은 촬영된 사용자의 손 영상으로부터 핸드 제스처 이미지를 추출하는 수단이다. 그리고, 표시 수단(124)은 추출된 핸드 제스처 이미지를 차량 앞유리에 중첩하여 표시하는 수단이다.The image processing means 120 may include an image extracting means 122 and a display means 124 according to an embodiment of the present invention. Here, the image extracting means 122 is a means for extracting a hand gesture image from the photographed hand image of the user. The display means 124 is means for superimposing the extracted hand gesture image on the windshield of the vehicle and displaying it.

이와 같이, 본 발명은 영상 처리 수단(120)을 통해 핸드 제스처 이미지를 차량의 윈드쉴드 글래스에 표시하여, 차량 내의 사용자가 핸드 제스처 이미지를 직관적으로 식별할 수 있게 된다.Thus, the present invention displays the hand gesture image on the windshield glass of the vehicle through the image processing means 120, so that a user in the vehicle can intuitively identify the hand gesture image.

또한, 영상 처리 수단(120)은 운전자의 전방에 위치하는 별도의 그래픽 표시 장치에 상기 핸드 제스처 이미지를 중첩하여 표시하고, 사용자 인터페이스부(140)가 상기 핸드 제스처 이미지가 상기 그래픽 표시 장치의 그래픽 화면을 조작하도록 제어할 수도 있다.In addition, the image processing unit 120 displays the hand gesture image superimposed on a separate graphic display unit located in front of the driver, and the user interface unit 140 displays the hand gesture image on the graphic screen of the graphic display unit As shown in FIG.

그래픽 표시 수단(130)은 차량의 윈드쉴드 글래스에 각종 그래픽 화면을 표시하는 수단이다. 여기서, 그래픽 화면은 네비게이션, 라디오, TV 및, 인터넷 화면 등과 같이 차량의 실내에서 사용자에게 제공되는 각종 화면이다. The graphic display means 130 is means for displaying various graphic screens on the windshield glass of the vehicle. Here, the graphic screen is various screens provided to the user in the vehicle interior, such as navigation, radio, TV, and internet screen.

그래픽 표시 수단(130)은 본 발명의 일실시예에 따라 헤드업 디스플레이(Head Up Display, HUD)로 이루어질 수 있다. 그리고, 본 발명에서의 HUD는 영상 처리 수단(120)의 이미지 추출 수단(122)으로부터 직접 핸드 제스처 이미지를 제공받아 표시함으로써, 그래픽 화면과 핸드 제스처 이미지를 함께 투사하도록 구현될 수도 있다.The graphic display means 130 may be a Head Up Display (HUD) according to an embodiment of the present invention. The HUD in the present invention may be implemented to project a graphic screen and a hand gesture image together by receiving and displaying a hand gesture image directly from the image extracting means 122 of the image processing means 120. [

또한, 그래픽 표시 수단(130)은 본 발명의 일실시예에 따라 에이브이엔(Audio Visual Navigation, AVN) 시스템으로 이루어진다. In addition, the graphic display means 130 comprises an AVN (Audio Visual Navigation) system according to an embodiment of the present invention.

사용자 인터페이스부(140)는 핸드 제스처 이미지와 그래픽 화면을 차량의 윈드쉴드 글래스에 동시에 표시하고, 핸드 제스처 이미지를 통해 그래픽 화면을 조작하도록 제어하는 수단이다. The user interface unit 140 is a means for simultaneously displaying a hand gesture image and a graphic screen on a windshield glass of a vehicle and controlling the graphics screen to be manipulated through a hand gesture image.

여기서, 본 발명의 핸드 제스처 이미지는 윈드쉴드 글래스에 표시된 그래픽 화면의 아이콘을 선택하거나, 플리킹(flicking) 동작 및, 드래그(drag)하는 동작을 수행하여 그래픽 화면을 조작할 수 있다.Here, the hand gesture image of the present invention can manipulate the graphic screen by selecting an icon of the graphic screen displayed on the windshield glass, performing a flicking operation and a dragging operation.

도 2는 본 발명에 따라 사용자의 핸드 제스처 이미지를 추출해 표시하는 과정을 도시한 순서도이다.2 is a flowchart illustrating a process of extracting and displaying a hand gesture image of a user according to the present invention.

도 2를 참조하면, 본 발명에서는 촬영 수단(110)이 사용자의 손을 촬영하고(S110), 이미지 추출 수단(122)이 촬영된 상기 영상으로부터 핸드 제스처 이미지를 추출한다(S120). 그리고 나서, 표시 수단(124)이 상기 핸드 제스처 이미지를 차량의 윈드쉴드 글래스에 중첩하여 표시한다(S130).Referring to FIG. 2, in the present invention, the photographing means 110 photographs a user's hand (S110), and the image extracting means 122 extracts a hand gesture image from the photographed image (S120). Then, the display means 124 superimposes the hand gesture image on the windshield glass of the vehicle and displays it (S130).

도 3은 본 발명의 한 실시예에 따른 핸드 제스처를 이용한 차량용 제어 방법의 순서를 도시한 순서도이다.3 is a flowchart showing a procedure of a control method for a vehicle using a hand gesture according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 핸드 제스처를 이용한 차량용 제어 방법은 촬영 단계(S210), 영상 처리 단계(S220,S230) 및, 제어 단계(S240)를 포함한다.Referring to FIG. 3, the control method for a vehicle using the hand gesture of the present invention includes an imaging step S210, an image processing step S220, S230, and a control step S240.

촬영 단계는 카메라로 이루어진 촬영 수단(110)이 차량 내에서 사용자의 손 영상을 촬영하는 단계이다(S210). 여기서, 촬영 단계는 본 발명의 일 실시예에 따라 사용자의 손 영상을 추출할 수 있도록 조명 수단이 사용자의 손을 비추며 촬영할 수 있다.The photographing step is a step in which the photographing means 110 composed of a camera photographs a hand image of a user in the vehicle (S210). Here, in the photographing step, the lighting means may photograph the user's hand so as to extract the hand image of the user according to an embodiment of the present invention.

영상 처리 단계는 촬영 단계에서 촬영된 상기 손 영상으로부터 핸드 제스처 이미지를 추출하고, 추출된 상기 핸드 제스처 이미지를 차량의 윈드쉴드 글래스에 중첩하여 표시하는 단계이다(S220, S230).In the image processing step, a hand gesture image is extracted from the hand image photographed in the photographing step, and the extracted hand gesture image is superimposed on the windshield glass of the vehicle and displayed (S220, S230).

여기서, 영상 처리 단계는 본 발명의 일실시예에 따라 이미지 추출 단계와 표시 단계를 포함할 수 있다. 우선, 이미지 추출 단계는 촬영된 상기 손 영상으로부터 상기 핸드 제스처 이미지를 추출하는 단계이다(S220). 그리고, 표시 단계는 추출된 상기 핸드 제스처 이미지를 윈드쉴드 글래스에 중첩하여 표시하는 단계이다(S230).Here, the image processing step may include an image extracting step and a displaying step according to an embodiment of the present invention. First, the image extracting step extracts the hand gesture image from the photographed hand image (S220). In the displaying step, the extracted hand gesture image is superimposed on the windshield glass and displayed (S230).

또한, 표시 단계는 본 발명의 일실시예에 따라 HUD나 AVN 시스템으로부터 투사된 그래픽 화면상에 핸드 제스처 이미지를 중첩하여 표시할 수 있다.In addition, the display step may display the hand gesture image superimposed on the graphic screen projected from the HUD or AVN system according to an embodiment of the present invention.

그리고, 제어 단계는 상기 핸드 제스처 이미지를 통해 윈드쉴드 글래스에 표시된 그래픽 화면을 조작하도록 제어하는 단계이다(S240).The control step controls the graphic screen displayed on the windshield glass to be manipulated through the hand gesture image (S240).

제어 단계는 핸드 제스처 이미지가 HUD나 AVN 시스템을 통해 윈드쉴드 글래스에 표시된 그래픽 화면의 아이콘을 선택하거나, 플리킹(flicking) 동작 및, 드래그(drag)하는 동작을 수행하여 그래픽 화면을 조작하도록 제어한다.In the control step, the hand gesture image is controlled to select an icon of the graphic screen displayed on the windshield glass through the HUD or the AVN system, to perform a flicking operation or a drag operation to operate the graphic screen .

또한, 본 발명은 영상 처리 단계에서 운전자의 전방에 위치하는 별도의 그래픽 표시 장치에 핸드 제스처 이미지를 중첩하여 표시하고, 제어 단계에서 상기 핸드 제스처 이미지가 상기 그래픽 표시 장치의 그래픽 화면을 조작하도록 제어할 수도 있다.Further, in the present invention, a hand gesture image is superimposed on a separate graphic display device located in front of a driver in an image processing step, and in a control step, the hand gesture image is controlled to operate a graphic screen of the graphic display device It is possible.

도 4는 본 발명의 차량용 제어 시스템을 통해 핸드 제스처 이미지를 차량에 투사하는 것을 도시한 도면이다.4 is a diagram showing the projection of a hand gesture image onto a vehicle through the vehicle control system of the present invention.

도 4를 참고하면, 조명 수단이 사용자의 손(A)을 비추고, 카메라(110)가 사용자의 손 영상을 촬영한다. 여기서, 촬영된 상기 손 영상은 영상 처리 수단(120)을 통해 핸드 제스처 이미지(B)로 추출/변환되고, 추출된 핸드 제스처 이미지(B)가 차량의 윈드쉴드 글래스에 표시된다.Referring to FIG. 4, the illumination means illuminates the user's hand A, and the camera 110 photographs the user's hand image. Here, the photographed hand image is extracted / converted into a hand gesture image (B) through the image processing means (120), and the extracted hand gesture image (B) is displayed on the windshield glass of the vehicle.

또한, 핸드 제스처 이미지(B)는 사용자의 손 움직임과 싱크가 맞추어지고, 카메라(110)에 의해 촬영되는 손 움직임을 따라 자유롭게 변경될 수도 있다. In addition, the hand gesture image B may be freely changed along with the hand movement taken by the camera 110 as the sink is aligned with the hand movement of the user.

그리고, 본 발명은 추출된 핸드 제스처 이미지(B)가 차량에 표시된 HUD의 그래픽 화면(C)과 함께 윈드쉴드 글래스 상에서 중첩되도록 표시되고, 핸드 제스처 이미지(B)를 통해서 그래픽 화면(C)의 각종 동작을 조작할 수 있게 된다.The present invention is characterized in that the extracted hand gesture image B is superimposed on the windshield glass together with the graphic screen C of the HUD displayed on the vehicle and various kinds of the graphic screen C are displayed on the hand gesture image B The operation can be operated.

도 5는 본 발명에 따른 핸드 제스처 이미지를 통해 그래픽 화면의 아이콘을 선택하고, 그래픽 화면을 드래그해 조작하는 것을 도시한 도면이다.FIG. 5 is a view showing an icon of a graphic screen through a hand gesture image according to the present invention, and dragging and manipulating the graphic screen.

도 5를 참조하면, 영상 처리 수단(120)에 의해 표시된 핸드 제스처 이미지(B1)가 그래픽 표시 수단(130)을 통해 윈드쉴드 글래스에 표시된 그래픽 화면의 아이콘(C1)을 선택하는 동작을 보여준다.5, the hand gesture image B1 displayed by the image processing means 120 shows the operation of selecting the icon C1 of the graphic screen displayed on the windshield glass through the graphic display means 130. In FIG.

그리고, 본 발명에서는 핸드 제스처 이미지로 그래픽 화면상에서 선택된 아이콘을 클릭하거나, 아이콘을 드래그하는 동작을 통해 그래픽 화면의 각종 기능을 제어할 수 있게 된다. In the present invention, various functions of the graphic screen can be controlled by clicking the icon selected on the graphic screen with the hand gesture image or by dragging the icon.

따라서, 본 발명은 사용자의 손 움직임을 통해 차량의 윈드쉴드 글래스에 표시된 그래픽을 직관적으로 조작하여 운전중에도 사용자의 시선 분산을 방지하고, 운전자의 편의와 안전을 보장할 수 있는 환경을 제공하게 된다.Therefore, the present invention intuitively controls the graphic displayed on the windshield glass of the vehicle through the movement of the user's hand so as to prevent the user's gaze dispersion during operation and to provide an environment that can guarantee the convenience and safety of the driver.

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.The embodiments of the present invention described above are not implemented only by the apparatus and method, but may be implemented through a program for realizing the function corresponding to the configuration of the embodiment of the present invention or a recording medium on which the program is recorded.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.

110: 촬영 수단 120: 영상 처리 수단
122: 이미지 추출 수단 124: 표시 수단
130: 그래픽 표시 수단 140: 사용자 인터페이스부110: photographing means 120: image processing means
122: image extracting means 124: display means
130: graphic display means 140: user interface unit

Claims (5)

차량 내에서 사용자의 손 영상을 촬영하는 촬영 수단,
촬영된 상기 손 영상으로부터 핸드 제스처 이미지를 추출하고, 추출된 상기 핸드 제스처 이미지를 상기 차량의 윈드쉴드 글래스에 중첩하여 표시하는 영상 처리 수단,
상기 윈드쉴드 글래스에 그래픽 화면을 표시하는 그래픽 표시 수단, 그리고
상기 핸드 제스처 이미지를 통해 상기 그래픽 화면을 조작하도록 제어하는 사용자 인터페이스부
를 포함하는
핸드 제스처를 이용한 차량용 제어 시스템.A photographing means for photographing a hand image of the user in the vehicle,
Image processing means for extracting a hand gesture image from the photographed hand image, superimposing the extracted hand gesture image on the windshield glass of the vehicle and displaying the hand gesture image,
Graphic display means for displaying a graphic screen on the windshield glass, and
A user interface unit for controlling the graphic screen through the hand gesture image
Containing
Vehicle control system using hand gestures. 제1항에 있어서,
상기 영상 처리 수단은 운전자의 전방에 위치하는 그래픽 표시 장치에 상기 핸드 제스처 이미지를 중첩하여 표시하고,
사용자 인터페이스부가 상기 핸드 제스처 이미지가 상기 그래픽 표시 장치의 그래픽 화면을 조작하도록 제어하는 핸드 제스처를 이용한 차량용 제어 시스템.The method according to claim 1,
The image processing means displays the hand gesture image in a superimposed manner on a graphic display device located in front of the driver,
And the user interface unit controls the hand gesture image to operate the graphic screen of the graphic display device. 제1항에 있어서,
상기 그래픽 표시 수단은
헤드업 디스플레이(Head Up Display, HUD)로 이루어진 핸드 제스처를 이용한 차량용 제어 시스템.The method according to claim 1,
The graphic display means
A control system for a vehicle using a hand gesture consisting of a head up display (HUD). 제1항에 있어서,
상기 그래픽 표시 수단은
에이브이엔(Audio Visual Navigation, AVN) 시스템으로 이루어진 핸드 제스처를 이용한 차량용 제어 시스템.The method according to claim 1,
The graphic display means
Vehicle control system using hand gesture composed of AVN (Audio Visual Navigation) system. 제1항에 있어서,
상기 사용자 인터페이스부는
상기 핸드 제스처 이미지가 상기 윈드쉴드 글래스에 표시된 상기 그래픽 화면의 아이콘 선택, 플리킹(flicking) 및, 드래그(drag) 동작을 조작하는 핸드 제스처를 이용한 차량용 제어 시스템.The method according to claim 1,
The user interface unit
Wherein the hand gesture image manipulates icon selection, flicking, and drag operations of the graphic screen displayed on the windshield glass.
KR1020120149951A 2012-12-20 2012-12-20 Control system for vehicle using hand gesture KR20140080300A (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120149951A KR20140080300A (en) 2012-12-20 2012-12-20 Control system for vehicle using hand gesture
DE201310223419 DE102013223419A1 (en) 2012-12-20 2013-11-15 Control system for using hand gesture for vehicle, has processor and memory which is configured to store program instructions, where processor is configured to execute program instructions
CN201310596768.5A CN103885580A (en) 2012-12-20 2013-11-22 Control system for using hand gesture for vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120149951A KR20140080300A (en) 2012-12-20 2012-12-20 Control system for vehicle using hand gesture

Publications (1)

Publication Number Publication Date
KR20140080300A true KR20140080300A (en) 2014-06-30

Family

ID=50878962

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120149951A KR20140080300A (en) 2012-12-20 2012-12-20 Control system for vehicle using hand gesture

Country Status (3)

Country Link
KR (1) KR20140080300A (en)
CN (1) CN103885580A (en)
DE (1) DE102013223419A1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105700671A (en) * 2014-11-26 2016-06-22 熊兆王 Gesture control method and system
DE102015204280A1 (en) * 2015-03-10 2016-09-15 Robert Bosch Gmbh A method for activating an actuator of a motor vehicle, device configured for carrying out the method and computer program product
CN104866106A (en) * 2015-06-03 2015-08-26 深圳市光晕网络科技有限公司 HUD and infrared identification-combined man-machine interactive method and system
CN106250027A (en) * 2016-07-22 2016-12-21 纳瓦电子（上海）有限公司 A kind of comprehensive interactive system
CN112947761B (en) * 2021-03-26 2023-07-28 芜湖汽车前瞻技术研究院有限公司 Virtual image position adjustment method, device and storage medium of AR-HUD system

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60043679D1 (en) * 1999-05-27 2010-02-25 Clarion Co Ltd Switch control in motor vehicles
GB0523512D0 (en) * 2005-11-18 2005-12-28 Applied Generics Ltd Enhancing traffic and navigation information with visual and audio data
JP4930716B2 (en) * 2007-08-23 2012-05-16 株式会社デンソー Remote control device for vehicle
JP4626860B2 (en) * 2009-01-30 2011-02-09 株式会社デンソー Operating device
US8633979B2 (en) * 2010-12-29 2014-01-21 GM Global Technology Operations LLC Augmented road scene illustrator system on full windshield head-up display
US9057874B2 (en) * 2010-12-30 2015-06-16 GM Global Technology Operations LLC Virtual cursor for road scene object selection on full windshield head-up display

Also Published As

Publication number Publication date
CN103885580A (en) 2014-06-25
DE102013223419A1 (en) 2014-06-26

Similar Documents

Publication Publication Date Title
CN101379455B (en) Input device and its method
US20140181759A1 (en) Control system and method using hand gesture for vehicle
KR20200035103A (en) Gaze-based user interaction
JP6073497B2 (en) Display control apparatus, information display method, and information display system
CN110395182B (en) Motor vehicle with electronic rear view mirror
JP2006091645A (en) Display device
KR20140080300A (en) Control system for vehicle using hand gesture
JP2006072854A (en) Input device
KR20130080179A (en) Method and apparatus for managing icon in portable terminal
JP7042398B2 (en) Image display device, image display method, and program
JP2014197252A (en) Gesture operation apparatus, program thereof, and vehicle mounted with gesture operation apparatus
CN107852481A (en) Image display control apparatus
JP2010108185A (en) System, method, and program for controlling display
JP2017182109A (en) Display system, information processing device, projector, and information processing method
US10953749B2 (en) Vehicular display device
EP3057313A1 (en) Display apparatus and display method
US10623610B2 (en) Display processing device and display processing method
KR20130028230A (en) Method displaying information of avm system and avn system
JP2016126687A (en) Head-mounted display, operation reception method, and operation reception program
JP2015014998A (en) Operation system
TWI653540B (en) Display apparatus, projector, and display control method
JP2009184551A (en) On-vehicle equipment input device
WO2017188098A1 (en) Vehicle-mounted information processing system
TWM564749U (en) Vehicle multi-display control system
US10728487B2 (en) Image display apparatus, external device, image display method, and image display system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application