KR20140079025A - Method for providing a user interface using leg gesture recognition in a vehicle - Google Patents

Method for providing a user interface using leg gesture recognition in a vehicle Download PDF

Info

Publication number
KR20140079025A
KR20140079025A KR1020120148481A KR20120148481A KR20140079025A KR 20140079025 A KR20140079025 A KR 20140079025A KR 1020120148481 A KR1020120148481 A KR 1020120148481A KR 20120148481 A KR20120148481 A KR 20120148481A KR 20140079025 A KR20140079025 A KR 20140079025A
Authority
KR
South Korea
Prior art keywords
leg
gesture
occupant
vehicle
passenger
Prior art date
Application number
KR1020120148481A
Other languages
Korean (ko)
Inventor
김성운
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020120148481A priority Critical patent/KR20140079025A/en
Publication of KR20140079025A publication Critical patent/KR20140079025A/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 실시예에 따른 차량 내 다리 제스처 인식을 이용한 사용자 인터페이스 조작 방법은, 제스처 감지부로부터 입력 받은 탑승자를 검출한 영상 정보를 처리하는 단계, 상기 입력 받은 탑승자를 검출한 영상 정보로부터 탑승자의 다리 제스처를 인식하는 단계 및 상기 인식된 다리 제스처에 대응하는 차량 내 전자 기기를 구동하는 제어신호를 생성하는 단계를 포함한다.
따라서, 탑승자의 두 손은 스티어링 휠을 조작하면서 다리의 움직임으로 차량 내부의 다양한 전자 장치들을 제어할 수 있어 탑승자의 편의성과 안전성이 향상된다.A method of operating a user interface using in-vehicle leg gesture recognition according to an exemplary embodiment of the present invention includes the steps of processing image information detected from a passenger input from a gesture detection unit, Recognizing the gesture, and generating a control signal for driving the in-vehicle electronic device corresponding to the recognized leg gesture.
Accordingly, the two hands of the passenger can control various electronic devices in the vehicle by the movement of the legs while operating the steering wheel, thereby improving the convenience and safety of the passenger.

Description

차량 내 다리 제스처 인식을 이용한 사용자 인터페이스 조작 방법{METHOD FOR PROVIDING A USER INTERFACE USING LEG GESTURE RECOGNITION IN A VEHICLE}TECHNICAL FIELD [0001] The present invention relates to a method for operating a user interface using a leg gesture recognition in a vehicle,

본 발명은 차량 탑승자의 다리 제스처를 인식하여 차량 내부의 기기들을 제어하는 사용자 인터페이스 조작 방법에 관한 것이다.The present invention relates to a method of operating a user interface for controlling devices inside a vehicle by recognizing a leg gesture of a vehicle occupant.

최근의 차량은 내부에 탑승자의 편의를 위해 다양한 전자 장치들이 탑재된다. 기존의 라디오, 에어컨 위주의 전자장치에서 내비게이션 시스템, 휴대전화 핸즈프리 시스템, DMB 시스템 등의 전자기기들이 탑재되고 있다.In recent years, various electronic devices are mounted inside the vehicle for the convenience of the passengers. Electronic devices such as a navigation system, a mobile phone hands-free system, and a DMB system are mounted on conventional radio and air conditioner-oriented electronic devices.

기존 차량 내부의 전자 기기들은 지정된 버튼을 통해 사용자 인터페이스를 제공하며, 최근에는 터치 스크린의 사용도 보편화 되었다. 이러한 장치들은 탑승자가 손으로 직접 접촉하여 조작하여야 한다. 즉, 탑승자의 시선과 손 동작에 기반을 두고 있기 때문에 보다 운전에 대한 충분한 시야 범위와 좋은 자세를 제공할 수 있다면 안전 운전을 기대할 수 있다.Electronic devices in existing vehicles provide a user interface through designated buttons, and in recent years, the use of touch screens has also become commonplace. These devices must be operated by hand contact with the passenger. In other words, since it is based on the passenger's gaze and hand movements, safe driving can be expected if a sufficient field of view and good attitude can be provided.

탑승자의 시야를 필요로 하지 않으면서 차량 기능을 제어하는 시스템은 기본적으로 탑승자의 손짓이 필요하다. 또한, 한 손으로 차량 조작이 가능하지만 조작 정확성 및 집중력 등에 있어서 두 손이 모두 스티어링 휠에 있는 것이 안전 운전에 효과를 발휘할 수 있다.A system that controls vehicle functions without the need for occupant visibility basically requires the passenger's hand gestures. In addition, it is possible to operate the vehicle with one hand, but it is possible for the steering wheel to have both hands on the steering wheel in terms of operation accuracy and concentration, etc., in safety driving.

따라서 운전에 방해를 주지 않으면서도 사용자의 편리성을 위한 인터페이스 기술 개발이 필요하다.Therefore, it is necessary to develop the interface technology for the convenience of the user without disturbing the operation.

본 발명은 탑승자의 두 손은 스티어링 휠을 조작하면서 다리의 움직임으로 차량 내부의 다양한 전자 장치들을 제어할 수 있는 방법을 제공하는 것을 목적으로 한다.It is an object of the present invention to provide a method by which two hands of a passenger can control various electronic devices inside a vehicle by the movement of a leg while operating a steering wheel.

본 발명의 실시예에 따른 차량 내 다리 제스처 인식을 이용한 사용자 인터페이스 조작 방법은, 제스처 감지부로부터 입력 받은 탑승자를 검출한 영상 정보를 처리하는 단계, 상기 입력 받은 탑승자를 검출한 영상 정보로부터 탑승자의 다리 제스처를 인식하는 단계 및 상기 인식된 다리 제스처에 대응하는 차량 내 전자 기기를 구동하는 제어신호를 생성하는 단계를 포함한다.A method of operating a user interface using in-vehicle leg gesture recognition according to an exemplary embodiment of the present invention includes the steps of processing image information detected from a passenger input from a gesture detection unit, Recognizing the gesture, and generating a control signal for driving the in-vehicle electronic device corresponding to the recognized leg gesture.

여기서, 상기 제스처 감지부로부터 입력 받은 탑승자를 검출한 영상 정보를 처리하는 단계는, 상기 제스처 감지부로부터 탑승자를 검출한 영상 정보를 입력 받는 단계, 상기 탑승자를 검출한 영상 정보를 기초로 인체 주변 영상을 제거하여 탑승자의 인체를 추출하는 단계 및 상기 추출된 인체를 기초로 다리 부분 이미지를 추적하여 탑승자의 다리 위치 또는 다리 궤적을 취득하는 단계를 포함한다.The processing of the image information detected by the gesture sensing unit may include receiving image information that detects an occupant from the gesture sensing unit, generating a human peripheral image based on the image information detected by the occupant, And extracting the human body of the passenger and tracing the image of the leg portion based on the extracted human body to obtain the leg position or the leg locus of the passenger.

여기서, 상기 탑승자의 다리 제스처를 인식하는 단계는, 상기 취득한 탑승자의 다리 위치 또는 다리 궤적과 매칭되는 다리 제스처가 저장되어 있는지 판단하는 단계 및 상기 저장된 다리 제스처를 상기 탑승자의 다리 제스처로 인식하는 단계를 포함한다.The step of recognizing the leg gesture of the occupant may include the steps of determining whether a leg gesture matching the leg position or the leg locus of the occupant is stored and recognizing the stored leg gesture as a leg gesture of the occupant .

또한, 상기 탑승자를 검출한 영상 정보를 입력 받는 단계 이전에 탑승자로부터 다리 제스처 인식 기능 사용 요청이 있는지 판단하는 단계 및 탑승자로부터 상기 다리 제스처 인식 기능 사용 종료 요청이 있는지 판단하는 단계를 더 포함할 수 있다.The method may further include determining whether there is a request to use the leg gesture recognition function from a passenger prior to inputting the image information that detects the occupant, and determining whether there is a leg gesture recognition function use end request from a passenger .

또한, 상기 다리 위치 또는 상기 다리 궤적에 따라 무릎 에어백 전개를 조절하는 단계를 더 포함할 수 있다.The method may further include adjusting the deployment of the knee airbag according to the leg position or the leg locus.

본 발명의 실시예에 따른 차량 내 다리 제스처 인식을 이용한 사용자 인터페이스 조작 시스템은, 움직임을 감지하여 탑승자를 검출하는 제스처 감지부, 인식 가능한 다리 제스처 정보를 저장하고 있는 다리 제스처 데이터베이스 및 상기 제스처 감지부로부터 입력 받은 탑승자를 검출한 영상 정보를 기초로 차량 내 전자 기기를 구동하는 제어 신호를 생성하는 전자제어유닛을 포함한다.A user interface operating system using in-vehicle leg gesture recognition according to an embodiment of the present invention includes a gesture sensing unit for sensing a movement and detecting an occupant, a leg gesture database for storing recognizable leg gesture information, And an electronic control unit for generating a control signal for driving the in-vehicle electronic device on the basis of the image information that detects the input occupant.

또한, 탑승자로부터 다리 제스처 인식 기능 사용 및 종료를 위한 요청 신호를 받는 입력부 및 상기 전자제어유닛의 차량 내 전자 기기 구동 내용을 표시하는 출력부를 더 포함할 수 있다.The electronic control unit may further include an input unit receiving a request signal for use and termination of a leg gesture recognition function from a passenger, and an output unit displaying an electronic device driving content of the electronic control unit.

본 발명의 실시예에 따른 다리 제스처 인식을 이용한 사용자 인터페이스 조작 방법에서, 탑승자는 자신의 다리 제스처를 인식시켜 이에 대응하는 차량 내 전자 기기를 조작할 수 있다.In the method of operating the user interface using the leg gesture recognition according to the embodiment of the present invention, the occupant can recognize the leg gesture of the user and manipulate the corresponding in-vehicle electronic device.

따라서, 탑승자의 두 손은 스티어링 휠을 조작하면서 다리 제스처로 차량 내부의 다양한 전자 기기들을 제어할 수 있어 탑승자의 편의성과 운전 안전성이 향상된다.Accordingly, the two hands of the passenger can control various electronic devices in the vehicle with the leg gesture while operating the steering wheel, thereby improving the convenience and safety of the occupant.

도 1은 본 발명의 실시예에 따른 차량 내 다리 제스처 인식을 이용한 사용자 인터페이스 시스템을 개략적으로 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 차량 내 다리 제스처 인식을 이용한 사용자 인터페이스 조작 방법에 대한 순서도이다.
도 3은 본 발명의 실시예에 따른 다리 제스처에 대한 예시도이다. 1 is a schematic diagram illustrating a user interface system using leg gesture recognition in a vehicle according to an embodiment of the present invention.
2 is a flowchart illustrating a method of operating a user interface using leg gesture recognition in a vehicle according to an exemplary embodiment of the present invention.
3 is an illustration of an example of a leg gesture according to an embodiment of the present invention.

이하, 본 발명의 바람직한 실시예를 첨부한 도면을 참조로 상세하게 설명하면 다음과 같다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.The present invention may be embodied in many different forms and is not limited to the embodiments described herein.

또한, 도면에서 나타난 각 구성은 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도면에 도시된 바에 한정되지 않는다.In addition, since the components shown in the drawings are arbitrarily shown for convenience of explanation, the present invention is not necessarily limited to those shown in the drawings.

도 1은 본 발명의 실시예에 따른 다리 제스처 인식을 이용한 사용자 인터페이스 장치를 개략적으로 도시한 도면이다.FIG. 1 is a view schematically showing a user interface device using leg gesture recognition according to an embodiment of the present invention. Referring to FIG.

도 1을 참조하면, 다리 제스처 인식을 이용한 사용자 인터페이스(USER INTERFACE; UI) 장치는 입력부(100), 제스처 감지부(110), 다리 제스처 데이터베이스(120), 전자제어유닛(130)(ELECTRIC CONTROL UNIT; ECU) 및 출력부(140)을 포함한다.1, a USER INTERFACE (UI) apparatus using leg gesture recognition includes an input unit 100, a gesture sensing unit 110, a leg gesture database 120, an electronic control unit 130 (ECU) and an output unit 140.

입력부(100)는 버튼, 터치스크린 등을 포함한다. 여기서 입력은 버튼이나 터치스크린을 통하여 입력 신호를 발생시키는 것으로 설명하나, 다른 입력 방법으로 탑승자의 음성, 제스처 등이 가능하다. 상기 입력부(100)를 통하여 탑승자는 다리 제스처 인식 기능의 사용을 시작할지 종료할지 요청할 수 있다.The input unit 100 includes a button, a touch screen, and the like. Herein, the input is described as generating an input signal through a button or a touch screen, but it is possible to use a voice or a gesture of a passenger as another input method. Through the input unit 100, the occupant can request to start or stop using the leg gesture recognition function.

제스처 감지부(110)는 카메라, 광센서, 초음파센서, 이미지 센서 등을 포함하고, 정확한 다리 부분 인식을 위해서는 이미지 센서가 가장 유리하다. 상기 제스처 감지부(110)의 위치는 스티어링휠 아래 또는 위 모두 가능하다. 상기 제스처 감지부(110)는 움직임을 감지하여 탑승자를 검출한다.The gesture sensing unit 110 includes a camera, an optical sensor, an ultrasonic sensor, an image sensor, and the like. The position of the gesture sensing unit 110 may be either below or above the steering wheel. The gesture sensing unit 110 senses a motion and detects an occupant.

다리 제스처 데이터베이스(120)는 탑승자의 다리 제스처를 저장한다. 상기 저장된 다리 제스처는 일반적으로 정의되어 있는 제스처에 대하여 미리 설정되어 있는 것이 바람직하다. 예를 들어, 미리 설정된 다리 제스처는 도 3에 도시된 바와 같은 형태가 가능하며, 이외에도 다양한 다리 제스처가 가능하다. 즉, 상기 다리 제스처 데이터베이스(120)에는 발 앞꿈치로 바닥을 두드리는 앞발 태핑 제스처, 발바닥을 바닥에 고정하고 무릎만 좌우로 흔드는 무릎 좌우 제스처 및 무릎을 상하로 움직이는 무릎 상하 제스처 등 다양한 다리 제스처 정보가 미리 저장되어 있는 것이 바람직하다.The leg gesture database 120 stores the leg gesture of the occupant. Preferably, the stored leg gesture is preset for a generally defined gesture. For example, a preset leg gesture may be as shown in FIG. 3, and various leg gestures may be possible. That is, in the leg gesture database 120, various leg gesture information such as a paw tapping gesture for tapping the floor with the forefoot, a left and right gesture of the knee to which the soles of the feet are fixed on the floor and rock the knee to the left and right, Is preferably stored.

또한, 상기 다리 제스처 데이터베이스(120)는 탑승자에 의해 등록된 다리 제스처를 저장한다. 탑승자는 다양한 다리 위치 또는 다리 궤적을 선정하여 다리 제스처로서 저장할 수 있다. 즉, 탑승자마다 각각 다른 다리 위치 또는 궤적을 다리 제스처로 오류 없이 인식하도록 탑승자가 직접 자신만의 다리 제스처를 저장하는 것이 바람직하다.In addition, the leg gesture database 120 stores the leg gestures registered by the occupant. The occupant can select various leg positions or leg trajectories and store them as leg gestures. That is, it is preferable that the occupant directly stores his or her own leg gesture so that each passenger recognizes different leg positions or trajectories without any error by using the leg gesture.

전자제어유닛(130)은 상기 제스처 감지부(110)가 탑승자를 검출한 영상 정보를 기초로 영상 처리를 한다. 즉, 탑승자를 검출한 영상에서 인체 주변 영상을 제거하여 탑승자의 인체를 추출한다. 이후, 추출된 인체를 기초로 머리, 몸통, 팔, 다리로 구분하여 모델링한다. 상기 모델링한 다리 부분 이미지를 추적하여 탑승자의 다리 위치 또는 다리 궤적을 취득한다.The electronic control unit 130 performs image processing on the basis of the image information on which the gesture sensing unit 110 has detected the occupant. That is, the human body of the passenger is extracted by removing the peripheral image from the image of the occupant. Then, the extracted human body is classified into head, body, arm, and leg based on the model. The modeled leg portion image is traced to obtain the leg position or leg locus of the passenger.

또한, 상기 전자제어유닛(130)은 상기 취득한 다리 위치 또는 다리 궤적과 매칭되는 다리 제스처가 상기 다리 제스처 데이터베이스(120)에 저장되어 있는지 판단한다. 상기 전자제어유닛(130)은 매칭되는 다리 제스처가 저장되어 있으면 상기 저장된 다리 제스처를 상기 탑승자의 다리 제스처로 인식한다. 즉, 매칭되는 다리 제스처가 저장되어 있지 않으면 탑승자의 다리 궤적 정보는 식별 불가능한 다리 제스처가 되어 인식되지 않는다.Also, the electronic control unit 130 determines whether or not the leg gesture matching with the obtained leg position or leg locus is stored in the leg gesture database 120. The electronic control unit 130 recognizes the stored leg gesture as a leg gesture of the occupant if a matching leg gesture is stored. That is, if the matching leg gesture is not stored, the leg trajectory information of the passenger is not recognized as an unidentifiable leg gesture.

또한, 상기 전자제어유닛(130)은 상기 입력부(100)의 입력 신호에 따라 다리 제스처 인식 기능을 사용할지 여부를 결정한다. 즉, 상기 전자제어유닛(130)은 탑승자로부터 다리 제스처 인식 기능을 사용 또는 종료하라는 요청이 있는지 판단하여, 상기 제스처 감지부(110)를 제어한다.In addition, the electronic control unit 130 determines whether to use the leg gesture recognition function according to the input signal of the input unit 100. [ That is, the electronic control unit 130 determines whether there is a request to use or terminate the leg gesture recognition function from the passenger, and controls the gesture sensing unit 110. [

또한, 상기 전자제어유닛(130)은 상기 인식된 다리 제스처에 대응하는 차량 내 전자 기기를 구동하는 제어신호를 생성한다. 상기 대응하는 차량 내 전자 기기 목록은 데이터베이스화하여 저장하고 있는 것이 바람직하다. 상기 전자제어유닛(130)은 선택된 차량 내 전자 기기를 구동하는 제어신호를 생성하여 탑승자가 원하는 조작을 제공한다. 예를 들어, 선택할 수 있는 차량 내 전자 기기 조작은 운전 중 휴대폰 받기/끄기, 음악 재생/정지/음소거, 음량 증가/감소, 풍량 증가/감소, 썬바이저 조작 등이다.Also, the electronic control unit 130 generates a control signal for driving the in-vehicle electronic device corresponding to the recognized leg gesture. The corresponding in-vehicle electronic device list is preferably stored in a database. The electronic control unit 130 generates a control signal for driving the selected in-vehicle electronic device to provide a desired operation by the occupant. For example, selectable in-vehicle electronic device operations include receiving / turning off the mobile phone while driving, playing / pausing / mute the music, increasing / decreasing the volume, increasing / decreasing the airflow, and manipulating the sunvisor.

또한, 상기 전자제어유닛(130)은 상기 다리 위치 또는 다리 궤적을 기초로 무릎 에어백 전개를 조절하는 제어신호를 생성한다. 즉, 상기 다리 위치를 통하여 다리 무릎의 위치, 상기 다리 궤적을 통하여 운전자가 다리를 접었는지 여부 등의 정보를 확보할 수 있으므로, 운전자 하체에 대한 충돌 시 안전을 위한 무릎 에어백 등을 사용하여 운전자의 안전을 확보 할 수 있다.Further, the electronic control unit 130 generates a control signal for adjusting the deployment of the knee airbag based on the leg position or leg locus. That is, information such as the position of the leg knee through the leg position, whether or not the driver has folded the leg through the leg locus, and the like can be secured. Therefore, the knee airbag Safety can be ensured.

출력부(140)는 터치스크린, 스피커 및 상기 차량 내 전자 기기로서 조작 대상이 되는 휴대폰, 음악기기, 에어컨, 썬바이저 등을 포함한다. 또한, 차량 내 전자 기기 조작 내용을 화면으로 출력한다.The output unit 140 includes a touch screen, a speaker, and a mobile phone, a music device, an air conditioner, a sun visor, and the like, which are operated as electronic devices in the vehicle. Also, the operation contents of the in-vehicle electronic device are output to the screen.

도 2는 본 발명의 실시예에 따른 다리 제스처 인식을 이용한 사용자 인터페이스 조작 방법에 대한 순서도이다. 2 is a flowchart illustrating a method of operating a user interface using leg gesture recognition according to an embodiment of the present invention.

도 2를 참조하면, 탑승자는 상기 입력부(100)를 통하여 다리 제스처 인식 기능의 사용을 요청한다(S100). 예를 들어, 탑승자는 오디오 시스템 조작을 위하여 다리 제스처 인식 기능의 사용을 요청할 수 있다.Referring to FIG. 2, the passenger requests the use of the leg gesture recognition function through the input unit 100 (S100). For example, an occupant may request the use of a leg gesture recognition function for audio system manipulation.

그리고, 탑승자에 의해 다리 제스처 인식 기능 사용이 요청되면, 상기 제스처 감지부(110)를 통하여 탑승자를 검출한다. 이후, 상기 전자제어유닛(130)은 상기 제스처 감지부(110)로부터 탑승자를 검출한 영상 정보를 입력 받는다(S110).When the occupant requests to use the leg gesture recognizing function, the passenger is detected through the gesture detecting unit 110. [ Then, the electronic control unit 130 receives the image information of the occupant detected from the gesture detection unit 110 (S110).

상기 전자제어유닛(130)에서 상기 입력 받은 탑승자를 검출한 영상 정보를 기초로 인체 주변 영상을 제거하고 탑승자의 인체를 추출한다(S120). 그리고, 상기 전자제어유닛(130)은 추출된 인체를 기초로 몸통, 팔, 다리로 구분하여 모델링하고, 다리 부분 이미지만을 추적한다(S130).In step S120, the electronic control unit 130 removes the human peripheral image based on the image information of the occupant, and extracts the human body of the occupant. Then, the electronic control unit 130 classifies the extracted human body as a trunk, an arm, and a leg based on the model, and tracks only the leg portion image (S130).

이후, 상기 전자제어유닛(130)은 상기 다리 부분 이미지를 추적하여 다리 위치 및 다리 궤적을 취득한다(S140).Then, the electronic control unit 130 traces the image of the leg to acquire the leg position and the leg locus (S140).

이후, 상기 전자제어유닛(130)은 상기 추출된 다리 위치 또는 다리 궤적과 매칭되는 다리 제스처가 다리 제스처 데이터베이스(120)에 저장되어 있는지 판단한다(S150). Thereafter, the electronic control unit 130 determines whether a leg gesture matching the extracted leg position or leg locus is stored in the leg gesture database 120 (S150).

상기 전자제어유닛(130)은 상기 다리 제스처 데이터베이스(120)에 매칭되는 다리 제스처가 저장되어 있으면 상기 저장된 다리 제스처를 탑승자의 다리 제스처로 인식한다(S160). If the leg gesture matched to the leg gesture database 120 is stored, the electronic control unit 130 recognizes the stored leg gesture as a leg gesture of the occupant (S160).

이후, 상기 전자제어유닛(130)은 상기 인식된 다리 제스처에 대응하는 차량 내 전자 기기를 구동하는 제어신호를 생성한다(S170). 즉, 상기 전자제어유닛(130)은 선택된 차량 내 전자 기기를 구동하는 제어신호를 생성하여 탑승자가 원하는 조작을 제공한다. 예를 들어, 미리 설정된 다리 제스처에 대응하는 차량 내 전자 기기 조작 중 차량 내 오디오 시스템 조작은 도 3에 도시된 바와 같은 형태가 가능하다. 도3을 참조하면, 탑승자는 앞발 태핑 제스처를 통하여 음악을 재생 또는 임시정지 시킬 수 있다. 또한, 탑승자는 무릅 좌우 제스처를 통하여 음악을 선곡하라 수 있다. 또한, 탑승자는 무릎 상하 제스처를 통하여 음악을 오프 시킬 수 있다.Thereafter, the electronic control unit 130 generates a control signal for driving the in-vehicle electronic device corresponding to the recognized leg gesture (S170). That is, the electronic control unit 130 generates a control signal for driving the selected in-vehicle electronic device, and provides an operation desired by the occupant. For example, in-vehicle audio system operation during operation of an in-vehicle electronic device corresponding to a preset leg gesture can take a form as shown in FIG. Referring to FIG. 3, the occupant can play or temporarily stop the music through the toe tapping gesture. Also, the occupant can select the music through the gesture of the right and left. In addition, the occupant can turn off the music through the knee up / down gesture.

이때, 상기 차량 내 전자 기기 조작 결과는 출력부(140)를 통하여 나타나고, 운전자가 다리 제스처 인식 기능 종료를 요청하는지에 따라 다리 제스처 인식 기능은 종료된다(S180).At this time, the in-vehicle electronic device operation result is displayed through the output unit 140, and the leg gesture recognition function is terminated according to whether the driver requests termination of the leg gesture recognition function (S180).

이상으로 본 발명에 관한 바람직한 실시예를 설명하였으나, 본 발명은 상기 실시예에 한정되지 아니하며, 본 발명의 실시예로부터 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의한 용이하게 변경되어 균등하다고 인정되는 범위의 모든 변경을 포함한다. While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, And all changes to the scope that are deemed to be valid.

100: 입력부
110: 제스처 감지부
120: 다리 제스처 데이터베이스
130: 전자제어유닛
140: 출력부100: Input unit
110: Gesture detection unit
120: Bridge gesture database
130: Electronic control unit
140:

Claims (7)

차량 내 다리 제스처 인식을 이용한 사용자 인터페이스 조작 방법에 있어서,
제스처 감지부로부터 입력 받은 탑승자를 검출한 영상 정보를 처리하는 단계;
상기 입력 받은 탑승자를 검출한 영상 정보로부터 탑승자의 다리 제스처를 인식하는 단계; 및
상기 인식된 다리 제스처에 대응하는 차량 내 전자 기기를 구동하는 제어신호를 생성하는 단계를 포함하는 다리 제스처 인식을 이용한 사용자 인터페이스 조작 방법.A method of operating a user interface using a leg gesture recognition in a vehicle,
Processing the image information of the occupant detected from the gesture detection unit;
Recognizing a leg gesture of a passenger from image information of the occupant; And
And generating a control signal for driving an in-vehicle electronic device corresponding to the recognized leg gesture. 제1항에 있어서,
상기 제스처 감지부로부터 입력 받은 탑승자를 검출한 영상 정보를 처리하는 단계는,
상기 제스처 감지부로부터 탑승자를 검출한 영상 정보를 입력 받는 단계;
상기 탑승자를 검출한 영상 정보를 기초로 인체 주변 영상을 제거하여 탑승자의 인체를 추출하는 단계; 및
상기 추출된 인체를 기초로 다리 부분 이미지를 추적하여 탑승자의 다리 위치 또는 다리 궤적을 취득하는 단계를 포함하는 다리 제스처 인식을 이용한 사용자 인터페이스 조작 방법.The method according to claim 1,
Wherein the step of processing the image information that detects the occupant inputted from the gesture detection unit comprises:
Receiving image information on which the occupant is detected from the gesture detection unit;
Extracting a human body of a passenger by removing a human peripheral image based on image information of the occupant; And
And tracing an image of a leg part based on the extracted human body to obtain a leg position or a leg locus of a passenger. 제2항에 있어서,
상기 탑승자의 다리 제스처를 인식하는 단계는,
상기 취득한 탑승자의 다리 위치 또는 다리 궤적과 매칭되는 다리 제스처가 저장되어 있는지 판단하는 단계; 및
상기 저장된 다리 제스처를 상기 탑승자의 다리 제스처로 인식하는 단계를 포함하는 다리 제스처 인식을 이용한 사용자 인터페이스 조작 방법.3. The method of claim 2,
The step of recognizing the leg gesture of the occupant further comprises:
Determining whether a leg gesture matching the leg position or leg locus of the occupant is stored; And
And recognizing the stored leg gesture as a leg gesture of the occupant. 제1항에 있어서,
상기 탑승자를 검출한 영상 정보를 입력 받는 단계 이전에 탑승자로부터 다리 제스처 인식 기능 사용 요청이 있는지 판단하는 단계; 및
탑승자로부터 상기 다리 제스처 인식 기능 사용 종료 요청이 있는지 판단하는 단계를 더 포함하는 다리 제스처 인식을 이용한 사용자 인터페이스 조작 방법.The method according to claim 1,
Determining whether there is a leg gesture recognition function use request from a passenger prior to inputting the image information that detects the occupant; And
Further comprising the step of determining whether there is a leg gesture recognition function use end request from a passenger. 제3항에 있어서,
상기 다리 위치 또는 상기 다리 궤적에 따라 무릎 에어백 전개를 조절하는 단계를 더 포함하는 다리 제스처 인식을 이용한 사용자 인터페이스 조작 방법.The method of claim 3,
Further comprising adjusting the deployment of the knee airbag according to the leg position or the leg locus. 차량 내 다리 제스처 인식을 이용한 사용자 인터페이스 조작 시스템에 있어서,
움직임을 감지하여 탑승자를 검출하는 제스처 감지부;
인식 가능한 다리 제스처 정보를 저장하고 있는 다리 제스처 데이터베이스; 및
상기 제스처 감지부로부터 입력 받은 탑승자를 검출한 영상 정보를 기초로 차량 내 전자 기기를 구동하는 제어 신호를 생성하는 전자제어유닛을 포함하되,
상기 전자제어유닛은, 제1항 내지 제5항 중 어느 한 항의 방법을 수행하기 위한 일련의 명령을 실행하는 다리 제스처 인식을 이용한 사용자 인터페이스 조작 시스템.A user interface manipulation system using a leg gesture recognition in a vehicle,
A gesture sensing unit for sensing a movement and detecting an occupant;
A leg gesture database storing recognizable leg gesture information; And
And an electronic control unit for generating a control signal for driving the in-vehicle electronic device on the basis of the image information detected from the passenger input from the gesture detection unit,
The electronic control unit is a user interface manipulation system using leg gesture recognition that executes a series of instructions for performing the method of any one of claims 1 to 5. 제6항에 있어서,
탑승자로부터 다리 제스처 인식 기능 사용 및 종료를 위한 요청 신호를 받는 입력부; 및
상기 전자제어유닛의 차량 내 전자 기기 구동 내용을 표시하는 출력부를 더 포함하는 다리 제스처 인식을 이용한 사용자 인터페이스 조작 시스템.The method according to claim 6,
An input unit for receiving a request signal for using and terminating the leg gesture recognition function from the occupant; And
And an output unit for displaying contents of driving electronic devices in the vehicle of the electronic control unit.
KR1020120148481A 2012-12-18 2012-12-18 Method for providing a user interface using leg gesture recognition in a vehicle KR20140079025A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120148481A KR20140079025A (en) 2012-12-18 2012-12-18 Method for providing a user interface using leg gesture recognition in a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120148481A KR20140079025A (en) 2012-12-18 2012-12-18 Method for providing a user interface using leg gesture recognition in a vehicle

Publications (1)

Publication Number Publication Date
KR20140079025A true KR20140079025A (en) 2014-06-26

Family

ID=51130349

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120148481A KR20140079025A (en) 2012-12-18 2012-12-18 Method for providing a user interface using leg gesture recognition in a vehicle

Country Status (1)

Country Link
KR (1) KR20140079025A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150106781A (en) * 2014-03-12 2015-09-22 삼성메디슨 주식회사 The method and apparatus for controlling function of an ultrasound apparatus based on foot motion
KR101865362B1 (en) * 2016-12-08 2018-06-07 동명대학교산학협력단 Control system and method for mixed reality using foot gesture
CN108509023A (en) * 2017-02-27 2018-09-07 华为技术有限公司 The control method and device of onboard system
KR20230020310A (en) * 2021-08-03 2023-02-10 재단법인대구경북과학기술원 Electronic apparatus and Method for recognizing a user gesture thereof

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150106781A (en) * 2014-03-12 2015-09-22 삼성메디슨 주식회사 The method and apparatus for controlling function of an ultrasound apparatus based on foot motion
KR101865362B1 (en) * 2016-12-08 2018-06-07 동명대학교산학협력단 Control system and method for mixed reality using foot gesture
CN108509023A (en) * 2017-02-27 2018-09-07 华为技术有限公司 The control method and device of onboard system
US10884510B2 (en) 2017-02-27 2021-01-05 Huawei Technologies Co., Ltd. Method and apparatus for controlling onboard system
US11275449B2 (en) 2017-02-27 2022-03-15 Huawei Technoloies Co., Ltd. Method and apparatus for controlling onboard system
US11847265B2 (en) 2017-02-27 2023-12-19 Huawei Technologies Co., Ltd. Method and apparatus for controlling onboard system
KR20230020310A (en) * 2021-08-03 2023-02-10 재단법인대구경북과학기술원 Electronic apparatus and Method for recognizing a user gesture thereof

Similar Documents

Publication Publication Date Title
KR101459441B1 (en) System and method for providing a user interface using finger start points shape recognition in a vehicle
KR101550604B1 (en) Vehicle operation device
JP5261554B2 (en) Human-machine interface for vehicles based on fingertip pointing and gestures
KR101459445B1 (en) System and method for providing a user interface using wrist angle in a vehicle
US10474357B2 (en) Touch sensing display device and method of detecting user input from a driver side or passenger side in a motor vehicle
KR101490908B1 (en) System and method for providing a user interface using hand shape trace recognition in a vehicle
CN103869970B (en) Pass through the system and method for 2D camera operation user interfaces
US10732760B2 (en) Vehicle and method for controlling the vehicle
US10133357B2 (en) Apparatus for gesture recognition, vehicle including the same, and method for gesture recognition
US10649587B2 (en) Terminal, for gesture recognition and operation command determination, vehicle having the same and method for controlling the same
WO2015001875A1 (en) Information processing device
US20160349850A1 (en) Detection device and gesture input device
CN110968184B (en) Equipment control device
KR101542502B1 (en) Vehicle control apparatus and method thereof
US9448641B2 (en) Gesture input apparatus
KR20140079025A (en) Method for providing a user interface using leg gesture recognition in a vehicle
JP6414420B2 (en) In-vehicle device operation device
JP5136948B2 (en) Vehicle control device
KR101500412B1 (en) Gesture recognize apparatus for vehicle
KR101646551B1 (en) Apparatus for controlling vehicle using fingerprint and method thereof
KR20200085970A (en) Vehcle and control method thereof
KR20140077037A (en) System and method for providing tactile sensations based on gesture
KR101500413B1 (en) Gesture recognize apparatus for vehicle
KR20150056322A (en) Apparatus for controlling menu of head-up display and method thereof
WO2023032383A1 (en) Operation detection device, information processing system, and operation detection method

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20121218

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20131218

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20140623

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20131218

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

PG1501 Laying open of application