KR20140072734A - 차량 내 손모양 궤적 인식을 이용한 사용자 인터페이스 조작 시스템 및 방법 - Google Patents

차량 내 손모양 궤적 인식을 이용한 사용자 인터페이스 조작 시스템 및 방법 Download PDF

Info

Publication number
KR20140072734A
KR20140072734A KR1020120140589A KR20120140589A KR20140072734A KR 20140072734 A KR20140072734 A KR 20140072734A KR 1020120140589 A KR1020120140589 A KR 1020120140589A KR 20120140589 A KR20120140589 A KR 20120140589A KR 20140072734 A KR20140072734 A KR 20140072734A
Authority
KR
South Korea
Prior art keywords
hand
image
information
passenger
vehicle
Prior art date
Application number
KR1020120140589A
Other languages
English (en)
Other versions
KR101490908B1 (ko
Inventor
김성운
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR20120140589A priority Critical patent/KR101490908B1/ko
Priority to DE102013221668.8A priority patent/DE102013221668A1/de
Priority to US14/068,409 priority patent/US20140152549A1/en
Priority to CN201310537990.8A priority patent/CN103853462A/zh
Publication of KR20140072734A publication Critical patent/KR20140072734A/ko
Application granted granted Critical
Publication of KR101490908B1 publication Critical patent/KR101490908B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 실시예에 따른 차량 내 손 모양 궤적 인식을 이용한 사용자 인터페이스 조작 방법은, 탑승자를 촬영한 영상을 입력 받는 단계, 상기 탑승자를 촬영한 영상으로부터 탑승자의 손 모양 궤적을 인식하는 단계 및 상기 인식된 손 모양 궤적에 대응하는 차량 기기 조작을 선택하는 단계를 포함한다.
따라서, 전방을 주시하면서 탑승자의 한 손은 스티어링 휠을 조작하면서 다른 한 손의 움직임으로 차량 내부의 다양한 전자 장치들을 제어할 수 있어 탑승자의 편의성과 안전성이 향상된다.

Description

차량 내 손모양 궤적 인식을 이용한 사용자 인터페이스 조작 시스템 및 방법{SYSTEM AND METHOD FOR PROVIDING A USER INTERFACE USING HAND SHAPE TRACE RECOGNITION IN A VEHICLE}
본 발명은 차량 탑승자의 손모양 궤적을 인식하여 차량 내부의 기기들을 제어하는 사용자 인터페이스 조작 방법에 관한 것이다.
최근의 차량은 내부에 탑승자의 편의를 위해 다양한 전자 장치들이 탑재된다. 기존의 라디오, 에어컨 위주의 전자장치에서 네비게이션 시스템, 휴대전화 핸즈프리 시스템 등의 전자장치들이 탑재되고 있다.
기존 차량 내부의 전자 장치들은 지정된 버튼을 통해 사용자 인터페이스를 제공하며, 최근에는 터치 스크린의 사용도 보편화 되었다. 이러한 장치들은 탑승자가 손으로 직접 접촉하여 조작하여야 한다. 또한, 이러한 동작은 탑승자의 시선과 손 동작에 기반을 두고 있기 때문에 안전 운전에 방해가 될 수 있다 따라서, 이러한 동작을 취하면서도 충분한 시야 범위와 좋은 자세를 제공할 수 있다면 안전 운전을 기대할 수 있다.
따라서 운전에 방해를 주지 않으면서도 사용자의 편리성을 위한 인터페이스 기술 개발이 필요한 실정이다.
이러한 문제를 해결하기 위해 탑승자의 손영상을 인식하여 차량 기능을 제어하는 시스템이 개발되고 있으며, 이는 탑승자의 시야를 필요로 하지 않으면서 차량 기능을 제어하여 안전운전을 기대할 수 있다.
그러나, 이러한 종래기술은 손영상의 특징점을 추출할 때에 외란광에 의한 영향과 손모양에 의한 손 이미지 변경 영향 등을 받게 되는데 다양한 조건에서 의미있는 특징점을 얻기가 쉽지 않다.
이는 2차원 영상을 기반으로 하는 시스템에서는 색상, 밝기 정보로만 특징점을 찾아야 하는데 외부 조명 때문에 특징점에 대한 분별성이 떨어지기 때문이다.
본 발명이 해결하고자 하는 기술적 과제는 탑승자의 손모양 궤적을 인식하여 차량 내부의 다양한 전자 장치들을 제어할 수 있는 시스템 및 방법을 제공하는 것이다.
이러한 과제를 해결하기 위한 본 발명의 특징에 따른 차량내 손 모양 궤적 인식을 이용한 사용자 인터페이스 조작 방법은,
차량 내 손 모양 궤적 인식을 이용한 사용자 인터페이스 조작 방법에 있어서,
탑승자를 촬영한 영상을 입력 받는 단계;
상기 탑승자를 촬영한 영상으로부터 탑승자의 손 모양 궤적 정보를 인식하는 단계; 및
상기 인식된 손 모양 궤적 정보에 대응하는 차량 기기 조작을 선택하는 단계를 포함한다.
상기 탑승자를 촬영한 영상을 입력 받는 단계는,
영상 촬영부로부터 탑승자의 손을 촬영한 영상을 입력 받으며, 영상 저장부에 누적하여 저장하는 단계;
상기 촬영된 영상의 현재 프레임과 이전프레임의 차를 계산하여 탑승자의 손 모양 궤적 정보를 취득하는 단계를 포함하고,
상기 탑승자의 손 모양 궤적 정보를 인식하는 단계는,
상기 손 모양 궤적 정보와 매칭되는 손 모양 궤적 정보가 정보 데이터베이스에 저장되어 있는지 판단하는 단계;
상기 손 모양 궤적 정보와 매칭되는 손 모양 궤적 정보가 정보 데이터베이스에 저장되어 있으면, 상기 손 모양 궤적 정보를 인식하는 단계를 포함한다.
상기 방법은,
상기 탑승자를 촬영한 영상을 입력 받는 단계 이전에,
손 모양 궤적 인식 기능 사용 요청을 판단하는 단계를 더 포함하고,
손 모양 궤적 인식 기능 사용 요청이 있으면, 상기 탑승자를 촬영한 영상을 입력 받는 단계를 수행하는 것을 특징으로 한다.
상기 방법은,
상기 손 모양 궤적 인식 기능 사용 종료 요청을 판단하는 단계;
상기 손 모양 궤적 인식 기능 사용 종료 요청이 있으면, 상기 손 모양 궤적 인식 기능을 사용 종료하는 단계를 더 포함한다.
이러한 과제를 해결하기 위한 본 발명의 특징에 따른 차량내 손 모양 궤적 인식을 이용한 사용자 인터페이스 조작 시스템은,
차량 내 손 모양 궤적 인식을 이용한 사용자 인터페이스 조작 시스템에 있어서,
탑승자를 촬영하는 영상 촬영부;
상기 영상 촬영부에 의해 촬영되는 영상을 저장하는 영상 저장부;
인식 가능한 손 모양 궤적 정보를 저장하고 있는 정보 데이터베이스; 및
상기 영상 촬영부로부터의 입력 신호 및 상기 영상 저장부에 저장된 누적 영상 정보를 기초로 차량 기기 조작을 제어하는 전자제어유닛을 포함하되,
상기 전자제어유닛은, 사용자 인터페이스 조작 방법을 수행하기 위한 일련의 명령을 실행한다.
상기 시스템은,
탑승자로부터 손모양 궤적 인식 기능 사용을 위한 요청 신호를 입력받아 상기 전자제어유닛으로 전달하는 입력부; 및
상기 전자제어유닛의 차량 기기 조작 내용을 표시하는 출력부를 더 포함한다.
본 발명의 실시예에 따른 손모양 궤적 인식을 이용한 사용자 인터페이스 조작 방법에서, 영상 촬영부를 통하여 탑승자의 손모양 궤적을 추출하고, 상기 손모양 궤적 정보와 정보 데이터베이스에 저장된 손모양 궤적이 매칭되는지 판단하고, 매칭되는 손모양 궤적 정보를 인식하여 대응되는 차량 기기의 조작을 선택한다.
따라서, 외부 조명의 영향이 있더라도 궤적 정보는 좀 더 정확하게 인식이 될 수 있으므로 탑승자의 한 손은 스티어링 휠을 조작하고 시야는 전방을 주시하면서도 다른 한손의 간단한 움직임으로 차량 내부의 다양한 전자 장치들을 제어할 수 있어 탑승자의 편의성과 운전 안전성이 향상된다.
도 1은 본 발명의 실시예에 따른 차량 내 손 모양 궤적 인식을 이용한 사용자 인터페이스 시스템을 개략적으로 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 차량 내 손 모양 궤적 인식을 이용한 사용자 인터페이스 조작 방법에 대한 순서도이다.
도 3은 본 발명의 실시예에 따른 손모양 궤적에 대응되는 동작의 예시도이다.
도 4는 본 발명의 실시예에 따른 손모양 궤적 생성에 대한 예시도이다.
이하, 본 발명의 바람직한 실시예를 첨부한 도면을 참조로 상세하게 설명하면 다음과 같다.
본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
또한, 도면에서 나타난 각 구성은 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도면에 도시된 바에 한정되지 않는다.
도 1은 본 발명의 실시예에 따른 손 모양 궤적 인식을 이용한 사용자 인터페이스 장치를 개략적으로 도시한 도면이다.
도 1을 참조하면, 손 모양 궤적을 이용한 사용자 인터페이스(User Interface; UI) 장치는 입력부(100), 영상 저장부(150), 타이머(160), 영상 촬영부(110), 정보 데이터베이스(120), 전자제어유닛(130)(Electronic Control Unit; ECU), 출력부(140)을 포함한다.
입력부(100)는 버튼, 터치스크린 등을 포함한다. 여기서 입력은 버튼이나 터치스크린을 통하여 입력 신호를 발생시키는 것으로 설명하나, 다른 입력 방법으로 음성, 제스처 등이 가능하다.
영상 촬영부(110)는 카메라, 광센서, 초음파센서, 이미지 센서 등을 포함하고, 정확한 손모양 인식을 위해서는 이미지 센서가 가장 유리하다. 상기 영상 촬영부(110)의 위치는 스티어링휠 아래 또는 위 모두 가능하다.
영상 저장부(150)는 영상 촬영부(110)에서 촬영되는 영상의 프레임을 누적하여 저장한다.
타이머(160)는 시간을 체크한다.
정보 데이터베이스(120)는 미리 정의된 다양한 손 모양 궤적 정보를 저장한다. 상기 저장된 손 모양 궤적 정보는 일반적으로 정의되어 있는 궤적에 대하여 미리 설정되어 있는 것이 바람직하다. 예를 들어, 미리 설정된 손모양 궤적 정보는 도 3에 도시된 바와 같은 형태가 가능하며, 이외에도 다양한 손모양 궤적 정보가 가능하다. 도 3에서는 손 모양이 오른쪽으로 움직임, 왼쪽으로 움직임, 흔들기, 아래방향으로 움직임, 위방향으로 움직임, 원형태로 움직임 등에 대응한 동작이 음악재생, 음악정지, 음악 온/오프, 음악선곡(아래방향/위방향), 일시정지 등으로 정의하였지만 이러한 정의는 다양하게 변형이 가능하다.
또한, 상기 정보 데이터베이스(120)는 탑승자에 의해 등록된 손 모양 궤적 정보를 저장한다. 탑승자는 다양한 손 모양 궤적 정보를 선정하여 손 모양 궤적 정보로서 저장할 수 있다. 즉, 탑승자마다 각각 다른 손 모양 궤적 정보를 오류 없이 인식하도록 탑승자가 직접 자신만의 손 모양 궤적을 입력하는 것이 바람직하다.
전자제어유닛(130)은 상기 영상 촬영부(110)로부터 촬영된 탑승자의 손 영상의 현재 프레임과 상기 영상 저장부(110)에 저장된 누적 영상 프레임을 비교하여 소정의 시간에 형성되는 손영상 궤적 정보를 취득한다. 상기 소정의 시간은 손 모양 궤적이 형성되는 시간으로 타이머(160)로 설정한다.
필요에 따라서는 인체 영상을 기초로 영상 처리를 할 수도 있다. 즉, 상기 탑승자의 인체 영상에서 인체 주변 이미지를 제거하고, 추출된 이미지를 머리, 몸통, 팔, 손, 다리로 구분하여 모델링한다. 상기 모델링한 손 이미지를 추적하여 손 모양 궤적 정보를 취득한다.
또한, 상기 전자제어유닛(130)은 상기 취득한 손 영상 궤적 정보와 매칭되는 손 영상 궤적 정보가 상기 정보 데이터베이스(120)에 저장되어 있는지 판단한다. 상기 전자제어유닛(130)은 매칭되는 손 영상 궤적 정보가 저장되어 있으면 상기 저장된 손 영상 궤적 정보를 상기 탑승자의 손영상 궤적으로 인식한다. 또한, 매칭되는 손영상 궤적 정보가 저장되어 있지 않으면 탑승자의 손영상 궤적 정보는 식별 불가능한 정보가 되어 인식되지 않는다.
또한, 상기 전자제어유닛(130)은 상기 입력부(100)의 입력 신호에 따라 손 모양 궤적 인식 기능을 사용할지 여부를 결정한다. 즉, 상기 전자제어유닛(130)은 손 모양 궤적 인식 기능을 사용 또는 종료하라는 입력 신호가 있으면, 상기 영상 촬영부(110)를 제어하여 운전자 촬영을 시작 또는 종료한다. 이때, 사용자의 한손이 움직이는 활동 영역을 촬영하도록 할 수도 있다.
또한, 상기 전자제어유닛(130)은 상기 인식된 손 모양 궤적에 대응하는 차량 기기 조작을 선택한다. 상기 대응하는 차량 기기 조작 목록은 데이터베이스화하여 저장하고 있는 것이 바람직하다. 상기 전자제어유닛(130)은 선택된 차량 기기 조작에 따른 제어신호를 생성하여 탑승자가 원하는 조작을 제공한다. 예를 들어, 선택할 수 있는 차량 기기 조작은 운전 중 휴대폰 받기/끄기, 음악 재생/정지/음소거, 음량 증가/감소, 썬바이저 조작 등이다.
출력부(140)는 터치스크린, 스피커 및 상기 차량 기기 조작 대상이 되는 휴대폰, 음악기기, 에어컨, 썬바이저 등을 포함한다. 또한, 차량 기기 조작 내용을 화면으로 출력한다.
도 2는 본 발명의 실시예에 따른 손 모양 궤적 인식을 이용한 사용자 인터페이스 조작 방법에 대한 순서도이다.
도 2를 참조하면, 탑승자는 입력부(100)를 통하여 손 모양 궤적 인식 기능을 요청한다(S100).
그리고, 탑승자에 의해 손 모양 궤적 인식 기능 사용이 요청되면, 전자제어유닛(130)은 영상 촬영부(110)를 통해 탑승자의 손 부분의 촬영을 시작한다(S110). 이때, 영상 촬영부(110)는 탑승자의 인체 전체에 대해 촬영을 진행할 수도 있다.
그리고 나서, 영상 촬영부(110)를 통해 촬영된 영상은 영상 저장부(150)에 저장이 된다. 이러한 영상은 소정시간동안 누적하여 저장된다(S120).
그러면, 전자제어유닛(130)은 상기 영상 촬영부(110)로부터 촬영된 탑승자의 손 영상의 현재 프레임과 상기 영상 저장부(110)에 저장된 누적 영상 프레임을 비교하여 소정의 시간에 형성되는 손 모양 궤적 정보를 취득한다(S130).
여기서, 손 모양 궤적 정보는 현재 영상과 이전 영상을 비교하는 과정의 모음에 의해 생성된다. 쉬운예로 김서린 창문을 손으로 닦으면 손의 움직임이 궤적의 형태로 나타나는 것과 유사하다.
예를 들어 도 4와 같이 현재 영상과 이전 영상의 비교에 의해 이미지가 변화된 픽셀들을 공간적으로 집합하면 포락선이 검출된다. 이러한 과정을 반복하여 손 모양 궤적을 얻을 수 있다.
실제로 현재 영상과 이전영상을 비교하여 모션이 생긴 화면의 픽셀값을 1로 하고 모션이 생기지 않은 부분의 픽셀값은 0으로 표시한 후, 모션이 생긴 1영역의 변화 형태를 추적하면 손 모양 궤적을 취득할 수 있다, 그리고 이러한 손 모양 궤적을 취득하기 위한 영상 프레임의 개수는 소정 시간에 대응되는 개수이며, 필요에 따라서는 미리 정할 수 있다. 필요에 따라 손 모양 궤적 정보는 현재 프레임과 이전프레임의 비교가 아닌 다른 방법에 의해서도 취득이 가능하다.
상기 소정의 시간은 손 모양 궤적이 형성되는 시간으로 타이머(160)로 설정한다.
필요에 따라서는 인체 영상을 기초로 영상 처리를 할 수도 있다. 즉, 상기 탑승자의 인체 영상에서 인체 주변 이미지를 제거하고, 추출된 이미지를 머리, 몸통, 팔, 손, 다리로 구분하여 모델링한다. 상기 모델링한 손 이미지를 추적하여 손 모양 궤적 정보를 취득할 수도 있다.
그리고 나서, 상기 전자제어유닛(130)은 상기 취득한 손 영상 궤적 정보와 매칭되는 손 영상 궤적 정보가 상기 정보 데이터베이스(120)에 저장되어 있는지 비교한다(S140).
비교 결과 상기 취득한 손 영상 궤적 정보와 매칭되는 손 영상 궤적 정보가 상기 정보 데이터베이스(120)에 저장되어 있으면(S150), 상기 전자제어유닛(130)은 상기 저장된 손 영상 궤적 정보를 상기 탑승자의 손영상 궤적으로 인식한다(S160).
또한, 매칭되는 손영상 궤적 정보가 저장되어 있지 않으면 탑승자의 손영상 궤적 정보는 식별 불가능한 정보가 되어 인식되지 않는다.
이후, 상기 전자제어유닛(130)은 상기 인식된 손 모양 궤적 정보에 대응하는 차량 기기 조작을 선택한다. 상기 전자제어유닛(130)은 선택된 차량 기기 조작에 따른 제어신호를 생성하여 탑승자가 원하는 조작을 제공한다(S170). 이러한 차량 기기 조작에는 차량내 공조 기기, 오디오 시스템과 같은 기기의 조작이 포함되며, 컨텐츠나 미디어와 같은 정보의 전달, 복사, 저장 및 수정 등의 동작에도 응용이 가능하다.
그리고, 조작 결과는 출력부(140)를 통하여 나타나고, 운전자가 손 모양 궤적 인식 기능 종료를 요청하는지에 따라 손 모양 궤적 인식을 이용한 사용자 인터페이스는 종료된다(S180).
본 발명의 실시예에서는 누적된 궤적을 이용하므로 외부 환경 인자에 의한 영향을 제거하여 신뢰성 있게 손 모양의 궤적을 얻을 수 있다.
이상으로 본 발명에 관한 바람직한 실시예를 설명하였으나, 본 발명은 상기 실시예에 한정되지 아니하며, 본 발명의 실시예로부터 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의한 용이하게 변경되어 균등하다고 인정되는 범위의 모든 변경을 포함한다.
100: 입력부
110: 영상 촬영부
120: 정보 데이터베이스
130: 전자제어유닛
140: 출력부
150: 영상 저장부160: 타이머

Claims (6)

  1. 차량 내 손 모양 궤적 인식을 이용한 사용자 인터페이스 조작 방법에 있어서,
    탑승자를 촬영한 영상을 입력 받는 단계;
    상기 탑승자를 촬영한 영상으로부터 탑승자의 손 모양 궤적 정보를 인식하는 단계; 및
    상기 인식된 손 모양 궤적 정보에 대응하는 차량 기기 조작을 선택하는 단계를 포함하는 손 모양 궤적 인식을 이용한 사용자 인터페이스 조작 방법.
  2. 제1항에 있어서,
    상기 탑승자를 촬영한 영상을 입력 받는 단계는,
    영상 촬영부로부터 탑승자의 손을 촬영한 영상을 입력 받으며, 영상 저장부에 누적하여 저장하는 단계;
    상기 촬영된 영상의 현재 프레임과 이전프레임의 차를 계산하여 탑승자의 손 모양 궤적 정보를 취득하는 단계를 포함하고,
    상기 탑승자의 손 모양 궤적 정보를 인식하는 단계는,
    상기 손 모양 궤적 정보와 매칭되는 손 모양 궤적 정보가 정보 데이터베이스에 저장되어 있는지 판단하는 단계;
    상기 손 모양 궤적 정보와 매칭되는 손 모양 궤적 정보가 정보 데이터베이스에 저장되어 있으면, 상기 손 모양 궤적 정보를 인식하는 단계를 포함하는 손 모양 궤적 인식을 이용한 사용자 인터페이스 조작 방법.
  3. 제1항에 있어서,
    상기 탑승자를 촬영한 영상을 입력 받는 단계 이전에,
    손 모양 궤적 인식 기능 사용 요청을 판단하는 단계를 더 포함하고,
    손 모양 궤적 인식 기능 사용 요청이 있으면, 상기 탑승자를 촬영한 영상을 입력 받는 단계를 수행하는 손 모양 궤적 인식을 이용한 사용자 인터페이스 조작 방법.
  4. 제3항에 있어서,
    상기 손 모양 궤적 인식 기능 사용 종료 요청을 판단하는 단계;
    상기 손 모양 궤적 인식 기능 사용 종료 요청이 있으면, 상기 손 모양 궤적 인식 기능을 사용 종료하는 단계를 더 포함하는 손 모양 궤적 인식을 이용한 사용자 인터페이스 조작 방법.
  5. 차량 내 손 모양 궤적 인식을 이용한 사용자 인터페이스 조작 시스템에 있어서,
    탑승자를 촬영하는 영상 촬영부;
    상기 영상 촬영부에 의해 촬영되는 영상을 저장하는 영상 저장부;
    인식 가능한 손 모양 궤적 정보를 저장하고 있는 정보 데이터베이스; 및
    상기 영상 촬영부로부터의 입력 신호 및 상기 영상 저장부에 저장된 누적 영상 정보를 기초로 차량 기기 조작을 제어하는 전자제어유닛을 포함하되,
    상기 전자제어유닛은, 제1항 내지 제4항의 방법을 수행하기 위한 일련의 명령을 실행하는 손 모양 궤적 인식을 이용한 사용자 인터페이스 조작 시스템.
  6. 제5항에 있어서,
    탑승자로부터 손모양 궤적 인식 기능 사용을 위한 요청 신호를 입력받아 상기 전자제어유닛으로 전달하는 입력부; 및
    상기 전자제어유닛의 차량 기기 조작 내용을 표시하는 출력부를 더 포함하는 손 모양 궤적 인식을 이용한 사용자 인터페이스 조작 시스템.
KR20120140589A 2012-12-05 2012-12-05 차량 내 손모양 궤적 인식을 이용한 사용자 인터페이스 조작 시스템 및 방법 KR101490908B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR20120140589A KR101490908B1 (ko) 2012-12-05 2012-12-05 차량 내 손모양 궤적 인식을 이용한 사용자 인터페이스 조작 시스템 및 방법
DE102013221668.8A DE102013221668A1 (de) 2012-12-05 2013-10-24 System und Verfahren für das Bereitstellen einer Benutzerschnittstelle im Fahrzeug, wobei das Erkennen einer Handformspur benutzt wird
US14/068,409 US20140152549A1 (en) 2012-12-05 2013-10-31 System and method for providing user interface using hand shape trace recognition in vehicle
CN201310537990.8A CN103853462A (zh) 2012-12-05 2013-11-04 车辆内使用手形痕迹识别提供用户界面的系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20120140589A KR101490908B1 (ko) 2012-12-05 2012-12-05 차량 내 손모양 궤적 인식을 이용한 사용자 인터페이스 조작 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20140072734A true KR20140072734A (ko) 2014-06-13
KR101490908B1 KR101490908B1 (ko) 2015-02-06

Family

ID=50726202

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20120140589A KR101490908B1 (ko) 2012-12-05 2012-12-05 차량 내 손모양 궤적 인식을 이용한 사용자 인터페이스 조작 시스템 및 방법

Country Status (4)

Country Link
US (1) US20140152549A1 (ko)
KR (1) KR101490908B1 (ko)
CN (1) CN103853462A (ko)
DE (1) DE102013221668A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10817069B2 (en) 2017-11-06 2020-10-27 Korea Electronics Technology Institute Navigation gesture recognition system and gesture recognition method thereof

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101438615B1 (ko) * 2012-12-18 2014-11-03 현대자동차 주식회사 2차원 카메라를 이용한 사용자 인터페이스 조작 시스템 및 방법
US9540016B2 (en) 2014-09-26 2017-01-10 Nissan North America, Inc. Vehicle interface input receiving method
US9248839B1 (en) 2014-09-26 2016-02-02 Nissan North America, Inc. Vehicle interface system
US10035539B2 (en) * 2014-12-31 2018-07-31 Harman International Industries, Incorporated Steering wheel control system
TWI552892B (zh) 2015-04-14 2016-10-11 鴻海精密工業股份有限公司 車輛控制系統及其操作方法
CN106886275B (zh) * 2015-12-15 2020-03-20 比亚迪股份有限公司 车载终端的控制方法、装置以及车辆
CZ2016617A3 (cs) * 2016-10-03 2018-04-18 Ĺ KODA AUTO a.s. Zařízení k interaktivnímu ovládání zobrazovacího zařízení a postup ovládání zařízení k interaktivnímu ovládání zobrazovacího zařízení
JP7495795B2 (ja) * 2020-02-28 2024-06-05 株式会社Subaru 車両の乗員監視装置
US11507194B2 (en) * 2020-12-02 2022-11-22 Huawei Technologies Co., Ltd. Methods and devices for hand-on-wheel gesture interaction for controls
KR102567935B1 (ko) * 2021-08-17 2023-08-17 한국자동차연구원 비접촉 햅틱 기반 제스처 인식 영역 가이드 시스템 및 그 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000075991A (ja) * 1998-08-28 2000-03-14 Aqueous Research:Kk 情報入力装置
US6703999B1 (en) * 2000-11-13 2004-03-09 Toyota Jidosha Kabushiki Kaisha System for computer user interface
KR100575906B1 (ko) * 2002-10-25 2006-05-02 미츠비시 후소 트럭 앤드 버스 코포레이션 핸드 패턴 스위치 장치
JP4311190B2 (ja) * 2003-12-17 2009-08-12 株式会社デンソー 車載機器用インターフェース
US8319832B2 (en) * 2008-01-31 2012-11-27 Denso Corporation Input apparatus and imaging apparatus
JP4577390B2 (ja) * 2008-03-31 2010-11-10 株式会社デンソー 車両用操作装置
KR101503017B1 (ko) * 2008-04-23 2015-03-19 엠텍비젼 주식회사 모션 검출 방법 및 장치
CN102081918B (zh) * 2010-09-28 2013-02-20 北京大学深圳研究生院 一种视频图像显示控制方法及视频图像显示器
KR20120140589A (ko) 2011-06-21 2012-12-31 조진태 결혼 이민자의 소셜미디어를 통한 해외시장 마케팅 대행시스템 및 방법
CN102490667B (zh) * 2011-10-11 2015-07-29 科世达（上海）管理有限公司 一种汽车中控系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10817069B2 (en) 2017-11-06 2020-10-27 Korea Electronics Technology Institute Navigation gesture recognition system and gesture recognition method thereof

Also Published As

Publication number Publication date
DE102013221668A1 (de) 2014-06-05
CN103853462A (zh) 2014-06-11
US20140152549A1 (en) 2014-06-05
KR101490908B1 (ko) 2015-02-06

Similar Documents

Publication Publication Date Title
KR101490908B1 (ko) 차량 내 손모양 궤적 인식을 이용한 사용자 인터페이스 조작 시스템 및 방법
KR101459441B1 (ko) 차량 내 손가락 사이점을 이용한 사용자 인터페이스 조작 시스템 및 방법
JP5261554B2 (ja) 指先ポインティング、ジェスチャに基づく車両用ヒューマンマシンインタフェース
KR101438615B1 (ko) 2차원 카메라를 이용한 사용자 인터페이스 조작 시스템 및 방법
KR101330810B1 (ko) 원거리 제스쳐 인식 기능을 갖는 디바이스 및 그 방법
CN107533366B (zh) 信息显示装置和信息显示方法
KR101459445B1 (ko) 차량내 손목각을 이용한 사용자 인터페이스 조작 시스템 및 방법
JP6671288B2 (ja) ジェスチャー装置、その動作方法及びこれを備えた車両
US20160004321A1 (en) Information processing device, gesture detection method, and gesture detection program
KR20150076627A (ko) 차량 운전 학습 시스템 및 방법
KR20150072074A (ko) 차량 제스처 인식 시스템 및 그 제어 방법
US11507194B2 (en) Methods and devices for hand-on-wheel gesture interaction for controls
CN108369451B (zh) 信息处理装置、信息处理方法及计算机可读存储介质
JP2018055264A (ja) ジェスチャ検出装置
JP7027552B2 (ja) モバイル機器を用いたジェスチャー認識
JP2018206073A (ja) 遠隔操作システム
KR20140079025A (ko) 차량 내 다리 제스처 인식을 이용한 사용자 인터페이스 조작 방법
WO2013175603A1 (ja) 操作入力装置、操作入力方法及び操作入力プログラム
JP2016157457A (ja) 操作入力装置、操作入力方法及び操作入力プログラム
KR20140120650A (ko) 차량용 제스처 인식 시스템 및 방법
CN117523015A (zh) 图像生成方法和装置
CN114987364A (zh) 一种多模态人车交互系统
JP2018147500A (ja) 操作入力装置、操作入力方法及び操作入力プログラム
JP2017142820A (ja) 操作入力装置、操作入力方法及び操作入力プログラム
KR20150000787A (ko) 차량용 조작 장치 및 이의 조작 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180130

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190130

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191219

Year of fee payment: 6