KR20110117966A - 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법 - Google Patents

차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법 Download PDF

Info

Publication number
KR20110117966A
KR20110117966A KR1020100037495A KR20100037495A KR20110117966A KR 20110117966 A KR20110117966 A KR 20110117966A KR 1020100037495 A KR1020100037495 A KR 1020100037495A KR 20100037495 A KR20100037495 A KR 20100037495A KR 20110117966 A KR20110117966 A KR 20110117966A
Authority
KR
South Korea
Prior art keywords
user
hand
multimedia
vehicle
coordinate
Prior art date
Application number
KR1020100037495A
Other languages
English (en)
Other versions
KR101334107B1 (ko
Inventor
김진우
이정희
Original Assignee
한국전자통신연구원
주식회사 굿소프트웨어랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 주식회사 굿소프트웨어랩 filed Critical 한국전자통신연구원
Priority to KR1020100037495A priority Critical patent/KR101334107B1/ko
Priority to US12/898,990 priority patent/US20110260965A1/en
Publication of KR20110117966A publication Critical patent/KR20110117966A/ko
Application granted granted Critical
Publication of KR101334107B1 publication Critical patent/KR101334107B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법에 대하여 개시한다. 본 발명의 일면에 따른 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치는, 하나 이상의 멀티미디어 객체를 포함하는 영상을 표시하는 투명 디스플레이 모듈; 상기 투명 디스플레이 모듈에 근접한 3차원 공간에서, 초음파 센서를 이용하여 사용자 지시수단을 감지하는 초음파 감지 모듈; 상기 사용자 지시수단을 추적하면서 촬영하는 영상 검출 모듈; 및 상기 영상 검출 모듈 및 상기 초음파 감지 모듈 중 적어도 하나로부터 전달받은 정보를 이용하여 상기 사용자 지시수단에 의해 상기 멀티미디어 객체 중 어느 하나가 선택되었는지 여부를 판단하여, 선택된 상기 멀티미디어 객체에 대응하는 제어를 실행하는 헤드 유닛을 포함한다.

Description

차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법{Apparatus and Method of User Interface for Manipulating Multimedia Contents in Vehicle}
본 발명은 차량 내에서 멀티미디어 정보를 조작할 수 있도록 하는 사용자 인터페이스 장치 및 방법에 관한 것으로서, 더 구체적으로는 차량 내에서 사용자가 안전하고 효율적으로 멀티미디어 정보를 조작할 수 있도록 손을 이용한 직관적인 인터페이스를 제공할 수 있는 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법에 관한 것이다.
본 발명은 지식경제부의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다. [과제관리번호: 2008-S-007-02, 과제명: 차량 전장용 통합제어 SW 플랫폼 개발]
최근 다양한 정보와 엔터테인먼트를 포괄하는 인포테인먼트(Infortainment) 활용을 위한 IT 기술을 차량에 접목하는 자동차 융합 기술에 대한 관심이 높아지고 있다. 이에 따라 차량 내외부의 네트워크 및 제어 기술에 대한 표준화와 더불어 차량 내부에서 멀티미디어를 편리하게 이용할 수 있는 제품들이 출시되고 있다.
차량 내에서 멀티미디어를 효율적으로 제어하기 위한 기술로는 손을 이용한 제스처 인식 방법이 부각되고 있다. 손을 이용한 제스처 인식은 손이 사람의 신체 일부 중에서 가장 자유로운 부분이며 일상적으로 도구를 다루기 위한 방법과 가장 가까워 가장 직관적인 인터페이스라고 할 수 있다. 이에 따라 이와 같은 제스처 인식의 원천 기술이 되는 알고리즘이나 제스처 인식을 이용한 다양한 애플리케이션이 많이 개발되고 있다.
그러나, 차량 내 환경은 주사용자인 운전자가 특정 방향을 주시해야 되는 점이나, 동작의 반경이 제한되는 점, 차량 전면 유리창을 통하여 제스처 인식 영역 전체에 자연광이 들어오는 점 등에서 일반적인 제스처 인식과는 다른 특징을 갖는 환경이라 할 수 있다. 따라서 이러한 사용 환경에서는 일반적으로 알려진 제스처 인식 기술을 적용하는 데에 한계가 있다.
본 발명은 전술한 바와 같은 종래기술의 한계를 극복하기 위하여 안출된 것으로서, 운전자를 비롯한 차량 내 멀티미디어 사용자를 위한 안전하고 효율적인 멀티미디어 제어 인터페이스 장치 및 방법을 제공하는 것을 그 목적으로 한다.
본 발명의 일면에 따른 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치는, 하나 이상의 멀티미디어 객체를 포함하는 영상을 표시하는 투명 디스플레이 모듈; 상기 투명 디스플레이 모듈에 근접한 3차원 공간에서, 초음파 센서를 이용하여 사용자 지시수단을 감지하는 초음파 감지 모듈; 상기 사용자 지시수단을 추적하면서 촬영하는 영상 검출 모듈; 및 상기 영상 검출 모듈 및 상기 초음파 감지 모듈 중 적어도 하나로부터 전달받은 정보를 이용하여 상기 사용자 지시수단에 의해 상기 멀티미디어 객체 중 어느 하나가 선택되었는지 여부를 판단하여, 선택된 상기 멀티미디어 객체에 대응하는 제어를 실행하는 헤드 유닛을 포함한다.
여기에서, 상기 헤드 유닛은, 상기 손의 끝점의 위치와, 상기 눈동자의 위치를 이용하여 얻어진 벡터 성분을 바탕으로, 멀티미디어 객체 중 어느 하나가 선택되었는지 여부를 판단할 수 있으며, 투명 디스플레이 모듈에 표시되는 하나 이상의 상기 멀티미디어 객체는, 상기 차량의 주행 환경 또는 사용자의 선택에 따라 배치 및 표시 여부가 변화될 수 있다.
본 발명의 다른 면에 따른 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치는, 하나 이상의 멀티미디어 객체를 포함하는 영상을 표시하는 투명 디스플레이; 상기 투명 디스플레이에 근접한 3차원 공간 내의 물체를 감지하는 초음파 센서; 상기 3차원 공간을 스테레오 촬영하는 스테레오 카메라; 감지된 상기 물체가 손인지의 여부를 판단하고, 판단 결과 상기 물체가 손이면, 상기 손의 움직임을 추적하는 모션 추적부; 상기 손의 끝점의 3차원 위치에 대응하는 제1 좌표를 검출하는 제1 좌표 검출부; 상기 스테레오 카메라에 의해 촬영된 영상으로부터 사용자의 두 눈동자의 3차원 좌표를 획득하고, 상기 두 눈동자의 중심 위치와 상기 제1 좌표를 잇는 지시 벡터가 상기 투명 디스플레이와 만나는 지점에 대응하는 제2 좌표를 검출하는 제2 좌표 검출부; 상기 손의 움직임으로부터 사용자의 제스처를 파악하는 모션 해석부; 상기 제스처, 상기 제1 좌표 및 상기 제2 좌표를 종합하여 상기 사용자의 최종의도를 파악하는 종합부; 및 파악된 상기 최종의도에 따라 기 설정된 제어를 수행하는 제어부를 포함한다.
본 발명의 또 다른 면에 따른 차량용 멀티미디어 제어를 위한 사용자 인터페이스 방법은, 소정의 3차원 공간 내의 물체를 감지하는 초음파 센서 및/또는 상기 3차원 공간을 스테레오 촬영하는 스테레오 카메라를 구동하는 단계; 상기 3차원 공간 내에 물체가 감지되면, 감지된 상기 물체가 손인지를 확인하는 단계; 상기 물체가 손이면, 상기 손의 끝점에 대응하는 3차원 좌표인 제1 좌표를 검출하는 단계; 상기 스테레오 카메라에 의해 촬영된 스테레오 영상으로부터 상기 사용자의 두 눈동자에 대응하는 3차원 좌표를 검출하여, 상기 두 눈동자의 중심 위치와 상기 제1 좌표를 잇는 지시 벡터가 투명 디스플레이와 만나는 지점에 대응하는 제2 좌표를 검출하는 단계; 상기 손을 추적하여 사용자의 제스처를 파악하는 단계; 상기 제스처, 상기 제1 좌표 및 상기 제2 좌표를 종합하여 상기 사용자의 최종의도를 파악하는 단계; 및 파악된 상기 최종의도에 따라 기 설정된 제어를 수행하는 단계를 포함한다.
본 발명에 따르면, 전면 유리창에 근접한 3차원 인터페이스를 통해 멀티미디어 객체를 제어함으로써 사용자가 인터페이스 장치를 조작할 때에도 사용자의 전면 시야를 빼앗지 않게 되어, 차량 내에서 사용하기에 적합한 안전하고 효율적인 인터페이스 장치 및 방법이 제공된다.
또한, 본 발명에서는 손을 이용한 직관적인 인터페이스를 사용하고, 조작하고자 하는 메뉴를 직접 터치하지 않고 지시하는 것만으로 제어를 수행할 수 있어 효율성과 안전성은 더욱 증가한다.
더 나아가, 본 발명은 손과 눈을 이용한 인터페이스를 함께 제공하여 사용자의 손에 의해 지시되는 좌표와 시선의 방향을 상호 대응시킬 수 있으므로, 사용자는 손을 멀리 뻗거나 리모컨을 사용하지 않고, 곁눈질을 하면서 손으로 지시하는 것만으로도 원거리 개체를 쉽게 제어할 수 있어 안정성이 높다.
본 발명에서는 차량 전면 유리창에 투명 디스플레이를 부착하여 넓은 디스플레이 영역을 사용할 수 있으므로, 7인치 이내의 네비게이션 디스플레이의 한계를 극복하고, 멀티미디어 재생의 실감도를 높일 수 있으며, 운전 중에도 차량정보를 비롯한 다양하고 많은 양의 멀티미디어 정보를 사용자에게 제공할 수 있다. 또한, 주행 시 주변환경을 체크하고 환경에 따라 디스플레이 되는 개체의 배열을 조절하거나 제한할 수 있어 안전성을 확보하면서도 다양한 형태의 정보 제공이 가능하다.
뿐만 아니라, 본 발명은 스테레오 카메라와 초음파 센서를 함께 이용하여 제스처 인식의 정확도를 높일 수 있고, 주변조명의 영향에 인한 인식 성능 저하를 막을 수 있다.
또한, 본 발명의 사용자 인터페이스는 여러 개의 멀티미디어 개체에 대한 멀티태스킹(Multi-Tasking) 환경을 제공할 수 있으며, 운전자뿐만 아니라 차량 내부의 다른 사용자가 함께 사용하도록 본 발명을 적용할 수 있다.
도 1은 본 발명의 일 실시예에 따른 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치를 도시한 구성도.
도 2는 본 발명의 일 실시예에 따른 투명 디스플레이 모듈을 도시한 예시도.
도 3은 본 발명의 일 실시예에 따른 초음파 감지 모듈에 의해 생성되는 3차원 공간을 도시한 예시도.
도 4는 본 발명의 일 실시예에 따른 초음파 감지 모듈을 도시한 예시도.
도 5는 본 발명의 일 실시예에 따라 눈동자와 손의 끝점의 좌표를 이용하여 제어하고자 하는 멀티미디어 객체를 지시하는 지시 벡터를 구하는 방법을 나타내는 도면.
도 6은 본 발명의 다른 실시예에 따른 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치를 도시한 구성도.
도 7은 본 발명의 또 다른 실시예에 따른 차량용 멀티미디어 제어를 위한 사용자 인터페이스 방법을 도시한 흐름도.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이제 본 발명의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치의 기본적인 구성을 나타내는 구성도다.
도 1에 나타난 바와 같이, 본 발명의 일 실시예에 따른 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치(10)는 투명 디스플레이 모듈(110), 영상 검출 모듈(120), 초음파 감지 모듈(130) 및 헤드 유닛(140)을 포함한다.
투명 디스플레이 모듈(110)은 차량의 전면 유리창에 장착되며, 헤드 유닛(140)의 제어에 따라 하나 이상의 멀티미디어 객체를 포함하는 영상을 표시한다. 본 명세서의 멀티미디어 객체는 음악이나 동영상 등의 재생용 멀티미디어 개체나 이와 같은 멀티미디어 개체를 제어하기 위한 메뉴 아이콘(볼륨 조절 등), 이용자에게 필요한 제반 상황 정보(예컨대, 본 발명이 차량에 적용된 경우에는 차량 주행 정보) 등과 같이 숫자, 문자, 테이블, 영상, 음성, 음향 등의 다양한 멀티미디어 형태로 표현되는 일체의 것을 포함하며, 투명 디스플레이 모듈(110)은 투명 박막 트랜지스터 디스플레이가 바람직하되, 이에 한정되지는 않음은 물론이다.
투명 디스플레이 모듈(110)과 그에 의해 표시되는 영상의 예가 도 2에 나타나 있다. 도 2에 나타난 바와 같이, 투명 디스플레이 모듈(110)은 차량의 전면 유리창(210)에 장착되며, 투명하므로 전면 유리창을 통한 사용자의 시야를 방해하지 않는다. 투명 디스플레이 모듈(110)에는 메뉴 아이콘(112) 등과 같이 멀티미디어를 제어하기 위한 개체나, 네비게이션 정보, 재생용 동영상 등과 같은 다양한 멀티미디어 객체(114)가 함께 표시될 수 있다.
한편, 투명 디스플레이 모듈(110)은 이에 제한되는 것은 아니지만, 3차원 변환 기능을 갖추어 3차원 영상을 사용자에게 표시하는 것이 바람직하다. 이와 같이 할 경우, 사용자로부터 멀리 떨어진 위치-예를 들면 차량의 왼쪽 운전석에 앉아있는 사용자를 기준으로 했을 때 전면 유리창의 오른쪽 가장자리 부분 등-에 표시된 멀티미디어 객체에 대해서도 2차원으로 표시하는 경우보다 더 높은 직관성을 제공할 수 있다. 즉, 사용자가 측면을 응시할 경우에도 정면의 객체를 조작하는 것과 동일한 환경에서 측면의 객체를 조작할 수 있도록 투명 디스플레이 모듈(110)에 3차원 변환 기능을 갖추는 것이 바람직하다.
영상 검출 모듈(120)은 전면 유리창의 상단에 위치하며, 사용자의 손과 같은 사용자 지시수단을 추적하면서 촬영한다. 또한, 영상 검출 모듈(120)은 사용자의 눈 위치를 파악하여 눈동자를 포함하는 영상을 검출한다.
영상 검출 모듈(120)은 사용자 지시수단이 카메라 시야 내에 위치하도록, 서보 모터(ServoMotor)에 의해 180도 회전 구동하면서 사용자 지시수단을 추적하는 기능을 갖고 있으며, 손이나 눈동자의 3차원 좌표의 획득 또는 3D 모델링 및 재구성이 가능하도록 스테레오 카메라(Stereo Camera)인 것이 좋다.
한편, 본 명세서에서 사용자 지시수단은 사용자의 손으로 가정하고 설명하지만, 포인터 기타 다른 형태의 지시수단을 사용하는 것을 배제하는 것은 아니다.
영상 검출 모듈(120)에 의해 촬영된 영상은 헤드 유닛(140)으로 전달되어 사용자 지시수단의 감지 영역내의 진입 여부나 사용자 눈동자의 3차원 위치를 파악하는 데이터로 이용된다.
초음파 감지 모듈(130)은 초음파 센서를 이용하여 투명 디스플레이 모듈(110)에 근접한 3차원 공간, 즉 감지 영역 내에서, 사용자 지시수단의 움직임을 실시간으로 감지한다.
초음파 감지 모듈(130)은 다수의 초음파 센서를 전면 유리창의 상하부 및/또는 측면에 배열하여 전면 유리창 후방의 육면체 또는 이와 유사한 형상의 3차원 공간에 초음파 센서에 의해 감지되는 n개의 부피요소(volume element)를 구성하도록 형성된다.
예컨대 도 4에서 x, y, z축 상에 초음파 센서(Tx, Rx 쌍)가 10개씩 있다고 가정하면(nx = ny = nz = 10), 부피요소의 개수 n은 10x10x10의 1,000개가 된다.
도 3 및 도 4에 초음파 감지 모듈(130)에 의해 형성되는 3차원 공간의 예가 도시되어 있다. 도 3은 초음파 감지 모듈(130)에 의해 형성되는 3차원 공간을 측면에서 바라본 도면이며, 도 4는 초음파 감지 모듈(130)에 의해 형성되는 3차원 공간을 초음파 센서 어레이와 함께 도시한 도면이다.
차량에 적용되는 실시예에서는 도 3에 나타난 바와 같이, 다수의 초음파 센서에 의하여 사용자 지시수단이 감지되는 3차원 공간(230)은 전면 유리창(210)과 θ의 각을 이루며 수직되게 형성된 직육면체 또는 이와 유사한 공간이며, 이 공간은 사용자(운전자 또는 조수석 착석자)가 손을 뻗었을 때 손이 위치하게 되는 공간이 된다.
차량 이외의 다른 대상에 대하여 본 발명을 적용할 때에는 이와는 다른 형상의 3차원 감지 영역을 형성할 수 있을 것이다.
도 4에 나타난 바와 같이, 초음파 감지 모듈(130)은 n(= nx * ny * nz)개의 부피요소로 이루어진 3차원 공간(230) 내에서 초음파 센서를 이용하여 사용자 지시수단을 검출하여 그 결과를 헤드 유닛(140)으로 전달한다.
초음파 센서는 조명의 영향을 받지 않기 때문에 카메라 센서를 사용하여 손 동작을 인식하는 방법에 비하여 신뢰성과 안정성이 높으며, 카메라 센서와 함께 이용되어 인식 정확도를 향상시킬 수 있다.
헤드 유닛(140)은 자동차 인포테인먼트와 관련하여 음악, 뉴스, 멀티미디어 재생, 네비게이션, 전화, 인터넷 서비스 등 많은 형태의 멀티미디어 애플리케이션을 구동하는 역할을 수행하며, 오픈 소스 기반의 제니비 멀티미디어 플랫폼(GENIVI Multimedia Platform) 표준을 따르는 것이 바람직할 것이다.
본 발명의 바람직한 일 실시예에서, 헤드 유닛(140)은 영상 검출 모듈(120) 및 초음파 감지 모듈(130)에 의해 획득된 정보를 바탕으로 사용자 지시수단에 의해 어떤 제어 대상 및/또는 제어 동작이 선택되었는지 여부를 판단하고, 판단 결과에 따라 선택된 제어를 더 수행한다.
이하에서 멀티미디어 객체 선택과 관련한 헤드 유닛(140)의 동작에 대해 보다 구체적으로 설명한다.
헤드 유닛(140)은 차량 전면 유리창 상단에 설치된 영상 검출 모듈(120)로부터 획득된 적어도 두 개의 영상을 이용해 감지 영역 내에 근접한 물체가 사용자의 손인지 여부를 판단한다.
다른 실시예로서, 헤드 유닛(140)은 정확성 및 신뢰성의 향상을 위하여 영상 검출 모드(120)로부터의 형상 정보뿐 아니라 초음파 감지 모듈(130)에 의하여 감지된 물체의 형상에 대한 정보를 함께 이용하여 감지 영역 내의 물체가 사용자 지시수단, 즉 손인지 판단하도록 구성될 수 있다.
즉, 초음파 센서는 조명의 영향을 받지 않기 때문에 자연광이 전면으로 입사되는 차량 내 환경에서도 정확히 감지 영역 내의 물체의 형상을 파악할 수 있어 사용자 지시 수단의 감지 영역 내 진입 여부를 보다 정확히 판단할 수 있다.
한편, 차량 내에서 사용될 제어장치는 안전성이 가장 중요하므로 정확한 인식 결과를 얻기 위하여 영상 검출 모듈(120) 및 초음파 감지 모듈(130)을 함께 이용하는 것이 바람직할 것이다.
헤드 유닛(140)은 검출된 결과가 손이라고 판단하면, 초음파 감지 모듈(130)로부터 손 외형에 대한 3차원 정보를 얻고 이를 이용하여 손의 모양을 3차원으로 재구성한다.
초음파 감지 모듈(130)은 깊이 축 z, 너비 축 x, 높이 축 y의 3개의 직교축을 따라 설치된 초음파 센서 배열의 송신단과 수신단의 정보를 활용하여 n 개의 부피요소(volume element)로 이루어진 3차원 감지 영역을 형성하고, 이 영역 내의 사용자가 원하는 제어대상과 제어동작을 결정하기 위하여 손이 가리키는 위치와 손의 움직임을 동시에 검출한다.
예컨대, 손이 가리키는 위치는 사용자가 제어하고자 하는 멀티미디어 개체, 예를 들면 재생하고자 하는 오디오 파일이나 제어용 개체의 선택에 이용될 수 있고, 손의 움직임은 사용자가 제어하고자 하는 동작을 특정하는 데 이용될 수 있다.
보다 구체적 예로서, 손이 가리키는 위치가 볼륨 제어 아이콘일 경우, 손의 움직임이 누르는 듯한 동작(예컨대, 손을 전체적으로 빠른 시간에 개체 방향으로 짧은 거리를 전진 이동시키는 동작)이 있으면 볼륨 제어 아이콘을 선택한 것으로 결정하고, 그 직후에 엄지와 검지로 무엇을 집는 것처럼 하여 팔목을 시계 또는 반시계 방향으로 회전하는 움직임이 추가로 일어나면 볼륨을 높이거나 낮추는 제어 동작을 원하는 것으로 결정할 수 있다.
멀티미디어 객체의 선택과 제어 동작은 전술한 예시 이외에 다양한 형태로 구성할 수 있으며, 이는 본 발명의 요지와 직접 관련된 사항은 아니므로 추가의 구체 설명은 생략한다.
손이 가리키는 위치를 검출하기 위해서는 검출된 손으로부터 손의 중심점과 손의 끝점 위치를 검출하고, 이 정보를 이용하여 지시되는 멀티미디어 객체를 결정하거나 제어 동작을 파악할 수 있다. 예컨대, 손의 끝점이 멀티미디어 객체가 투영된 공간에 위치하면 그 멀티미디어 객체를 선택한 것으로 파악하고 손의 중심점과 손의 끝점의 위치 및 상호 위치관계를 파악하여 손의 움직임을 파악하여 대응되는 제어 동작을 판단할 수 있다.
손의 위치 및 동작의 파악은 초음파 감지 모듈(130)이 단독으로 수행할 수 있고, 정확성 및 신뢰성의 향상을 위하여 영상 검출 모듈(120)에서 획득된 영상 정보를 함께 이용하여 수행할 수도 있다. 이 경우에, 영상 검출 모듈은 예컨대 서보 모터로 회전구동 가능하게 하여, 실시간으로 손을 추적하여 손의 움직임 반경(즉, 검출 가능한 손의 움직임 반경)을 넓게 하는 동시에 획득되는 영상 프레임의 주변 부분을 감소시켜 주변영상과 손의 구별을 용이하게 하고 손의 움직임을 더욱 세밀하게 파악할 수 있도록 함이 바람직하다.
다른 실시예로서, 눈(즉, 눈동자)의 위치와 손의 끝점의 위치를 파악하고 이를 이용하여 객체를 선택함으로써 객체 선택 및 조작에 따른 사용자의 움직임이나 노력을 감소시킬 수 있다.
즉, 손의 위치 만으로 객체를 선택하려면 사용자가 그 객체를 일정시간 응시하는 상황이 수반되는 경우가 일반적이다. 그러나 차량 운전과 같은 안전과 관련된 조작을 수행하면서 사용자의 시선이 잠시라도 전방 도로 이외의 곳으로 집중되는 상황은 사고를 유발할 수 있는 등의 원인이 되므로 바람직하지 않다.
따라서, 곁눈질과 사용자의 간단한 손 동작(손의 위치 및 손의 움직임)만으로 높은 정확도로 객체를 선택하고 조작할 수 있다면 본 발명의 동작환경인 비접촉 멀티미디어 객체의 선택 및 조작 환경의 효용성이 극대화 될 수 있다.
이를 위하여, 본 발명은 영상 검출 모듈(120)과 초음파 감지 모듈(130)을 함께 이용한다. 즉, 영상 검출 모듈(120)로부터 획득된 스테레오 영상을 통해 사용자의 눈동자의 3차원 위치를 검출하고, 초음파 감지 모듈(130)을 통해 사용자의 손의 끝점의 3차원 위치를 검출하여 이 두 점으로부터 이루어지는 3차원 지시 벡터를 구하여 멀티미디어 객체의 선택에 이용한다.
구체적으로, 헤드 유닛(140)은 영상 검출 모듈(120)로부터 획득된 스테레오 영상으로부터 두 개의 눈동자에 대한 위치 정보를 검출한다. 눈동자에 대한 각각의 3차원 공간상의 위치 정보는 디스패리티 맵(Disparity Map)을 사용하여 얻을 수 있다.
손의 끝점을 검출하기 위해서는 다양한 방법을 사용할 수 있으며, 예를 들면 검출된 손 영역으로부터 곡률 정보를 이용하여 손의 끝점을 검출할 수 있다. 사용자가 하나의 손가락(예를 들면 검지 손가락)만을 편 채로 멀티미디어 객체를 가리키는 경우에는 하나의 끝점만이 검출될 것이다. 이에 비해 사용자가 손을 편 채로 멀티미디어 객체를 가리키는 경우에는 다수의 끝점이 검출될 수 있으며, 이 때에는 객체에 가장 가까이 위치한 손가락의 끝점을 이용하는 등의 방법으로 끝점을 검출할 수 있다.
한편, 보다 신뢰성 있는 손의 끝점 검출 방법은 다음과 같다. 우선 초음파 감지 모듈(130)에서 감지한 정보를 이용하여 사용자의 눈(보다 정확히는 사용자의 두 눈동자의 중간 위치)이라고 판단될 수 있는 가상의 점을 지정한다. 가상의 점은 전술한 바와 같이 영상 검출 모듈(120)이 검출한 두 눈동자의 중간 위치로 할 수 있는데, 영상 검출 모듈(120)이 눈의 위치의 보정 및 영상 처리시 빛의 영향으로 인한 오인식을 대비하기 위하여, 초음파 감지 모듈(130)이 획득한 정보로부터 가상의 점을 설정하거나 영상 감지 모듈(120)로부터의 정보를 종합하여 가상의 점을 설정함이 바람직하다.
그 다음, 가상의 점으로부터 손이라고 판단되는 부분에서 가장 멀리 있는 점을 손의 끝점으로 간주한다.
이상에서 3차원 공간상에서 눈동자나 손의 끝점의 위치 파악은 특정 위치에 설치되어 있는 2개 이상의 특징점(마커)과의 상대 위치를 계산하여 얻는 방식을 취할 수 있다.
도 5는 본 발명의 실시예에 따라 눈동자와 손의 끝점의 좌표를 이용하여 제어하고자 하는 멀티미디어 객체를 지시하는 지시 벡터를 구하는 방법을 나타내고 있는데, 도 5를 참조하며, 눈동자의 위치와 손끝의 위치를 이용하여 3차원 멀티미디어 객체를 선택하는 과정을 구체적으로 설명한다.
통상 사람의 눈동자는 2개인데, 손을 이용하여 물체를 지시하는 경우에 그 사용자의 시선 방향은 두 눈동자의 중심 좌표와 지시를 위한 손 끝을 잇는 벡터방향과 일치하기 때문에, 우선 두 개의 눈동자(250)의 3차원 좌표 EL(e1 L, e2 L, e3 L)과 ER(e1 R, e2 R, e3 R)의 위치로부터 두 눈동자의 중심 위치의 좌표 EM(e1 M, e2 M, e3 M)를 구한다.
이어서, 두 눈동자의 중심 위치 EM(e1 M, e2 M, e3 M)와 손(240)의 끝점 Pfinger(f1, f2, f3)을 잇는 지시 벡터
Figure pat00001
를 구한다.
종국적으로, 이 지시 벡터가 투명 디스플레이 모듈(110)과 만나는 지점 Pd에 해당하는 멀티미디어 객체(115)를 사용자가 제어하고자 하는 멀티미디어 객체로 판단한다.
이와 같이 눈동자의 위치로부터 시선 정보를 획득하여 이를 손의 끝점이 가리키는 좌표와 결합하여 최종 위치 정보를 구함으로써, 사용자가 운전석에 앉아서 차량 전면 유리창에 디스플레이 되는 멀티미디어 객체들을 순간적인 곁눈질로 보면서 손으로 객체를 직접 건드리지 않고 지시할 때에도 매우 정확히 대상 멀티미디어 객체를 선택할 수 있다.
한편, 초음파 감지 모듈(130)에 의해 형성된 3차원 공간 상에서 검출된 손은 그 방향과 제스처를 인식할 수 있도록 움직임이 추적된다. 움직임의 추적은 실시간으로 이전과 현재의 프레임(frame)을 비교하면서 동작의 변화를 추적하는 방식으로 이루어진다. 이러한 과정을 통하여 손의 동작에 대한 판단이 이루어지고 이에 따라 사용자가 원하는 멀티미디어 제어를 수행할 수 있다.
한편, 헤드 유닛(140)은 주행 시 주변환경을 실시간으로 확인하고 상황에 따라 투명 디스플레이 모듈(110)에 표시된 멀티미디어 객체들을 인공지능적으로 배열하거나 배열을 제한할 수 있다. 예를 들면, 교차로에 진입할 경우 사용자(운전자)의 시야를 확보하기 위하여 멀티미디어 객체를 일시적으로 표시하지 않거나 작게 표시하는 등의 제어가 가능하다. 또한, 주행 중일 때와 정지 중일 때의 모드를 다르게 설정하여 각 모드 별로 다르게 표시하도록 제어할 수 있다.
앞서 간략히 언급하였지만, 투명 디스플레이 모듈(110)에 표시되는 정보의 내용은 멀티미디어 객체에 제한되지 않으며, 네비게이션 정보, 차량에 대한 진단 및 알림 정보 등 다양한 정보를 포함할 수 있다. 또한, 차량 내에 통신 기능이 구비된 경우라면 인터넷 또는 무선 컨텐츠가 표시될 수도 있다. 그리고 이러한 정보들은 서로 유기적으로 연결되어 주행 시의 안전을 위하여 표시되는 객체의 위치 및 크기가 제어될 수 있다.
다음으로는, 도 1의 사용자 인터페이스 장치의 헤드 유닛의 다른 실시예에 대하여 자세히 설명한다. 도 6은 본 발명의 다른 실시예에 따른 헤드 유닛의 구성을 나타내는 구성도이다.
도 6에 나타난 바와 같이, 본 발명의 다른 실시예에 따른 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치의 헤드 유닛(50)은 모션 추적부(530), 제1 좌표 검출부(560), 제2 좌표 검출부(550), 모션 해석부(540), 종합부(570) 및 제어부(580)를 포함하여 이루어진다.
헤드 유닛(50)은 초음파 센서(510)와 스테레오 카메라(520)로부터 검출된 정보를 전달받는다. 초음파 센서(510)와 스테레오 카메라(520)는 각각 도 1에 나타난 본 발명의 실시예의 초음파 감지 모듈(130)과 영상 검출 모듈(120)에 대응되는 부분으로서 그 구성과 기능이 유사하다.
모션 추적부(530)는 초음파 센서(510)에 의해 3차원 공간 내에 물체가 감지되면, 스테레오 영상 및/또는 초음파 센서로부터 획득된 형상 정보로부터 감지된 물체가 사용자의 손인지를 확인한다.
감지된 물체가 손이면, 모션 추적부(530)는 스테레오 영상과 초음파 센서(510)에 의한 감지 결과 중 적어도 하나를 이용하여 손의 움직임을 추적한다.
제1 좌표 검출부(560)는 손의 끝점을 검출하여 손의 끝점의 3차원 좌표, 즉 제1 좌표를 검출한다.
제2 좌표 검출부(550)는 스테레오 카메라(520)에 의해 촬영된 스테레오 영상으로부터 눈동자를 검출하고, 두 눈동자의 중심 좌표와 손의 끝점이 생성하는 벡터가 투명 디스플레이 모듈과 만나는 지점에 대응하는 제2 좌표를 검출한다. 제2 좌표를 검출하는 방법은 앞서 도 1의 실시예에서 헤드 유닛(140)의 동작에 대해 설명한 방법과 같거나 유사하다.
여기에서 제1 좌표 검출부(560)와 제2 좌표 검출부(550)는 눈동자의 좌표와 손의 끝점의 좌표를 실시간으로 계산할 수 있으며, 또한, 눈동자의 좌표와 손의 끝점의 좌표를 추적하면서 일어날 일에 대한 예측 및 과거의 일에 대한 학습 과정을 통하여 제1 좌표 및 제2 좌표를 추적하도록 할 수도 있다.
모션 해석부(540)는 손이 움직이는 방향과 움직임의 패턴으로부터 사용자 손의 움직임, 즉 제스처를 파악한다. 모션 해석부(540)는 초음파 감지 모듈(130)에 의해 파악된 형상 정보의 이전 프레임과 현재 프레임을 비교하여 상기 제스처를 파악하도록 구성될 수 있다. 종합부(570)는 사용자의 제스처, 제1 좌표 및 제2 좌표를 종합하여 사용자의 최종의도를 파악한다. 이때, 종합부(570)는 동 시간대에 검출된 제스처, 제1 좌표 및 제2 좌표를 종합하여 최종의도를 파악한다.
사용자의 최종의도는 주로 사용자의 제스처와 제2 좌표에 의해 파악될 수 있지만, 눈동자의 중심 좌표를 구할 수 없는 등의 경우에는 제2 좌표 대신 제1 좌표가 사용자의 최종의도 파악을 위해 사용될 수 있다.
제어부(580)는 파악된 사용자의 최종 의도에 따라 기 설정된 제어를 수행한다.
여기서, 기 설정된 제어는 차량에 구비된 멀티미디어 콘텐츠의 재생, 네비게이션 제어, 차량정보 모니터링이나, 차량 내의 유무선 통신 제어 등에 관련된 것일 수 있다.
예컨대, 제어부(580)는 사용자의 차량정보 모니터링 요청에 따라, 차량정보를 진단하여 진단결과를 알려줄 수 있으며, 차량속도, 핸들 조작방향이나, 주행정보 등을 표시할 수 있다.
한편, 종합부(570)는 최종의도 파악 시에, 제스처, 제1 좌표, 제2 좌표 중에서, 사용자에 의해 제외되도록 설정된 항목을 고려하지 않을 수 있다.
이제, 본 발명의 일 실시예에 따른 차량용 멀티미디어 제어를 위한 사용자 인터페이스 방법에 대하여 설명한다. 도 7은 본 발명의 일 실시예에 따른 차량용 멀티미디어 제어를 위한 사용자 인터페이스 방법을 도시한 흐름도이다.
도 7에 나타난 바와 같이, 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치(10)가 구동되면 영상 검출 모듈(120)의 스테레오 카메라와 초음파 감지 모듈(130)의 초음파 센서가 구동된다(S610). 또는, 영상 검출 모듈(120)만이 먼저 구동되어 감지 영역 내 사용자 지시수단을 포착한 이후에 초음파 감지 모듈(130)이 구동되도록 구성할 수도 있다.
차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치(10)는 차량의 구동과 함께 시작될 수도 있고, 별도의 스위치를 이용해 구동이 시작될 수도 있다.
초음파 감지 모듈(130) 또는 영상 검출 모듈(120)에 의하여 3차원 감지 영역을 감지하여 감지 영역 내 물체의 존재 여부를 확인하고(S615), 스테레오 카메라에 의해 촬영된 스테레오 영상 및/또는 초음파 센서에 의해 감지된 형상을 분석하여 감지된 물체가 손인지를 판단한다(S620).
감지된 물체가 손이라고 판단되면, 실시간으로 손의 움직임을 추적하면서(S625), 3D 모델링 및/또는 재구성을(3D Reconstruction) 수행하여 손의 위치와 손의 움직임(제스쳐)를 인식한다(S630). 아울러 손의 끝점을 검출하여(S640), 이들 정보로부터 대상 멀티미디어 객체를 선택한다(S650). 본 명세서에서 3D 재구성이라 함은 특징점(차량 등 소규모 폐쇄공간 내에서는 마커를 활용)을 기준점으로 하여 손, 눈동자에 대한 3차원 공간에서의 실제 위치를 파악하는 과정을 의미한다. 3D 재구성은 차량의 내부 등과 같은 감지 영역을 가상 공간화하여 증강 현실을 구현할 수 있는 기초 환경이 될 수 있다.
이상의 과정은 영상 검출 모듈(120) 및 초음파 감지 모듈(130) 중 어느 하나가 수행하거나 또는 둘 다가 수행하도록 구성할 수 있다.
본 발명의 일 실시예에서는 손의 형상 및 위치, 움직임 만을 이용하여 멀티미디어 객체를 선택하고 제어할 수 있는바, 전술한 과정을 통하여 객체의 선택 및 손의 위치 및 움직임이 파악된 이후에, 이들 정보를 토대로 사용자의 제어 의도를 파악하고(S670), 요구되는 제어를 수행하도록 한다(S675). 이 경우, 사용자의 최종적 제어 의도 파악 시에, 제스처, 제1 좌표, 제2 좌표 중에서, 상기 사용자에 의해 제외되도록 설정된 항목을 고려하지 않도록 구성하여 연산 부하를 줄이고 정확성을 높일 수 있다.
한편, 멀티미디어 객체 선택에 관한 다른 실시예로서, 눈동자의 위치와 손의 끝점의 위치를 이용하여 객체를 선택하고자 하는 경우에는, 손의 움직임에 대한 실시간 추적(S625), 3D 모델링 및 재구성과 손의 움직임 인식(S630), 손의 끝점 검출(S640)은 초음파 감지 모듈(130)에서 수행하고, 영상 검출 모듈(120)이 스테레오 영상을 촬영하고(S655), 이로부터 눈동자를 검출하여(S660), 도 5를 참조하며 앞서 설명한 바와 같은 과정을 거쳐서 멀티미디어 객체를 선택한다(S650).
한편, 스테레오 영상의 촬영(S655) 및 눈동자의 검출(S660)을 토대로 사용자의 시선을 추적하고(S665), 이 정보를 고려하여 멀티미디어 객체를 선택(S650)하는 구성도 가능하다.
즉, 눈에 대한 인식은 명암이 뚜렷하기 때문에 비교적 빛의 영향을 받더라도 정확한 추출을 할 수 있고, 운전자가 다수가 아니기 때문에 개인별 데이터를 통해서 그 패턴이나 템플릿을 통해서 인식 정확도를 높일 수 있다. 사람의 시선(두 눈)을 디스플레이(전면 유리창의 기준점)를 기준으로 실시간으로 추적하며 일어날 일에 대한 예측 및 과거 일에 대한 학습과정이 추가 되면 사용자의 시선을 추적하는 것이 가능하며 시선 추적 결과 단독으로 또는 이를 보충하여 멀티미디어 객체의 선택을 수행하도록 구성할 수 있다.
이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술분야에 통상의 지식을 가진 자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함을 이해할 수 있을 것이다.
즉, 이상의 설명에서, 영상 검출 모듈(120)과 초음파 감지 모듈(130)이 획득한 정보를 가공하지 않고 헤드 유닛(140)으로 전달하는 것으로 설명하였지만, 헤드 유닛(140)에서 처리하는 것으로 설명된 일부 과정을 영상 검출 모듈(120) 또는 초음파 감지 모듈(130)이 직접 처리할 수도 있다.
예를 들어, 영상 검출 모듈(120)은 검출된 영상 자체를 헤드 유닛(140)으로 전달하는 대신, 손 끝점의 좌표나 눈동자의 좌표 등의 정보를 자체적으로 검출하여 헤드 유닛(140)으로 전달할 수도 있다. 또는, 헤드 유닛(140) 이외의 별도의 판단 장치에 의해서 전술한 판단 과정이 수행될 수 있도록 구성될 수 있으며, 그 외 당업자라면 본 명세서의 기재내용으로부터 다양한 구현 예를 이끌어 낼 수 있을 것이나, 이러한 변형 구현 예들이 본 발명의 기술적 사상의 범주에 속할 것임은 자명하다.
따라서 본 발명의 보호 범위는 전술한 실시예에 국한되지 않으며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.

Claims (20)

  1. 하나 이상의 멀티미디어 객체를 포함하는 영상을 표시하는 투명 디스플레이 모듈;
    상기 투명 디스플레이 모듈에 근접한 3차원 공간에서, 초음파 센서를 이용하여 사용자 지시수단을 감지하는 초음파 감지 모듈;
    상기 사용자 지시수단을 추적하면서 촬영하는 영상 검출 모듈; 및
    상기 영상 검출 모듈 및 상기 초음파 감지 모듈 중 적어도 하나로부터 전달받은 정보를 이용하여 상기 사용자 지시수단에 의해 상기 멀티미디어 객체 중 어느 하나가 선택되었는지 여부를 판단하여, 선택된 상기 멀티미디어 객체에 대응하는 제어를 실행하는 헤드 유닛
    을 포함하는 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치.
  2. 제1항에 있어서, 상기 투명 디스플레이 모듈은,
    박막 트랜지스터(Thin Film Transistor)를 포함하는 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치.
  3. 제1항에 있어서, 상기 영상 검출 모듈은,
    회전 가능하며 상기 사용자 지시수단을 추적하는 스테레오 카메라를 포함하는 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치.
  4. 제1항에 있어서,
    상기 사용자 지시수단은 사용자의 손이며,
    상기 영상 검출 모듈은 상기 손 및 상기 사용자의 눈동자를 포함하는 영상을 촬영하는 것인 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치.
  5. 제4항에 있어서, 상기 헤드 유닛은,
    상기 손의 끝점의 위치와, 상기 눈동자의 위치를 이용하여 얻어진 벡터 성분을 바탕으로, 상기 사용자 지시수단에 의해 상기 멀티미디어 객체 중 어느 하나가 선택되었는지 여부를 판단하는 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치.
  6. 제1항에 있어서, 상기 초음파 감지 모듈은,
    상기 3차원 공간에 다수의 상기 초음파 센서에 의해 감지되는 n개의 부피요소를 구성하여, 상기 사용자 지시수단의 3차원 형상, 위치 및 움직임을 감지하는 것인 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치.
  7. 제1항에 있어서,
    상기 투명 디스플레이 모듈에 표시되는 하나 이상의 상기 멀티미디어 객체는 상기 차량의 주행 환경 또는 사용자의 선택에 따라 배치 및 표시 여부가 변화될 수 있는 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치.
  8. 제1항에 있어서, 상기 투명 디스플레이 모듈은,
    하나 이상의 상기 멀티미디어 객체를 3차원으로 표시할 수 있는 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치.
  9. 하나 이상의 멀티미디어 객체를 포함하는 영상을 표시하는 투명 디스플레이;
    상기 투명 디스플레이에 근접한 3차원 공간 내의 물체를 감지하는 초음파 센서;
    상기 3차원 공간을 스테레오 촬영하는 스테레오 카메라;
    감지된 상기 물체가 손인지의 여부를 판단하고, 판단 결과 상기 물체가 손이면, 상기 손의 움직임을 추적하는 모션 추적부;
    상기 손의 끝점의 3차원 위치에 대응하는 제1 좌표를 검출하는 제1 좌표 검출부;
    상기 스테레오 카메라에 의해 촬영된 영상으로부터 사용자의 두 눈동자의 3차원 좌표를 획득하고, 상기 두 눈동자의 중심 위치와 상기 제1 좌표를 잇는 지시 벡터가 상기 투명 디스플레이와 만나는 지점에 대응하는 제2 좌표를 검출하는 제2 좌표 검출부;
    상기 손의 움직임으로부터 사용자의 제스처를 파악하는 모션 해석부;
    상기 제스처, 상기 제1 좌표 및 상기 제2 좌표를 종합하여 상기 사용자의 최종의도를 파악하는 종합부; 및
    파악된 상기 최종의도에 따라 기 설정된 제어를 수행하는 제어부
    를 포함하는 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치.
  10. 제9항에 있어서, 상기 초음파 센서는,
    상기 3차원 공간에 n개의 부피요소를 형성하도록 다수 개 배치되는 것인 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치.
  11. 제9항에 있어서, 상기 모션 추적부는,
    상기 스테레오 카메라에 의해 촬영된 영상 또는 상기 초음파 센서에 의해 감지된 형상 정보를 분석하여 감지된 상기 물체가 손인지의 여부를 판단하는 것인 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치.
  12. 제9항에 있어서, 상기 모션 해석부는,
    상기 초음파 센서에 의하여 획득된 형상 정보의 이전 프레임과 현재 프레임을 비교하여 상기 제스처를 파악하는 것인 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치.
  13. 제9항에 있어서, 상기 종합부는,
    상기 최종의도 파악 시에, 상기 제스처, 상기 제1 좌표, 상기 제2 좌표 중에서, 상기 사용자에 의해 제외되도록 설정된 항목을 고려하지 않는 것인 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치.
  14. 제9항에 있어서, 상기 종합부는,
    동 시간대에 검출된 상기 제스처, 상기 제1 좌표 및 상기 제2 좌표를 종합하는 것인 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치.
  15. 제9항에 있어서, 상기 기 설정된 제어는,
    상기 차량에 구비된 멀티미디어 콘텐츠의 재생, 네비게이션 제어, 차량정보 모니터링 및 상기 차량 내의 유무선 통신 제어 중 적어도 하나에 관련된 것인 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치.
  16. 3차원 공간 내에 물체가 감지되면, 감지된 상기 물체가 사용자의 손인지를 확인하는 단계;
    상기 물체가 손이면, 상기 손의 끝점에 대응하는 3차원 좌표인 제1 좌표를 검출하는 단계;
    상기 사용자의 두 눈동자에 대응하는 3차원 좌표를 검출하여, 상기 두 눈동자의 중심 위치와 상기 제1 좌표를 잇는 지시 벡터가 투명 디스플레이와 만나는 지점에 대응하는 제2 좌표를 검출하는 단계;
    상기 손을 추적하여 사용자의 제스처를 파악하는 단계;
    상기 제스처, 상기 제1 좌표 및 상기 제2 좌표를 종합하여 상기 사용자의 최종의도를 파악하는 단계; 및
    파악된 상기 최종의도에 따라 기 설정된 제어를 수행하는 단계;
    를 포함하는 차량용 멀티미디어 제어를 위한 사용자 인터페이스 방법.
  17. 제16항에 있어서,
    상기 최종의도를 파악하는 단계에서는
    동 시간대에 검출된 상기 제스처, 상기 제1 좌표 및 상기 제2 좌표를 종합하여 상기 사용자의 최종의도를 파악하는 차량용 멀티미디어 제어를 위한 사용자 인터페이스 방법.
  18. 제16항에 있어서,
    상기 최종의도를 파악하는 단계에서는
    상기 제스처, 상기 제1 좌표 및 상기 제2 좌표 중에서, 상기 사용자에 의해 제외되도록 설정된 항목을 고려하지 않는 것인 차량용 멀티미디어 제어를 위한 사용자 인터페이스 방법.
  19. 제16항에 있어서, 상기 손인지를 확인하는 단계에서는,
    상기 스테레오 카메라에 의해 촬영된 스테레오 영상 또는 상기 초음파 센서에 의해 감지된 형상 정보를 이용하여 손인지를 확인하는 것인 차량용 멀티미디어 제어를 위한 사용자 인터페이스 방법.
  20. 제16항에 있어서, 상기 제스처를 파악하는 단계에서는,
    상기 초음파 센서에 의하여 획득된 형상 정보의 이전 프레임과 현재 프레임을 비교하여 상기 제스처를 파악하는 것인 차량용 멀티미디어 제어를 위한 사용자 인터페이스 방법.
KR1020100037495A 2010-04-22 2010-04-22 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법 KR101334107B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100037495A KR101334107B1 (ko) 2010-04-22 2010-04-22 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법
US12/898,990 US20110260965A1 (en) 2010-04-22 2010-10-06 Apparatus and method of user interface for manipulating multimedia contents in vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100037495A KR101334107B1 (ko) 2010-04-22 2010-04-22 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110117966A true KR20110117966A (ko) 2011-10-28
KR101334107B1 KR101334107B1 (ko) 2013-12-16

Family

ID=44815379

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100037495A KR101334107B1 (ko) 2010-04-22 2010-04-22 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법

Country Status (2)

Country Link
US (1) US20110260965A1 (ko)
KR (1) KR101334107B1 (ko)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101320683B1 (ko) * 2012-07-26 2013-10-18 한국해양과학기술원 증강현실 기반의 디스플레이 보정 방법 및 모듈, 이를 이용한 객체정보 디스플레이 방법 및 시스템
KR101348198B1 (ko) * 2012-03-21 2014-01-06 주식회사 유라코퍼레이션 차량용 멀티미디어 제어 장치
WO2014104802A1 (en) * 2012-12-31 2014-07-03 LG Display Co.,Ltd. Transparent display apparatus and method for controlling the same
KR20150025115A (ko) * 2013-08-28 2015-03-10 엘지전자 주식회사 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법
KR101588184B1 (ko) * 2014-10-22 2016-01-25 현대자동차주식회사 차량용 제어 장치, 차량, 및 차량의 제어방법
KR101630153B1 (ko) * 2014-12-10 2016-06-24 현대자동차주식회사 제스처 인식 장치, 그를 가지는 차량 및 차량의 제어 방법
EP2706434A3 (en) * 2012-08-31 2016-09-21 Omron Corporation Gesture recognition apparatus, control method thereof, display instrument, and computer readable medium
WO2016200197A1 (ko) * 2015-06-10 2016-12-15 (주)브이터치 사용자 기준 공간좌표계 상에서의 제스처 검출 방법 및 장치
US9891067B2 (en) 2013-03-15 2018-02-13 Hyundai Motor Company Voice transmission starting system and starting method for vehicle
WO2018080142A1 (ko) * 2016-10-24 2018-05-03 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US10180729B2 (en) 2014-10-06 2019-01-15 Hyundai Motor Company Human machine interface apparatus for vehicle and methods of controlling the same
KR102095676B1 (ko) * 2019-04-25 2020-03-31 유니텔전자 (주) 차량의 측후방 영상표시장치 및 그 방법
KR20200043349A (ko) * 2019-03-07 2020-04-27 삼성전자주식회사 정보 제공 방법 및 이를 위한 정보 제공 차량
US10732760B2 (en) 2016-03-21 2020-08-04 Hyundai Motor Company Vehicle and method for controlling the vehicle
CN114900676A (zh) * 2022-05-11 2022-08-12 浙江吉利控股集团有限公司 车窗双面显示方法、系统、设备及存储介质

Families Citing this family (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3117768B1 (en) 2006-05-19 2019-11-06 The Queen's Medical Center Motion tracking system and method for real time adaptive imaging and spectroscopy
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
WO2009128064A2 (en) * 2008-04-14 2009-10-22 Pointgrab Ltd. Vision based pointing device emulation
US8908995B2 (en) 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
DE102011006344B4 (de) 2010-03-31 2020-03-12 Joyson Safety Systems Acquisition Llc Insassenmesssystem
JP5805974B2 (ja) 2010-03-31 2015-11-10 ティーケー ホールディングス，インコーポレーテッド ステアリングホイールセンサ
JP5759230B2 (ja) 2010-04-02 2015-08-05 ティーケー ホールディングス，インコーポレーテッド 手センサを有するステアリング・ホイール
CN102959616B (zh) 2010-07-20 2015-06-10 苹果公司 自然交互的交互真实性增强
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
US8959013B2 (en) 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
US8957856B2 (en) * 2010-10-21 2015-02-17 Verizon Patent And Licensing Inc. Systems, methods, and apparatuses for spatial input associated with a display
US20120102438A1 (en) * 2010-10-22 2012-04-26 Robinson Ian N Display system and method of displaying based on device interactions
TWI528224B (zh) * 2010-11-15 2016-04-01 財團法人資訊工業策進會 三維動態操控方法及裝置
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
KR101544524B1 (ko) * 2010-12-16 2015-08-17 한국전자통신연구원 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법
WO2012107892A2 (en) 2011-02-09 2012-08-16 Primesense Ltd. Gaze detection in a 3d mapping environment
JP2012190184A (ja) * 2011-03-09 2012-10-04 Sony Corp 画像処理装置および方法、並びにプログラム
JP2012190183A (ja) * 2011-03-09 2012-10-04 Sony Corp 画像処理装置および方法、並びにプログラム
GB2490108B (en) * 2011-04-13 2018-01-17 Nokia Technologies Oy A method, apparatus and computer program for user control of a state of an apparatus
KR101789683B1 (ko) * 2011-06-13 2017-11-20 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법, 그리고 리모컨 장치
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9122311B2 (en) 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
EP2747641A4 (en) 2011-08-26 2015-04-01 Kineticor Inc METHOD, SYSTEMS AND DEVICES FOR SCAN INTERNAL MOTION CORRECTION
DE102011054848B4 (de) * 2011-10-27 2014-06-26 Deutsches Zentrum für Luft- und Raumfahrt e.V. Steuer- und Überwachungseinrichtung für Fahrzeuge
US10013053B2 (en) * 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
US9389690B2 (en) * 2012-03-01 2016-07-12 Qualcomm Incorporated Gesture detection based on information from multiple types of sensors
US9671869B2 (en) * 2012-03-13 2017-06-06 Eyesight Mobile Technologies Ltd. Systems and methods of direct pointing detection for interaction with a digital device
WO2013144807A1 (en) * 2012-03-26 2013-10-03 Primesense Ltd. Enhanced virtual touchpad and touchscreen
WO2013154720A1 (en) 2012-04-13 2013-10-17 Tk Holdings Inc. Pressure sensor including a pressure sensitive material for use with control systems and methods of using the same
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US8938124B2 (en) 2012-05-10 2015-01-20 Pointgrab Ltd. Computer vision based tracking of a hand
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
US9046917B2 (en) * 2012-05-17 2015-06-02 Sri International Device, method and system for monitoring, predicting, and accelerating interactions with a computing device
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
KR102047494B1 (ko) * 2012-09-10 2019-11-21 삼성전자주식회사 투명 디스플레이 장치 및 그 객체 선택 방법
WO2014043664A1 (en) 2012-09-17 2014-03-20 Tk Holdings Inc. Single layer force sensor
JP5964190B2 (ja) * 2012-09-27 2016-08-03 京セラ株式会社 端末装置
US9841311B2 (en) 2012-10-16 2017-12-12 Hand Held Products, Inc. Dimensioning system
WO2014096896A1 (en) * 2012-12-20 2014-06-26 Renault Trucks A method of selecting display data in a display system of a vehicle
EP2746805B1 (de) * 2012-12-21 2017-07-12 Delphi Technologies, Inc. Ultraschallinnenraumüberwachungsanlage für ein Kraftfahrzeug
KR102051656B1 (ko) * 2013-01-22 2019-12-03 삼성전자주식회사 투명 디스플레이 장치 및 그 디스플레이 방법
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9782141B2 (en) 2013-02-01 2017-10-10 Kineticor, Inc. Motion tracking system for real time adaptive motion compensation in biomedical imaging
US8818716B1 (en) 2013-03-15 2014-08-26 Honda Motor Co., Ltd. System and method for gesture-based point of interest search
US20140354602A1 (en) * 2013-04-12 2014-12-04 Impression.Pi, Inc. Interactive input system and method
US9323338B2 (en) 2013-04-12 2016-04-26 Usens, Inc. Interactive input system and method
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
KR102063767B1 (ko) * 2013-09-24 2020-01-08 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US10004462B2 (en) 2014-03-24 2018-06-26 Kineticor, Inc. Systems, methods, and devices for removing prospective motion correction from medical imaging scans
GB2527184A (en) * 2014-04-10 2015-12-16 Ford Global Tech Llc Usage prediction for contextual interface
WO2016014718A1 (en) 2014-07-23 2016-01-28 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
WO2016023188A1 (zh) * 2014-08-13 2016-02-18 深圳迈瑞生物医疗电子股份有限公司 一种超声成像系统及其控制方法
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US10925579B2 (en) * 2014-11-05 2021-02-23 Otsuka Medical Devices Co., Ltd. Systems and methods for real-time tracking of a target tissue using imaging before and during therapy delivery
KR102310994B1 (ko) * 2014-11-25 2021-10-08 삼성전자주식회사 3차원 상호작용 컴퓨팅 장치 및 방법
JP6426025B2 (ja) * 2015-02-20 2018-11-21 クラリオン株式会社 情報処理装置
JP2016162162A (ja) * 2015-03-02 2016-09-05 株式会社リコー 接触検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、プロジェクタシステム及び接触検出方法
KR101807513B1 (ko) * 2015-05-13 2017-12-12 한국전자통신연구원 3차원 공간에서 영상정보를 이용한 사용자 의도 분석장치 및 분석방법
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
EP3396313B1 (en) 2015-07-15 2020-10-21 Hand Held Products, Inc. Mobile dimensioning method and device with dynamic accuracy compatible with nist standard
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
TWI578021B (zh) * 2015-08-19 2017-04-11 國立臺北科技大學 擴增實境互動系統及其動態資訊互動顯示方法
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
CN108697367A (zh) 2015-11-23 2018-10-23 凯内蒂科尓股份有限公司 用于在医学成像扫描期间跟踪并补偿患者运动的系统、装置和方法
US10025314B2 (en) * 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
DE102017113763B4 (de) * 2017-06-21 2022-03-17 SMR Patents S.à.r.l. Verfahren zum Betreiben einer Anzeigevorrichtung für ein Kraftfahrzeug sowie Kraftfahrzeug
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
KR102396937B1 (ko) * 2017-09-29 2022-05-16 삼성전자주식회사 디스플레이 장치
US11410634B2 (en) * 2017-12-19 2022-08-09 Sony Corporation Information processing apparatus, information processing method, display system, and mobile object
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
CN108924417A (zh) * 2018-07-02 2018-11-30 Oppo（重庆）智能科技有限公司 拍摄控制方法及相关产品
WO2020222316A1 (ko) * 2019-04-29 2020-11-05 엘지전자 주식회사 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning
CN113819901B (zh) * 2020-06-19 2023-11-07 长鑫存储技术有限公司 光学传感器的姿态调整装置及方法、自动物料运输系统
DE102022131463A1 (de) * 2022-11-29 2024-05-29 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben einer Fahrzeugfunktion eines Kraftfahrzeugs mittels einer ultraschallbasierten Gestensteuerung

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3857052A (en) * 1972-04-28 1974-12-24 Rockwell International Corp Inspection and analysis system
US7164117B2 (en) * 1992-05-05 2007-01-16 Automotive Technologies International, Inc. Vehicular restraint system control system and method using multiple optical imagers
US7098891B1 (en) * 1992-09-18 2006-08-29 Pryor Timothy R Method for providing human input to a computer
US6130663A (en) * 1997-07-31 2000-10-10 Null; Nathan D. Touchless input method and apparatus
US7324085B2 (en) * 2002-01-25 2008-01-29 Autodesk, Inc. Techniques for pointing to locations within a volumetric display
US20080065291A1 (en) * 2002-11-04 2008-03-13 Automotive Technologies International, Inc. Gesture-Based Control of Vehicular Components
JP2006519048A (ja) * 2003-02-28 2006-08-24 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ Ｈｉｆｕ超音波治療のための動き追跡改善方法及び装置
JP2005138755A (ja) 2003-11-07 2005-06-02 Denso Corp 虚像表示装置およびプログラム
US6956544B2 (en) * 2003-12-22 2005-10-18 Motorola, Inc. Dual mode display
US7567241B2 (en) * 2004-08-03 2009-07-28 Silverbrook Research Pty Ltd Stylus with customizable appearance
JP4984748B2 (ja) * 2006-08-30 2012-07-25 株式会社デンソー 操作者判定装置及び操作者判定装置を備えた車載用装置
KR100828256B1 (ko) 2006-11-23 2008-05-07 주식회사 현대오토넷 모션 감지를 통한 전원 제어 기능을 가지는 ａｖｎ 시스템및 그 전원 제어 방법
US9031858B2 (en) * 2007-04-03 2015-05-12 International Business Machines Corporation Using biometric data for a customer to improve upsale ad cross-sale of items
JP2009146333A (ja) * 2007-12-18 2009-07-02 Panasonic Corp 空間入力動作表示装置
KR100930994B1 (ko) * 2007-12-18 2009-12-10 주식회사 케이티 3차원 영상 모델 생성 방법 및 장치, 이를 이용한 영상인식 방법 및 장치 그리고 상기 방법들을 수행하는프로그램이 기록된 기록 매체
KR100926287B1 (ko) * 2007-12-28 2009-11-12 재단법인대구경북과학기술원 시차와 원근법을 이용한 거리 추정 장치 및 추정 방법
US8106783B2 (en) * 2008-03-12 2012-01-31 Denso Corporation Input apparatus, remote controller and operating device for vehicle
US8770980B2 (en) * 2009-09-29 2014-07-08 Advanced Training System Llc System, method and apparatus for adaptive driver training

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101348198B1 (ko) * 2012-03-21 2014-01-06 주식회사 유라코퍼레이션 차량용 멀티미디어 제어 장치
KR101320683B1 (ko) * 2012-07-26 2013-10-18 한국해양과학기술원 증강현실 기반의 디스플레이 보정 방법 및 모듈, 이를 이용한 객체정보 디스플레이 방법 및 시스템
EP2706434A3 (en) * 2012-08-31 2016-09-21 Omron Corporation Gesture recognition apparatus, control method thereof, display instrument, and computer readable medium
US9594286B2 (en) 2012-12-31 2017-03-14 Lg Display Co., Ltd. Transparent display apparatus with adjustable transmissive area and a method for controlling the same
WO2014104802A1 (en) * 2012-12-31 2014-07-03 LG Display Co.,Ltd. Transparent display apparatus and method for controlling the same
US9891067B2 (en) 2013-03-15 2018-02-13 Hyundai Motor Company Voice transmission starting system and starting method for vehicle
KR20150025115A (ko) * 2013-08-28 2015-03-10 엘지전자 주식회사 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법
US10180729B2 (en) 2014-10-06 2019-01-15 Hyundai Motor Company Human machine interface apparatus for vehicle and methods of controlling the same
KR101588184B1 (ko) * 2014-10-22 2016-01-25 현대자동차주식회사 차량용 제어 장치, 차량, 및 차량의 제어방법
KR101630153B1 (ko) * 2014-12-10 2016-06-24 현대자동차주식회사 제스처 인식 장치, 그를 가지는 차량 및 차량의 제어 방법
WO2016200197A1 (ko) * 2015-06-10 2016-12-15 (주)브이터치 사용자 기준 공간좌표계 상에서의 제스처 검출 방법 및 장치
US10732760B2 (en) 2016-03-21 2020-08-04 Hyundai Motor Company Vehicle and method for controlling the vehicle
WO2018080142A1 (ko) * 2016-10-24 2018-05-03 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US10948995B2 (en) 2016-10-24 2021-03-16 VTouch Co., Ltd. Method and system for supporting object control, and non-transitory computer-readable recording medium
KR20200043349A (ko) * 2019-03-07 2020-04-27 삼성전자주식회사 정보 제공 방법 및 이를 위한 정보 제공 차량
KR102095676B1 (ko) * 2019-04-25 2020-03-31 유니텔전자 (주) 차량의 측후방 영상표시장치 및 그 방법
WO2020218712A1 (ko) * 2019-04-25 2020-10-29 유니텔전자(주) 차량의 측후방 영상표시장치 및 그 방법
US11661008B2 (en) 2019-04-25 2023-05-30 Unitel Electronics Co., Ltd. Device for displaying lateral rear images of vehicle and method therefor
CN114900676A (zh) * 2022-05-11 2022-08-12 浙江吉利控股集团有限公司 车窗双面显示方法、系统、设备及存储介质

Also Published As

Publication number Publication date
US20110260965A1 (en) 2011-10-27
KR101334107B1 (ko) 2013-12-16

Similar Documents

Publication Publication Date Title
KR101334107B1 (ko) 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법
CN110647237B (zh) 在人工现实环境中基于手势的内容共享
JP6116064B2 (ja) 車両インターフェース用ジェスチャ基準制御システム
US9235269B2 (en) System and method for manipulating user interface in vehicle using finger valleys
EP2936240B1 (en) Infotainment system
US10339711B2 (en) System and method for providing augmented reality based directions based on verbal and gestural cues
CN103019524B (zh) 车辆操作输入装置和用于车辆操作输入装置的控制方法
US20160004321A1 (en) Information processing device, gesture detection method, and gesture detection program
CN105584368A (zh) 用于在机动车中传输信息的系统
US9477315B2 (en) Information query by pointing
WO2016189390A2 (en) Gesture control system and method for smart home
US20130027393A1 (en) Information processing apparatus, information processing method, and program
Borghi et al. Hands on the wheel: a dataset for driver hand detection and tracking
WO2017021902A1 (en) System and method for gesture based measurement of virtual reality space
JP2014179072A (ja) 三次元指先トラッキング
KR101438615B1 (ko) 2차원 카메라를 이용한 사용자 인터페이스 조작 시스템 및 방법
US20140168068A1 (en) System and method for manipulating user interface using wrist angle in vehicle
CN102695037A (zh) 一种车载多视点摄像头画面的切换和表示方法
US11194402B1 (en) Floating image display, interactive method and system for the same
KR101396488B1 (ko) 신호 입력 장치 및 신호 입력 방법
CN111638786B (zh) 车载后排投影显示系统的显示控制方法、装置、设备及存储介质
CN110895675B (zh) 用于确定3d空间中的对象的特征点的坐标的方法
JP2021140195A (ja) 情報処理装置、情報処理方法およびプログラム
US20240220024A1 (en) User interface, control method thereof, and vehicle having user interface
US20230364992A1 (en) System for recognizing gesture for vehicle and method for controlling the same

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161027

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171027

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181025

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191028

Year of fee payment: 7