KR20170117342A - 사용자 인터페이스, 이동 수단 및 사용자의 손을 인식하기 위한 방법 - Google Patents

사용자 인터페이스, 이동 수단 및 사용자의 손을 인식하기 위한 방법 Download PDF

Info

Publication number
KR20170117342A
KR20170117342A KR1020170047921A KR20170047921A KR20170117342A KR 20170117342 A KR20170117342 A KR 20170117342A KR 1020170047921 A KR1020170047921 A KR 1020170047921A KR 20170047921 A KR20170047921 A KR 20170047921A KR 20170117342 A KR20170117342 A KR 20170117342A
Authority
KR
South Korea
Prior art keywords
hand
sensor
surface points
user
user interface
Prior art date
Application number
KR1020170047921A
Other languages
English (en)
Other versions
KR101892390B1 (ko
Inventor
크리스티안 텐디크
고든 라르손
볼프강 타이메르
Original Assignee
폭스바겐 악티엔 게젤샤프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 폭스바겐 악티엔 게젤샤프트 filed Critical 폭스바겐 악티엔 게젤샤프트
Publication of KR20170117342A publication Critical patent/KR20170117342A/ko
Application granted granted Critical
Publication of KR101892390B1 publication Critical patent/KR101892390B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06K9/00375—
    • B60K35/10—
    • B60K35/22—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06K9/00832—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • B60K2350/1052—
    • B60K2350/2013—
    • B60K2360/146—
    • B60K2360/21—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/103—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using camera systems provided with artificial illumination device, e.g. IR light source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/108—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 'non-standard' camera systems, e.g. camera sensor used for additional purposes i.a. rain sensor, camera sensor split in multiple image areas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs

Abstract

본 발명은 사용자 인터페이스, 컴퓨터 프로그램 제품, 신호 시퀀스, 이동 수단 및 사용자의 손(1)을 인식하기 위한 방법에 관한 것이다. 방법은 하기 단계들, 즉
- 센서를 이용해서 사용자의 손(1)을 검출하는 단계,
- 센서 신호에서 손(1)의 다수의 표면점(6, 7)을 결정하는 단계,
- 표면점들(6, 7)이 실질적으로 센서에 대해서 오목한 면에 위치하면, 센서를 향한 손바닥(8)을 인식하는 단계 및/또는
- 표면점들(6, 7)이 실질적으로 센서에 대해서 볼록한 면에 위치하면, 센서를 향한 손등을 인식하는 단계를 포함한다.

Description

사용자 인터페이스, 이동 수단 및 사용자의 손을 인식하기 위한 방법{USER INTERFACE, TRANSPORT MEANS AND METHOD FOR RECOGNIZING A HAND OF A USER}
본 발명은 컴퓨터 프로그램 제품, 신호 시퀀스, 이동 수단, 사용자 인터페이스 및 사용자의 손을 인식하기 위한 방법에 관한 것이다. 특히 본 발명은 사용자의 왼손과 오른손의 전면과 후면의 구별에 관한 것이다.
많은 사용자 인터페이스에서, 입력을 실시하는 왼손 또는 오른손을 구별하는 것은 필수이다. 예를 들어 운전자 작동 공간에서, 운전자에 의한 조작과 동승자에 의한 조작을 구별하는 것은 중요하다. 주행 임무를 인지하면서 예를 들어 운전자에 의한 조작은 금지되어야 하거나 제한된 범위에서만 허용되어야 하는 한편, 동승자는 그에게 지정된 기능을 무제한의 범위에서 액세스/조작할 수 있다. 일반적으로 사용되는 센서들은 큰 검출 영역을 갖지 않고, 따라서 손이 운전석의 방향에서 접근하는지 또는 동승자석의 방향에서 접근하는지 여부를 구별할 수 없다. 이러한 사실에 근거하여 손이 이미 중앙 콘솔에 가깝게 위치한 경우에야 왼손과 오른손을 구별하는 것이 가능하다. 대안 응용예는 이동 수단의 난방-/냉방 시스템의 제스처 기반의 실내 온도 조절에 의해 설명된다. 운전자의 오른손의 검출에 응답해서 운전자 측에서 설정 온도 및 팬 속도에 영향을 미치는 것이 야기될 수 있는 한편, 동승자의 왼손의 검출에 응답해서 동승자 측에서 해당하는 설정들이 실행될 수 있다. 전술한 응용예들은 시트 위치, 조명 위치, 윈도우 리프터 등과 같은 기능에도 적용될 수 있다.
DE 10 2013 010 932 B4호는 센서로서 ToF(Time-of-Flight)-카메라를 포함하는 제스처 기반 사용자 인터페이스를 기술한다. 이와 같이 생성된 이미지 데이터는 3차원 정보를 제시하고, 상기 정보에 제스처를 취하는 적어도 하나의 팔의 개별 면적 섹션들의 공간 좌표가 포함된다.
DE 20 2015 100 273 U1호는 3D-제스처 인식을 위한 입력 장치를 기술하고, 상기 입력 장치는 카메라 기반 센서에 의해 사용자의 손의 복귀 동작과 스와이핑 제스처를 구별한다.
DE 10 2014 004 675 A1호는 ToF-카메라를 포함하는 제스처 평가 시스템을 기술하고, 상기 시스템을 이용해서 평가 과정들(예를 들어 재생되는 음악곡과 관련해서)이 손자세("엄지손가락 위로"-제스처)를 인식함으로써 실시될 수 있다.
DE 195 16 662 A1호는 3차원 물체 및 사람의 식별을 위한 장치를 기술하고, 상기 장치에서 무생물 물체와 사람의 표면의 센서 검출이 이루어진다. 신체의 3차원 형태는 확실한 식별 특징으로서 제안된다.
DE 101 00 615 A1호는 체적/면적의 크기의 비와 표면/경계 라인 길이 사이의 비교가 형성되며 위치 결정을 포함하는 손 인식 시스템을 기술한다. 비와 설정값들을 비교함으로써 사용자의 손가락 또는 팔과 손바닥이 구별된다.
선행기술로부터 본 발명의 과제는 사용자의 제스처 입력을 위해 사용된 손의 손바닥과 손등 간의 확실한 구별을 제공하는 것이다.
전술한 과제는 본 발명에 따라 사용자의 손의 인식을 위한 방법에 의해 해결된다. 제 1 단계에 따라 사용자의 손이 센서를 이용해서 검출된다. 이는 공간에서 자유롭게 구현되는 3차원 제스처가 실시되는 동안 이루어질 수 있다. 센서 신호에서 사용자의 손 및/또는 손바닥의 표면점들이 결정된다. 표면점들은 손 표면을 나타내는 손 표면의 스캐닝 결과 내의 적어도 샘플링 포인트로서 파악될 수 있다. 후속해서 어떠한 상대적 위치에(예를 들어 손바닥을 통과해서 또는 이에 대해 평행하게 미리 규정된 중앙 평면에 대해서) 표면점들이 위치하는지 확인된다. 예를 들어 표면점들의 각각의 거리가 센서에 의해 결정될 수 있다. 그로부터, 표면점들이 센서에서 볼 때 오목하게 형성된 표면 위에 배치되어 있는지 또는 볼록하게 형성된 표면 위에 배치되어 있는지 여부가 인식될 수 있다. 표면점들이 실질적으로 오목한 면에 위치하는 경우에, 센서를 향한 손바닥이 인식된다. 즉, 손등은 센서와는 반대쪽으로 향하도록 배향된다. 다시 말해서 센서는 손바닥 쪽으로 위치설정 된다. 표면점들이 실질적으로 볼록한 면에 위치하는 경우에, 손등이 센서를 향해 있는 것이 인식된다. 달리 말하면, 센서는 손등 쪽에 위치한다. 이로 인해 사용자 인터페이스는, 사용자 인터페이스를 조작하는 손이 제 1 사용자(예를 들어 운전자) 또는 제 2 사용자(예를 들어 동승자)에 관련이 있는지의 여부를 구별할 수 있다.
종속 청구항들은 본 발명의 바람직한 개선예들을 제시한다.
사용자의 손을 검출하기 위한 센서는 예를 들어 중앙 콘솔에, 계기판에 또는 루프 라이닝에 배치될 수 있고, 물론 전술한 위치의 조합 또는 전술한 위치들 중 적어도 하나의 위치에서 조합된 사용을 위한 다수의 조합이 가능하다. 검출 센서(예를 들어 ToF-카메라)의 위치로서 인체 공학적인 이유로 특히 루프 라이닝 또는 하향 주시 카메라를 가진 내부 미러 상의 위치가 바람직하거나 또는 상향 주시 카메라를 가진 중앙 콘솔 내에 내장이 바람직할 수 있는데, 그 이유는 손을 실질적으로 수평 위치로 가져가는 것이 실질적으로 수직 위치로 가져가는 것보다 인체 공학적이기 때문이다.
바람직하게, 손의 면("손바닥"이라고도 함) 위에 다수의 표면점들이 위치하는 것이 인식될 수 있다. 이는 기본적으로, 센서에 의해 검출된 표면점들이 추가로 사용자의 손의 손가락에 위치한 영역들을 나타낼 수 있는 것을 배제하지 않는다. 또한, 후자는 표면점들의 그룹의 오목한 표면과 볼록한 표면 사이의 본 발명에 따른 구별에 고려될 수 있다. 손바닥으로 제한은 전반적인 남용 방지 및 인식 오류의 방지를 가능하게 하는데, 그 이유는 손바닥을 과도하게 펴는 것은 손 전체를 과도하게 펴는 것에 비해 (오목한 면에서 볼록한 면으로 변경)은 훨씬 어렵거나 전혀 불가능하기 때문이다.
바람직하게 사용자의 손의 엄지손가락의 위치가 결정될 수 있다. 예를 들어 손의 극단(손가락과 엄지)의 상대적 길이 또는 크기 및/또는 이들의 상호 간격이 생길 수 있다. 본 발명에 따라 결정된 손의 방향과 관련한 엄지손가락의 위치에 따라서 후속해서 자동으로, 이것이 왼손인지 오른손인지 여부가 인식될 수 있다. 이는, 제 1 사용자(예를 들어 운전자)가 또는 제 2 사용자(예를 들어 동승자)가 사용자 인터페이스를 조작하는지 여부에 관한 특히 중요한 정보를 제공할 수 있다.
엄지손가락의 위치는 바람직하게 손을 한정하는 표면점들의 형태의 반경을 고려함으로써 인식될 수 있다. 다시 말해서 손의 엄지손가락 또는 손가락들이 어떤 위치에 배치되는지에 관하여, 볼록한 가장자리 영역과 관련해서 손 윤곽이 조사될 수 있다. 상응하게 손가락 사이의 간격들은 오목한 손 윤곽 섹션을 참고로 위치 확인될 수 있다.
특히 간단하게 그리고 그렇게 계산 집약적이지 않게 본 발명에 따른 방향 조사는, 다수의 표면점들 중에 특히 소수의 표면점들이 본 발명에 따른 조사를 위해 이용됨으로써 구현될 수 있다. 예를 들어 실질적으로 손의 면의 중앙에 위치한 하나의 표면점은 손의 면의 가장자리 영역에 위치한 2개의 표면점과 관련해서 고려될 수 있다. 손의 면의 가장자리 영역에 위치한 2개의 표면점은 바람직하게 실질적으로 중앙 표면점들에 대해서 서로 마주 놓인다. 표면점들을 통과해서 위치한 면들의 오목 형상 또는 볼록 형상의 제 1 평가는, 센서에서 볼 때 3개의 점들이 볼록한 또는 오목한 곡선을 나타내는지 또는 이와 같은 곡선 위에 놓이는지 여부가 결정됨으로써 이루어질 수 있다. 이는 다수의 표면점들 전체의 평가 및 이와 관련된 계산 복잡성을 불필요하게 한다. 특히 이로 인해 사용자의 손의 방향의 특히 신속한 (제 1) 평가가 이루어질 수 있다.
바람직하게는 본 발명에 따른 방법은 오목한 또는 볼록한 면의 결정을 위한 기준으로서 손의 다수의 표면점을 통과해서 위치한 보정 평면의 결정을 포함할 수 있다. 다시 말해서 결정되는 평면은 먼저 손의 표면점들을 이용해서 결정되고, 실제 표면점들의 각각의 위치는 평면과 관련해서 분류된다. 보정 평면의 "앞" 또는 "뒤"에 위치하는 것으로 분류된 표면점들의 위치를 이용해서 손의 면이 볼록한 것으로 또는 오목한 것으로 결정될 수 있고, - 전술한 바와 같이 - 그로부터 사용된 센서와 관련해서 손의 면의 방향이 결정될 수 있다.
센서는 예를 들어 스테레오 카메라, 적외선 센서 및/또는 ToF(Time-of-Flight)-카메라를 포함할 수 있다. 전술한 센서들에 의해 각각의 표면점들의 거리의 예측이 실행될 수 있고, 상기 예측에 의해 센서를 향한 손표면의 방향이 특정될 수 있다.
바람직하게 본 발명에 따른 인식에 이용되는 다수의 표면점은 사용자의 손의 표면 영역들을 나타내는 데이터로 제한될 수 있다. 다시 말해서 손 위치 또는 손 방향은 손의 본 발명에 따른 인식을 위해 고려되지 않을 수 있다. 이는 사용된 센서를 위한 매우 콤팩트한 검출 영역의 이용 및 상기 검출 영역 내에서 높은 분해도를 가능하게 한다.
본 발명의 제 2 양상에 따라 예를 들어 이동 수단을 위해 제공될 수 있는 사용자 인터페이스가 제안된다. 대안으로서 또는 추가로 사용자 인터페이스는, 무선 통신 기기 또는 모바일 사용자 단말기(예를 들어 태블릿, 스마트폰, 또는 이와 같은 것)에서 사용될 수 있도록 구성될 수 있다. 사용자 인터페이스는 예를 들어 카메라, 적외선 센서, ToF-카메라 또는 이와 같은 것으로서 형성될 수 있는 센서를 포함한다. 카메라는 예를 들어 화상 통화, 사진 또는 이와 같은 것의 어플리케이션을 위해서도 사용될 수 있다. 평가 유닛(예를 들어 프로그래밍 가능한 프로세서, 전자 제어부 또는 이와 같은 것)은 또한 본 발명을 떠나서도 태스크 패킷(task paket) 및 컴퓨팅 연산을 위해 이용될 수 있다. 센서는 사용자의 손을 센서에 의해 검출하도록 구성된다. 평가 유닛은, 손 및/또는 손바닥의 다수의 표면점을 센서 신호에서 결정하도록 구성된다. 표면점들은 예를 들어, 손바닥의 가장자리 영역, 손의 손가락들의 극단점 및 손바닥의 중앙 영역에 배치된 표면점들이 서로 구별되도록 분류될 수 있다. 특히 손바닥의 중심점에 대해서 손바닥의 가장자리 영역에 또는 손가락들에 위치한 점들의 쌍 지정은, 표면점들의 쌍들이 중심점에 대해서 서로 마주 놓이도록 이루어질 수 있다. 예를 들어 표면점들의 점들의 그룹은 각각의 거리값과 관련될 수 있고, 상기 값에 따라서 센서를 향한 손 영역의 형상에 대해 묘사될 수 있다. 표면점들이 실질적으로 서로 오목하게 위치하면, 평가 유닛에 의해 센서를 향한 손바닥이 인식된다. 반대로 표면점들이 실질적으로 서로 볼록하게 위치하면, 센서를 향한 손등이 인식된다. 이로 인해 본 발명에 따른 사용자 인터페이스는, 본 발명에 따른 방법의 특징들, 특징 조합들 및 이로 인해 주어지는 장점들을 명백하게 적절한 방식으로 구현하도록 구성되므로, 반복을 피하기 위해 상기 설명들이 참조된다.
본 발명의 제 3 양상에 따라, 프로그래밍 가능한 프로세서로 하여금 전술한 본 발명의 양상에 따른 방법의 단계들을 실시할 수 있게 하는 명령들이 저장된 컴퓨터 프로그램 제품(예를 들어 데이터 메모리)이 제안된다. 컴퓨터 프로그램 제품은 예를 들어 CD, DVD, 블루레이-디스크(Blue-Ray-Disc), 플래시 메모리, 하드디스크, RAM/ROM-캐쉬 등으로서 형성될 수 있다.
본 발명의 제 4 양상에 따라 명령들을 나타내는 신호 시퀀스가 제안되고, 상기 명령들은 프로그래밍 가능한 프로세서로 하여금 전술한 본 발명의 양상에 따른 방법의 단계들을 실시할 수 있게 한다. 이로 인해, 이를 위해 필요한 저장 수단들이 첨부된 청구항들의 유효 범위를 벗어나는 경우에 명령들의 정보 기술적인 제공도 보호된다.
본 발명의 제 5 양상에 따라, 본 발명의 제 2 양상에 따른 사용자 인터페이스를 포함하는 이동 수단(예를 들어 승용차, 벤, 트럭, 모터사이클, 항공기 및/또는 선박)이 제안된다. 이 경우 사용자 인터페이스는 특히 이동 수단의 운전자를 위해 제공될 수 있고, 상기 인터페이스를 이용해서 운전자는 이동 수단의 운전 중에 이동 수단 및 그것의 기술 장치들과 통신할 수 있다. 코-드라이버(co-driver), 동승자, 부조종사 또는 이와 같은 경우에 대해 상응하게 적용된다. 특징들, 특징 조합들 및 이로 인해 주어지는 장점들은 제 1 및 제 2의 본 발명의 양상과 관련해서 설명된 방식에 명백하게 상응하므로, 반복을 피하기 위해 전술한 설명이 참조된다.
계속해서 본 발명의 실시예들은 첨부된 도면을 참고로 상세히 설명된다.
도 1은 본 발명의 제 1 실시예에 따른 사용자 인터페이스를 포함하는 이동 수단의 운전자 작동 공간을 개략적으로 도시한 도면.
도 2는 다수의 표면점들이 표시된 사용자의 손을 도시한 도면.
도 3은 반경을 고려함으로써 위치 확인된 손가락 및 엄지손가락이 강조된 사용자의 손을 도시한 도면.
도 4는 왼쪽 손등을 도시한 도면.
도 5는 왼쪽 손바닥을 도시한 도면.
도 6은 오른쪽 손등을 도시한 도면.
도 7은 오른쪽 손바닥을 도시한 도면.
도 8은 본 발명에 따른 방법의 실시예의 단계들을 설명하는 흐름도.
도 1은 이동 수단(10)의 운전자 작동 공간을 도시하고, 상기 이동 수단의 계기판에 본 발명에 따른 사용자 인터페이스의 디스플레이 장치로서 스크린이 제공된다. 스크린(5)의 아래에 사용자의 손(1)에 의해 공간에서 자유롭게 구현되는 제스처(3D-제스처)의 검출을 위한 적외선 LED-바(2)가 제공된다. 스크린(5) 및 적외선 LED-바(2)는 정보 기술적으로 평가 유닛으로서 전자 제어부(3)에 연결되고, 상기 평가 유닛은 데이터 메모리(4)에 정보 기술적으로 연결된다. 데이터 메모리(4)에 본 발명에 따른 방법의 단계들을 실시하기 위한 명령들이 저장된다.
도 2는 사용자의 오른손(1)을 도시하고, 상기 손의 손바닥(8)은 관찰자(viewer)를 향한다. 다수의 표면점(7)은 실질적으로 손(1)의 가상의 중심점(6)을 중심으로 하는 원 형태로 배치된다. 중심점(6)은 청구항에 따른 다수의 표면점의 일부이다. 본 발명에 따라 관찰자가 볼 때 손바닥의 오목한 표면은 손(1)의 방향에 대한 특성이다. 다수의 표면점(7)은 평균적으로 중심점(6)보다 관찰자에 더 가깝게 위치하기 때문에, 손바닥(8)이 관찰자를 향한다는 사실이 본 발명에 따라 센서 기술적으로 및 컴퓨팅 기술적으로도 간단하게 표면점들(6, 7)의 상대 위치의 평가에 의해 파악될 수 있다. 예를 들어 중심점(6)에 대해서 서로 마주 놓인 2개의 표면점들(7)은, 상기 표면점들 사이의 가상의 직선이 중심점(6) 앞에 또는 뒤에 위치하는지 여부에 관하여 조사될 수 있다. 중심점(6)이 관찰자의 방향으로, 즉 가상의 직선 앞에 위치하면, 손바닥(8)은 관찰자와는 반대쪽으로 향해 있고, 본 발명에 따른 장치는 손의 손바닥을 검출한다. 그러나 - 도시된 바와 같이 - 손바닥(8)이 관찰자를 향하면, 중앙 표면점(6)은 상기 표면점들(7)의 가상의 라인 뒤에 배치된다. 대안으로서 또는 추가로 표면점들(7) 또는 전체 표면점들(6, 7)을 통과해서 위치하는 중앙 평면도, 중앙 표면점(6)이 평면 앞에 또는 뒤에 위치하는 여부에 관하여 조사될 수 있다. 손바닥(8)의 방향과 관련한 평가가 상응하는 방식으로 이루어질 수 있다.
도 3은 사용자의 오른손(1)의 손가락 끝과 엄지손가락 끝을 시각적으로 강조한다. 이러한 영역들은 볼록한 가장자리 라인 및 특히 큰 곡률(작은 반경)을 갖는 섹션에 의해 특징된다. 손가락-/엄지손가락 끝의 서로에 대한 상대 위치는 엄지손가락의 노출된 위치를 나타낸다. 도 2와 관련해서 설명된 관찰자를 향한 손바닥(8)의 방향에 관한 정보에 따라, 오른손(일반적으로 자동차 용례에서 운전자에게 할당된 오른손)인 것이 결정될 수 있다.
도 4는 사용자의 왼손(1)을 도시하고, 상기 손의 손등(9)은 관찰자를 향한다. 관찰자가 볼 때 볼록한 방향 설정 라인(11, 12)은 손등(9)의 표면의 경로를 나타낸다. 본 발명에 따라 손(1)의 방향 설정을 결정하기 위해, 도시된 표면 경로는 센서에 의해 또는 데이터 기술적으로 검출되어 평가될 수 있다.
도 5는 사용자의 왼손(1)을 도시하고, 상기 손의 손바닥(8)은 관찰자를 향한다. 관찰자가 볼 때 오목한 방향 설정 라인(13, 14)은 손바닥(8)의 표면의 경로를 나타낸다. 본 발명에 따라 손(1)의 방향 설정을 결정하기 위해, 도시된 표면 경로는 센서에 의해 또는 데이터 기술적으로 검출되어 평가될 수 있다.
도 6은 사용자의 오른손(1)을 도시하고, 상기 손의 손등(9)은 관찰자를 향한다. 관찰자가 볼 때 볼록한 방향 설정 라인(11, 12)은 손등(9)의 표면 경로를 나타낸다. 본 발명에 따라 손(1)의 방향 설정을 결정하기 위해, 도시된 표면 경로는 센서에 의해 또는 데이터 기술적으로 검출되어 평가될 수 있다.
도 7은 사용자의 오른손(1)을 도시하고, 상기 손의 손바닥(8)은 관찰자를 향한다. 관찰자가 볼 때 오목한 방향 설정 라인(13, 14)은 손바닥(8)의 표면의 경로를 나타낸다. 본 발명에 따라 손(1)의 방향 설정을 결정하기 위해, 도시된 표면 경로는 센서에 의해 또는 데이터 기술적으로 검출되어 평가될 수 있다.
도 8은 사용자의 손을 검출하기 위한 본 발명에 따른 방법의 실시예의 단계들을 도시한다. 단계 100에서 사용자의 손이 센서를 이용해서 검출된다. 센서는 예를 들어 스테레오 카메라, 적외선 센서 또는 ToF-카메라를 포함할 수 있다. 센서는 사용자 인터페이스에 제공될 수 있다. 사용자 인터페이스는 모바일 사용자 단말기(예를 들어 무선 통신 기기) 또는 이동 수단을 위해 제공될 수 있다. 단계 200에서 손의 다수의 표면점이 센서 신호에서 식별된다(결정된다). 표면점들은 손 전체 또는 손바닥에 포함될 수 있다. 단계 300에서, 표면점들이 실질적으로 센서에 대해서 오목한 면에 위치하면, 센서를 향한 손바닥이 인식된다. 손바닥(또는 손등)의 방향 설정이 최신 사용자 인터페이스에 제공되고, 상기 사용자 인터페이스들은 3차원 제스처 조작 및/또는 접촉 입력, 어떤 손(오른쪽 또는 왼쪽)에 의해 현재 조작이 실행되는지에 관한 추가 지표를 지원한다. 왼손(예를 들어 동승자)에 대해 오른손(예를 들어 운전자)에 대한 것과 다르게 반응해야 하는 사용자 인터페이스의 경우에 본 발명은 따라서 사용자에게 제공되는 기능들의 특히 안전한 활성화를 가능하게 한다.
본 발명에 따른 양상들 및 바람직한 실시예들이 첨부된 도면과 관련해서 설명된 실시예를 참고로 상세히 기술되어 있더라도, 당업자는 첨부된 청구항들에 의해 규정된 본 발명의 범위를 벗어나지 않으면서 도시된 실시예들의 특징들을 변경 또는 조합할 수 있다.
1 손
2 센서
3 평가 유닛
4 데이터 메모리
5 스크린
6 표면점(손중앙)
7 표면점(손바닥의 가장자리 영역)
8 손바닥
9 손등
10 승용차
11, 12 볼록한 방향 설정 라인
13, 14 오목한 방향 설정 라인
100-300 방법 단계들

Claims (13)

  1. 사용자의 손(1)을 인식하기 위한 방법으로서,
    - 센서(2)를 이용해서 사용자의 손(1)을 검출하는 단계(100),
    - 센서 신호에서 손(1)의 다수의 표면점(6, 7)을 결정하는 단계(200), 및
    - 상기 표면점들(6, 7)이 실질적으로 상기 센서(2)에 대해서 오목한 면에 위치하는 것으로 결정되면, 상기 센서(2)를 향한 손바닥(8)을 인식하는 것, 및 상기 표면점들(6, 7)이 실질적으로 상기 센서(2)에 대해서 볼록한 면에 위치하는 것으로 결정되면, 상기 센서(2)를 향한 손등(9)을 인식하는 것 중 어느 하나 또는 둘 모두를 행하는 단계(300)
    를 포함하는 방법.
  2. 제 1 항에 있어서, 추가로
    - 상기 다수의 표면점(6, 7)이 손의 면(8, 9)에 위치하는 것을 인식하는 단계를 포함하는 방법.
  3. 제 1 항 또는 제 2 항에 있어서, 추가로
    - 사용자의 손(1)의 엄지손가락의 위치를 결정하는 단계 및 이에 응답해서
    - 왼손 또는 오른손인지 여부를 인식하는 단계를 포함하는 방법.
  4. 제 3 항에 있어서, 엄지손가락의 위치는 손(1)을 한정하는 표면점들의 형태의 반경 및 크기 중 어느 하나 또는 둘 모두를 고려함으로써 인식되는 방법.
  5. 제 1 항 또는 제 2 항에 있어서, 추가로
    - 상기 다수의 표면점들(6, 7) 중 상기 손의 면(8, 9)의 중앙의 영역에 위치한 복수의 표면점(7)을 결정하는 단계,
    - 상기 다수의 표면점들(6, 7) 중 상기 손의 면(8, 9)의 가장자리 영역에 위치한 적어도 2개의 표면점(6)을 결정하는 단계 및,
    - 위치를 참고로 3개의 표면점들을 통과해서 연장되는 곡선의 곡률을 결정하는 단계를 포함하는 방법.
  6. 제 1 항 또는 제 2 항에 있어서, 추가로
    - 오목한 또는 볼록한 면의 결정을 위한 기준으로서 손(1)의 상기 다수의 표면점(6, 7)을 통과해서 위치한 보정 평면을 결정하는 단계를 포함하는 방법.
  7. 제 1 항 또는 제 2 항에 있어서, 상기 센서(2)는
    - 스테레오 카메라,
    - 적외선 카메라, 및
    - ToF-카메라
    중 하나 이상을 포함하는 방법.
  8. 제 1 항 또는 제 2 항에 있어서, 결정된 전체 표면점들(6, 7)은 사용자의 손(1)에 할당되는 방법.
  9. 사용자 인터페이스로서,
    - 센서(2) 및
    - 평가 유닛(3)을 포함하고,
    - 상기 센서(2)는, 사용자의 손(1)을 검출하도록 구성되고,
    - 상기 평가 유닛(3)은,
    - 센서 신호에서 손(1)의 다수의 표면점(6, 7)을 결정하도록 구성되고, 또한
    - 상기 표면점들(6, 7)이 실질적으로 서로 오목하게 위치하는 것으로 결정되면, 상기 센서(2)를 향한 손바닥(8)을 인식하는 것, 및 상기 표면점들(6, 7)이 실질적으로 서로 볼록하게 위치하는 것으로 결정되면, 상기 센서(2)를 향한 손등(9)을 인식하는 것 중 어느 하나 또는 둘 모두를 행하도록 구성되는 것인 사용자 인터페이스.
  10. 제 9 항에 있어서, 상기 사용자 인터페이스는 추가로, 제 1 항에 따른 방법을 실시하도록 구성되는 사용자 인터페이스.
  11. 컴퓨터 프로그램 제품으로서, 제 9 항에 따른 사용자 인터페이스의 평가 유닛(3)에서 실행될 때, 상기 평가 유닛(3)으로 하여금 제 1 항에 따른 방법의 단계들을 실시하게 하는 명령들을 포함하는 컴퓨터 프로그램 제품.
  12. 신호 시퀀스로서, 제 9 항에 따른 사용자 인터페이스의 평가 유닛(3)에서 실행될 때, 상기 평가 유닛(3)으로 하여금 제 1 항에 따른 방법의 단계들을 실시하게 하는 명령들을 나타내는 신호 시퀀스.
  13. 제 9 항에 따른 사용자 인터페이스를 포함하는 이동 수단(10).
KR1020170047921A 2016-04-13 2017-04-13 사용자 인터페이스, 이동 수단 및 사용자의 손을 인식하기 위한 방법 KR101892390B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016206142.9 2016-04-13
DE102016206142.9A DE102016206142A1 (de) 2016-04-13 2016-04-13 Anwenderschnittstelle, Fortbewegungsmittel und Verfahren zur Erkennung einer Hand eines Anwenders

Publications (2)

Publication Number Publication Date
KR20170117342A true KR20170117342A (ko) 2017-10-23
KR101892390B1 KR101892390B1 (ko) 2018-08-27

Family

ID=58489206

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170047921A KR101892390B1 (ko) 2016-04-13 2017-04-13 사용자 인터페이스, 이동 수단 및 사용자의 손을 인식하기 위한 방법

Country Status (5)

Country Link
US (1) US10261593B2 (ko)
EP (1) EP3232372B1 (ko)
KR (1) KR101892390B1 (ko)
CN (1) CN107291219B (ko)
DE (1) DE102016206142A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2568508B (en) * 2017-11-17 2020-03-25 Jaguar Land Rover Ltd Vehicle controller
US20200192485A1 (en) * 2018-12-12 2020-06-18 Lenovo (Singapore) Pte. Ltd. Gaze-based gesture recognition
KR20210034843A (ko) * 2019-09-23 2021-03-31 삼성전자주식회사 차량의 제어 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014128749A1 (ja) * 2013-02-19 2014-08-28 株式会社ブリリアントサービス 形状認識装置、形状認識プログラム、および形状認識方法
KR20140123900A (ko) * 2013-04-15 2014-10-23 오므론 가부시키가이샤 제스처 인식 장치, 제스처 인식 방법, 전자 기기, 제어 프로그램 및 기록 매체

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19516662A1 (de) * 1995-05-05 1996-11-14 Fraunhofer Ges Forschung Identifizierung dreidimensionaler Objekte, insbesondere Personen
DE10100615A1 (de) * 2001-01-09 2002-07-18 Siemens Ag Handerkennung mit Positionsbestimmung
GB2483168B (en) * 2009-10-13 2013-06-12 Pointgrab Ltd Computer vision gesture based control of a device
US8971588B2 (en) * 2011-03-30 2015-03-03 General Electric Company Apparatus and method for contactless high resolution handprint capture
TW201314621A (zh) * 2011-09-21 2013-04-01 Univ Nat Cheng Kung 電子人模之特徵資料結構
CN102650906B (zh) * 2012-04-06 2015-11-04 深圳创维数字技术有限公司 一种用户界面的控制方法及装置
JP6030430B2 (ja) * 2012-12-14 2016-11-24 クラリオン株式会社 制御装置、車両及び携帯端末
US20140191927A1 (en) * 2013-01-09 2014-07-10 Lg Electronics Inc. Head mount display device providing eye gaze calibration and control method thereof
DE102013010932B4 (de) 2013-06-29 2015-02-12 Audi Ag Verfahren zum Betreiben einer Bedienschnittstelle, Bedienschnittstelle sowie Kraftfahrzeug mit einer Bedienschnittstelle
US9430045B2 (en) * 2013-07-17 2016-08-30 Lenovo (Singapore) Pte. Ltd. Special gestures for camera control and image processing operations
DE102014004675A1 (de) 2014-03-31 2015-10-01 Audi Ag Gestenbewertungssystem, Verfahren zur Gestenbewertung und Fahrzeug
DE102014224898A1 (de) 2014-12-04 2016-06-09 Robert Bosch Gmbh Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung
US10452206B2 (en) * 2014-12-08 2019-10-22 Maxell, Ltd. Projection video display device and video display method
CN104899600B (zh) * 2015-05-28 2018-07-17 北京工业大学 一种基于深度图的手部特征点检测方法
CN107589850A (zh) * 2017-09-26 2018-01-16 深圳睛灵科技有限公司 一种手势移动方向的识别方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014128749A1 (ja) * 2013-02-19 2014-08-28 株式会社ブリリアントサービス 形状認識装置、形状認識プログラム、および形状認識方法
KR20140123900A (ko) * 2013-04-15 2014-10-23 오므론 가부시키가이샤 제스처 인식 장치, 제스처 인식 방법, 전자 기기, 제어 프로그램 및 기록 매체

Also Published As

Publication number Publication date
CN107291219A (zh) 2017-10-24
US20170300120A1 (en) 2017-10-19
CN107291219B (zh) 2020-06-26
DE102016206142A1 (de) 2017-10-19
EP3232372B1 (de) 2021-06-09
EP3232372A1 (de) 2017-10-18
KR101892390B1 (ko) 2018-08-27
US10261593B2 (en) 2019-04-16

Similar Documents

Publication Publication Date Title
US11797132B2 (en) Method and device for detecting a touch between a first object and a second object
CN103870802B (zh) 使用指谷操作车辆内的用户界面的系统和方法
US10025388B2 (en) Touchless human machine interface
KR102084032B1 (ko) 사용자 인터페이스, 운송 수단 및 사용자 구별을 위한 방법
US8933882B2 (en) User centric interface for interaction with visual display that recognizes user intentions
JP6030430B2 (ja) 制御装置、車両及び携帯端末
JP5261554B2 (ja) 指先ポインティング、ジェスチャに基づく車両用ヒューマンマシンインタフェース
KR101503108B1 (ko) 사용자가 디스플레이 객체의 표시에 영향을 미칠 수 있는 자동차의 디스플레이 및 조작 시스템과 그 디스플레이 및 조작 시스템을 작동하는 방법
US20110260965A1 (en) Apparatus and method of user interface for manipulating multimedia contents in vehicle
JP2016520946A (ja) 人間対コンピュータの自然な３次元ハンドジェスチャベースのナビゲーション方法
KR101892390B1 (ko) 사용자 인터페이스, 이동 수단 및 사용자의 손을 인식하기 위한 방법
JP2010184600A (ja) 車載用ジェスチャースイッチ装置
US9916043B2 (en) Information processing apparatus for recognizing user operation based on an image
WO2013008236A1 (en) System and method for computer vision based hand gesture identification
JP2017211884A (ja) 動き検出システム
WO2022226736A1 (zh) 一种多屏交互的方法、装置、终端设备和车辆
WO2018061603A1 (ja) ジェスチャ操作システム、ジェスチャ操作方法およびプログラム
WO2014073403A1 (ja) 入力装置
CN105759955B (zh) 输入装置
JP6167932B2 (ja) 入力装置および入力取得方法
US11262849B2 (en) User interface, a means of transportation and a method for classifying a user gesture performed freely in space
US20200218347A1 (en) Control system, vehicle and method for controlling multiple facilities
JP2021005873A (ja) ３次元空間において音像を定位し、制御するための方法及びシステム
JP6922686B2 (ja) 操作装置
US20230249552A1 (en) Control apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant