KR102084032B1 - 사용자 인터페이스, 운송 수단 및 사용자 구별을 위한 방법 - Google Patents

사용자 인터페이스, 운송 수단 및 사용자 구별을 위한 방법 Download PDF

Info

Publication number
KR102084032B1
KR102084032B1 KR1020180013393A KR20180013393A KR102084032B1 KR 102084032 B1 KR102084032 B1 KR 102084032B1 KR 1020180013393 A KR1020180013393 A KR 1020180013393A KR 20180013393 A KR20180013393 A KR 20180013393A KR 102084032 B1 KR102084032 B1 KR 102084032B1
Authority
KR
South Korea
Prior art keywords
user
touch
hand
hmi
sensitive
Prior art date
Application number
KR1020180013393A
Other languages
English (en)
Other versions
KR20180091732A (ko
Inventor
볼프강 타이머
세바스티안 게흐링
라파엘 라인홀트
Original Assignee
폭스바겐 악티엔 게젤샤프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 폭스바겐 악티엔 게젤샤프트 filed Critical 폭스바겐 악티엔 게젤샤프트
Publication of KR20180091732A publication Critical patent/KR20180091732A/ko
Application granted granted Critical
Publication of KR102084032B1 publication Critical patent/KR102084032B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/10—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • B60K2350/1004—
    • B60K2350/1028—
    • B60K2350/1052—
    • B60K2360/141—
    • B60K2360/1438—
    • B60K2360/1468—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas

Abstract

사용자 인터페이스, 컴퓨터 프로그램 제품, 신호 시퀀스 및 운송 수단과 터치 감응형 HMI-표면(9)에 대해 사용자 구별을 위한 방법이 제안된다. 상기 방법은
- 센서(11)를 이용해서 사용자(1, 2)의 손(3) 또는 손(3)과 함께 팔(4)을 검출하는 단계(100),
- 센서 신호로부터 사용자(1, 2)의 손(3) 또는 손(3)과 함께 팔(4)의 중심(5)을 결정하는 단계(200),
- 터치 감응형 HMI-표면(9)과 접촉 시 손(3)의 터치점(7)을 검출하는 단계(300),
- 상기 터치점(7)에 대한 상기 중심(5)의 오프셋(14)을 결정하는 단계(400) 및, 이에 응답해서
- HMI-표면을 조작하는 사용자(1, 2)를 구별하는 단계(500)를 포함한다.

Description

사용자 인터페이스, 운송 수단 및 사용자 구별을 위한 방법{USER INTERFACE, MEANS OF TRANSPORT AND METHOD FOR DISTINGUISHING A USER}
본 발명은 컴퓨터프로그램 제품, 신호 시퀀스, 운송 수단, 사용자 인터페이스 및 사용자 구별을 위한 방법에 관한 것이다. 특히 본 발명은 사용자 위치 또는 사용자의 착석 위치의 식별에 관한 것이다.
운전자 작업 공간에서, 운전자에 의한 조작과 조수석 동승자에 의한 조작을 구별할 수 있는 것이 중요하다. 운전 작업의 실행 중에 예를 들어 운전자에 의한 조작은 금지되어야 하거나 제한된 범위에서만 허용되어야 하는 한편, 조수석 동승자는 그에게 지정된 기능 범위를 제한되지 않은 범위 내에서 액세스/조작할 수 있다. 일반적으로 사용되는 센서들은 큰 검출 영역을 갖지 않고, 따라서 손이 운전석의 방향에서 접근하는지 또는 조수석 동승자석의 방향에서 접근하는지 구별할 수 없다. 이러한 사실로 인해 운전자의 손과 조수석 동승자의 손의 구별은, 손이 이미 중앙 콘솔 가까이 위치할 때에야 가능하다.
또한, 운전자의 오른손의 식별에 응답해서 운전자를 위한 운송 수단 내의 조작 기능에 영향을 미치게 할 수 있는 한편, 조수석 동승자의 왼손의 식별에 응답해서 조수석 동승자측을 위한 해당하는 조절들이 이루어질 수 있다.
DE 10 2007 034 272 A1호는 상이한 시야각 범위에서 주시를 위해 동시에 적어도 2개의 상이한 표시들을 디스플레이할 수 있는 멀티 뷰 디스플레이 장치, 사용자 입력을 검출하기 위한 조작 장치, 조작 장치에 작동 부재의 접근을 검출하여 시야각 범위들 중 하나에 작동 부재를 할당하여, 조작 장치에 의해 검출된 작동 부재의 작동 행위가 또한 적어도 2개의 상이한 시야각 범위 중 하나에 지정될 수 있는 검출 유닛을 포함하는 자동차용 디스플레이- 및 조작 시스템을 기술한다.
DE 10 2007 004 923 A1호는 자동차의 디스플레이- 및 조작 장치를 기술한다. 디스플레이- 및 조작 장치는 디스플레이 영역을 가진 디스플레이 장치를 포함한다. 디스플레이 장치는 바람직하게 터치스크린으로서 형성된다. 디스플레이 영역에 정보들의 그래픽 표시는 제어유닛에 의해 제어되고, 상기 제어유닛은 메모리 장치에 연결된다. 제어유닛에 의해 사용자 인터페이스의 구성을 가능하게 하는 데이터가 메모리 장치에 저장된다.
DE 10 2012 206 247 A1호는 차량의 디스플레이 장치에 차량의 조작 소자의 조작자의 손을 디스플레이하기 위한 방법을 기술하고, 이 경우 조작자의 손과 조작 소자의 조작 영역의 접촉이 검출되고, 터치점의 위치가 결정되며, 조작자가 식별되고, 손의 방향이 결정되며, 상응하게 방향 설정된 가상의 손의 이미지는, 손가락 끝이 터치점의 위치에 해당하도록 디스플레이 장치에 디스플레이된다.
본 발명의 과제는 제스처 입력을 실행하는 사용자를 식별하기 위해, 운전자와 조수석 동승자 사이의 제스처 입력의 효과적인 구별을 제공하는 것이다.
상기 과제는 터치 감응형 HMI-표면에 대해 사용자 구별을 위한 방법에 의해 해결된다.
제1 단계에 따라 사용자의 손 또는 손과 함께 팔이 센서를 이용해서 검출된다. 이는 공간에서 자유롭게 구현되는 3차원 제스처의 실행 중에 이루어질 수 있다. 센서 신호로부터 사용자의 손 또는 손과 함께 팔의 중심이 결정된다. 후속해서 터치 감응형 HMI-표면과 접촉 시 손의 터치점의 검출이 이루어진다. 터치점에 대한 중심의 오프셋의 결정 및 이에 응답해서 HMI-표면을 조작하는 사용자들의 구별이 이루어진다. 다시 말해서 사용자들의 구별 시 HMI-표면을 조작하는 사용자들의 (착석-) 위치의 식별이 이루어진다.
이로 인해 사용자 인터페이스는, HMI-표면을 조작하는 사용자가 제1 사용자(예를 들어 운전자)인지 또는 제2 사용자(예를 들어 조수석 동승자)인지를 구별할 수 있다. 따라서 HMI-표면에 대해 사용자의 위치, 즉 운전자인지 조수석 동승자인지 확실하게 결정될 수 있다. 위치는 사용자(또한 조수석 동승자)의 사용자 위치(착석 위치)일 수도 있다.
본 발명의 바람직한 개선예들은 종속 청구항들에 제시된다.
사용자의 손을 검출하기 위한 센서는 예를 들어 중앙 콘솔, 계기판 또는 루프 라이너에 제공될 수 있다. 물론 전술한 위치들 중 적어도 하나의 위치에서 조합된 사용을 위해 전술한 위치들 또는 다수의 센서의 조합도 가능하다. 검출 센서(예를 들어 ToF-카메라)의 위치로서 인체 공학적 이유로 특히 하향 주시 카메라를 포함하는 루프 라이너 상의 또는 내부 미러 상의 위치 또는 상향 주시 카메라를 포함하는 중앙 콘솔 내 장착이 바람직할 수 있는데, 그 이유는 손을 실제로 수직으로보다 실제로 수평으로 드는 것이 더 인체 공학적이기 때문이다.
입력 부재 전방의 자유 공간에서 손 제스처의 식별은 2개의 단계로 이루어진다: 먼저, 손 또는 손과 함께 팔의 위치가 식별되어 이동 경로가 추적된다. 그리고 나서 상기 이동 경로의 및 식별된 제스처로서 추후에 입력에 이용되는 로버스트 패턴(robust pattern)으로 상기 경로의 전환의 지능형 분석이 이루어진다.
손의 중심은 항상 팔을 향해 이동된다. 이러한 사실로부터 좌측 또는 우측으로부터 터치 감응형 HMI-표면의 조작 시 운전자 및 조수석 동승자에 대해 구별되는 고유의 터치점에 대한 오프셋이 항상 발생한다. 터치 감응 표면 전방의 이동 경로의 모니터링과 관련해서 운전자 또는 조수석 동승자의 조작 사이의 구별이 확실하게 이루어질 수 있다.
제스처 센서는 이 경우, 손 제스처에 의한 명확한 입력을 실행하기 위해 이용되는 것이 아니라, 2D-입력의 지점과 입력 영역에 손의 3-D 중심의 투영을 비교함으로써 운전자- 및/또는 조수석 동승자 식별을 달성하기 위해 이용된다. 팔의 궤적의 평가는 터치 감응형 HMI-표면에 3-D 중심 위치의 투영의 2-D-터치 좌표의 직접적인 비교와 달리 운전자와 조수석 동승자 사이의 결정을 더 효과적으로 만든다. 이 경우 제스처 센서는 연속해서 운전자와 조수석 동승자의 손동작들을 평가하여 HMI-표면에 입력의 실행 시 입력자를 분류한다.
바람직하게는 터치 감응형 HMI-표면(터치 감응형 HMI-표면 또는 터치스크린)은 다기능 HMI-표면으로서 형성된다. 바람직하게 터치 감응형 HMI-표면은 스크린의 부분이다. 터치점의 검출은 터치 감응형 HMI-표면과 손의 부분의 직접 접촉 시 이루어진다.
바람직하게 오프셋의 결정 시, 중심이 접촉점을 통해 연장되며 HMI-표면에 수직인 라인 또는 축에 대해 좌측 또는 우측에 위치하는지가 확인된다. 이로써 오프셋은 간단하게 결정될 수 있다. 바람직하게 오프셋은 터치 감응형 HMI-표면상의 접촉점과 중심 사이의 수평 간격에 해당한다. 이 경우 터치 감응형 HMI-표면상의 가상의 횡좌표에 오프셋이 위치한다. 터치 감응형 HMI-표면 또는 스크린은 차량 내에 - 바람직하게 Y 방향으로 - , 즉 차량의 주행 방향에 대해 가로방향으로 배치된다.
바람직하게 사용자들의 구별 시, 손의 어떤 손가락이 터치 감응형 HMI-표면과 접촉하는지 확인된다. 손가락은 특히 터치 감응형 HMI-표면과 접촉을 형성하는 손가락 끝 또는 손가락 끝 부분일 수 있다. 중심이 HMI-표면 위의 접촉점 좌측에 위치하면, 터치 감응형 HMI-표면은 핸들이 왼쪽에 있는 나라에서는 운전자의 손가락으로 조작된다. 중심이 HMI-표면 위의 접촉점 우측에 위치하면, 터치 감응형 HMI-표면은 이러한 나라에서 조수석 동승자의 손가락으로 조작된다. 대안으로서 손가락은 터치 감응형 HMI-표면과 접촉을 형성하는 엄지손가락 끝 부분 또는 엄지손가락 끝일 수 있다.
바람직하게 사용자들의 구별 시, 터치 감응형 HMI-표면의 조작을 위해 손이 어느 쪽에서 다가오는지 확인된다. 이로 인해 사용자는 간단하게 위치 파악될 수 있다.
바람직하게 사용자들을 위한 공통의 조작 소자들은 터치 감응형 HMI-표면에 의해 사용자 특정적으로 활성화된다. 이로 인해 운전자 입력 또는 조수석 동승자 입력에 상이하게 반응하는 조작이 제공된다. 대안으로서 사용자들을 위한 다양한 조작 소자들은 스플릿 뷰(split view)-스크린으로서 터치 감응형 HMI-표면에 의해 사용자들에 따라 별도로 활성화된다. 이로 인해 다양한 스크린 출력각이 운전자 입력 또는 조수석 동승자 입력에 지정될 수 있다. 차량의 운전자의 주의를 불필요하게 교통으로부터 분산시키지 않기 위해 그리고 도로 교통에서 안전성을 보장하기 위해, 이러한 사용자를 위한 기능들은 배제될 수 있다.
바람직하게 사용자들의 구별에 응답해서 통신 또는 음성 인식을 위해 사용자를 향해 마이크로폰의 정렬이 가능해진다. 이 경우, 제스처 센서가 HMI-표면에 손의 접근 또는 손의 터치를 개인에게 지정하는 경우에, 음향 카메라, 마이크로폰 어레이(microphone array) 또는 빔형성을 이용한 음향 안테나가 의도대로 운전자- 또는 조수석 동승자의 입의 위치로 정렬될 수 있다. 예를 들어 운전자는 텍스트를 받아쓰도록 하기 위해, 음성 인식을 위한 기능을 활성화한다. 조수석 동승자 또는 차량 내 다른 승객이 말을 하더라도, 음성 인식 시스템은 운전자의 구술만을 청취할 것이다.
바람직하게 센서는 예를 들어 스테레오 카메라, 적외선 센서 및/또는 ToF-카메라("Time-of-Flight(ToF)"-camera)를 포함할 수 있다. 전술한 센서들을 이용해서 관련 표면점들의 거리의 평가가 실행될 수 있고, 상기 평가에 의해 센서를 향한 손 표면의 방향 설정이 특징될 수 있다. 바람직하게 3D-필드 기술이 3D-중심의 결정을 위해 이용되거나, 레이더 센서의 이용이 이루어진다.
본 발명의 제2 양태에 따라, 예를 들어 운송 수단을 위해 제공될 수 있는 사용자 인터페이스가 제안된다. 대안으로서 또는 추가로 사용자 인터페이스는, 무선 통신 기기 또는 모바일 사용자 단말기(예를 들어 태블릿, 스마트폰 등)에서 사용되도록 구성된다. 사용자 인터페이스는 예를 들어 카메라, 적외선 센서, ToF-카메라 등으로서 형성될 수 있는 센서를 포함한다. 카메라는 예를 들어 화상 통화, 사진 촬영 등의 애플리케이션을 위해서도 사용될 수 있다. 평가 유닛(예를 들어 프로그래밍 가능한 프로세서, 전자 제어부 등)은 또한 본 발명과 별도의 작업 패키지 및 산술 연산에도 이용될 수 있다.
센서는, 사용자의 손 또는 손과 함께 팔을 센서에 의해 검출하여 센서 신호의 사용자의 손이 사용자의 손 또는 손과 함께 팔의 중심을 결정하도록 구성된다. 평가 유닛은, 터치 감응형 HMI-표면과 접촉 시 손의 터치점을 검출하도록, 터치점에 대한 중심의 오프셋을 결정하도록 및 이에 응답해서 사용자의 위치를 식별하도록 구성된다.
이러한 방식으로 본 발명에 따른 사용자 인터페이스는, 본 발명에 따른 방법의 특징들, 특징 조합들 및 그로부터 주어지는 장점들을 명백하게, 상응하는 방식으로 구현하도록 구성되므로, 반복을 피하기 위해 전술한 내용들이 참조된다.
본 발명의 제3 양태에 따라, 프로그래밍 가능한 프로세서로 하여금 본 발명의 제1 양태에 따른 방법의 단계들을 실시할 수 있게 하는 명령들이 저장된 컴퓨터 프로그램 제품(예를 들어 데이터 메모리)이 제안된다. 컴퓨터 프로그램 제품은 예를 들어 CD, DVD, 블루레이 디스크, 플래시 메모리, 하드디스크, RAM/ROM-캐시 등의 사용 하에 구성될 수 있다.
본 발명의 제4 양태에 따라 프로그래밍 가능한 프로세서로 하여금 본 발명의 제1 양태에 따른 방법의 단계들을 실시할 수 있게 하는 명령들을 재현하는 신호 시퀀스가 제안된다. 이로 인해 명령의 정보 기술적인 제공도 이를 위해 필요한 저장 수단이 첨부된 청구항들의 범위에 포함되지 않는 경우에 보호된다.
본 발명의 제5 양태에 따라, 본 발명의 제2 양태에 따른 사용자 인터페이스를 포함하는 운송 수단(예를 들어 승용차, 대형 화물차, 트럭, 모터바이크, 항공기 및/또는 선박)이 제안된다. 이 경우 특히 운송 수단의 운전자를 위한 사용자 인터페이스가 제공될 수 있고, 상기 인터페이스를 이용해서 운전자는 운송 수단의 운전 중에 운송 수단 및 상기 운송 수단의 기술 장치들과 통신할 수 있다. 부 운전자, 조수석 동승자, 부 조종사 등의 경우에도 마찬가지이다. 특징들, 특징 조합들 및 그로부터 주어지는 장점들은 명백하게, 본 발명의 제1 및 제2 양태와 관련해 설명된 특징들, 특징 조합들 및 장점들에 상응하므로, 반복을 피하기 위해 전술한 내용들이 참조된다.
본 발명은 하나의 운송 수단에 제한되지 않는다. 사용자 인터페이스는 공공의, 전문적인 또는 개인의 고정 환경에서 이용될 수 있다.
계속해서 본 발명의 실시예들은 첨부된 도면을 참고로 상세히 설명된다.
도 1은 본 발명의 제1 실시예에 따른 사용자 인터페이스를 포함하는 운송 수단의 조종석을 개략적으로 도시한 도면.
도 2는 도 1의 조종석을 개략적으로 도시한 다른 도면.
도 3은 운전자와 조수석 동승자를 위한 공통의 조작 소자를 도시한 도면.
도 4는 운전자와 조수석 동승자를 위한 스플릿 뷰-스크린을 도시한 도면.
도 5는 본 발명에 따른 방법의 실시예의 단계들을 설명하는 흐름도.
도 1은 운송 수단(10)의 조종석을 도시하고, 상기 조종석의 계기판에 스크린(8)이 제공되고, 상기 스크린은 본 발명에 따른 사용자 인터페이스의 디스플레이 장치로서 터치 감응형 HMI-표면(9)을 포함한다. 스크린(8) 둘레에 사용자(1, 2)의 손(3)을 이용해서 공간에서 자유롭게 구현되는 제스처("3D-제스처"라고도 함)의 검출을 위한 센서로서 적외선-LED-스트립(11)이 제공된다. 스크린(8)은 물론 적외선-LED-스트립(11)도 정보 기술적으로 평가 유닛으로서 전자 제어부(12)에 연결되고, 상기 전자 제어부는 데이터 메모리(13)에 정보 기술적으로 연결된다. 데이터 메모리(13)에 본 발명에 따른 방법의 단계들을 실시하기 위한 명령들이 저장된다.
적외선-LED-스트립(11)은, 사용자(1, 2)의 손(3) 또는 손(3)과 함께 팔(4)을 검출하도록 및 센서 신호로부터 사용자(1)의 손(3) 또는 손(3)과 함께 팔(4)의 중심(5)을 결정하도록 구성된다. 전자 제어부(12)는, 터치 감응형 HMI-표면(9)과 접촉 시 손(3)의 터치점(7)을 검출하도록 그리고 터치점(7)에 대한 중심(5)의 오프셋(14)을 결정하도록 및 이에 응답해서 사용자(1, 2)의 위치를 식별하도록 구성된다.
사용자(1)는 차량 운전자, 즉 차량(10)의 운전자(1)이다. 운전자(1)는 일반적으로 스크린(8)의 조작을 위해 그의 오른손(3)을 사용한다. 이 경우 손가락(6), 즉 집게손가락이 터치 감응형 HMI-표면(9)을 터치한다. 터치 감응형 HMI-표면(9)과 접촉하는 손(3)의 부분이 손(3)의 손가락(6)이라는 것은 전자 제어부(12)에 의해 식별된다.
오프셋(14)의 결정 시, 접촉점(7)을 통해 연장되며 HMI-표면(9)에 수직인 라인 또는 축(15)에 대해 좌측에 중심(5)이 위치하는 것이 확인된다. 이로 인해, 터치 감응형 HMI-표면(9)을 조작하는 운전자(1)의 손일 수밖에 없는 것이 식별된다.
도 2는 도 1의 조종석의 다른 개략도를 도시한다. 도 1과 달리 사용자(2)는 운전자(1) 옆에 위치한 차량 승객, 즉 차량(10)의 조수석 동승자(2)이다. 조수석 동승자(2)는 일반적으로 스크린(8)의 조작을 위해 그의 왼손(3)을 이용한다. 이 경우 손가락(6), 즉 왼손(3)의 집게손가락이 터치 감응형 표면(9)을 터치한다. 터치 감응형 HMI-표면(9)과 접촉하는 손(3)의 부분이 손(3)의 손가락(6)이라는 것이 전자 제어부(12)에 의해 식별된다.
오프셋(14)의 결정 시, 접촉점(7)을 통해 연장되며 HMI-표면(9)에 수직인 라인 또는 축(15)에 대해 우측에 중심(5)이 위치하는 것이 확인된다. 이로 인해, 터치 감응형 HMI-표면(9)을 조작하는 조수석 동승자(2)의 손일 수밖에 없는 것이 식별된다.
도 3은 운전자(1) 및 조수석 동승자(2)를 위한 공통의 조작 소자를 도시한다. 공통의 조작 소자는 터치 감응형 HMI-표면(9)에 의해 운전자(1) 및 조수석 동승자(2)에 따라 별도로 활성화된다.
운전자(1)의 오른손(4)의 식별에 응답해서 운전자를 위해 운송 수단의 난방-/에어컨디셔닝 장치의 제스처 기반의 기후 조작의 설정 온도 및 팬 속도에 영향을 미치게 할 수 있는 한편, (파선으로 도시된) 조수석 동승자(2)의 왼손(4)의 식별에 응답해서 조수석 동승자 측을 위한 상응하는 설정이 이루어질 수 있다. 전술한 적용예들은 개인 맞춤형 기능 범위들, 예를 들어 시트 위치, 조명 위치, 윈도우 리프터 및/또는 이와 같은 것에 적용될 수도 있다.
도 4는 운전자(1) 및 조수석 동승자(2)를 위한 스플릿 뷰-스크린을 도시한다. 이 경우 운전자(1) 및 조수석 동승자(2)를 위한 다양한 조작 소자들이 스플릿 뷰-스크린으로서 터치 감응형 HMI-표면(9)에 의해 사용자들(1, 2)에 따라 별도로 활성화된다.
운전자(1)의 손(4)의 식별에 응답해서 제1 조작 소자, 예를 들어 수신할 라디오 프로그램에 미치는 영향이 야기될 수 있는 한편, 동시에 조수석 동승자(2)의 손(4)의 식별에 응답해서 이미지, 동영상과 같은 멀티미디어 콘텐츠가 보여질 수 있다.
도 5는 사용자의 손을 식별하기 위한 본 발명에 따른 방법의 실시예의 단계들을 도시한다. 단계 100에서 사용자의 손 또는 손과 함께 팔이 센서를 이용해서 검출된다. 센서는 예를 들어 센서 카메라, 적외선 센서 또는 ToF-카메라를 포함할 수 있다. 센서는 사용자 인터페이스 내에 제공될 수 있다. 사용자 인터페이스는 모바일 사용자 단말기(예를 들어 무선 통신 기기) 또는 운송 수단을 위해 제공될 수 있다. 단계 200에서 사용자의 손 또는 손과 함께 팔의 중심이 센서 신호로부터 식별(결정)된다. 단계 300에서 터치 감응형 HMI-표면과 접촉 시 손의 손가락의 터치점이 검출된다. 단계 400에서 터치점에 대한 중심의 오프셋이 결정되고, 이에 응답해서 단계 500에서 사용자들의 구별, 즉 HMI-표면을 조작하는 사용자의 위치의 식별이 이루어진다.
왼쪽에서 다가오는 손(예를 들어 조수석 동승자)에 오른쪽에서 다가오는 손(예를 들어 운전자)에 대해서와 다르게 반응해야 하는 사용자 인터페이스를 위해 본 발명은 따라서 사용자에게 제공되는 기능들의 특히 확실한 활성화를 가능하게 한다. 또한, 사용자의 (착석) 위치를 파악하기 위해, 운전자 또는 조수석 동반자 사이의 제스처 입력의 효과적인 구별이 제공된다.
본 발명에 따른 양태 및 바람직한 구현 형태들이 첨부된 도면과 관련해서 설명된 실시예들을 참고로 상세히 설명되었더라도, 첨부된 청구항들에 의해 한정된 본 발명의 범위를 벗어나지 않으면서, 당업자에 의해 도시된 실시예들의 특징들의 변형 및 조합이 가능하다.
1 : 운전자 2 : 조수석 동승자
3 : 손 4 : 팔
5 : 중심 6 : 손가락
7 : 접촉점 8 : 디스플레이
9 : HMI-표면 10 : 승용차
11 : 센서 12 : 평가 유닛
13 : 데이터 메모리 14 : 오프셋
15 : 축 100-600 : 방법 단계

Claims (11)

  1. 터치 감응형 HMI-표면(9)에 대해 사용자 구별을 위한 방법으로서,
    상기 터치 감응형 HMI-표면(9)은 상기 터치 감응형 HMI-표면(9) 좌측의 제1 사용자(1)의 제1 조작 위치와 상기 터치 감응형 HMI-표면(9) 우측의 제2 사용자(2)의 제2 조작 위치 사이에 고정 배치되며, 상기 방법은,
    - 센서(11)를 이용해서 사용자(1, 2)의 손(3) 또는 손(3)과 함께 팔(4)을 검출하는 단계(100),
    - 센서 신호로부터 사용자(1, 2)의 손(3) 또는 손(3)과 함께 팔(4)의 중심(5)을 결정하는 단계(200),
    - 상기 터치 감응형 HMI-표면(9)과 접촉 시 손(3)의 터치점(7)을 검출하는 단계(300),
    - 상기 터치 감응형 HMI-표면(9)과 관련해서 상기 터치점(7)에 대한 상기 중심(5)의 수평 오프셋(14)을 결정하는 단계(400), 및 이에 응답해서,
    - 상기 수평 오프셋(14)을 참고로, HMI-표면을 조작하는 사용자들(1, 2)을 구별하는 단계(500)로서, 상기 중심(5)이 상기 터치점(7) 좌측에 위치하면, 상기 제1 사용자(1)가 식별되고, 상기 중심(5)이 상기 터치점(7) 우측에 위치하면, 상기 제2 사용자(2)가 식별되는 단계
    를 포함하고,
    사용자들(1, 2)을 위한 공통의 조작 소자들이 상기 터치 감응형 HMI-표면(9)에 의해 사용자 특정적으로 활성화되는 것인 방법.
  2. 제1항에 있어서, 상기 사용자들(1, 2)을 구별하는 단계(500)에서, 손(3)의 어떤 손가락이 상기 터치 감응형 HMI-표면(9)과 접촉하는지 확인되는 방법.
  3. 제1항 또는 제2항에 있어서, 상기 사용자들(1, 2)을 구별하는 단계(500)에서, 상기 터치 감응형 HMI-표면(9)의 조작을 위해 손(3)이 어느 쪽에서 다가오는지 확인되는 방법.
  4. 제1항 또는 제2항에 있어서, 사용자들(1, 2)을 위한 다양한 조작 소자들은 스플릿 뷰-스크린으로서 상기 터치 감응형 HMI-표면(9)에 의해 사용자들(1, 2)에 따라 별도로 활성화되는 방법.
  5. 제1항 또는 제2항에 있어서, 사용자들(1, 2)의 구별(500)에 응답해서 통신 또는 음성 인식(600)을 위해 사용자(1, 2)를 향해 마이크로 폰의 정렬이 가능해지는 방법.
  6. 사용자 인터페이스에 있어서,
    - 센서(11)로서,
    사용자(1, 2)의 손(3) 또는 손(3)과 함께 팔(4)을 검출하도록, 그리고
    센서 신호로부터 사용자(1, 2)의 손(3) 또는 손(3)과 함께 팔(4)의 중심(5)을 결정하도록 구성되는 센서; 및
    - 평가 유닛(12)으로서,
    터치 감응형 HMI-표면(9) 좌측의 제1 사용자(1)의 제1 조작 위치와 상기 터치 감응형 HMI-표면(9) 우측의 제2 사용자(2)의 제2 조작 위치 사이에 고정 배치된 터치 감응형 HMI-표면(9)과 접촉 시 손(3)의 터치점(7)을 검출하도록,
    상기 터치 감응형 HMI-표면(9)과 관련해서 상기 터치점(7)에 대한 상기 중심(5)의 수평 오프셋(14)을 결정하도록, 그리고 이에 응답해서
    상기 수평 오프셋(14)을 참고로, 상기 중심(5)이 상기 터치점(7) 좌측에 위치하면, 제1 사용자(1)가 식별되고, 상기 중심(5)이 상기 터치점(7) 우측에 위치하면, 제2 사용자(2)가 식별되는 방식으로, HMI-표면을 조작하는 사용자들(1, 2)을 구별하도록 구성되는 평가 유닛
    을 포함하고,
    사용자들(1, 2)을 위한 공통의 조작 소자들이 상기 터치 감응형 HMI-표면(9)에 의해 사용자 특정적으로 활성화되는 것인 사용자 인터페이스.
  7. 제6항에 있어서, 상기 사용자 인터페이스는 제2항에 따른 방법을 실시하도록 구성되는 것인 사용자 인터페이스.
  8. 컴퓨터 판독 가능한 기록 매체로서, 제6항에 따른 사용자 인터페이스의 평가 유닛(12)에서 실행될 때, 상기 평가 유닛(12)이 제1항에 따른 방법의 단계들을 실시하게 하는 명령들을 포함하는 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 기록 매체.
  9. 컴퓨터 판독 가능한 기록 매체로서, 제6항에 따른 사용자 인터페이스의 평가 유닛(12)에서 실행될 때, 상기 평가 유닛(12)이 제1항에 따른 방법의 단계들을 실시하게 하는 명령들을 재현하는 신호 시퀀스가 저장된 컴퓨터 판독 가능한 기록 매체.
  10. 제6항에 따른 사용자 인터페이스를 포함하는 운송 수단(10).
  11. 삭제
KR1020180013393A 2017-02-06 2018-02-02 사용자 인터페이스, 운송 수단 및 사용자 구별을 위한 방법 KR102084032B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017201799.6A DE102017201799A1 (de) 2017-02-06 2017-02-06 Anwenderschnittstelle, Fortbewegungsmittel und Verfahren zur Anwenderunterscheidung
DE102017201799.6 2017-02-06

Publications (2)

Publication Number Publication Date
KR20180091732A KR20180091732A (ko) 2018-08-16
KR102084032B1 true KR102084032B1 (ko) 2020-03-03

Family

ID=61131927

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180013393A KR102084032B1 (ko) 2017-02-06 2018-02-02 사용자 인터페이스, 운송 수단 및 사용자 구별을 위한 방법

Country Status (4)

Country Link
EP (1) EP3358454B1 (ko)
KR (1) KR102084032B1 (ko)
CN (1) CN108399044B (ko)
DE (1) DE102017201799A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018214502A1 (de) * 2018-08-28 2020-04-09 Zf Friedrichshafen Ag Steuerhebel zum Steuern eines Fahrzeugs
DE102018216555A1 (de) * 2018-09-27 2020-04-02 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung, Fortbewegungsmittel und Verfahren zum Betreiben eines Digitizers
CN109491585B (zh) * 2018-11-05 2020-11-13 广州小鹏汽车科技有限公司 一种车载中控设备的触摸控制方法及车载中控设备
KR20200080047A (ko) 2018-12-26 2020-07-06 삼성전자주식회사 진정 사용자의 손을 식별하는 방법 및 이를 위한 웨어러블 기기
DE102019215861A1 (de) * 2019-10-15 2021-04-15 Continental Automotive Gmbh Anzeigegerät zur Erfassung der Annäherung eines Körpers, wobei Infrarotelemente in einem Bildschirmrahmen angeordnet sind
CN111427471A (zh) * 2020-03-09 2020-07-17 上海科世达-华阳汽车电器有限公司 一种触摸侧识别装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007099191A (ja) * 2005-10-07 2007-04-19 Matsushita Electric Ind Co Ltd データ処理装置
JP2007292813A (ja) * 2006-04-20 2007-11-08 Matsushita Electric Ind Co Ltd 表示システム、表示装置、映像制御装置、制御装置および映像制御方法
JP2015141588A (ja) * 2014-01-29 2015-08-03 本田技研工業株式会社 車両用入力装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005035111A1 (de) 2005-07-27 2006-09-21 Daimlerchrysler Ag Bedien- und Anzeigesystem für ein Fahrzeug
DE102006037156A1 (de) 2006-03-22 2007-09-27 Volkswagen Ag Interaktive Bedienvorrichtung und Verfahren zum Betreiben der interaktiven Bedienvorrichtung
CN101563666B (zh) * 2006-12-22 2012-05-02 松下电器产业株式会社 用户界面装置
DE102007004923A1 (de) 2007-02-01 2008-08-21 Volkswagen Ag Anzeige- und Bedienvorrichtung eines Kraftfahrzeugs zum Erfassen von nutzerabhängigen Parametern
DE102007034272A1 (de) 2007-07-19 2009-01-22 Volkswagen Ag Anzeige- und Bedienvorrichtung für ein Kraftfahrzeug mit einer Multi-View-Anzeigevorrichtung
DE102007034273A1 (de) * 2007-07-19 2009-01-22 Volkswagen Ag Verfahren zur Bestimmung der Position eines Fingers eines Nutzers in einem Kraftfahrzeug und Positionsbestimmungsvorrichtung
JP2011028560A (ja) * 2009-07-27 2011-02-10 Sony Corp 情報処理装置、表示方法及び表示プログラム
KR20130046759A (ko) * 2011-10-28 2013-05-08 고려대학교 산학협력단 차량에서 운전자 명령 인지장치 및 방법
DE102012000274A1 (de) 2012-01-10 2013-07-11 Daimler Ag Verfahren und Vorrichtung zum Bedienen von Funktionen in einem Fahrzeug unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt
DE102012206247A1 (de) 2012-04-17 2013-10-17 Ford Global Technologies, Llc Verfahren und Vorrichtung zur Anzeige einer Hand eines Bedieners eines Bedienelements eines Fahrzeugs
DE102012219736A1 (de) * 2012-10-29 2014-04-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben einer Eingabevorrichtung
DE102012022362A1 (de) * 2012-11-15 2014-05-15 GM Global Technology Operations, LLC (n.d. Ges. d. Staates Delaware) Eingabevorrichtung für ein Kraftfahrzeug
DE102013000083A1 (de) 2013-01-08 2014-07-10 Audi Ag Kraftfahrzeug mit einer personenspezifischen Bedienschnittstelle
KR20150033310A (ko) * 2013-09-24 2015-04-01 엘지전자 주식회사 이동 단말기
DE102014204800A1 (de) * 2014-03-14 2015-09-17 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Bereitstellen einer graphischen Nutzerschnittstelle in einem Fahrzeug
DE102015220400A1 (de) 2014-12-11 2016-06-16 Hyundai Motor Company Sprachempfangssystem im fahrzeug mittels audio-beamforming und verfahren zum steuern desselben

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007099191A (ja) * 2005-10-07 2007-04-19 Matsushita Electric Ind Co Ltd データ処理装置
JP2007292813A (ja) * 2006-04-20 2007-11-08 Matsushita Electric Ind Co Ltd 表示システム、表示装置、映像制御装置、制御装置および映像制御方法
JP2015141588A (ja) * 2014-01-29 2015-08-03 本田技研工業株式会社 車両用入力装置

Also Published As

Publication number Publication date
KR20180091732A (ko) 2018-08-16
DE102017201799A1 (de) 2018-08-09
EP3358454B1 (de) 2020-03-11
CN108399044A (zh) 2018-08-14
EP3358454A1 (de) 2018-08-08
CN108399044B (zh) 2022-01-18

Similar Documents

Publication Publication Date Title
KR102084032B1 (ko) 사용자 인터페이스, 운송 수단 및 사용자 구별을 위한 방법
US20160132126A1 (en) System for information transmission in a motor vehicle
KR101677648B1 (ko) 차량 제어 장치 및 그 제어 방법
US9965169B2 (en) Systems, methods, and apparatus for controlling gesture initiation and termination
CN107107841B (zh) 信息处理装置
US9703472B2 (en) Method and system for operating console with touch screen
JP5261554B2 (ja) 指先ポインティング、ジェスチャに基づく車両用ヒューマンマシンインタフェース
US20130204457A1 (en) Interacting with vehicle controls through gesture recognition
US10133357B2 (en) Apparatus for gesture recognition, vehicle including the same, and method for gesture recognition
US10627913B2 (en) Method for the contactless shifting of visual information
JP2010061224A (ja) 自動車用入出力装置
JP2007237919A (ja) 車両用入力操作装置
US20160021167A1 (en) Method for extending vehicle interface
WO2018022329A1 (en) Detecting user interactions with a computing system of a vehicle
WO2018061603A1 (ja) ジェスチャ操作システム、ジェスチャ操作方法およびプログラム
JP2017111711A (ja) 車両用操作装置
KR101946746B1 (ko) 차량에서 비-차량 오브젝트의 위치 결정
KR20200093091A (ko) 단말기, 그를 가지는 차량 및 그 제어 방법
KR101892390B1 (ko) 사용자 인터페이스, 이동 수단 및 사용자의 손을 인식하기 위한 방법
CN105759955B (zh) 输入装置
JP6819539B2 (ja) ジェスチャ入力装置
US11602992B2 (en) Method for displaying points of interest on a digital map
US11061511B2 (en) Operating device and method for detecting a user selection of at least one operating function of the operating device
WO2023032383A1 (ja) 操作検出装置、情報処理システム、及び操作検出方法
US20230249552A1 (en) Control apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant