KR20080108970A - 쌍방향 조작 장치 및 쌍방향 조작 장치의 작동 방법 - Google Patents

쌍방향 조작 장치 및 쌍방향 조작 장치의 작동 방법 Download PDF

Info

Publication number
KR20080108970A
KR20080108970A KR1020087017681A KR20087017681A KR20080108970A KR 20080108970 A KR20080108970 A KR 20080108970A KR 1020087017681 A KR1020087017681 A KR 1020087017681A KR 20087017681 A KR20087017681 A KR 20087017681A KR 20080108970 A KR20080108970 A KR 20080108970A
Authority
KR
South Korea
Prior art keywords
operating
information
display device
displayed
detected
Prior art date
Application number
KR1020087017681A
Other languages
English (en)
Other versions
KR101367593B1 (ko
Inventor
카타리나 바흐피셔
크리스토프 밸러
폴크마르 바그너
라이너 데맨
Original Assignee
폭스바겐 악티엔 게젤샤프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 폭스바겐 악티엔 게젤샤프트 filed Critical 폭스바겐 악티엔 게젤샤프트
Publication of KR20080108970A publication Critical patent/KR20080108970A/ko
Application granted granted Critical
Publication of KR101367593B1 publication Critical patent/KR101367593B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/656—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being a passenger
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K37/00—Dashboards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/141—Activation of instrument input devices by approaching fingers or pens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143—Touch sensitive instrument input devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143—Touch sensitive instrument input devices
    • B60K2360/1438—Touch screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • B60R11/0235—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes of flat type, e.g. LCD
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0264—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for control means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04805—Virtual magnifying lens, i.e. window or frame movable on top of displayed information to enlarge it for better reading or selection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

본 발명은 디스플레이 장치(35; 43; 59; 72; 102; 150; 170; 180)를 포함하는 쌍방향 조작 장치(100), 및 상기 쌍방향 조작 장치(100)의 조작 방법에 관한 것이다. 상기 방법은, 그래픽 정보가 디스플레이 장치(35; 43; 59; 72; 102; 150; 170; 180) 상에 디스플레이되는 단계; 센서 정보가 수신되는 단계; 상기 디스플레이 장치(35; 43; 59; 72; 102; 150; 170; 180) 상에서 조작 동작에 할당된 조작 소자(33; 61; 151; 161-169; 181-186)의 표시 영역에 대해 3차원적으로 규정된 활성화 범위 내에 사용자의 신체 부위(36)가 있다는 것이 센서 정보에 의해 검출되면, 조작 동작이 활성화되는 단계를 포함하고; 상기 수신된 센서 정보는 조작 동작의 활성화 전에 하나 이상의 조작 소자(33; 61; 151; 161-169; 181-186)에 대한 조작 의도를 검출하기 위해 평가되는 사용자 정보를 포함하고; 상기 디스플레이 장치(35; 43; 59; 72; 102; 150; 170; 180) 상에 표시된 정보는 검출된 조작 의도에 따라 조정됨으로써, 상기 하나 이상의 조작 소자(33; 61; 151; 161-169; 181-186)가 상기 조작 소자(33; 61; 151; 161-169; 181-186)에 할당된 조작 동작의 활성화를 위해 최적화된다. 조작 장치(100)는 바람직하게 조작 방법의 실시를 가능하게 하기 위해 자동차 콘솔의 부품으로서 구성된다.
디스플레이 장치, 센서 정보, 조작 소자, 사용자 정보, 조작 의도.

Description

쌍방향 조작 장치 및 쌍방향 조작 장치의 작동 방법{INTERACTIVE OPERATING DEVICE AND METHOD FOR OPERATING THE INTERACTIVE OPERATING DEVICE}
본 발명은 청구항 제1항의 전제부에 따른 디스플레이 장치를 구비한 쌍방향 조작 장치의 작동 방법 및 청구항 제16항의 전제부에 따른 디스플레이 장치를 구비한 조작 장치에 관한 것이다.
자동차 운전실 내의 자동차 애플리케이션의 조작은 종종 상기 언급한 쌍방향 조작 장치에 의해 이루어진다. 쌍방향 조작 장치는 하나 또는 다수의 조작 소자가 그래픽으로 도시되는 디스플레이 장치를 포함한다. 각각의 자동차 애플리케이션은 조작 소자들에 할당된다. 이하에서 조작 동작이라 하는 동작은, 사용자가 신체 부위, 예컨대 손의 손가락을 조작 소자의 그래픽 표시를 향해 이동함으로써 활성화되거나 또는 트리거된다. 신체 부위가 디스플레이 장치 앞에 배치된 또는 디스플레이 장치 내에 통합된 센서 유닛(예컨대 접촉 감지 막)과 접촉해야 하는지의 여부 또는 조작 소자에 할당된 조작 동작을 활성화하기 위해 각각의 조작 소자에 대해 특정 거리까지만 접근하면 충분한지의 여부는 조작 장치의 센서 유닛의 설계에 의존한다.
조작 동작을 트리거하기 위해 접촉을 필요로 하는 쌍방향 조작 장치를 터치 스크린 조작 장치라고 한다. 무접촉으로 활성화될 수 있는 쌍방향 조작 장치들은 예컨대 신체를 통해 전송되는 고주파 신호를 검출할 수 있는 센서들을 포함한다. 이 경우에는, 고주파 전송기가 신체 가까이에 또는 신체와 접촉해서 배치되어야 한다. 자동차에서, 예컨대 이러한 고주파 전송기는 차량 시트 내에 통합될 수 있다. 신체를 통한 고주파 신호를 이용한 정보 전송 방법 및 장치는 예컨대 공보 WO 2004/078536 호에 설명된다.
조작 동작을 활성화하기 위해 신체 부위가 있어야 하는 영역을 활성화 영역이라 한다. 터치 스크린 조작 장치의 경우, 활성화 영역은 터치 스크린 조작 장치의 표면 상의 2차원 면이다. 활성화 면은 일반적으로 작동할 조작 소자의 표시 면과 일치한다. 무접촉으로 조작 가능한 조작 장치의 경우, 활성화 영역은 일반적으로 디스플레이 장치의 표면 상부에 밀접한 또는 상기 표면에 인접한 3차원 영역이다. 디스플레이 장치의 표면의 면 법선을 따라 활성화 영역을 디스플레이 장치로 투시하면, 일반적으로 관련 조작 소자의 표시 면과 일치한다.
이러한 쌍방향 조작 장치의 디스플레이 장치에 정보의 표시는 선행 기술에서는 인간 눈의 분해능에 맞춰지는 것이 아니라, 특히 사용자 손가락의 동작 정밀도 및 터치 안전성에 맞춰진다.
디스플레이 장치에 표시된 조작 소자들(가상 조작 소자들이라고도 함)은 특히 메뉴, 버튼 등을 포함한다. 그러나, 이들은 예컨대 쌍방향으로 형성된 네비게이션 지도 내의 그래픽 물체의 형상을 가질 수도 있다. 일반적으로, 이러한 가상 조작 소자들을 위젯(widget)이라 한다. 조작 소자들은 일반적으로 쌍방향 조작 장 치에 상당히 크게 표시되므로, 사용자가 손가락으로 조작 소자들을 취해 쉽게 활성화할 수 있다. 그 결과, 조작 소자들의 표시 영역들이 종종 디스플레이 장치의 디스플레이 면의 상당 부분을 차지하는데, 이 부분은 그렇지 않은 경우 추가 정보를 위해 사용될 수 있을 것이다. 상기 표시 부분은 종종 "그 뒤에 놓인" 그래픽 정보를 은폐한다. 디스플레이 장치에서 조작 소자들의 표시가 작아지면, 정보 표시를 위한 장소가 획득되지만, 그로 인해 조작 편의성은 감소하는데, 그 이유는 손가락으로 조작 소자들을 "터치"하는 것이 훨씬 어려워지기 때문이다.
선행 기술에는 조작 소자들의 스케일링이 제 1 조작 동작에 대한 응답으로서 이루어지는 것으로 공지되어 있다. 이러한 조작 장치에서는 소정 조작 동작을 활성화하고 실행하기 위해 2개 이상의 조작 핸들링이 필요하다.
미국 특허 제5,579,037호에는 전자기 디지털화 트레이를 가진 디스플레이 장치가 공지되어 있으며, 상기 디지타이저 태블릿(digitizer tablet)에 의해 디스플레이 장치에 표시된 일본 문자가 입력될 수 있다. 상기 디지타이저 태블릿은 와이어를 통해 디지타이저 태블릿에 접속된 레코더를 포함한다. 레코더가 디스플레이 장치에 대해 제 1 간격으로 배치되면, 레코더가 있는 위치 주변의 디스플레이된 영역이 확대되어 표시된다. 레코더와 디스플레이 장치 사이의 간격이 제 1 간격보다 좁고, 상기 제 1 간격보다 작은 제 2 간격보다 넓다면, 확대된 영역은 디스플레이 장치에 대해 평행한 레코더의 위치 변동에 따라 조정된다. 제 2 간격이 미달되면, 상기 확대된 영역은 디스플레이 면에 대해 평행한 동작에 따라 조정되지 않으므로, 확대되어 표시된 다수의 문자의 입력은 상응하게 확대된 문자가 표시된 장소에서 디스플레이 장치의 접촉에 의해 이루어질 수 있다. 레코더에 의해서만 작동될 수 있는 이러한 조작 장치는 많은 용도에서, 예컨대 자동차 운전실의 쌍방향 조작 장치로서 부적합하다. 또한, 구체적인 부분을 확대하여 표시하기 위해, 레코더를 디스플레이 장치 앞에서 평행하게 미리 주어진 간격으로 움직이는 것은 주행 중인 차량에서는 어렵다.
DE 10 2004 045 885 A1에는 특히 조작 소자의 누름, 조작 소자와의 접촉, 조작 소자의 회전 및/또는 조작 소자의 당김에 의해 자동차의 기능을 조작하기 위해, 바람직하게는 회전-푸시-풀 버튼으로서 형성된 자동차용 조작 소자가 공지되어 있으며, 상기 조작 소자에는 조작 소자의 조명을 위한 조명 장치, 조작 소자의 조작자의 접근을 검출하기 위한 접근 센서 및 상기 접근 센서의 출력 신호에 따라 조작 소자의 조명을 조절하기 위한 조명 제어부가 할당된다.
따라서, 조작 소자들이 쉽게 활성화될 수 있어서, 각각 최적의 정보 표시를 가능하게 하며 동시에 높은 조작 편의성을 제공하는 바람직한 쌍방향 조작 장치가 가능하다.
본 발명의 목적은 사람의 눈에 알맞는 최적의 정보 중계와 동시에 조작 소자들의 편리한 활성화를 가능하게 하는 조작 장치 및 쌍방향 조작 장치의 작동 방법을 제공하는 것이다.
상기 목적은 본 발명에 따라 청구항 제1항의 특징을 가진 방법 및 청구항 제16항의 특징을 가진 장치에 의해 달성된다. 본 발명은 디스플레이 장치에 표시되는 정보가 상황에 따라 조정된다는 사실을 기초로 한다. 이 경우, 표시는 표시된 정보의 시각 인지를 위해 최적화되도록 형성될 수 있다. 그러나, 사용자의 조작 의도가 검출되면, 표시된 정보는 조작 소자에 대해 검출된 조작 의도에 따라 조작 소자의 활성화가 최적으로 가능하도록 변경된다.
본 발명에 따라, 디스플레이 장치, 상기 디스플레이 장치에 표시된 및/또는 표시 가능한 조작 소자들을 포함하는 정보를 구비한 장치로서 특히 자동차 내의 쌍방향 조작 장치의 작동 방법은
- 상기 디스플레이 장치에 표시된 하나 이상의 조작 소자들에 대한 조작 의도가 검출되는 단계, 및
- 상기 검출된 조작 의도에 따라 상기 디스플레이 장치에 표시된 정보가 조정됨으로써, 조작하려는 하나 이상의 조작 소자가 상기 조작 소자의 활성화를 위해 최적화되어 표시되는 단계를 포함한다.
본 발명의 바람직한 실시예에 따라, 상기 디스플레이 장치에 표시된 하나 이상의 조작 소자에 대한 조작 의도를 검출하기 위해, 조작자의 신체 부위가 디스플레이 장치 상에 조작 소자들 중 하나 이상의 조작 소자의 표시 영역에 대해 공간적으로 규정된 활성화 영역 내에 배치되는지의 여부가 검출된다.
본 발명에 따른 방법의 다른 실시예에서는 하나 이상의 조작 소자에 대한 조작 의도가 시간적으로 조작 동작의 활성화 이전에 검출된다.
바람직한 실시예에서, 디스플레이 장치를 구비한, 특히 자동차 내의 쌍방향 조작 장치의 작동 방법은
- 디스플레이 장치에 그래픽 정보가 디스플레이되는 단계;
- 센서 정보가 수신되는 단계;
- 상기 센서 정보를 기초로, 사용자의 신체 부위가 디스플레이 장치에서 조작 동작에 할당된 조작 소자의 표시 영역에 대해 공간적으로 규정된 활성화 영역 내에 배치된다고 판단된다면, 상기 조작 동작이 활성화되는 단계를 포함하고, 이 경우
- 수신된 센서 정보는 시간적으로 조작 동작의 활성화 전에 하나 이상의 조작 소자에 대한 조작 의도를 검출하기 위해 평가되는 사용자 정보를 포함하고;
- 디스플레이 장치 상에 표시된 정보는 검출된 조작 의도에 따라 조정됨으로써, 하나 이상의 조작 소자가 상기 조작 소자에 할당된 조작 동작을 활성화하기 위해 최적화되어 표시된다.
정보의 인지를 위해 최적화된 시각 레이아웃으로부터 조작을 위해 최적화된 촉각 레이아웃으로의 전환시, 예컨대 조작 소자는 페이드-인(fade-in) 되어 또는 확대되어 표시된다. 작게 표시된 조작 소자는 조작 의도의 검출시 예컨대 확대되어 표시된다. 이로 인해, 디스플레이 장치에 높은 정보 밀도가 표시될 수 있기는 하지만, 조작이 이루어져야 할 때마다 조작이 편리하게 이루어질 수 있다. 사용자 정보는 사용자의 특성을 지시하는 또는 사용자 자신을 나타내는 센서 정보들이다. 사용자 정보는 센서 유닛에 의해 검출되고, 조작 의도를 검출하기 위해 평가되는 센서 정보의 부분이다.
조작 의도를 확실하게 검출하기 위해, 본 발명의 바람직한 실시예에서는 센서 정보가 사용자의 신체 동작에 대한 정보를 포함한다. 신체 동작은 예컨대 사용자의 팔 또는 손 또는 손가락의 동작이다. 다른 신체 동작은 예컨대 디스플레이 장치에 디스플레이된 정보를 검출하기 위한 눈의 정렬이다.
따라서, 특히 바람직한 실시예에서는 사용자 정보가 사용자의 시야 방향에 대한 정보를 포함한다. 왜냐하면, 조작 소자의 작동에 앞서 종종 디스플레이 장치를 바라보기 때문이다.
예컨대, 사용자의 시야 방향은 카메라 센서에 의해 검출될 수 있다. 본 발명의 바람직한 실시예에서, 사용자 정보는 적어도 부분적으로 카메라 시스템에 의해 검출된다. 이러한 카메라 시스템에 의해, 일반적으로 신체 부위의 동작이 확실하게 검출될 수 있다.
본 발명의 다른 바람직한 실시예에서는 적어도 부분적으로 초음파 센서 시스템에 의해 사용자 정보가 검출된다. 초음파 센서 시스템은 신체 부위의 위치를 매우 정확하고 확실하게 판단하기에 적합하다. 초음파 센서 시스템에 의해, 조작 장치로부터 비교적 멀리 떨어져 있을 때도 쌍방향 조작 장치에 대한 동작이 확실하게 검출될 수 있다. 또한, 조작 장치의 근처 영역에서 정확한 위치 측정, 크기 측정 및 속도 측정도 이루어질 수 있다. 초음파 센서 시스템은 다른 센서 시스템에 대한 대안으로서 또는 다른 센서 시스템과 함께 사용될 수 있다.
특히 본 발명의 바람직한 실시예에서는 사용자 정보를 기초로 신체 부위의 동작의 방향이 검출된다. 상기 동작의 방향은 개별적으로 또는 다른 정보, 바람직하게는 사용자 정보, 특히 시야 방향과 함께 사용됨으로써, 하나의 그룹의 조작 소자들로부터 사용자가 다음에 조작하고 싶은 하나의 조작 소자 또는 다수의 조작 소자들이 검출된다. 따라서, 본 발명의 개선예에서는, 조작 의도의 검출시 조작 소자에 대한 조작 확률 및 경우에 따라 다른 조작 소자들에 대한 다른 조작 확률들이 검출되고, 표시된 정보의 조정은, 하나 이상의 조작 소자 또는 다른 조작 소자들이 그 조작 확률에 따라 관련 조작 동작 또는 다른 조작 동작의 활성화를 위해 최적화되어 표시되도록 이루어진다. 이로 인해, 일종의 "조작 스포트라이트(operating spotlight)"가 구현될 수 있다. 신체 부위의 거리, 동작 방향 및/또는 동작 속도 와 다른 사용자 정보에 따라, 조작될 조작 소자가 배치될 수 있는 디스플레이 장치에서의 영역이 검출될 수 있다. 상기 검출된 영역은 조작 스포트라이트라고 한다. 조작 스포트라이트는 거리가 멀 때, 그리고 조작하는 손의 동작 속도가 낮을 때 정확하지 않고, 디스플레이 장치에 더 접근함에 따라 더 정확해진다. 여기서, 정확하지 않다는 것은 신체 부위가 접근하는 디스플레이 장치상의 목표 위치에 대한 불확실성이 있다는 것을 의미한다. 상기 목표 위치는 조작 스포트라이트의 중심으로 사용된다. 불확실성은 디스플레이 장치에서 조작 스포트라이트의 면에서 나타난다. 조작 스포트라이트는 일반적으로 원형으로 형성되므로, 신체 부위가 접근하는 디스플레이 장치상의 목표 위치에 대한 정확하지 않음은 조작 스포트라이트의 반경으로 나타난다. 불확실성이 클수록(조작 스포트라이트가 정확하지 않을수록), 상기 반경이 더욱 커진다. 목표 위치에 대한 불확실성이 작을수록(조작 스포트라이트가 정확할수록), 조작 스포트라이트는 작아진다. 바람직하게는 스케일링 크기가 미리 주어질 때 조작 소자의 면이 얼만큼 조작 스포트라이트의 영역에 있는지, 조작 스포트라이트가 얼마나 정확한지 및/또는 조작 소자와 조작 스포트라이트의 위치(중심점) 사이의 간격이 얼마나 큰지에 따라, 조작 소자들이 디스플레이 장치에서 스케일링되거나 또는 다른 방식으로 간단한 활성화 가능성을 위해 예컨대 애니메이션, 메뉴 리스트의 펼침 등에 의해 최적화될 수 있다.
특히 바람직한 실시예에서, 조작 의도의 검출 및 표시된 정보의 상응하는 조정은 반복적으로 및/또는 연속적으로 실시된다. 이로 인해, 예컨대 조작 스포트라이트가 연속적으로 검출되고, 디스플레이 장치에서 조작 스포트라이트 내에 있는 조작 소자들의 스케일링은 점진적으로 이루어지며 사용자의 동작에 따라 조정될 수 있다.
본 발명의 실시예에서, 투명도의 조정시, 인접한 다른 조작 소자들의 간격 및/또는 조작 소자 또는 다수의 조작 소자들의 애니메이션이 변화된다. 이 경우, 다수의 조작 소자들을 포함하는 리스트는 하나 또는 다수의 리스트 소자들의 선택을 용이하게 하기 위해 적합하게 애니메이션화 될 수 있다. 특히, 검출된 조작 의도에 따라 긴 리스트가 스크롤될 수 있다.
바람직하게는, 사용자 정보를 기초로, 신체 부위와 조작 소자의 표시와의 간격이 검출되고 조작 소자는 상기 간격에 따라 스케일링된다. 예컨대, 무접촉 센서가 조작 소자의 활성화를 위해 사용되면, 상기 센서에 의해, 예컨대 디스플레이 장치 전 약 30 ㎝에서 사용자 손의 접근이 검출될 수 있다. 더 양호하게 손 또는 손가락이 디스플레이 장치에 더 접근하면, 어떤 조작 소자가 활성화되어야 하는지의 예측이 가능하다. 따라서, 간단히 상기 조작 장치가 디스플레이 장치에서 최적화되어 표시될 수 있다. 이를 위해, 표시된 정보는 상응하게 조정된다.
바람직한 실시예에서, 사용자에 대한 정보에 추가하여 주행 상태에 대한 정보가 평가됨으로써, 조작 소자의 조정이 최적화된다. 예컨대, 평탄하지 않은 도로 표면 위의 주행은 사용자에 의한 조작 소자의 터치 안전성에 영향을 준다. 이러한 경우, 조작 소자는 평탄한 도로 표면 위의 주행 상태에서보다 더 크게 표시되는 것이 바람직하다. 이로 인해, 개선된 조작 가능성 및 높은 편의성이 보장된다. 동시에, 상황에 따라 최대로 가능한 정보 표시가 보장된다. 바람직하게는 조작 의도가 검출되지 않으면, 정보는 시각적 정보 전송에 최적인 표시에 따라 조정되고, 예컨대 모든 조작 소자들이 페이드 아웃(fade-out)되거나 또는 100%의 투명도(transparency)로 표시된다. 이는 특히 정보의 매우 제한된 선택만이 디스플레이될 수 있는 쌍방향 조작 장치에서 바람직한데, 그 이유는 예컨대 디스플레이 면이 작기 때문이다.
본 발명의 바람직한 실시예에서, 조작 의도의 검출시 신체 부위에 의해 실행된 제스처가 검출되어 평가된다. 표시된 정보의 조정은 각각의 검출된 제스처에 할당된 조정 기능에 따라 실시된다. 이로 인해, 예컨대 조작 의도는 잠재적으로 작동 가능한 조작 소자들의 수가 매우 많을 때 구체화될 수 있다. 정적 제스처에 의해 예컨대 정지 신호가 전송되고, 상기 신호는 조작 소자의 후속 조정을 방지하고, 다른 스케일링 조정 없이 최종 선택을 가능하게 한다. 마찬가지로, 스크롤은 그래픽으로 작게 표시된 다수의 조작 소자들에 의해 야기될 수 있고, 상기 조작 소자들 중 하나는 포커스를 가지며 조작을 위해 확대되어 표시된다. 따라서, 조정 기능은 표시된 정보의 임의의 적합한 변화를 야기한다.
적합한 제스처로는 소위 정적 제스처, 동적 제스처 및 복합 제스처가 있다. 본 발명의 실시예에서는 제스처가 미리 규정된 신체 부위 자세에 의해 검출되는 하나 이상의 정적 제스처를 포함한다. 다른 실시예에서, 제스처는 신체 부위가 지나가는 미리 규정된 궤도 곡선에 의해 검출되는 하나 이상의 동적 제스처를 포함한다. 하나의 궤도 곡선에서는 형상이 한편으로는 3차원 공간에서 분석될 수 있다. 추가로, 3차원 공간에서 개별 부분이 지나가는 속도가 평가될 수 있다. 다른 실시예에서는 제스처가 미리 규정된 정적 제스처들의 이어짐에 의해 및/또는 미리 규정된 궤도 곡선을 지나가는 하나의 정적 제스처에 의해 검출되는 하나 이상의 복합 제스처를 포함한다. 따라서, 본 발명의 상이한 실시예는 정적 제스처만을, 동적 제스처만을 또한 복합 제스처만을 또는 이들의 임의의 조합을 고려할 수 있다. 제스처들의 검출은 신체 부위의 위치를 공간적으로 결정할 수 있는 하나 이상의 센서 유닛에 의해 이루어진다. 제스처가 하나 이상의 센서 유닛에 의해 검출되어야 하는 사기 방식은 다수의 센서 유닛이 존재하는 경우 제스처들이 개별 센서 유닛에 의해 검출되어야 하는 것을 나타내지는 않는다. 오히려, 상기 방식은 존재하는 다수의 센서 유닛들의 협동에 의한 제스처의 검출을 포함한다. 개별 센서 유닛들이 제스처의 검출에 충분한지의 여부는 하나 이상의 센서 유닛 및 제스처 자체의 특별한 디자인에 의존한다.
바람직하게는 정보는 각각 최대 정보가 시각적 인지를 위해 표시되지만 조작 의도가 검출되면, 조작 의도가 검출된 하나 이상의 조작 소자가 최적의 조작 가능성을 위해 표시되도록 조정된다. 이 경우, 상이한 상황적 영향이 고려될 수 있다.
본 발명에 따른 장치의 특징은 본 발명에 따른 방법의 상응하는 특징과 동일한 장점을 갖는다.
이하, 본 발명의 바람직한 실시예를 첨부한 도면을 참고로 구체적으로 설명한다.
도 1은 쌍방향 조작 장치의 작동 방법의 실시예를 설명하기 위한 플로챠트.
도 2는 상황에 따른 조작 소자의 스케일링의 원리를 설명하는 개략도.
도 3은 정보들이 시각 인지를 위해 최적화되거나 또는 부분적으로 촉각 조작을 위해 최적화되어 표시되는 디스플레이 장치의 개략도.
도 4a-4d는 검출된 조작 스포트라이트에 따라 부분적으로 확대 도시된 조작 소자들을 포함하는, 디스플레이 장치에 표시된 정보들의 개략도.
도 5a-5d는 조작 소자들이 검출된 조작 스포트라이트의 크기에 따라 스케일링되는, 디스플레이 장치의 개략도.
도 6a-6c는 조작 소자들이 조작 의도에 따라 상이하게 스케일링되어 표시된 디스플레이 장치의 개략도.
도 7a-7b는 하나의 리스트의 조작 소자들이 조작 의도에 따라 스크롤되는 디스플레이 장치의 개략도.
도 8은 자동차 내 쌍방향 조작 장치의 개략도.
도 9 내지 도 17은 손으로 실시되는 정적 제스처.
도 18은 2차원 평면의 궤도 곡선에 대한 예.
도 19는 3차원 공간의 궤도 곡선에 대한 예.
도 20 내지 도 27은 손으로 실시되는 동적 제스처.
도 28 내지 도 33은 손으로 실시되는 복합 제스처.
도 1에는 쌍방향 조작 장치를 작동하기 위한 방법(10)을 나타내는 블록 다이어그램이 도시된다. 방법 블록(12)에 의해 도시된 바와 같이, 방법은 디스플레이 장치에 대한 정보의 표시를 포함한다. 정보를 표시하기 위한 레이아웃은 우선 최적의 시각 정보 중계를 위해 설계되도록 선택된다. 이러한 레이아웃은 하기에서 시각 레이아웃이라 한다.
조작 장치는 센서 정보(12)를 검출한다. 한편으로는 센서 정보는 하나 또는 다수의 사용자에 관한 정보를 포함한다. 상기 센서 정보는 사용자 정보라고 한다. 이는 특히 센서 유닛에 의해 검출된 사용자(들)의 신체 동작에 대한 정보를 포함한다. 신체 동작은 예컨대 카메라로 검출하는 센서 유닛 및/또는 초음파를 기초로 하는 센서 유닛에 의해 검출될 수 있는 팔 동작을 포함한다. 또한, 카메라를 구비한 센서 유닛에 의해 사용자(들)의 시야 방향이 검출될 수 있다. 디스플레이 장치에 대한 시야 방향은 특히 중요한 신체 동작인데, 그 이유는 조작 과정 전에 대개 쌍방향 조작 장치의 디스플레이 장치를 바라보기 때문이다. 검출된 센서 정보는 바람직하게 자동차의 주행 상황 또는 주변에 대한 정보도 포함한다. 특정 조작 동작에는 종종 특정 운전자 이벤트가 선행하는 것으로 나타났다.
검출된 센서 정보를 기초로, 사용자의 조작 의도가 검출된다(14). 사용자의 조작 의도를 검출하기 위해, 센서 정보에 포함된 상이한 정보, 특히 사용자 정보가 평가된다. 여기서는 특히 사용자(들)의 특성, 즉 그 신체 동작 또는 그 신체 동작들이 평가된다. 예컨대, 쌍방향 조작 장치의 디스플레이 방향에 대한 시야 방향 변화가 검출되고 시간적으로 그와 상관되어, 쌍방향 조작 소자에 공간적으로 가장 가까운 팔 또는 손의 동작이 검출되면, 그것으로부터 조작 의도가 유추될 수 있다. 개별 정보들의 많은 상이한 조합이 가능하고, 그 조합이 평가될 수 있다. 예컨대 하나의 실시예에서, 조작 소자의 방향으로 목표를 향한 신체 부위의 동작은 조작 의도가 검출된 것으로 전제될 수 있다.
요청에 의해, 조작 의도가 변화되었는지의 여부가 검사된다(16). 조작 의도가 변화되지 않았다면, 디스플레이 장치에 정보의 표시는 변화없이 계속된다. 조작 의도가 변화되었으면, 즉 조작 의도가 검출되었거나 또는 조작 의도가 주어지지 않은 것으로 검출되었으면, 디스플레이 장치에 표시되는 정보가 조작 의도에 따라 또는 주어지지 않는 조작 의도에 따라 조정된다(18). 변화는 조작 의도가 더욱 구체화될 때도 주어진다.
이전에 존재하지 않았던 사용자의 조작 의도가 검출된다는 점에서 조작 의도의 변화가 주어지면, 디스플레이 장치 상의 레이아웃이 촉각 조작을 위해 최적화되는 방식으로 표시될 정보가 변한다. 실시예에서, 시각 레이아웃에서는 어떤 조작 소자도 그래픽으로 표시되지 않을 수 있다. 촉각 레이아웃에서는, 조작 소자들이 페이드-인된다. 즉, 100%의 투명도가 감소한다. 마찬가지로, 그래픽 표시로부터 텍스트 표시로 전환되는 것도 가능하다. 다른 실시예에서, 시각 레이아웃에서 조작 소자들이 그래픽으로 표시되지 않는, 조작 소자들이 촉각 레이아웃에서 확대되어 표시될 수 있다. 조정은 또한 조작 소자들의 디자인의 변화, 예컨대 조작 소자들(위젯; widgets)의 애니메이션화를 포함할 수 있다. 오토스테레오스코픽 3차원 디스플레이 장치로서 형성되는 디스플레이 장치의 경우, 조작 소자들의 3차원 돌출 또는 정보 표시의 3차원 전방 중첩이 제공될 수 있다.
표시된 정보의 검출 및 조정은 바람직하게는 서로 연속적으로 이어지는 단계들로 이루어진다. 먼저, 조작 의도는 제 1 센서 유닛의 센서 정보에 의해 검출된다. 제 1 센서 유닛은 바람직하게 그래픽 제공 센서 시스템, 예컨대 카메라 시스템을 포함한다. 상기 일반적인 조작 의도가 검출되면, 시각 레이아웃으로부터 촉각 레이아웃으로 전환이 이루어진다. 예컨대, 이전에 가시화될 수 없었던 조작 소자들이 페이드-인 된다.
바람직한 실시예에서, 조작 의도의 검출 시에 디스플레이 장치상에 하나의 위치 및 주변 영역이 검출되며, 조작 핸들링을 위해, 즉 조작 소자의 활성화를 위해 이 검출된 위치 및 주변 영역이 통지된다. 이러한 과정을 조작 스포트라이트의 결정이라 한다(20).
조작 스포트라이트의 검출을 위해, 상이한 센서 정보가 평가될 수 있다. 특히, 사용자의 신체 부위의 동작 방향, 동작 속도, 디스플레이 장치에 대한 시야 방향 및 주행 상황에 대한 정보가 개별적으로 또는 함께 평가된다. 조작 스포트라이트 검출의 결과로서, 통보된 목표 위치를 지시하는 디스플레이 장치 상의 하나의 위치, 및 검출되어 통보된 목표 위치의 불확실성에 대한 척도인 반경이 얻어진다. 다른 실시예에서, 조작 스포트라이트의 형태가 원형이 아닐 수 있다. 이는 특히, 조작 방향이 디스플레이 장치의 디스플레이 면의 면 법선의 방향과의 많은 편차를 가질 때 바람직하다.
표시될 정보의 조정시 조작 스포트라이트를 특성화하는 정보(위치/반경 및/또는 그 밖의 영역 표시)가 고려된다. 바람직하게는 조작 소자들이 위치들의 간격, 및 조작 스포트라이트와의 면 중첩에 따라 스케일링되어 도시된다. 즉, 조작 스포트라이트의 중심에 있는 조작 스포트라이트의 위치 가까이에 있는 조작 소자들은 조작 스포트라이트의 위치로부터 멀리 떨어진 조작 소자 보다 더 크게 스케일링된다. 또한, 조작 스포트라이트가 디스플레이 장치로 투시될 때 조작 스포트라이트와 큰 면 중첩을 갖는, 각각의 조작 소자들이 더 크게 스케일링 된다. 도 4a 내지 4d에는 이에 대한 실시예가 도시된다. 그러나, 조작 스포트라이트(62) 내에 놓이지 않은 조작 소자들(61')은 다른 조작 소자들(61") 보다 조작 스포트라이트(62)에 더 가까이 놓이며, 바람직하게는 다른 조작 소자들(61")보다 더 크게 표시될 수 있다.
상기 방법은 개별 조작 소자들에 대한 조작 확률을 결정한다(22). 이러한 확률들은 사용자 정보를 기초로 하는 다른 방법에 따라 경우에 따라 상황적 영향, 예컨대 주행 상황, 사용자의 지금까지의 습관 등에 대한 다른 정보를 고려해서 이루어질 수 있다.
조작 스포트라이트는 연속적으로 조정된다. 후속 단계에서, 신체 부위의 움 직임 및 경우에 따라 신체 부위의 다른 특성은 제 2 센서 유닛에 의해 더 정확히 검출된다.
사용자의 신체를 통해 전송되는 고주파 신호를 수신하고 이로부터 디스플레이 장치 가까이에서 사용자의 손의 위치를 판단하기 위해, 고주파 신호를 발생하는 신호 발생기는 사용자 신체 가까이에 배치되며, 수신기가 디스플레이 장치에 또는 상기 디스플레이 장치 주변에 배치되는 실시예에서, 표시된 정보의 조정의 미세 조절이 특히 양호하게 이루어질 수 있다. 디스플레이 장치와 약 30 ㎝의 간격에서, 상기 센서 시스템에 의해 사용자의 신체 부위가 검출될 수 있다. 다수의 사용자, 예컨대 자동차의 운전자와 동승자가 차량 내 쌍방향 조작 장치의 유효 범위 내에 있으면, 이들은 예컨대 운전자 시트와 동승자 시트 내에 통합된 상이한 신호 발생기를 통해 사용자의 신체 내로 결합되는 상이한 고주파 신호에 의해 구별될 수 있다. 따라서, 표시된 정보의 스케일링 또는 일반적인 조정은 추가로 사용자의 기능(운전자/동승자)에 알맞게 이루어질 수 있다. 예컨대, 자동차 속도가 높을 때 운전자가 디스플레이 장치에서 조작 소자들을 활성화하려면, 다수의 조작 소자들이 디스플레이 장치에 표시되는 것이 바람직하다. 자동차의 주행에 집중할 필요가 없는 동승자는 예컨대 작은 조작 소자들(이 조작 소자들은 디스플레이 장치에 더 많이 표시될 수 있음)을 조작할 수 있다. 미세 조절을 위해, 조작 의도의 검출시 사용자의 신체 부위와 디스플레이 장치 사이의 간격이 검출되는 것이 바람직하다. 또한, 신체 부위의 크기가 추가로 검출된다. 이는 조작 소자(들)의 스케일링 및/또는 설계시에 고려된다. 크고 넓은 손가락을 가진 사용자를 위해, 조작 소자들의 면은 작고 좁은 손가락을 가진 사용자를 위한 것보다 더 크게 표시되어야 한다. 따라서, 후속 단계에서, 더 미세한 조정이 가능하다. 2개 이상의 단계가 제공될 수 있다. 제 2 센서 유닛은 초음파를 기초로 하는 센서 유닛일 수 있다.
도 2에는, 시각 레이아웃으로부터 촉각 레이아웃으로의 전환이 개략적으로 도시된다. 도 2의 상부에는 정보 표시(31, 32)의 2개의 가능한 실시예가 소위 시각 레이아웃으로 도시된다. 좌측 표시(31)에는 조작 소자가 표시되지 않는다. 우측 표시(32)에는 작은 조작 소자(33)가 제공된다. 디스플레이 장치(35)의 최대 영역(34)이 정보의 표시를 위해 제공된다. 신체 부위(36), 여기서는 손이 도 2의 중심에 도시된 바와 같이, 디스플레이 장치(35)에 접근하면, 조작 소자(33')가 확대되어 표시되고 추가의 텍스트 정보(A, B, C, D)를 포함하며 적어도 표시(31)에 비해 좌측 상부로 그 투명도 레벨이 변하도록 표시된 정보가 변경된다. 조작 소자(33')와 결합된 조작 동작을 활성화하고 트리거하기 위해, 손가락이 조작 소자(33')에 의해 최적으로 접촉될 수 있도록 촉각 레이아웃이 최적화된다.
도 3에는 시각 레이아웃(41)을 촉각 레이아웃(42)으로 전환하기 위한 다른 실시예가 도시된다. 디스플레이 장치(43)에는 네비게이션 시스템의 지도 보기(48)의 특별한 관심 점들(44-47; points of interest-POI)이 개략적으로 도시된다. 손가락(49)이 디스플레이 장치(43)의 우측 에지(50)를 향해 하부로 움직이면서 상기 디스플레이 장치(43)에 접근하면, 관심 점들의 면적 크기가 우측 에지(50)의 하단부와의 간격에 따라 스케일링된다. 양호한 조작 가능성을 위해, 몇몇 점들(46, 47)이 그 원래 위치에 대해 약간 이동된다. 지도 보기(48)의 좌측 부분(51)에서 레이아웃은 항상 시각 정보 중계를 위해서도 조정된다.
도 4a 내지 4d는 디스플레이 장치(59)에서 정보의 상이한 표시(55-58)를 도시한다. 각각 하나의 조작 소자(61)를 조작하려는 손가락(60)과 함께, 소위 조작 스포트라이트(62)가 원형으로 디스플레이 장치(59)에 표시된다. 조작 소자들(61)은 조작 스포트라이트(62)의 위치(63)(중심)에 대한 그 위치에 따라 그리고 조작 스포트라이트(62)와의 면 중첩에 따라 스케일링된다. 스케일링의 전체 크기는 주행 상황에 의존할 수 있다. 차량이 예컨대 평탄하지 않은 표면 위를 고속으로 주행하면, 조작 소자는 평탄한 도로를 낮은 속도로 주행할 때보다 더 크게 스케일링된다. 조작 스포트라이트(62)는 가상으로만 존재하고 일반적으로 디스플레이 장치(59)에 표시되지 않는다. 조작 스포트라이트(62)는 가시화를 위해서만 표시된다.
도 5a 내지 5d에는 손가락(71)이 디스플레이 장치(72)에 접근할 때 조작 스포트라이트(70)가 어떻게 변하는지 그리고 이것이 바람직한 실시예에서 조작 소자의 스케일링에 어떤 영향을 주는지가 도시된다. 도 5a 내지 5d에 도시된 디스플레이 장치(72)의 화면(73)은 각각 조작 소자인 관심 점(81-86)을 가진 네비게이션 지도를 나타낸다. 도 5a에서는, 조작 스포트라이트(70) 내에 놓인 관심 점(61-65)이 조작 스포트라이트(70)의 외부에 놓인 관심 점(86)보다 더 크게 표시된 촉각 레이아웃이 선택된다. 도 5a에 따른 화면(73)은 조작하는 손이 디스플레이 장치(72)로부터 여전히 멀리 떨어진 표시에 상응한다. 따라서, 도 5A에는 손가락이 도시되지 않는다. 손가락(71)의 접근시, 조작 스포트라이트(70)의 반경(74)이 줄어들기 때 문에, 도 5b에서 조작 스포트라이트(70)는 더 작게 표시된다. 조작 스포트라이트(70)의 위치(75)(중심) 가까이에 있는 조작 소자들(82, 83)은 최대로 스케일링된다. 그러나, 관심 점(86)은 도 5a 내의 표시보다 더 크게 스케일링된다. 손가락(71)이 더 접근할 때, 손가락(71)의 동작 방향의 분석은 조작 스포트라이트(70)의 위치(75)가 약간 이동되었다는 것을 나타낸다. 따라서, 도 5c에서 관심 점(82)은 조작 스포트라이트(70)의 중심점(75)으로부터 멀리 떨어진 점(83)보다 더 크게 스케일링된다. 도 5d에는 조작 소자의 표시에 대해 규정된 활성화 영역에 손가락(71)이 있는 상황이 도시된다. 터치 스크린으로 형성된 쌍방향 조작 장치의 경우, 이것은 일반적으로 그래픽 표시의 면이다. 무접촉 동작 센서를 가진 조작 장치의 경우, 이것은 바람직하게는 조작 소자의 그래픽 표시 앞에 작은 간격을 두고 또는 이것에 인접하게 규정된 3차원 영역일 수 있다.
신체 부위, 여기서는 손가락(71)이 활성화 영역 내에 있으면, 조작 소자에 할당된 조작 동작이 활성화된다.
도 6a에는 조작 소자들(151)이 2 그룹(152, 153)으로 배치된 디스플레이 장치(150)를 도시한다. 제 1 그룹(152)에는 관련 조작 소자들(151)이 리스트로서 배치된다. 제 2 그룹에는 조작 소자들(151)이 숫자판으로서 배치된다. 도 6a에는 2개의 그룹(152, 153)의 조작 소자들(151)이 디스플레이 장치(150)에서 작은 면적만을 차지한다. 면적의 대부분은 다른 정보(도시되지 않음)의 표시를 위해 사용된다.
손가락(155)이 디스플레이 장치(150)에 접근하면, 조작 소자들(151)은 2개의 그룹들(152, 153) 중 하나에서 확대되어 표시된다. 리스트로서 형성된 제 1 그룹(152)의 조작 소자들(151) 중 하나에 대한 조작 의도가 검출되면, 리스트는 도 6B에 도시된 바와 같이 확대되어 표시된다. 손가락(155)이 조작 소자(151)의, 숫자판으로서 형성된 제 2 그룹(153)에 접근하면, 상기 조작 소자들은 도 6c에 도시된 바와 같이 확대되어 표시된다.
도 5a 내지 5d와 관련해서 설명된 실시예에서 조작 소자들의 중심점은 바람직하게 디스플레이 장치에서 이동되지 않는 반면, 도 6a 내지 6c와 관련해서 설명된 실시예에서는 조작 소자들의 위치가 변한다.
도 7a 및 7b를 참조하면, 검출된 조작 의도가 리스트로부터 하나의 조작 소자를 선택하기 위해 어떻게 바람직하게 이용될 수 있는지가 설명된다.
도 7a에는 조작 소자들(161-169)의 수평 리스트(160)가 디스플레이 장치(170)에 표시된다. 조작 의도가 검출되면, 리스트(160)의 조작 소자들(165) 중 하나에 포커스가 할당된다. 이 경우, 숫자 "5"로 표시된 소작 소자(165)에 포커스가 할당된다. 이 사실은 조작 소자(165)가 확대되어 표시됨으로써 알게 된다. 일반적으로, 포커스는 디스플레이 장치(170)의 중심에 표시된 리스트(160) 중 하나의 조작 소자에 할당된다. 대안으로서, 포커스는 에지에 표시된 조작 소자에 할당될 수도 있다.
사용자가 그 손가락(171)을 디스플레이 장치(170)의 에지로 움직임으로써, 포커스는 "이동"될 수 있다. 도 7a에서, 손가락(171)은 디스플레이 장치(170)의 우측 에지(172)에 있다. 이로 인해, 실시예에서 포커스가 우측으로 이동될 수 있 다.
대안으로서, 포커스가 디스플레이 장치(170)의 중심에 유지되고 조작 소자들(161-169)이 포커스에 대해 상대적으로 이동되는 것도 바람직하다. 즉, 화살표 173으로 도시된 바와 같이, 조작판이 좌측으로 이동된다. 즉, 숫자 "6"을 가진 숫자판(166)에 포커스가 다음으로 할당되고, 상기 숫자판(166)은 디스플레이 장치(170)의 중심에 확대되어 표시된다.
2개의 실시예에서, 포커스는 조작 소자들의 리스트를 스크롤한다.
손가락(171)이 디스플레이 장치(170)의 중심 위로 움직이면, 이러한 과정은 종료될 수 있다. 후속해서, 포커스가 할당된 조작 소자가 관련 조작 동작을 트리거하기 위해 작동될 수 있다.
스크롤 속도는 손가락(171)의 위치에 따라 변할 수 있다. 즉, 손가락이 중심으로부터 멀리 움직일수록, 더 빨리 스크롤된다.
스크롤 방향은 손가락이 움직이는 방향과 일치하거나 또는 그 반대 방향일 수 있다. 리스트의 경우, 리스트가 무한한 것으로 고려되는 것도 가능하다. 즉, 마지막 리스트 소자에 제 1 리스트 소자가 다시 이어진다.
도 7b에는 조작 소자들(181-186)의 리스트가 표시된 디스플레이 장치(180)가 도시된다. 손가락(187)이 디스플레이 장치(180)에 접근하면, 조작 소자들(181-186) 중 하나에 포커스가 할당된다. 포커스가 할당된 조작 소자(183)는 최적의 작동을 위해 확대되어 표시된다. 손가락(187)은 디스플레이 장치(180)의 하부 에지(188)에 배치된다. 이로 인해, 조작 소자들(181-186)은 "포커스에 의해" 화살 표(189)로 표시된 바와 같이 상부로 이동된다. 손가락(187)이 디스플레이 장치(180)의 중심으로 움직이면, 스크롤 과정은 중단된다. 포커스 내의 조작 소자는 최적으로 작동될 수 있다. 손가락(187)이 포커스와 디스플레이 장치(180)의 상부 에지(190) 사이의 한 위치로 이동되면, 조작 소자들(181-186)이 하부로 이동된다. 따라서, 스크롤이 2개의 방향으로 이루어질 수 있다.
포커스가 디스플레이 장치의 한 위치에 고정될 필요는 없다. 오히려, 포커스는 그것에 할당된 조작 소자와 함께 움직일 수 있다. 상기 조작 소자가 포커스의 미리 정해진 설정 위치로부터 리스트의 후속 조작 소자 보다 더 멀리 떨어지면, 포커스는 상기 후속 조작 소자로 스킵한다.
다수의 조작 소자들이 확대되어 표시되는 다른 실시예들도 제공될 수 있다. 예컨대, 하나의 메인 포커스 및 2개의 서브 포커스가 제공될 수 있다. 서브 포커스들에 할당된 조작 소자들은 확대되지만, 메인 포커스에 할당된 조작 소자 보다 약간 더 작게 표시된다.
실시예에서는, 사용자의 신체 부위, 특히 손가락이 미리 주어진 체류 시간 동안 변함없이 고정되고 표시된 정보의 조정이 이루어지지 않으면, 최대 조작 확률이 검출된 조작 소자(예컨대, 고정 포커스 내에 또는 조작 스포트라이트의 중심에 있는)가 작동된다. 이는 특히, 손가락이 조작 소자의 실제 활성화 영역 내에 있지 않은 경우에 해당된다. 이로 인해, 조작 소자의 거의 작동 없는 조작이 이루어질 수 있다.
도 8에는 자동차(101) 내의 쌍방향 조작 장치(100)의 실시예가 개략적으로 도시된다. 이 실시예는 디스플레이 장치(102)를 포함하고, 상기 디스플레이 장치에 정보가 시각 레이아웃 및 촉각 레이아웃으로 표시될 수 있다. 조작 장치(100) 내에는 수신 센서들(104)이 통합되고, 상기 센서들은 사용자의 신체(106, 108)를 통해 전달되는 고주파 신호를 무접촉으로 수신할 수 있고, 상기 신호는 신체(106, 108) 근처에 배치된 신호 발생기(110, 112)에 의해 신체 내로 공급된다. 신호 발생기들(110, 112)은 신호 발생기 유닛(113)과 접속되고, 상기 신호 발생기 유닛은 다시 차량 버스 시스템(126)과 결합된다. 신호 발생기 유닛(113)은 좁은 의미에서 센서 유닛인 수신 센서(104)와 함께 센서 시스템 또는 센서 유닛으로서 고려될 수 있다. 쌍방향 조작 장치(100)는 또한 표시 모듈(122)을 포함하는 제어 유닛(120)을 포함한다. 표시 모듈(122)은 디스플레이 장치(102)에 표시될 정보를 제공한다. 특히, 표시 모듈(122)은 정보를 시각 레이아웃 또는 촉각 레이아웃에 따라 조정한다. 쌍방향 조작 장치(100)는 또한 수신 유닛(124)을 포함하고, 상기 수신 유닛(124)은 예컨대 차량 버스 시스템(126)을 통해 예컨대 카메라 시스템(130)으로서 또는 초음파 센서 시스템(132)으로서 형성될 수 있는 센서 유닛으로부터 정보를 수신한다. 또한, 수신 유닛(124)은 차량 버스 시스템(126)을 통해 자동차(101)의 주행 상태에 대한 정보를 수신한다. 주행 상태에 대한 정보를 포함하는 수신된 센서 정보를 기초로, 평가 모듈(128)에 의해 사용자(106 또는 108)의 조작 의도가 검출된다. 검출된 조작 의도에 따라 표시 모듈(122)는 디스플레이 장치(102)에 표시되는 정보를 변화시킨다. 평가 모듈(128)은 바람직하게는 조작 스포트라이트, 및 개별 조작 소자들에 대해 조작 확률이 검출되도록 형성된다.
제어 유닛은 또한 활성화 모듈(134)을 포함한다. 신체 부위, 예컨대 손가락이 디스플레이 장치(102)에서 조작 소자의 표시에 대해 정해진 활성화 영역 내에 있으면, 상기 활성화 모듈(134)이 조작 동작을 트리거하거나 활성화한다. 이 경우, 자동차(101)의 다른 제어 장치에 영향을 주는 신호들은 차량 버스를 통해 전송될 수 있다.
제어 유닛(120) 및 개별적으로 포함된 모듈(122, 128, 134)은 하드웨어 및 소프트웨어로 구현될 수 있다.
디스플레이 장치는 표시된 정보들을 면에 투시하는 투시 디스플레이로서 형성될 수 있다. 이러한 경우에는 상기 면과 신체 부위 사이의 간격 또는 상기 면에 대한 신체 부위의 동작 또는 상기 면에 대한 시각 등이 중요하다.
고주파 신호를 신체를 통해 전달하는 센서 유닛은 약 80 kHz 내지 150 kHz 범위의 주파수를 갖는 것이 특히 바람직한 것으로 나타났다. 그러나, 센서 유닛은 상기 주파수 범위 외의 주파수로 작동될 수도 있다.
신체를 통해 고주파 신호를 전송함으로써 신체 부위를 검출하는 센서 유닛과 더불어 또는 그러한 센서 유닛에 대한 대안으로서, 무접촉으로 작동하는 다른 센서 유닛, 예컨대 초음파를 기초로 하는 센서 유닛, 또는 광학 방법을 사용하는 센서 유닛이 사용될 수 있다. 이러한 센서 유닛은 예컨대 하기 원리에 따라 형성될 수 있다. 송신 LED는 구형파로 진폭 변조된, 광 또는 적외선 파장 범위의 광 신호를 방출한다. 물체에서 반사된 광 신호는 포토 다이오드에 의해 검출된다. 보상 LED에 의해 180°위상 변위된, 마찬가지로 구형파로 진폭 변조된 기준 광 신호가 불변 광 경로를 통해 포토 다이오드로 송출된다. 보상 LED는 조절 회로의 조절 신호에 의해, 송신 LED의 수신되어 반사된 광 신호 및 보상 LED의 수신된 기준 광 신호가 포토 다이오드에서 상쇄되어 직류 신호가 검출되록, 조절된다. 조절 신호의 변화는 물체의 간격에 대한 척도이다. 상기 원리에 따라 형성된 센서 유닛은 온도 변화 및 명도 변화와는 관계없다.
바람직하게 하나 이상의 센서 유닛 또는 다수의 센서 유닛은 신체 부위의 평면 크기를 (경우에 따라 협동에 의해) 인지할 수 있도록 형성된다. 이로 인해, 신체 부위, 예컨대 손으로 하는 제스처가 검출될 수 있고 조작 의도로서 해석될 수 있다. 신체 부위 자체, 특히 손 자세에만 의존하는 제스처는 고정 또는 정적 제스처라고 한다. 도 9에 도시된 바와 같이, 디스플레이 장치 앞에 편평하게 유지되는 손(140)은 예컨대 정지 신호로 해석될 수 있다. 정지 신호는 스크롤 과정을 정지시키거나 또는 미리 주어진 시간 간격 동안 표시된 정보의 조정을 방지한다. 도 10 및 도 11은 왼손(140)으로 실시되는 다른 간단한 정적 제스처를 예시적으로 도시한다. 손의 다수의 부분이 분리되어 분해될 수 있으면, 도 12 내지 도 17에 예시적으로 도시된 바와 같이, 구별된 고정 제스처들이 검출되고 사용될 수 있다.
특정 공간 영역에서 신체 부위의 동작이 미리 주어진 궤도 곡선과 비교되면, 동적 제스처가 검출될 수 있다. 궤도 곡선에 대한 예가 도 18에는 2차원 평면으로 그리고 도 19에는 3차원 공간으로 예시적으로 도시된다. 동적 제스처에 대한 예는 도 20 내지 도 27에 도시된다. 도 20에 따른 제스처는 수평으로 편평하게 편 손(140)의 상부로 향한 동작을 포함하고, 도 21에 따른 제스처는 하부로 향한 손(140)의 동작에 상응한다. 도 22 내지 도 25에서 제스처는 수직으로 편평하게 편 손의, 디스플레이 장치로부터 멀어지는(도 22) 또는 디스플레이 장치를 향하는(도 23) 그리고 좌측으로 향하는(도 24) 또는 우측으로 향하는(도 25) 동작으로 실시된다. 신체 부위의 접근 및/또는 이동 경로의 속도로 해석되어 사용될 수 있다. 도 26 및 도 27에 도시된 제스처는 편 손(140)을 그 종축을 중심으로 시계 방향 또는 반시계 방향으로 회전함으로써 실시된다. 제스처들은 각각 2개의 반대 동작 방향을 포함할 수 있다. 궤도 곡선의 분석시, 동작을 규정하는 공간 점과 더불어, 동작 속도도 고려될 수 있다.
손의 다수의 부분들이 분리되어 분해되고 및/또는 그 상대 속도가 검출될 수 있으면, 복합 제스처 또는 손 자세 및 동작 과정, 예컨대 편평한 손의 손가락을 벌림 및 붙임 또는 손가락을 주먹 쥠(도 28) 및 주먹을 폄(도 29)이 평가되고 상응하게 고려된다. 다른 복합 제스처들은 예시적으로 도 30 및 도 31에 도시되며, 상기 도면들에서 상응하는 제스처의 실시는 손가락(142)을 구부림(도 30) 및 손가락(142)을 폄(도 31)을 포함한다. 도 32에는 손(140)의 하나의 선회점에서 손가락(142)의 구부림에 추가해서 우측으로 동작을 하는 복합 제스처가 도시된다. 도 33에 예시적으로 도시된 복합 제스처는 원래 수직으로 향한, 편평하게 편 손(140)을 쥠 그리고 동시에 실시하는, 우측으로 약 90°만큼 손의 회전을 포함한다.
도시된 제스처들은 단지 예시적 제스처이다. 개별 제스처들에는 상이한 조작 의도가 할당될 수 있고, 상기 조작 의도는 표시된 정보의 상응하는 조정을 야기한다.
바람직하게는 쌍방향 조작 장치가 학습 모드로 작동될 수 있고, 상이한 사람들에 의한 개별적 특성의 특정 제스처를 학습할 수 있다. 예컨대, 운전자는 특정 제스처의 실시를 요구받을 수 있다. 상기 실시 동안 검출되는 측정 데이터를 기초로, 제스처의 개별 특성이 학습될 수 있다. 이러한 학습은 바람직하게는 개인에 관련해서 이루어진다. 개인 식별은 제스처 특성 자체에 의해 이루어질 수 있거나 또는 예컨대 차량 키에 코딩된 사용자 또는 운전자 식별을 통해 이루어진다.
몇몇 실시예들은 운전자의 제스처가 동승자의 제스처와 구별될 수 있도록 형성된다. 쌍방향 조작 장치가 차량의 중앙 콘솔에 배치되면, 제스처들이 우측 손으로 실시되는지 또는 좌측 손으로 실시되는지의 여부에 따라 운전자의 제스처인지 또는 동승자의 제스처인지가 판단된다. 이 경우에는, 운전자와 동승자가 중앙 콘솔에 가까운 손으로 조작한다고 가정한다. 센서 유닛에 의해 신체 부위의 위치 검출을 위해 사용되는 상이한 고주파 신호가 운전자 및 동승자의 신체를 통해 전달됨으로써, 운전자와 동승자의 구별을 가능하게 하는 센서 유닛의 경우, 운전자와 동승자의 제스처 구별은 센서 유닛의 정보에 의해 가능하다. 구별이 가능하면, 동일한 제스처에 상이한 조작 의도 또는 운전자 및 동승자에 대한 상이한 표시 기능 또는 조정 기능이 할당될 수 있다.

Claims (33)

  1. 디스플레이 장치(35; 43; 59; 72; 102; 150; 170; 180), 상기 디스플레이 장치(35; 43; 59; 72; 102; 150; 170; 180)에 표시된 및/또는 표시 가능한 조작 소자들(33; 61; 151; 161-169; 181-186)을 포함하는 정보를 구비하는, 특히 자동차(101) 내의 쌍방향 조작 장치(100)의 작동 방법에 있어서,
    - 상기 디스플레이 장치(35; 43; 59; 72; 102; 150; 170; 180)에 표시된 하나 이상의 조작 소자들(33; 61; 151; 161-169; 181-186)에 대한 조작 의도를 검출하는 단계, 및
    - 상기 검출된 조작 의도에 따라 상기 디스플레이 장치(35; 43; 59; 72; 102; 150; 170; 180)에 표시된 정보가 조정됨으로써, 상기 하나 이상의 조작 소자(33; 61; 151; 161-169; 181-186)가 상기 하나 이상의 조작 소자(33; 61; 151; 161-169; 181-186)의 활성화를 위해 최적화되어 표시되는 단계를 포함하는 쌍방향 조작 장치의 작동 방법.
  2. 제 1항에 있어서, 상기 디스플레이 장치(35; 43; 59; 72; 102; 150; 170; 180)에 표시된 하나 이상의 조작 소자(33; 61; 151; 161-169; 181-186)에 대한 조작 의도를 검출하기 위해, 상기 디스플레이 장치(35; 43; 59; 72; 102; 150; 170; 180)에서 상기 조작 소자들(33; 61; 151; 161-169; 181-186) 중 하나 이상의 조작 소자의 표시 영역에 대해 공간적으로 규정된 활성화 영역 내에 사용자의 신체 부 위(36)가 배치되는지의 여부가 검출되는 것인 쌍방향 조작 장치의 작동 방법.
  3. 제 1항 또는 제 2항에 있어서, 상기 하나 이상의 조작 소자(33; 61; 151; 161-169; 181-186)에 대한 상기 조작 의도는 시간적으로 조작 동작의 활성화 이전에 검출되는 것인 쌍방향 조작 장치의 작동 방법.
  4. 제 1항 내지 제 3항 중 어느 한 항에 있어서, 상기 조작 의도의 검출 및 상기 표시된 정보의 상응하는 조정은 반복적으로 또는 연속적으로 이루어지는 것인 쌍방향 조작 장치의 작동 방법.
  5. 제 2항 내지 제 4항 중 어느 한 항에 있어서, 상기 조작 의도의 검출을 위해, 신체 동작, 특히 상기 신체 부위(36)의 동작 방향, 및/또는 사용자의 시야 방향에 대한 정보를 포함하는 정보가 사용되는 것인 쌍방향 조작 장치의 작동 방법.
  6. 제 5항에 있어서, 상기 정보를 기초로 상기 신체 부위(36)와 상기 조작 소자(33; 61; 151; 161-169; 181-186)의 표시 사이의 간격이 검출되고, 상기 조작 소자(33; 61; 151; 161-169; 181-186)는 상기 간격에 따라 스케일링되는 것인 쌍방향 조작 장치의 작동 방법.
  7. 제 1항 내지 제 6항 중 어느 한 항에 있어서, 상기 사용자 정보는 적어도 부 분적으로 카메라 시스템(130) 및/또는 초음파 센서 시스템에 의해 검출되는 것인 쌍방향 조작 장치의 작동 방법.
  8. 제 1항 내지 제 7항 중 어느 한 항에 있어서, 상기 조작 의도의 검출을 위해 최적화되어 표시된 정보의 조정시 고려되는 주행 상황에 대한 주변 정보를 포함하는 정보가 사용되는 것인 쌍방향 조작 장치의 작동 방법.
  9. 제 1항 내지 제 8항 중 어느 한 항에 있어서, 상기 조작 의도의 검출시, 상기 조작 소자(33; 61; 151; 161-169; 181-186)에 대한 조작 확률 및 경우에 따른 상기 다른 조작 소자들(33; 61; 151; 161-169; 181-186)에 대한 다른 조작 확률들이 검출되고, 조작 확률에 따라 관련 조작 동작 또는 다른 조작 동작의 활성화를 위해 상기 표시된 정보의 조정이 최적화되어 표시되도록 이루어지는 것인 쌍방향 조작 장치의 작동 방법.
  10. 제 1항 내지 제 9항 중 어느 한 항에 있어서, 상기 디스플레이 장치에 표시된 정보의 조정시, 투명도, 상기 조작 소자(33; 61; 151; 161-169; 181-186)의 크기, 인접한 다른 조작 소자들(33; 61; 151; 161-169; 181-186)과의 간격 및/또는 상기 조작 소자(33; 61; 151; 161-169; 181-186) 또는 다수의 조작 소자들(33; 61; 151; 161-169; 181-186)의 애니메이션이 변하는 것인 쌍방향 조작 장치의 작동 방법.
  11. 제 1항 내지 제 10항 중 어느 한 항에 있어서, 상기 조작 의도의 검출시, 신체 부위에 의해 실행되는 제스처가 검출되어 평가되고, 상기 표시된 정보의 조정은 각각 검출된 제스처에 할당된 조정 기능에 따라 이루어지는 것인 쌍방향 조작 장치의 작동 방법.
  12. 제 1항 내지 제 11항 중 어느 한 항에 있어서, 상기 제스처는 미리 규정된 신체 부위 자세에 의해 검출되는 하나 이상의 정적 제스처를 포함하는 것인 쌍방향 조작 장치의 작동 방법.
  13. 제 1항 내지 제 12항 중 어느 한 항에 있어서, 상기 제스처는 상기 신체 부위가 지나가는 미리 규정된 궤도 곡선에 의해 검출되는 하나 이상의 동적 제스처를 포함하는 것인 쌍방향 조작 장치의 작동 방법.
  14. 제 1항 내지 제 13항 중 어느 한 항에 있어서, 상기 제스처는 미리 규정된 정적 제스처의 연속함에 의해 및/또는 미리 규정된 궤도 곡선을 지나가는 정적 제스처에 의해 검출되는 복합 제스처를 포함하는 것인 쌍방향 조작 장치의 작동 방법.
  15. 제 1항 내지 제 14항 중 어느 한 항에 있어서, 조작 의도가 검출되지 않으 면, 상기 디스플레이 장치에 표시된 정보는 시각 정보 전송을 위해 최적화된 표시를 위해 조정되는 것인 쌍방향 조작 장치의 작동 방법.
  16. 특히 자동차(101) 내의 쌍방향 조작 장치(100)로서, 조작 소자들(33; 61; 151; 161-169; 181-186)을 포함하는 정보가 표시될 수 있고 및/또는 표시되는 디스플레이 장치(35; 43; 59; 72; 102; 150; 170; 180), 및 제어 장치(120)를 포함하고, 상기 제어 장치(120)는, 상기 디스플레이 장치(35; 43; 59; 72; 102; 150; 170; 180)에 표시된 하나 이상의 조작 소자들에 대한 조작 의도의 검출시, 상기 디스플레이 장치(35; 43; 59; 72; 102; 150; 170; 180)에 표시된 정보가 상기 검출된 조작 의도에 따라 조정됨으로써, 상기 하나 이상의 조작 소자(33; 61; 151; 161-169; 181-186)가 상기 조작 소자(33; 61; 151; 161-169; 181-186)의 활성화를 위해 최적화되어 표시되도록 형성되는 것인 쌍방향 조작 장치.
  17. 제 16항에 있어서, 상기 디스플레이 장치(35; 43; 59; 72; 102; 150; 170; 180)에 상기 조작 소자들(33; 61; 151; 161-169; 181-186) 중 하나 이상의 조작 소자의 표시 영역에 대해 공간적으로 규정된 활성화 영역 내에서 사용자의 신체 부위(36)를 검출하기 위한 하나 이상의 센서 장치는 상기 디스플레이 장치(35; 43; 59; 72; 102; 150; 170; 180)에 표시된 하나 이상의 조작 소자에 대한 조작 의도를 검출하기 위해 제공되는 것인 쌍방향 조작 장치의 작동 방법.
  18. 제 16항 또는 제 17항에 있어서, 상기 제어 장치(120)는 상기 조작 의도의 검출 및 상기 표시된 정보의 상응하는 조정이 반복적으로 또는 연속적으로 실시될 수 있거나 및/또는 실시되도록 형성되는 것인 쌍방향 조작 장치의 작동 방법.
  19. 제 17항 또는 제 18항에 있어서, 상기 센서 정보는 사용자의 신체 동작에 대한 정보를 포함하는 것인 쌍방향 조작 장치의 작동 방법.
  20. 제 16항 내지 제 19항 중 어느 한 항에 있어서, 상기 사용자 정보는 적어도 부분적으로 카메라 시스템 및/또는 초음파 센서 시스템에 의해 검출될 수 있거나 및/또는 검출되는 것인 쌍방향 조작 장치의 작동 방법.
  21. 제 17항 내지 제 20항 중 어느 한 항에 있어서, 상기 센서 정보는 사용자의 시야 방향 및/또는 사용자의 신체 부위(36)의 동작 방향에 대한 정보를 포함하는 것인 쌍방향 조작 장치의 작동 방법.
  22. 제 17항 내지 제 21항 중 어느 한 항에 있어서, 상기 제어 장치(120)는, 상기 센서 정보를 기초로 상기 신체 부위(36)의 동작 방향 및/또는 사용자의 시야 방향이 검출될 수 있거나 및/또는 검출되도록 형성되는 것인 쌍방향 조작 장치의 작동 방법.
  23. 제 16항 내지 제 22항 중 어느 한 항에 있어서, 상기 제어 장치(120)는 최적으로 표시된 정보의 조정시 주행 상황에 대한 주변 정보가 고려될 수 있거나 및/또는 고려되도록 형성되는 것인 쌍방향 조작 장치의 작동 방법.
  24. 제 16항 내지 제 23항 중 어느 한 항에 있어서, 상기 조작 의도의 검출시, 상기 조작 소자(33; 61; 151; 161-169; 181-186)에 대한 조작 확률 및 경우에 따라 상기 다른 조작 소자(33; 61; 151; 161-169; 181-186)에 대한 다른 조작 확률들이 검출될 수 있거나 및/또는 검출되고, 상기 표시된 정보의 조정은, 그 조작 확률에 따라 관련 조작 동작 또는 다른 조작 동작의 활성화를 위해 최적화되어 표시될 수 있거나 및/또는 표시되도록 이루어지는 것인 쌍방향 조작 장치의 작동 방법.
  25. 제 17항 내지 제 24항 중 어느 한 항에 있어서, 상기 제어 장치(120)는 상기 센서 정보를 기초로 상기 신체 부위(36)와 상기 조작 소자(33; 61; 151; 161-169; 181-186)의 표시 사이의 간격이 검출될 수 있거나 및/또는 검출되고, 상기 조작 소자(33; 61; 151; 161-169; 181-186)는 상기 간격에 따라 스케일링될 수 있거나 및/또는 스케일링되도록 형성되는 것인 쌍방향 조작 장치의 작동 방법.
  26. 제 16항 내지 제 25항 중 어느 한 항에 있어서, 상기 조정시, 투명도, 인접한 다른 조작 소자들(33; 61; 151; 161-169; 181-186)의 간격 및/또는 상기 조작 소자(33; 61; 151; 161-169; 181-186) 또는 다수의 조작 소자들(33; 61; 151; 161- 169; 181-186)의 애니메이션이 변할 수 있거나 및/또는 변하는 것인 쌍방향 조작 장치의 작동 방법.
  27. 제 16항 내지 제 26항 중 어느 한 항에 있어서, 조작 의도가 검출될 수 없거나 및/또는 검출되지 않는 경우, 상기 디스플레이 장치(35; 43; 59; 72; 102; 150; 170; 180)에 표시된 정보는 시각 정보 전송을 위해 최적화된 표시에 대해 조정되는 것인 쌍방향 조작 장치의 작동 방법.
  28. 제 17항 내지 제 27항 중 어느 한 항에 있어서, 상기 하나 이상의 센서 장치는 센서 정보가 사용자의 신체를 통해 전송되는 고주파 신호에 의해 검출되도록 형성되며, 상기 센서 정보는 특히 상기 신체 부위(36)의 위치를 포함할 수 있는 것인 쌍방향 조작 장치의 작동 방법.
  29. 제 17항 내지 제 27항 중 어느 한 항에 있어서, 상기 적어도 하나의 센서 장치는 위치 분해 접촉 감지 장치로서 형성되는 것인 쌍방향 조작 장치의 작동 방법.
  30. 제 17항 내지 제 29항 중 어느 한 항에 있어서, 상기 하나 이상의 센서 장치는 상기 신체 부위에 의해 실행되는 제스처를 검출하고 평가하도록 형성되고, 상기 표시된 정보의 조정은 상기 검출된 제스처에 할당된 조정 기능에 따라 실시될 수 있는 것인 쌍방향 조작 장치의 작동 방법.
  31. 제 30항에 있어서, 상기 제스처는 상기 하나 이상의 센서 장치에 의해 미리 규정된 신체 부위 자세로서 검출될 수 있는 하나 이상의 정적 제스처를 포함하는 것인 쌍방향 조작 장치의 작동 방법.
  32. 제 30항 또는 제 31항에 있어서, 상기 제스처는 상기 하나 이상의 센서 장치에 의해 신체 부위가 지나가는 미리 규정된 궤도 곡선에 의해 검출될 수 있는 하나 이상의 동적 제스처를 포함하는 것인 쌍방향 조작 장치의 작동 방법.
  33. 제 30항 내지 제 32항 중 어느 한 항에 있어서, 상기 제스처는 상기 하나 이상의 센서 장치에 의해 미리 규정된 정적 제스처의 연속함에 의해 및/또는 미리 규정된 궤도 곡선을 지나가는 정적 제스처에 의해 검출될 수 있는 하나 이상의 복합 제스처를 포함하는 것인 쌍방향 조작 장치의 작동 방법.
KR1020087017681A 2006-03-22 2007-03-22 쌍방향 조작 장치 및 쌍방향 조작 장치의 작동 방법 KR101367593B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
DE102006013067 2006-03-22
DE102006013067.7 2006-03-22
DE102006014426.0 2006-03-27
DE102006014426 2006-03-27
DE102006037156.9 2006-08-02
DE102006037156A DE102006037156A1 (de) 2006-03-22 2006-08-02 Interaktive Bedienvorrichtung und Verfahren zum Betreiben der interaktiven Bedienvorrichtung
PCT/EP2007/002553 WO2007107368A1 (de) 2006-03-22 2007-03-22 Interaktive bedienvorrichtung und verfahren zum betreiben der interaktiven bedienvorrichtung

Publications (2)

Publication Number Publication Date
KR20080108970A true KR20080108970A (ko) 2008-12-16
KR101367593B1 KR101367593B1 (ko) 2014-02-25

Family

ID=38171608

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087017681A KR101367593B1 (ko) 2006-03-22 2007-03-22 쌍방향 조작 장치 및 쌍방향 조작 장치의 작동 방법

Country Status (7)

Country Link
US (1) US9671867B2 (ko)
EP (1) EP1998996B1 (ko)
JP (2) JP5275970B2 (ko)
KR (1) KR101367593B1 (ko)
CN (1) CN106427571B (ko)
DE (1) DE102006037156A1 (ko)
WO (1) WO2007107368A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011119154A1 (en) * 2010-03-24 2011-09-29 Hewlett-Packard Development Company, L.P. Gesture mapping for display device
KR20130068945A (ko) * 2011-12-16 2013-06-26 현대자동차주식회사 차량 인터랙션 시스템
KR20150067679A (ko) * 2013-12-10 2015-06-18 현대자동차주식회사 차량용 제스처 인식 시스템 및 그 방법
KR20150135933A (ko) * 2014-05-26 2015-12-04 엘지전자 주식회사 동작 인식 장치 및 그 동작 방법
KR20170109090A (ko) * 2012-12-11 2017-09-27 폭스바겐 악티엔 게젤샤프트 작동 방법 및 작동 장치
KR20180091958A (ko) * 2014-05-07 2018-08-16 폭스바겐 악티엔 게젤샤프트 사용자 인터페이스 및 사용자 인터페이스의 스크린 뷰 전환 방법

Families Citing this family (369)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7834855B2 (en) 2004-08-25 2010-11-16 Apple Inc. Wide touchpad on a portable computer
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US7694231B2 (en) * 2006-01-05 2010-04-06 Apple Inc. Keyboards for portable electronic devices
DE102006037156A1 (de) * 2006-03-22 2007-09-27 Volkswagen Ag Interaktive Bedienvorrichtung und Verfahren zum Betreiben der interaktiven Bedienvorrichtung
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
JP5030580B2 (ja) 2006-12-27 2012-09-19 タカタ株式会社 車両用作動システム、車両
US7957955B2 (en) * 2007-01-05 2011-06-07 Apple Inc. Method and system for providing word recommendations for text input
US8074172B2 (en) 2007-01-05 2011-12-06 Apple Inc. Method, system, and graphical user interface for providing word recommendations
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US7894953B2 (en) 2007-04-13 2011-02-22 Gm Global Technology Operations, Llc Interior component management of a vehicle via occupant monitoring
US8219936B2 (en) * 2007-08-30 2012-07-10 Lg Electronics Inc. User interface for a mobile device using a user's gesture in the proximity of an electronic device
US8432365B2 (en) * 2007-08-30 2013-04-30 Lg Electronics Inc. Apparatus and method for providing feedback for three-dimensional touchscreen
DE102007054310A1 (de) * 2007-11-08 2009-05-14 Volkswagen Ag Multifunktionsanzeige- und Bediensystem und Verfahren zum Bedienen von Funktionen oder Fahrzeugsystemen mit einem assistierten Bedienmodus
DE102008051756A1 (de) 2007-11-12 2009-05-14 Volkswagen Ag Multimodale Benutzerschnittstelle eines Fahrerassistenzsystems zur Eingabe und Präsentation von Informationen
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US20090172606A1 (en) * 2007-12-31 2009-07-02 Motorola, Inc. Method and apparatus for two-handed computer user interface with gesture recognition
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US20090174679A1 (en) 2008-01-04 2009-07-09 Wayne Carl Westerman Selective Rejection of Touch Contacts in an Edge Region of a Touch Surface
US8232973B2 (en) 2008-01-09 2012-07-31 Apple Inc. Method, device, and graphical user interface providing word recommendations for text input
DE102008005106B4 (de) 2008-01-14 2023-01-05 Bcs Automotive Interface Solutions Gmbh Bedienvorrichtung für ein Kraftfahrzeug
DE102008004970B4 (de) 2008-01-17 2020-11-19 Volkswagen Ag Bediensystem mit positionsveränderlicher Bedieneinheit und Verfahren zum Betreiben einer Bedieneinheit
US9092134B2 (en) * 2008-02-04 2015-07-28 Nokia Technologies Oy User touch display interface providing an expanded selection area for a user selectable object
CN101533320B (zh) * 2008-03-10 2012-04-25 神基科技股份有限公司 触控显示装置区域影像的近接放大显示方法及其装置
DE102008017986A1 (de) 2008-04-04 2009-10-08 Volkswagen Ag Auswahl von Anzeigemodi "Skins" für ein Infotainmentsystem
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
KR101495164B1 (ko) * 2008-04-10 2015-02-24 엘지전자 주식회사 이동단말기 및 그 화면 처리 방법
DE102008023505B4 (de) 2008-05-09 2021-02-04 Volkswagen Ag Unterstützung eines Infotainment-Systems durch Farbcodierung
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US8576181B2 (en) * 2008-05-20 2013-11-05 Lg Electronics Inc. Mobile terminal using proximity touch and wallpaper controlling method thereof
DE102008032377A1 (de) 2008-07-09 2010-01-14 Volkswagen Ag Verfahren zum Betrieb eines Bediensystems für ein Fahrzeug und Bediensystem für ein Fahrzeug
US20100271320A1 (en) * 2008-07-21 2010-10-28 Roland Eckl Method and device for controlling a system
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
DE102008037977B4 (de) * 2008-08-08 2021-07-08 Volkswagen Ag Anzeigevorrichtung für ein Fahrzeug und Verfahren zum Anzeigen von Information im Innenraum eines Fahrzeugs
JP4752887B2 (ja) * 2008-09-12 2011-08-17 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
DE102008048826A1 (de) 2008-09-22 2010-03-25 Volkswagen Ag Verfahren zum Bestimmen eines Kalibrierwerts einer Anzeige- und Bedienvorrichtung sowie Anzeige- und Bedienvorrichtung in einem Kraftfahrzeug
DE102008048825A1 (de) 2008-09-22 2010-03-25 Volkswagen Ag Anzeige- und Bediensystem in einem Kraftfahrzeug mit nutzerbeeinflussbarer Darstellung von Anzeigeobjekten sowie Verfahren zum Betreiben eines solchen Anzeige- und Bediensystems
DE102008048821A1 (de) 2008-09-22 2010-03-25 Volkswagen Ag Bedienvorrichtung und Verfahren zum Betreiben einer Bedienvorrichtung mit verbesserter Annäherungserfassung
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
JP4650549B2 (ja) 2008-10-06 2011-03-16 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US20100095250A1 (en) * 2008-10-15 2010-04-15 Raytheon Company Facilitating Interaction With An Application
DE102009048043A1 (de) 2008-10-15 2010-04-22 Volkswagen Ag Multifunktionsanzeige- und Bediensystem sowie Verfahren zum Steuern eines solchen Systems mit optimierter grafischer Bediendarstellung
US20140033134A1 (en) * 2008-11-15 2014-01-30 Adobe Systems Incorporated Various gesture controls for interactions in between devices
WO2010064389A1 (ja) * 2008-12-04 2010-06-10 三菱電機株式会社 表示入力装置
US8294047B2 (en) 2008-12-08 2012-10-23 Apple Inc. Selective input signal rejection and modification
WO2010067118A1 (en) 2008-12-11 2010-06-17 Novauris Technologies Limited Speech recognition involving a mobile device
US8289286B2 (en) * 2008-12-19 2012-10-16 Verizon Patent And Licensing Inc. Zooming keyboard/keypad
US8762869B2 (en) * 2008-12-23 2014-06-24 Intel Corporation Reduced complexity user interface
US20100235780A1 (en) * 2009-03-16 2010-09-16 Westerman Wayne C System and Method for Identifying Words Based on a Sequence of Keyboard Events
CN102365610B (zh) 2009-03-31 2015-06-24 三菱电机株式会社 显示输入装置及车载信息设备
EP2426598B1 (en) * 2009-04-30 2017-06-21 Samsung Electronics Co., Ltd. Apparatus and method for user intention inference using multimodal information
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
DE102009032069A1 (de) 2009-07-07 2011-01-13 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Bereitstellen einer Benutzerschnittstelle in einem Fahrzeug
DE102009036368A1 (de) * 2009-08-06 2011-02-10 Volkswagen Ag Verfahren und Vorrichtung zum Bereitstellen einer Benutzerschnittstelle in einem Fahrzeug
DE102009036369A1 (de) 2009-08-06 2011-02-10 Volkswagen Ag Verfahren zum Betreiben einer Bedienvorrichtung und Bedienvorrichtung in einem Fahrzeug
US20120151415A1 (en) * 2009-08-24 2012-06-14 Park Yong-Gook Method for providing a user interface using motion and device adopting the method
DE102009038895A1 (de) * 2009-08-26 2010-09-16 Audi Ag Verfahren zum Unterstützen eines Bedienens von zumindest einer Einrichtung eines Fahrzeugs
US8667424B2 (en) 2009-08-26 2014-03-04 Mitac International Corp. Method of spreading out and displaying closely located points of interest on a personal navigation device
JP2011077863A (ja) * 2009-09-30 2011-04-14 Sony Corp 遠隔操作装置、遠隔操作システム、遠隔操作方法およびプログラム
JP2011081469A (ja) * 2009-10-05 2011-04-21 Hitachi Consumer Electronics Co Ltd 入力装置
DE102009048937A1 (de) * 2009-10-10 2011-04-14 Volkswagen Ag Multiview-Anzeige- und Bedienvorrichtung mit Nutzerunterscheidung
DE102009049110B4 (de) 2009-10-12 2022-12-01 Volkswagen Ag Verfahren und Vorrichtung zum Bereitstellen einer Benutzerschnittstelle in einem Fahrzeug
JP5029673B2 (ja) * 2009-10-30 2012-09-19 株式会社デンソー 車載機
US9244533B2 (en) * 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
KR101302134B1 (ko) * 2009-12-18 2013-08-30 한국전자통신연구원 복합 센서정보 제공 장치 및 방법
US20110179355A1 (en) * 2010-01-15 2011-07-21 Sony Ericsson Mobile Communications Ab Virtual information input arrangement
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
KR101304321B1 (ko) * 2010-01-22 2013-09-11 전자부품연구원 싱글 터치 압력에 기반한 ｕｉ 제공방법 및 이를 적용한 전자기기
FR2955813B1 (fr) 2010-02-02 2015-05-22 Dav Module de retour haptique destine a etre integre dans un vehicule automobile pour dispositif nomade et dispositif de commande correspondant
US8782556B2 (en) 2010-02-12 2014-07-15 Microsoft Corporation User-centric soft keyboard predictive technologies
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US8963832B2 (en) * 2010-03-05 2015-02-24 Lenovo Innovations Limited (Hong Kong) Mobile terminal
DE102011006448A1 (de) 2010-03-31 2011-10-06 Tk Holdings, Inc. Lenkradsensoren
US8587422B2 (en) 2010-03-31 2013-11-19 Tk Holdings, Inc. Occupant sensing system
DE102011006649B4 (de) 2010-04-02 2018-05-03 Tk Holdings Inc. Lenkrad mit Handsensoren
US8982160B2 (en) * 2010-04-16 2015-03-17 Qualcomm, Incorporated Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
JP2011253292A (ja) * 2010-06-01 2011-12-15 Sony Corp 情報処理装置および方法、並びにプログラム
JP5685837B2 (ja) * 2010-06-15 2015-03-18 ソニー株式会社 ジェスチャ認識装置、ジェスチャ認識方法およびプログラム
CH703401B1 (de) * 2010-07-02 2019-04-30 Ferag Ag Verfahren und Vorrichtung zum Erzeugen einer Benutzerschnittstelle zum Bedienen von Maschinen.
US20120050007A1 (en) * 2010-08-24 2012-03-01 Babak Forutanpour Methods and apparatus for interacting with an electronic device application by moving an object in the air over an electronic device display
US9389774B2 (en) * 2010-12-01 2016-07-12 Sony Corporation Display processing apparatus for performing image magnification based on face detection
JP2012118761A (ja) * 2010-12-01 2012-06-21 Panasonic Corp 操作入力装置
DE102010053788A1 (de) 2010-12-08 2012-06-14 Volkswagen Ag Verfahren zum Betreiben einer Bedienvorrichtung und Bedienvorrichtung in einem Fahrzeug
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US8514192B2 (en) * 2011-01-04 2013-08-20 Ma Lighting Technology Gmbh Method for operating a lighting control console
DE102011011802A1 (de) 2011-02-19 2012-08-23 Volkswagen Ag Verfahren und Vorrichtung zum Bereitstellen einer Benutzerschnittstelle, insbesondere in einem Fahrzeug
JP2012190261A (ja) * 2011-03-10 2012-10-04 Panasonic Corp 近接操作支援装置
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
JP2012208633A (ja) * 2011-03-29 2012-10-25 Ntt Docomo Inc 情報端末、表示制御方法及び表示制御プログラム
JP5789771B2 (ja) * 2011-05-27 2015-10-07 パナソニックＩｐマネジメント株式会社 操作入力装置、プログラム
US8760395B2 (en) 2011-05-31 2014-06-24 Microsoft Corporation Gesture recognition techniques
KR101859099B1 (ko) * 2011-05-31 2018-06-28 엘지전자 주식회사 휴대 전자기기 및 이의 제어방법
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US9471560B2 (en) * 2011-06-03 2016-10-18 Apple Inc. Autocorrecting language input for virtual keyboards
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
DE102011116122A1 (de) * 2011-10-15 2013-04-18 Volkswagen Aktiengesellschaft Verfahren zum Bereitstellen einer Bedienvorrichtungin einem Fahrzeug und Bedienvorrichtung
DE102011119082A1 (de) * 2011-11-21 2013-05-23 Übi UG (haftungsbeschränkt) Vorrichtungsanordnung zur Schaffung eines interaktiven Bildschirms aus einem Bildschirm
JP5510431B2 (ja) 2011-11-21 2014-06-04 株式会社デンソー 車両用表示装置
US8635637B2 (en) 2011-12-02 2014-01-21 Microsoft Corporation User interface presenting an animated avatar performing a media reaction
US9100685B2 (en) 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
DE102011122616A1 (de) * 2011-12-23 2013-06-27 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Bereitstellen einer Einparkhilfe in einem Fahrzeug
EP2797796A4 (en) * 2011-12-29 2015-09-16 Intel Corp SYSTEMS, METHOD AND DEVICE FOR CONTROLLING GESTURE INITIATIONS AND TERMINATIONS
DE102012000201A1 (de) 2012-01-09 2013-07-11 Daimler Ag Verfahren und Vorrichtung zum Bedienen von auf einer Anzeigeeinheit eines Fahrzeugs angezeigten Funktionen unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt
CN104040291A (zh) * 2012-01-12 2014-09-10 三菱电机株式会社 地图显示装置以及地图显示方法
JP2013149049A (ja) * 2012-01-19 2013-08-01 Kyocera Corp タッチパネル式入力装置
EP2634680A1 (en) * 2012-02-29 2013-09-04 BlackBerry Limited Graphical user interface interaction on a touch-sensitive device
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
JP5889397B2 (ja) * 2012-03-23 2016-03-22 株式会社Ｎｔｔドコモ 情報端末、入力受付制御方法及び入力受付制御プログラム
US8898687B2 (en) 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
JP5754410B2 (ja) * 2012-04-13 2015-07-29 トヨタ自動車株式会社 表示装置
WO2013154720A1 (en) 2012-04-13 2013-10-17 Tk Holdings Inc. Pressure sensor including a pressure sensitive material for use with control systems and methods of using the same
JP5828800B2 (ja) 2012-04-23 2015-12-09 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 表示装置、表示制御方法及びプログラム
US9880710B1 (en) * 2012-05-03 2018-01-30 Tableau Software, Inc. Systems and methods for effectively using data controls in a graphical user interface on a small visual display
US20130293454A1 (en) * 2012-05-04 2013-11-07 Samsung Electronics Co. Ltd. Terminal and method for controlling the same based on spatial interaction
CA2775700C (en) 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
DE102012011177A1 (de) * 2012-06-06 2013-12-24 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Verfahren zur Bedienung von Funktionen einesFahrzeuges sowie entsprechende Vorrichtung
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9646200B2 (en) * 2012-06-08 2017-05-09 Qualcomm Incorporated Fast pose detector
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
DE102012015255A1 (de) * 2012-08-01 2014-02-06 Volkswagen Aktiengesellschaft Anzeige- und Bedieneinrichtung und Verfahren zur Ansteuerung einer Anzeige- und Bedieneinrichtung
JP5620440B2 (ja) 2012-08-09 2014-11-05 パナソニックインテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 表示制御装置、表示制御方法及びプログラム
WO2014026862A1 (de) * 2012-08-16 2014-02-20 Volkswagen Aktiengesellschaft Verfahren und ein bedien- und anzeigeeinrichtung zum betreiben einer interaktiven bedieneinrichtung
DE102013000817A1 (de) 2013-01-18 2014-07-24 Volkswagen Aktiengesellschaft Verfahren und eine Bedien- und Anzeigeeinrichtung zum Betreiben einer interaktiven Bedieneinrichtung
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
DE102012216287A1 (de) * 2012-09-13 2014-05-28 Bayerische Motoren Werke Aktiengesellschaft Berührungseingaben über Schwellen auf berührungsempfindlichen Anzeigen
DE112013004512T5 (de) 2012-09-17 2015-06-03 Tk Holdings Inc. Einzelschicht-Kraftsensor
JP5944287B2 (ja) * 2012-09-19 2016-07-05 アルプス電気株式会社 動作予測装置及びそれを用いた入力装置
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
DE102012218843A1 (de) * 2012-10-16 2014-04-17 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben einer Eingabevorrichtung
DE102012020855A1 (de) * 2012-10-24 2014-04-24 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Verfahren zum Anpassen einer Einstellung eines Fahrzeugsitzes und Fahrzeug mit zu-mindest einem Fahrzeugsitz
DE102012021627A1 (de) * 2012-11-06 2014-05-08 Volkswagen Aktiengesellschaft Verfahren zum Anzeigen von Informationen in einem Fahrzeug und Vorrichtung zum Steuern der Anzeige
KR20140061007A (ko) * 2012-11-13 2014-05-21 엘지이노텍 주식회사 터치 패널 및 이의 입력 방법
DE102012022321A1 (de) * 2012-11-15 2014-05-15 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Verfahren zum Betreiben eines Fahrzeugs und Fahrzeug
US9092093B2 (en) * 2012-11-27 2015-07-28 Neonode Inc. Steering wheel user interface
USD755211S1 (en) * 2012-11-28 2016-05-03 Lg Electronics Inc. Display screen with graphical user interface
CN108132713B (zh) * 2012-12-19 2021-06-18 原相科技股份有限公司 开关装置
US11222534B2 (en) 2013-12-20 2022-01-11 Sfara, Inc. System and method for smartphone communication during vehicle mode
US20140179348A1 (en) * 2012-12-21 2014-06-26 Sascha Simon System and method for determining when smartphone is in vehicle
DE102013007329A1 (de) 2013-01-04 2014-07-10 Volkswagen Aktiengesellschaft Verfahren zum Betreiben einer Bedienvorrichtung in einem Fahrzeug
DE102013000080B4 (de) * 2013-01-08 2015-08-27 Audi Ag Aktivierung einer Kraftfahrzeugfunktion mittels eines optischen Sensors
DE102013000083A1 (de) 2013-01-08 2014-07-10 Audi Ag Kraftfahrzeug mit einer personenspezifischen Bedienschnittstelle
DE102013000069B4 (de) 2013-01-08 2022-08-11 Audi Ag Kraftfahrzeug-Bedienschnittstelle mit einem Bedienelement zum Erfassen einer Bedienhandlung
DE102013000880A1 (de) * 2013-01-10 2014-07-10 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zu Bereitstellen einer Benutzerschnittstelle in einem Fahrzeug
US9910499B2 (en) * 2013-01-11 2018-03-06 Samsung Electronics Co., Ltd. System and method for detecting three dimensional gestures to initiate and complete the transfer of application data between networked devices
DE102013200457B4 (de) * 2013-01-15 2023-08-17 Preh Gmbh Bedienvorrichtung für ein Kraftfahrzeug mit einer Gestenüberwachungseinheit
JP6070211B2 (ja) * 2013-01-22 2017-02-01 株式会社リコー 情報処理装置、システム、画像投影装置、情報処理方法およびプログラム
DE102013001330A1 (de) * 2013-01-26 2014-07-31 Audi Ag Verfahren zum Betreiben einer Lüftereinrichtung eines Kraftwagens sowie Kraftwagen
DE102013001868B4 (de) * 2013-02-02 2021-03-25 Audi Ag Verfahren zum Betreiben eines Kraftwagens per Gestensteuerung sowie Kraftwagen mit einer Gestenerfassungseinrichtung
KR20240132105A (ko) 2013-02-07 2024-09-02 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
DE102013002280A1 (de) 2013-02-08 2014-08-14 Audi Ag Verfahren zum Betreiben einer Anzeigevorrichtung eines Kraftwagens sowie Kraftwagen mit einer solchen Anzeigevorrichtung
US8989916B2 (en) 2013-03-12 2015-03-24 Volkswagen Ag Vehicle signal lever proximity sensing for lane change intention detection with following recommendation to driver
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
AU2014233517B2 (en) 2013-03-15 2017-05-25 Apple Inc. Training an at least partial voice command system
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
US9007321B2 (en) * 2013-03-25 2015-04-14 Sony Corporation Method and apparatus for enlarging a display area
WO2014157894A1 (en) * 2013-03-27 2014-10-02 Samsung Electronics Co., Ltd. Display apparatus displaying user interface and method of providing the user interface
US20140298219A1 (en) * 2013-03-29 2014-10-02 Microsoft Corporation Visual Selection and Grouping
US20140331163A1 (en) * 2013-05-06 2014-11-06 Caterpillar Inc. Method to Mark User Definable Limits
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
KR101772152B1 (ko) 2013-06-09 2017-08-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US9465985B2 (en) 2013-06-09 2016-10-11 Apple Inc. Managing real-time handwriting recognition
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
EP3008964B1 (en) 2013-06-13 2019-09-25 Apple Inc. System and method for emergency calls initiated by voice command
DE102013010932B4 (de) 2013-06-29 2015-02-12 Audi Ag Verfahren zum Betreiben einer Bedienschnittstelle, Bedienschnittstelle sowie Kraftfahrzeug mit einer Bedienschnittstelle
DE102013012466B4 (de) 2013-07-26 2019-11-07 Audi Ag Bediensystem und Verfahren zum Bedienen einer fahrzeugseitigen Vorrichtung
DE112014003653B4 (de) 2013-08-06 2024-04-18 Apple Inc. Automatisch aktivierende intelligente Antworten auf der Grundlage von Aktivitäten von entfernt angeordneten Vorrichtungen
US9696882B2 (en) * 2013-08-28 2017-07-04 Lenovo (Beijing) Co., Ltd. Operation processing method, operation processing device, and control method
DE102013014877A1 (de) 2013-09-06 2015-03-12 Audi Ag Kraftfahrzeug-Bedieneinrichtung mit selbsterklärender Gestenerkennung
KR101386248B1 (ko) * 2013-09-09 2014-04-17 재단법인 실감교류인체감응솔루션연구단 공간 제스처 인식 장치 및 방법
DE102013218917A1 (de) * 2013-09-20 2015-03-26 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung zur Steuerung von Geräten in Fahrzeugen mittels einer Blickrichtungserkennung
US10423989B2 (en) 2013-10-07 2019-09-24 State Farm Mutual Automobile Insurance Company Systems and methods to assess the condition of a vehicle
US10140782B2 (en) 2013-10-07 2018-11-27 State Farm Mutual Automobile Insurance Company Vehicle sharing tool based on vehicle condition assessments
US20150100506A1 (en) * 2013-10-07 2015-04-09 State Farm Mutual Automobile Insurance Company Systems and methods to report vehicle ownership information
DE102013222181A1 (de) * 2013-10-31 2015-04-30 Volkswagen Aktiengesellschaft Bildverarbeitungsvorrichtung, Verfahren zur Bestimmung von Bildinformation und Computerprogramm
DE102013019197A1 (de) * 2013-11-15 2015-05-21 Audi Ag Kraftfahrzeug-Klimatisierung mit adaptivem Luftausströmer
FR3013861B1 (fr) * 2013-11-27 2017-06-02 Airbus Operations Sas Procede de validation d'une interaction sur une surface tactile par occulometrie
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
KR101556520B1 (ko) * 2013-12-11 2015-10-02 현대자동차주식회사 단말기, 그를 가지는 차량 및 그 제어 방법
DE102013226012A1 (de) * 2013-12-16 2015-06-18 Bayerische Motoren Werke Aktiengesellschaft Bereitstellung eines Bedienelements durch Oberflächenveränderung
GB2521433A (en) * 2013-12-19 2015-06-24 Daimler Ag Predicting an interface control action of a user with an in-vehicle user interface
DE102014200024A1 (de) * 2014-01-06 2015-07-09 Volkswagen Aktiengesellschaft Anzeigebedieneinheit und Verfahren zum Anzeigen zusätzlicher Hinweise auf eine Anzeigeeinheit
DE102014202490A1 (de) 2014-02-12 2015-08-13 Volkswagen Aktiengesellschaft Vorrichtung und Verfahren zur Signalisierung einer erfolgreichen Gesteneingabe
DE102014202834A1 (de) 2014-02-17 2015-09-03 Volkswagen Aktiengesellschaft Anwenderschnittstelle und Verfahren zum berührungslosen Bedienen eines in Hardware ausgestalteten Bedienelementes in einem 3D-Gestenmodus
DE102014202836A1 (de) 2014-02-17 2015-08-20 Volkswagen Aktiengesellschaft Anwenderschnittstelle und Verfahren zur Unterstützung eines Anwenders bei der Bedienung einer Anwenderschnittstelle
DE102014202833A1 (de) 2014-02-17 2015-08-20 Volkswagen Aktiengesellschaft Anwenderschnittstelle und Verfahren zum Wechseln von einem ersten Bedienmodus einer Anwenderschnittstelle in einen 3D-Gesten-Modus
EP2930603B1 (de) * 2014-04-07 2018-10-10 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Bereitstellen einer graphischen Benutzerschnittstelle in einem Fahrzeug
JP6190313B2 (ja) * 2014-04-23 2017-08-30 カシオ計算機株式会社 情報処理装置及びプログラム
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
DE102014106960A1 (de) * 2014-05-16 2015-11-19 Faindu Gmbh Verfahren zur Darstellung einer virtuellen Interaktion auf zumindest einem Bildschirm und Eingabevorrichtung, System und Verfahren für eine virtuelle Anwendung mittels einer Recheneinheit
US9740338B2 (en) 2014-05-22 2017-08-22 Ubi interactive inc. System and methods for providing a three-dimensional touch screen
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
DE102014209983B4 (de) 2014-05-26 2023-05-04 Volkswagen Aktiengesellschaft Verfahren zum Koppeln einer Bedieneinrichtung mit einer mobilen Einheit, Bedieneinrichtung und mobile Einheit
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
CN110797019B (zh) 2014-05-30 2023-08-29 苹果公司 多命令单一话语输入方法
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US20150370409A1 (en) * 2014-06-18 2015-12-24 International Business Machines Corporation Disambiguation of touch-based gestures
JP6269343B2 (ja) 2014-06-23 2018-01-31 トヨタ自動車株式会社 車両用操作装置
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
DE102014011281A1 (de) * 2014-07-29 2016-02-04 Daimler Ag Bediensystem für eine fahrzeugseitige Einrichtung
US9725098B2 (en) 2014-08-11 2017-08-08 Ford Global Technologies, Llc Vehicle driver identification
DE102014216168A1 (de) * 2014-08-14 2016-02-18 Bayerische Motoren Werke Aktiengesellschaft Steuerung einer Kommunikationsausgabe einer Diensteinrichtung eines Kraftfahrzeugs
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
JP6252409B2 (ja) 2014-09-02 2017-12-27 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US10042445B1 (en) * 2014-09-24 2018-08-07 Amazon Technologies, Inc. Adaptive display of user interface elements based on proximity sensing
US9606986B2 (en) 2014-09-29 2017-03-28 Apple Inc. Integrated word N-gram and class M-gram language models
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
DE102014016222A1 (de) 2014-10-31 2016-05-04 Audi Ag Verfahren und System zum Betreiben einer berührungssensitiven Anzeigeeinrichtung eines Kraftwagens
DE102014017377B4 (de) * 2014-11-24 2017-04-20 Audi Ag Verfahren zum Betreiben einer Bedienvorrichtung eines Kraftfahrzeugs sowie Bedienvorrichtung
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
DE102014226553A1 (de) * 2014-12-19 2016-06-23 Robert Bosch Gmbh Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung, Kraftfahrzeug
EP3040829A1 (de) * 2015-01-02 2016-07-06 Volkswagen AG Anwenderschnittstelle und Verfahren zum Betrieb einer Anwenderschnittstelle für ein Fortbewegungsmittel
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10565455B2 (en) * 2015-04-30 2020-02-18 Ants Technology (Hk) Limited Methods and systems for audiovisual communication
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
WO2017040519A1 (en) * 2015-08-31 2017-03-09 Sri International Method and system for monitoring driving behaviors
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
CN105511731A (zh) * 2015-12-17 2016-04-20 广东欧珀移动通信有限公司 屏幕控制方法及装置
EP3182250B1 (en) 2015-12-18 2019-10-30 Aptiv Technologies Limited System and method for monitoring 3d space in front of an output unit for the control of the output unit
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
DE102016201981A1 (de) 2016-02-10 2017-08-10 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Auswählen, Aktivieren oder Deaktivieren einer Funktion in einem Kraftfahrzeug mithilfe einer Bedieneinrichtung und ein Bediensystem
EP3415394B1 (en) 2016-02-12 2023-03-01 LG Electronics Inc. User interface apparatus for vehicle, and vehicle
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
DE202017006912U1 (de) * 2016-04-22 2018-10-29 Volkswagen Aktiengesellschaft Multifunktionale Anzeige- und Bedieneinrichtung für ein Kraftfahrzeug
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179329B1 (en) 2016-06-12 2018-05-07 Apple Inc Handwriting keyboard for monitors
DE102016007831A1 (de) * 2016-06-27 2017-12-28 e.solutions GmbH Technik zur Mensch-Maschine-Kommunikation
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US20180107380A1 (en) * 2016-10-14 2018-04-19 Samsung Electronics Co., Ltd. System and method for key area correction
EP3312860A1 (de) * 2016-10-24 2018-04-25 VEGA Grieshaber KG Anordnung zum berührungslosen bedienen eines geräts der messtechnik mit einer ein- und ausgabeeinheit und verfahren zum betreiben einer ein- und ausgabeeinheit eines geräts der messtechnik
DE102016121107A1 (de) * 2016-11-04 2018-05-09 Volkswagen Ag Anordnung einer grafischen Benutzerschnittstelle in einem Fahrzeug und Verfahren zum Bereitstellen einer grafischen Benutzerschnittstelle in einem Fahrzeug
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
CN106775721A (zh) * 2016-12-16 2017-05-31 北京奇虎科技有限公司 界面互动组件控制方法、装置及可穿戴设备
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
DE102017200735A1 (de) * 2017-01-18 2018-07-19 Volkswagen Aktiengesellschaft Verfahren und Anordnung zur Interaktion mit einem Vorschlagssystem mit automatisierten Bedienhandlungen
DE102017201799A1 (de) 2017-02-06 2018-08-09 Volkswagen Aktiengesellschaft Anwenderschnittstelle, Fortbewegungsmittel und Verfahren zur Anwenderunterscheidung
EP3372435B1 (de) * 2017-03-06 2019-08-07 Volkswagen Aktiengesellschaft Verfahren und bediensystem zum bereitstellen einer bedienschnittstelle
DE102017206312B4 (de) 2017-04-12 2024-08-01 Ford Global Technologies, Llc Unterstützung einer Handhabung eines innerhalb eines Fahrgastinnenraums befindlichen Gegenstands sowie Kraftfahrzeug
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
JP6414288B2 (ja) * 2017-07-20 2018-10-31 トヨタ自動車株式会社 車両用操作装置
DE102017214000B4 (de) * 2017-08-10 2019-04-25 Audi Ag Verfahren zum Betreiben einer Lichtquelle in einem Innenraum eines Kraftfahrzeugs sowie Kraftfahrzeug
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
JP2019139633A (ja) * 2018-02-14 2019-08-22 京セラ株式会社 電子機器、移動体、プログラムおよび制御方法
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
DE102018206653B4 (de) 2018-04-30 2024-06-13 Audi Ag Verfahren zum dynamischen Anpassen einer Bedienvorrichtung in einem Kraftfahrzeug sowie Bedienvorrichtung und Kraftfahrzeug
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11076039B2 (en) 2018-06-03 2021-07-27 Apple Inc. Accelerated task performance
US20210255764A1 (en) * 2018-06-26 2021-08-19 Kyocera Corporation Electronic apparatus, mobile body, program, and control method
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
DE102019210010A1 (de) 2019-07-08 2021-01-14 Volkswagen Aktiengesellschaft Verfahren und Bediensystem zum Erfassen einer Nutzereingabe für eine Einrichtung eines Fahrzeugs
DE102019210009A1 (de) 2019-07-08 2021-01-28 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Bediensystems in einem Fahrzeug und Bediensystem in einem Fahrzeug
DE102019210008A1 (de) 2019-07-08 2021-01-14 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Bediensystems und Bediensystem
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
CN113525090B (zh) * 2020-04-21 2023-12-19 北京新能源汽车股份有限公司 副仪表板总成的控制方法、副仪表板总成及车辆
DE102020117352B4 (de) 2020-07-01 2023-06-15 Audi Aktiengesellschaft Ablenkungsfreie Projektion von Bediensymbolen im Fahrzeuginterieur
DE102020122795A1 (de) 2020-09-01 2022-03-03 Bayerische Motoren Werke Aktiengesellschaft Bedienung von Funktionen eines Fahrzeugs
CN112684970B (zh) * 2020-12-31 2022-11-29 腾讯科技（深圳）有限公司 虚拟场景的适配显示方法、装置、电子设备及存储介质
DE102021100581A1 (de) 2021-01-13 2022-07-14 Bayerische Motoren Werke Aktiengesellschaft Vermittlung textueller Informationen
JP7380635B2 (ja) * 2021-04-09 2023-11-15 横河電機株式会社 プログラム修正支援装置及びプログラム修正支援方法
JP2023059050A (ja) * 2021-10-14 2023-04-26 アルプスアルパイン株式会社 入力装置

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5829782A (en) * 1993-03-31 1998-11-03 Automotive Technologies International, Inc. Vehicle interior identification and monitoring system
US4761641A (en) * 1983-01-21 1988-08-02 Vidcom Rentservice B.V. Information display system
JPH02153415A (ja) 1988-12-06 1990-06-13 Hitachi Ltd キーボード装置
US6279946B1 (en) * 1998-06-09 2001-08-28 Automotive Technologies International Inc. Methods for controlling a system in a vehicle using a transmitting/receiving transducer and/or while compensating for thermal gradients
US6517107B2 (en) * 1998-06-09 2003-02-11 Automotive Technologies International, Inc. Methods for controlling a system in a vehicle using a transmitting/receiving transducer and/or while compensating for thermal gradients
JPH06321011A (ja) 1993-05-17 1994-11-22 Mitsubishi Electric Corp 周辺視野表示装置
JP2648558B2 (ja) 1993-06-29 1997-09-03 インターナショナル・ビジネス・マシーンズ・コーポレイション 情報選択装置及び情報選択方法
JP3462537B2 (ja) 1993-09-06 2003-11-05 株式会社ザナヴィ・インフォマティクス 車載用ナビゲーションシステム
DE19529571A1 (de) 1995-08-11 1997-02-13 Becker Gmbh Bediengerät
JPH1024785A (ja) * 1996-07-08 1998-01-27 Omron Corp 自動車の空間環境自動調整装置
KR100260760B1 (ko) * 1996-07-31 2000-07-01 모리 하루오 터치패널을 병설한 정보표시장치
US6021418A (en) * 1997-02-18 2000-02-01 International Business Machines Corporation Apparatus and method for displaying control-objects
US6137487A (en) * 1997-02-24 2000-10-24 International Business Machines Corporation Method and apparatus for manipulating graphical objects in a data processing system
EP0863381B1 (en) * 1997-03-07 2004-06-02 Pioneer Electronic Corporation Navigation apparatus
JPH10269022A (ja) 1997-03-25 1998-10-09 Hitachi Ltd 通信機能付き携帯型情報処理装置
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
JP3692759B2 (ja) 1998-01-19 2005-09-07 株式会社デンソー 車両用表示装置
DE19829568A1 (de) 1998-07-02 2000-01-05 Mannesmann Vdo Ag Bedieneinheit einer fest in einem Fahrzeug installierten Vorrichtung
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
US6259436B1 (en) * 1998-12-22 2001-07-10 Ericsson Inc. Apparatus and method for determining selection of touchable items on a computer touchscreen by an imprecise touch
US6363160B1 (en) * 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US6426761B1 (en) * 1999-04-23 2002-07-30 Internation Business Machines Corporation Information presentation system for a graphical user interface
AU5087800A (en) 1999-06-02 2000-12-28 Ncr International, Inc. Self-service terminal
JP3773716B2 (ja) * 1999-09-13 2006-05-10 富士通株式会社 グラフィカルユーザインターフェース表示装置及びその装置での処理をコンピュータにて行なわせるためのプログラムを格納した記録媒体
DE19951001C2 (de) 1999-10-22 2003-06-18 Bosch Gmbh Robert Vorrichtung zur Darstellung von Informationen in einem Fahrzeug
US7920102B2 (en) * 1999-12-15 2011-04-05 Automotive Technologies International, Inc. Vehicular heads-up display system
DE10022321A1 (de) * 2000-05-09 2001-11-15 Bayerische Motoren Werke Ag Vorrichtung in Fahrzeugen zum Erkennen einer Handstellung
US6640222B1 (en) 2000-09-29 2003-10-28 Motorola, Inc. Method for selecting an information unit among conflicting information units based on context fields by a user device
RU2220057C2 (ru) 2001-04-24 2003-12-27 Беседин Эдуард Викторович Панель управления климатической установкой
JP2002358162A (ja) 2001-06-01 2002-12-13 Sony Corp 画像表示装置
US20090040184A9 (en) * 2001-10-04 2009-02-12 Infogation Corporation Information entry mechanism
US7283992B2 (en) * 2001-11-30 2007-10-16 Microsoft Corporation Media agent to suggest contextually related media content
US7130835B2 (en) * 2002-03-28 2006-10-31 Bausch & Lomb Incorporated System and method for predictive ophthalmic correction
US8665077B2 (en) 2002-08-15 2014-03-04 Ident Technology Ag Circuit for selectively producing switching signals, especially for a vehicle door locking, a vehicle, system and method equipped therewith for protecting areas of risk as well as a system, system components and method for hermetically transferring validatable data
WO2004051392A2 (en) 2002-11-29 2004-06-17 Koninklijke Philips Electronics N.V. User interface with displaced representation of touch area
JP4172307B2 (ja) * 2003-03-31 2008-10-29 富士ゼロックス株式会社 ３次元指示入力装置
JP2004334590A (ja) * 2003-05-08 2004-11-25 Denso Corp 操作入力装置
JP4354217B2 (ja) * 2003-06-11 2009-10-28 クラリオン株式会社 道路標識等表示装置
JP3752246B2 (ja) * 2003-08-11 2006-03-08 学校法人慶應義塾 ハンドパターンスイッチ装置
US9274598B2 (en) * 2003-08-25 2016-03-01 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
DE602004013116T2 (de) * 2004-01-20 2009-07-02 Sony Deutschland Gmbh Haptische tastengesteuerte Dateneingabe
JP4566596B2 (ja) 2004-03-29 2010-10-20 アルパイン株式会社 操作指示装置
JP4855654B2 (ja) * 2004-05-31 2012-01-18 ソニー株式会社 車載装置、車載装置の情報提供方法、車載装置の情報提供方法のプログラム及び車載装置の情報提供方法のプログラムを記録した記録媒体
KR20070036077A (ko) 2004-06-29 2007-04-02 코닌클리케 필립스 일렉트로닉스 엔.브이. 그래픽 사용자 인터페이스의 다중층 디스플레이
WO2006003586A2 (en) * 2004-06-29 2006-01-12 Koninklijke Philips Electronics, N.V. Zooming in 3-d touch interaction
US20080284799A1 (en) * 2004-06-29 2008-11-20 Koninklijke Philips Electronics, N.V. Discontinous Zoom
JP2006029827A (ja) * 2004-07-12 2006-02-02 Fujitsu Media Device Kk 慣性センサ
JP2006031499A (ja) * 2004-07-20 2006-02-02 Denso Corp 情報入力表示装置
JP2006039953A (ja) 2004-07-27 2006-02-09 Denso Corp 画像合成装置、ディスプレイ装置およびナビゲーション装置
JP2006059238A (ja) * 2004-08-23 2006-03-02 Denso Corp 情報入力表示装置
JP4351599B2 (ja) * 2004-09-03 2009-10-28 パナソニック株式会社 入力装置
DE102004045885A1 (de) 2004-09-22 2006-03-23 Volkswagen Ag Bedienelement für ein Kraftfahrzeug
US9203788B2 (en) * 2004-11-18 2015-12-01 Adobe Systems Incorporated System and method for communicating instant message information between an instant messaging node and one or more programs
KR20060070280A (ko) * 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
US7616191B2 (en) * 2005-04-18 2009-11-10 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Electronic device and method for simplifying text entry using a soft keyboard
US8543906B2 (en) * 2005-06-29 2013-09-24 Xerox Corporation Probabilistic learning method for XML annotation of documents
US7443316B2 (en) * 2005-09-01 2008-10-28 Motorola, Inc. Entering a character into an electronic device
US7697827B2 (en) * 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
DE102006037156A1 (de) * 2006-03-22 2007-09-27 Volkswagen Ag Interaktive Bedienvorrichtung und Verfahren zum Betreiben der interaktiven Bedienvorrichtung
US20090240426A1 (en) * 2006-06-12 2009-09-24 Takashi Akita Navigation device and navigation method
US8086971B2 (en) * 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
US20110109745A1 (en) * 2008-07-07 2011-05-12 Yuzuru Nakatani Vehicle traveling environment detection device
KR101118947B1 (ko) * 2009-01-13 2012-02-27 도요타 지도샤（주） 운전 지원 장치

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011119154A1 (en) * 2010-03-24 2011-09-29 Hewlett-Packard Development Company, L.P. Gesture mapping for display device
KR20130068945A (ko) * 2011-12-16 2013-06-26 현대자동차주식회사 차량 인터랙션 시스템
KR20170109090A (ko) * 2012-12-11 2017-09-27 폭스바겐 악티엔 게젤샤프트 작동 방법 및 작동 장치
KR20150067679A (ko) * 2013-12-10 2015-06-18 현대자동차주식회사 차량용 제스처 인식 시스템 및 그 방법
KR20180091958A (ko) * 2014-05-07 2018-08-16 폭스바겐 악티엔 게젤샤프트 사용자 인터페이스 및 사용자 인터페이스의 스크린 뷰 전환 방법
US10768793B2 (en) 2014-05-07 2020-09-08 Volkswagen Ag User interface and method for changing between screen views of a user interface
KR20150135933A (ko) * 2014-05-26 2015-12-04 엘지전자 주식회사 동작 인식 장치 및 그 동작 방법

Also Published As

Publication number Publication date
JP2012178161A (ja) 2012-09-13
KR101367593B1 (ko) 2014-02-25
US9671867B2 (en) 2017-06-06
US20090327977A1 (en) 2009-12-31
CN106427571A (zh) 2017-02-22
JP5275970B2 (ja) 2013-08-28
WO2007107368A1 (de) 2007-09-27
EP1998996A1 (de) 2008-12-10
EP1998996B1 (de) 2012-06-13
JP2009530726A (ja) 2009-08-27
DE102006037156A1 (de) 2007-09-27
CN106427571B (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
KR101367593B1 (ko) 쌍방향 조작 장치 및 쌍방향 조작 장치의 작동 방법
CN110045825B (zh) 用于车辆交互控制的手势识别系统
US20160132126A1 (en) System for information transmission in a motor vehicle
US9475390B2 (en) Method and device for providing a user interface in a vehicle
EP2581248B1 (en) Reconfigurable vehicle instrument panels
US9649938B2 (en) Method for synchronizing display devices in a motor vehicle
CN101405177A (zh) 交互式操纵装置和用于运行所述交互式操纵装置的方法
JP5563153B2 (ja) 操作装置
US20170243389A1 (en) Device and method for signalling a successful gesture input
US10627913B2 (en) Method for the contactless shifting of visual information
US20150367859A1 (en) Input device for a motor vehicle
US20140236454A1 (en) Control Device for a Motor Vehicle and Method for Operating the Control Device for a Motor Vehicle
JP2014518422A (ja) オブジェクト及び／又は人物及びそれによって行われ及び／又は実行されるジェスチャ及び／又は操作手順を非接触式に検出する装置及び方法
MX2011004124A (es) Procedimiento y dispositivo para mostrar informacion ordenada en listas.
US9802484B2 (en) Method and display device for transitioning display information
US20140210795A1 (en) Control Assembly for a Motor Vehicle and Method for Operating the Control Assembly for a Motor Vehicle
CN109643219A (zh) 用于与在车辆中的显示设备上呈现的图像内容进行交互的方法
KR20180091732A (ko) 사용자 인터페이스, 운송 수단 및 사용자 구별을 위한 방법
US11014449B2 (en) Method and device for displaying information, in particular in a vehicle
RU2410259C2 (ru) Интерактивное устройство управления и способ эксплуатации интерактивного устройства управления
CN103958255A (zh) 用于运行交通工具中移动设备的方法
JP2017197015A (ja) 車載用情報処理システム
WO2017188098A1 (ja) 車載用情報処理システム
US11602992B2 (en) Method for displaying points of interest on a digital map
JP2020126282A (ja) 入力システム、入力方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190213

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200214

Year of fee payment: 7