KR101803222B1 - 제스처 감지 중에 입력 수단의 3d 위치를 시그널링하기 위한 사용자 인터페이스 및 방법 - Google Patents

제스처 감지 중에 입력 수단의 3d 위치를 시그널링하기 위한 사용자 인터페이스 및 방법 Download PDF

Info

Publication number
KR101803222B1
KR101803222B1 KR1020167026963A KR20167026963A KR101803222B1 KR 101803222 B1 KR101803222 B1 KR 101803222B1 KR 1020167026963 A KR1020167026963 A KR 1020167026963A KR 20167026963 A KR20167026963 A KR 20167026963A KR 101803222 B1 KR101803222 B1 KR 101803222B1
Authority
KR
South Korea
Prior art keywords
user interface
instructions
display unit
user
input means
Prior art date
Application number
KR1020167026963A
Other languages
English (en)
Other versions
KR20160126077A (ko
Inventor
홀거 와일드
마크 피터 첼닉
Original Assignee
폭스바겐 악티엔 게젤샤프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 폭스바겐 악티엔 게젤샤프트 filed Critical 폭스바겐 악티엔 게젤샤프트
Publication of KR20160126077A publication Critical patent/KR20160126077A/ko
Application granted granted Critical
Publication of KR101803222B1 publication Critical patent/KR101803222B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B60K37/06—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B60K2350/1004—
    • B60K2350/1052—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

사용자 인터페이스, 및 사용자 인터페이스를 위한 3D 제스처 검출 영역(6)과 관련하여 입력 수단(7)의 위치(P)를 시그널링하기 위한 방법이 제안된다. 방법은 이하의 단계들을 포함한다: 3D 제스처 인식 영역(6) 내에서 사용자의 입력 수단(7)의 감지 단계, 및 사용자 인터페이스의 표시 유닛(2)의 가장자리 영역 내에서 지침(9a, 9b, 9c, 9d)에 의해 입력 수단(7)의 위치(P)를 시그널링하는 단계.

Description

제스처 감지 중에 입력 수단의 3D 위치를 시그널링하기 위한 사용자 인터페이스 및 방법{USER INTERFACE AND METHOD FOR SIGNALLING A 3D POSITION OF INPUT MEANS DURING GESTURE DETECTION}
본 발명은 제스처 감지 중에 입력 수단의 3D 위치를 시그널링하기 위한 사용자 인터페이스 및 방법에 관한 것이다. 더욱 상세하게는, 본 발명은 제스처 조작을 위한 3D 영역의 경계선과 관련하여 사용자의 학습 과정을 신속화하기 위한 가능성에 관한 것이다.
모바일 단말기 및 이동 수단의 사용자 인터페이스를 위한 3D 제스처 조작의 선호도는 급증하고 있다. 입력 수단(예컨대 사용자의 손)의 인식을 위해 사용되는 센서는 한정된 감지 영역만을 포함한다. 사용자는 감지 영역 내에서 제스처를 수행해야만 이러한 제스처가 올바르게 인식될 수 있다. 사용자의 손이 감지 영역을 벗어나면, 시스템에는 수행된 제스처의 해석 및 분류를 위한 불완전한 데이터만이 존재한다. 이 경우, 오류 없는 인식은 더 이상 보장되지 않는다. 2D 입력 수단(예컨대 마우스)의 시각화를 위해 소위 화살표 기호의 형태를 갖는 커서가 스크린 항목에 겹쳐서 작동하는 동안, 3D 제스처 조작을 위해 그러한 커서 표현은 한정적으로만 사용될 수 있고, 또한 적용 경우에 따라서 시각상의 이유로 바람직하지 않다. 특히, 3차원 표현은 종래 커서로는 가능하지 않다.
DE 10 2011 053449 A1은 차량을 위한 제스처 기반 인간-기계 인터페이스를 설명하고, 이러한 인터페이스에서 표시 요소를 향한 사용자의 제스처가 인식된다. 이때 시각적 심볼 또는 지시자(indicator)가 디스플레이 상에 표현되어, 사용자에게 입력물에서의 현재 입력 초점 위치에 대한 시각상 지침을 전달하는 것이 제안된다. 또한, 제스처 입력 마다 선택되는 스위치면들이 다른 스크린 항목에 비해 강조될 수 있는 방식들이 제안되었다.
DE 10 2012 000201 A1은 차량의 표시 유닛 상에 표시되는 기능들을 3차원 공간에서 수행된 제스처를 이용하여 주밍(zooming)하는 방법 및 장치를 개시한다. 사용자에게 장치의 제스처 조작을 학습시키기 위해, 디스플레이 상에 화면창(window)이 표시되고, 이러한 화면창은 소정의 제1 제스처를 감지하였음을 표시한다. 또한, 화면창은 다른 입력물을 위한 조작 방향을 표시한다.
종래 기술을 전제로 하여, 본 발명의 과제는 3D 제스처 조작 시 입력 수단의 위치를 시그널링하기 위한 기술적 가능성을 더욱 양호하게 구현하는 것이다.
전술한 과제는 본 발명에 따르면 제1항에 따른 특징들을 포함하는 방법 및 제10항에 따른 특징들을 포함하는 사용자 인터페이스에 의하여 해결된다. 방법은 사용자 인터페이스를 위한 3D 제스처 감지 영역과 관련하여 입력 수단의 현재 위치를 시그널링하기 위한 것이다. 사용자 인터페이스는 예컨대 휴대용 전자 단말기(예컨대 무선 통신 유닛) 또는 이동 수단 내에 구비될 수 있다. 제1 단계에서, 사용자의 입력 수단은 3D 제스처 인식 영역 내에서 감지된다. 입력 수단은 실무 적용 시 사용자의 손인 경우가 대부분일 것이다. 3D 제스처 인식 영역은 특히 표시 유닛의 표면과 일치하지 않는 공간 영역이다. 제2 단계에서, 입력 수단의 위치는 사용자 인터페이스의 표시 유닛의 가장자리 영역 내에서 지침에 의해 시그널링된다. 표시 유닛은 예컨대 스크린(예컨대 접촉 감지 표면과 관련하여 "터치 스크린"이라고도 함)일 수 있고, 이러한 스크린 상에서 상이한 기능들에 대한 자유 선택적 항목들이 표현될 수 있다. 그러한 스크린은 일반적으로 직사각형으로 형성됨으로써, 스크린의 에지들은 표시 유닛의 가장자리들을 형성한다. 한편, "가장자리 영역"은 표시 유닛의 영역을 벗어난다. 예컨대 표시 유닛의 표면 너머에 배치되는 발광 수단/표시 유닛들은 본 발명에 따라 지침을 나타내기 위해 사용될 수 있다. 그러한 별도의 요소들은, 표시 유닛의 외부 영역들(즉 가장자리 영역의 픽셀) 자체가 지침 또는 지침들의 표현을 위해 사용되는 경우 생략될 수 있다. 본 발명으로 구현되는 이점은, 시각적으로 직접 감지할 수 없는 3D 제스처 감지 영역이 간접적으로 시각화(visualization)된다는 것이다. 이러한 방식으로, 제스처 감지를 위해 사용 가능한 공간 영역은 사용자에게, 사용자가 이에 대한 요청을 표현하는 한, 제스처 감지 영역의 가장자리 영역 내에서 또는 경계선 밖에서 특히 반복적인 조작이 수행되었고, 및/또는 3D 제스처 조작의 인식 이후의 최소 지속 시간이 아직 경과하지 않았음을 교시할 수 있다. 따라서 조작 오류 및 제스처 인식 계산 비용 증대는 방지될 수 있다. 또한, 제스처의 신뢰할만한 인식은 사용자가 보다 빠르게 다른 목적(예컨대 이동 수단의 주행)에 다시 집중할 수 있게 해준다.
종속항들은 본 발명의 바람직한 발전 형태들을 나타낸다.
바람직하게는, 제1 좌표(예컨대 표시 유닛과 관련한 수평선(horizontal))와 관련하는 입력 수단의 위치 변동은 인식될 수 있고, 이에 대한 응답으로 표시 유닛의 수평 가장자리 영역 내에서 지침 또는 지침들의 위치가 변경될 수 있다. 바꾸어 말하면, 가장자리 영역 내의 지침들은 입력 수단의 위치 변동에 상응하여 변경될 수 있다. 이러한 방식으로, 적어도 2개의 좌표들 또는 공간 차원들과 관련하여 입력 수단의 위치를 위한 (가상의) 십자선의 기호가 생성될 수 있고, 이러한 기호는 표시 유닛의 가장자리 영역들에서 입력 수단과 3D 제스처 감지 영역 사이의 상대적 위치에 관한 배향을 제공한다.
이에 상응하여, 제2 좌표(예컨대 표시 유닛과 관련한 수직선(vertical))와 관련하는 입력 수단의 위치 변동은 인식될 수 있고, 이에 대한 응답으로 표시 유닛의 수직 가장자리 영역 내에서 지침 또는 지침들의 위치가 변경될 수 있다. 따라서, 전술한 2개의 좌표들은 예컨대 서로 직교로(perpendicular) 배치되고, 표시 유닛의 평면에 내접될 수 있다.
이제, 2D 표시 유닛의 사용 시, 제3 좌표(예컨대 표시 유닛의 표면 방향으로 및/또는 제스처 인식을 위해 사용된 센서의 방향으로)와 관련하는 입력 수단의 위치 변동을 시각화하기 위해, 이용 가능한 좌표가 제공되지 않는다. 그러므로 본 발명에 따르면 지침 또는 지침들의 형상은 변경되고, 이는 예컨대 지침 또는 지침들에서 각각의 가장자리를 따라 투명도 및/또는 치수("길이"), 및/또는 에지 선명도 및/또는 컬러 형상과 관련할 수 있다. 예컨대, 더욱 양호한 감지 영역으로의 위치 변동 필요를 나타내기 위해, 형태 변경도 가능하다. 이때 픽토그램(이격 거리 정보를 위한 문자 또는 표상의 방식)이 사용될 수 있다. 대안적 또는 부가적으로, 사용자에게 그의 손의 현재 위치 변동을 권하기 위해 텍스트 형태의 출력이 가능하다.
바람직하게는, 표시 유닛의 가장자리의 경계선("꼭지점")과 관련하여 지침들의 위치는 3D 제스처 인식 영역의 경계선과 관련하는 입력 수단의 대응 위치에 실질적으로 상응하며, 3D 제스처 인식 영역은 사용된 센서에 의해 생성된다. 예컨대 센서에 의해 생성되는 제스처 감지 영역이 센서 방향으로 좁아지는 형태의 영역이면, 표시 유닛의 에지 길이는 3D 제스처 인식 영역의 에지 길이에 맞추어 조정되되, 센서로부터의 현재 간격에 따라, 이 간격에 대해 직교로 연장되는 감지 영역의 에지들이 항상, 이에 대응하는 표시 유닛의 가장자리의 전체 길이를 따르도록 조정된다. 물론, 더 확실한 제스처 인식 목적을 위해, 지침들에 의해 시그널링되는 인식 영역은 실제로 제스처 인식을 위해 설계된 공간 영역보다 대략적으로 더 작을 수 있다. 이러한 차이는, 절대 오프셋 방식 또는 백분율 오프셋 방식으로 책정될 수 있다. 전술한 실시예에서, 사용자에게는, 사용된 센서에 근접할 때의 스와이프 제스처는 센서와 더 멀리 이격된 거리에서 수행된 스와이프 제스처보다 더 넓은 범위에서 더 신속한 지침 변경을 야기한다는 회신이 제공되고, 이러한 회신은 용이하게 익힐 수 있다.
사용자 인터페이스의 조작을 위해 상이한 위치들이 구비되는 한, 부가적으로, 사용자 인물 전환이 인식될 수 있고, 이에 대한 응답으로 지침 또는 지침들의 형상이 변경된다. 예컨대, 본 발명에 따라 장착된 차량의 운전자에 의한 3D 제스처 조작 후에 동승자는 자신의 손을 3D 제스처 인식 영역 내에 갖다 댐으로써 사용자 인터페이스를 조작할 수 있다. 이러한 전환이 인식된 후, 사용자 인터페이스의 (잠재적) 사용자에게는 시각적 회신이 출력되되, 예컨대 지침의 컬러 형상 및/또는 (예컨대 운전자 또는 동승자를 위한 표상으로서의 픽토그램과 연관하여) 형태 변경이 사용자의 인물 전환을 확인응답(acknowledge)하면서 출력될 수 있다.
3D 제스처 조작의 기본적 활성화는 종래 기술에 따라 수행될 수 있다. 이에 대한 응답으로 표시된 지침들은 4개의 지시자(indicator)로서 형성될 수 있고, 이러한 지시자들의 형태/컬러 흐름은 말단으로 가면서, 더 높은 투명도를 갖는 영역을 포함한다. 바람직하게는, 이러한 지시자들은 센서 감지 영역 내의 손 위치에 대하여 콘택트 아날로그(contact analogue) 방식으로 표시 유닛 상으로 이동한다. 이때 센서 감지 영역 내에서 손의 상대적 수평 위치는 상,하부의 지침들의 상대적 위치를 통해 표현될 수 있다. 센서 감지 영역 내에서 손의 상대적 수직 위치는 측면 지침들의 상대적 위치를 통해 표현될 수 있다. 센서 감지 영역 내에서 손의 상대적 제3 위치("심도")는 예컨대 지침 또는 지침들의 투명도 변조 형태로 수행될 수 있다. 심도와 관련하여 손이 감지 영역의 소위 "스윗 스폿(sweet spot)" 내에 도달하면, 지침들은 표시 유닛 상에 법선 방식으로 표현된다. 센서와 관련하여 손의 간격이 이제 더 멀어지거나 가까워지면, 지시자들의 투명도는 예컨대 증가하거나, 지침들의 에지는 덜 선명하게 표현됨으로써, 센서 신호가 개선 가능하다는 것이 시그널링된다.
본 발명의 제2 양태에 따르면 사용자 인터페이스가 제안되고, 이러한 사용자 인터페이스는 표시 유닛(예컨대 스크린), 3D 제스처 감지를 위한 센서 장치, 및 (예컨대 프로그래밍 가능한 프로세서를 구비한 전자 제어 기기의 형태를 갖는) 평가 유닛을 포함한다. 센서 장치는 3D 제스처 제어를 위한 입력 수단(예컨대 사용자의 손)을 감지하도록 설계된다. 평가 유닛은, 입력 수단의 위치를 사용자 인터페이스의 표시 유닛의 가장자리 영역 내에서 지침에 의해 시그널링하도록 설계된다. 사용된 센서 장치는 예컨대 광학적으로 작동하고 및/또는 적외선 신호를 사용할 수 있다. 그 외에, 특징들, 특징 조합들 및 이로부터 수득되는 이점들은 처음으로 언급된 발명의 양태와 연관하는 실시예에 부합하여 나타난다.
부가적으로, 사용자 인터페이스는 발광 수단을 포함할 수 있고, 발광 수단은 예컨대 바(bar)형의 발광 요소로서 형성되고 각각 표시 유닛의 가장자리를 따라 연장된다. 부가적 발광 수단을 통해 지침 또는 지침들은 대안적 또는 부가적으로 시그널링될 수 있다. 이러한 방식으로, 표시 유닛은 전체적으로, 대안적 항목들의 표시를 위해 사용될 수 있다.
본 발명의 제3 양태에 따르면, 컴퓨터 프로그램 제품(예컨대 데이터 메모리)이 제안되고, 이러한 컴퓨터 프로그램 제품에는 명령어들이 저장되며, 이러한 명령어들은 (예컨대 본 발명에 따른 사용자 인터페이스의 평가 유닛의) 프로그래밍 가능한 프로세서가 처음에 언급한 발명의 양태에 따른 방법의 단계들을 수행하도록 허용한다. 컴퓨터 프로그램 제품은 예컨대 CD, DVD, 블루레이 디스크, 플래시 메모리, 하드 디스크, RAM/ROM, 캐시 등일 수 있다.
본 발명의 제4 양태에 따르면, 명령어들을 대표하는 신호 시퀀스가 제안되고, 이러한 명령어들은 (예컨대 본 발명에 따른 사용자 인터페이스의 평가 유닛의) 프로그래밍 가능한 프로세서가 처음에 언급한 발명의 양태에 따른 방법의 단계들을 수행하도록 허용한다. 이러한 방식으로, 명령어를 위해 필요한 저장 수단이 첨부 청구항들의 적용 범위 밖에 있는 경우에도, 명령어들을 정보 기술적으로 제공하는 것은 보호된다.
본 발명의 제5 양태에 따르면, 예컨대 무선 통신 기기(예컨대 이동 전화, 스마트폰, 태블릿 PC 등)로서 형성될 수 있는 사용자 단말기가 제안된다. 사용자 단말기는 단말기 기능으로의 액세스를 위해 사용자 인터페이스를 포함하되, 두번째로 언급한 발명의 양태와 연관하여 상세하게 설명된 바와 같은 사용자 인터페이스를 포함한다.
본 발명의 제6 양태에 따르면, 두번째로 언급한 발명의 양태에 따른 사용자 인터페이스를 포함하는 이동 수단(예컨대 승용차, 운반차, 화물차, 선박 및/또는 항공기)이 제안된다. 이때 표시 유닛은 예컨대 계기판 및/또는 중앙 정보 디스플레이로서 형성될 수 있고, 이를 위해 이동 수단의 대시 보드 내에 삽입될 수 있다. 센서 장치는 예컨대 이동 수단의 중앙 콘솔 내의 적외선 LED 스트립 및/또는 중앙 콘솔 상부에서 이동 수단의 헤드라이닝 내의 광학 카메라를 포함할 수 있다. 평가 유닛은 전자 제어 기기로서 형성될 수 있고, 부가적으로 다른 이동 수단 특정 기능들을 위해 사용될 수 있다.
이하, 본 발명의 실시예들은 첨부 도면을 참조로 하여 더 상세히 설명된다.
도 1은 본 발명에 따른 이동 수단의 일 실시예에서 본 발명에 따른 사용자 인터페이스의 일 실시예의 구성 요소들에 대한 개략적 도면을 도시한다.
도 2는 본 발명에 따른 사용자 단말기의 일 실시예에서 본 발명에 따른 사용자 인터페이스의 일 실시예의 구성 요소들에 대한 개략적 도면을 도시한다.
도 3은 3D 제스처 감지 영역 내에서 사용자의 손을 개략적으로 나타낸 도면을 도시한다.
도 4는 3D 제스처 감지 영역 내에서 사용자의 손을 개략적으로 나타낸 다른 도면을 도시한다.
도 5 내지 도 10은 본 발명에 따른 사용자 인터페이스의 일 실시예의 조작 시 조작 단계들을 나타내는 도면을 도시한다.
도 11은 본 발명에 따른 사용자 인터페이스의 대안적 구성을 갖는 실시예를 나타낸 도면을 도시한다.
도 12는 본 발명에 따른 방법의 일 실시예의 단계들을 나타내는 흐름도이다.
도 1은 이동 수단으로서의 승용차(10)를 도시하고, 승용차 내에는 본 발명의 일 실시예에 따른 사용자 인터페이스(1)가 장착되어 있다. 표시 유닛으로서의 스크린(2)은 승용차(10)의 계기판 내에 삽입되어 있으며, 평가 유닛으로서의 전자 제어 기기(3)와 정보 기술적으로 연결된다. 전자 제어 기기(3)는 다시 데이터 메모리(5)와 연결되고, 데이터 메모리에는 사용자 인터페이스(1)의 기능 조작을 위해 구비 및 분류된 3D 제스처들을 위한 참조들이 저장되어 있다. 스크린(2) 아래에 센서 장치로서의 적외선 LED 스트립(4)이 배치되고, LED 스트립은 3D 감지 영역(6)을 생성한다. 입력 수단(예컨대 사용자의 손)의 위치 표시를 위해 스크린(2)의 가장자리를 따라 발광 요소들(12a, 12b, 12c, 12d)이 배치되고, 이러한 발광 요소들을 통해 전자 제어 기기(3)는 사용자의 손의 현재 위치에 대하여 스크린(2)의 가장자리 영역 내에서 지침들을 출력할 수 있다.
도 2는 사용자 단말기로서의 태블릿 PC(20)를 개략적 도면으로 도시하며, 이러한 사용자 단말기에는 본 발명에 따라 형성되는 사용자 인터페이스(1)가 통합되어 있다. 광학 카메라(4)는 3D 제스처 감지를 위한 센서 장치로서 프로그래밍 가능한 프로세서(3)와 정보 기술적으로 연결된다. 표시 유닛으로서의 (부분적으로 자유 절단된) 스크린(2) 아래에 데이터 메모리(5)가 더 배치되고, 프로세서(3)와 정보 기술적으로 연결된다. 도시된 구성 요소들의 기능은 도 1과 연관하여 설명된 것에 실질적으로 부합한다.
도 3은 3D 감지 영역(6) 내에 배치된 사용자의 손(7)을 도시한다. 3D 감지 영역(6)은 센서 장치(4)에 의해 생성되며, 센서 장치는 이동 수단의 중앙 콘솔(8) 내에 통합되어 있다. 손(7)을 센서 방식으로 감지하기 위한 가능성에 대하여, 수평 경계선들 (Xmin, Xmax)및 수직 경계선들(Ymin, Ymax)이 적용된다. 손(7)의 현재 위치(P)는 전술한 경계선들(Xmin, Xmax, Ymin, Ymax) 내에서 Xh, Yn와 함께 제공된다. 도시된 바와 같이, 손(7)은 완전히 감지되고 센서 방식으로 양호하게 해상될(resolved) 수 있다.
도 4는 도 3에 도시된 배치도의 측면도이다. 감지 영역(6)은 실질적으로 역삼각형의 횡단면을 포함하고, 이러한 횡단면의 뾰족한 하부 끝단은 중앙 콘솔(8) 내에 통합된 센서(4)와 일치한다. 여기서 감지 영역(6)의 하한선(Zmin)이 배치된다. 센서(4)로부터 약 30 cm 내지 40 cm의 간격으로 감지 영역(6)의 상한선(Zmax)이 위치한다. 2개의 경계선(Zmin, Zmax) 사이에서 손(7)은 현재 높이(Zh)로 위치한다.
도 5는 부분 도면 a)에서 본 발명에 따라 형성된 사용자 인터페이스의 스크린(2)의 도면을 도시하고, 스크린 상에 라디오 방속국 선택을 위한 스크린 화면(11)이 표시된다. 스크린(2)의 가장자리 영역들에는 청색 바(9a, 9b, 9c, 9d)의 형태를 갖는 지침들이 표현되고, 이러한 청색 바의 경계선들은 스크린(2)의 꼭지점 방향으로 투명도가 증가하면서 흐릿하게 형성된다. 부분 도면 b)에는 도 3에 대응하는 사용자의 손(7)이 사용된 센서(4)의 감지 영역(6) 내에 있는 것을 나타낸 도면이 도시되어 있다. 손(7)의 위치(P)는 감지 영역(6) 내의 중앙에 놓이고, 센서(4)로부터의 이격 거리는, 손(7)이 감지 영역(6)을 한편으로 양호하게 채우나, 다른 한편으로 그 경계선을 초과하지 않는 방식으로 선택된다.
도 6은 도 5에 도시된 상황에 비해 손(7)의 위치(P)의 변경에 의해 달라진 조작 단계를 도시하고, 이러한 조작 단계에서 스크린(2)의 수평 가장자리를 따라 배치된 지침들(9a, 9c)은 손(7)의 위치(P)에 상응하여 좌측으로 이동한 상태이다. 반면, 스크린(2)의 수직 가장자리를 따라 지침들(9b, 9d)의 위치는 변경되지 않는다. 마찬가지로, 센서(4)에 대한 손(7)의 간격도 변경 없이 유지된다.
도 7은 도 6에 도시된 도면에 비해 위쪽으로 또는 주행 방향으로 사용자의 손(7)이 더 이동한 것을 나타낸 도면이다. 이에 상응하여, 이제, 지침들(9b, 9d)은 스크린(2)의 수직 가장자리를 따라 스크린(2)의 상부 가장자리 방향으로 이동한다.
도 8에는 도 5에 도시된 상황이 다시, 사용자의 손(7)과 센서(4) 사이의 간격 변경 효과를 위한 출발점으로서 도시되어 있다.
도 9는 3D 감지 영역(6)의 상부 가장자리 영역 내에 배치된 사용자의 손(7)을 도시한다. 손(7)은 관찰자의 방향에서 손등을 보이고 있고, 지침들(9a, 9b, 9c, 9d)은 스크린(2)의 가장자리 영역들에서 그 투명도가 강화되거나 포화도 및 발광 세기가 감쇠한 상태로 표현된다. 이로부터 사용자는, 사용자 제스처의 센서 방식 해상도를 개선하기 위해 센서(4)에 근접하는 것이 유리하다는 것을 인식한다.
도 10은 도 8로부터 시작하여, 센서(4)에 손(7)이 비효과적으로 심하게 근접한 결과를 도시한다. 따라서 손(7)은 관찰자의 시야에서 도면 평면 안으로 들어가 있으며 축소 도시되어 있다. 센서(4)의 방향으로 스윗 스폿을 벗어나면, 도 9에 도시된 상황에 부합하여, 지침들(9a, 9b, 9c, 9d)의 투명도 증대 또는 발광 세기 및 포화도의 감소를 야기한다. 이러한 방식으로, 사용자에게, 그가 제스처의 해상도를 개선하기 위해 손(7)과 사용된 센서(4) 사이의 간격을 늘려야 한다는 것이 시그널링된다.
도 11은 스크린(2)의 대안적 실시예를 나타낸 도면으로, 스크린은 4개의 부가적 발광 수단(12a, 12b, 12c, 12d)에 의해 테두리가 둘러쳐 있다. 스크린(2)의 수평 가장자리의 영역들에서 2개의 길다란 발광 수단(12a, 12c)이 배치된다. 이에 상응하여, 스크린의 수직 가장자리의 영역들에는 수직으로 배향된 발광 수단(12b, 12d)이 배치된다. 발광 수단들(12a, 12b, 12c, 12d)은 바 형의 발광 요소들로서 형성된다. 사용자 손의 위치를 나타내기 위해, 발광 수단(12a, 12b, 12c, 12d)은 지침들(9a, 9b, 9c, 9d)을 전술한 실시예들에 따라 표시하도록 설계된다. 따라서 스크린(2)은 전체적으로, 여타의 자유 선택적 항목 표시를 위해 사용될 수 있다.
도 12는 본 발명에 따른 방법의 일 실시예의 단계들을 나타내는 흐름도를 도시한다. 단계 100에서, 사용자의 손은 3D 제스처 인식 영역 내에서 입력 수단으로서 감지된다. 사용자에게 3D 제스처 인식 영역의 가장자리들과 관련하여 입력 수단의 현재 위치에 대하여 알려주기 위해, 단계 200에서 입력 수단의 위치는 사용자 인터페이스의 표시 유닛의 가장자리 영역 내에서 지침에 의해 시그널링된다. 이러한 지침들은 실질적으로 바 형이거나 선형인 요소들로서 표현될 수 있어서, 입력 수단의 위치를 표지하는 십자선의 기호는 표시 유닛의 가장자리 영역들 내에서 상징적으로 나타나게 된다. 단계 300에서, 사용자는 3개의 좌표들(수평, 수직 및 2개의 전술한 좌표에 대해 직교하는 제3 좌표)와 관련하여 입력 수단의 위치를 변경한다. 이에 대한 응답으로, 단계 400에서, 표시 유닛의 가장자리 영역 내에서의 지침들의 위치 및 지침들의 시각적 형상이 변경된다. 사용자의 손과 센서 사이의 간격에 대해 직교하는 방향들과 관련하여, 지침들의 위치는 표시 유닛의 가장자리 영역들 내에서 적절하게 변경된다. 사용자의 손과 센서 사이의 간격 방향으로의 변경과 관련하여, 지침들의 시각적 형상 변경이 수행된다. 스윗 스폿을 벗어남으로써, 지침들의 투명도가 더 현저하게 증대되어, 지침들의 발광 세기 및/또는 포화도는 나머지 스크린 항목들에 비하여 감소한다. 대안적으로, 지침들의 에지들은 덜 선명하게 형성될 수 있다. 이러한 방식으로, 사용자는, 그의 손 위치를 교정하는 것이 유리하다는 것을 알게 된다. 단계 500에서, 사용자의 인물 전환이 인식되되, 이동 수단의 운전자가 그의 손을 감지 영역으로부터 거두는 반면, 동승자가 자신의 손을 3D 감지 영역 내에 갖다 댐으로써 그러하다. 이러한 전환은 단계 600에서 지침들의 시각적 형상 변경에 의해 확인응답된다. 구체적으로, 지침들의 컬러 및 형태가 변경된다. 부가적으로, 표상(영문 "아이콘")이 나타나서, 시스템에 의해 현재 간주되는 사용자의 위치를 표시한다. 선택적으로, 전환된 사용자 역할을 위해, 소정의 대안적 형상 매개변수 또는 데이터세트가 사용될 수 있다. 예컨대, 지침들의 표시 시간은 각 사용자의 자질에 따라 상이한 정도로 발생할 수 있다. 일반적으로, 사용자 인터페이스는 운전자가 더 빈번하게 조작하게 되므로, 지침들의 출력 시간은 동승자보다 더 짧게 발생할 수 있다. 설정 메뉴에서, 이에 상응하는 매개변수는 필요에 따라 구성될 수 있다.
본 발명에 따른 양태들 및 유리한 실시 형태들은 첨부 도면과 연관하여 설명된 실시예들에 따라 상세하게 설명되었으나, 당업자에게는 첨부 청구항에 의해 그 보호 범위가 정의되는 본 발명의 범위를 벗어나지 않고 설명된 실시예들의 특징들의 수정 및 조합이 가능하다.
1 사용자 인터페이스 2 스크린
3 평가 유닛 4 센서 장치
5 데이터 메모리 6 감지 영역
7 사용자의 손 8 중앙 콘솔
9a, 9b, 9c, 9d 지침 10 승용차
11 스크린 항목 12a, 12b, 12c, 12d 부가적 발광 수단
20 태블릿 PC 100-600 방법 단계들
P; Xh, Yh, Zh 손의 위치 Xmin, Ymin, Zmin, Xmax, Ymax, Zmax 감지 영역의 경계선

Claims (15)

  1. 사용자 인터페이스(1)를 위한 3D 제스처 감지 영역(6)과 관련하여 입력 수단(7)의 위치(P, Xh, Yh, Zh)를 시그널링하기 위한 방법에 있어서,
    - 상기 3D 제스처 인식 영역(6) 내에서 사용자의 입력 수단(7)을 감지하는 단계(100), 및
    - 상기 사용자 인터페이스(1)의 표시 유닛(2)의 가장자리 영역 내에서 지침(9a, 9b, 9c, 9d)에 의해 상기 입력 수단(7)의 위치(P, Xh, Yh, Zh)를 시그널링하는 단계(200)를 포함하는 것을 특징으로 하는 방법.
  2. 청구항 1에 있어서,
    제1 좌표(Xh)와 관련하여 상기 입력 수단(7)의 위치(P, Xh, Yh, Zh)의 변경을 인식하는 단계(300), 및 이에 대한 응답으로
    상기 표시 유닛(2)의 수평 가장자리 영역 내에서 상기 지침들(9a, 9c)의 위치들을 변경하는 단계(400)를 더 포함하는 것을 특징으로 하는 방법.
  3. 청구항 1 또는 청구항 2에 있어서,
    제2 좌표(Yh)와 관련하여 상기 입력 수단(7)의 위치(P, Xh, Yh, Zh)의 변경을 인식하는 단계(300), 및 이에 대한 응답으로
    상기 표시 유닛(2)의 수직 가장자리 영역 내에서 상기 지침들(9b, 9d)의 위치들을 변경하는 단계(400)를 더 포함하는 것을 특징으로 하는 방법.
  4. 청구항 1 또는 청구항 2에 있어서,
    제3 좌표(Zh)와 관련하여 상기 입력 수단(7)의 위치(P, Xh, Yh, Zh)의 변경을 인식하는 단계(300), 및 이에 대한 응답으로
    상기 지침들(9a, 9b, 9c, 9d)의 형상을 변경하는 단계(400)를 더 포함하는 것을 특징으로 하는 방법.
  5. 청구항 1 또는 청구항 2에 있어서,
    상기 지침들(9a, 9b, 9c, 9d)의 형상 변경은
    - 투명도,
    - 각 가장자리를 따르는 치수,
    - 에지 선명도, 또는
    - 컬러
    에 관련하는 것임을 특징으로 하는 방법.
  6. 청구항 1 또는 청구항 2에 있어서,
    상기 표시 유닛(2)의 가장자리들의 경계선에 대하여 상기 지침들(9a, 9b, 9c, 9d)의 위치는 상기 3D 제스처 감지 영역(6)의 경계선(Xmin, Xmax, Ymin, Ymax)에 대한 입력 수단(7)의 위치(P, Xh, Yh)에 상응하여 거동하는 것을 특징으로 하는 방법.
  7. 청구항 1 또는 청구항 2에 있어서,
    상기 지침들(9a, 9b, 9c, 9d)은 상기 사용자 인터페이스(1)의 표시 유닛(2) 상에 표시되는 것을 특징으로 하는 방법.
  8. 청구항 1 또는 청구항 2에 있어서,
    상기 지침들(9a, 9b, 9c, 9d)은 상기 사용자 인터페이스(1)의 표시 유닛(2) 옆에 별도의 발광 수단(12a, 12b, 12c, 12d) 상에 표시되는 것을 특징으로 하는 방법.
  9. 청구항 1 또는 청구항 2에 있어서,
    - 사용자의 인물 전환을 인식하는 단계(500), 및 이에 대한 응답으로
    - 상기 지침들(9a, 9b, 9c, 9d)의 형상을 변경하는 단계(600)를 더 포함하는 것을 특징으로 하는 방법.
  10. 사용자 인터페이스로서,
    - 표시 유닛(2),
    - 센서 장치(6), 및
    - 평가 유닛(3)을 포함하고,
    - 상기 센서 장치(6)는 3D 제스처 제어를 위해 입력 수단(7)을 감지하도록(100) 설계되고, 그리고
    - 상기 평가 유닛(3)은 상기 사용자 인터페이스(1)의 표시 유닛(2)의 가장자리 영역 내에서 지침(9a, 9b, 9c, 9d)에 의해 상기 입력 수단(7)의 위치(P, Xh, Yh, Zh)를 시그널링하도록 설계되는 것을 특징으로 하는 사용자 인터페이스.
  11. 청구항 10에 있어서,
    - 상기 표시 유닛(2)의 가장자리를 따라 각각 바(bar) 형의 발광 요소들로 형성되어 상기 지침(9a, 9b, 9c, 9d)을 시그널링하도록 설계되는 부가적 발광 수단(12a, 12b, 12c, 12d)을 더 포함하는 것을 특징으로 하는 사용자 인터페이스.
  12. 청구항 10에 있어서,
    상기 사용자 인터페이스(1)는 청구항 1에 따른 방법을 수행하도록 설계되는 것을 특징으로 하는 사용자 인터페이스.
  13. 명령어들을 포함하는 컴퓨터 프로그램 또는 명령어들을 대표하는 신호 시퀀스를 저장하는 기록 장치로서, 상기 명령어들이 청구항 10에 따른 사용자 인터페이스(1)의 평가 유닛(3)에서 실행될 때 상기 명령어들은 상기 사용자 인터페이스(1)가 청구항 1에 따른 방법의 단계들을 수행하도록 야기하는 것인, 명령어들을 포함하는 컴퓨터 프로그램 또는 명령어들을 대표하는 신호 시퀀스를 저장하는 기록 장치.
  14. 청구항 10 또는 청구항 11에 따른 사용자 인터페이스(1)를 포함하는 무선 통신 기기(20).
  15. 청구항 10 또는 청구항 11에 따른 사용자 인터페이스(1)를 포함하는 차량.
KR1020167026963A 2014-03-07 2014-03-07 제스처 감지 중에 입력 수단의 3d 위치를 시그널링하기 위한 사용자 인터페이스 및 방법 KR101803222B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2014/054447 WO2015131953A1 (de) 2014-03-07 2014-03-07 Anwenderschnittstelle und verfahren zur signalisierung einer 3d-position eines eingabemittels bei der gestenerfassung

Publications (2)

Publication Number Publication Date
KR20160126077A KR20160126077A (ko) 2016-11-01
KR101803222B1 true KR101803222B1 (ko) 2017-11-29

Family

ID=50349577

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167026963A KR101803222B1 (ko) 2014-03-07 2014-03-07 제스처 감지 중에 입력 수단의 3d 위치를 시그널링하기 위한 사용자 인터페이스 및 방법

Country Status (5)

Country Link
US (1) US9956878B2 (ko)
EP (1) EP3113969B1 (ko)
KR (1) KR101803222B1 (ko)
CN (1) CN106068201B (ko)
WO (1) WO2015131953A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10137777B2 (en) 2015-11-03 2018-11-27 GM Global Technology Operations LLC Systems and methods for vehicle system control based on physiological traits
FR3063557B1 (fr) * 2017-03-03 2022-01-14 Valeo Comfort & Driving Assistance Dispositif de determination de l'etat d'attention d'un conducteur de vehicule, systeme embarque comportant un tel dispositif, et procede associe
EP3991067A1 (en) 2019-06-26 2022-05-04 Google LLC Radar-based authentication status feedback
CN118444784A (zh) 2019-07-26 2024-08-06 谷歌有限责任公司 基于雷达的姿势识别的情境敏感控制
KR20210153695A (ko) 2019-07-26 2021-12-17 구글 엘엘씨 Imu 및 레이더를 통한 인증 관리
CN113853567B (zh) 2019-07-26 2024-03-29 谷歌有限责任公司 基于imu和雷达降低状态
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
US11385722B2 (en) 2019-07-26 2022-07-12 Google Llc Robust radar-based gesture-recognition by user equipment
KR102479012B1 (ko) 2019-08-30 2022-12-20 구글 엘엘씨 일시정지된 레이더 제스처에 대한 시각적 표시자
US11467672B2 (en) 2019-08-30 2022-10-11 Google Llc Context-sensitive control of radar-based gesture-recognition
EP3936980B1 (en) * 2019-08-30 2024-07-10 Google LLC Input methods for mobile devices
DE102021204608A1 (de) 2021-05-06 2022-11-10 Brose Fahrzeugteile Se & Co. Kommanditgesellschaft, Bamberg Verfahren zum Betrieb eines Assistenzsystems eines Kraftfahrzeugs
USD993121S1 (en) * 2021-08-12 2023-07-25 Metra Electronics Corporation Auto stereo mounting device
USD993865S1 (en) * 2021-08-12 2023-08-01 Metra Electronics Corporation Auto stereo mounting device
USD990394S1 (en) * 2021-08-26 2023-06-27 Ford Global Technologies, Llc Vehicle center display
USD990395S1 (en) * 2021-08-26 2023-06-27 Ford Global Technologies, Llc Vehicle center display

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130141362A1 (en) 2011-12-05 2013-06-06 Sony Mobile Communications Japan, Inc. Imaging apparatus
DE102012000201A1 (de) 2012-01-09 2013-07-11 Daimler Ag Verfahren und Vorrichtung zum Bedienen von auf einer Anzeigeeinheit eines Fahrzeugs angezeigten Funktionen unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8086971B2 (en) 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
US8760432B2 (en) 2010-09-21 2014-06-24 Visteon Global Technologies, Inc. Finger pointing, gesture based human-machine interface for vehicles
TWI528224B (zh) * 2010-11-15 2016-04-01 財團法人資訊工業策進會 三維動態操控方法及裝置
JP5711962B2 (ja) 2010-12-27 2015-05-07 株式会社ソニー・コンピュータエンタテインメント ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法
CN102135856A (zh) * 2011-03-07 2011-07-27 友达光电股份有限公司 显示控制方法、显示装置及电子装置
WO2013029256A1 (en) * 2011-08-31 2013-03-07 Qoros Automotive Co., Ltd. Interactive system for vehicle
DE102011112565A1 (de) * 2011-09-08 2013-03-14 Daimler Ag Verfahren zum Bedienen einer Bedienvorrichtung für ein Kraftfahrzeug
TWI540461B (zh) 2011-12-05 2016-07-01 緯創資通股份有限公司 手勢輸入的方法及系統
KR101337665B1 (ko) 2012-03-08 2013-12-06 한양대학교 산학협력단 단말기 연동 및 제어 시스템 및 이에 사용되는 사용자 단말기
US9830073B2 (en) * 2014-12-12 2017-11-28 Alpine Electronics, Inc. Gesture assistive zoomable selector for screen
US20160357262A1 (en) * 2015-06-05 2016-12-08 Arafat M.A. ANSARI Smart vehicle

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130141362A1 (en) 2011-12-05 2013-06-06 Sony Mobile Communications Japan, Inc. Imaging apparatus
DE102012000201A1 (de) 2012-01-09 2013-07-11 Daimler Ag Verfahren und Vorrichtung zum Bedienen von auf einer Anzeigeeinheit eines Fahrzeugs angezeigten Funktionen unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt

Also Published As

Publication number Publication date
US9956878B2 (en) 2018-05-01
CN106068201A (zh) 2016-11-02
CN106068201B (zh) 2019-11-01
WO2015131953A1 (de) 2015-09-11
US20170021728A1 (en) 2017-01-26
EP3113969A1 (de) 2017-01-11
KR20160126077A (ko) 2016-11-01
EP3113969B1 (de) 2018-06-06

Similar Documents

Publication Publication Date Title
KR101803222B1 (ko) 제스처 감지 중에 입력 수단의 3d 위치를 시그널링하기 위한 사용자 인터페이스 및 방법
US9858702B2 (en) Device and method for signalling a successful gesture input
CN108292448B (zh) 信息处理装置、信息处理方法和程序
US10191630B2 (en) Graphical interface and method for managing said graphical interface during the touch-selection of a displayed element
KR102161510B1 (ko) 포터블 디바이스 및 그 제어 방법
US9823741B2 (en) Method for selecting an information source for display on smart glasses
JP6144501B2 (ja) 表示装置、および、表示方法
KR101845177B1 (ko) 차량의 조작 및 표시 장치의 조작 방법 및 차량의 조작 및 표시 장치
WO2015151619A1 (ja) 車載情報装置
JP2016004541A (ja) 車両用操作入力装置
KR20180097917A (ko) 전자 장치 및 그의 제어 방법
JP2016149094A (ja) 車両用情報処理装置
JP2015138299A (ja) 指示具及び座標検出システム
JP2016009398A (ja) 情報処理装置、情報処理システム、情報処理方法及びコンピュータプログラム
US9563344B2 (en) Information processing method and electronic apparatus
KR102267259B1 (ko) 차량의 네비게이션 시스템 및 그 제어방법
JP2019109571A (ja) 表示装置、及び入力装置
KR101859104B1 (ko) 햅틱 모듈 및 이를 이용한 차량 제어장치
JP2017045472A (ja) タッチパネル式装置によるヘッドマウントディスプレイ上のポインタ操作が可能なシステム、プログラム、及び方法
CN106458216A (zh) 用于基于目光操作速度调节系统的用户界面以及操作方法
KR101473928B1 (ko) 문서 저작 도구에서 화면상에 중첩된 개체 조작 장치 및 방법
JP2016115039A (ja) タッチパネル式装置によるヘッドマウントディスプレイ上のポインタ操作が可能なシステム、プログラム、及び方法
EP3035183A1 (en) Touch-sensitive display with hover location magnification
CN104937528B (zh) 操作方法和操作装置
KR20190001114A (ko) 디스플레이장치와 그 제어방법 및 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant