KR20150068957A - 애플리케이션과의 상호작용으로서의 다모드 사용자 표현 및 사용자 인텐서티 검출 기법 - Google Patents

애플리케이션과의 상호작용으로서의 다모드 사용자 표현 및 사용자 인텐서티 검출 기법 Download PDF

Info

Publication number
KR20150068957A
KR20150068957A KR1020157009312A KR20157009312A KR20150068957A KR 20150068957 A KR20150068957 A KR 20150068957A KR 1020157009312 A KR1020157009312 A KR 1020157009312A KR 20157009312 A KR20157009312 A KR 20157009312A KR 20150068957 A KR20150068957 A KR 20150068957A
Authority
KR
South Korea
Prior art keywords
user
application
touch
map
destination
Prior art date
Application number
KR1020157009312A
Other languages
English (en)
Other versions
KR102151286B1 (ko
Inventor
모우 코스라비
덩컨 롤러
파스퀄 디메이오
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20150068957A publication Critical patent/KR20150068957A/ko
Application granted granted Critical
Publication of KR102151286B1 publication Critical patent/KR102151286B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Abstract

본 발명의 구성은 컴퓨팅 장치와의 단일 모드 및 다모드(multi-modal) 상호작용을 가능하게 하고, 제스처나 제스처들 내의 사용자 인텐서티(user intensity)(또는 생기(liveliness))를 해석한다. 지오스페이셜(geospatial) 구현예에서, 멀티터치 상호작용은 두 지리적 지점 사이에서의 일반적인 내비게이션을 용이하게 하기 위해 터치 압력(터치 감지)의 검출 및 처리를 포함할 수 있다. 이것은 또한 내비게이션 및 턴바이턴(turn-by-turn) 길 안내를 용이하게 하는 상세한 정보를 제공하는 것과 연결된다. 이것은 매력적인 사용자 경험을 생성하기 위해 시간 및/또는 압력을 사용하여 맵 타일의 줌 레벨을 릴리스 또는 증가시키는 것, 두 지리적 지점의 터치 및 이들 두 지리적 지점 사이의 길 안내를 획득하도록 말하는 것, 및 타일들을 혼합하는 것(이 경우 맵은 동일 뷰에 상이한 줌 레벨로 되어 있다)을 포함한다.

Description

애플리케이션과의 상호작용으로서의 다모드 사용자 표현 및 사용자 인텐서티 검출 기법{MULTI-MODAL USER EXPRESSIONS AND USER INTENSITY AS INTERACTIONS WITH AN APPLICATION}
컴퓨팅 세상에서, 사용자는 장치 상호작용 방식에 있어 보다 세련되어지고(sophisticated) 있다. 컴퓨터 상호작용의 기본 기술은 키보드, 마우스, 그 뒤를 잇는 라이트펜(light pen), 터치 스크린 등이다. 예를 들어 컴퓨터 게임 시스템과 같은 보다 고도화된(sophisticated) 시스템에서는, 음성 및 자연스러운 사용자 동작을 인식하는 상호작용 시스템이 제공되고 있다. 그러나, 이들 기존의 보다 고도화된 능력들은 여전히 유아 수준에 머물러 있으며 많은 하드웨어 및 소프트웨어 시스템에 온전히 활용되지 못한다.
이하에서는 본 명세서에 기술된 몇몇 신규한 실시예들에 대한 기본적인 이해를 제공하기 위해 단순화된 개요를 제시한다. 본 개요는 청구항의 청구대상의 핵심적인 특징이나 필수적인 특징들을 밝히고자 함이 아니며, 청구항의 청구대상의 범위를 결정하는 데 도움이 되고자 함도 아니다. 그 유일한 목적은 이하에 제시되는 발명의 상세한 설명 부분에 대한 서두로서 간략화된 형태로 몇몇 개념을 소개하기 위한 것이다.
개시된 구성은 컴퓨팅 장치와의 상호작용으로서 단일 모드 및 다모드(multi-modal) 사용자 표현(예컨대, 제스처, 음성 표현 등)을 가능하게 한다. 또한, 이들 표현(expression)은 표현에 있어 사용자 인텐서티(user intensity)(또는 생기(liveliness))를 결정하기 위해 분석될 수 있다. 표현은 하나의 또는 복수의 사용자 동작(예컨대, 얼굴 표정과 손동작, 손동작과 음성 표현 등)을 포함할 수 있다. 예를 들어, 지오스페이셜(geospatial) 구현예에서, 멀티터치 상호작용은 두 지점 사이에서의 일반적인 내비게이션을 용이하게 하기 위해 맵(내비게이션) 애플리케이션의 2개의 지점에 대한 터치 압력(터치 감지)의 검출 및 처리를 포함할 수 있다. 이것은 또한 내비게이션 및 턴바이턴(turn-by-turn) 길 안내를 용이하게 하는 상세한 정보를 제공하는 것과 연결된다. 계속해서 지오스페이셜 애플리케이션 구현예에 따르면, 지리적 맵 타일의 줌 레벨을 증가 또는 감소시키기 위해 터치 압력의 표현(맵이 동일 뷰에서 상이한 레벨의 줌 상태에 있는 경우)과 함께 시간이 추적될 수 있으며, 2개의 지리적 지점을 터치하는 것과 이들 두 지점 사이의 길 안내를 획득하도록 말하는 것, 및 맵 타일의 혼합이 가능한데, 이들은 모두 매력적인 사용자 경험을 생성하도록 실현될 수 있다.
모드 입력 표현(modal input expression)은, 제한적인 것은 아니지만, 손에 의한 가속된 움직임, 터치 스크린 상의 터치 압력의 양 또는 비율의 증가, 터치 압력 감지 시스템 상에서의 유지되는 터치 압력(압력 유지(pressure dwell)), 증가/감소된 음성 볼륨 및/또는 발음 속도(일반적으로는 제스처 속도) 및 예컨대 놀람, 쇼크, 행복 등을 보여주는 것으로 인식되는 얼굴 제스처와 같은 사용자 인텐서티를 포함하는 것으로 감지되고 해석될 수 있는 사용자 제스처(예컨대, 얼굴 표정, 신체 외지(body appendage) 및 신체 움직임, 음성 표현 등)를 포함할 수 있다.
이 구성은 시스템 상호작용, 표정, 렌더링 및 선택적으로는 사용자 인텐서티의 임의의 조합을 사용하여 작동한다. 맵 타일을 채용하는 지오스페이셜 구현예에서, 예를 들어, (음성, 터치, 압력 감지 태블릿 상의 압력 등을 통해) 줌 레벨이 증가 또는 감소함에 따라, 주변 영역이 가변하는 데이터 해상도로 제공되어 증가 또는 감소된 줌 레벨을 보여주는 보다 정교한 레벨의 세부 타일링을 생성한다. 줌 혼합 비율(zoom blend rate)에 영향을 주기 위해 제스처와 같은 표정이 이용될 수 있으며, 쿼드 트리 기반의 테셀레이션(quad tree based tessellation)(상이한 해상도의 둘 이상의 지리적 영역의 사이 공간(interstitial space)의 일부 또는 전부의 점진적이고 시각적인 이음매없는 변화(seamless transition)) 및 (예컨대, 영향받은 맵 영역에 걸친) 하드 에지 및 갭을 커버하기 위해 투명 오버레이와 블러(blur) 오버레이로 렌더링하는 것이 이용될 수 있다. 보다 매력적인 사용자 경험을 제공하기 위해 상이한 크기의 맵 타일들이 혼합된다.
이 구성은 또한 출발 지점과 목적지 지점 사이의 경로 곡선들을 블러링(blurring)함으로써 가속 뷰(accelerated view)를 제공하는데, 이는 성능 및/또는 네트워크 접속성이 감소(또는 제한)되어 관심 지점에 가까운 줌 레벨만이 페치될 수 있는 상황에 적합하다.
상기 및 관련 목적을 달성하기 위해, 첨부 도면 및 하기 상세한 설명과 함께 소정의 예시적인 특징들을 본 명세서에서 설명한다. 이들 특징은 본 명세서에 기술된 원리들이 실시될 수 있는 다양한 방식을 나타내며, 이들 모든 특징 및 그 균등물은 청구된 청구대상의 범위 내에 있는 것으로 보아야 한다. 다른 이점들 및 신규한 특징들은 도면과 함께 고려할 때 다음의 상세한 설명으로부터 명확해질 것이다.
도 1은 기술된 구성에 따른 시스템을 도시한 것이다.
도 2는 터치 디스플레이를 통해 맵 및 내비게이션 애플리케이션에서 렌더링하는 디프렌셜 타일(differential tile) 및 사용자 표현의 구현예를 도시한 도면이다.
도 3은 줌 레벨을 페치하기 위해 반복 분할(recursive division)에 의한 줌 레벨을 나타내는 상세 레벨(level-of-detail)의 논리적 뷰를 도시한 도면이다.
도 4는 에지 렌더링을 위한 맵 타일링의 논리적 뷰를 도시한 도면이다.
도 5는 핀치인(pinching in) 및 핀치아웃(pinching out)을 통해 글로벌 줌에 영향을 주도록 제스처가 이용되는 것을 도시한 도면이다.
도 6은 지오스페이셜 검색 결과들이 각각 맵 상에서 증가된 줌 레벨로 렌더링되는 대안적인 구현예를 도시한 것이다.
도 7은 출발 지점에 가까운 보다 상세한 뷰에 대한 어안(fish-eye) 영역 및 종료 지점으로 가는 도중의 임의의 후속 턴(turn)의 사용을 도시한 도면이다.
도 8은 기술된 구성에 따른 방법을 도시한 것이다.
도 9는 기술된 구성에 따른 다른 방법을 도시한 것이다.
도 10은 기술된 구성에 따른 사용자 인텐서티와의 애플리케이션 상호작용을 위한 다모드 사용자 표현을 실행하는 컴퓨팅 시스템의 블록도이다.
기술된 구성은 단일 모드 및 다모드(예컨대, 다중 입력) 사용자 표현을 컴퓨팅 장치와의 상호작용으로서 가능하게 한다. 이에 갈음하여 또는 이에 더하여, 하나 이상의 표현의 사용자 인텐서티(또는 활력(liveliness))는 다른 장치/애플리케이션의 동작을 일으키는 상호작용의 일부로서 계산될 수 있다. 단일 모드 및 다모드 표현(장치, 애플리케이션, 시스템으로의 입력)은 컴퓨팅 장치(예컨대, 휴대전화, 태블릿, 컴퓨터 등)와의 상호작용에 대한 보다 빠르고 보다 최적화된 사용자 경험을 가능하게 하기 위한 스피치, 제스처, 및 터치 각각 또는 이들의 조합을 포함한다. 예를 들어, 맵 및 내비게이션 애플리케이션에서, 두 지점을 터치하여 이들 두 지점 사이에서의 길 안내를 확인할 수 있다면 수 회의 마우스 클릭을 방지할 수 있을 것이다. 스피치는 다모드 제스처 환경에서 유입될 수 있는 하드웨어/소프트웨어의 임의의 혼란을 제거하기 위해 추가된 제스처로서 이용될 수 있다.
기존의 지오스페이셜 패러다임에서는, 모든 맵 타일이 동일한 줌 레벨에 있는 사용자 경험을 디스플레이하려는 시도가 있어왔다. 개시된 구성은 시스템 상호작용, 표현, 및 렌더링의 조합을 이용하여 작동한다. 타일들이 이용되는 지오스페이셜 구현에서, 예컨대 줌 레벨이 증가 또는 감소함에 따라, (예컨대, 음성, 터치, 압력 감지 태블릿에서의 압력 등을 통해) 주위 맵 영역이 격자화되어 증가 또는 감소된 줌 레벨을 보여주는 상세한 타일링의 보다 정교한 레벨을 생성할 수 있다.
줌 혼합 비율 및 쿼드 트리 기반의 테셀레이션 및 영향받은 영역에 걸쳐 하드 에지 및 갭을 커버하기 위해 투명 및 블러 오버레이로 렌더링하는 것에 영향을 주기 위해, 제스처와 같은 표현들(예컨대, 음성, 손, 신체, 자세, 눈, 안면 등)이 이용될 수 있다. (쿼드 트리(quad tree)는 각 노드가 4개까지의 차일드 노드를 갖는 트리형 데이터 구조이며, 이것을 반복적으로 세분함으로써 2차원 공간을 구획하는데 가장 흔히 사용된다.)
이 구성은 출발 지점과 목적지 지점 사이의 경로 곡선을 블러링함으로써 가속된 뷰를 제공하는데, 이는 성능 및/또는 네트워크 접속성이 낮아 관심 지점에 가까운 줌 레벨만이 페치되는 상황에 적합하다.
터치 감지 디스플레이 (또는 스크린) 또는 다른 유형의 표면 상에서의 터치 압력과 같은 압력 변동에 대해, 인가된 압력의 레벨 차 및 지속시간(예컨대, 1회 접촉당 시간, 인가된 각 압력 레벨당 시간) 뿐만 아니라, 압력이 인가되는 비율도 감지하도록 복수의 압력 임계치가 구성될 수 있다. 예를 들어, 인가된 압력의 비율과 관련된 사용자 인텐서티가 계산될 수 있다. 사용자가 증가하는 레이트로 터치 압력을 인가하면(정적 또는 일정한 압력 대비 가속된 압력 증가), 사용자 인텐서티가 높은 것으로 계산될 수 있으며, 따라서 대응하는 수준의 긴급성이 판단되고, (예컨대, 대응하는 양의 처리 및 기타 자원을 할당함으로써) 하드웨어/소프트웨어 액션이 신속히 처리될 수 있다.
압력 감지 및 검출은 드웰(dwell)의 함수로서 계산될 수 있다. 드웰은 주어진 사용자 동작에 대해 소비된 시간의 양이다. 즉, 사용자가 연속적인 압력을 (일정한 압력 값) 지정된 시간(예컨대, 1초, 3초 등) 동안 인가하면, 압력 동작이 3초간 인가되는 압력 상호작용과 다르게 해석될 수 있다. 이와 유사하게, 사용자가 증가하는 레이트로 터치 압력을 인가하면(정적 압력 대비 가속된 압력 증가), 사용자 인텐서티가 높다고 계산될 수 있으며, 따라서 대응하는 수준의 긴급성이 판단되고 대응하는 양의 처리 및 기타 자원이 제공되어 관련 하드웨어/소프트웨어가 원하는 동작을 신속하게 수행하게 할 수 있다.
음성 및 스피치의 표현은 하나 이상의 상호작용에 대해 감지되고 검출될 수 있으며, 음량(소리의 강도), 음량의 변화, 스피치의 속도, 스트레스의 수준으로서의 음성의 높이(예컨대, 고음, 저음), 지속된 음조 등에 기초하여 사용자 인텐서티에 대해 분석될 수 있다. 불만(grunt), 신음(groan), 불평(moan) 등과 같이 입으로 말해진 출력이 원하는 상호작용 효과에 대해 구성될 수 있다.
손동작 및 손가락 세기와 같은 표현이 애플리케이션 제어를 위한 하나 이상의 상호작용으로서 감지되고 검출될 수 있으며, 사용자 인텐서티에 대해 분석될 수 있다. 예를 들어, 손의 넘기는 동작(flick)은 문서들이나 애플리케이션의 뷰들을 넘기는 것을 표현할 수 있다. 넘기는 속도가 빨라지는 것은(관성 운동 또는 표현) 넘기는 동작을 가속시키기 위한 사용자 인텐서티를 나타낼 수 있다.
얼굴 표정과 같은 표현이 하나 이상의 상호작용에 대해 감지되고 검출될 수 있으며, 놀람, 슬픔 등으로 해석되는 표현에 기초하여 사용자 인텐서티에 대해 분석된다.
표현들은, 감지되고 검출된 체온, 심박수, 및 예컨대 기분 및 정직함과 같은 기타 생체 파라미터에 기초하여 추론될 수 있으며 사용자 인텐서티에 대해 분석될 수 있다. 예를 들어, 체온 및/또는 심박수가 상승하면, 사용자 인텐서티 또한 상승한다고 추론할 수 있으며, 중요한 것으로 해석될 수 있다. 따라서 애플리케이션은 상호작용을 완료하기 위해 보다 효율적인 레벨로 동작할 수 있다.
표현들은 감지되고 검출된 피부색에 기초하여 추론될 수 있으며 사용자 인텐서티에 대해 분석될 수 있다. 예를 들어, 피부색이 붉은 것으로 감지되면, 표현 및 사용자 인텐서티는 스트레스, 즉 이후에 기분과 관련될 수 있는 증가된 정신적 육체적 활동과 관련된다고 추론될 수 있다. 따라서, 상호작용은 애플리케이션으로 하여금 대응하는 방식으로 동작할 수 있게 한다.
뛰어 오르기(jumping up) 및 뛰어 내리기(jumping down)와 같은 몸짓의 표현은 승인 또는 흥분과 관련된 것으로 감지되고 검출될 수 있다. 따라서, 사용자 인텐서티는 흥분된 감정 레벨로 해석될 수 있고, 상호작용은 애플리케이션으로 하여금 대응하는 방식으로 동작하게 할 수 있다.
상하좌우의 시선 추적(움직임), 깜빡임, 윙크, 드웰(관심 항목을 응시하거나 주시하는 시간 길이) 등은, 예컨대 찬성 또는 반대와 같은 특정 상호작용으로서 인식될 수 있다. 시선 추적은 사용자 인텐서티 및 관심에 대해 분석되어 애플리케이션으로 하여금 대응하는 방식으로 동작하게 하는 상호작용으로 해석할 수 있다. 예를 들어, 볼 수 있는 시야를 바꾸지 않고 맵의 특정 영역을 보는 것은 암시적 상호작용(제스처)일 수 있다. 시선 추적에 의해 결정된 고정된 시선(sustained look)은 줌인, 줌아웃, 그래픽 강조(예컨대, 강조(highlight), 밑줄(underline), 폰트 변경 등) 적용과 같은 몇몇 방식으로 응답하도록 애플리케이션에 의해 해석될 수 있다.
셰이킹(shaking)/넌셰이킹(non-shaking), 사용자 지향성(user orientation), 셰이킹 속도/가속도, 지향 움직임의 속도/가속도 등과 관련된 표현들을 측정하기 위해 일반적으로 전화기 및 다른 컴퓨팅 장치에 매립되어 있는 자이로스코프 및 가속도계와 같은 감지 컴포넌트가 모니터링될 수 있다. 이들 각각은 애플리케이션으로 하여금 대응하는 방식으로 동작하게 하는 상호작용으로 해석하도록 사용자 인텐서티에 대해 분석될 수 있다.
이제 도면을 참조하는데, 도면에서 유사한 참조번호는 도면 전반에서 유사한 요소를 지칭하는데 사용된다. 이하의 설명에서는, 설명의 목적으로 본 발명의 철저한 이해를 제공하기 위해 다수의 특정한 세부 사항이 개시된다. 그러나, 신규한 실시예들은 이들 특정 세부사항 없이 실시될 수 있다. 다른 예에서는, 설명을 용이하게 하기 위해, 잘 알려진 구성 및 장치는 블록도 형태로 도시된다. 이는 청구항의 청구대상의 사상 및 범주 내에 포함되는 모든 변형물, 균등물, 및 대체물을 커버하기 위한 것이다.
도 1은 개시된 구성에 따른 시스템(100)을 도시한 것이다. 시스템(100)은 다모드 사용자 표현(104)을 애플리케이션(108)을 제어하는 상호작용(106)으로서 감지하고 해석하는 감지 컴포넌트(102)를 포함할 수 있다. 감지 컴포넌트(102)는 카메라, 마이크, 가속도계, 자이로스코프, 온도 센서, 습도 센서, 지리적 위치 서브시스템(예컨대, GPS(global positioning system)), 압력 감지 표면(예컨대, 터치 스크린), 기타 사용자 입력(예컨대, 마우스, 펜, 키보드 등) 등과 같은 장치의 감지 서브시스템을 포함한다.
감지 컴포넌트(102)는 서브시스템으로부터 다른 온보드 컴포넌트로, 예를 들어 얼굴 표정, 제스처(예컨대, NUI(natural user interface)) 등의 인식 처리와 같은 데이터 처리를 위한 미가공 데이터(raw data)를 출력할 수 있다. 이와 달리, 감지 컴포넌트(102)는, 예를 들어, 얼굴 인식, 얼굴 표정 인식, 제스처 인식, 음성 인식, 스피치 인식 등을 수행하기 위한 모든 능력 및 알고리즘을 포함하며, 분석 컴포넌트(110)에 의해 처리하기에 적합한 데이터를 출력하여 임의의 사용자 인텐서티(112)를 도출한다.
도시된 바와 같이, 감지 컴포넌트(102)의 일부 출력은 애플리케이션(108)에 의해 이해된 상호작용(106)으로서 애플리케이션(108)에 직접 전달된다. 얼굴 표정의 이미지와 같은 감지 컴포넌트(102)에 의한 다른 출력은 사용자 인텐서티(112)가 존재하는지 판정하기 위한 분석을 위해 분석 컴포넌트(110)로 전달된다. 그 다음에 애플리케이션(108)은 사용자 표현(106) 및/또는 사용자 인텐서티(112)에 따라 동작한다.
전술한 바와 같이, 애플리케이션(108)은 출발 지점에서 목적지에 도달하는 것을 돕기 위해 사용자에 의해 액세스되는 맵 및 내비게이션 프로그램일 수 있다. 이 구현예는 이하의 설명에서 보다 상세히 기술된다.
즉, 사용자 표현들 중 하나는 터치(압력) 감지 디스플레이를 터치하는 것으로, 즉, 하나 이상의 터치(예컨대, 일련의 터치, 동시 터치 등)를 이용하여, 출발지와 목적지 사이의 (그래픽으로 또는 나열된) 길 안내를 위한 맵 애플리케이션 상의 두 지점(출발지와 목적지)을 터치하는 것이다. 맵 애플리케이션은 출발지와 목적지의 상세한 포커스를 유지하면서 출발지와 목적지 사이의 경로(타일) 내의 맵 타일을 흐리게(blur) 한다. 감지 컴포넌트는 하나 이상의 사용자 표정에 의해 정의된 사용자 인텐서티를 감지하고, 분석 컴포넌트는 애플리케이션의 줌인 동작 또는 줌아웃 동작을 일으키는 인텐서티를 분석한다.
사용자 인텐서티는 터치 감지 디스플레이 상의 터치의 드웰 시간(dwell time) 및 터치의 터치 압력에 따라 정의된다. 애플리케이션은 여러 레벨의 뷰를 하나의 전체 뷰에 렌더링한다. 사용자 표현은 압력 및 터치 디스플레이 표면에 인가된 압력의 드웰로 해석되며 따라서 상이한 압력은 그에 대응하도록 상이한 애플리케이션 동작을 생성한다. 다모드 사용자 표현은 스피치 입력을 이용하여 명확해진다.
도 2는 터치 디스플레이(202)를 통해 맵 및 내비게이션 애플리케이션에서 렌더링하는 디프렌셜 타일 및 사용자 표현의 구현예를 도시한 도면(200)이다. 여기서, 사용자는 왼손가락을 출발 지점(204)에 그리고 오른손가락을 목적지 지점(206)에 터치 접촉함으로써 터치 디스플레이(202)와 다모드로 상호작용한다. 제1 접촉과 제2 접촉의 순서는 예를 들어 출발지에서 목적지로의 길 안내 표시로 구성될 수 있다.
렌더링 컴포넌트(208)는 제1 줌 레벨에서의 출발 지점(204) 주위 영역(210)의 렌더링 및 제2 줌 레벨에서의 목적지 지점(206) 주위의 영역(212)의 렌더링을 용이하게 한다. 줌 레벨은 동일하거나 또는 상이할 수 있다. 따라서, 뷰는 사용자가 영역(210 및 212) 내의 맵 세부사항을 보다 상세히 감지할 수 있도록 되어 ㅇ있으며, 이로써 모든 타일이 포함되는 단일 맵 뷰 내에 복수의 상세 레벨을 제공할 수 있다.
사용자는 터치 압력에 기초하여 각 영역(210 및 212)에서의 줌 레벨을 변경할 수 있다. 이 변경은 또한 터치 압력과 연관된 드웰에 의해 용이해질 수 있다. 또한, 이 변경은 사용자 인텐서티의 임의의 검출에 의해 용이해질 수 있다.
도 3은 줌 레벨을 페치하기 위해 반복 분할(recursive division)에 의한 줌 레벨을 나타내는 상세 레벨(level-of-detail)의 논리적 뷰를 도시한 도면이다. 여기서, 쿼드 트리 기반의 타일들의 혼합을 이용하면, 출발 지점(302)은 우측 손가락을 사용하여 터치되고 목적지 지점(304)은 좌측 손가락을 사용하여 터치된다. 목적지 지점(304) 주위의 영역(306)은, 감소된 드웰(및/또는 감소된 터치 압력)에 기초하여 보다 낮은 줌으로 렌더링되어 낮은 맵 세부사항을 갖는 출발 지점(302)(및 영역(308))에서의 터치 압력보다 긴 시간 동안 터치 압력을 일정하게 유지함으로써, 보다 큰 줌 레벨(예컨대, 3x)로 렌더링될 수 있는데, 사용자는 통상 출발 지점(302)을 떠나 내비게이트하는 방법을 알고 있지만 목적지 지점(304)에 도달할 때 보다 상세한 정보를 필요로 하기 때문이다. 따라서, 하나의 구현예에서, 압력을 보다 오래 유지하거나 증가시키면 보다 높은 줌이 생성되며, 생성된 줌 레벨에 따라 그리고 내비게이션 경로에 기초하여 타일들이 페치된다. 그 후, 지점들(302, 304) 사이의 경로는 혼합 줌(blended zoom)으로서 격자화(블러링)될 수 있다.
다른 실시예에서는, 온보드 지오로케이션 시스템(onboard geolocation system)이 출발 지점(302)으로부터 목적지 지점(304)까지의 사용자 진행을 추적하고 있을 수 있으며, 사용자의 지오로케이션에 기초하여 지점들(302, 304) 사이의 경로를 따라 이동하는 줌 버블(zoom bubble)의 렌더링을 용이하게 한다.
사용자 인텐서티를 이용할 경우, 일실시예에서, 사용자 인텐서티가 검출되면, 사용자 인텐서티는 검출된 스트레스에 기초하여 지점 영역들 중 하나 또는 둘 모두에서 자동 줌 레벨이 나타나게 할 수 있다.
도 4는 에지 렌더링을 위한 맵 타일링의 논리 뷰를 도시한 도면(400)이다. 터치 포인트(402)에서, 터치 포인트(402)의 영역(406)에 인접한 영역(404)은 어떻게 쿼드 트리가 점진적으로 터치 포인트(402)에서의 상세 레벨에 이르는 상이한 줌 레벨들을 페치하는데 힌트가 되고 있는지를 보여준다. 하드에지(hard edge)는 408로 나타낸 바와 같이 줌 레벨이 변함에 따라 맵 내의 이음매(seam)를 처리하기 위해 블러링 및 투명화를 이용하는 것을 통해 매끈하게(smoothed) 될 수 있다.
도 5는 핀치인(pinching in) 및 핀치아웃(pinching out)을 통해 글로벌 줌에 영향을 주도록 제스처가 이용되는 것을 도시한 도면이다. 여기서, 사용자 표현은 양손을 사용하여 (접촉하거나 또는 접촉하지 않고) 줌을 변경시키고 따라서 관련 혼합 비율을 변경시키는 것으로 표현된다. 렌더링 컴포넌트(208)는 생성된 곡선에 대해 동일한 기술을 사용하여 시각화 표시(visualization)를 생성할 수 있다.
도 6은 지오스페이셜 검색 결과들이 각각 맵 상에서 증가된 줌 레벨로 렌더링되는 다른 구현예를 도시한 것이다. 여기서, 자신의 줌 레벨을 각각 갖는 4개의 지리적 관심 지점, 즉, 제1 지점(602)과 제1 영역(604), 제2 지점(606)과 제2 영역(608), 제3 지점(610)과 제3 영역(612), 및 제4 지점(614)과 제4 영역(616)이 제시된다. 사용자 표현은 임의의 한 지점에 대한 응시 또는 두 지점 사이의 시선 추적으로서 검출되어, 이들 지점에 대해 줌 레벨을 자동으로 조정할 수 있다.
도 7은 출발 지점(702) 근방의 보다 상세한 뷰에 대한 어안(fish-eye) 영역 및 목적지 지점(704)으로 가는 도중의 임의의 후속 턴(turn)의 사용을 도시한 도면(700)이다. 어안 영역(706)은 사용자가 출발지(702)로부터 목적지 지점(704)으로의 경로를 횡단함에 따라 사용자 위치를 추적하는 것으로 렌더링되고 업데이트된다.
NUI(natural user interface)는 개시된 구성의 일부로서 사용될 수 있다. NUI는 사용자가 마우스, 키보드, 리모트 컨트롤 등과 같은 입력 장치에 의해 부과된 인위적인 제한으로부터 자유로운 자연스러운(natural) 방식으로 장치와 상호작용할 수 있게 하는 임의의 인터페이스 기술로서 정의될 수 있다. NUI 방법의 예들은 스피치 인식, 터치 및 스타일러스 인식, 스크린 및 스크린 근방에서의 제스처 인식, 에어 제스처, 머리 및 안구 추적, 음성 및 스피치, 비전(vision), 터치, 제스처, 및 기계 지능에 의존하는 것들을 포함한다. 적용가능한 NUI 기술의 특정한 범주는 터치 감지 디스플레이, 음성 및 스피치 인식, 의도 및 목표 이해, 깊이 카메라(예컨대, 입체 카메라 시스템, 적외선 카메라 시스템, RGB(red-green-blue) 카메라 시스템, 및 이들의 조합)를 이용한 모션 제스처 검출, 가속도계/자이로스코프를 이용한 모션 제스처 검출, 얼굴 인식, 3D 디스플레이, 머리, 눈, 및 시선 추적, 몰입형 증강 현실 및 가상 현실 시스템(이들 모두는 보다 자연스러운 인터페이스를 제공한다), 및 전기장 감지 전극을 사용하여 두뇌 활동을 감지하는 기술(EEG(electroencephalogram) 및 관련 방법)을 포함한다.
개시된 구성의 신규한 특징들을 수행하는 예시적인 방법을 나타내는 흐름도 세트가 본 명세서에 포함되어 있다. 설명의 간략화를 위해, 예컨대 순서도 또는 흐름도의 형태로 본 명세서에 제시되는 하나 이상의 방법은 일련의 동작으로서 기술되지만, 이들 방법은 그 동작 순서로 한정되지 않고, 일부 동작은 다른 순서로 그리고/또는 본 명세서에 도시되고 설명되는 다른 동작들과 동시에 발생할 수 있음을 이해해야 한다. 예를 들어, 당업자는 방법이 상태도에서와 같이 일련의 상관된 상태 또는 이벤트로서 표현될 수 있음을 알 수 있을 것이다. 또한, 방법으로 예시된 모든 동작들이 신규한 구현예에 필요하지는 않을 수 있다.
도 8은 기술된 구성에 따른 방법을 도시한 것이다. 800에서, 다모드 사용자 표현이 감지되고 지오스페이셜 애플리케이션(geospatial application)을 제어하기 위한 상호작용으로서 해석된다. 802에서, 지오스페이셜 애플리케이션은 지오스페이셜 애플리케이션이 하나의 전체 뷰에 상이한 줌 레벨을 렌더링하도록 하는 사용자 표현에 기초하여 상호작용된다. 이 방법은 사용자 인텐서티를 검출하기 위해 사용자 표현을 분석하는 동작과, 사용자 표현 및 사용자 인텐서티에 기초하여 지오스페이셜 애플리케이션과 상호작용하여 지오스페이셜 애플리케이션으로 하여금 상이한 줌 레벨을 단일 뷰에 렌더링하게 하는 동작을 더 포함한다.
이 방법은 사용자 인텐서티를 검출하기 위해 사용자 표현을 분석하는 동작과, 사용자 표현 및 사용자 인텐서티에 기초하여 지오스페이셜 애플리케이션과 상호작용하여 지오스페이셜 애플리케이션으로 하여금 상이한 줌 레벨을 하나의 전체 뷰에 렌더링하게 하는 동작을 더 포함한다. 이 방법은 지리적 출발지와 지리적 목적지에 상세한 포커스를 유지하면서 이들 사이의 경로(루트) 내의 맵 타일을 블러링하는 동작을 더 포함한다.
이 방법은 맵의 지리적 관심 지점(출발지 및 목적지)과 연관된 줌 레벨만 페치하는 동작을 더 포함할 수 있다. 그러나, 맵 상의 셋 이상의 지점이 터치에 의해 선택되는 경우가 있을 수 있는데, 이 경우, 줌 레벨은 맵 상의 다른 장소보다 이들 지점에서 더 크다. 관심 지점에서의 줌 레벨은 적어도 애플리케이션의 능력 내에서 제공된 레벨 또는 스트리트 레벨로 다운될 수 있다.
이 방법은 또한 지리적 출발지 및 목적지 사이에서의 길 안내를 식별하고 제시하기 위해 압력 감지 디스플레이 상에서 복수의 터치를 사용하여 지오스페이셜 애플리케이션과 상호작용하는 동작을 더 포함할 수 있다. 이들 터치는 상이한 관심 지점에서 순차적으로 이루어질 수 있는데, 두 지점이 순차적으로 터치될 수 있다. 이와 달리, 이들 터치는 한 손의 두 개의 손가락을 사용하거나 또는 양손의 손가락을 사용하거나 하여 동시에 행해질 수 있다.
이 방법은 터치 압력 및 터치 드웰 시간의 변화에 응답하여 지리적 관심 지점에 상이한 줌 레벨을 가능하게 하는 동작을 더 포함한다. 터치 압력은, 제1 압력이 제1 애플리케이션 동작을 일으키고, 제2의 보다 큰 압력이 제2 애플리케이션 동작을 일으키며, 또 다른 제3의 (제2 압력보다) 더 큰 압력이 제3 애플리케이션 동작을 일으키는 식으로, 압력 임계치에 대해 구성/조정될 수 있다. 터치 압력과 별개로 또는 터치 압력과 함께 터치 드웰(touch dwell)이 또한 사용될 수 있다. 즉, 관심 지점에서의 터치 압력이 지정된 시간(예컨대, 1초) 동안 유지되면, 애플리케이션이 이에 상응하는 소정의 방식으로 반응할 것이다(예컨대, 줌 레벨을 증가시킬 것이다).
이 방법은 지오스페이셜 애플리케이션의 맵 상의 지리적 출발지와 지리적 목적지를 터치하는 동작 및 출발지와 목적지 사이의 길 안내를 획득하기 위해 음성 입력(예컨대, 커맨드)을 제공하는 동작을 더 포함할 수 있다. 이 방법은 지리적 출발지와 지리적 목적지에 대해서는 상세 레벨을 증가시키고 동시에 지오스페이셜 애플리케이션의 맵 내의 다른 위치에서는 상세 레벨을 감소시키도록 렌더링하는 동작을 더 포함할 수 있다.
도 9는 개시된 구성에 따른 다른 방법을 도시한 것이다. 900에서, 사용자 제스처가 감지되고 분석된다. 902에서, 내비게이션 정보를 획득하기 위한 사용자 제스처에 기초하여 내비게이션 애플리케이션의 전체적인 맵 뷰와의 상호작용이 가능해진다. 904에서, 터치 디스플레이를 통해 동시 제스처가 전체 맵 뷰 내의 출발지와 목적지의 선택으로서 검출된다. 906에서, 출발지와 목적지의 맵 뷰 위치가 전체 맵 뷰의 다른 지리적 부분과 상이한 상세 레벨로 렌더링된다.
이 방법은 터치 압력 변화에 응답하여 맵 타일의 상이한 상세 레벨을 가능하게 하는 동작, 및/또는 터치 드웰에 응답하여 맵 타일의 상이한 상세 레벨을 가능하게 하는 동작을 더 포함할 수 있다. 이 방법은 출발지와 목적지를 동시에 터치하는 동작 및 내비게이션 애플리케이션으로 하여금 출발지로부터 목적지로 길 안내를 리턴하게 하도록 말하는 동작을 더 포함할 수 있다.
본 명세서에서 사용된 "컴포넌트" 및 "시스템"이란 용어는 컴퓨터 관련 개체, 각 하드웨어, 소프트웨어와 하드웨어의 조합, 소프트웨어, 또는 실행중인 소프트웨어를 지칭하기 위한 것이다. 예를 들어, 컴포넌트는, 제한적인 것은 아니지만, 프로세서, 칩 메모리, 대용량 저장 장치(예컨대, 광학 드라이브, 고체 상태 드라이브, 및/또는 자기 저장 매체 드라이브), 및 컴퓨터와 같은 유형의 컴포넌트와, 프로세서 상에서 실행되는 프로세스, 객체, 실행 프로그램, (휘발성 또는 비휘발성 저장 매체에 저장된) 데이터 구조, 모듈, 실행 스레드, 및/또는 프로그램과 같은 소프트웨어 컴포넌트일 수 있다.
예를 들어, 서버 상에서 실행되는 애플리케이션 및 서버 모두가 컴포넌트일 수 있다. 하나 이상의 컴포넌트가 프로세스 및/또는 실행 스레드 내에 존재할 수 있으며, 하나의 컴포넌트가 하나의 컴퓨터 상에 로컬라이징될 수도 있고 둘 이상의 컴퓨터 사이에 분산될 수도 있다. "예시적인"이란 용어는 본 명세서에서 예, 실례, 또는 예시로서 역할하는 것을 의미하는데 사용될 수 있다. "예시적인" 것으로 본 명세서에 기술된 특징 또는 디자인은 반드시 다른 특징 또는 디자인에 대해 선호된다거나 유익한 것으로 이해해서는 안 된다.
이제 도 10을 참고하면, 도 10은 개시된 구성에 따른 애플리케이션 상호작용에 대한 다모드 사용자 표현(제스처)를 실행하는 컴퓨팅 시스템의 블록도이다. 그러나, 개시된 방법 및/또는 시스템의 일부 또는 모든 특징은 아날로그, 디지털, 혼합 신호, 및 기타 기능들이 단일 칩 기판 상에 제조되는 시스템온칩으로서 구현될 수 있다.
다양한 특징에 대한 부가적인 컨텍스트를 제공하기 위해, 도 10 및 이하의 설명은 다양한 특징들이 구현될 수 있는 적절한 컴퓨팅 시스템(100)의 간단하고 일반적인 설명을 제공하고자 한다. 전술한 설명은 하나 이상의 컴퓨터 상에서 실행될 수 있는 컴퓨터 실행가능 명령어의 일반적인 컨텍스트에 있지만, 당업자는 신규한 실시예 또한 다른 프로그램 모듈과 조합하여 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있음을 이해할 것이다.
다양한 특징들을 구현하는 컴퓨팅 시스템(1000)은 처리 유닛(1004)(마이크로프로세서나 프로세서라고도 함), 시스템 메모리(1006)와 같은 컴퓨터 판독가능 저장 매체(컴퓨터 판독가능 저장 매체는 또한 자기 디스크, 광학 디스크, 고체 상태 드라이브, 외부 메모리 시스템, 및 플래시 메모리 장치)를 구비하는 컴퓨터(1002)를 포함한다. 처리 유닛(1004)은 단일 프로세서, 멀티 프로세서, 싱글 코어 유닛 및 멀티 코어 유닛과 같은 임의의 다양한 상용 프로세서일 수 있다. 또한, 당업자는 새로운 방법이, 각각이 하나 이상의 관련 장치에 동작가능하게 연결될 수 있는 미니컴퓨터, 메인프레임 컴퓨터, 개인용 컴퓨터(예컨대, 데스크탑, 랩탑, 태블릿 PC 등), 핸드헬드 컴퓨팅 장치, 마이크로프로세서 기반 또는 프로그램가능한 가전 등을 포함한 다른 컴퓨터 시스템 구성으로 실시될 수 있음을 알 수 있을 것이다.
컴퓨터(1002)는 셀룰러 전화 및 다른 이동 가능형 장치와 같은 휴대형 및/또는 모바일 컴퓨팅 시스템을 위한 클라우드 컴퓨팅 서비스의 지원으로 데이터센터 및/또는 컴퓨팅 자원(하드웨어 및/또는 소프트웨어)에 이용된 몇몇 컴퓨터 중 하나의 컴퓨터일 수 있다. 클라우드 컴퓨팅 서비스는, 예컨대 서비스로서의 인프라스트럭처, 서비스로서의 플랫폼, 서비스로서의 소프트웨어, 서비스로서의 저장부, 서비스로서의 데스크탑, 서비스로서의 데이터, 서비스로서의 보안, 및 서비스로서의 API(application program interface)를 포함하지만, 이들로 한정되지는 않는다.
시스템 메모리(1006)는 휘발성(VOL) 메모리(1010)(예컨대, RAM) 및 비휘발성 메모리(NON-VOL)(1012)(예컨대, ROM, EPROM, EEPROM 등)와 같은 컴퓨터 판독가능 저장(물리적 저장) 매체를 포함할 수 있다. 기본 입력/출력 시스템(BIOS)은 비휘발성 메모리(1012)에 저장될 수 있으며, 예컨대 시동 동안 컴퓨터(1002) 내의 컴포넌트들 사이에서 데이터 및 신호의 통신을 용이하게 하는 기본 루틴을 포함한다. 휘발성 메모리(1010)는 또한 데이터를 임시 저장하기 위한 정적 RAM과 같은 고속 RAM을 포함할 수 있다.
시스템 버스(1008)는 시스템 메모리(1006)를 포함하는 시스템 컴포넌트에 대한 인터페이스를 처리 유닛(1004)에게 제공한다. 시스템 버스(1008)는 또한 다양한 상용 버스 구조들 중 어느 하나를 이용하여 (메모리 제어기를 이용하거나 또는 이용하지 않고) 메모리 버스 및 주변 버스(예컨대, PCI, PCIe, AGP, LPC 등)에 상호접속할 수 있는 여러 유형의 버스 구조중 어느 한 유형의 버스 구조일 수 있다.
컴퓨터(1002)는 또한 기계 판독가능한 저장 서브시스템(1014) 및 저장 서브시스템(1014)을 시스템 버스(1008) 및 다른 바람직한 컴퓨터 컴포넌트에 인터페이스하기 위한 저장 인터페이스(1016)를 더 포함한다. 저장 서브시스템(1014)(물리적 저장 매체)은, 예컨대 하드 디스크 드라이브(HDD), 자기 플로피 디스크 드라이브(FDD), 고체 상태 드라이브(SSD), 및/또는 광학 디스크 저장 드라이브(예컨대, CD-ROM 드라이브 DVD 드라이브) 중 하나 이상을 포함할 수 있다. 저장 인터페이스(1016)는, 예컨대 EIDE, ATA, SATA 및 IEEE 1394와 같은 인터페이스 기술을 포함할 수 있다.
운영 체제(1020), 하나 이상의 애플리케이션 프로그램(1022), 기타 프로그램 모듈(1024) 및 프로그램 데이터(1026)를 포함하는 하나 이상의 프로그램 및 데이터는 메모리 서브시스템(1006), 기계 판독가능형 및 착탈식 메모리 서브시스템(1018)(예컨대, 플래시 드라이브 폼팩터 기술), 및/또는 저장 서브시스템(1014)(예컨대, 광학, 자기, 고체 상태)에 저장될 수 있다.
운영 체제(1020), 하나 이상의 애플리케이션 프로그램(1022), 기타 프로그램 모듈(1024) 및/또는 프로그램 데이터(1026)는, 예컨대, 도 1의 시스템의 개체 및 컴포넌트, 도 2의 시스템(200)의 개체 및 컴포넌트, 도 3의 다이어그램(300)의 개체 및 컴포넌트, 도 4의 다이어그램(400)의 개체 및 컴포넌트, 도 5의 다이어그램(500)의 개체 및 컴포넌트, 도 6의 다른 구현예, 도 7의 다이어그램(700)의 개체 및 컴포넌트, 및 도 8 및 9의 순서도로 나타낸 방법을 포함할 수 있다.
일반적으로, 프로그램은 특정 작업을 수행하거나 특정한 추상 데이터 타입을 구현하는 루틴, 방법, 데이터 구조, 기타 소프트웨어 컴포넌트 등을 포함한다. 운영 체제(1020), 애플리케이션(1022), 모듈(1024), 및/또는 데이터(1026)의 전부 또는 일부는, 예컨대 휘발성 메모리(1010)와 같은 메모리에 일시 저장될 수 있다. 개시된 구조는 다양한 상용 운영 체제 또는 운영 체제들의 조합으로(예컨대, 가상 머신으로서) 구현될 수 있음을 알 수 있을 것이다.
저장 서브시스템(1014) 및 메모리 서브시스템(1006, 1018)은 데이터, 데이터 구조, 컴퓨터 실행가능 명령어 등의 휘발성 및 비휘발성 저장을 위한 컴퓨터 판독가능 매체 역할을 한다. 이러한 명령어는, 컴퓨터 또는 다른 머신에 의해 실행될 경우, 컴퓨터 또는 다른 머신으로 하여금 하나 이상의 방법 동작들을 수행하게 할 수 있다. 동작들을 수행하는 명령어는 하나의 매체에 저장되거나 복수의 매체에 걸쳐 저장될 수 있으며, 따라서 명령어들은 모든 명령어가 동일 매체 상에 있는 지의 여부에 관계없이 하나 이상의 컴퓨터 판독가능 저장 매체에 집합적으로 나타난다.
컴퓨터 판독가능 저장 매체는 전파된 신호를 이용하지 않는 임의의 이용가능한 매체일 수 있고, 컴퓨터(1002)에 의해 액세스될 수 있으며, 착탈식 및/또는 비착탈식인 휘발성 및 비휘발성 내부 및/또는 외부 매체를 포함한다. 컴퓨터(1002)에 있어서, 다양한 유형의 저장 매체는 임의의 적절한 디지털 포맷으로 데이터의 저장을 수용한다. 당업자는, 다른 유형의 컴퓨터 판독가능 매체가 개시된 구성의 신규한 방법을 수행하기 위한 컴퓨터 실행가능 명령어를 저장하기 위해, 집 드라이브, 고체 상태 드라이브, 자기 테이프, 플래시 메모리 카드, 플래시 드라이브, 카트리지 등과 같이 이용될 수 있음을 이해해야 한다.
사용자는 키보드 및 마우스와 같은 외부 사용자 입력 장치(1028)를 사용하여 또한 음성 인식에 의해 용이해진 음성 명령에 의해 컴퓨터(1002), 프로그램, 및 데이터와 상호작용할 수 있다. 다른 외부 사용자 입력 장치(1028)는 마이크, IR(적외선) 리모트 컨트롤, 조이스틱, 게임 패드, 카메라 인식 시스템, 스타일러스 펜, 터치 스크린, 제스처 시스템(예컨대, 안구의 움직임, 머리의 움직임 등) 등을 포함할 수 있다. 사용자는, 예컨대 컴퓨터(1002)가 휴대형 컴퓨터인 경우, 터치패드, 마이크, 키보드 등과 같은 온보드 사용자 입력 장치(1030)를 사용하여 컴퓨터(1002), 프로그램 및 데이터와 상호작용할 수 있다.
상기 및 다른 입력 장치는 시스템 버스(1008)를 경유하여 입력/출력(I/O) 장치 인터페이스(1032)를 통해 처리 유닛(1004)에 연결되지만, 병렬 포트, IEEE 1394 직렬 포트, 게임 포트, USB 포트, IR 인터페이스, 근거리 무선(예컨대, 블루투스) 및 기타 PAN(personal area network) 기술 등과 같은 다른 인터페이스에 의해 연결될 수도 있다. I/O 장치 인터페이스(1032)는 또한 프린터, 오디오 장치, 카메라 장치 등과, 사운드 카드 및/또는 온보드 오디오 처리 능력과 같은 출력 주변기기(1034)의 사용을 용이하게 한다.
하나 이상의 그래픽 인터페이스(1036)(일반적으로 GPU(graphics processing unit)라고 함)는 컴퓨터(1002)와 외부 디스플레이(1038)(예컨대, LCD, 플라즈마) 및/또는 온보드 디스플레이(1040)(예컨대, 휴대형 컴퓨터의 경우) 사이에 그래픽 및 비디오 신호를 제공한다. 그래픽 인터페이스(1036)는 또한 컴퓨터 시스템 보드의 일부로서 제조될 수 있다.
컴퓨터(1002)는 하나 이상의 네트워크 및/또는 다른 컴퓨터로의 유선/무선 통신 서브시스템(1042)을 통한 논리 접속을 사용하여 네트워킹된 환경(예컨대, IP 기반)에서 동작할 수 있다. 다른 컴퓨터는 워크스테이션, 서버, 라우터, 개인용 컴퓨터, 마이크로프로세서 기반 엔터테인먼트 기기, 피어 장치 또는 다른 공통 네트워크 노드를 포함할 수 있고, 일반적으로 컴퓨터(1002)와 관련하여 기술한 많은 또는 모든 요소들을 포함할 수 있다. 논리 접속은 LAN(local area network), WAN(wide area network), 핫스팟 등에 대한 유선/무선 접속을 포함할 수 있다. LAN 및 WAN 네트워킹 환경은 사무실 및 회사에서 일상적이며 모두가 인터넷과 같은 글로벌 통신망에 접속할 수 있는 인트라넷과 같은 기업향 컴퓨터 네트워크를 가능하게 한다.
컴퓨터(1002)는, 네트워킹 환경에서 사용될 경우, 유선/무선 통신 서브시스템(1042)(예컨대, 네트워크 인터페이스 어댑터, 온보드 트랜시버 서브시스템 등)을 통해 네트워크에 접속하여 유선/무선 네트워크, 유선/무선 프린터, 유선/무선 입력 장치(1044) 등과 통신한다. 컴퓨터(1002)는 네트워크를 통해 통신을 확립하는 모뎀 또는 다른 수단을 포함할 수 있다. 네트워킹된 환경에서, 컴퓨터(1002)에 관한 프로그램 및 데이터는 분산 시스템과 연관되는 원격 메모리/저장 장치에 저장될 수 있다. 도시된 네트워크 연결은 예시적이며 컴퓨터들 사이에 통신 링크를 확립하는 다른 수단이 사용될 수 있음을 알 수 있을 것이다.
컴퓨터(1002)는 IEEE 802.xx 표준 패밀리와 같은 무선 기술을 이용하여 예컨대, 프린터, 스캐너, 데스크탑 및/또는 휴대형 컴퓨터, PDA(personal digital assistant), 통신 위성, 무선으로 검출가능한 태그와 연관된 임의의 장비 또는 위치(예컨대, 키오스크, 뉴스 스탠드, 화장실), 및 전화기와 무선 통신(예컨대, IEEE 802.11 OTA(over-the-air) 변조 기법)하도록 동작가능하게 배치된 무선 장치와 같은 유선/무선 장치 또는 개체와 통신하도록 동작가능하다. 이것은 적어도 핫스팟용 Wi-FiTM(무선 컴퓨터 네트워킹 장치의 정보 처리 상호 운용성을 보증하는데 사용됨), WiMax, 및 BluetoothTM 무선 기술을 포함한다. 따라서, 통신은 종래의 네트워크 또는 단순히 적어도 2개의 장치 사이에서의 애드혹(ad hoc) 통신을 갖는 것으로서 사전정의된 구조일 수 있다. Wi-Fi 네트워크는 IEEE 802.11x(a, b, g 등)라고 하는 무선 기술을 사용하여 안전하고 신뢰할 수 있는 고속 무선 접속을 제공한다. Wi-Fi 네트워크는 컴퓨터들을 서로에게, 인터넷에, 그리고 (IEEE 802.3 관련 기술 및 기능을 사용하는)무선 네트워크에 연결하는데 사용될 수 있다.
전술한 사항은 개시된 구성의 예들을 포함한다. 물론, 컴포넌트들 및/또는 방법들의 생각해낼 수 있는 모든 조합을 기술하는 것은 불가능하지만, 당업자는 많은 다른 조합들 및 변경들이 가능함을 이해할 수 있을 것이다. 따라서, 신규한 구성은 첨부한 청구항들의 사상 및 범주 내에 포함되는 그러한 모든 변경들, 수정들 및 변형들을 포함하고자 한다. 또한, 상세한 설명이나 청구항에서 사용되는 "포함한다"는 용어는 청구범위에서 전환어구로서 사용될 때 구비한다는 용어와 유사한 방식으로 포괄적으로 해석되어야 한다.

Claims (10)

  1. 시스템으로서,
    다모드 사용자 표현(multi-modal user expression)을 감지하고 애플리케이션을 제어하기 위한 상호작용으로서 해석하는 감지 컴포넌트와,
    사용자 인텐서티(user intensity)에 대해 상기 사용자 표현을 분석하는 분석 컴포넌트 -상기 애플리케이션은 상기 사용자 표현 및 상기 사용자 인텐서티에 따라 동작함- 와,
    상기 감지 컴포넌트 또는 상기 분석 컴포넌트 중 적어도 하나와 연관된 컴퓨터 실행가능 명령어를 실행하도록 구성된 마이크로프로세서
    를 포함하는 시스템.
  2. 제1항에 있어서,
    상기 사용자 표현 중 하나의 사용자 표현은 하나 이상의 터치를 사용하여 터치 감지 디스플레이의 출발지(origin)와 목적지(destination) 사이의 길 안내(directions)를 위한 맵 애플리케이션 상의 2개의 지리적 지점을 터치하는 것이고, 상기 맵 애플리케이션은 상기 출발지와 상기 도착지의 상세한 포커스(detailed focus)를 유지하면서 상기 출발지와 상기 도착지 사이의 경로 내의 맵 타일(map tile)을 블러링(blurring)하는
    시스템.
  3. 제1항에 있어서,
    상기 감지 컴포넌트는 상기 사용자 표현 중 하나 이상의 사용자 표현에 의해 정의된 상기 사용자 인텐서티를 감지하고, 상기 분석 컴포넌트는 상기 애플리케이션의 줌인(zoom-in) 동작 또는 줌아웃(zoom-out) 동작을 일으키는 상기 인텐서티를 분석하는
    시스템.
  4. 제1항에 있어서,
    상기 애플리케이션은 하나의 전체 뷰(single overall view)에 상이한 레벨의 뷰를 렌더링하고, 상기 다모드 사용자 표현은 스피치 입력을 사용하여 명확해지는
    시스템.
  5. 제1항에 있어서,
    상기 사용자 표현은 터치 디스플레이 표면에 가해진 압력 및 압력의 드웰(dwell)로 해석되며, 이에 따라 상이한 압력에 의해 대응하는 상이한 애플리케이션 동작이 일어나는
    시스템.
  6. 다모드 사용자 표현을 감지하고 지오스페이셜(geospatial) 애플리케이션을 제어하기 위한 상호작용으로서 해석하는 단계와,
    상기 사용자 표현에 기초하여 상기 지오스페이셜 애플리케이션과 상호작용하여 상기 지오스페이셜 애플리케이션으로 하여금 하나의 전체 뷰 내에 상이한 줌 레벨을 렌더링하게 하는 단계와,
    상기 감지 동작 또는 상호작용 동작 중 적어도 하나와 관련된 명령어를 실행하도록 프로세서를 구성하는 단계
    를 포함하는 방법.
  7. 제6항에 있어서,
    사용자 인텐서티를 검출하기 위해 상기 사용자 표현을 분석하는 단계와,
    상기 사용자 표현 및 상기 사용자 인텐서티에 기초하여 상기 지오스페이셜 애플리케이션과 상호작용하여 상기 지오스페이셜 애플리케이션으로 하여금 상기 하나의 전체 뷰 내에 상이한 줌 레벨을 렌더링하게 하는 단계
    를 더 포함하는 방법.
  8. 제6항에 있어서,
    지리적 출발지(geographical origin) 및 지리적 목적지(geographical destination)의 상세한 포커스를 유지하면서 상기 출발지 및 상기 목적지 사이의 경로 내의 맵 타일을 블러링하는 단계와,
    맵의 지리적 관심 지점과 연관된 줌 레벨만 페치하는 단계
    를 더 포함하는 방법.
  9. 제6항에 있어서,
    지리적 출발지 및 목적지 사이의 길 안내를 식별하고 제시하도록 압력 감지 디스플레이 상의 복수의 터치를 사용하여 상기 지오스페이셜 애플리케이션과 상호작용하는 단계를 더 포함하는
    방법.
  10. 제6항에 있어서,
    터치 압력 및 터치 드웰 시간에서의 대응하는 변화에 응답하여 지리적 관심 지점 상에서 상이한 줌 레벨을 가능하게 하는 단계와,
    지리적 출발지와 지리적 목적지에 대한 상세 레벨은 증가시키고 상기 지오스페이셜 애플리케이션의 맵 내의 다른 부분의 상세 레벨은 감소시켜 렌더링하는 단계
    를 더 포함하는 방법.
KR1020157009312A 2012-10-12 2013-10-12 애플리케이션과의 상호작용으로서의 다모드 사용자 표현 및 사용자 인텐서티 검출 기법 KR102151286B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261713438P 2012-10-12 2012-10-12
US61/713,438 2012-10-12
US13/707,726 US10139937B2 (en) 2012-10-12 2012-12-07 Multi-modal user expressions and user intensity as interactions with an application
US13/707,726 2012-12-07
PCT/US2013/064734 WO2014059397A1 (en) 2012-10-12 2013-10-12 Multi-modal user expressions and user intensity as interactions with an application

Publications (2)

Publication Number Publication Date
KR20150068957A true KR20150068957A (ko) 2015-06-22
KR102151286B1 KR102151286B1 (ko) 2020-09-02

Family

ID=50474910

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157009312A KR102151286B1 (ko) 2012-10-12 2013-10-12 애플리케이션과의 상호작용으로서의 다모드 사용자 표현 및 사용자 인텐서티 검출 기법

Country Status (6)

Country Link
US (1) US10139937B2 (ko)
EP (1) EP2907020B1 (ko)
JP (1) JP2016500872A (ko)
KR (1) KR102151286B1 (ko)
CN (1) CN104823147B (ko)
WO (1) WO2014059397A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190071876A (ko) * 2017-12-15 2019-06-25 현대자동차주식회사 단말기, 차량 및 단말기 제어방법

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
JP2013206180A (ja) * 2012-03-28 2013-10-07 Kyocera Corp 電子機器および表示方法
US10314492B2 (en) 2013-05-23 2019-06-11 Medibotics Llc Wearable spectroscopic sensor to measure food consumption based on interaction between light and the human body
US9582035B2 (en) 2014-02-25 2017-02-28 Medibotics Llc Wearable computing devices and methods for the wrist and/or forearm
US9864498B2 (en) 2013-03-13 2018-01-09 Tobii Ab Automatic scrolling based on gaze detection
ES2731560T3 (es) 2013-03-01 2019-11-15 Tobii Ab Interacción de mirada con deformación retardada
US10795528B2 (en) 2013-03-06 2020-10-06 Nuance Communications, Inc. Task assistant having multiple visual displays
US10783139B2 (en) 2013-03-06 2020-09-22 Nuance Communications, Inc. Task assistant
US10558262B2 (en) * 2013-11-18 2020-02-11 Tobii Ab Component determination and gaze provoked interaction
US10317995B2 (en) 2013-11-18 2019-06-11 Tobii Ab Component determination and gaze provoked interaction
US20150169048A1 (en) * 2013-12-18 2015-06-18 Lenovo (Singapore) Pte. Ltd. Systems and methods to present information on device based on eye tracking
US10180716B2 (en) 2013-12-20 2019-01-15 Lenovo (Singapore) Pte Ltd Providing last known browsing location cue using movement-oriented biometric data
KR101555426B1 (ko) * 2014-02-07 2015-09-25 고려대학교 산학협력단 지형 렌더링 방법 및 장치
US10429888B2 (en) 2014-02-25 2019-10-01 Medibotics Llc Wearable computer display devices for the forearm, wrist, and/or hand
CN105630365A (zh) * 2014-10-29 2016-06-01 深圳富泰宏精密工业有限公司 网页调整方法及系统
US10276158B2 (en) 2014-10-31 2019-04-30 At&T Intellectual Property I, L.P. System and method for initiating multi-modal speech recognition using a long-touch gesture
US9632664B2 (en) * 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9542037B2 (en) * 2015-03-08 2017-01-10 Apple Inc. Device, method, and user interface for processing intensity of touch contacts
US20180164980A1 (en) * 2015-04-13 2018-06-14 Huawei Technologies Co., Ltd. Method, Apparatus, and Device for Enabling Task Management Interface
US10514766B2 (en) 2015-06-09 2019-12-24 Dell Products L.P. Systems and methods for determining emotions based on user gestures
KR20170004702A (ko) 2015-07-03 2017-01-11 엘지전자 주식회사 디스플레이 장치 및 제어 방법
DE102015215044A1 (de) 2015-08-06 2017-02-09 Volkswagen Aktiengesellschaft Verfahren und System zur Verarbeitung multimodaler Eingabesignale
US20170046058A1 (en) * 2015-08-10 2017-02-16 Apple Inc. Devices, Methods, and Graphical User Interfaces for Adjusting User Interface Objects
US20170068413A1 (en) * 2015-09-09 2017-03-09 Microsoft Technology Licensing, Llc Providing an information set relating to a graphical user interface element on a graphical user interface
CN105976157A (zh) * 2016-04-25 2016-09-28 中兴通讯股份有限公司 任务的创建方法及装置
US9874450B2 (en) * 2016-04-28 2018-01-23 Here Global B.V. Referencing closed area geometry
KR101904453B1 (ko) * 2016-05-25 2018-10-04 김선필 인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이
EP3270272B1 (en) 2016-05-31 2020-02-12 Shenzhen Goodix Technology Co., Ltd. Method and device for use in detecting pressure
CN108139841B (zh) * 2016-05-31 2021-03-19 深圳市汇顶科技股份有限公司 用于检测压力的方法和装置
DK179411B1 (en) * 2016-09-06 2018-06-06 Apple Inc Devices and methods for processing and rendering touch inputs unambiguous using intensity thresholds based on a prior input intensity
JP7037344B2 (ja) * 2017-12-04 2022-03-16 アルプスアルパイン株式会社 入力制御装置、入力装置、操作対象機器、およびプログラム
CN108153169A (zh) * 2017-12-07 2018-06-12 北京康力优蓝机器人科技有限公司 导览模式切换方法、系统和导览机器人
WO2020149427A1 (ko) * 2019-01-15 2020-07-23 엘지전자 주식회사 경로 제공 장치 및 그것의 경로 제공 방법
CN111722779A (zh) * 2019-03-22 2020-09-29 上海博泰悦臻网络技术服务有限公司 人机交互方法、终端及计算机可读存储介质
CN110825934A (zh) * 2019-11-07 2020-02-21 北京无限光场科技有限公司 房产数据展示方法、装置、电子设备及计算机可读介质
US11825212B2 (en) 2021-10-18 2023-11-21 International Business Machines Corporation Automatic creation of a tiled image based on user interests

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005111930A2 (de) * 2004-05-11 2005-11-24 Siemens Aktiengesellschaft Verfahren zur visuellen darstellung einer geographischen karte auf einem display eines mobilen kommunikationsgerätes sowie mobiles kommunikationsgerät zur durchführung des verfahrens
US20060022955A1 (en) * 2004-07-30 2006-02-02 Apple Computer, Inc. Visual expander
KR20100076998A (ko) * 2007-11-12 2010-07-06 폭스바겐 악티엔 게젤샤프트 정보 입력 및 표시를 위한 운전자 보조 시스템의 멀티모달 사용자 인터페이스
US20110224896A1 (en) * 2010-03-09 2011-09-15 Nokia Corporation Method and apparatus for providing touch based routing services

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07280577A (ja) 1994-04-05 1995-10-27 Sumitomo Electric Ind Ltd ナビゲーション装置における地図スクロール方法
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
JP3951633B2 (ja) 2001-05-21 2007-08-01 三菱電機株式会社 ナビゲーション装置並びにそのプログラム。
JP2005107871A (ja) 2003-09-30 2005-04-21 Nec Corp 画像表示方法と装置、該方法によるプログラムとこれを格納した記録媒体
US7295904B2 (en) * 2004-08-31 2007-11-13 International Business Machines Corporation Touch gesture based interface for motor vehicle
JP2006345209A (ja) * 2005-06-08 2006-12-21 Sony Corp 入力装置、情報処理装置、情報処理方法、及びプログラム
US20090295830A1 (en) 2005-12-07 2009-12-03 3Dlabs Inc., Ltd. User interface for inspection of photographs
US20070097151A1 (en) 2006-04-07 2007-05-03 Outland Research, Llc Behind-screen zoom for handheld computing devices
US20080059904A1 (en) 2006-08-30 2008-03-06 Christopher Patrick Abbey Method, apparatus, and computer program product for implementing enhanced window focus in a graphical desktop
KR100891099B1 (ko) 2007-01-25 2009-03-31 삼성전자주식회사 사용성을 향상시키는 터치 스크린 및 터치 스크린에서 사용성 향상을 위한 방법
JP5354924B2 (ja) 2007-02-16 2013-11-27 国立大学法人 名古屋工業大学 デジタルマップ作成システム
KR20090019161A (ko) * 2007-08-20 2009-02-25 삼성전자주식회사 전자 장치 및 이를 조작하는 방법
DE102008012411A1 (de) 2008-03-04 2009-09-10 Universität Konstanz Interaktive Methode zur integrierten Darstellung schematischer Netzpläne und geographischer Karten
US9123341B2 (en) 2009-03-18 2015-09-01 Robert Bosch Gmbh System and method for multi-modal input synchronization and disambiguation
CN101799737B (zh) 2010-01-06 2012-04-25 华为终端有限公司 显示图片/界面的方法及终端
EP2523081B1 (en) 2010-01-06 2019-09-18 Huawei Device Co., Ltd. Method and terminal for displaying picture/interface
JP5206810B2 (ja) 2010-03-31 2013-06-12 株式会社デンソー 地図表示装置
US8665266B2 (en) 2010-06-23 2014-03-04 The United States Of America, As Represented By The Secretary Of The Navy Global visualization process terrain database builder
US9547428B2 (en) * 2011-03-01 2017-01-17 Apple Inc. System and method for touchscreen knob control
KR101290145B1 (ko) * 2011-05-31 2013-07-26 삼성전자주식회사 터치 스크린 제어 방법 및 장치, 컴퓨터에 의해 독출될 수 있는 기록 매체, 그리고 단말장치
US8718922B2 (en) * 2011-07-28 2014-05-06 Navteq B.V. Variable density depthmap
US9087455B2 (en) * 2011-08-11 2015-07-21 Yahoo! Inc. Method and system for providing map interactivity for a visually-impaired user
US8803920B2 (en) * 2011-12-12 2014-08-12 Google Inc. Pre-fetching map tile data along a route

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005111930A2 (de) * 2004-05-11 2005-11-24 Siemens Aktiengesellschaft Verfahren zur visuellen darstellung einer geographischen karte auf einem display eines mobilen kommunikationsgerätes sowie mobiles kommunikationsgerät zur durchführung des verfahrens
US20060022955A1 (en) * 2004-07-30 2006-02-02 Apple Computer, Inc. Visual expander
KR20100076998A (ko) * 2007-11-12 2010-07-06 폭스바겐 악티엔 게젤샤프트 정보 입력 및 표시를 위한 운전자 보조 시스템의 멀티모달 사용자 인터페이스
US20110224896A1 (en) * 2010-03-09 2011-09-15 Nokia Corporation Method and apparatus for providing touch based routing services

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190071876A (ko) * 2017-12-15 2019-06-25 현대자동차주식회사 단말기, 차량 및 단말기 제어방법

Also Published As

Publication number Publication date
CN104823147A (zh) 2015-08-05
JP2016500872A (ja) 2016-01-14
KR102151286B1 (ko) 2020-09-02
WO2014059397A1 (en) 2014-04-17
US20140104197A1 (en) 2014-04-17
EP2907020A1 (en) 2015-08-19
EP2907020B1 (en) 2020-04-08
US10139937B2 (en) 2018-11-27
CN104823147B (zh) 2019-04-30

Similar Documents

Publication Publication Date Title
KR102151286B1 (ko) 애플리케이션과의 상호작용으로서의 다모드 사용자 표현 및 사용자 인텐서티 검출 기법
KR101784328B1 (ko) 증강 현실 표면 디스플레잉
US9632614B2 (en) Expanding touch zones of graphical user interface widgets displayed on a screen of a device without programming changes
US20160036751A1 (en) Apparatus and method for providing information
US20110115814A1 (en) Gesture-controlled data visualization
KR102387897B1 (ko) 시맨틱 카드 뷰 제공 기법
KR102521333B1 (ko) 사용자 인증과 관련된 사용자 인터페이스 표시 방법 및 이를 구현한 전자 장치
EP2708984A2 (en) Display Apparatus for Multiuser and Method Thereof
JP2016534483A (ja) モーションの有無に基づくタッチ機能付デバイス上への制御インターフェースの提示
US20190057671A1 (en) Multi-display device user interface modification
US10430040B2 (en) Method and an apparatus for providing a multitasking view
US20160170779A1 (en) Device emulator
US20120254737A1 (en) Ascertaining presentation format based on device primary control determination
US11886673B2 (en) Trackpad on back portion of a device
CN105700727A (zh) 与透明层以下的应用层的交互方法
WO2017044669A1 (en) Controlling a device
US8713670B2 (en) Ascertaining presentation format based on device primary control determination
US11199906B1 (en) Global user input management
US11809217B2 (en) Rules based user interface generation
KR102508833B1 (ko) 전자 장치, 전자 장치의 문자 입력 방법
US11237671B1 (en) Temporal filter touch detection
US20220382566A1 (en) Generating User Interface Containers
KR101579112B1 (ko) 이미지 처리 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant