KR101915615B1 - 모션 기반 사용자 인터페이스 제어 장치 및 방법 - Google Patents

모션 기반 사용자 인터페이스 제어 장치 및 방법 Download PDF

Info

Publication number
KR101915615B1
KR101915615B1 KR1020100100435A KR20100100435A KR101915615B1 KR 101915615 B1 KR101915615 B1 KR 101915615B1 KR 1020100100435 A KR1020100100435 A KR 1020100100435A KR 20100100435 A KR20100100435 A KR 20100100435A KR 101915615 B1 KR101915615 B1 KR 101915615B1
Authority
KR
South Korea
Prior art keywords
image
mobile terminal
movement
touch screen
touch
Prior art date
Application number
KR1020100100435A
Other languages
English (en)
Other versions
KR20120038788A (ko
Inventor
홍현수
정영근
이재면
김일환
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020100100435A priority Critical patent/KR101915615B1/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to JP2013533771A priority patent/JP5828000B2/ja
Priority to AU2011314532A priority patent/AU2011314532B2/en
Priority to CN2011800493427A priority patent/CN103168282A/zh
Priority to CN201710066015.1A priority patent/CN107066045A/zh
Priority to EP19168241.8A priority patent/EP3543832B1/en
Priority to BR112013009161-4A priority patent/BR112013009161B1/pt
Priority to EP11832764.2A priority patent/EP2628067B1/en
Priority to US13/879,203 priority patent/US9588613B2/en
Priority to RU2013121805/08A priority patent/RU2541852C2/ru
Priority to PCT/KR2011/007628 priority patent/WO2012050377A2/en
Publication of KR20120038788A publication Critical patent/KR20120038788A/ko
Priority to JP2015117002A priority patent/JP2015215907A/ja
Priority to AU2015258317A priority patent/AU2015258317B2/en
Priority to US15/450,684 priority patent/US10360655B2/en
Priority to AU2017210607A priority patent/AU2017210607B2/en
Application granted granted Critical
Publication of KR101915615B1 publication Critical patent/KR101915615B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G06T3/02—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161—Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614—Image rotation following screen orientation, e.g. switching from landscape to portrait mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Abstract

모션 기반 사용자 인터페이스 제어 장치에 있어서, 이미지를 출력하고 사용자에 의해 적어도 하나의 점을 입력받는 터치스크린과. 상기 장치의 움직임을 감지하는 센서부와, 상기 센서부로부터 상기 장치의 움직임이 감지되면 상기 장치의 움직임 정도 계산하는 움직임 계산부와, 상기 터치스크린으로부터 적어도 하나의 점이 터치되면, 상기 터치되는 점의 개수를 파악하고, 상기 움직임 계산부로부터 상기 장치의 움직임 정도에 관한 정보를 수신한 후, 상기 터치되는 점의 개수에 따라 상기 이미지의 크기를 변경할 것인지 또는 상기 이미지의 위치를 변경할 것인지 여부를 판단하는 제어부를 포함함을 특징으로 한다.

Description

모션 기반 사용자 인터페이스 제어 장치 및 방법{APPARATUS AND METHOD FOR CONTROLLING USER INTERFACE BASED MOTION}
본 발명은 사용자 인터페이스 제어에 관한 것으로, 특히 이동단말기의 모션에 따라서 인터페이스를 제어할 수 있는 장치 및 방법에 관한 것이다.
오늘날 TV, 휴대폰, MP3 플레이어, PMP, 스마트폰 등의 전자기기에는 다양한 입출력 장치들이 장착된다. 다양한 입출력 장치들은 사용자가 전자기기를 편리하게 제어할 수 있도록 하기 위해 제공된다.
이러한 입출력 장치 중 최근 터치스크린의 활용도가 기하급수적으로 증가하고 있다. 특히, 휴대폰, 스마트폰, 노트북과 같은 이동단말기 시장에서 터치 패널 탑재 비중이 점차 증가하고 있으며, 대부분의 스마트폰에서 터치스크린 패널 채용이 일반화될 것으로 전망됨에 따라서, 이동단말기용 터치스크린의 경우 그 시장이 급성장할 것으로 전망된다. 아울러, TV나 냉장고와 같은 가전 부분에서도 터치스크린 패널 채용이 일반화되고 있으며, 이동단말기에 이어 향후 터치스크린 패널 채용 분야로서 높은 비중을 차지할 것으로 예상된다.
최근에 인간과 터치스크린 간의 자연스러운 상호 작용을 위하여 시각 정보를 기반으로 한 사용자 의도 및 행위 인식에 대한 연구가 활발히 진행되고 있다. 그 중에서도 손가락/터치 펜 등을 이용한 입력 제스처를 인식하여 사용자 친화적인 사용자 인터페이스를 구현하고 있다. 현재에는 터치스크린 상에 싱글핑거(Single-Finger) 기반의 싱글 터치(Single-Touch) 입력에 따른 동작을 처리하는 인터페이스에서, 멀티핑거(Multi-Finger) 기반의 멀티 터치(Multi-Touch) 입력에 따른 동작을 처리하는 사용자 인터페이스가 구현되고 있다.
이러한 터치스크린은 입력 센싱을 하는 표면과 출력 디스플레이 역할을 하는 표면을 서로 겹쳐 놓은 구조를 가진다. 따라서 상기 터치스크린에서는 멀티 터치를 바탕으로 입력되는 사용자의 의도를 분석 및 인지하고, 그에 따른 결과를 출력할 수 있다. 특히 멀티 터치 기반의 사용자 인터페이스에서는 터치스크린 화면에서 터치되는 손가락/터치 펜의 숫자와 이에 따른 동작을 인식하여 해당 명령을 실행하도록 설계된다. 이와 같은 멀티 터치 입력을 지원하는 이동단말기의 내부 구성도를 살펴보면 다음과 같다.
도 1은 기존의 멀티 터치 입력을 지원하는 이동단말기의 내부 구성도이다. 도 1의 이동단말기는 출력부(101), 제어부(103), 저장부(105), 입력부(107)를 포함한다.
도 1을 참조하면, 출력부(101)는 터치스크린 화면에 그림 또는 웹 페이지와 같은 이미지를 출력하는 역할을 한다. 그림 또는 웹 페이지와 같은 이미지는 저장부(105)에 저장되며, 해당 이미지가 터치스크린 화면에 출력되면 사용자는 편의에 따라 입력부(107)를 이용하여 이미지를 확대 또는 축소할 수 있다. 이미지를 확대 또는 축소하는 방법으로는 터치스크린 화면에 출력된 이미지에서 원하는 부분을 손가락 두 개를 이용하여 동시에 터치하여 확대 또는 축소한다. 손가락 대신 터치 펜을 이용할 수도 있다. 제어부(103)는 입력부(107)를 통하여 멀티 터치가 입력되면 이를 분석하여 멀티 터치가 이루어진 영역을 확대 또는 축소하여 터치스크린 화면 상에 출력하도록 출력부(101)를 제어하는 역할을 한다.
상기 도 1의 구성도를 이용하여 멀티 터치 입력에 따른 동작 과정을 나타낸 예시도를 살펴보면 다음과 같다.
도 2는 기존의 멀티 터치 입력에 따른 동작 과정을 나타낸 예시도이다. 도 2는 멀티 터치를 이용하여 터치스크린 상의 특정 영역을 확대하는 과정을 나타내고 있다.
도 2의 (a)는 터치스크린(201) 상에 표시된 자동차 이미지(203)를 확대하기 위하여 두 개의 손가락(205)을 터치한 모습을 도시하고 있다. 두 개의 손가락(205)이 터치되는 위치에 따라서 확대되는 영역이 달라질 수 있다. 도 2의 (b)는 터치스크린(201) 상에 표시된 자동차 이미지(203)를 두 개의 손가락(205)을 서로 벌려 확대한 모습을 도시하고 있다. 두 개의 손가락(205)을 벌리는 정도에 따라서 자동차 이미지(203)의 확대 정도는 달라질 수 있다.
도 2에서는 이미지를 확대하는 과정만을 설명하고 있으나, 확대된 이미지를 축소하는 과정 또한 두 개의 손가락(205)을 이용하여 구현이 가능하다.
하지만, 상기와 같은 경우에는 터치스크린 화면의 특정 부분을 확대 또는 축소할 때 기 설정된 확대 또는 축소 키를 누르거나 멀티 터치 입력을 통해서만 화면의 확대나 축소 배율을 조정하도록 제어된다. 또한 화면과 화면 간의 이동이나 한 화면의 특정 부분에서 다른 부분으로 이동 보기를 할 때에도 기 설정된 이동 키를 누르거나 터치스크린 화면의 임의의 영역을 터치 드래그하여 이동하도록 제어된다. 이는 연속적인 확대 또는 축소의 동작을 할 때에는 연속적인 키의 입력이나 멀티 터치 동작이 계속해서 이루어져야 하며, 하나의 화면의 특정 부분에서 다른 부분의 이동 보기에 있어서도 원하는 위치까지 이동하기 위해 계속해서 키를 입력하거나 연속적인 터치 드래그를 수행하여야 하는 번거로움이 따르게 된다. 따라서 터치스크린의 입력 및 제스처만으로는 사용자가 원하는 동작을 신속하고 정확하게 수행하기에는 어려움이 따른다.
본 발명은 모션을 기반으로 하여 이미지의 확대/축소 및 이동을 수행할 수 있는 사용자 인터페이스 제어 장치 및 방법을 제공하고자 한다.
본 발명의 일 견지에 따르면, 모션 기반 사용자 인터페이스 제어 장치에 있어서, 이미지를 출력하고 사용자에 의해 적어도 하나의 점을 입력받는 터치스크린과. 상기 장치의 움직임을 감지하는 센서부와, 상기 센서부로부터 상기 장치의 움직임이 감지되면 상기 장치의 움직임 정도 계산하는 움직임 계산부와, 상기 터치스크린으로부터 적어도 하나의 점이 터치되면, 상기 터치되는 점의 개수를 파악하고, 상기 움직임 계산부로부터 상기 장치의 움직임 정도에 관한 정보를 수신한 후, 상기 터치되는 점의 개수에 따라 상기 이미지의 크기를 변경할 것인지 또는 상기 이미지의 위치를 변경할 것인지 여부를 판단하는 제어부를 포함함을 특징으로 한다.
본 발명의 다른 견지에 따르면, 모션 기반 사용자 인터페이스 제어 방법에 있어서, 터치스크린에 이미지를 출력하는 과정과, 상기 터치스크린에 적어도 하나의 점이 터치되면, 터치되는 점의 개수를 파악하는 과정과, 상기 터치되는 점의 개수에 따라 상기 이미지의 크기를 변경할 것인지 또는 상기 이미지의 위치를 변경할 것인지 여부를 판단하는 과정과, 상기 터치스크린을 포함하는 장치의 움직임에 따라서 상기 이미지의 크기 또는 위치를 변경하는 과정을 포함함을 특징으로 한다.
본 발명은 이동단말기 터치스크린 화면에 터치되는 점의 수에 따라서 터치스크린 화면에 출력된 이미지의 확대/축소 또는 이동이 용이하게 전환되며, 이동단말기의 모션에 의해 이미지가 확대/축소 또는 이동되므로 이미지를 원하는 크기나 위치로 용이하게 제어가 가능한 효과가 있다. 또한 기존 터치 사용자 인터페이스가 그대로 유지되면서 모션 기반의 사용자 인터페이스가 제공되므로 사용자의 기호와 휴대 상황에 따라서 이미지의 확대/축소 또는 이동을 위한 제어 모드를 선택적으로 사용할 수 있는 효과가 있다.
도 1은 기존의 멀티 터치 입력을 지원하는 이동단말기의 내부 구성도
도 2는 기존의 멀티 터치 입력에 따른 동작 과정을 나타낸 예시도
도 3은 본 발명의 일 실시 예에 따른 모션 기반의 사용자 인터페이스 제어를 수행하는 이동단말기의 내부 구성도
도 4, 5는 본 발명의 일 실시 예에 따른 이동단말기의 모션 변화를 나타낸 예시도
도 6은 본 발명의 일 실시 예에 따른 이미지의 확대 또는 축소를 수행하는 모습을 나타낸 예시도
도 7은 본 발명의 일 실시 예에 따른 이미지의 이동을 수행하는 모습을 나타낸 예시도
도 8은 본 발명의 일 실시 예에 따른 특정 키들을 할당하여 모션 기반의 사용자 인터페이스 제어를 수행하는 모습을 나타내는 예시도
도 9는 본 발명의 일 실시 예에 따른 모션 기반의 사용자 인터페이스 제어를 수행하는 과정을 나타낸 흐름도
이하 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
도 3은 본 발명의 일 실시 예에 따른 모션 기반의 사용자 인터페이스 제어를 수행하는 이동단말기의 내부 구성도이다. 도 3의 이동단말기는 출력부(301), 제어부(303), 저장부(305), 입력부(307), 움직임 계산부(309), 센서부(311)를 포함한다.
도 3을 참조하면, 출력부(301)는 터치스크린 화면에 사진 또는 웹 페이지와 같은 이미지를 출력하는 역할을 한다. 사진 또는 웹 페이지와 같은 이미지는 저장부(305)에 저장되어 있으며, 필요에 따라서 저장부(305)에 저장되어 있는 다른 이미지를 이용하거나 별도로 장착된 카메라부를 이용하여 직접 원하는 사진을 캡쳐할 수도 있다.
입력부(307)는 터치스크린 화면을 통하여 터치되는 점의 수, 드래그(drag) 등이 입력받는 역할을 하며, 움직임 계산부(309)는 이동단말기가 움직이는 방향이나 각도를 계산하여 이를 제어부(303)로 송신하는 역할을 한다. 이동단말기가 움직이는 방향은 기본적으로 상하좌우로 움직일 수 있으며, 이동단말기를 사용하는 사용자를 중심으로 이동단말기가 사용자 방향으로 수평으로 당겨지는 앞 방향과 수평으로 밀려지는 뒤 방향으로 움직일 수도 있다. 이동단말기가 움직이는 각도는 현재의 위치를 0도로 가정하고 이동단말기가 기울어지는 방향으로 각도를 계산한다. 움직임 계산부(309)는 이동단말기가 움직이는 방향이나 각도를 계산하기 위하여 센서부(311)를 이용하며, 더 구체적으로는 센서부(311)에 포함되어 있는 적어도 하나의 센서 중 자이로스코프 센서를 이용하여 이동단말기가 움직이는 방향이나 각도를 계산한다. 자이로스코프 센서는 가속 센서에 각각의 회전을 넣어 총 6축을 인식할 수 있도록 하여 가속 센서 대비 좀 더 정밀한 동작을 인식할 수 있는 센서로, 가속 및 감속뿐만 아니라 높이와 회전 기울기까지 감지할 수 있는 센서이다.
제어부(303)는 입력부(307)를 통하여 터치스크린 화면에 터치되는 점의 수 및 터치 드래그에 관한 정보를 수신하고, 움직임 계산부(309)를 통하여 이동단말기의 움직임 계산 정보를 수신하여, 터치되는 점의 수에 따라서 터치스크린 화면에 출력된 이미지를 각각 다르게 제어하는 역할을 한다.
먼저, 터치스크린의 화면의 임의의 영역에 둘 이상의 점이 터치되었다면, 제어부(303)는 터치스크린 화면에 출력된 이미지의 확대 또는 축소에 대한 명령으로 인식하고 움직임 계산부(309)를 통하여 수신되는 이동단말기의 움직임 변화에 대응하여 이미지를 확대 또는 축소한다. 예를 들어 터치스크린 화면의 임의의 영역에 두 점이 터치되고, 이동단말기의 현재 각도는 고정된 채로 사용자 방향으로 당겨지거나 사용자 방향으로 이동단말기의 각도를 조절하는 경우 출력된 이미지를 확대하고, 이동단말기의 현재 각도는 고정된 채로 사용자 반대 방향으로 밀려지거나 사용자 반대 방향으로 이동단말기의 각도를 조절하는 경우 출력된 이미지를 축소한다. 즉, 상기의 방식은 손가락 두 개를 이용하여 이미지를 확대 또는 축소하는 기존의 멀티 터치 방식을 이용하였을 때와 동일한 효과를 가진다. 이는 도 4를 통하여 명확하게 알 수 있다.
도 4는 본 발명의 일 실시 예에 따른 이동단말기의 모션 변화를 나타낸 예시도이다. 도 4에서는 사용자가 이동단말기 터치스크린 화면의 임의의 두점을 터치하고 있는 것으로 가정한다.
도 4의 (a)를 참조하면, 사용자가 이동단말기 터치스크린 화면의 임의의 두 부분을 터치한 채로 이동단말기의 현재 각도는 고정하고 Z축 방향으로 이동단말기를 당기면 출력된 이미지가 확대되고, 반대로 -Z축 방향으로 이동단말기를 밀면 출력된 이미지가 축소된다. 도 4의 (b)는 이동단말기가 이동한 경로를 측면에서 도시한 것으로, 이동단말기의 각도의 변화 없이 Z축 또는 -Z축 방향으로만 이동단말기가 이동되었음을 알 수 있다. 또한 도 4의 (c)는 Y, -Y축을 회전축으로 설정하고 이동단말기의 기울기 변화를 도시한 것으로 이동단말기의 각도를 기울여 터치스크린 화면에 출력된 이미지를 확대 또는 축소할 수 있다.
다음으로, 터치스크린 화면의 임의의 영역에 하나의 점이 터치되었다면, 제어부(303)는 터치스크린 화면에 출력된 이미지의 이동에 대한 명령으로 인식하고 움직임 계산부(309)를 통하여 수신되는 이동단말기의 움직임 변화에 대응하여 이미지를 상하좌우로 이동한다. 예를 들어 터치스크린 화면의 임의의 영역에 하나의 점이 터치되고, 이동단말기가 왼쪽으로 움직이거나 왼쪽으로 이동단말기의 각도를 조절하는 경우 출력된 이미지의 위치가 왼쪽으로 이동된다. 즉, 터치스크린 화면을 터치한 후 드래깅(Dragging)하여 이미지를 원하는 방향으로 이동하는 방식을 이용하였을 때와 동일한 효과를 가진다. 이는 도 5를 통하여 명확하게 알 수 있다.
도 5는 본 발명의 일 실시 예에 따른 모션 변화를 나타낸 예시도이다. 도 5에서는 사용자가 이동단말기 터치스크린 화면의 임의의 한점을 터치하고 있는 것으로 가정한다.
도 5의 (a)를 참조하면, 사용자가 이동단말기 터치스크린 화면의 임의의 한 부분을 터치한 채로 이동단말기의 현재 각도는 고정하고 X, -X, Y, -Y 축 방향으로 이동단말기를 이동하면 터치스크린 화면에 출력된 이미지의 위치가 이동된 방향에 따라서 이동한다. 도 5의 (b), (c)는 Z, -Z축, 또는 Y, -Y축을 회전축으로 설정하고 이동단말기의 기울기 변화를 도시한 것으로, Z, -Z축이 회전축으로 설정된 경우에는 출력된 이미지가 좌우로 이동할 수 있으며, Y, -Y축이 회전축으로 설정된 경우에는 출력된 이미지가 상하로 이동할 수 있다.
여기서 Y, -Y축이 회전축으로 설정되는 경우는 터치스크린 화면에 터치되는 점의 수에 따라서 출력된 이미지의 변환이 달라진다.도 4의 경우에는 이미지의 확대 또는 축소가 수행되며, 도 5의 경우에는 이미지의 상하 이동이 수행됨을 알 수 있다.
또한 제어부(303)는 기존과 같이 터치스크린 화면의 임의의 영역에 적어도 하나의 점이 터치되고 난 이후에 발생될 수 있는 드래깅과 같은 재스처에 대응하여 터치스크린 화면에 출력된 이미지를 제어할 수도 있다. 예를 들어 터치스크린 화면의 임의의 영역에 하나의 점이 터치되고, 터치된 상태에서 왼쪽으로 드래그하면 출력된 이미지를 왼쪽으로 이동하거나, 다음 이미지를 출력하는 등의 효과를 줄 수 있다. 두 점이 터치되면, 기존의 멀티 터치 방식을 이용하여 출력된 이미지의 확대 또는 축소도 가능하다.
상기 도 3의 블록 구성도를 이용하여 출력된 이미지를 제어하는 과정을 살펴보면 다음과 같다.
도 6은 본 발명의 일 실시 예에 따른 이미지의 확대 또는 축소를 수행하는 모습을 나타낸 예시도이다.
도 6을 참조하면, 도 6의 (a)에서는 사용자가 이동단말기 터치스크린의 화면의 임의의 영역에 둘 이상의 점들을 누른 채로 화면을 바라보면서 이동단말기를 당기는 모션을 취하고 있으며, 이러한 모션에 대응하여 출력된 이미지가 확대되는 기능이 이루어진다. 도6의 (b)는 측면에서 바라본 모습으로 사용자가 화면을 당길 때의 모습을 도시하고 있다. 이동단말기의 각도를 앞으로 기울이지 않고 도 4의 와 같이 이동단말기를 사용자 방향으로 당기기만 하여도 이미지가 확대됨을 알 수 있다.
도 6에 도시되지는 않았지만, 사용자가 이동단말기 터치스크린의 화면의 임의의 영역에 둘 이상의 점들을 누른 채로 화면을 바라보면서 이동단말기를 사용자 반대 방향으로 미는 모션을 취하는 경우, 출력된 이미지가 축소되는 기능이 이루어질 수 있다. 이동단말기를 당길 때 이미지가 확대되고 이동단말기를 밀 때 이미지가 축소되는 기능은 사용자 설정에 의하여 변경이 가능하다. 예를 들어 이동단말기를 당길 때 이미지가 축소되고 이동단말기를 밀 때 이미지가 확대되도록 변경이 가능하다.
이미지의 확대 또는 축소 비율은 사용자 모션에 의해 변화하는 이동단말기의 센서부(311)에 내장된 자이로스코프 센서를 이용하여 도 4, 5에 도시된 각 축 방향의 회전각 측정치에 비례하도록 설계할 수 있다. 이와 같은 이미지의 확대 또는 축소 기능이 제공되는 상황에서 사용자는 터치된 두 개의 점들을 누른 채로 기존 멀티 터치에 의한 이미지의 확대 또는 축소 기능을 동작시킬 수도 있으며, 기존 멀티 터치에 의한 확대 또는 축소 기능이 수행되는 동안에는 모션에 의한 이미지의 확대 또는 축소 기능을 비활성화하여 기존 멀티 터치에 의한 확대 또는 축소 기능과 상호 간섭을 일으키지 않도록 할 수도 있다.
본 발명에서는 사용자가 터치스크린 화면에 하나의 점만을 터치하거나 터치가 이루어지지 않는 경우에는 이미지의 확대 및 축소 동작은 비활성화된다.
도 7은 본 발명의 일 실시 예에 따른 이미지의 이동을 수행하는 모습을 나타낸 예시도이다.
도 7을 참조하면, 도 7의 (a)에서는 터치스크린 화면의 출력된 이미지의 이동 동작에 관한 것으로, 사용자가 이동단말기의 터치스크린 화면의 임의의 영역에 하나의 점을 누른 채로 화면을 바라보면서 이동단말기를 왼쪽에서 오른쪽으로 이동하는 모션을 취하고 있으며, 이러한 모션에 대응하여 출력된 이미지가 오른쪽에서 왼쪽으로 이동하는 기능이 이루어진다. 도7의 (b)는 터치스크린 화면만을 도시한 것으로 왼쪽 도면은 이동단말기를 이동하기 전의 이미지를 도시한 것이고, 오른쪽 도면은 사용자가 이동단말기를 왼쪽에서 오른쪽으로 이동하였을 때에 출력되는 이미지의 변화를 도시한 것이다. 또한 도 7의 (b)를 살펴보면, 이미지가 이동하면서 화면 밖 좌측에 존재하여 화면상에 보이지 않던 이미지가 이동하여 화면에 보이게 됨을 알 수 있다. 이는 다르게 응용하면 여러 장의 이미지가 함께 나열되어 있는 경우에는 이동단말기를 이동하면서 나열된 순서대로 이미지를 순차적으로 보여지게 할 수도 있을 것이다.
이미지의 이동 시 이동되는 이미지의 면적은 사용자 모션에 의해 변화하는 이동단말기에 내장된 자이로스코프 센서를 이용하여 도 4, 5에 도시된 각 축 방향의 회전각 측정치에 비례하도록 설계할 수 있다. 이와 같은 이미지의 이동 기능이 제공되는 상황에서 사용자는 터치된 하나의 점을 누른 채로 드래깅 기능을 이용하여 이미지를 이동할 수 있으며, 드래깅 기능이 동작하는 동안에는 모션에 의한 이미지 이동 기능은 비활성화되어 드래깅 기능과 상호 간섭을 일으키지 않도록 할 수도 있다.
본 발명에서는 사용자가 터치스크린 화면에 둘 이상의 점을 터치하거나 터치가 이루어지지 않는 경우에는 이미지의 이동 동작은 비활성화된다.
본 발명에서는 터치스크린 화면의 임의의 영역에 터치되는 점의 수에 따라서 출력된 이미지의 제어 방법이 달라질 수 있음을 설명하고 있지만, 특정 키들을 할당하여 키가 눌려진 개수에 따라서 출력된 이미지의 제어 방법을 달리 할 수도 있을 것이다. 이를 하기의 도면을 통하여 설명하면 다음과 같다.
도 8은 본 발명의 일 실시 예에 따른 특정 키들을 할당하여 모션 기반의 사용자 인터페이스 제어를 수행하는 모습을 나타내는 예시도이다.
도 8의 (a)에서는 사용자가 이미지 뷰어 실행 중 키패드의 숫자 버튼 1과 3을 함께 또는 일정한 시간 간격을 두고 누르게 되면, 이동단말기는 출력된 이미지의 확대 또는 축소에 대한 명령으로 인식하도록 설정이 가능하다. 이후 이동단말기의 움직임에 따라서 출력된 이미지의 확대 또는 축소가 가능하다.
도 8의 (b)에서는 사용자가 이미지 뷰어 실행 중 키패드의 숫자 버튼 1 또는 3 중 어느 하나만 누르게 되면, 이동단말기는 출력된 이미지의 이동에 대한 명령으로 인식하도록 설정할 수도 있을 것이다. 상기와 같은 버튼은 물리적인 버튼이 될 수도 있고 터치스크린 외에 별도로 장착된 터치에 의해 동작되는 버튼일 수도 있다.
도 9는 본 발명의 일 실시 예에 따른 모션 기반의 사용자 인터페이스 제어를 수행하는 과정을 나타낸 흐름도이다.
도 9를 참조하면, 901단계에서 이동단말기는 사용자 입력이 수신되면 사진이나 웹 페이지와 같은 이미지의 출력을 위해서 이미지 뷰어를 실행한다. 이미지는 이동단말기의 저장부(305)에 저장되어 있으며, 무선 인터넷이 가능한 단말기라면 기 저장되어 있는 웹 페이지 이미지를 보기 위하여 이미지 뷰어를 실행할 필요 없이 웹 페이지의 실행이 가능하다. 903단계에서 이동단말기는 입력부(307)를 통하여 터치 입력이 감지되었는지의 여부를 판단한다. 만약 터치 입력이 감지되지 않았다면 901단계로 돌아가 이미지 뷰어 실행을 계속 진행한다. 만약 터치 입력이 감지되었다면, 905단계로 진행한다.
905단계에서 이동단말기는 터치스크린 화면에 터치된 점의 수를 파악하고, 파악된 점의 개수에 따라서 이미지 제어를 다르게 수행한다. 만약 터치된 점의 수가 2개 이상이라면, 이동단말기는 이미지의 확대 또는 축소를 수행하는 것으로 인식하고 이동단말기의 움직임 감지를 시작한다. 이 후 907단계에서 이동단말기가 도 4와 같이 앞, 뒤로 이동하거나 앞, 뒤로 각도를 조절하는 경우 움직임 또는 기울기 정도를 계산하고 이에 대응하여 이미지를 확대 또는 축소하는 동작을 수행한다. 이동단말기의 움직임 감지는 센서부(311)의 자이로스코프 센서에 의해 센싱되며, 이동단말기의 움직임 또는 기울기 정도는 움직임 계산부(309)에서 담당한다. 또한 터치되는 2개 이상의 점들 대신 2개 이상의 버튼들을 할당하여 이미지가 축소 또는 확대되는 과정을 수행하도록 제어할 수도 있다.
만약 터치된 점의 수가 1개라면, 이동단말기는 이미지의 이동을 수행하는 것으로 인식하고 이동단말기의 움직임 감지를 시작한다. 이후 909단계에서 이동단말기가 도 5와 같이 상하좌우로 이동하거나 앞뒤 또는 좌우로 각도를 조절하는 경우 움직임 또는 기울기 정도를 계산하고 이에 대응하여 이미지를 움직이는 방향으로 이동하는 동작을 수행한다. 이 또한 이동단말기의 움직임 감지는 센서부(311)의 자이로스코프 센서가 센싱하며, 이동단말기의 움직임 또는 기울기 정도는 움직임 계산부(309)에서 담당한다. 또한 터치되는 1개의 점 대시 특정 버튼을 할당하여 이미지가 이동되는 과정을 수행하도록 제어할 수도 있다.
한편 상기한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 청구범위와 같은 청구범위와 균등한 것에 의하여 정하여져야 할 것이다.

Claims (14)

  1. 이동단말기에 있어서,
    이미지를 표시하는 터치스크린; 및
    상기 터치스크린을 통해 터치되는 터치 지점의 개수를 획득하고, 상기 터치 지점의 개수가 제1값이면, 상기 터치 지점의 개수가 상기 제1값으로 유지되는 상태에서의 상기 이동단말기의 움직임을 상기 이미지의 위치를 변경하기 위한 명령으로 판단하고, 상기 터치 지점의 개수가 제2값이면, 상기 터치 지점의 개수가 상기 제2값으로 유지되는 상태에서의 상기 이동단말기의 움직임을 상기 이미지의 크기를 변경하기 위한 명령으로 판단하고, 상기 터치 지점의 개수 및 상기 이동단말기의 움직임에 따라 상기 이미지의 크기를 변경하거나 또는 상기 이미지의 위치를 변경하는 제어부;를 포함함을 특징으로 하는 이동단말기.
  2. 제1항에 있어서, 상기 제어부는,
    상기 이동단말기가 상기 터치스크린이 바라보는 방향으로 이동할 경우, 상기 이미지를 확대하여 표시하도록 상기 터치스크린을 제어함을 특징으로 하는 이동단말기.
  3. 제1항에 있어서, 상기 제어부는,
    상기 이동단말기가 상기 터치스크린이 바라보는 방향의 반대 방향으로 이동할 경우, 상기 이미지를 축소하여 표시하도록 상기 터치스크린을 제어함을 특징으로 하는 이동단말기.
  4. 제1항에 있어서,
    상기 제2값은 2 이상이고,
    상기 제어부는, 상기 터치 지점의 수가 상기 2 이상이면, 상기 이동단말기의 움직임 정도에 따라서 상기 이미지를 확대 또는 축소하여 표시하도록 상기 터치스크린을 제어함을 특징으로 하는 이동단말기.
  5. 제1항에 있어서,
    상기 제1값은 1이고,
    상기 제어부는, 상기 터치 지점의 수가 상기 1이면, 상기 이동단말기의 움직임 정도에 따라서 상기 이미지를 이동을 이동시켜 표시하도록 상기 터치스크린을 제어함을 특징으로 하는 이동단말기.
  6. 제1항에 있어서,
    상기 이동단말기의 움직임을 감지하는 센서부;를 더 포함하고,
    상기 제어부는, 상기 센서부에 포함되어 있는 자이로스코프 센서를 이용하여 상기 이동단말기의 상하좌우 또는 앞뒤 이동 정도를 계산하거나, 상기 이동단말기의 앞뒤좌우 기울어짐 정도를 계산함으로써 상기 이동단말기의 움직임 정도를 판단함을 특징으로 하는 이동단말기.
  7. 이동단말기의 이미지 표시 방법에 있어서,
    터치스크린에 이미지를 표시하는 동작;
    상기 터치스크린을 통해 입력되는 터치 지점의 개수를 획득하는 동작;
    상기 터치 지점의 개수가 제1값이면, 상기 터치 지점의 개수가 상기 제1값으로 유지되는 상태에서의 상기 이동단말기의 움직임을 상기 이미지의 위치를 변경하기 위한 명령으로 판단하고, 상기 터치 지점의 개수가 제2값으로 유지되는 상태에서의 상기 이동단말기의 움직임을 상기 이미지의 크기를 변경하기 위한 명령으로 판단하는 동작; 및
    상기 터치 지점의 개수 및 상기 이동단말기의 움직임에 따라 상기 이미지의 크기를 변경하거나 또는 상기 이미지의 위치를 변경하는 동작;을 포함함을 특징으로 하는 이미지 표시 방법.
  8. 제7항에 있어서, 상기 터치 지점의 개수 및 상기 이동단말기의 움직임에 따라 상기 이미지의 크기를 변경하거나 또는 상기 이미지의 위치를 변경하는 동작은,
    상기 이동단말기가 상기 터치스크린이 바라보는 방향의 반대 방향으로 이동하는 경우, 상기 이미지를 축소하여 표시하는 동작;을 포함함을 특징으로 하는 이미지 표시 방법.
  9. 삭제
  10. 제7항에 있어서,
    상기 제2값은 2 이상이고,
    상기 터치 지점의 개수 및 상기 이동단말기의 움직임에 따라 상기 이미지의 크기를 변경하거나 또는 상기 이미지의 위치를 변경하는 동작은, 상기 터치 지점의 개수가 상기 2 이상이면, 상기 이동단말기의 움직임 정도에 따라서 상기 이미지를 확대 또는 축소하는 동작;을 포함함을 특징으로 하는 이미지 표시 방법.
  11. 제7항에 있어서,
    상기 제1값은 1이고,
    상기 터치 지점의 개수 및 상기 이동단말기의 움직임에 따라 상기 이미지의 크기를 변경하거나 또는 상기 이미지의 위치를 변경하는 동작은, 상기 터치 지점의 수가 상기 1이면, 상기 이동단말기의 움직임 정도에 따라서 상기 이미지를 이동시키는 동작;을 포함함을 특징으로 하는 이미지 표시 방법.
  12. 제7항에 있어서,
    상기 이동단말기의 상하좌우 또는 앞뒤 이동 정도를 계산하거나, 상기 이동단말기의 앞뒤좌우 기울어짐 정도를 계산하여 상기 이동단말기의 움직임 정도를 측정하는 동작;을 더 포함함을 특징으로 하는 이미지 표시 방법.
  13. 삭제
  14. 제7항에 있어서, 상기 터치 지점의 개수 및 상기 이동단말기의 움직임에 따라 상기 이미지의 크기를 변경하거나 또는 상기 이미지의 위치를 변경하는 동작은,
    상기 이동단말기가 상기 터치스크린이 바라보는 방향으로 이동할 경우, 상기 이미지를 확대하여 표시하는 동작;을 포함함을 특징으로 하는 이미지 표시 방법.
KR1020100100435A 2010-10-14 2010-10-14 모션 기반 사용자 인터페이스 제어 장치 및 방법 KR101915615B1 (ko)

Priority Applications (15)

Application Number Priority Date Filing Date Title
KR1020100100435A KR101915615B1 (ko) 2010-10-14 2010-10-14 모션 기반 사용자 인터페이스 제어 장치 및 방법
PCT/KR2011/007628 WO2012050377A2 (en) 2010-10-14 2011-10-13 Apparatus and method for controlling motion-based user interface
CN2011800493427A CN103168282A (zh) 2010-10-14 2011-10-13 用于控制基于运动的用户接口的设备和方法
CN201710066015.1A CN107066045A (zh) 2010-10-14 2011-10-13 用于控制基于运动的用户接口的设备和方法
EP19168241.8A EP3543832B1 (en) 2010-10-14 2011-10-13 Apparatus and method for controlling motion-based user interface
BR112013009161-4A BR112013009161B1 (pt) 2010-10-14 2011-10-13 Aparelho e metodo para controlar interface de usuario baseada em movimento
JP2013533771A JP5828000B2 (ja) 2010-10-14 2011-10-13 モーション基盤のユーザインターフェース制御装置及び方法
US13/879,203 US9588613B2 (en) 2010-10-14 2011-10-13 Apparatus and method for controlling motion-based user interface
RU2013121805/08A RU2541852C2 (ru) 2010-10-14 2011-10-13 Устройство и способ для управления пользовательским интерфейсом на основе движений
AU2011314532A AU2011314532B2 (en) 2010-10-14 2011-10-13 Apparatus and method for controlling motion-based user interface
EP11832764.2A EP2628067B1 (en) 2010-10-14 2011-10-13 Apparatus and method for controlling motion-based user interface
JP2015117002A JP2015215907A (ja) 2010-10-14 2015-06-09 モーション基盤のユーザインターフェース制御装置及び方法
AU2015258317A AU2015258317B2 (en) 2010-10-14 2015-11-20 Apparatus and method for controlling motion-based user interface
US15/450,684 US10360655B2 (en) 2010-10-14 2017-03-06 Apparatus and method for controlling motion-based user interface
AU2017210607A AU2017210607B2 (en) 2010-10-14 2017-08-04 Apparatus and method for controlling motion-based user interface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100100435A KR101915615B1 (ko) 2010-10-14 2010-10-14 모션 기반 사용자 인터페이스 제어 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020180131846A Division KR102049259B1 (ko) 2018-10-31 2018-10-31 모션 기반 사용자 인터페이스 제어 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120038788A KR20120038788A (ko) 2012-04-24
KR101915615B1 true KR101915615B1 (ko) 2019-01-07

Family

ID=45938811

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100100435A KR101915615B1 (ko) 2010-10-14 2010-10-14 모션 기반 사용자 인터페이스 제어 장치 및 방법

Country Status (9)

Country Link
US (2) US9588613B2 (ko)
EP (2) EP3543832B1 (ko)
JP (2) JP5828000B2 (ko)
KR (1) KR101915615B1 (ko)
CN (2) CN107066045A (ko)
AU (1) AU2011314532B2 (ko)
BR (1) BR112013009161B1 (ko)
RU (1) RU2541852C2 (ko)
WO (1) WO2012050377A2 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11068049B2 (en) * 2012-03-23 2021-07-20 Microsoft Technology Licensing, Llc Light guide display and field of view
CN103389849B (zh) * 2012-05-07 2018-10-16 腾讯科技（北京）有限公司 一种基于移动终端的图像展示方法、系统和移动终端
JP2014078823A (ja) * 2012-10-10 2014-05-01 Nec Saitama Ltd 携帯電子機器、その制御方法及びプログラム
KR101990036B1 (ko) * 2012-10-31 2019-06-17 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
CN105453016B (zh) * 2013-08-12 2019-08-02 苹果公司 响应于触摸输入的上下文敏感动作
US9110561B2 (en) 2013-08-12 2015-08-18 Apple Inc. Context sensitive actions
JP6195361B2 (ja) * 2013-08-21 2017-09-13 キヤノン株式会社 画像処理装置、制御方法及びプログラム
CN103455257A (zh) * 2013-08-30 2013-12-18 华为技术有限公司 一种电子放大镜的实现方法及用户终端
CN103699322A (zh) * 2013-12-19 2014-04-02 北京百纳威尔科技有限公司 图像缩放处理方法和装置
CN104951218B (zh) * 2014-03-25 2019-03-05 宏碁股份有限公司 行动装置及调整视窗大小的方法
IN2014DE00899A (ko) 2014-03-28 2015-10-02 Samsung Electronics Co Ltd
EP3130994A4 (en) * 2014-04-07 2018-01-03 Sony Corporation Display control device, display control method, and program
KR20150124710A (ko) * 2014-04-29 2015-11-06 엘지전자 주식회사 폴리오 케이스 및 이동 단말기
CN104216634A (zh) * 2014-08-27 2014-12-17 小米科技有限责任公司 一种显示稿件的方法和装置
US9746930B2 (en) 2015-03-26 2017-08-29 General Electric Company Detection and usability of personal electronic devices for field engineers
JP6841647B2 (ja) * 2016-12-20 2021-03-10 シャープ株式会社 表示装置、表示方法及びプログラム
CN107256127A (zh) * 2017-06-08 2017-10-17 深圳睿尚教育科技有限公司 一种手写输入识别方法
US20190282213A1 (en) * 2018-03-16 2019-09-19 EchoNous, Inc. Systems and methods for motion-based control of ultrasound images
US10852853B2 (en) * 2018-06-28 2020-12-01 Dell Products L.P. Information handling system touch device with visually interactive region
US10664101B2 (en) 2018-06-28 2020-05-26 Dell Products L.P. Information handling system touch device false touch detection and mitigation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7271795B2 (en) * 2001-03-29 2007-09-18 Intel Corporation Intuitive mobile device interface to virtual spaces
US7573382B2 (en) * 2007-04-02 2009-08-11 General Electric Company System and method to manage movement of assets
US20100058254A1 (en) * 2008-08-29 2010-03-04 Tomoya Narita Information Processing Apparatus and Information Processing Method

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3234633B2 (ja) 1992-06-19 2001-12-04 シャープ株式会社 情報処理装置
JPH07271505A (ja) * 1994-03-29 1995-10-20 Toshiba Corp 画像表示制御装置
US9292111B2 (en) 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
US20070177804A1 (en) * 2006-01-30 2007-08-02 Apple Computer, Inc. Multi-touch gesture dictionary
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US6317114B1 (en) * 1999-01-29 2001-11-13 International Business Machines Corporation Method and apparatus for image stabilization in display device
GB0004351D0 (en) * 2000-02-25 2000-04-12 Secr Defence Illumination and imaging devices and methods
US6861946B2 (en) 2000-05-17 2005-03-01 Caveo Technology Llc. Motion-based input system for handheld devices
US7466843B2 (en) * 2000-07-07 2008-12-16 Pryor Timothy R Multi-functional control and entertainment systems
JP4635342B2 (ja) * 2001-01-10 2011-02-23 ソニー株式会社 情報処理端末および方法
US6834249B2 (en) * 2001-03-29 2004-12-21 Arraycomm, Inc. Method and apparatus for controlling a computing system
GB2416702B (en) * 2004-04-20 2008-08-13 Robert James Clements Team sport apparatus
TW200622893A (en) 2004-07-09 2006-07-01 Nokia Corp Cute user interface
KR101128572B1 (ko) 2004-07-30 2012-04-23 애플 인크. 터치 감지 입력 장치용 제스처
EP1805579A1 (en) * 2004-09-14 2007-07-11 Nokia Corporation A method for using a pointing device
JP2006203463A (ja) * 2005-01-19 2006-08-03 Matsushita Electric Ind Co Ltd 画像表示方法、画像撮像方法、及び画像合成方法
US20060164382A1 (en) * 2005-01-25 2006-07-27 Technology Licensing Company, Inc. Image manipulation in response to a movement of a display
KR100753397B1 (ko) * 2006-04-04 2007-08-30 삼성전자주식회사 이동 단말기에서 화면 자동 온/오프 제어 장치 및 방법
US20070279755A1 (en) * 2006-06-01 2007-12-06 3M Innovative Properties Company Head-Up Display System
US8514066B2 (en) * 2006-11-25 2013-08-20 Trimble Navigation Limited Accelerometer based extended display
US8462109B2 (en) * 2007-01-05 2013-06-11 Invensense, Inc. Controlling and accessing content using motion processing on mobile devices
US10437459B2 (en) 2007-01-07 2019-10-08 Apple Inc. Multitouch data fusion
JP4341680B2 (ja) * 2007-01-22 2009-10-07 セイコーエプソン株式会社 プロジェクタ
US7946744B2 (en) * 2007-02-02 2011-05-24 Denso Corporation Projector and image pickup apparatus
US20080280642A1 (en) 2007-05-11 2008-11-13 Sony Ericsson Mobile Communications Ab Intelligent control of user interface according to movement
US20080284739A1 (en) 2007-05-17 2008-11-20 Microsoft Corporation Human Interface Device
KR101008361B1 (ko) * 2007-09-06 2011-01-14 (주)마이크로인피니티 조절 장치 및 방법
US8942764B2 (en) 2007-10-01 2015-01-27 Apple Inc. Personal media device controlled via user initiated movements utilizing movement based interfaces
US20090138800A1 (en) 2007-11-23 2009-05-28 Mckesson Financial Holdings Limited Apparatus, method and computer-readable storage medium for directing operation of a software application via a touch-sensitive surface
JP4557058B2 (ja) 2007-12-07 2010-10-06 ソニー株式会社 情報表示端末、情報表示方法、およびプログラム
KR20090093766A (ko) 2008-02-28 2009-09-02 황재엽 모바일 가상 기타의 지판 표시 장치 및 방법
KR101445607B1 (ko) * 2008-06-10 2014-09-29 삼성전자주식회사 가속 센서를 이용한 디지털 영상처리장치 및 이를 이용한이미지 재생방법
KR101505198B1 (ko) 2008-08-18 2015-03-23 엘지전자 주식회사 휴대 단말기 및 그 구동 방법
JP5279646B2 (ja) * 2008-09-03 2013-09-04 キヤノン株式会社 情報処理装置、その動作方法及びプログラム
US8866840B2 (en) * 2008-09-08 2014-10-21 Qualcomm Incorporated Sending a parameter based on screen size or screen resolution of a multi-panel electronic device to a server
KR101503835B1 (ko) * 2008-10-13 2015-03-18 삼성전자주식회사 멀티터치를 이용한 오브젝트 관리 방법 및 장치
US8558803B2 (en) 2008-11-28 2013-10-15 Samsung Electronics Co., Ltd. Input device for portable terminal and method thereof
US8159465B2 (en) * 2008-12-19 2012-04-17 Verizon Patent And Licensing Inc. Zooming techniques for touch screens
US20110254792A1 (en) 2008-12-30 2011-10-20 France Telecom User interface to provide enhanced control of an application program
US9069398B1 (en) * 2009-01-30 2015-06-30 Cellco Partnership Electronic device having a touch panel display and a method for operating the same
JP5058187B2 (ja) 2009-02-05 2012-10-24 シャープ株式会社 携帯情報端末
US8698736B2 (en) 2009-03-24 2014-04-15 Immersion Corporation Handheld computer interface with haptic feedback
JP2011028635A (ja) 2009-07-28 2011-02-10 Sony Corp 表示制御装置、表示制御方法およびコンピュータプログラム
US20110087988A1 (en) * 2009-10-12 2011-04-14 Johnson Controls Technology Company Graphical control elements for building management systems
JP5602618B2 (ja) * 2010-06-10 2014-10-08 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
US8977987B1 (en) * 2010-06-14 2015-03-10 Google Inc. Motion-based interface control on computing device
US8542218B2 (en) * 2010-08-19 2013-09-24 Hyundai Motor Company Electronic switch apparatus for vehicle
KR101705119B1 (ko) * 2010-09-15 2017-02-10 삼성전자 주식회사 전자 기기에서 2차원 이미지로 3차원 화면을 구성하는 방법 및 그 전자 기기
US8872854B1 (en) * 2011-03-24 2014-10-28 David A. Levitt Methods for real-time navigation and display of virtual worlds
US9595083B1 (en) * 2013-04-16 2017-03-14 Lockheed Martin Corporation Method and apparatus for image producing with predictions of future positions

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7271795B2 (en) * 2001-03-29 2007-09-18 Intel Corporation Intuitive mobile device interface to virtual spaces
US7573382B2 (en) * 2007-04-02 2009-08-11 General Electric Company System and method to manage movement of assets
US20100058254A1 (en) * 2008-08-29 2010-03-04 Tomoya Narita Information Processing Apparatus and Information Processing Method

Also Published As

Publication number Publication date
BR112013009161A2 (pt) 2016-07-26
EP2628067A4 (en) 2016-08-31
JP5828000B2 (ja) 2015-12-02
AU2011314532A1 (en) 2013-04-18
EP3543832B1 (en) 2021-10-06
CN103168282A (zh) 2013-06-19
KR20120038788A (ko) 2012-04-24
WO2012050377A2 (en) 2012-04-19
AU2011314532B2 (en) 2015-08-20
EP2628067A2 (en) 2013-08-21
CN107066045A (zh) 2017-08-18
EP2628067B1 (en) 2019-04-17
EP3543832A1 (en) 2019-09-25
US20170178284A1 (en) 2017-06-22
JP2013541104A (ja) 2013-11-07
WO2012050377A3 (en) 2012-06-14
US20130194222A1 (en) 2013-08-01
RU2541852C2 (ru) 2015-02-20
US9588613B2 (en) 2017-03-07
BR112013009161B1 (pt) 2020-11-24
JP2015215907A (ja) 2015-12-03
RU2013121805A (ru) 2014-11-20
US10360655B2 (en) 2019-07-23

Similar Documents

Publication Publication Date Title
KR101915615B1 (ko) 모션 기반 사용자 인터페이스 제어 장치 및 방법
JP5553812B2 (ja) スクロール制御装置、端末装置およびスクロール制御方法
EP3404520B1 (en) Method of displaying information by using touch input in mobile terminal
US8847978B2 (en) Information processing apparatus, information processing method, and information processing program
EP2068235A2 (en) Input device, display device, input method, display method, and program
JP5304577B2 (ja) 携帯情報端末および表示制御方法
KR20110041915A (ko) 데이터 표시 방법 및 그를 수행하는 단말기
KR20120080202A (ko) 터치 패널을 이용한 전자 장치 및 그 설정값 변경 방법
US10671269B2 (en) Electronic device with large-size display screen, system and method for controlling display screen
CN102981743A (zh) 控制操作对象的方法及电子设备
JP2015118507A (ja) オブジェクト選択方法、装置及びコンピュータ・プログラム
KR101920864B1 (ko) 터치스크린을 이용하여 이미지를 표시하기 위한 방법 및 단말
KR102049259B1 (ko) 모션 기반 사용자 인터페이스 제어 장치 및 방법
AU2017210607B2 (en) Apparatus and method for controlling motion-based user interface
KR101165388B1 (ko) 이종의 입력 장치를 이용하여 화면을 제어하는 방법 및 그 단말장치
CN112764623B (zh) 内容编辑方法及装置
JP5516794B2 (ja) 携帯情報端末、表示制御方法およびプログラム
KR20160009298A (ko) 대형화면을 갖는 휴대단말기에서의 터치제어방법
TWI450183B (zh) 軌跡輸入裝置及其捲頁控制方法
WO2014166044A1 (en) Method and device for user input
JP2013008334A (ja) 情報端末機及び方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant