KR102134443B1 - 전자 기기 및 제어 동작에 기초한 전자 기기의 화면 조작 방법 - Google Patents

전자 기기 및 제어 동작에 기초한 전자 기기의 화면 조작 방법 Download PDF

Info

Publication number
KR102134443B1
KR102134443B1 KR1020130049932A KR20130049932A KR102134443B1 KR 102134443 B1 KR102134443 B1 KR 102134443B1 KR 1020130049932 A KR1020130049932 A KR 1020130049932A KR 20130049932 A KR20130049932 A KR 20130049932A KR 102134443 B1 KR102134443 B1 KR 102134443B1
Authority
KR
South Korea
Prior art keywords
screen
closed curve
electronic device
user
unit
Prior art date
Application number
KR1020130049932A
Other languages
English (en)
Other versions
KR20140131072A (ko
Inventor
양호
김경연
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130049932A priority Critical patent/KR102134443B1/ko
Priority to CN201480025183.0A priority patent/CN105190512B/zh
Priority to PCT/KR2014/003712 priority patent/WO2014178584A1/ko
Priority to EP14791692.8A priority patent/EP2993555B1/en
Priority to US14/888,686 priority patent/US10402002B2/en
Publication of KR20140131072A publication Critical patent/KR20140131072A/ko
Application granted granted Critical
Publication of KR102134443B1 publication Critical patent/KR102134443B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

전자 기기 및 제어 동작에 기초한 전자 기기의 화면 조작 방법이 개시된다.전자 기기는 기기를 통해 사용자로부터 입력 데이터를 수신하는 입력 데이터 수신부; 상기 입력 데이터에서 상기 전자 기기를 제어하기 위한 단위 표현을 인식하는 단위 표현 인식부; 및 상기 단위 표현이 조합된 제어 동작에 기초하여 상기 전자 기기의 화면을 제어하는 화면 제어부를 포함할 수 있다.

Description

전자 기기 및 제어 동작에 기초한 전자 기기의 화면 조작 방법{ELECTRONIC DEVICE AND METHOD FOR MANIPULATION SCREEN OF ELECTRONIC DEVICE BASED CONTROL MOTION}
일실시예들은 전자 기기 및 제어 동작에 기초한 전자 기기의 화면 조작 방법에 관한 것으로, 보다 구체적으로는 사용자가 마우스, 터치펜, 손가락 등 입력 장치를 통해 전자 기기의 화면을 조작하는 것에 관한 것이다.
최근에 입력 장치로 터치가 가능한 화면을 가진 전자 기기의 보급이 증가함으로써 화면을 제어하기 위한 사용자 인터페이스가 중요해지고 있다. 구체적으로, 전자 기기는 인터페이스를 통해 사용자가 다양한 형태로 화면을 조작할 수 있도록 사용자에게 인터페이스를 제공한다.
예를 들어, 사용자가 2개의 손가락을 서로 다른 방향으로 벌리는 경우, 전자 기기의 화면은 확대될 수 있다. 다만, 이러한 방식은 터치펜이나, 마우스와 같은 입력 장치에 적용되기 어렵다. 또한, 사용자가 2개의 손가락을 자유롭게 사용할 수 없는 경우, 상기 언급한 동작은 구현되기가 쉽지 않다.
결국, 손가락, 마우스, 터치펜 등 어떠한 형태의 입력 도구가 사용되더라도 사용자가 보다 편리하고 직관적으로 전자 기기의 화면을 조작할 수 있는 방법이 필요하다.
일실시예에 따른 전자 기기는 전자 기기를 통해 사용자로부터 입력 데이터를 수신하는 입력 데이터 수신부; 상기 입력 데이터에서 상기 전자 기기를 제어하기 위한 단위 표현을 인식하는 단위 표현 인식부; 및 상기 단위 표현이 조합된 제어 동작에 기초하여 상기 전자 기기의 화면을 제어하는 화면 제어부를 포함할 수 있다.
상기 단위 표현은, 폐곡선, 선, 또는 점을 포함할 수 있다.
상기 화면 제어부는, 상기 제어 동작이 사용자가 화면에서 폐곡선을 그린 후, 폐곡선의 경계에서 폐곡선의 외부로 향하는 선으로 그린 것으로 구성되는 경우, 화면에서 상기 폐곡선과 관련된 특정 영역을 확대할 수 있다.
상기 특정 영역의 확대 비율은, 폐곡선의 중심점에서 폐곡선까지의 거리와 선의 길이에 기초하여 결정될 수 있다.
상기 화면 제어부는, 상기 제어 동작이 사용자가 화면에서 폐곡선을 그린 후, 폐곡선의 경계에서 폐곡선의 내부로 향하는 선으로 그린 것으로 구성되는 경우, 화면에서 상기 폐곡선과 관련된 특정 영역을 축소할 수 있다.
상기 특정 영역의 축소 비율은, 폐곡선의 중심점에서 폐곡선까지의 거리와 선의 길이에 기초하여 결정될 수 있다.
상기 화면 제어부는, 상기 제어 동작이 사용자가 화면에서 특정 영역을 감싸는 폐곡선을 그린 후, 폐곡선의 외부에 점을 그린 것으로 구성되는 경우, 화면에서 상기 특정 영역을 화면의 중심으로 이동하고 전체 화면으로 확대할 수 있다.
상기 화면 제어부는, 상기 제어 동작이 사용자가 화면에서 특정 영역을 감싸는 폐곡선을 그린 후, 폐곡선 내부에 점을 그리는 것으로 구성된 경우, 상기 특정 영역을 화면의 중심으로 이동시킬 수 있다.
상기 화면 제어부는, 상기 제어 동작이 사용자가 화면에서 제1 특정 영역을 감싸는 폐곡선을 그린 후, 제2 특정 영역을 감싸는 폐곡선을 그리는 것으로 구성된 경우, 제1 특정 영역을 제2 특정 영역을 감싸는 폐곡선의 중심점으로 이동시킬 수 있다.
상기 화면 제어부는, 상기 제어 동작이 사용자가 화면에서 점을 그린 후, 점을 드래그하여 임의의 위치로 이동시키는 경우, 화면 전체를 드래그 궤적에 따라 이동시킬 수 있다.
상기 화면 제어부는, 상기 제어 동작이 사용자가 화면에서 폐곡선을 그린 후, 폐곡선의 경계에서 폐곡선을 따라 특정 방향으로 선을 그리는 것으로 구성된 경우, 상기 화면을 선이 그려지는 방향으로 회전시킬 수 있다.
상기 화면이 회전하는 각도는, 상기 폐곡선의 중심점에서 선이 시작하는 시작점으로의 제1 벡터와 폐곡선의 중심점에서 선이 끝나는 종료점으로의 제2 벡터 간의 각도로 결정될 수 있다.
상기 화면 제어부는, 상기 제어 동작이 사용자가 화면에서 폐곡선을 그린 후, 폐곡선의 내부를 직진하여 통과하는 선을 그리는 것으로 구성된 경우, 상기 화면을 통해 처리되는 이전 동작을 취소할 수 있다.
상기 화면 제어부는, 상기 제어 동작이 사용자가 화면에서 폐곡선을 그린 후, 폐곡선의 내부를 통과한 후 휘어져서 폐곡선의 외부로 나가는 선을 그리는 것으로 구성된 경우, 상기 화면을 통해 취소된 이전 동작을 다시 실행할 수 있다.
상기 단위 표현 인식부는, 사용자의 입력 데이터의 연속성과 관련된 입력 패턴을 고려하여 단위 표현을 인식할 수 있다.
상기 단위 표현 인식부는, 사용자의 제어에 따라 화면 제어 모드로 전환된 이후에 수신된 사용자의 입력 데이터로부터 단위 표현을 인식할 수 있다.
상기 단위 표현 인식부는, 상기 단위 표현과 관련된 오류 정정 규칙을 이용하여 단위 인식의 정확도를 높일 수 있다.
다른 실시예에 따른 전자 기기는 사용자로부터 폐곡선, 선 또는 점으로 조합된 제어 동작을 식별하고, 식별된 제어 동작에 기초하여 화면을 제어하며, 상기 제어 동작은, 전자 기기의 화면 확대(Zoom In), 화면 축소(Zoom Out), 특정 영역의 최대 화면 확대(Zoom to fit on screen), 화면 중심으로 순간 이동(Move to the center), 화면의 임의의 지점으로 순간 이동(Move to the arbitrary point by jumping), 화면의 임의의 지점으로 점진적 이동(Move to the arbitrary point by dragging), 화면 회전(Rotate), 동작 취소(Undo) 및 취소 동작 재실행(Redo) 중 적어도 하나를 포함할 수 있다.
일실시예에 따른 전자 기기의 화면 조작 방법은 전자 기기를 통해 사용자로부터 입력 데이터를 수신하는 단계; 상기 입력 데이터에서 상기 전자 기기를 제어하기 위한 단위 표현을 인식하는 단계; 및 상기 단위 표현이 조합된 제어 동작에 기초하여 상기 전자 기기의 화면을 제어하는 단계를 포함할 수 있다.
상기 단위 표현을 인식하는 단계는, 폐곡선, 선, 또는 점을 포함하는 단위 표현을 인식할 수 있다.
상기 단위 표현이 조합된 제어 동작은, 폐곡선, 선 또는 점의 조합을 통해 전자 기기의 화면 확대(Zoom In), 화면 축소(Zoom Out), 특정 영역의 최대 화면 확대(Zoom to fit on screen), 화면 중심으로 순간 이동(Move to the center), 화면의 임의의 지점으로 순간 이동(Move to the arbitrary point by jumping), 화면의 임의의 지점으로 점진적 이동(Move to the arbitrary point by dragging), 화면 회전(Rotate), 동작 취소(Undo) 및 취소 동작 재실행(Redo) 중 적어도 하나를 포함할 수 있다.
도 1은 일실시예에 따라 사용자가 스크린 상에 제어 동작을 수행하는 예시를 도시한 도면이다.
도 2는 일실시예에 따른 전자 기기의 세부 구성을 도시한 도면이다.
도 3은 일실시예에 따라 전자 기기를 통해 사용자가 수행하는 제어 동작을 그룹으로 구분한 도면이다.
도 4는 일실시예에 따른 화면 확대(Zoom-In)를 설명하는 도면이다.
도 5는 일실시예에 따른 화면 축소(Zoom-Out)를 설명하는 도면이다.
도 6은 일실시예에 따른 특정 영역의 최대 화면 확대(Zoom to Fit on screen)을 설명하는 도면이다.
도 7은 일실시예에 따른 화면 중심으로 순간 이동(Move to the center)을 설명하는 도면이다.
도 8은 일실시예에 따른 화면의 임의의 지점으로 순간 이동(Move to the arbitrary point by jumping)을 설명하는 도면이다.
도 9는 일실시예에 따른 화면의 임의의 지점으로 점진적 이동(Move to the arbitrary point by dragging)을 설명하는 도면이다.
도 10은 일실시예에 따른 화면 회전(Rotate)을 도시한 도면이다.
도 11은 일실시예에 따른 이전 동작 취소(Undo)를 도시한 도면이다.
도 12는 일실시예에 따른 취소 동작 재실행(Redo)를 도시한 도면이다.
이하, 일실시예들을 첨부된 도면을 참조하여 상세하게 설명하기로 한다. 그리고, 아래에서 언급되는 전자 기기(Electronic Device)는 터치가 가능한 화면을 가지는 어떠한 형태의 기기를 포함할 수 있다. 예를 들어, 전자 기기는 터치가 가능한 화면을 가지는 휴대폰, 스마트패드, PDA, 내비게이션, 모니터, 현금출금기(ATM), TV 등을 포함할 수 있다. 그리고, 입력 도구(Input tool)은 손가락, 터치펜, 마우스 등 사용자가 조작할 수 있는 어떠한 형태도 포함될 수 있다.
도 1은 일실시예에 따라 사용자가 스크린 상에 제어 동작을 수행하는 예시를 도시한 도면이다.
도 1을 참고하면, 사용자(101)는 입력 도구를 이용하여 전자 기기(102)의 화면을 조작할 수 있다. 여기서, 입력 도구는 사용자(101)의 손가락, 터치펜, 마우스 등을 포함할 수 있다.
도 1에서, 사용자(101)는 데이터를 전송하는 송신 장치에 대응한다. 그리고, 전자 기기(102)는 사용자(101)가 전송하는 데이터를 수신하여 처리하는 수신 장치에 대응한다. 그리고, 데이터는 사용자(101)가 입력 도구를 통해 입력하는 다양한 형태의 조작 방식을 의미한다. 또한, 입력 도구는 다양한 형태의 데이터를 전송하기 위한 채널에 대응한다.
즉, 도 1을 참고하면, 전자 기기(102)의 화면에 표시된 문서, 그림 등을 확대, 축소, 회전하기 위해 사용자(101)는 손가락, 터치펜, 마우스 등의 입력 도구를 매체로 하여 다양한 형태의 조작 방식을 전자 기기(102)에 전달할 수 있다. 이를 위해, 전자 기기(102)는 사용자(101)가 입력 도구를 통해 입력하는 적어도 하나의 단위 표현을 인식할 수 있다.
여기서, 단위 표현은 사용자가 입력 도구를 통해 입력하는 간단한 형태의 기하학적 구성으로, 폐곡선(closed curve), 선(line), 점(point)을 포함할 수 있다. 즉, 사용자(101)는 입력 도구를 통해 단위 표현을 조합함으로써 사용자(101)가 의도하고자 하는 화면 조작을 전자 기기(101)에 적용할 수 있다.
또한, 단위 표현의 조합과 함께 오류정정 규칙을 적용하여 화면 조작이 수행되기 때문에, 사용자(101)가 입력 도구를 사용하여 단위 표현을 입력할 때 손떨림과 같은 노이즈가 개입되더라도, 전자 기기(102)는 사용자(101)가 의도하는 단위 표현을 정확하게 인식할 수 있다.
따라서, 일실시예에 따르면, 사용자(101)는 전자 기기(102)의 화면 조작을 위해 화면 상에 단위 표현을 표시하는 동작만 수행하면 된다. 또한, 일실시예에 따르면, 사용자(101)가 의도하는 화면 조작을 위해 표시하는 단위 표현에 일정 수준의 오류가 존재하더라도 오류정정 규칙에서 허용하는 범위 이내이면, 전자 기기(102)는 사용자(101)가 의도하는 단위 표현을 정확하게 인식할 수 있다.
도 2는 일실시예에 따른 전자 기기의 세부 구성을 도시한 도면이다.
도 2를 참고하면, 전자 기기(200)는 입력 데이터 수신부(201), 단위 표현 인식부(202) 및 화면 제어부(203)를 포함할 수 있다. 입력 데이터 수신부(201)는 사용자로부터 터치 입력과 같은 입력 데이터를 수신할 수 있다. 이를 위해, 사용자가 손가락, 마우스, 터치펜과 같은 입력 도구를 통해 화면 상에 다양한 조작을 수행하는 경우, 입력 데이터 수신부(201)는 사용자가 수행한 다양한 조작을 입력 데이터로 수신할 수 있다.
사용자의 입력 데이터는 화면 상에 표시되지 않거나 또는 표시될 수 있다. 또는 이미 화면 상에 표시된 컨텐츠가 사용자에게 보여질 수 있도록 입력 데이터는 선명도가 조절될 수 있다. 또한, 전자 기기의 화면에 대한 제어 동작이 완료되면, 사용자의 입력 데이터는 화면 상에서 사라질 수 있다.
단위 표현 인식부(202)는 사용자로부터 수신한 입력 데이터에서 단위 표현을 인식할 수 있다. 사용자의 입력 데이터는 미리 설정된 하나의 단위 표현이거나 또는 적어도 2개 이상의 단위 표현의 조합일 수 있다.
일례로, 단위 표현은 사용자가 입력 도구를 통해 입력하는 간단한 형태의 기하학적 구성으로, 폐곡선(closed curve), 선(line), 점(point)을 포함할 수 있다. 즉, 단위 표현 인식부(202)는 사용자가 화면에 표시한 입력 데이터로부터 단위 표현의 조합을 인식할 수 있다.
이를 위해, 단위 표현 인식부(202)는 미리 메모리나 데이터베이스에 저장된 단위 표현 또는 단위표현 규칙과 사용자가 입력한 단위 표현을 서로 비교하여 단위 표현을 인식할 수 있다.
이 때, 단위 표현 인식부(202)는 사용자의 입력 시간에 따라 순차적으로 단위 표현을 인식할 수 있다. 예를 들어, 사용자가 폐곡선과 점을 순차적으로 입력한 경우, 단위 표현 인식부(202)는 폐곡선과 점을 구분하여 인식할 수 있다.
또한, 단위 표현 인식부(202)는 사용자의 입력 패턴을 고려하여 단위 표현을 인식할 수 있다. 여기서, 입력 패턴은 사용자가 입력 도구를 통해 화면에 전달하는 입력 데이터가 연속적인지를 의미한다. 다시 말해서, 입력 패턴은 사용자가 손가락이나 터치펜으로 화면을 터치를 하였다가 일정 시간이 경과한 후에 터치를 종료한 경우, 사용자가 마우스 클릭하였다가 일정 시간이 경과한 후에 마우스 클릭을 종료한 경우를 의미한다.
예를 들어, 사용자가 손가락을 터치하여 선을 입력한 후에 손가락을 화면에서 분리시키면, 단위 표현 인식부(202)는 손가락이 분리된 이후에 최종적인 단위 표현을 인식할 수 있다. 왜냐하면, 사용자가 폐곡선을 입력하기 위해서는 필연적으로 선을 그려야 하기 때문이다. 다시 말해서, 단위 표현 인식부(202)는 사용자가 터치를 통해 선을 입력한 후 최종적으로 터치를 종료한 이후의 단위 표현을 인식할 수 있다.
또한, 단위 표현 인식부(202)는 화면 상에 존재하는 단위 표현의 존재 여부 뿐만 아니라, 단위 표현이 어떠한 방식으로 입력되었는지도 판단할 수 있다. 예를 들어, 단위 표현이 폐곡선인 경우, 단위 표현 인식부(202)는 사용자가 폐곡선을 시계 방향 또는 반시계 방향으로 입력하였는 지를 판단할 수 있다. 그리고, 단위 표현이 선인 경우, 단위 표현 인식부(202)는 사용자가 입력한 선이 폐곡선 안에 존재하는 지, 폐곡선 밖에 존재하는 지를 판단할 수 있다. 또한, 단위 표현이 점인 경우, 단위 표현 인식부(202)는 사용자가 입력한 점이 폐곡선 안에 존재하는 지, 폐곡선 밖에 존재하는 지를 판단할 수 있다.
일례로, 일실시예에 따르면, 사용자가 손가락이나 터치펜을 통해 화면을 일정시간 동안 접촉하거나, 또는 마우스를 일정시간 동안 클릭하여 점을 그리는 경우, 전자 기기(200)는 일반 모드에서 화면 제어 모드로 전환될 수 있다. 또는 사용자가 화면에 폐곡선을 그리는 경우, 전자 기기(200)는 일반 모드에서 화면 제어 모드로 전환할 수 있다. 즉, 미리 설정된 제어 동작을 구성하는 복수의 단위 표현 중 시작에 해당하는 단위 표현이 입력되면, 전자 기기(200)는 일반 모드에서 화면 제어 모드로 전환될 수 있다. 화면 제어 모드는 사용자가 전자 기기의 화면을 제어할 수 있는 동작 모드를 의미한다.
그 이후, 단위 표현 인식부(202)는 화면 제어 모드로 전환된 이후에, 사용자가 입력하는 단위 표현을 인식할 수 있다. 그리고, 미리 설정된 제어 동작을 구성하는 복수의 단위 표현 중 종료에 해당하는 단위 표현이 입력되면, 제어 동작이 종료되고, 전자 기기(200)는 화면 제어 모드에서 일반 모드로 전환될 수 있다.
다른 일례로, 사용자는 일반 모드에서 화면 제어 모드로 전환하는 스위치를 조작하면, 전자 기기(200)는 일반 모드에서 화면 제어 모드로 전환될 수 있다. 그러면, 단위 표현 인식부(202)는 전환된 화면 제어 모드에서 사용자가 입력하는 단위 표현을 인식할 수 있다. 여기서, 스위치는 전자 기기(200)의 프레임, 앞면, 뒷면 등 특정 위치에 배치될 수 있다. 사용자는 하나 또는 둘 이상의 스위치를 조작하여 모드를 전환할 수 있다.
또 다른 일례로, 사용자는 전자 기기(200)의 화면에 표시되는 모드 변환 메뉴를 선택하는 경우, 전자 기기(200)는 일반 모드에서 화면 제어 모드로 전환될 수 있다. 그러면, 단위 표현 인식부(202)는 전환된 화면 제어 모드에서 사용자가 입력하는 단위 표현을 인식할 수 있다.
그리고, 사용자가 입력하는 단위 표현은 전자 기기(200)에 이미 정의되어 있다. 하지만, 사용자는 의도하고자 하는 단위 표현을 손떨림 등의 노이즈로 인해서 정확하게 표시하지 못하는 경우를 방지하기 위해, 단위 표현 인식부(202)는 단위 표현과 관련된 오류 정정 규칙을 이용할 수 있다.
오류 정정 규칙은 다음과 같이 정의될 수 있다.
(i) 선의 시작점과 끝점 간의 간격이 미리 설정된 거리 이하(ex. 5dot)이면, 상기 선은 폐곡선으로 인식된다.
(ii) 폐곡선은 원, 타원, 삼각형, 사각형과 같이 미리 설정된 정형(defined form)이거나 또는 특정한 모양으로 미리 설정되어 있지 않은 비정형일 수 있다.
(iii) 폐곡선의 모양의 차이는 고려되지 않는다. 즉, 전자 기기(200)의 데이터베이스나 메모리에 저장된 폐곡선과 사용자가 입력한 폐곡선 간의 크기, 형태와 같은 모양 차이가 발생하더라도, 사용자의 입력 데이터는 폐곡선으로 인식될 수 있다. 폐곡선은 선의 시작점과 끝점이 연결되었는지 여부를 통해 판단될 수 있다.
(iv) 사용자가 폐곡선 또는 선을 그릴 때 미리 설정된 거리 이하(ex. 5dot)에서 중단되었다가 다시 시작하는 경우, 중단된 지점과 시작된 지점은 서로 연결된 것으로 간주된다.
(v) 폐곡선의 반경이 아주 작아서 미리 설정된 거리 이하(ex. 5 dot)이면, 단위 표현은 폐곡선이 아닌 점으로 인식된다.
(vi) 사용자가 점을 입력하려고 하는 경우, 사용자의 입력 동작이 특정 위치에서 미리 설정된 시간(ex. 3초)이상 머물러야 단위 표현은 점으로 인식된다. 그렇지 않으면, 단위 표현은 선이나 폐곡선으로 인식된다.
예를 들어, 사용자가 폐곡선을 의도하였지만, 시작점과 끝점이 연결되지 않을 수 있다. 그러면, 시작점과 끝점 사이의 간격이 미리 설정된 거리 이하이면 단위 표현 인식부(202)는 오류 정정 규칙에 따라 사용자의 입력 데이터를 단위 표현인 폐곡선으로 인식할 수 있다.
화면 제어부(203)는 단위 표현 인식부(202)가 인식한 단위 표현을 고려하여 전자 기기(200)의 화면을 제어하기 위한 제어 동작을 판단할 수 있다. 그리고, 화면 제어부(203)는 판단된 제어 동작이 적용된 화면을 전자 기기에 표시할 수 있다. 도 3 내지 도 9를 통해 제어 동작의 예시를 구체적으로 설명하기로 한다.
도 3은 일실시예에 따라 전자 기기를 통해 사용자가 수행하는 제어 동작을 그룹으로 구분한 도면이다.
제어 동작은 (i) 확대-축소 그룹, (ii) 이동-회전 그룹, (iii) 취소-재실행 그룹으로 구분될 수 있다.
확대-축소 그룹은 전자 기기의 화면 확대(Zoom In), 화면 축소(Zoom Out) 및 특정 영역의 최대 화면 확대(Zoom to fit on screen)하는 제어 동작을 포함할 수 있다. 그리고, 이동-회전 그룹은 화면 중심으로 순간 이동(Move to the center), 화면의 임의의 지점으로 순간 이동(Move to the arbitrary point by jumping), 화면의 임의의 지점으로 점진적 이동(Move to the arbitrary point by dragging), 화면 회전(Rotate)를 포함할 수 있다. 또한, 취소-재실행 그룹은 동작 취소(Undo) 및 취소 동작 재실행(Redo)을 포함할 수 있다.
도 4는 일실시예에 따른 화면 확대(Zoom-In)를 설명하는 도면이다.
사용자는 특정 영역에 대해 화면 확대를 하기 위해서 전자 기기의 화면에서 폐곡선(401)을 그리고 난 후 선(402)을 그릴 수 있다. 여기서, 선(402)은 폐곡선(401)의 경계에서 폐곡선(401)의 외부로 향하는 방향을 나타낸다. 그러면, 전자 기기는 폐곡선(401)과 선(402)을 각각 단위 표현으로 인식할 수 있다.
여기서 화면에서 확대하고자 하는 영역은 폐곡선(401)의 중심점(X)에 기초하여 특정 영역이 확대된다. 예를 들어, 중심점(X)은 폐곡선(401)으로 정의된 면의 무게 중심일 수 있다. 특정 영역의 확대 비율은 폐곡선(401)의 중심점(X)에서 폐곡선(401)까지의 거리 D1과 폐곡선(401)의 경계에서 시작하는 선(402)의 길이 D2에 기초하여 결정된다.
일례로, 확대 비율(Zoom scaling factor)는 Zsf=1+ D2/D1로 결정될 수 있다. 다시 말해서, D1이 작아지거나 또는 D2가 증가하는 경우 확대 비율이 증가할 수 있다.
도 5는 일실시예에 따른 화면 축소(Zoom-Out)를 설명하는 도면이다.
사용자는 특정 영역에 대해 화면 축소하기 위해서 전자 기기의 화면에서 폐곡선(501)을 그리고 난 후 선(502)을 그릴 수 있다. 여기서, 선(502)은 폐곡선(501)의 경계에서 내부로 향하는 방향을 나타낸다. 그러면, 전자 기기는 폐곡선(501)과 선(502)을 각각 단위 표현으로 인식할 수 있다.
여기서 화면에서 축소하고자 하는 영역은 폐곡선(501)의 중심점(X)에 기초하여 특정 영역이 축소된다. 예를 들어, 중심점(X)은 폐곡선(501)으로 정의된 면의 무게 중심일 수 있다. 특정 영역의 축소 비율은 폐곡선(501)의 중심점(X)과 폐곡선(501)까지의 거리 D1와 폐곡선(501)으로부터 시작하는 선(502)의 길이 D2에 기초하여 결정된다.
일례로, 축소 비율(Zoom scaling factor)은 Zsf=1- D2/D1로 결정될 수 있다. 다시 말해서, D1이 작아지거나 또는 D2가 증가하는 경우 축소 비율이 감소할 수 있다.
도 6은 일실시예에 따른 특정 영역의 화면 최대 확대(Zoom to Fit on screen)을 설명하는 도면이다.
사용자는 확대 대상인 특정 영역을 전체 화면으로 확대하기 위해, 전자 기기의 화면에서 특정 영역의 주변에 폐곡선(601)을 그리고 난 후 점(X)(602)을 그릴 수 있다. 여기서, 점(X)(602)은 화면에서 폐곡선(601)과 떨어진 어떠한 위치에 존재할 수 있다. 그러면, 전자 기기는 폐곡선(501)과 선(502)을 각각 단위 표현으로 인식할 수 있다.
만약, 도 6과 같이 문자 A를 전체 화면으로 확대하기 위해, 사용자는 문자 A을 감싸도록 폐곡선(601)을 그리고, 폐곡선(601)의 외각에 점(X)(602)을 그릴 수 있다. 그러면, Action 1을 통해 폐곡선(601)에 감싸진 A는 화면의 중심으로 이동하고, Action 2를 통해 폐곡선(601)에 감싸진 A가 전체 화면에 대응되도록 확대될 수 있다. Action 1의 경우, 폐곡선(601)의 중심이 D1에서 화면의 중심으로 이동된다. 그리고, Action 2에서 폐곡선(601)에 감싸진 확대 대상의 확대 비율(Zoom scaling factor)은 Zsf=D3/D2로 결정될 수 있다.
다른 일례로, 사용자는 특정 영역인 확대 대상을 감싸도록 폐곡선(601)을 그릴 수 있다. 그러면, 확대 대상은 전체 화면으로 확대될 수 있다.
도 7은 일실시예에 따른 화면 중심으로 순간 이동(Move to the center)을 설명하는 도면이다.
도 7에서 볼 수 있듯이, 사용자는 화면 중심으로 순간 이동시키고자 하는 특정 영역에 대해 폐곡선(701)을 그릴 수 있다. 그런 후, 사용자는 폐곡선(701) 내부에 점(X)(702)을 그릴 수 있다. 그러면, 특정 영역은 화면 중심으로 이동할 수 있다. 즉, 폐곡선(701)의 중심이 화면 중심으로 매핑될 수 있다.
특정 영역이 이동하는 방향은 폐곡선(701)의 중심점 P1에서 화면의 중심점 P2로의 벡터로 표현될 수 있다.
도 8은 일실시예에 따른 화면의 임의의 지점으로 순간 이동(Move to the arbitrary point by jumping)을 설명하는 도면이다.
도 8에서 볼 수 있듯이, 사용자는 임의의 지점으로 순간 이동시키고자 하는 특정 영역에 대해 폐곡선(801)을 그릴 수 있다. 그런 후, 사용자는 임의의 지점에 대응하는 폐곡선(802)을 그릴 수 있다. 그러면, 폐곡선(801)의 중심점 P1이 폐곡선(802)의 중심점 P2로 매핑되면서, 특정 영역이 화면의 임의의 지점으로 이동할 수 있다. 특정 영역이 이동하는 방향은 폐곡선(801)의 중심점 P1에서 폐곡선(802)의 중심점 P2로의 벡터로 표현될 수 있다.
도 9는 일실시예에 따른 화면의 임의의 지점으로 점진적 이동(Move to the arbitrary point by dragging)을 설명하는 도면이다.
사용자는 손가락 또는 터치펜으로 미리 설정된 시간이상 접촉을 유지하거나, 마우스를 미리 설정된 시간이상 클릭을 유지할 수 있다. 그런 다음, 사용자는 손가락 또는 터치펜을 터치한 상태로 유지하면서 화면 전체를 임의의 지점으로 이동시킬 수 있다. 마찬가지로, 사용자는 마우스를 클릭한 상태로 유지하면서 화면 전체를 임의의 지점으로 이동시킬 수 있다. 도 9에서 사용자는 특정 영역의 중심점 P1(901)에 대해 터치 상태를 유지하거나 또는 클릭 상태를 유지했다고 가정한다.
그러면 사용자는 특정 영역의 중심점 P1(901)에서 궤적(902)에 따라 화면 전체를 임의의 지점으로 이동시킬 수 있다. 즉, 화면 전체는 사용자의 제어 동작에 따라 임의의 지점으로 이동할 수 있다.
도 10은 일실시예에 따른 화면 회전(Rotate)을 도시한 도면이다.
사용자는 전자 기기의 화면에서 폐곡선(1001)을 그리고 난 후 선(1002)을 그릴 수 있다. 여기서, 선(1002)은 폐곡선(1001)의 경계에서 시작하여 사용자가 회전시키고자 하는 방향으로 그려질 수 있다. 예를 들어, 사용자가 화면을 시계 방향으로 회전시키고자 하는 경우, 사용자는 폐곡선(1001)의 경계에서 시계 방향으로의 선(1002)을 추가로 그릴 수 있다. 반대로, 사용자가 화면을 반시계방향으로 회전시키고자 하는 경우, 사용자는 폐곡선(1001)의 경계에서 반시계방향으로의 선(1002)을 추가로 그릴 수 있다.
이 때, 화면의 회전 각도는 폐곡선(1001)의 중심점 P1에서 선(1002)이 시작하는 시작점으로의 제1 벡터와 폐곡선(1001)의 중심점 P1에서 선(1002)이 끝나는 종료점으로의 제2 벡터 간의 각도로 결정될 수 있다.
도 11은 일실시예에 따른 이전 동작 취소(Undo)를 도시한 도면이다.
도 11을 참고하면, 사용자는 전자 기기의 화면에서 폐곡선(1101)을 그리고 난 후에, 선(1102)을 그릴 수 있다. 여기서, 선(1102)은 폐곡선(1101)의 내부를 통과하여 직진하는 형태를 나타낸다.
그러면, 전자 기기는 화면을 통해 처리되는 이전 화면 조작 동작을 취소할 수 있다. 예를 들어, 화면에 특정 이미지를 확대한 경우, 전자 기기는 이미지를 확대했던 동작을 취소하고, 이미지를 이전 상태로 되돌릴 수 있다.
도 12는 일실시예에 따른 취소 동작 재실행(Redo)를 도시한 도면이다.
도 12를 참고하면, 사용자는 전자 기기의 화면에서 폐곡선(1201)을 그리고 난 후에, 선(1202)을 그릴 수 있다. 여기서, 선(1202)은 폐곡선(1201)의 내부에 들어온 후 휘어져서 외부로 나가는 형태를 나타낸다.
그러면, 전자 기기는 화면을 통해 취소되었던 이전 동작을 다시 실행할 수 있다. 예를 들어, 화면에 특정 이미지를 확대했다가 취소하였다면, 전자 기기는 취소했던 이미지를 확대하는 동작을 다시 실행할 수 있다.
다만, 전자 기기는 도 11에 도시된 선(1102)과 도 12에 도시된 선(1202)를 구분할 필요가 있다. 그래서, 전자 기기는 폐곡선의 중심에서 선의 시작점으로의 벡터 및 폐곡선의 중심에서 선의 끝점으로의 벡터 간의 각도를 이용하여 사용자가 그린 선을 구분할 수 있다. 예를 들어서, 폐곡선 중심에서 선의 시작점과 끝점을 잇는 각도의 크기가 특정 값(ex. 90°) 이내에 해당하면, 사용자가 그린 선은 도 12에 도시된 선(1202)으로 구분되고, 각도의 크기가 특정 값(ex. 90°)보다 크면, 사용자가 그린 선은 도 11에 도시된 선(1102)으로 구분될 수 있다.
결국, 일실시예에 의하면, 사용자는 손가락, 터치펜, 마우스 등의 입력 도구를 통해 폐곡선, 선, 점을 조합한 제어 동작을 수행함으로써, 간단하게 전자 기기의 화면을 제어할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
　이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
　그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
101: 사용자
102: 전자 기기

Claims (22)

  1. 전자 기기를 통해 사용자로부터 입력 데이터를 수신하는 입력 데이터 수신부;
    상기 입력 데이터에서 상기 전자 기기를 제어하기 위한 단위 표현을 인식하는 단위 표현 인식부; 및
    상기 단위 표현이 조합된 제어 동작에 기초하여 상기 전자 기기의 화면을 제어하는 화면 제어부
    를 포함하고,
    상기 화면 제어부는,
    상기 제어 동작이 사용자가 화면에서 폐곡선을 그린 후, 폐곡선의 경계에서 폐곡선의 외부로 향하는 선으로 그린 것으로 구성되는 경우, 화면에서 상기 폐곡선과 관련된 특정 영역을 확대하고,
    상기 특정 영역의 확대 비율은,
    폐곡선의 중심점에서 폐곡선까지의 거리와 선의 길이에 기초하여 결정되는
    전자 기기.
  2. 제1항에 있어서,
    상기 단위 표현은, 폐곡선, 선, 또는 점을 포함하는 전자 기기.
  3. 삭제
  4. 삭제
  5. 전자 기기를 통해 사용자로부터 입력 데이터를 수신하는 입력 데이터 수신부;
    상기 입력 데이터에서 상기 전자 기기를 제어하기 위한 단위 표현을 인식하는 단위 표현 인식부; 및
    상기 단위 표현이 조합된 제어 동작에 기초하여 상기 전자 기기의 화면을 제어하는 화면 제어부
    를 포함하고,상기 화면 제어부는,
    상기 제어 동작이 사용자가 화면에서 폐곡선을 그린 후, 폐곡선의 경계에서 폐곡선의 내부로 향하는 선으로 그린 것으로 구성되는 경우, 화면에서 상기 폐곡선과 관련된 특정 영역을 축소하고,
    상기 특정 영역의 축소 비율은,
    폐곡선의 중심점에서 폐곡선까지의 거리와 선의 길이에 기초하여 결정되는 전자 기기.
  6. 삭제
  7. 제1항에 있어서,
    상기 화면 제어부는,
    상기 제어 동작이 사용자가 화면에서 특정 영역을 감싸는 폐곡선을 그린 후, 폐곡선의 외부에 점을 그린 것으로 구성되는 경우, 화면에서 상기 특정 영역을 화면의 중심으로 이동하고 전체 화면으로 확대하는 전자 기기.
  8. 제1항에 있어서,
    상기 화면 제어부는,
    상기 제어 동작이 사용자가 화면에서 특정 영역을 감싸는 폐곡선을 그린 후, 폐곡선 내부에 점을 그리는 것으로 구성된 경우, 상기 특정 영역을 화면의 중심으로 이동시키는 전자 기기.
  9. 제1항에 있어서,
    상기 화면 제어부는,
    상기 제어 동작이 사용자가 화면에서 제1 특정 영역을 감싸는 폐곡선을 그린 후, 제2 특정 영역을 감싸는 폐곡선을 그리는 것으로 구성된 경우, 제1 특정 영역을 제2 특정 영역을 감싸는 폐곡선의 중심점으로 이동시키는 전자 기기.
  10. 제1항에 있어서,
    상기 화면 제어부는,
    상기 제어 동작이 사용자가 화면에서 점을 그린 후, 점을 드래그하여 임의의 위치로 이동시키는 경우, 화면 전체를 드래그 궤적에 따라 이동시키는 전자 기기.
  11. 제1항에 있어서,
    상기 화면 제어부는,
    상기 제어 동작이 사용자가 화면에서 폐곡선을 그린 후, 폐곡선의 경계에서 폐곡선을 따라 특정 방향으로 선을 그리는 것으로 구성된 경우, 상기 화면을 선이 그려지는 방향으로 회전시키는 전자 기기.
  12. 제11항에 있어서,
    상기 화면이 회전하는 각도는,
    상기 폐곡선의 중심점에서 선이 시작하는 시작점으로의 제1 벡터와 폐곡선의 중심점에서 선이 끝나는 종료점으로의 제2 벡터 간의 각도로 결정되는 전자 기기.
  13. 제1항에 있어서,
    상기 화면 제어부는,
    상기 제어 동작이 사용자가 화면에서 폐곡선을 그린 후, 폐곡선의 내부를 직진하여 통과하는 선을 그리는 것으로 구성된 경우, 상기 화면을 통해 처리되는 이전 동작을 취소하는 전자 기기.
  14. 제1항에 있어서,
    상기 화면 제어부는,
    상기 제어 동작이 사용자가 화면에서 폐곡선을 그린 후, 폐곡선의 내부를 통과한 후 휘어져서 폐곡선의 외부로 나가는 선을 그리는 것으로 구성된 경우, 상기 화면을 통해 취소된 이전 동작을 다시 실행하는 전자 기기.
  15. 제1항에 있어서,
    상기 단위 표현 인식부는,
    사용자의 입력 데이터의 연속성과 관련된 입력 패턴을 고려하여 단위 표현을 인식하는 전자 기기.
  16. 제1항에 있어서,
    상기 단위 표현 인식부는,
    사용자의 제어에 따라 화면 제어 모드로 전환된 이후에 수신된 사용자의 입력 데이터로부터 단위 표현을 인식하는 전자 기기.
  17. 제1항에 있어서,
    상기 단위 표현 인식부는,
    상기 단위 표현과 관련된 오류 정정 규칙을 이용하여 단위 표현을 인식하는 전자 기기.
  18. 삭제
  19. 전자 기기를 통해 사용자로부터 입력 데이터를 수신하는 단계;
    상기 입력 데이터에서 상기 전자 기기를 제어하기 위한 단위 표현을 인식하는 단계; 및
    상기 단위 표현이 조합된 제어 동작에 기초하여 상기 전자 기기의 화면을 제어하는 단계
    를 포함하고,
    상기 제어하는 단계는,
    상기 제어 동작이 사용자가 화면에서 폐곡선을 그린 후, 폐곡선의 경계에서 폐곡선의 외부로 향하는 선으로 그린 것으로 구성되는 경우, 화면에서 상기 폐곡선과 관련된 특정 영역을 확대하고,
    상기 특정 영역의 확대 비율은,
    폐곡선의 중심점에서 폐곡선까지의 거리와 선의 길이에 기초하여 결정되는
    전자 기기의 화면 조작 방법.

  20. 제19항에 있어서,
    상기 단위 표현을 인식하는 단계는,
    폐곡선, 선, 또는 점을 포함하는 단위 표현을 인식하는 전자 기기의 화면 조작 방법.
  21. 제19항에 있어서,
    상기 단위 표현이 조합된 제어 동작은,
    폐곡선, 선 또는 점의 조합을 통해 전자 기기의 화면 확대(Zoom In), 화면 축소(Zoom Out), 특정 영역의 최대 화면 확대(Zoom to fit on screen), 화면 중심으로 순간 이동(Move to the center), 화면의 임의의 지점으로 순간 이동(Move to the arbitrary point by jumping), 화면의 임의의 지점으로 점진적 이동(Move to the arbitrary point by dragging), 화면 회전(Rotate), 동작 취소(Undo) 및 취소 동작 재실행(Redo) 중 적어도 하나를 포함하는 전자 기기의 화면 조작 방법.
  22. 전자 기기를 통해 사용자로부터 입력 데이터를 수신하는 단계;
    상기 입력 데이터에서 상기 전자 기기를 제어하기 위한 단위 표현을 인식하는 단계; 및
    상기 단위 표현이 조합된 제어 동작에 기초하여 상기 전자 기기의 화면을 제어하는 단계
    를 포함하고,
    상기 제어하는 단계는,
    상기 제어 동작이 사용자가 화면에서 폐곡선을 그린 후, 폐곡선의 경계에서 폐곡선의 내부로 향하는 선으로 그린 것으로 구성되는 경우, 화면에서 상기 폐곡선과 관련된 특정 영역을 축소하고,
    상기 특정 영역의 축소 비율은,
    폐곡선의 중심점에서 폐곡선까지의 거리와 선의 길이에 기초하여 결정되는,
    전자 기기의 화면 조작 방법.
KR1020130049932A 2013-05-03 2013-05-03 전자 기기 및 제어 동작에 기초한 전자 기기의 화면 조작 방법 KR102134443B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020130049932A KR102134443B1 (ko) 2013-05-03 2013-05-03 전자 기기 및 제어 동작에 기초한 전자 기기의 화면 조작 방법
CN201480025183.0A CN105190512B (zh) 2013-05-03 2014-04-28 基于电子装置和控制动作的用于电子装置的屏幕操作方法
PCT/KR2014/003712 WO2014178584A1 (ko) 2013-05-03 2014-04-28 전자 기기 및 제어 동작에 기초한 전자 기기의 화면 조작 방법
EP14791692.8A EP2993555B1 (en) 2013-05-03 2014-04-28 Screen operation method for electronic device based on electronic device and control action
US14/888,686 US10402002B2 (en) 2013-05-03 2014-04-28 Screen operation method for electronic device based on electronic device and control action

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130049932A KR102134443B1 (ko) 2013-05-03 2013-05-03 전자 기기 및 제어 동작에 기초한 전자 기기의 화면 조작 방법

Publications (2)

Publication Number Publication Date
KR20140131072A KR20140131072A (ko) 2014-11-12
KR102134443B1 true KR102134443B1 (ko) 2020-07-15

Family

ID=51843649

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130049932A KR102134443B1 (ko) 2013-05-03 2013-05-03 전자 기기 및 제어 동작에 기초한 전자 기기의 화면 조작 방법

Country Status (5)

Country Link
US (1) US10402002B2 (ko)
EP (1) EP2993555B1 (ko)
KR (1) KR102134443B1 (ko)
CN (1) CN105190512B (ko)
WO (1) WO2014178584A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101958085B1 (ko) * 2017-05-02 2019-03-13 한국산업기술대학교산학협력단 디스플레이 화면 조작 방법 및 장치
JP7119798B2 (ja) * 2018-09-07 2022-08-17 株式会社アイシン 表示制御装置
KR102717063B1 (ko) * 2018-12-24 2024-10-15 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130047093A1 (en) * 2011-05-23 2013-02-21 Jeffrey Jon Reuschel Digital whiteboard collaboration apparatuses, methods and systems

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2944439B2 (ja) * 1994-12-27 1999-09-06 シャープ株式会社 手書き文字入力装置および方法
JP2003050653A (ja) * 2001-07-18 2003-02-21 Internatl Business Mach Corp <Ibm> 入力イベントの発生方法及びその方法を備える情報端末
DE10140874A1 (de) * 2001-08-21 2003-03-20 Dosch & Amand Gmbh & Co Kg Graphische Benutzeroberfläche
US6886061B2 (en) 2001-11-22 2005-04-26 Nec Corporation Electronic record system and control program device with display and tablet function for manipulating display area functions with pen stylus
JP2003225209A (ja) * 2001-11-22 2003-08-12 Nec Corp 電子情報記録システムおよび制御プログラム
KR20040043532A (ko) 2002-11-19 2004-05-24 (주) 마이빌넷 전자 펜을 사용하여 전자 칠판 상에 필기할 때 발생하는손 떨림을 보정하는 방법 및 이러한 방법을 실행하는프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
JP2009522669A (ja) 2005-12-30 2009-06-11 アップル インコーポレイテッド マルチタッチ入力を備えた携帯電子装置
JP3930894B1 (ja) 2006-02-15 2007-06-13 株式会社コナミデジタルエンタテインメント 軌跡情報処理装置、軌跡情報処理方法、ならびに、プログラム
CA2654960A1 (en) * 2006-04-10 2008-12-24 Avaworks Incorporated Do-it-yourself photo realistic talking head creation system and method
KR100837166B1 (ko) 2007-01-20 2008-06-11 엘지전자 주식회사 전자기기의 정보 표시 방법 및 그 전자기기
KR101430445B1 (ko) * 2007-08-20 2014-08-14 엘지전자 주식회사 화면 크기 조절 기능을 갖는 단말기 및 이러한 기능을구현하는 프로그램을 기록한 매체
KR100790960B1 (ko) 2007-10-16 2008-01-03 주식회사 모비더스 플래시 이미지 기반 내장형 그리기 데이터를 생성하는이동기기 및 그 방법
JP2010044628A (ja) * 2008-08-13 2010-02-25 Access Co Ltd コンテンツ表示倍率変更方法、およびコンテンツ表示倍率変更プログラム
US20100097322A1 (en) 2008-10-16 2010-04-22 Motorola, Inc. Apparatus and method for switching touch screen operation
KR101018928B1 (ko) 2009-03-02 2011-03-02 주식회사 엔씨소프트 마우스 드래그 궤적을 이용한 사용자 입력장치 및 그 방법
BRPI0925014B1 (pt) * 2009-03-25 2020-09-15 Sony Computer Entertainment Inc Dispositivo de processamento de informação, método de processamento de informação, e, meio de gravação legível por computador
JP5326802B2 (ja) 2009-05-19 2013-10-30 ソニー株式会社 情報処理装置、画像拡大縮小方法及びそのプログラム
US8823749B2 (en) 2009-06-10 2014-09-02 Qualcomm Incorporated User interface methods providing continuous zoom functionality
US8490013B2 (en) 2009-07-30 2013-07-16 Atmel Corporation Method and apparatus for single touch zoom using spiral rotation
JP5407650B2 (ja) 2009-08-12 2014-02-05 株式会社Ｊｖｃケンウッド 表示装置、プログラム、及び表示方法
US20110196864A1 (en) * 2009-09-03 2011-08-11 Steve Mason Apparatuses, methods and systems for a visual query builder
US8413065B2 (en) 2009-09-07 2013-04-02 Qualcomm Incorporated User interface methods for ending an application
KR101132598B1 (ko) * 2009-09-10 2012-04-06 문준희 디스플레이 장치의 화면 크기 제어 방법 및 장치
US8587532B2 (en) * 2009-12-18 2013-11-19 Intel Corporation Multi-feature interactive touch user interface
JP2011165023A (ja) 2010-02-12 2011-08-25 Panasonic Corp 入力装置
JP5790070B2 (ja) * 2010-08-26 2015-10-07 カシオ計算機株式会社 表示制御装置およびプログラム
JP4754653B2 (ja) 2010-12-06 2011-08-24 株式会社エヌ・ティ・ティ・ドコモ タッチパネル表示制御システム、タッチパネル表示制御方法、タッチパネル表示制御プログラム
JP4908626B1 (ja) 2010-12-28 2012-04-04 株式会社東芝 表示制御装置および表示制御方法
US20140055400A1 (en) * 2011-05-23 2014-02-27 Haworth, Inc. Digital workspace ergonomics apparatuses, methods and systems
US10019440B2 (en) * 2011-05-27 2018-07-10 Adobe Systems Incorporated Methods and apparatus for three-dimensional (3D) sketching
JP5857474B2 (ja) * 2011-06-29 2016-02-10 デクセリアルズ株式会社 透明電極素子、情報入力装置、および電子機器
US9417754B2 (en) * 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US20130155009A1 (en) * 2011-11-28 2013-06-20 Logiciels Smart-Use Inc. Collaboration touch screen worktable
US9530186B2 (en) * 2012-10-05 2016-12-27 Koninklijke Philips N.V. Real-time image processing for optimizing sub-images views
CN102929508B (zh) * 2012-10-11 2015-04-01 中兴通讯股份有限公司 一种电子地图触控方法和装置
CN103019594A (zh) 2012-12-06 2013-04-03 鸿富锦精密工业（深圳）有限公司 电子装置及其页面缩放方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130047093A1 (en) * 2011-05-23 2013-02-21 Jeffrey Jon Reuschel Digital whiteboard collaboration apparatuses, methods and systems

Also Published As

Publication number Publication date
KR20140131072A (ko) 2014-11-12
US20160103552A1 (en) 2016-04-14
WO2014178584A1 (ko) 2014-11-06
US10402002B2 (en) 2019-09-03
CN105190512B (zh) 2019-08-13
EP2993555A4 (en) 2017-06-14
EP2993555B1 (en) 2022-09-21
CN105190512A (zh) 2015-12-23
EP2993555A1 (en) 2016-03-09

Similar Documents

Publication Publication Date Title
JP6206457B2 (ja) 情報処理装置及びプログラム
US20120026198A1 (en) Zoom processing device, zoom processing method, and computer program
EP2631778A2 (en) Method and apparatus for object size adjustment on a screen
US20150186004A1 (en) Multimode gesture processing
KR20100078234A (ko) 듀얼 터치 센서를 이용하여 제어 신호를 입력하는 장치 및 방법
US20130321319A1 (en) Electronic device, control setting method and program
JP6470112B2 (ja) 移動装置操作端末、移動装置操作方法及び移動装置操作プログラム
KR102205283B1 (ko) 적어도 하나의 어플리케이션을 실행하는 전자 장치 및 그 제어 방법
KR20150014084A (ko) 터치 스크린 기반의 디바이스 및 그의 오브젝트 제어 방법
JP2009211244A (ja) タッチパネル表示制御システム、タッチパネル表示制御方法、タッチパネル表示制御プログラム
KR102134443B1 (ko) 전자 기기 및 제어 동작에 기초한 전자 기기의 화면 조작 방법
US20150199073A1 (en) Ordering of objects displayed by a computing device
JP2009169493A (ja) タッチパネル表示制御システム、タッチパネル表示制御方法、タッチパネル表示制御プログラム
KR102040798B1 (ko) 연속적인 터치를 이용한 사용자 인터페이스 방법 및 장치
EP2827237B1 (en) Zoom control of screen image in electronic device
US10712917B2 (en) Method for selecting an element of a graphical user interface
JP5620895B2 (ja) 表示制御装置、方法及びプログラム
JP5993072B1 (ja) 電子機器のユーザ・インターフェース、入力の処理方法および電子機器
CN108132721B (zh) 生成拖动手势的方法、触控装置以及便携式电子设备
US10817150B2 (en) Method for selecting an element of a graphical user interface
JP4754653B2 (ja) タッチパネル表示制御システム、タッチパネル表示制御方法、タッチパネル表示制御プログラム
JP7137884B1 (ja) 描画方法及び描画プログラム
KR101444202B1 (ko) 터치 스크린을 통한 문서서식 적용방법 및 장치
KR101958085B1 (ko) 디스플레이 화면 조작 방법 및 장치
WO2015141091A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant