KR20100097207A - 이동 단말의 가상 키보드 - Google Patents

이동 단말의 가상 키보드 Download PDF

Info

Publication number
KR20100097207A
KR20100097207A KR1020107015134A KR20107015134A KR20100097207A KR 20100097207 A KR20100097207 A KR 20100097207A KR 1020107015134 A KR1020107015134 A KR 1020107015134A KR 20107015134 A KR20107015134 A KR 20107015134A KR 20100097207 A KR20100097207 A KR 20100097207A
Authority
KR
South Korea
Prior art keywords
virtual keyboard
keyboard
mobile terminal
representing
display
Prior art date
Application number
KR1020107015134A
Other languages
English (en)
Other versions
KR101352462B1 (ko
Inventor
게르드 모스아코브스키
Original Assignee
티-모바일 인터내셔널 아게
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 티-모바일 인터내셔널 아게 filed Critical 티-모바일 인터내셔널 아게
Publication of KR20100097207A publication Critical patent/KR20100097207A/ko
Application granted granted Critical
Publication of KR101352462B1 publication Critical patent/KR101352462B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04892—Arrangements for controlling cursor position based on codes indicative of cursor displacements from one discrete location to another, e.g. using cursor control keys associated to different directions or using the tab key
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Telephone Function (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 예를 들어 셀 폰 같은 이동 단말의 디스플레이 상에 가상 키보드를 표현하기 위한 방법에 관한 것이고, 상기 이동 단말은 이미지 데이터를 캡쳐하기 위한 카메라, 이미지 데이터를 표현하기 위한 디스플레이 및 메뉴 기능들을 선택하거나 예를 들어 텍스트 메시지를 입력하기 위한 키보드를 포함한다. 본 발명은 키보드가 이동 단말의 디스플레이 상 가상 키보드로서 설계되고 가상 키보드 상에 표현된 커서가 이동할 수 있도록 설계되고, 상기 커서가 가상 키보드의 대응하는 키보드 필드에 대한 공간 축들에서 이동 가능 단말의 움직임에 따라 움직이는 것을 특징으로 한다.

Description

이동 단말의 가상 키보드{VIRTUAL KEYBOARD OF A MOBILE TERMINAL}
본 발명은 청구항 제 1 항의 전제부에 따른 이동 단말(mobile terminal)의 디스플레이 상에 움직임 가능 키보드 또는 움직임 가능 커서를 표현하기 위한 방법에 관한 것이다.
현재 예를 들어 "셀 폰(cell phone)" 같은 이동 단말들은 예를 들어 카메라 및 비디오 기능들 같은 점점 더 많은 기능들을 나타내고, 여기서 오퍼레이터(operator)의 측에서, "셀 폰"의 치수들은 가능한 한 작을 것이 예상된다. 이런 이유로, 이동 단말들은 치수들이 점점 작아지고 있다.
그러나, 이와 관련하여 특히 점점 작아지는, 예를 들어 키보드들 상에서 SMS(단문 메시지 서비스)에 대한 텍스트(text) 입력의 경우 동작 문제가 발생한다.
현재 하기와 같이 분류되는 텍스트들에 대한 다수의 상이한 입력 옵션들이 있다:
- 예를 들어 MDA(Mobile Digital Assistant) 같은 풀-밸류(full-value) 미니-키보드를 통한 텍스트 입력, 여기서 이런 입력 기능은 키들이 너무 작다는 단점을 나타내고 텍스트의 올바르지 않은 입력을 야기한다.
- 예를 들어 셀 폰의 경우와 같이, 숫자 키들의 다중 할당에 의한 숫자 키보드를 통한 텍스트들의 입력, 여기서 이런 입력 기능은 올바르지 않은 입력 및 비교적 높은 시간 비용의 단점을 나타낸다.
- 터치 스크린에 의한 동작, 이 경우 키보드는 디스플레이 상에 표현된다. 예를 들어 작은 스타일러스(stylus)는 동작을 위해 사용되고, 이런 입력 기능은 키보드 필드(field)의 표현이 비교적 높은 메모리 요구 조건들을 나타내는 단점을 나타낸다.
- OCR 인식을 나타내는 터치 스크린 동작, 여기서 이런 입력 기능은 마찬가지로 키보드 필드의 표현에 대해 비교적 큰 메모리 요구 조건들을 나타낸다.
텍스트들의 입력을 위한 현재 이동 단말들의 메뉴 네비게이션은 부분적으로 텍스트 또는 아이콘들을 기반으로 하고 상기 텍스트 또는 아이콘들은 예를 들어 스크롤 휠(scroll wheel) 또는 다기능 버튼의 도움으로 선택된다. 상기 프로세스에서 일반적으로 다기능 버튼은 메뉴 커서를 좌측, 우측, 위 또는 아래로 움직이고 다기능 버튼을 누름으로써 선택을 승인하기 위한 선택 가능성을 제공한다. 중간 영역들은 사용된 메카니즘으로 인해 제공되지 않는다.
게다가 다른 애플리케이션들은 또한 증강 현실(augment reality) 분야에서 공지된다.
이의 예로서 예를 들어 이미지의 중앙 방향을 위한 십자선(cross-hair)과 사진 이미지의 중첩이 지목된다.
또한 이 기술을 내세우는 게임들이 공지되었고, 상기 경우 게이머는 카메라로 사진이 찍히고 그의 움직임들은 예를 들어 골프 시뮬레이터의 경우에서처럼 가상 세계에 통합된다.
이런 상기된 애플리케이션의 근본적인 단점은 이미지 데이터의 저장을 위한 큰 메모리 요구조건들이다.
그러므로 본 발명의 목적은 텍스트들의 입력이 이동 단말의 크기들과 무관하게 구성되는 크기를 가진 키보드 필드를 통하여 발생하도록 이동 단말을 개선하는데에서 찾을 수 있다.
상기 작업의 해결을 위해 본 발명은 독립항 제 1 항의 특징부들(feature)을 특징으로 한다.
본 발명에 필수적인 것은 상기 방법이 가상 키보드로서의 키보드를 이동 단말의 디스플레이 상에 표현하고 가상 키보드를 통하여 움직일 수 있는 커서를 구성한다는 사실이고, 여기서 상기 커서는 공간 축들 상에서 실행되는 이동 단말의 움직임들과 유사하게 가상 키보드의 대응하는 키보드 필드 상에서 대응하여 움직인다.
이런 필수적인 본 발명의 실시예의 역 관계로, 가상 키보드는 이동 단말의 디스플레이 상에서 움직임 가능 키보드로서 표현되고, 상기 움직임 가능 키보드는 공간 축들 내에서 이동 단말의 대응하게 실행된 움직임들에 대응하여 디스플레이 상에서 대응하게 움직이고, 여기서 커서는 움직이지 않고 바람직하게 디스플레이 상 중앙에 배열된다.
이것은 기계적 키보드 필드를 통한 텍스트 메시지의 입력 또는 메뉴 선택이 시간-소비적인 올바르지 않은 입력들을 유도하기 때문에, 텍스트 메시지의 입력 또는 메뉴 선택이 또한 비교적 작은 케이스 수치들을 갖는 이동 단말들의 경우에서 구현될 수 있다는 장점을 나타낸다.
이동 단말의 디스플레이 상에 움직임 가능 커서 또는 움직임 가능 키보드의 구현을 위해, 이미지 데이터의 압축 및 압축 해제를 위한 당업자 수준으로부터 공지된 방법이 이용된다.
이미지 데이터의 압축 및 압축 해제를 위한 당업자 수준으로부터 공지된 방법은 공개물 DE 101 13 880 A1에 개시되고, 예를 들어 키보드 같은 이미지들의 표현을 위하여, 픽셀 그룹들의 우선순위 매김(prioritizing) 방법이 이용되고, 카메라로 캡쳐링된 이미지 데이터는 개별 픽셀들의 매트릭스를 나타내고, 상기 매트릭스는 픽셀의 컬러 또는 휘도를 기술하는 픽셀 값 변수를 제시간에 나타낸다. 상기 프로세스에서 각각의 픽셀에는 우선순위가 할당되고 대응하여 매트릭스에서 분류되어 저장된다. 픽셀들 및 픽셀 값들은 전달되거나 저장되고, 하나의 픽셀은 인접한 픽셀에 대한 거리가 클 때 높은 우선순위를 나타낸다. 재구성하는 경우 현재 픽셀 값들만이 표현되고, 아직 전달되지 않은 픽셀들은 이미 전달된 픽셀들로부터 계산된다.
이동 단말의 디스플레이 상에 가상으로 표현된 키보드의 구현을 위해 예를 들어 "셀 폰" 같은 대부분의 이동 단말들에 배열되는 바와 같은 카메라는 요구된 이미지 데이터의 캡쳐링을 위해 사용된다.
선택된 키보드 필드의 승인을 위해 동작 버튼이 제공되고 예를 들어 누름에 의해 선택을 승인한다.
게다가 커서는 디스플레이 상에 디스플레이되고, 상기 커서는 공간 축들 내에서 이동 단말(셀 폰)의 움직임들에 의해 이동 단말의 디스플레이 내에서 유사한 방향으로 움직일 수 있다.
상기 움직임의 검출을 위해 당업자 수준으로부터 공지된 방법에 대응하는 카메라의 사진 찍혀진 이미지들은 이미지 데이터의 압축 및 압축 해제를 위해 평가된다.
컴퓨팅 전력을 절약하기 위하여 관련 이미지 영역들만이 평가를 위해 고려된다. 움직임에 대응하여, 좌측, 우측, 위, 아래, 전면 및 후면과 속도는 검출될 수 있다.
기계적 다기능 버튼의 동작과 비교하여, 여기서 온/오프보다 상당히 미세한 해상도가 가능하다.
만약 지금 키보드가 디스플레이 상에 표현되고 사람이 이동 단말(셀 폰)의 움직임에 의해 목표된 키보드 필드 상에 커서를 배치하면, 사람은 다기능 버튼의 간단한 누름에 의해 선택을 승인할 수 있다.
이것은 상기된 방법들에 비해 장점을 나타내는데, 여기서 한손 동작은 키보드 필드의 선택 및 승인을 위해 충분하고, 또한 예를 들어 스타일러스 같은 부가적인 자원들은 터치 스크린들을 갖는 경우와 같이 필요하지 않다.
게다가 상기된 방법들과 비교하여 실제 선택을 위한 동작 버튼을 제외하고, 추가 동작 엘리먼트들은 필요하지 않다는 장점들이 존재한다.
따라서 키보드는 예를 들어 셀 폰에서처럼 이동 단말에서 필요하지 않을 수 있고, 여기서 장치의 케이싱은 보다 작게 구성될 수 있거나 디스플레이는 보다 크게 구성될 수 있다.
순수하게 광학 캡쳐링을 기초로 추가로 보다 미세한 제어가 가능하고, 게다가 또한 실제로 손상 및 찢어짐(tear)을 나타내지 않는다.
다음에서 본 발명은 하나의 실시예만을 나타내는 도면의 도움으로 보다 상세히 기술될 것이다. 이와 관련하여 추가의 본 발명의 특징들 및 본 발명의 장점들은 도면 및 그의 상세한 설명으로부터 발생한다.
도 1은 본 발명의 방법의 개략적인 흐름도를 도시한다.
이동 단말(1)에서 가상 키보드의 표현을 위한 도 1에 도시된 방법은 3개의 공간 축들 중 하나의 방향으로의 이동 단말(1)의 위치 변화 인식에 적합하고, 그 결과 가상 키보드를 통하여 표현된 커서의 가상 움직임은 형성된다.
상기 방법의 제 1 단계에서, 이동 단말(1)은 제 1 카메라 위치(2)에서 상기 이동 단말의 통합된 카메라에 의해 이미지 데이터(3)를 캡쳐링한다.
카메라 위치(2)의 이들 이미지 데이터(3)는 제 2 방법 단계에서 당업자 수준에 따라 형성된 우선순위가 매겨진 픽셀 그룹들(4)에 대응하여 저장된다. 당업자 수준으로부터 공지된 방법에 따라 이와 관련하여, 가장 높은 우선순위가 매겨진 픽셀 그룹들은 자동으로 이미지의 관련 영역들을 기술한다.
본 방법의 제 3 단계에서 제 1 카메라 위치(2)의 우선순위가 매겨진 픽셀 그룹들(4)의 위치 값들(9)은 이동 단말(1)에 저장된다.
만약 사람이 제 2 카메라 위치(5) 쪽으로 공간 축들의 3개 방향들 중 하나로 카메라(2)를 움직이면, 상기 형성된 우선순위가 매겨진 픽셀 그룹들(4)의 위치 값들(9)은 대응하는 방식으로 변화한다.
본 방법의 제 4 단계에서 제 2 카메라 위치(5)의 경우 이미지 데이터(7)는 캡쳐링되고, 본 방법의 제 5 단계에서 카메라 위치(5)의 경우 우선순위가 매겨진 픽셀 그룹들(8)은 연관된 위치 값들과 함께 형성된다.
본 방법의 제 6 단계에서 카메라 위치(5)의 경우 형성된 우선순위가 매겨진 픽셀 그룹들(8)의 위치 값들(10)은 카메라 위치(2)의 상기 형성된 우선순위가 매겨진 픽셀 그룹들(4)의 위치 값들(9)에 비교된다.
상기 방법의 이들 상기 단계들은 간단한 예를 사용하여 설명된다.
카메라 위치(2)의 경우 가장 높은 우선순위가 매겨진 픽셀 그룹들(A1, B1 및 C1)은 매트릭스의 위치들(a1, b1 및 c1)로 결정된다. 상기 프로세스에서 A1, B1 및 C1은 A1, B1 및 C1의 픽셀 값들이 게다가 폭넓게 가변하도록 우선순위가 매겨진다.
카메라 위치(5)의 경우에서 제 2 캡쳐링된 이미지의 경우, 가장 높은 우선순위가 매겨진 픽셀 그룹들(A2, B2 및 C2)은 매트릭스의 위치들(a2, b2 및 c2)로 결정된다.
카메라 위치(5)의 매트릭스 위치들(a2, b2 및 c2)로의 카메라 위치(2)의 매트릭스 위치들(a1, b1 및 c1)의 변위는 이동 단말(1)의 움직임에 직접 관련된다.
a1 대 a2, b1 대 b2 및 c1 대 c2의 비교로부터, 각각의 변위 벡터들(11)은 결정된다. 만약 모두 3개의 결정된 변위 벡터들(11)이 동일한 방향을 가리키면, 이동 단말(1)은 대응하는 방향으로 움직였다.
결정된 변위 벡터들(11)에 대응하여, 이동 단말(1)의 디스플레이 상 커서는 움직여진다(12).
만약 키보드가 추가로 디스플레이 상에 디스플레이되면, 동작 버튼을 누름으로써 커서가 현재 위치한 연관된 문자를 갖는 키보드 필드는 선택을 위해 승인된다. 문자가 선택된 후 키보드는 다시 중립 위치에 나타난다.
이런 상기된 예는 본 발명의 방법의 기본적 접근법을 도시한다.
물론 애플리케이션 요구조건들에 대응하여 여기에 기술된 방법이 예를 들어 메뉴 제어를 위한 일반 기능들 같은 다른 단말 기능성들의 제어를 위해 또한 사용될 수 있다. 게다가 기본적인 방법은 또한 다수의 기능들에 의해 확장될 수 있다. 3개의 픽셀 그룹들 대신 보다 많은 픽셀 그룹들은 또한 사용될 수 있다.
만약 카메라 위치(2)의 경우 3개의 가장 우수한 픽셀 그룹들(4)이 제 1 이미지에서 검출되면, 예를 들어 카메라 위치들(5)의 경우에서처럼 추후에 캡쳐링된 이미지들은 더 이상 완전하지 않고, 오히려 단지 발견된 픽셀 그룹들(8) 근처에서 평가된다. 이런 방식으로 시간-소비적 컴퓨팅 시간 및 이에 따라 보다 우수한 작동 시간들은 경제적이 된다.
어두운 경우, 부가적인 카메라 광은 이동 단말(1)의 움직임들을 검출하기 위하여 이용된다.
이동 단말(1)을 오브젝트 상으로 움직이거나 상기 오브젝트로부터 멀리 움직임으로써 부가적인 메뉴 기능들은 예를 들어 특정 문자들(＠ 또는 μ 또는 유사한 것)의 선택 옵션 같이 개방 또는 폐쇄될 수 있다.
선형 및 비선형 움직임들 양쪽은 보다 큰 디스플레이 영역들 위에서 커서의 빠른 움직임 동안 수행될 수 있다.
따라서 예를 들어 표면에 대한 이동 단말의 평행한 변위는 디스플레이 상에서 커서의 선형 변위를 유도한다.
커서의 비선형 변위는 예를 들어 이동 단말(1)의 부가적인 회전 움직임에 의해 형성된다.
제어의 단순화를 위해 예를 들어 소프트웨어 스캐닝은 각각의 키보드 필드의 문자/메뉴 아이템을 안전하게 선택하기 위해 사용된다.
부가적인 애플리케이션을 위해 커서는 또한 디스플레이 상에 고정되게 배치될 수 있고, 여기서 예를 들어 가상 키보드의 키보드 필드들 같은 선택 필드들은 이동 단말(1)의 움직임에 대응하는 변위를 시프트(shift)한다.
본 발명의 대상은 개별 청구항들의 대상으로부터 발생하고, 개별 청구항들의 상호 결합으로부터도 발생한다.
요약서를 포함한, 본 명세서에 개시된 모든 정보 및 특징들, 특히 도면들에 표현된 방법의 구성에서의 모든 정보 및 특징들은 그들이 개별적으로 또는 결합하여 선행 기술에 비하여 신규한 범위까지 본 발명에 필수적인 것으로 청구된다.
1. 이동 단말(예를 들어, 셀 폰)
2. 제 1 카메라 위치
3. 제 1 카메라 위치의 이미지 데이터
4. 제 1 카메라 위치의 우선순위가 매겨진 픽셀 그룹들 이미지
5. 제 2 카메라 위치
6. 카메라의 위치 변화
7. 제 2 카메라 위치의 이미지 데이터
8. 연관된 위치 값들을 가진 제 2 카메라 위치의 우선순위가 매겨진 픽셀 그룹들의 이미지들
9. 제 1 카메라 위치의 우선순위가 매겨진 픽셀 그룹들의 위치 값들 저장
10. 제 2 카메라 위치의 위치 값들과 제 1 카메라 위치의 저장된 위치 값들의 비교
11. 변위 벡터들의 형성
12. 이동 단말의 디스플레이 상 커서 또는 가상 키보드의 움직임
13. 동작 버튼에 의한 선택된 키보드 필드의 승인

Claims (10)

  1. 예를 들어, 셀 폰 같은 이동 단말의 디스플레이 상에 가상 키보드를 표현하기 위한 방법으로서,
    상기 이동 단말은 이미지 데이터를 캡쳐링하기 위한 카메라, 상기 이미지 데이터를 표현하기 위한 디스플레이 및 메뉴 기능들을 선택하거나 예를 들어 텍스트 메시지를 입력하기 위한 키보드를 나타내고,
    상기 키보드는 상기 이동 단말(1)의 상기 디스플레이 상의 가상 키보드로서 설계되고, 상기 가상 키보드 상에 표현된 커서는 움직일 수 있도록 설계되고, 상기 커서는 공간 축들에서의 상기 이동 단말의 움직임들에 따라 상기 가상 키보드의 대응하는 키보드 필드로 움직이는,
    가상 키보드를 표현하기 위한 방법.
  2. 제 1 항에 있어서, 상기 이동 단말의 상기 디스플레이 상에 표현된 상기 가상 키보드는 움직임 가능 키보드로서 표현되고, 상기 움직임 가능 키보드는 상기 이동 단말(1)의 움직임들에 따라 상기 디스플레이 상에서 움직이고, 상기 커서는 바람직하게 상기 디스플레이 상 중앙에 움직일 수 있게 배열되는,
    가상 키보드를 표현하기 위한 방법.
  3. 제 1 항 또는 제 2 항에 있어서, 상기 가상 키보드를 표현하기 위한 방법은 통합된 카메라의 제 1 카메라 위치(2)의 이미지 데이터(3)를 캡쳐링하고, 상기 이미지 데이터는 형성될 우선순위가 매겨진 픽셀 그룹들(4) 내에 저장되고, 가장 높은 우선순위가 매겨진 픽셀 그룹들(4)은 자동으로 이미지의 관련 영역들을 기술하는,
    가상 키보드를 표현하기 위한 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서, 상기 형성된 픽셀 그룹들(4)에 더하여, 제 1 카메라 위치(2)의 픽셀 그룹들의 대응하는 위치 값들(9)은 저장되는,
    가상 키보드를 표현하기 위한 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서, 상기 가상 키보드를 구현하기 위한 방법은, 제 1 카메라 위치(2)로부터 제 2 카메라 위치(5)로 카메라가 움직이는 경우, 상기 제 2 카메라 위치(5) 경우에서의 이미지 데이터(7)를 캡쳐링하고 연관된 위치 값들(10)을 가진 우선순위가 매겨진 픽셀 그룹들(8)을 형성하는,
    가상 키보드를 표현하기 위한 방법.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서, 상기 가상 키보드를 표현하기 위한 방법은 제 1 카메라 위치(2)의 우선순위가 매겨진 픽셀 그룹들(4)의 위치 값들(9)을 제 2 카메라 위치(5)의 우선순위가 매겨진 픽셀 그룹들(8)의 위치 값들에 비교하고, 상기 카메라 위치의 변화는 대응하여 상기 우선순위가 매겨진 픽셀 그룹들(4)의 상기 위치 값들(9)의 변화를 형성하는,
    가상 키보드를 표현하기 위한 방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서, 상기 가상 키보드를 표현하기 위한 방법은 제 1 카메라 위치(2) 및 제 2 카메라 위치(5)의 위치 값들의 비교로부터 변위 벡터들(11)을 결정하고, 상기 변위 벡터들은 상기 변위 벡터들(11)이 하나의 방향을 가리킬 때 상기 이동 단말(1)의 상기 디스플레이 상 상기 커서를 움직이는(12),
    가상 키보드를 표현하기 위한 방법.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서, 상기 이동 단말(1)의 상기 디스플레이 상에 표현된 상기 키보드 상에서의 상기 커서의 움직임은 키보드 필드의 선택을 구성하고, 상기 키보드 필드의 상기 선택은 배열된 동작 버튼에 의해 승인되는,
    가상 키보드를 표현하기 위한 방법.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서, 키보드 필드의 선택 및 승인 후, 상기 표현된 가상 키보드는 중립 위치(neutral position)로 움직이는,
    가상 키보드를 표현하기 위한 방법.
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서, 상기 가상 키보드를 표현하기 위한 방법은 메뉴 제어를 구성하고 메뉴 아이템의 선택은 상기 이동 단말(1)의 위치 변화에 의해 수행되는,
    가상 키보드를 표현하기 위한 방법.
KR1020107015134A 2007-12-08 2008-11-27 이동 단말의 가상 키보드 KR101352462B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102007059273.8 2007-12-08
DE102007059273A DE102007059273A1 (de) 2007-12-08 2007-12-08 Virtuelle Tastatur eines mobilen Endgerätes
PCT/EP2008/010063 WO2009071234A1 (de) 2007-12-08 2008-11-27 Virtuelle tastatur eines mobilen endgerätes

Publications (2)

Publication Number Publication Date
KR20100097207A true KR20100097207A (ko) 2010-09-02
KR101352462B1 KR101352462B1 (ko) 2014-01-17

Family

ID=40377375

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107015134A KR101352462B1 (ko) 2007-12-08 2008-11-27 이동 단말의 가상 키보드

Country Status (11)

Country Link
US (1) US8527895B2 (ko)
EP (1) EP2217987A1 (ko)
JP (1) JP5913806B2 (ko)
KR (1) KR101352462B1 (ko)
CN (1) CN101889256B (ko)
BR (1) BRPI0820862A2 (ko)
CA (1) CA2707917C (ko)
DE (1) DE102007059273A1 (ko)
MX (1) MX2010006117A (ko)
RU (1) RU2494442C2 (ko)
WO (1) WO2009071234A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007059273A1 (de) * 2007-12-08 2009-06-18 T-Mobile Internationale Ag Virtuelle Tastatur eines mobilen Endgerätes
US8605039B2 (en) * 2009-03-06 2013-12-10 Zimpl Ab Text input
US9305229B2 (en) 2012-07-30 2016-04-05 Bruno Delean Method and system for vision based interfacing with a computer
CN104423720B (zh) * 2013-09-02 2018-01-05 颜涌 一种基于摄像头的电脑输入设备和方法
KR102484707B1 (ko) 2020-08-03 2023-01-03 단국대학교 산학협력단 커서 이동시스템 및 커서 이동시스템의 운용방법
CN113778312B (zh) * 2021-08-17 2024-04-23 咪咕数字传媒有限公司 虚拟键盘显示方法、装置、设备及计算机可读存储介质
CN115047982B (zh) * 2022-06-21 2024-10-01 淮阴工学院 基于matlab的差异化文本键入方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI20001506A (fi) * 1999-10-12 2001-04-13 J P Metsaevainio Design Oy Kädessäpidettävän laitteen toimintamenetelmä
JP2002164990A (ja) * 2000-11-28 2002-06-07 Kyocera Corp 携帯通信端末装置
DE10113880B4 (de) 2001-03-21 2004-04-29 T-Mobile Deutschland Gmbh Verfahren zur Komprimierung und Dekomprimierung von Videodaten
JP2002366272A (ja) * 2001-06-05 2002-12-20 Kyocera Corp 携帯端末装置および表示画面のスクロール方法
JP2003288161A (ja) * 2002-03-28 2003-10-10 Nec Corp 携帯機器
US6876636B2 (en) 2002-07-09 2005-04-05 Qualcomm Inc. Method and system for a multicast service initiation in a communication system
JP3851601B2 (ja) * 2002-09-27 2006-11-29 富士写真フイルム株式会社 携帯端末装置
CA2409915C (en) * 2002-10-29 2012-01-03 Research In Motion Limited Electronic device having keyboard for thumb typing
AU2003303787A1 (en) * 2003-01-22 2004-08-13 Nokia Corporation Image control
DE10313019B4 (de) * 2003-03-24 2005-02-24 Siemens Ag Einhandbedienung von Endgeräten per Gestikerkennung
GB2404819A (en) * 2003-08-05 2005-02-09 Research In Motion Ltd Mobile communications device with integral optical navigation
US7721968B2 (en) * 2003-10-31 2010-05-25 Iota Wireless, Llc Concurrent data entry for a portable device
EP1709519B1 (en) * 2003-12-31 2014-03-05 ABB Research Ltd. A virtual control panel
NO20044073D0 (no) * 2004-09-27 2004-09-27 Isak Engquist Informasjonsbehandlingssystem og fremgangsmate
FR2876470B1 (fr) * 2004-10-12 2006-12-22 Eastman Kodak Co Procede de controle d'affichage utilisant un equipement portable a capteur d'images
DE102005024638A1 (de) * 2005-05-30 2006-12-07 Siemens Ag Verfahren zum Navigieren durch ein Menü eines elektronischen Geräts
CN101000532A (zh) * 2006-01-10 2007-07-18 鸿富锦精密工业（深圳）有限公司 具有光学感应器的便携式电子装置及其选单方法
DE102007059273A1 (de) * 2007-12-08 2009-06-18 T-Mobile Internationale Ag Virtuelle Tastatur eines mobilen Endgerätes

Also Published As

Publication number Publication date
KR101352462B1 (ko) 2014-01-17
EP2217987A1 (de) 2010-08-18
CA2707917A1 (en) 2009-06-11
DE102007059273A1 (de) 2009-06-18
US20100313160A1 (en) 2010-12-09
CA2707917C (en) 2015-11-24
WO2009071234A1 (de) 2009-06-11
MX2010006117A (es) 2010-06-25
US8527895B2 (en) 2013-09-03
JP5913806B2 (ja) 2016-04-27
CN101889256B (zh) 2013-04-17
RU2494442C2 (ru) 2013-09-27
RU2010128177A (ru) 2012-01-20
BRPI0820862A2 (pt) 2019-09-03
JP2011507058A (ja) 2011-03-03
CN101889256A (zh) 2010-11-17

Similar Documents

Publication Publication Date Title
KR101352462B1 (ko) 이동 단말의 가상 키보드
US10120535B2 (en) Image processing apparatus and image processing method
CN102906671B (zh) 手势输入装置及手势输入方法
KR100677457B1 (ko) 단말기의 카메라를 이용한 메뉴 입력 장치 및 방법
CN102541255A (zh) 基于摄像头的从纵向到横向的朝向固定
JP2014052852A (ja) 情報処理装置
WO2013046596A1 (ja) 携帯型情報処理端末
CN105426092B (zh) 显示控制装置
CN111783175A (zh) 显示界面隐私保护方法、终端和计算机可读存储介质
JP4685708B2 (ja) 携帯端末装置
EP1835416A2 (en) Method and Apparatus for Inputting Text Effect Item
JP2011507058A5 (ko)
JP5329276B2 (ja) 表示装置、表示方法、およびプログラム
WO2011079437A1 (en) Method and apparatus for receiving input
JP2007102415A (ja) ２つの入力モードを有する携帯端末、プログラム及び携帯端末への指令入力方法
CN107193373B (zh) 一种信息处理方法及电子设备
JP5977415B2 (ja) 電子機器、制御方法および制御プログラム
KR20050087597A (ko) 입력 인터페이스 모드에 따라 전자 터치 인터페이스들을화면과 별도의 영역에 가변적으로 표시할 수 있는 휴대용단말기
KR100753209B1 (ko) 가상 키패드를 구비한 휴대용 단말기 및 문자 입력 방법
KR100751095B1 (ko) 카메라 모듈 및 휠 키를 구비한 전자기기에서의 키 입력방법 및 장치
CN114510171A (zh) 一种基于图像处理技术的便捷式三维触控交互系统
KR101474437B1 (ko) 휴대 단말기
CN116880946A (zh) 基于移动终端的远程控制方法、装置、设备和介质
EP1600848A1 (en) A method and program for selecting an input symbol, and a device for the same
CN104636067A (zh) 触控显示屏上的文档显示方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161230

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180104

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190103

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200107

Year of fee payment: 7