KR100795450B1

KR100795450B1 - 이미지 제어

Info

Publication number: KR100795450B1
Application number: KR1020057013226A
Authority: KR
Inventors: 한노 지르브; 클라우스 크리쉐우; 라미 아르토 코이부넨; 왈스티즌 바르톨로메우스 제라르두스 고세비누스 반
Original assignee: 노키아 코포레이션
Priority date: 2005-07-16
Filing date: 2003-01-22
Publication date: 2008-01-16
Also published as: KR20050094037A

Abstract

본 발명은 프로세서 및 동영상 또는 정지 이미지들을 캡처하기 위한 디지털 카메라가 구비된 핸드-헬드 장치들의 분야에 관한 것이다. 상기 카메라에 의해 캡처된 이미지들은 상기 핸드-헬드 장치의 움직임을 결정하는데 사용된다. 결과로서 생성되는 움직임 신호는 사용자 인터페이스에 대한 입력으로서 사용된다. 표시된 이미지들은 상기 핸드-헬드 장치를 움직임으로써 스크롤, 줌 또는 회전될 수 있다. 상기 움직임 신호는 또한 상기 디스플레이상에서 상기 그래픽 사용자 인터페이스의 커서 또는 다른 객체를 이동시키기 위하여 상기 그래픽 사용자 인터페이스에 대한 입력으로서 사용될 수 있다. 또한 본 발명은 움직임을 감지하기 위한 수단, 디스플레이, 적어도 제1키 및 제2키를 지닌 키패드 및 객체들과 커서를 지닌 그래픽 사용자 인터페이스가 제공되는 핸드-헬드 장치에 관한 것이다. 상기 핸드-헬드 장치는 또한 상기 핸드-헬드 장치의 감지된 움직임을 상기 커서를 상기 디스플레이상에서 움직이기에 적합한 신호로 변환하기 위한 수단을 포함한다.

움직임, 이미지, 제어, 카메라, 핸드, 헬드, 그래픽, 사용자, 인터페이스

Description

이미지 제어{Image control}

본 발명은 동영상 또는 정지 이미지들을 캡처하기 위한 디지털 카메라 및 프로세서가 구비된 핸드-헬드 장치의 분야에 관한 것으로, 특히 이미지들을 표시하기 위한 디스플레이 또는 그래픽 또는 문자 기반 사용자 인터페이스를 더 포함하는 장치들에 관한 것이다.

디지털 이미지 캡처 장비, 디지털 처리 파워 및 고해상도 디스플레이들이 제공되는 핸드-헬드 장치들은 매우 다양한 사용 분야에서 점점 더 일반화되어 가고 있다.

예를 들어, 소형 이동 전화들에는 최근에 디지털 카메라들 및 비교적 작은 고해상도 LCD 스크린들이 구비되고 있다. 일반적으로 "개인 휴대 정보 단말기"(PDA)로 불리우는 핸드-헬드 컴퓨터들이 또한 이용가능하고 전형적으로 작은 고해상도 디스플레이 스크린들이 구비되며 예를 들어 디지털 카메라를 수납하기 위한 슬롯을 구비한다. 유사하게, 전형적으로 작은 디스플레이 스크린들 및 내장되거나 분리가능한 디지털 카메라를 지닌, 셀룰러 통신 및 컴퓨터 기능 양자를 지닌 통신 장치들이 이용가능하다. 상기 소형의, 핸드-헬드 장치들은 컴퓨터 마우스 및 다른 제어 키들과 같은 관용적인 입력 장치들을 가지고 있지 않고, 편리하게 가지고 있 을 수 없다. 그러므로, 또한 자기 자신의 단점들을 지닌, 관용적인 개인용 컴퓨터 인터페이스들은, 상기 소형 핸드-헬드 장치들에 적합하지 않다.

그 결과, 출력의 획득시, 예를 들어 디스플레이 스크린상의 데이터를 볼 때 그리고 명령들의 입력시, 예를 들어 상기 디스플레이 스크린상에 보여지는 영역을 변경하거나 상기 장치와 관련된 특정 매개 변수의 수행을 제어할 때 이러한 소형 핸드-헬드 장치들을 사용하는 것에 대해 상당한 제한들이 존재한다. 더욱이, 상기 디스플레이 스크린 뿐만 아니라 상기 전체 장치상에서 제한된 영역이 이용가능한 경우, 부가적인 제어 키들을 추가하는 것은 상기 장치의 두손 동작을 필요로하는 사용자에게 어렵고 성가시다.

US 6466198은 핸드-헬드 장치들 내부의 센서들에 의해 측정된 바와 같이 단지 두개의 회전축을 따른 방위 변경들에 응답하여 핸드-헬드 장치들의 디스플레이의 뷰 네비게이션 및 확대를 위한 시스템 및 방법을 개시한다. 상기 뷰 네비게이션 시스템은 상기 핸드-헬드 장치의 양측상의 스위치들을 동시에 누름으로써 시작되고 제어될 수 있다. 가속도계들, 틸트 센서들 또는 자기-저항 방향 센서들과 같은 소형 센서들은 방위 변경을 감지한다. 현재 상기 소형 센서들은 전형적으로 핸드-헬드 장치들에 대한 표준 장비가 아니다. 따라서, 이러한 센서들은 비용이 추가되고, 귀중한 공간을 사용하며 무게를 더한다.

본 발명은 상기한 문제들 중 하나 이상의 문제들을 극복하기 위한 것이다.

이러한 배경에 따라, 본 발명의 목적은 종래 기술의 핸드-헬드 장치들에 의해 사용되는 전용 센서 장비를 필요로 하지 않고, 장치를 잡는 동일한 손으로 사용자 입력을 허용하는, 초기에 지칭된 유형의 핸드-헬드 장치를 제공하는 것이다.
상기 목적은 핸드-헬드 장치에 있어서, 프로세서, 디스플레이, 동영상 또는 정지 이미지들을 캡처하기 위한 디지털 카메라, 상기 디스플레이상에 상기 디지털 카메라에 의해 캡처된 정지 이미지들 또는 동영상을 프리젠테이션하기 위한 수단, 상기 카메라로부터의 신호를 상기 핸드-헬드 장치의 움직임을 나타내는 움직임 신호로 변환하는 수단 및 상기 핸드-헬드 장치의 움직임이 상기 핸드-헬드 장치의 획득된 움직임 신호를 통해 상기 핸드-헬드 장치의 동작을 제어하기 위한 사용자 입력으로서 사용되는, 사용자 인터페이스를 포함하는 핸드-헬드 장치를 제공함으로써, 청구항 1항에 따라 달성된다.
따라서, 많은 핸드-헬드 장치들에서 시작하는데 이용가능한 센서, 즉 보조 사용, 즉 핸드-헬드 장치의 움직임을 나타내는 움직임 신호를 생성하기 위한 디지털 카메라를 사용함으로써, 움직임 센싱을 지닌 핸드-헬드 장치가 경제적이고 신뢰성있는 방식으로 제공된다.
상기 핸드-헬드 장치는 상기 핸드-헬드 장치의 움직임이 획득된 움직임 신호를 통해 사용자 입력으로서 사용되는 사용자 인터페이스를 더 포함할 수 있다.
상기 핸드-헬드 장치는 디스플레이, 바람직하기로는 캡처된 이미지들을 표시하기에 적합한 디스플레이를 더 포함할 수 있다.
소정 유형의 핸드-헬드 장치의 움직임은 바람직하기로는 상기 핸드-헬드 장치의 움직임에 실질적으로 대응하는 방식으로 상기 이미지들을 움직임으로써 상기 디스플레이상에 적어도 부분적으로 표시된 이미지들을 조작하는데 사용될 수 있다.
상기 핸드-헬드 장치의 상이한 유형의 움직임은 예를 들어 상기 디스플레이상에 표시되는 이미지들을 이동, 및/또는 줌(zoom), 및/또는 확대/축소 및/또는 회전시키는데 사용될 수 있다.
상기 핸드-헬드 장치의 디스플레이의 평면에 실질적으로 평행한 움직임은 상기 디스플레이상에 표시된 이미지를 스크롤하는데 사용될 수 있다. 상기 디스플레이의 평면에 실질적으로 수직한 움직임은 상기 디스플레이상에 표시된 이미지를 줌하는데 사용될 수 있다. 상기 핸드-헬드 장치의 회전은 상기 디스플레이상에 표시된 이미지를 회전시키는데 사용될 수 있다.
조작된 이미지들은 예를 들어 상기 카메라에 의해 이전에 캡처된 이미지들일 수 있다.
상기 이미지의 이동은 상기 핸드-헬드 장치의 움직임에 대해 반전될 수 있는데, 왜냐하면 몇몇 사용자들은 이것을 선호할 수 있기 때문이다.
상기 사용자 인터페이스는 그래픽 사용자 인터페이스를 포함할 수 있고 상기 핸드-헬드 장치의 움직임은 상기 그래픽 사용자 인터페이스에 대한 입력으로서 사용될 수 있다.
상기 핸드-헬드 장치의 움직임은 바람직하기로는 상기 핸드-헬드 장치의 상기 움직임 또는 반전된 움직임에 실질적으로 대응하는 방식으로 객체를 움직임으로써 상기 그래픽 사용자 인터페이스에 의해 표시된 상기 객체를 조작하는데 사용될 수 있고, 상기 그래픽 사용자 인터페이스에 의해 표시된 객체는 아이콘, 대화 상자, 창, 메뉴 또는 포인터일 수 있다.
상기 핸드-헬드 장치의 소정 유형의 움직임은 상기 그래픽 사용자 인터페이스에 의해 표시되는 객체들을 이동, 및/또는 줌(zoom), 및/또는 확대/축소 및/또는 회전시키는데 사용될 수 있다.
상기 핸드-헬드 장치의 디스플레이의 평면에 실질적으로 평행한 움직임은 상기 그래픽 사용자 인터페이스에 의해 표시된 객체를 스크롤하는데 사용될 수 있다. 상기 디스플레이의 평면에 실질적으로 수직한 움직임은 상기 그래픽 사용자 인터페이스에 의해 표시된 객체를 줌하는데 사용될 수 있다. 상기 핸드-헬드 장치의 회전 움직임은 상기 그래픽 사용자 인터페이스에 의해 표시된 객체를 회전시키는데 사용될 수 있다.
상기 디지털 카메라는 내장된 카메라일 수 있거나 분리가능한 카메라일 수 있다. 상기 카메라는 상기 핸드-헬드 장치에 대해 이동가능하다.
상기 카메라로부터의 신호를 움직임 신호로 변환하기 위한 수단은 바람직하기로는 상기 카메라에 의해 캡처된 연속적인 이미지들간의 변경들로부터 상기 움직임 신호를 획득한다.
상기 카메라에는 자동 포커스 시스템이 구비될 수 있고, 상기 자동 포커스 시스템의 포커싱 설정은 상기 카메라 방향의 이동을 검출하는데 사용될 수 있다.
상기 핸드-헬드 장치는 적어도 하나의 키를 더 포함할 수 있다. 움직임 유형의 기능은 상기 적어도 하나의 키의 상태에 의존할 수 있다.
상기 디스플레이에 실질적으로 수직한 축에 대한 상기 핸드-헬드 장치의 회전 움직임은, 상기 핸드-헬드 장치가 위치한 고정 좌표 시스템에 대해 상기 이미지 또는 객체가 정적(static)이 되는 방식으로, 상기 디스플레이에 대해 상기 이미지 또는 그래픽 사용자 인터페이스 객체의 역 회전 이동을 야기하는데 사용될 수 있다.
상기 움직임 신호는 사운드 설정, 키패드 설정 및 디스플레이 설정과 같은, 장치 설정을 조정하는데 사용될 수 있다.
상기 핸드-헬드 장치는 적어도 제1키와 제2키를 지닌 키패드를 더 포함할 수 있고, 상기 그래픽 사용자 인터페이스는 커서를 포함하고, 상기 핸드-헬드 장치의 움직임은 상기 커서를 상기 그래픽 사용자 인터페이스의 객체상에 위치시키는데 사용될 수 있으며 상기 관련된 객체와 연관된 주 기능들은 상기 제1키를 누름으로써 활성화될 수 있고 상기 관련된 객체와 연관된 보조 기능들은 상기 제2키를 누름으로써 활성화될 수 있다.
상기 제1키의 기능은 상기 그래픽 사용자 인터페이스의 객체들의 선택과 활성화와 연관될 수 있고, 상기 제2키의 기능은 콘텍스트-감응 메뉴를 호출하는 것과 연관될 수 있다.
상기 관련된 객체의 선택은 상기 제1키를 누르고 놓음으로써 수행될 수 있다. 상기 관련된 객체의 활성화는 상기 제1키를 신속하게 연속하여 두번 누르고 놓음으로써 수행될 수 있다. 상기 관련된 객체의 이동 및 크기 조정은 상기 커서를 이동시키기 위하여 상기 핸드-헬드 장치를 이동시키는 동안 상기 제1키를 아래로 유지함으로써 수행될 수 있다.
상기 제1키 및 제2키는 소프트키들일 수 있고, 상기 소프트키들의 현재 기능은 상기 디스플레이, 바람직하기로는 상기 디스플레이의 전용 필드들에 표시된다.
상기 제1키는 바람직하기로는 상기 디스플레이의 하부 가장자리에 근접한, 상기 디스플레이의 좌측, 상기 디스플레이 아래에 배치될 수 있고, 상기 제2키는 바람직하기로는 상기 디스플레이의 하부 가장자리에 근접한, 상기 디스플레이의 우측, 상기 디스플레이 아래에 배치될 수 있다.
본 발명의 다른 목적은 핸드-헬드 장치들에 사용자 입력을 제공하기 위한 개선된 방법을 제공하는 것이다. 상기 목적은 프로세서, 사용자 인터페이스 및 동영상 또는 정지 이미지들을 캡처하기 위한 디지털 카메라를 지닌 핸드-헬드 장치에 대한 사용자 입력을 생성하기 위한 방법을 제공함으로써 달성되는데, 상기 방법은,
카메라 신호를 획득하는 단계; 교대로 상기 카메라 신호를 사용하여 정지 이미지들 또는 동영상을 캡처하거나, 상기 카메라 신호로부터 상기 핸드-헬드 장치의 움직임을 결정하는 단계; 및 상기 핸드-헬드 장치의 결정된 움직임을 상기 사용자 인터페이스에 대한 입력으로서 사용하는 단계를 포함한다.
본 발명의 또 다른 목적은 핸드-헬드 장치의 움직임을 나타내는 움직임 신호를 생성하기 위한 프로세서를 지니는 핸드-헬드 장치의 디지털 카메라의 사용을 제공하는 것이다.
본 발명의 다른 목적은 개선된 그래픽 사용자 인터페이스를 지닌 핸드-헬드 장치를 제공하는 것이다. 상기 목적은, 프로세서, 상기 핸드-헬드 장치의 움직임을 감지하기 위한 수단, 디스플레이, 적어도 제1키 및 제2키를 지닌 키패드, 객체들과 커서를 지닌 그래픽 사용자 인터페이스 및 상기 핸드-헬드 장치의 감지된 움직임을 상기 커서를 상기 디스플레이상에서 움직이기에 적합한 신호로 변환하기 위한 수단을 포함하는 핸드-헬드 장치를 제공함으로써 달성된다.
상기 핸드-헬드 장치의 움직임을 통해 커서의 위치를 제어함으로써 핸드-헬드 장치에 대한 사용자-친화적인 커서 제어 그래픽 사용자 인터페이스를 제공하는 것이 가능해진다.
바람직하기로는, 상기 핸드-헬드 장치의 움직임은 상기 그래픽 사용자 인터페이스의 객체들상에 상기 커서를 위치시키는데 사용되고 상기 관련된 객체와 연관된 주 기능들은 상기 제1키를 누름으로써 활성화되고 상기 관련된 객체와 연관된 보조 기능들은 상기 제2키를 누름으로써 활성화된다.
상기 제1키의 기능은 상기 그래픽 사용자 인터페이스의 객체들의 선택 및 활성화와 연관될 수 있고, 상기 제2키의 기능은 바람직하기로는 콘텍스트-감응 메뉴를 호출하는 것과 연관될 수 있다.
상기 관련된 객체의 선택은 바람직하기로는 상기 제1키를 누르고 놓음으로써 수행되고, 상기 관련된 객체의 활성화는 바람직하기로는 상기 제1키를 신속하게 연속하여 두번 누르고 놓음으로써 수행된다.
상기 관련된 객체의 이동 또는 크기 조정은 상기 커서 및 상기 커서와 일치하여 관련된 객체를 이동시키기 위하여 상기 핸드-헬드 장치를 움직이는 동안 상기 제1키를 아래로 유지함으로써 수행될 수 있다.
상기 제1키 및 상기 제2키는 소프트키들이고 상기 소프트키들의 현재 기능은 상기 디스플레이, 바람직하기로는 상기 디스플레이의 전용 필드들에 표시된다.
상기 제1키는 바람직하기로는 상기 디스플레이의 하부 가장자리에 근접한, 상기 디스플레이의 좌측, 상기 디스플레이 아래에 배치될 수 있고, 상기 제2키는 바람직하기로는 상기 디스플레이의 하부 가장자리에 근접한, 상기 디스플레이의 우측, 상기 디스플레이 아래에 배치될 수 있다.
상기 핸드-헬드 장치의 움직임을 상기 커서를 상기 디스플레이상에서 움직이기에 적합한 신호로 변환하기 위한 수단은 틸트 센서 및/또는 이미지 캡처 장치 및/또는 가속도계를 더 포함할 수 있다.
상기 핸드-헬드 장치는 상기 이미지 캡처 장치, 즉 상기 카메라 및/또는 틸트 센서 및/또는 가속도계로부터의 신호를 상기 커서에 대한 위치 신호로 변환하는 수단을 더 포함할 수 있다.
바람직하기로는 상기 카메라로부터의 신호를 움직임 신호로 변환하는 수단은 상기 카메라에 의해 캡처된 연속적인 이미지들 또는 연속적인 이미지들의 부분들간의 변경들로부터 상기 움직임 신호를 획득한다.
상기 카메라는 자동 포커스 시스템을 지닐 수 있고, 상기 자동 포커스 시스템의 포커싱 설정은 카메라 방향의 이동을 검출하는데 사용된다.
상기 그래픽 사용자 인터페이스는 아이콘들, 대화 상자들, 창들, 메뉴들, 및 포인터들 중 하나 이상의 객체 유형들을 포함할 수 있다.
상기 핸드-헬드 장치의 다른 목적들, 특징들, 이점들 및 속성들, 본 발명에 의한 핸드-헬드 장치내의 디지털 카메라의 사용 및 사용자 입력을 제공하기 위한 방법은 상세한 설명으로부터 명백해질 것이다.
본 설명의 다음 상세한 부분에서, 본 발명이 도면들에 도시된 예시적인 실시예들을 참조하여 더 상세히 설명될 것이다.

삭제

도 1은 본 발명에 의한 핸드-헬드 장치의 바람직한 실시예를 도시한 것이다.

도 2는 도 1의 실시예의 핸드-헬드 장치의 블록도를 도시한 것이다.

도 3은 본 발명에 따라 사용자 입력을 생성하기 위하여 핸드-헬드 장치가 이동되고 회전되는 이동축 및 회전축을 나타낸 것이다.

도 3.1 내지 도 3.7은 디스플레이상에 표시된 이미지들을 줌, 스크롤 및 회전시키기 위한 본 발명의 사용을 도시한 것이다.

도 3.8 내지 도 3.10은 창내의 표를 스크롤하고 창의 크기를 조정하기 위하여 그래픽 사용자 인터페이스에 대한 사용자 입력을 위한 본 발명의 사용을 도시한 것이다.

도 3.11 내지 도 3.13은 디스플레이상에서 확대창을 스크롤하기 위한 본 발명의 사용을 도시한 것이다.

도 3.14 및 도 3.15는 자르기 및 붙이기에 의해 이미지의 일부를 이동시키기 위한 본 발명의 사용을 도시한 것이다.

도 3.16은 텍스트 편집 애플리케이션을 통한 본 발명의 사용을 도시한 것이다.

도 3.17은 보표(stave)에 음표들을 입력하기 위한 애플리케이션을 통한 본 발명의 사용을 도시한 것이다.

도 3.18은 미로 게임을 통한 본 발명의 사용을 도시한 것이다.

도 3.19는 비디오 게임을 제어하기 위한 본 발명의 사용을 도시한 것이다.

도 3.20은 음악 재생기 기능의 사운드 설정을 제어하기 위한 애플리케이션을 통한 본 발명의 사용을 도시한 것이다.

도 4는 디스플레이상에 표시된 이미지들을 줌, 스크롤 및 회전시키기 위한 소프트웨어 흐름도를 개략적으로 나타낸 것이다.

도 5 및 도 6은 본 발명에 의한 핸드-헬드 장치의 대안적인 바람직한 실시예를 도시한 것이다.

본 발명은 비교적 작은 디스플레이를 지닌 핸드-헬드 통신 또는 계산 장치들이 상기 장치를 움직이거나 회전시킴으로써 사용자 입력을 수신하도록 허용한다. 특히, 디스플레이를 지닌 장치들과 함께, 본 발명은 그래픽 사용자 인터페이스내의 객체들 또는 큰 저장된 가상 디스플레이의 편리한 네비게이션을 허용한다. 이러한 장치들은 PDA 장치들, 캠코더들, 디지털 포토 카메라들, 디지털 쌍안경(확대된 입체 이미지들을 보고 디지털적으로 기록하기 위하여 통합된 고체 입체 이미징 시스템), 이동 핸드-헬드 단말기들, 진보된 페이저들, 이동 전화들 및 커뮤니케이터들을 포함할 수 있다.

바람직한 실시예에 의하면, 상기 핸드-헬드 장치는 핸드 포터블 전화, 바람직하기로는 셀룰러/이동 전화이다.

도 1은 본 발명에 의한 이동 전화를 도시한 것으로, 일반적으로 1로 표시된 상기 전화는 키패드를 지닌 사용자 인터페이스(2), 디스플레이(3), 온/오프 버튼(4), 스피커(5)(개구부만이 도시됨) 및 마이크로폰(6)(개구부만이 도시됨)을 포함한다는 것을 알 수 있을 것이다. 바람직한 실시예에 의한 전화(1)는 GSM 900/1800 MHz 네트워크와 같은, 셀룰러 네트워크를 통해 통신하기에 적합하다.

키패드(7)는 영숫자 키들로서 제1 그룹의 키들(8)을 포함하는데, 상기 키들을 통해 사용자는 전화 번호를 입력할 수 있고, 텍스트 메시지(SMS)를 쓸 수 있으며, (상기 전화 번호와 관련된) 이름 등을 쓸 수 있다. 12개의 영숫자 키들(8) 각각에는 숫자 "0-9" 또는 부호 "#" 또는 "*"이 각각 제공된다. 문자 모드에서 각 키는 텍스트 편집에서 사용되는 다수의 문자들 및 특정 부호들과 관련된다.

상기 키패드(7)는 부가적으로 2개의 소프트키들(9), 두개의 호 처리 키들(12) 및 화살표 키(10)를 포함한다. 상기 소프트키들의 기능은 상기 전화의 상태에 의존하고 메뉴 네비게이션은 네비게이션-키를 사용하여 수행될 수 있다. 상기 소프트키들(9)의 현재 기능은 키들(9) 바로 위에, 상기 디스플레이(3)내의 개별 필드들에 표시된다. 상기 2개의 호 처리 키들(12)은 호 또는 회의 호, 호 종료 또는 들어오는 호 거절을 설정하는데 사용된다. 상기 키 레이아웃은 예를 들어 노키아 6210(상표명) 전화에 특징적이다.

상기 화살표 키(10)는 커서 이동 및 스크롤링에 사용될 수 있는 업/다운 키이고 상기 디스플레이(3)와 영숫자 키들(7)의 그룹 사이에 상기 전화의 전면상에 중앙에 배치된다. 배터리 팩(14)은 상기 전화의 후면에 장착되고 상기 이동 전화의 전자 요소들에 전력을 공급한다.

상기 전화는 컬러 이미지들을 표시할 수 있는 TFT 매트릭스와 같은, 선택적인 백라이트를 지닌 전형적으로 LCD로 이루어진 평판 디스플레이(3)를 지닌다.

상기 전화에는 도 1에 렌즈(36)만이 보이는 디지털 카메라(35)가 구비된다. 상기 카메라는 상기 배터리 팩(14) 위에 상기 전화의 후면에 배열된다. 그러므로 상기 카메라 방향은 상기 전화(1)의 후면에 실질적으로 수직하다. 상기 카메라 바로 아래에 IrDA 통신을 위한 적외선 포트(38)가 제공된다(단지 상기 포트의 창이 도시된다). 상기 카메라는 대안적으로 상기 전화의 하우징과 관련하여 상기 카메라 방향의 조정을 허용하도록, 상기 전화에 회전가능한 접속부(미도시)를 지닐 수 있다.

도 2는 블록도 형태로, 상기 전화의 바람직한 실시예의 가장 중요한 부분들을 개략적으로 도시한 것이다. 프로세서(18)는 송신기/수신기 회로(19) 및 내부 안테나(20)를 통해 네트워크와의 통신을 제어한다. 마이크로폰(6)은 사용자의 음성을 아날로그 신호들로 변환하는데, 그것에 의해 형성된 아날로그 신호들은 음성이 디지털 처리 유닛(14)(DSP)에서 부호화되기 전에 A/D 변환기(미도시)에서 A/D 변환된다. 상기 부호화된 음성 신호는 GSM 단말기 소프트웨어를 지원하는, 프로세서(18)로 전송된다. 상기 프로세서(18)는 또한 (데이터, 전원 등 뿐만 아니라) 램 메모리(17a) 및 플래시롬 메모리(17b), SIM 카드(16) 및 키패드(2)를 포함하여, 상기 장치의 주변 유닛들에 대한 인터페이스를 형성한다. 상기 디지털 신호-처리 유닛(14)은 상기 신호를 음성 복호화하고, 상기 신호는 D/A 변환기(미도시)를 통해 프로세서(18)로부터 이어폰(5)으로 전송된다. 상기 프로세서는 PC, 랩톱, 개인 휴대 정보 단말기(PDA) 및 다른 이동 전화들과 같이, 포트가 구비된 다른 장치들과의 데이터 통신을 허용하는 IrDA 포트(38)(적외선 포트)와 양방향으로 통신한다. 상기 전화에는 IR 데이터 통신에 대해 언급된 바와 같이 다른 장치들과의 데이터 전송을 위해, 예를 들어 블루투스 표준에 따라, 단거리 RF 송신기 수신기(미도시)가 추가로 구비 될 수 있다.

상기 프로세서(18)는 또한 디스플레이 제어기(31)에 대한 인터페이스를 형성한다. 이미지 제어기(31)는 상기 프로세서(18)로부터 이미지 파일들을 수신하고 상기 디스플레이(3)상에 표시하기 위한 이미지들을 랜더링한다.

카메라 제어기(37)는 또한 상기 프로세서(18)에 연결되어 있고 상기 디지털 카메라(35)를 제어한다. 상기 카메라 제어기(37)는 상기 카메라(35)의 해상도, 리프레시 비율, 포커스 및 줌 배율을 설정한다. 상기 카메라 제어기(37)는 이용가능한 잘 알려져 있는 자동 포커스 기술들 중 어떤 기술을 통해 자동으로 포커스를 설정한다. 상기 카메라(35)의 출력 신호는 상기 프로세서(18)에 연결된다.

상기 카메라가 상기 핸드-헬드 장치의 움직임을 검출하는데 사용되는 경우, 상기 카메라 제어기(37)는 적합한 해상도 및 리프레시 비율을 자동으로 선택하여서, 상기 리프레시 비율은 연속적인 이미지들에서의 변경으로부터 유연한 움직임 신호를 획득하기에 충분히 높다. 움직임 검출을 위해 상기 디지털 카메라에 의해 캡처된 완전한 이미지를 사용하는 것은 보통 필요하지 않다. 소프트웨어는 처리되어야 하는 데이터의 양이 감소되도록 상기 움직임 검출을 위해 이미지의 특정 섹션을 선택할 수 있다. 이들 두개의 조치(저해상도 및 상기 이미지의 섹션을 사용하는 것)는 낮은 데이터 처리 전력 요구 때문에 높은 샘플링비와 감소된 전력 소비를 허용한다.

상기 카메라 뷰에서의 몇몇 면들은 움직임을 검출하기에 특히 적합하지 않을 수 있는데, 이것은 예를 들어 균일한 면들 때문이거나 상기 카메라 뷰에서 객체들 까지의 거리가 너무 멀어서 정확하게 거리 변경을 결정할 수 없기 때문이다. 이러한 문제들은 상기 카메라를 사용자와 같이, 충분한 텍스처를 지닌 다른 이용가능한 객체로 향하게 함으로써 (조정가능한 카메라 방향을 지닌 실시예에서) 해결될 수 있다. 따라서 상기 카메라 방향은 "정상" 방향과 비교하여 반전된다. 그러므로 상기 카메라 신호로부터 획득된 움직임 신호는 상기 카메라가 사용자로 향하는 경우 자동으로 반전된다.

상기 카메라(35)는 관용적인 디지털 카메라이어서 상기 카메라(35)의 모든 특징들이 도시되지는 않는다. 상기 디지털 카메라의 이미지 센서는 프레임 전송, 인터라인 전송 CCD들 또는 다이오드 어레이들과 같은, 고체 이미지 센서들에 대한 알려져 있는 구성들 중 어느 하나일 수 있다.

표준 CCD 장치들은 가시광 및 근적외선광 양자에 민감하다. 그러므로 가시광으로 이미지들을 캡처하는 관용적인 디지털 카메라들에는 캡처된 이미지에 대한 적외선광의 영향을 막기 위하여 적외선 필터가 제공된다. 또한 상기 이동 전화(1)에는 적외선 필터(미도시)가 제공된다. 상기 적외선 필터는 적외선 이미지들을 캡처하기 위하여 상기 카메라로의 광로로부터 이동될 수 있다. 상기 IrDA 포트(38)는 상기 카메라가 적외선 모드에 있는 경우 상기 카메라(35)에 대한 광원으로서 기능하기 위하여 연속적으로 방사하도록 설정될 수 있다. 따라서, 상기 카메라(35)는 주위 광이 거의 없거나 아무런 주위 광도 없는 경우에도 사용될 수 있다. 디지털 카메라에 대한 광원으로서 IrDA 포트를 사용하는 것과 자동 포커스 시스템에 대한 조정 뿐만 아니라 상기 카메라 경로 내외로 상기 적외선 필터를 이동시키기 위한 장치의 상세는 여기에 참조로써 포함되어 있는 미국 특허 출원 번호 10/029,968에 개시되어 있다.

바람직하기로는 상기 렌즈(36)는 자동 포커스를 허용하도록 이동가능한 렌즈 그룹을 지닌 고정 초점 렌즈이지만, 상기 렌즈(36)는 당업자에게 이해되는 바와 같이, 수신된 이미지의 상이한 부분들에 포커싱되도록 조정을 위해 제공하는 어떤 유형의 렌즈일 수 있다.

포커싱에 관한 가시광과 근적외선광의 특성은 다소 상이하다. 그러므로, 자동 포커스 시스템은 두개의 설정을 지닌다; 가시광으로 이미지들을 캡처하기 위한 제1 설정 및 적외선광에 대한 제2 설정.

가시광으로 캡처되고 적외선광으로 캡처된 화상들을 처리하고, 저장하며, 재호출하기 위한 표준 소프트웨어는 상기 전화(1)에 설치된다. 상기 소프트웨어는 그 자체로 관용적일 수 있고 상업적으로 이용가능할 수 있다. 상기 소프트웨어는 또한 상기 디스플레이상에 표시된 이미지들의 리프레시 비율을 제어할 수 있다.

선택적으로, 상기 전화(1)는 또한 지구 중력장을 사용하여 수직에 관해 변위의 방향과 크기를 결정하는 두개의 틸트 센서들(39)을 포함할 수 있다. 이러한 센서들은 추(weight)에 연결된 자유롭게 회전가능한 샤프트상의 인코딩 디스크와 동작하는 것들과 같은 잘 알려져 있는 유형들 중 어떤 유형 또는 액체에 떠 있는 비대칭 추가 제공되는 구를 사용하는 유형일 수 있다. 대안적으로 상기 틸트 센서는 자이로스코프 유형일 수 있다. 상기 카메라와 상기 틸트 센서들의 신호들은 움직임 신호를 생성하기 위하여 결합될 수 있다.

바람직한 실시예에 의한 상기 전화(1)는 본 문서 전반에 걸쳐 네비게이션 모드 및 고정 모드로 지칭되는, 사용자 입력을 생성하기 위하여 상기 전화의 움직임의 사용과 관련된 두개의 동작 모드들을 채택한다. 상기 네비게이션 모드로 설정되는 경우 상기 전화(1)의 움직임이 입력으로서 사용되고, 이미지를 표시하는 경우, 디스플레이 뷰는 잡는 손의 움직임을 따라 자동으로 스크롤, 줌 및 회전된다. 상기 네비게이션 모드는 좌측 소프트키(9) "네비게이트"를 누름으로써 활성화된다. 따라서, 상기 네비게이션 모드는 활성화되고 좌측 소프트키(9)의 기능은 "고정됨"으로 변경된다. 좌측 소프트키 "고정됨"을 다시 누름으로써 상기 고정 모드로 다시 설정되는 경우, 상기 디스플레이 뷰는 정지하게 되고 더 이상 손의 움직임을 따르지 않는다.

도 3은 상기 디스플레이(3)상의 이미지를 네비게이션하기 위하여 상기 전화(1)가 회전되거나 병진되는 상대적인 방위축들을 도시한 것이다. 본 문서 전반에 걸쳐, 축(40)은 Y-축으로 지칭될 것이고, Y-축의 방향으로의 상기 전화의 움직임은 바람직한 실시예에서 Y-축으로 이미지들을 스크롤하는데 사용된다. 유사하게 축(41)은 X-축으로 지칭될 것이고, X-축의 방향으로의 상기 전화의 움직임은 바람직한 실시예에서 X-축 방향으로 이미지들을 스크롤하는데 사용된다. Z-축(42)을 따라 측정된 카메라 방향의 움직임은 바람직한 실시예에서 상기 디스플레이(3)상에 표시된 이미지들의 줌 배율을 제어하는데 사용된다. Z-축에 대한 회전은 상기 디스플레이(3)상에 표시된 이미지들을 회전시키는데 사용된다. 이들이 X-축, Y-축 및 Z-축에 따른 이동들에 할당된 바람직한 기능들일 지라도, 상기 축들의 방향으로의 이동 또는 상기 축들에 대한 회전 이동에 어떤 다른 기능도 할당될 수 있다.

상기 디스플레이의 스크롤, 줌 및 회전이 상기 장치의 이동을 따르는 동안, 스크롤/줌/회전의 양 뿐만 아니라 스크롤/줌/회전의 비율은 위치 변경의 정확한 양을 따를 필요는 없고 반전될 수 있다. 하기에 논의되는 바와 같이, 본 발명의 제어 소프트웨어는 상기 디스플레이상에 편리한 효과를 제공하기 위하여 상기 전화의 이동을 평활화할 수 있다.

도 3.1 내지 도 3.13은 이미지들을 스크롤, 줌 및 회전시키기 위한 상기 전화(1)의 동작의 개요를 도시한 것이다.

도 3.1을 참조하면, 램(17a)에 저장된 호수, 다리 및 산꼭대기를 포함하는 휴일 스냅샷의 고해상도 이미지가 디스플레이(3)상에 보기 위해 표시된다. 상기 디스플레이(3)는 너무 작아서 상기 이미지내의 모든 상세한 부분들을 편리하게 감상하기에 충분한 크기로 전체 이미지를 보여줄 수 없다. 사용자는 네비게이션 모드로 들어가기 위하여 좌측 소프트키(9) "네비게이트"를 누른다. 상기 전화는 네비게이션 모드를 활성화하고 좌측 소프트키(9)상의 라벨을 "고정됨"으로 변경한다. 도 3.2에서, 상기 디스플레이(3)가 확대되는 방식으로(도 3.3) 다리를 지닌 이미지의 중앙부를 보여주도록 오퍼레이터의 손이 상기 뷰를 확대하기 위하여 화살표(42')의 방향으로 Z-축(42)을 따라 상기 전화(1)를 움직이는 경우 상기 네비게이션 프로세스가 시작된다. 상기 전화를 화살표(40') 방향으로 Y-축(40)을 따라 움직임으로써 상기 디스플레이(3)는 상기 이미지들을 위로 스크롤하여 다리 위의 산꼭대기가 보여질 수 있다(도 3.5).

도 3.6에서 휴일 스냅샷은 세로 방향 방위로 표시되고 수평 위치에서 상기 전화를 가지고 단지 적합하게 보여질 수 있다. 사용자는 상기 이미지가 상기 디스플레이(3)에 대해 가로 방향 위치에서 표시되도록 직립 위치에서 상기 전화로 상기 이미지를 보기를 원한다. 사용자는 네비게이션 모드를 활성화하기 위하여 좌측 소프트키(9) "네비게이트"를 누르고 상기 전화를 시계 반대 방향으로 반바퀴 회전시킨다(도 3.7). 상기 전화(1)의 이동은 상기 카메라(35)에 의해 캡처된 일련의 변경되는 이미지들을 생성하는데, 상기 전화상의 소프트웨어는 그것으로부터 움직임 신호를 획득한다. Z-축에 대한 회전 이동의 검출시 상기 전화상의 소프트웨어는 표시된 이미지를 반대 방향으로 회전시키고, 사용자가 시계 반대 방향으로의 반바퀴 회전을 완료한 경우 상기 소프트웨어는 상기 이미지를 시계 방향으로 반바퀴 회전시켜, 사용자는 직립 위치에서 상기 전화로 상기 이미지를 편리하게 볼 수 있다. 따라서 상기 이미지는 상기 전화(1) 장치가 위치하는 고정 좌표 시스템에 대해 정적(static)이다.

따라서 상기 전화(1)의 움직임에 대한 응답에 대한 설정들은 사용자가 상기뷰를 확대창(디스플레이(3))이 이동되는 정적 이미지의 뷰로서 인식하는 방식으로 설정될 수 있다.

도 3.8은 그래픽 사용자 인터페이스가 상기 장치에게 명령하는데 사용되는 모드에서 상기 전화의 디스플레이(3)를 도시한 것이다. 스크롤가능한 표를 포함하는 창(70)이 상기 디스플레이(3)상에 표시된다. 스크롤 막대들(71 및 72)은 각각 상기 표의 우측 및 하부에 표시된다. 커서(73)는 상기 전화를 X-축 및 Y-축의 방향 으로 이동시킴으로써 상기 디스플레이상에서 이동될 수 있다. 좌측 소프트키(9) "좌측-클릭"은 커서(73)에 의해 표시된 객체와 관련된 주 기능을 선택하기 위하여, 많은 윈도 기반 그래픽 사용자 인터페이스들로부터 알려져 있는 좌측 마우스 버튼과 동일한 기능을 지닌다. 상기 좌측 소프트키(9)를 클릭, 더블 클릭 또는 아래로 홀딩함으로써. 우측 소프트키(9) "우측-클릭"은 또한 상기 커서(73)에 의해 표시되는 객체와 관련된 보조 기능들을 선택하기 위하여, 많은 윈도 기반 그래픽 사용자 인터페이스들로부터 알려져 있는 우측 마우스 버튼과 동일한 기능을 지닌다. 상기 "좌측 클릭" 및 "우측 클릭"을 상기 전화의 다른 키들에 할당하는 것이 가능하지만 컴퓨터 마우스의 키들에 대한 것과 같은 유사한 레이아웃을 사용하는 것은 사용자 수락을 용이하게 할 수 있다.

예 1: 사용자는 컬럼 E를 보기 위하여 상기 표를 우측으로 스크롤하기를 원한다. 좌측 소프트키(9) "좌측-클릭"을 누른채 유지하고 상기 전화를 X-축을 따라 우측으로 이동시킴으로써 상기 표는 도 3.9에 도시된 바와 같이 커서로 우측으로 드래그함으로써 스크롤된다.

예 2: 사용자는 창(70)의 크기를 조정하기를 원한다. 커서(73)를 상기 창(70)의 상부 막대상에 위치시킨 후 그리고 상기 좌측 소프트키(9) "좌측-클릭"을 홀딩하고 있는 동안 Z-축의 방향으로의 상기 전화(1)의 이동은 상기 창(70)의 크기를 조정한다. 상기 전화를 사용자쪽으로 이동시키는 것은 도 3.10에 도시된 바와 같이 상기 창을 확대하고 사용자로부터 떨어져 이동시키는 것은 상기 창의 크기를 감소시킨다(미도시).

예 3: 사용자는 이미지 편집 프로그램에서 이미지의 일부를 이동시키기를 원한다. 이동될 이미지의 부분은 상당한 크기의 박스(65)로 표시된다. 상기 좌측 소프트키(9) "좌측-클릭"을 아래로 홀딩하고 상기 전화를 X-축 및 Y-축에 대해 회전시킴으로써 상기 마우스를 이동시키는 것은 상기 박스의 크기를 조정한다(도 3.14). 상기 박스(65)의 크기를 조정한 후 상기 좌측 소프트키(9)는 해제되고 상기 커서(73)는 자유롭게 이동될 수 있다. 상기 박스가 원하는 위치로 이동될 때까지 Y-축 및/또는 X-축에 대해 상기 전화를 회전시키면서 상기 커서(71)를 박스(65)에 배치시키고 좌측 소프트키(9) "좌측-클릭"을 아래로 홀딩함으로써 상기 박스는 원하는 위치로 끌어놓기될 수 있다. 상기 좌측 소프트키(9)를 해제함으로써 상기 박스는 내려놓아질 수 있고 상기 커서(73)는 다시 자유롭게 이동할 수 있다. 따라서, 상기 박스내의 이미지의 일부는 원래의 위치로부터 잘려져 새로운 위치로 붙여진다.

동일한 방식으로 텍스트 편집 프로그램에서의 어떤 객체 예를 들어 텍스트 또는 스프레드시트에서의 숫자들/텍스트는 상기 좌측 소프트키로 표시되고, 크기 조정되며 "클릭과 드래그"로 끌어놓기될 수 있다.

상기 전화를 이동시키고 상기 소프트키들을 누름으로써 수행되는 가장 일반적인 "제스처들"은 다음과 같다:

- 포인트(커서를 상기 그래픽 사용자 인터페이스의 객체상에 위치시키는 것),

- 좌측-클릭(좌측 소프트키를 누르고 놓는 것),

- 커서가 위치한 객체를 활성화하기 위한 더블-클릭(신속하게 연속적으로 소프트키를 두번 누르고 놓는 것),

- 콘텍스트-감응 메뉴를 호출하기 위한 우측-클릭(우측 소프트키를 누르고 놓는 것),

- 객체들을 이동시키거나 크기 조정하기 위한 드래그(커서를 이동시키기 위하여 전화를 움직이면서 좌측 소프트키를 아래로 홀딩하는 것).

도 3.11 내지 도 3.13은 이미지의 확대된 부분의 조작에 관한 다른 방법을 도시한 것이다. 도 3.11은 몇몇 진보된 유형의 이동 전화들의 이미지를 지닌 디스플레이(3)를 도시한 것이다. 확대창(103)은 상기 이미지의 선택된 부분에서의 상세를 보기 위한 가능성 및 양호한 개관 양자를 지닌 뷰를 사용자에게 허용하기 위하여 상기 이미지의 일부를 확대한다. 상기 확대창(103)을 원하는 위치에 위치시키기 위하여(도 3.13) 상기 전화를 화살표 41' 및/또는 화살표 40'의 방향으로 이동시키면서(도 3.12), 상기 좌측 소프트키(9) "네비게이트"를 아래로 홀딩함으로써 상기 확대창(103)이 상기 디스플레이(3)상에서 이동될 수 있다. 상기 확대창의 확대율은 Z-축(미도시)의 방향으로 상기 전화(1)를 이동시킴으로써 변경될 수 있다.

도 3.16은 텍스트를 입력하기 위한 애플리케이션의 형태로 본 발명의 사용의 다른 예를 도시한 것이다. 상기 디스플레이의 상부에 이미 입력된 문자들의 스트링이 표시된다. 입력될 수 있는 한 세트의 문자들, 본 예에서 알파벳이 상기 디스플레이의 상부 아래에 표시된다. 다른 문자 세트들은 숫자 세트 또는 특정 부호 세트 등을 포함할 수 있다.

상기 좌측 소프트키(9) "유형" 및 상기 우측 소프트키(9) "옵션"의 기능은 상기 디스플레이의 하부에 표시된다. 상기 문자 세트의 문자들 중 하나는 굵은 프린트로 표시된다. 상기 전화를 Y-축(40)에 대해 회전시킴으로써 상기 표시는 좌측 또는 우측으로 이동한다. 상기 전화를 X-축(41)에 대해 회전시킴으로써 상기 표시는 상방 및 하방으로 이동한다. 상기 표시된 문자는 좌측 소프트키(9) "유형"을 누름으로써 문자들의 스트링에 추가된다.

상기 우측 소프트키 "옵션"을 누름으로써 선택가능한 메뉴 항목들의 스크롤가능한 목록이 표시되는데(미도시), 선택가능한 메뉴 항목들은 "마지막 문자 삭제", "스크린 클리어", "숫자 문자 세트", "심볼 문자 세트" 및 "나감"을 포함하고, 상기 메뉴 항목들중 하나는 반전 프린트로 표시된다. 상기 목록은 상기 전화를 Z-축(41)에 대해 회전시킴으로써 스크롤될 수 있고, 상기 표시된 메뉴 항목은 상기 좌측 소프트키(9) "선택"을 누름으로써 선택된다.

도 3.17은 보표(69)에 음표들을 입력하기 위한 애플리케이션의 형태로 본 발명의 사용의 다른 예를 도시한 것이다. 음표가 입력될 위치를 나타내는데 커서(73)(본 애플리케이션을 위해 모양이 십자가로 변경됨)가 사용된다. 상기 전화를 Y-축(40)에 대해 회전시킴으로써 상기 커서는 좌측 또는 우측으로 이동될 수 있다. 상기 전화를 X-축(41)에 대해 회전시킴으로써 상기 커서는 상방 및 하방으로 이동할 수 있다.

상기 커서는 상기 보표에서 음표가 입력될 위치 위에 위치하고, 높은 음조는 상기 보표에서 더 높게 배치되고 낮은 음조는 상기 보표에서 더 낮게 위치한다. 음 조는 상기 좌측 소프트키(9) "유형"을 누름으로써 입력된다. 음표를 타이핑한 후 상기 애플리케이션은 상기 보표와 상기 소프트키들에 대한 라벨들 사이에 텍스트 "길이? 1=1 2=½ 4=¼ 8=⅛"을 표시함으로써 상기 음표의 길이를 입력하기 위해 프롬프트한다. 상기 음표 길이는 원하는 음표 길이와 관련된 값을 지닌 영숫자 키를 누름으로써 입력된다.

상기 우측 소프트키 "옵션"을 누름으로써 선택가능한 메뉴 항목들의 스크롤가능한 목록이 표시되는데(미도시), 선택가능한 메뉴 항목들은 "마지막 음표 삭제", "보표 삭제", "특정 음표 입력" 및 "나감"을 포함하고, 상기 메뉴 항목들중 하나는 반전 프린트로 표시된다. 상기 목록은 상기 전화를 X-축(41)에 대해 회전시킴으로써 스크롤될 수 있고, 상기 표시된 메뉴 항목은 상기 좌측 소프트키(9) "선택"을 누름으로써 선택된다.

도 3.18은 미로 게임을 시뮬레이션하는 애플리케이션의 형태로 본 발명의 사용의 다른 예를 도시한 것이다. 플레이어(핸드-헬드 장치의 사용자)는 가상 공(59)이 떨어질 수 있는 복수의 가상 개구부들(58)을 통과하는 가상 플레잉 표면상에 가상 벽들(57)에 의해 형성된 가상 미로를 통해 가상 공(59)을 안내하려고 시도한다.

상기 애플리케이션은 수평 평면을 벗어난 실제 플레잉 표면을 틸팅하는 것이 실제 공에 대해 가지는 중력에 의해 야기되는 영향을 시뮬레이션한다. 예를 들어 상기 가상 공은 실제 플레잉 표면이 수평 평면을 벗어나 틸팅되는 경우 상기 디스플레이(3)의 하부로 구르기 시작한다. 또한 실제 개구부를 통과하는 실제 공에 대한 중력의 영향은 상기 애플리케이션에 의해 시뮬레이션된다. 예를 들어 상기 가상 공은 그것이 가상 개구부를 통과할 때 상기 가상 개구부를 통해 떨어진다.

상기 게임의 시작시, 상기 디스플레이는 수평적으로 또는 사용자가 상기 디스플레이의 가상 "수평" 위치를 교정하기 위하여 참조 방위로서 적합한 것으로 여기는 어떤 다른 방위로 유지된다. 상기 가상 플레잉 표면상의 가상 공의 이동은 상기 전화를 Y-축(40) 및/또는 X-축에 대해 회전시킴으로써 상기 전화를 수평 평면을 벗어나게 그리고 수평 평면안으로 되돌려 이동시킴으로써 제어된다. 상기 회전 이동은 상기 카메라에 의해 캡처된 연속적인 이미지들간의 변경으로부터 검출되고 상기 가상 공의 속도 및 구르는 방향의 변경으로 변환된다.

도 3.19는 다른 컴퓨터 게임, 본 예에서 자동차 경주 시뮬레이션을 제어하기 위한 애플리케이션의 형태로 본 발명의 사용의 다른 예를 도시한 것이다. 플레이어(핸드-헬드 장치의 사용자)는 자동차를 가능한 한 빠르게 경주 코스 주위로 "운전"하려고 한다. 상기 애플리케이션은 플레이어가 조정, 브레이킹 및 연료 공급 기능들을 제어하도록 허용한다. 경주 코스상의 가상의 뷰는 상기 디스플레이의 주된 콘텐트이지만, 도 3.19에 도시되지 않는다. 상기 디스플레이는 핸들 및 백미러들을 더 보여준다. 경주는 좌측 소프트키(9) "실행"을 더블 클릭함으로써 시작된다. 속도 및 방향에 대한 제어 설정은 교정되고 현 위치 및 상기 전화(1)의 방위에 대해 0으로 설정된다. 가청 시작 신호후에 운전자는 표시된 경주 코스를 따라가는 것을 시도하는 것으로 가정된다. 상기 "자동차"는 상기 전화를 Z-축(42)에 대해 회전시킴으로써 조정된다. 상기 전화를 Z-축에 대해 교정된 위치에서 시계 방향으로 회전시키는 것은 상기 "자동차"를 우측으로 돌게 한다. 상기 전화를 상기 교정된 방위 에서 더 회전시키는 것은 상기 "자동차"를 더 급격하게 돌게 하고 그 반대도 마찬가지이다. 유사하게, 상기 전화를 교정된 위치에서 Z-축에 대해 시계 반대 방향으로 회전시키는 것은 상기 "자동차"를 좌측으로 돌게 한다. 상기 "자동차"의 속도는 상기 전화(1)를 X-축(41)에 대해 틸팅함으로써 제어된다. 상기 전화(1)를 교정된 위치에서 한 방향으로 회전시키는 것은 "연료"를 제공하는데 사용된다. 상기 전화(1)를 교정된 방위에서 추가로 회전시키는 것은 "연료"의 양을 증가시키고 그 반대도 마찬가지이다. 상기 자동차에 공급되는 브레이킹의 양은 상기 전화(1)를 교정된 위치에서 반대 방향으로 회전시킴으로써 유사하게 제어된다. 사용자는 "연료"를 제공하는데 X-축에 대한 어떤 회전 방향이 설정되는지를 선택할 수 있는데, 상기 브레이킹 방향은 항상 반대이다. 유사한 방식으로 제어될 수 있는 하지만 더 많은 움직임/제어 축들을 사용하는 다른 컴퓨터 게임들은 오토바이 경주 및 헬리콥터 비행을 포함한다. 오토바이 경주에 대해, 매우 사실적인 경험을 생성하기 위하여, 상기 축들 중 하나에 대한 움직임과 관련하여 인자 균형이 포함될 수 있는데, 예를 들어 조정 바 회전이 Z-축에 대한 회전에 연결되고, 연료 제공 및 브레이킹은 X-축에 대한 회전에 연결되며 균형은 X-축을 따른 병진 움직임에 연결된다. 게임을 강화하기 위하여 라우드스피커, 특히 핸즈프리 라우드스피커를 통해 사운드를 생성하기 위한 이동 전화의 능력은 예를 들어, 모터 및/또는 프로펠러 사운드를 시뮬레이션하는데 사용된다. 이동 전화의 진동 기능(미도시)은 충격 및 충돌과 관련하여 피드백을 제공하는데 사용될 수 있다.

도 3.20은 전화의 음악 플레이어 기능의 사운드 설정을 제어하기 위한 애플 리케이션의 형태로 본 발명의 사용의 다른 예를 도시한 것이다. 상기 애플리케이션은 사용자가 음량, 저음 및 고음을 제어하도록 허용한다. 상기 애플리케이션은 상기 디스플레이(3)상에 음량 버튼, 저음 버튼 및 고음 버튼을 표시한다. 조작될 버튼은 (도 3.20에서 "음량" 버튼에 대해 표시된 바와 같이) 더 두꺼운 라인으로 표시된다. 상기 표시는 상기 전화를 Y-축(40)에 대해 회전시킴으로써 다른 버튼들로 이동될 수 있다. 상기 표시된 버튼은 상기 전화를 Z-축(42)에 대해 회전시키는 동안 좌측 소프트키(9) "제어"를 아래로 홀딩함으로써 조작된다. 상기 전화의 시계 방향 회전은 관련된 매개 변수의 증가된 설정을 초래하고, 상기 전화의 시계 반대 방향 회전은 관련된 매개 변수의 감소된 설정을 초래한다. 상기 애플리케이션은 우측 소프트키(9) "나감"을 누름으로써 종료된다. 대안적으로, 상기 디스플레이는 제어될 매개 변수들 각각에 대한 슬라이드 제어 손잡이들을 표시한다(미도시). 조작될 손잡이는 더 두꺼운 라인 두께로 표시된다. 상기 표시는 상기 전화를 Y-축(40)에 대해 회전시킴으로써 다른 손잡이들로 이동될 수 있다. 상기 표시된 손잡이는 상기 전화를 Z-축(42)의 방향으로 이동하는 동안 좌측 소프트키(9) "제어"를 아래로 홀딩함으로써 조작된다. 상기 디스플레이(3)가 면하고 있는 방향으로 상기 전화를 이동하는 것은 관련된 매개 변수 설정을 증가시키고, 상기 전화를 반대 방향으로 이동하는 것은 관련된 매개 변수의 감소된 설정을 초래한다.

본 발명의 사용의 다른 예는 PC(미도시)와 같은 다른 단말기와 관련된다. 상기 전화의 움직임 신호는 객체의 이동을 제어하기 위하여 PC로 전송된다. 상기 객체는 상기 PC에 연결된 스크린상에 표시된 3차원 객체일 수 있고, 상기 전화의 방 위 변경들은 표시된 객체의 방위를 변경하는데 사용된다. 상기 스크린상의 객체의 방위는 상기 전화의 방위와 완전하게 동기화될 수 있다. 상대적인 위치의 초기 교정 이후에, 예를 들어 상기 전화가 똑바로 선 경우, 표시된 객체도 똑바로 서 있게 된다. 예를 들어 제품을 표시하기 위하여, 상기 제품은 큰 스크린상에 객체로서 표시될 수 있다. 상기 객체의 방위를 변경하기 위하여 사용자는 상기 전화를 회전시킴으로써 상기 전화의 방위를 변경하고, 상기 PC는 그것이 상기 전화로부터 수신하는 신호에 응답하여 동일한 방식으로 표시된 객체를 회전시킨다.

다른 단말기, 즉 워크스테이션 또는 PC와 함께 상기 전화를 사용하는 다른 예는 예를 들어 캐드(CAD) 프로그램에 의해 스크린상에 표시된 가상 3차원 공간으로 이동하기 위한 것이다. 실제 3차원 세계에서 상기 전화의 이동은 상기 워크스테이션으로 송신된 신호에 포함되고 상기 PC 또는 워크스테이션은 상기 신호를 상기 스크린상에 표시된 "3차원 공간"에서 뷰잉 위치의 움직임으로 변환한다. 상기 전화의 방위의 변경은 상기 워크스테이션으로 송신되고 상기 스크린상에 표시된 "3차원 공간"에서 뷰잉 방향의 변경으로 변환되는 신호에 또한 포함된다. 따라서, 사용자는 상기 전화를 홀딩하거나 휴대하는 동안 실제 세계에서 주위를 걸어다님으로써 가상 룸을 통해 "걸기"를 행할 수 있고, 상기 전화를 원하는 뷰잉 방향에서 가리킴으로써 뷰잉 방향을 변경할 수 있다. 이러한 방식의 사용을 용이하게 하기 위하여, 본 발명은 다른 종류의 헤드기어에 장착되거나 헬멧에 포함되는 소형 장치에 포함될 수 있어서, 뷰잉 방향은 원하는 뷰 방향으로 사용자가 그/그녀의 머리를 돌림으로써 변경될 수 있다.

상기 뷰잉 위치와 상기 뷰잉 방향을 제어하는 방법은 가상 세계에서 생성된 룸 또는 어떤 다른 장소를 통해 이동하고 관찰하기 위하여, 스크린상에 가상 3차원 공간을 표시하는 컴퓨터 게임들 및 어떤 다른 소프트웨어 애플리케이션들에 대해 동등하게 사용될 수 있다. 이러한 제어 방법의 사용의 다른 예는 안내하는, 즉 사용자에게 가상 경로를 따르라고 명령하고 사용자가 실제로 상기 경로를 이동하는 경우 움직임 신호를 검사하는 게임 애플리케이션이다. 이러한 게임들은 스포츠 그라운드와 같은 적합한 개방된 공간에서 대화식 이동 전화들을 지닌 일 그룹의 사용자들에 의해 사용될 수 있다.

도 4는 도 3.1 내지 도 3.7을 참조하여 설명된 바와 같은 이미지의 조작에 대한 소프트웨어 흐름도를 개략적으로 나타낸 것이다. 시작(80)에서부터 종료(98)까지의 흐름은 프로세서(18)의 표준 폴링 프로세스에서 초당 여러번 수행된다. 블록 82에서의 초기 단계에서, 현재 뷰 설정이 표시된다. 좌측 소프트키(9) 위의 라벨은 블록 84에서 "네비게이션"으로 설정된다. 상기 좌측 소프트키(9)의 상태는 블록 86에서 검사된다. 좌측 소프트키(9)가 눌러지는 경우, 시스템은 블록 88에서 네비게이션 모드로 설정되고 좌측 소프트키 위의 라벨은 "고정됨"으로 변경된다.

블록 90에서 상기 카메라 이미지 및 자동 포커스 설정들이 획득되고, 저장되며 이전의 독출치들과 비교된다. 이미지 또는 자동 포커스 설정에서의 변경이 블록 92에서 검출되는 경우, 상기 프로그램은 블록 94에서 변경들로부터 상기 전화(1)의 이동을 획득하고 새로운 뷰 설정들, 즉 줌 배율, 회전각 및 표시될 이미지의 부분을 계산한다. 그것은 또한 디스플레이 제어기(31)에게 새로운 뷰를 표시하기 위하 여 디스플레이(3)를 리프레시하라고 명령하고 그것은 현재의 카메라 이미지를 상기 프로세스의 새로운 반복에서의 비교에 대한 기준으로서 저장한다.

블록 96에서 상기 좌측 소프트키(9)의 상태가 검사되고 그것이 눌러진 경우 상기 프로세스는 상기 프로그램이 다시 폴링될 때까지 블록 98에서 종료된다. 상기 좌측 소프트키(9)에 대한 검사가 부정적인 경우, 상기 프로그램은 단계 90으로 가고 상기 프로세스는 자체적으로 반복된다.

상기 프로그램은 블록 94에서 카메라 이미지 및/또는 자동 포커스 설정에서의 변경에 응답하여 새로운 뷰 설정을 계산하기 위하여 상이한 응답 곡선들로 설정될 수 있다. 미세 또는 거친 응답 모드들이 오퍼레이터에 의해 설정될 수 있거나 상기 시스템이 네비게이션 모드에 있는 동안 동적으로 변경될 수 있다. 미세 응답을 통해, 상기 디스플레이 뷰는 상기 전화의 이동에 응답하여 비교적 느린 속도로 변경된다. 거친 응답을 통해, 상기 디스플레이 뷰는 상기 전화의 이동에 응답하여 신속히 변경된다. 상기 응답은 또한 사용자 선호도에 적응하도록 반전될 수 있다.

상기 전화(1)의 소정 유형의 움직임과 관련된 기능이 설정될 수 있다. 따라서, 사용자는 예를 들어 커서(73)가 X-축에 대한 회전에 의해 상방 및 하방으로 이동될 수 있도록 그리고 Z-축에 대한 회전에 의해 좌측 및 우측으로 이동될 수 있도록 상기 프로그램을 설정할 수 있다. 상기 전화(1)의 소정 유형의 움직임은 사운드 설정(에를 들어 음량 및 밸런스) 및 디스플레이 설정(예를 들어 밝기, 컬러 밸런스 및 콘트라스트)와 같은, 상기 디스플레이(3)와 관련되지 않은 기능과 관련될 수 있다.

도 5 및 도 6은 커뮤니케이터(101)의 형태인 본 발명에 의한 핸드-헬드 장치의 대안적인 바람직한 실시예를 도시한 것이다. 상기 커뮤니케이터(101)는 더 큰 디스플레이(103) 및 더 큰 키보드(107)를 가지지만 상기 이동 전화(1)와 동일한 방법으로 기본적으로 형성된다. 카메라(135)(렌즈(136)만이 도시됨)는 상기 커뮤니케이터의 뒤/바닥에 장착되고 상기 전화(1)내의 카메라와 동일한 기능을 지닌다. 또한 내부 하드웨어는 상기 전화(1)와 동일한 방법으로 형성되지만 증가된 처리 전력과 더 큰 메모리를 지닌다. 상기 커뮤니케이터(101)의 X-축(141), Y-축(140) 및 Z-축(142)의 방향으로의 이동 또는 상기 축들에 대한 이동은 상기 전화(1)에서와 동일한 기능을 지닌다.

본 발명이 설명을 위해 상세히 설명되었을지라도, 이러한 상세는 단지 상기 목적을 위한 것이고, 본 발명의 범위를 벗어남없이 당업자에 의해 변경들이 본 발명에서 행해질 수 있다는 것은 이해된다.

따라서, 상기 장치들 및 방법들의 바람직한 실시예들이 그들이 개발된 환경을 참조하여 설명되었을지라도, 그들은 단지 본 발명의 원리를 설명하기 위한 것이다. 다른 실시예들 및 구성들이 첨부된 청구항들의 범위를 벗어나지 않고 안출될 수 있다.

Claims

핸드-헬드 장치에 있어서,

프로세서;

디스플레이;

동영상 또는 정지 이미지들을 캡처하기 위한 디지털 카메라;

상기 디스플레이상에 상기 디지털 카메라에 의해 캡처된 정지 이미지들 또는 동영상을 프리젠테이션하기 위한 수단;

상기 카메라로부터의 신호를 상기 핸드-헬드 장치의 움직임을 나타내는 움직임 신호로 변환하는 수단; 및

상기 핸드-헬드 장치의 움직임이 상기 핸드-헬드 장치의 획득된 움직임 신호를 통해 상기 핸드-헬드 장치의 동작을 제어하기 위한 사용자 입력으로서 사용되는, 사용자 인터페이스를 포함하는 것을 특징으로 하는 핸드-헬드 장치.
삭제
삭제
제1항에 있어서, 상기 핸드-헬드 장치의 움직임에 대응하는 방식으로 상기 이미지들을 이동시킴으로써 상기 핸드-헬드 장치의 소정 유형의 움직임이 상기 디스플레이상에 적어도 부분적으로 표시된 이미지들을 조작하는데 사용되는 것을 특징으로 하는 핸드-헬드 장치.
제4항에 있어서, 상기 핸드-헬드 장치의 소정 유형의 움직임은 상기 디스플 레이상에 표시되는 이미지들을 이동, 및/또는 줌(zoom), 및/또는 확대/축소 및/또는 회전시키는데 사용되는 것을 특징으로 하는 핸드-헬드 장치.
제5항에 있어서, 상기 핸드-헬드 장치의 디스플레이의 평면에 평행한 움직임은 상기 디스플레이상에 표시된 이미지를 스크롤하는데 사용되고, 그리고/또는 상기 디스플레이의 평면에 수직한 움직임은 상기 디스플레이상에 표시된 이미지를 줌하는데 사용되며 그리고/또는 상기 핸드-헬드 장치의 회전 움직임은 상기 디스플레이상에 표시된 이미지를 회전시키는데 사용되는 것을 특징으로 하는 핸드-헬드 장치.
제4항 내지 제6항 중 어느 한 항에 있어서, 상기 이미지들은 상기 카메라에 의해 이전에 캡처된 이미지들인 것을 특징으로 하는 핸드-헬드 장치.
제4항 내지 제6항 중 어느 한 항에 있어서, 이미지의 이동은 상기 핸드-헬드 장치의 움직임에 관해 반전되는 것을 특징으로 하는 핸드-헬드 장치.
제1항, 제4항, 제5항 및 제6항 중 어느 한 항에 있어서, 상기 사용자 인터페이스는 그래픽 사용자 인터페이스를 포함하고, 상기 핸드-헬드 장치의 움직임은 상기 그래픽 사용자 인터페이스에 대한 입력으로서 사용되는 것을 특징으로 하는 핸드-헬드 장치.
제4항에 있어서, 상기 핸드-헬드 장치의 움직임 또는 반전된 움직임에 대응하는 방식으로 객체를 이동시킴으로써, 상기 핸드-헬드 장치의 움직임은 상기 그래픽 사용자 인터페이스에 의해 표시된 상기 객체를 조작하는데 사용되고, 상기 그래픽 사용자 인터페이스에 의해 표시된 객체는 아이콘, 대화 상자, 창, 메뉴 또는 포인터일 수 있는 것을 특징으로 하는 핸드-헬드 장치.
제9항에 있어서, 상기 핸드-헬드 장치의 소정 유형의 움직임은 상기 그래픽 사용자 인터페이스에 의해 표시된 객체들을 이동, 및/또는 줌, 및/또는 확대/축소 및/또는 회전시키는데 사용되는 것을 특징으로 하는 핸드-헬드 장치.
제11항에 있어서, 상기 핸드-헬드 장치의 디스플레이의 평면에 평행한 움직임은 상기 그래픽 사용자 인터페이스에 의해 표시된 객체를 스크롤하는데 사용되고, 그리고/또는 상기 디스플레이의 평면에 수직한 움직임은 상기 그래픽 사용자 인터페이스에 의해 표시된 객체를 줌하는데 사용되며 그리고/또는 상기 핸드-헬드 장치의 회전 움직임은 상기 그래픽 사용자 인터페이스에 의해 표시된 객체를 회전시키는데 사용되는 것을 특징으로 하는 핸드-헬드 장치.
제1항, 제4항, 제5항 및 제6항 중 어느 한 항에 있어서, 상기 디지털 카메라는 분리가능한 것을 특징으로 하는 핸드-헬드 장치.
제1항, 제4항, 제5항 및 제6항 중 어느 한 항에 있어서, 상기 디지털 카메라는 상기 핸드-헬드 장치에 대해 이동가능한 것을 특징으로 하는 핸드-헬드 장치.
제1항, 제4항, 제5항 및 제6항 중 어느 한 항에 있어서, 상기 카메라로부터의 신호를 움직임 신호로 변환하는 수단은 상기 카메라에 의해 캡처된 연속적인 이미지들 또는 연속적인 이미지들의 부분들간의 변경들로부터 상기 움직임 신호를 획득하는 것을 특징으로 하는 핸드-헬드 장치.
제1항, 제4항, 제5항 및 제6항 중 어느 한 항에 있어서, 상기 카메라는 자동 포커스 시스템을 지니고, 상기 자동 포커스 시스템의 포커싱 설정은 카메라 방향의 이동을 검출하는데 사용되는 것을 특징으로 하는 핸드-헬드 장치.
제1항, 제4항, 제5항 및 제6항 중 어느 한 항에 있어서, 적어도 하나의 키를 더 포함하고, 움직임 유형의 기능은 상기 적어도 하나의 키의 상태에 의존하는 것을 특징으로 하는 핸드-헬드 장치.
제1항, 제4항, 제5항 및 제6항 중 어느 한 항에 있어서, 상기 디스플레이에 수직한 축에 대한 상기 핸드-헬드 장치의 회전 움직임은, 상기 핸드-헬드 장치가 위치한 고정 좌표 시스템에 관해 상기 이미지 또는 객체가 정적(static)이 되는 방식으로, 상기 디스플레이에 대해 상기 이미지 또는 그래픽 사용자 인터페이스 객체의 역 회전 이동을 초래하는 것을 특징으로 하는 핸드-헬드 장치.
제1항, 제4항, 제5항 및 제6항 중 어느 한 항에 있어서, 상기 움직임 신호는 장치 설정을 조정하는데 사용되고, 상기 장치 설정은 사운드 설정 및 디스플레이 설정을 포함하는 것을 특징으로 하는 핸드-헬드 장치.
제9항에 있어서, 적어도 제1키 및 제2키를 지닌 키패드를 더 포함하고 상기 그래픽 사용자 인터페이스는 커서를 포함하며, 상기 핸드-헬드 장치의 움직임은 상기 커서를 상기 그래픽 사용자 인터페이스의 객체 위에 위치시키는데 사용되고 관련된 객체와 연관된 주 기능들은 상기 제1키를 누름으로써 활성화되며 관련된 객체와 연관된 보조 기능들은 상기 제2키를 누름으로써 활성화되는 것을 특징으로 하는 핸드-헬드 장치.
제20항에 있어서, 상기 제1키의 기능은 상기 그래픽 사용자 인터페이스의 객체들의 선택 및 활성화와 관련되고, 상기 제2키의 기능은 콘텍스트-감응 메뉴를 호출하는 것과 관련되는 것을 특징으로 하는 핸드-헬드 장치.
제21항에 있어서, 관련된 객체의 선택은 상기 제1키를 누르고 놓음으로써 수행되고, 관련된 객체의 활성화는 상기 제1키를 신속하게 연속적으로 두번 누르고 놓음으로써 수행되는 것을 특징으로 하는 핸드-헬드 장치.
제21항 또는 제22항에 있어서, 관련된 객체의 이동 또는 크기 조정은 상기 커서를 이동시키기 위하여 상기 핸드-헬드 장치를 움직이는 동안 상기 제1키를 아래로 홀딩함으로써 수행되는 것을 특징으로 하는 핸드-헬드 장치.
제20항에 있어서, 상기 제1키 및 상기 제2키는 소프트키들이고 상기 소프트키들의 현재 기능은 상기 디스플레이의 전용 필드들에 표시되는 것을 특징으로 하는 핸드-헬드 장치.
제24항에 있어서, 상기 제1키는 상기 디스플레이의 하부 가장자리에 근접한, 상기 디스플레이의 좌측, 상기 디스플레이 아래에 배치되고, 상기 제2키는 상기 디스플레이의 하부 가장자리에 근접한, 상기 디스플레이의 우측, 상기 디스플레이 아래에 배치되는 것을 특징으로 하는 핸드-헬드 장치.
제1항, 제4항, 제5항 및 제6항 중 어느 한 항에 있어서, 적어도 하나의 중력 기반 틸트 센서를 더 포함하고, 상기 적어도 하나의 틸트 센서로부터의 신호는 상기 움직임 신호를 생성하기 위하여 상기 카메라로부터의 신호와 공동으로 사용되는 것을 특징으로 하는 핸드-헬드 장치.
제26항에 있어서, 틸트 센서는 X-축과 관련되고 그리고/또는 틸트 센서는 Z-축과 관련되는 것을 특징으로 하는 핸드-헬드 장치.
제27항에 있어서, 상기 적어도 하나의 틸트 센서로부터의 신호는 중력 인력의 방향에 대해 상기 핸드-헬드 장치의 절대 방위를 결정하는데 사용되는 것을 특징으로 하는 핸드-헬드 장치.
제1항, 제4항, 제5항 및 제6항 중 어느 한 항에 있어서, 케이블, 적외선파 또는 무선 주파수파를 통해 상기 움직임 신호를 다른 단말기로 송신하기 위한 수단을 더 포함하는 것을 특징으로 하는 핸드-헬드 장치.
제29항에 의한 핸드-헬드 장치 및 2차원 스크린상에 가상 3차원 객체들을 표시할 수 있는 단말기를 포함하는 시스템으로서, 상기 단말기는 상기 핸드-헬드 장치로부터 수신된 신호들에 응답하여 상기 표시된 객체의 방위를 변경하는 수단을 포함하고, 상기 핸드-헬드 장치의 방위 변경은 상기 표시된 객체의 대응하는 방위 변경으로 변환되는 것을 특징으로 하는 시스템.
제30항에 있어서, 상기 핸드-헬드 장치의 위치 변경은 상기 표시된 객체의 위치 변경으로 변환되는 것을 특징으로 하는 시스템.
제29항에 의한 핸드-헬드 장치 및 2차원 스크린상에 가상 3차원 공간을 표시할 수 있는 단말기를 포함하는 시스템으로서, 상기 단말기는 상기 핸드-헬드 장치로부터 수신된 신호들에 응답하여 상기 가상 3차원 공간에서 뷰잉 위치를 변경하는 수단을 포함하고, 상기 핸드-헬드 장치의 위치 변경은 상기 뷰잉 위치의 대응하는 변경으로 변환되는 것을 특징으로 하는 시스템.
제30항에 있어서, 상기 핸드-헬드 장치의 방위 변경은 상기 가상 3차원 공간에서 상기 뷰잉 방향의 대응하는 변경으로 변환되는 것을 특징으로 하는 시스템.
프로세서, 사용자 인터페이스 및 동영상 또는 정지 이미지들을 캡처하기 위한 디지털 카메라를 지닌 핸드-헬드 장치에 대한 사용자 입력을 생성하기 위한 방법에 있어서,

카메라 신호를 획득하는 단계;

교대로 상기 카메라 신호를 사용하여 정지 이미지들 또는 동영상을 캡처하거나, 상기 카메라 신호로부터 상기 핸드-헬드 장치의 움직임을 결정하는 단계; 및

상기 핸드-헬드 장치의 결정된 움직임을 상기 사용자 인터페이스에 대한 입력으로서 사용하는 단계를 포함하는 것을 특징으로 하는 방법.
삭제
핸드-헬드 장치에 있어서,

프로세서, 상기 핸드-헬드 장치의 움직임을 감지하기 위한 수단, 디스플레이, 적어도 제1키 및 제2키를 지닌 키패드, 객체들과 커서를 지닌 그래픽 사용자 인터페이스 및 상기 핸드-헬드 장치의 감지된 움직임을 상기 커서를 상기 디스플레이상에서 이동시키기에 적합한 신호로 변환하기 위한 수단을 포함하는 것을 특징으로 하는 핸드-헬드 장치.
제36항에 있어서, 상기 핸드-헬드 장치의 움직임은 상기 그래픽 사용자 인터페이스의 객체상에 상기 커서를 위치시키는데 사용되고 상기 관련된 객체와 연관된 주 기능들은 상기 제1키를 누름으로써 활성화되고 상기 관련된 객체와 연관된 보조 기능들은 상기 제2키를 누름으로써 활성화되는 것을 특징으로 하는 핸드-헬드 장치.
제37항에 있어서, 상기 제1키의 기능은 상기 그래픽 사용자 인터페이스의 객체들의 선택 및 활성화와 관련되고, 상기 제2키의 기능은 콘텍스트-감응 메뉴를 호출하는 것과 관련되는 것을 특징으로 하는 핸드-헬드 장치.
제38항에 있어서, 상기 관련된 객체의 선택은 상기 제1키를 누르고 놓음으로써 수행되고, 상기 관련된 객체의 활성화는 상기 제1 키를 신속하게 연속적으로 두번 누르고 놓음으로써 수행되는 것을 특징으로 하는 핸드-헬드 장치.
제38항 또는 제39항에 있어서, 상기 관련된 객체의 이동 또는 크기 조정은 상기 커서 및 상기 커서와 일치하여 관련된 객체를 이동시키기 위하여 상기 핸드-헬드 장치를 움직이는 동안 상기 제1키를 아래로 홀딩함으로써 수행되는 것을 특징으로 하는 핸드-헬드 장치.
제36항 내지 제39항 중 어느 한 항에 있어서, 상기 제1키 및 상기 제2키는 소프트키들이고 상기 소프트키들의 현재 기능은 상기 디스플레이의 전용 필드들에 표시되는 것을 특징으로 하는 핸드-헬드 장치.
제41항에 있어서, 상기 제1키는 상기 디스플레이의 하부 가장자리에 근접한, 상기 디스플레이의 좌측, 상기 디스플레이 아래에 배치되고, 상기 제2키는 상기 디스플레이의 하부 가장자리에 근접한, 상기 디스플레이의 우측, 상기 디스플레이 아래에 배치되는 것을 특징으로 하는 핸드-헬드 장치.
제36항 내지 제39항 중 어느 한 항에 있어서, 상기 핸드-헬드 장치의 움직임을 상기 커서를 상기 디스플레이상에서 이동시키기에 적합한 신호로 변환하기 위한 수단은 틸트 센서 및/또는 이미지 캡처 장치 및/또는 가속도계를 포함하는 것을 특징으로 하는 핸드-헬드 장치.
제43항에 있어서, 상기 이미지 캡처 장치는 동영상 또는 정지 이미지 디지털 카메라인 것을 특징으로 하는 핸드-헬드 장치.
제36항 내지 제39항 중 어느 한 항에 있어서, 상기 카메라 및/또는 틸트 센서 및/또는 가속도계로부터의 신호를 상기 커서에 대한 위치 신호로 변환하는 수단을 더 포함하는 것을 특징으로 하는 핸드-헬드 장치.
제45항에 있어서, 상기 카메라로부터의 신호를 움직임 신호로 변환하기 위한 수단은 상기 카메라에 의해 캡처된 연속적인 이미지들 또는 연속적인 이미지들의 부분들간의 변경들로부터 상기 움직임 신호를 획득하는 것을 특징으로 하는 핸드-헬드 장치.
제44항에 있어서, 상기 카메라는 자동 포커스 시스템을 지니고, 상기 자동 포커스 시스템의 포커싱 설정은 카메라 방향의 이동을 검출하는데 사용되는 것을 특징으로 하는 핸드-헬드 장치.
제36항 내지 제39항 중 어느 한 항에 있어서, 상기 그래픽 사용자 인터페이스는 아이콘들, 대화 상자들, 창들, 메뉴들 및 포인터들 중 하나 이상의 객체 유형들을 포함하는 것을 특징으로 하는 핸드-헬드 장치.