KR20210002512A

KR20210002512A - 디바이스 동작 제어

Info

Publication number: KR20210002512A
Application number: KR1020207031364A
Authority: KR
Inventors: 마리아 프란시스카 존스
Original assignee: 마리아 프란시스카 존스
Priority date: 2018-03-29
Filing date: 2019-03-29
Publication date: 2021-01-08
Also published as: GB2572434A; ZA202100682B; GB201805269D0; JP2024056764A; WO2019186203A1; JP2021519977A; SG11202009628UA; EP3776160A1; CN112041804A

Abstract

디바이스는 복수의 독립적인 디스플레이 영역들에 정보를 디스플레이하기 위한 디스플레이 - 각각의 디스플레이 영역은 독립적으로 식별가능함 -; 모션 유형들의 식별들 및 하나 이상의 식별된 디스플레이 영역들에 디스플레이된 정보에 대해 수행될 대응하는 동작들을 포함하는 모션 유형 제어 데이터를 저장하기 위한 메모리; 디바이스의 모션을 검출하기 위한 모션 검출 배열; 학습 단계 동안 하나 이상의 식별된 디스플레이 영역들에 디스플레이된 정보에 대해 수행될 동작들을 식별하는 사용자 입력을 수신하기 위한 사용자 입력 배열; 및 학습 단계에서, 하나 이상의 식별된 디스플레이 영역들에 디스플레이된 정보에 대해 수행될 동작을 식별하는 사용자 입력이 수신될 때, 모션 검출 배열에 의해 검출된 모션으로부터 모션 유형을 식별하고, 모션 유형 제어 데이터에서 모션 유형을 식별하는 데이터와 대응하여 수신된 사용자 입력을 저장하고, 학습 단계에 이어서, 모션 검출 배열이 모션을 검출할 때, 모션 유형 제어 데이터를 사용하여 모션 유형을 식별하고, 대응하는 동작을 하나 이상의 식별된 디스플레이 영역들에 디스플레이된 정보에 대해 실행하도록 프로그래밍된 프로세서를 포함한다.

Description

디바이스 동작 제어

본 발명은 디바이스, 및 검출된 모션 유형들을 사용하여 디바이스를 제어하는 방법에 관한 것이다.

모바일 전화기들, 태블릿 컴퓨터 디바이스들 및 랩톱들과 같은 휴대용 및 이동가능 디바이스들이 널리 사용된다. 휴대용 디바이스들의 설계자들의 과제들은 가볍고, 배터리 효율적이고, 사용하기 편리한 장치를 설계하는 것이다. 사용 편의성의 한가지 측면은 사용자가 제어 커맨드들을 입력할 수 있는 편의성이다.

발명은 디바이스로서, 복수의 독립적인 디스플레이 영역들에 정보를 디스플레이하기 위한 디스플레이 - 각각의 디스플레이 영역은 독립적으로 식별가능함 -; 모션 유형들의 식별들 및 하나 이상의 식별된 디스플레이 영역들에 디스플레이된 정보에 대해 수행될 대응하는 동작들을 포함하는 모션 유형 제어 데이터를 저장하기 위한 메모리; 디바이스의 모션을 검출하기 위한 모션 검출 배열; 학습 단계 동안 하나 이상의 식별된 디스플레이 영역들에 디스플레이된 정보에 대해 수행될 동작들을 식별하는 사용자 입력을 수신하기 위한 사용자 입력 배열; 및 학습 단계에서, 하나 이상의 식별된 디스플레이 영역들에 디스플레이된 정보에 대해 수행될 동작을 식별하는 사용자 입력이 수신될 때, 모션 검출 배열에 의해 검출된 모션으로부터 모션 유형을 식별하고, 모션 유형 제어 데이터에서 모션 유형을 식별하는 데이터와 대응하여 수신된 사용자 입력을 저장하고, 학습 단계에 이어서, 모션 검출 배열이 모션을 검출할 때, 모션 유형 제어 데이터를 사용하여 모션 유형을 식별하고, 대응하는 동작을 하나 이상의 식별된 디스플레이 영역들에 디스플레이된 정보에 대해 실행하도록 프로그래밍된 프로세서를 포함하는 디바이스를 제공한다.

본 발명은 또한 디바이스의 모션을 검출하기 위한 모션 검출기 배열을 갖는 디바이스 상의 복수의 독립적인 디스플레이 영역들 내의 정보의 디스플레이를 제어하는 방법으로서, 각각의 디스플레이 영역은 독립적으로 식별가능하고, 방법은 학습 단계 동안, 하나 이상의 식별된 디스플레이 영역들에 디스플레이된 정보에 대해 수행될 동작을 식별하는 사용자 입력을 수신하는 단계; 모션 검출기 배열을 사용하여 디바이스의 모션을 검출하는 단계; 모션 검출 배열에 의해 검출된 모션으로부터 모션 유형을 식별하는 단계; 모션 유형 제어 데이터로서 모션 유형을 식별하는 데이터와 대응하여 수신된 사용자 입력을 저장하는 단계; 및 수신, 검출, 식별 및 저장 단계들을 반복하는 단계; 및 동작 단계에서, 모션 검출기 배열을 사용하여 디바이스의 모션을 검출하는 단계; 및 모션 유형 제어 데이터를 사용하여 모션 유형을 식별하고, 대응하는 동작을 하나 이상의 식별된 디스플레이 영역들에 디스플레이된 정보에 대해 실행하는 단계를 포함하는 방법을 제공한다.

본 발명은 또한, 디바이스로서, 모션 유형들의 식별들, 대응하는 제어 동작들 및 대응하는 제스처 유형 데이터를 포함하는 제어 데이터를 저장하기 위한 메모리; 디바이스의 모션을 검출하기 위한 모션 검출 배열; 제스처들을 검출하기 위한 제스처 검출 배열; 학습 단계 동안 제어 동작들을 식별하는 사용자 입력을 수신하기 위한 사용자 입력 배열; 및 학습 단계에서, 제어 동작을 식별하는 사용자 입력이 수신될 때, 모션 검출 배열에 의해 검출된 모션으로부터 모션 유형을 식별하고, 제어 데이터에서 모션 유형을 식별하는 데이터와 대응하여 수신된 사용자 입력을 저장하고, 대응하는 제스처 유형 데이터를 결정하며, 학습 단계에 이어서, 모션 검출 배열이 모션을 검출할 때, 제어 데이터를 사용하여 모션 유형을 식별하고, 대응하는 제어 동작을 실행하거나, 제스처 검출 배열이 제스처를 검출할 때, 제어 데이터를 사용하여 제스처 유형을 식별하고, 대응하는 제어 동작을 실행하도록 프로그래밍된 프로세서를 포함하는 디바이스를 제공한다.

도 1은 예시적인 핸드헬드 디바이스를 예시하는 개략도이다.
도 2는 예시적인 디바이스의 대안적인 디스플레이를 예시하는 개략도이다.
도 3은 예시적인 디바이스의 대안적인 디스플레이를 예시하는 개략도이다.
도 4는 예시적인 디바이스의 전자 컴포넌트들을 예시하는 개략도이다.
도 5는 예시적인 학습 단계를 예시하는 흐름도이다.
도 6은 예시적인 동작 단계를 예시하는 흐름도이다.

다음의 상세한 설명에서는, 그의 일부를 형성하고, 본 발명이 실시될 수 있는 특정 실시예들을 예시적으로 도시하는 첨부 도면들이 참조된다. 이러한 실시예들은 이 분야의 기술자들이 실시예들을 실시할 수 있게 하기 위해 충분히 상세하게 설명되며, 본 발명의 범위에서 벗어나지 않고서 다른 실시예들이 이용될 수 있고, 구조적, 논리적, 전기적 변경들이 이루어질 수 있다는 것이 이해되어야 한다. 본 발명의 그러한 실시예들은 단지 편리함을 위해, 그리고 사실상 2개 이상이 개시되는 경우에 본 출원의 범위를 어느 하나의 발명 또는 발명적 개념으로 자발적으로 제한하려는 의도 없이, 본 명세서에서 개별적으로 및/또는 집합적으로 "발명"이라는 용어로 지칭될 수 있다.

따라서, 이하의 설명은 제한된 의미로 간주되지 않아야 하며, 본 발명의 범위는 첨부된 청구항들 및 그들의 균등물들에 의해 정의된다.

이하의 실시예들에서, 유사한 컴포넌트들은 유사한 참조 번호들로 라벨링된다.

이하의 실시예들에서, 데이터 저장소 또는 메모리라는 용어는 임의의 컴퓨터 판독가능 저장 매체 및/또는 디바이스(또는 데이터 저장 매체들 및/또는 디바이스들의 집합)를 포함하도록 의도된다. 데이터 저장소들의 예들은 광 디스크들(예를 들어, CD-ROM, DVD-ROM 등), 자기 디스크들(예를 들어, 하드 디스크들, 플로피 디스크들 등), 메모리 회로들(예를 들어, 고체 상태 드라이브들, 랜덤 액세스 메모리(RAM) 등) 및/또는 이와 유사한 것을 포함하지만, 이들로 제한되지 않는다.

본 명세서에 설명된 기능들 또는 알고리즘들은 일 실시예에서 하드웨어, 소프트웨어 또는 소프트웨어와 하드웨어의 조합으로 구현된다. 소프트웨어는 메모리 또는 다른 유형의 저장 디바이스들과 같은 컴퓨터 판독가능한 캐리어 매체들 상에 저장된 컴퓨터 실행가능한 명령어들을 포함한다. 또한, 설명된 기능들은 소프트웨어, 하드웨어, 펌웨어 또는 이들의 임의의 조합일 수 있는 모듈들에 대응할 수 있다. 다수의 기능들이 원하는 대로 하나 이상의 모듈들에서 수행되며, 설명된 실시예들은 예들일 뿐이다. 소프트웨어는 디지털 신호 프로세서, ASIC, 마이크로프로세서, 또는 다른 유형의 프로세서 상에서 실행된다.

일부 실시예들은 2개 이상의 특정한 상호 접속된 하드웨어 모듈들 또는 디바이스들에서 모듈들 사이에서 또는 모듈들을 통해 통신되는 관련 제어 및 데이터 신호들을 이용하여 또는 주문형 집적 회로의 부분들로서 기능들을 구현한다. 따라서, 예시적인 프로세스 흐름은 소프트웨어, 펌웨어, 및 하드웨어 구현들에 적용가능하다.

일반화된 실시예는 디바이스로서, 복수의 독립적인 디스플레이 영역들에 정보를 디스플레이하기 위한 디스플레이 - 각각의 디스플레이 영역은 독립적으로 식별가능함 -; 모션 유형들의 식별들 및 하나 이상의 식별된 디스플레이 영역들에 디스플레이된 정보에 대해 수행될 대응하는 동작들을 포함하는 모션 유형 제어 데이터를 저장하기 위한 메모리; 디바이스의 모션을 검출하기 위한 모션 검출 배열; 학습 단계 동안 하나 이상의 식별된 디스플레이 영역들에 디스플레이된 정보에 대해 수행될 동작들을 식별하는 사용자 입력을 수신하기 위한 사용자 입력 배열; 및 학습 단계에서, 하나 이상의 식별된 디스플레이 영역들에 디스플레이된 정보에 대해 수행될 동작을 식별하는 사용자 입력이 수신될 때, 모션 검출 배열에 의해 검출된 모션으로부터 모션 유형을 식별하고, 모션 유형 제어 데이터에서 모션 유형을 식별하는 데이터와 대응하여 수신된 사용자 입력을 저장하고, 학습 단계에 이어서, 모션 검출 배열이 모션을 검출할 때, 모션 유형 제어 데이터를 사용하여 모션 유형을 식별하고, 대응하는 동작을 하나 이상의 식별된 디스플레이 영역들에 디스플레이된 정보에 대해 실행하도록 프로그래밍된 프로세서를 포함하는 디바이스를 제공한다.

디바이스의 사용자는 하나 이상의 식별된 디스플레이 영역들에 표시된 정보에 대해 수행될 동작들을 유발하기 위한 입력들로서 사용될 바람직한 모션 유형들에 대해 디바이스를 트레이닝할 수 있다. 이러한 방식으로, 사용자는 사용자가 하나 이상의 식별된 디스플레이 영역들에 디스플레이된 정보에 대해 수행될 특정 동작들에 대한 바람직한 모션 유형들을 선택하기 위해 디바이스의 특정한 식별된 디스플레이 영역들과 인터페이스하는 방식을 맞춤화할 수 있다. 모션 유형들의 식별들은 모션 데이터로부터 모션 유형을 식별하기 위해 검출된 모션 데이터와 매칭하기 위한 각각의 모션 유형에 대한 기록된 모션 데이터를 포함할 수 있다. 일 실시예에서, 모션 유형들 전부가 학습될 필요는 없으며, 일부는 미리 저장될 수 있다.

본 발명은 휴대용 디바이스에 적합하지만 그에 한정되지 않는다. 디바이스는 왕복, 회전 또는 흔들림 모션으로 이동될 수 있는 임의의 디바이스일 수 있다. 이러한 디바이스는 통상적으로 휴대가능하고 무선이지만, 간단히 이동가능하고 와이어에 의해 접속될 수 있다. 디바이스는 다른 장치의 일부일 수 있고, 따라서 사용 중에 제거가능하여, 디바이스를 제어하기 위해 흔들림, 회전 또는 왕복 모션이 사용자에 의해 실시되는 것을 가능하게 한다. 디바이스는 모바일 전화기, 태블릿 컴퓨터, 웨어러블 디바이스, 예컨대 스마트 워치 또는 개인 모니터 디바이스, 랩톱, 또는 기계 제어 디바이스를 포함할 수 있다.

하나 이상의 식별된 디스플레이 영역 내에 디스플레이된 정보에 대해 수행될 동작은 디스플레이의 하나 이상의 디스플레이 영역들 내의 디스플레이된 정보의 절단, 붙여넣기, 삽입 또는 삭제와 같은 디스플레이 영역 내의 정보에 대한 임의의 동작을 포함할 수 있다. 동작은 하나의 디스플레이 영역, 디스플레이 영역들의 서브세트 또는 디스플레이 영역들의 전부에 대한 동작으로 제한될 수 있다.

사용자가 제어 동작들의 식별 및 실행을 위해 사용할 수 있는 모션의 유형들은 예를 들어 직선 모션, 왕복 모션, 회전 모션, 요동 모션, 시소 모션, 스윙 모션 또는 진동 모션 중 임의의 것을 포함할 수 있다. '흔들림'의 변위 또는 진폭, '흔들림'의 주파수 또는 레이트 및/또는 '흔들림'의 속력/속도 또는 세기도 디바이스의 모션의 유형의 컴포넌트들일 수 있다. 모션 유형들은 단일 모션 유형 또는 모션 유형들의 조합, 예를 들어 병진 왕복 모션 및 회전 모션을 포함할 수 있고, 모션들은 다수의 방향들에서 이루어질 수 있다. 모션 임계치들이 설정될 수 있고, 따라서 모션 유형은 모션의 속력 또는 진폭이 임계치보다 높을 때만 모션 데이터로부터 식별된다. 이것은 잘못된 모션 유형 식별, 따라서 잘못된 제어 동작 실행을 방지한다. 모션은 모션들 또는 모션 유형들의 복잡한 혼합 또는 집합, 예를 들어 흔들림과 동시에 회전, 또는 모션들의 시퀀스, 예를 들어 흔들림에 이어지는 회전, 또는 한 방향으로 회전에 이어지는 다른 방향으로의 회전을 포함할 수 있다. 따라서, 모션들의 시퀀스는 동일한 모션 유형들 또는 상이한 모션 유형들의 시퀀스일 수 있다.

디바이스에 의한 모션 유형의 인식에서의 에러를 감소시키기 위해, 학습 단계 동안, 하나 이상의 식별된 디스플레이 영역들에 표시된 정보에 대해 수행될 동작을 식별하기 위한 사용자 입력이 수신된 후에, 디바이스는 사용자에게 모션 유형을 한 번보다 많이 수행하도록 요구할 수 있고, 따라서 모션은 한 번보다 많이 검출될 수 있고, 모션 패턴은 원하는 모션 패턴의 소정 형태의 평균이 모션 유형 제어 데이터에서 모션 유형을 식별하는 데이터로서 저장될 수 있도록 매번 기록될 수 있다. 사용자가 하나 이상의 식별된 디스플레이 영역들에 표시된 정보에 대해 수행될 동작에 대한 모션 유형이 되기를 원하는 기록된 모션의 이러한 평활화 또는 평균은 사용자가 하나 이상의 식별된 디스플레이 영역들에 디스플레이된 정보에 대한 동작을 유발하도록 의도하는 동작 단계에서 수신될 수 있는 모션 데이터에서의 편차를 프로세서가 학습하는 것을 돕는다. 모션 검출 배열로부터의 모션 데이터와 모션 유형 제어 데이터 내의 저장된 모션 데이터의 매칭에서의 에러들이 감소된다.

학습 단계에서, 사용자는 대응하는 동작들을 실행하는 데 사용될 원하는 모션 유형들의 시퀀스를 나타내는 사용자 입력들의 시퀀스를 입력할 수 있다. 따라서, 학습 단계에서, 사용자 입력이 수신되고, 이어서 모션 데이터가 하나 이상의 식별된 디스플레이 영역들에 디스플레이된 정보에 대해 수행될 복수의 제어 동작들에 대한 모션 유형 제어 데이터를 생성하기 위한 시리즈로서 쌍으로 입력될 수 있다.

학습 단계에서, 사용자 입력의 일부로서 하나 이상의 디스플레이 영역들을 식별하기 위해 하나 이상의 디스플레이 영역의 사용자 선택들이 수신될 수 있다. 하나 이상의 디스플레이 영역들의 사용자 선택들은 포인터 또는 터치 입력을 사용하여, 또는 간단히 식별자들에 의해 열거된 디스플레이 영역들의 리스트로부터 디스플레이 영역을 선택함으로써 이루어질 수 있다.

학습 단계에서, 메뉴가 사용자에게 디스플레이되어, 사용자가 간단히 디스플레이된 메뉴 항목 및 동작이 적용될 하나 이상의 디스플레이 영역들을 선택함으로써 사용자 입력을 생성하게 할 수 있다.

대안적 예에서, 학습 단계에서, 디바이스는 제어 동작들의 설정된 리스트를 가질 수 있고, 사용자 입력은 하나 이상의 식별된 디스플레이 영역들에 디스플레이된 정보에 대해 수행될 모든 열거된 동작들에 대한 모션 유형들을 학습하기 위해 리스트를 구현하기 위한 선택을 포함한다. 따라서, 학습 단계에서, 디바이스는 단순히 사용자에게 하나 이상의 식별된 디스플레이 영역들에 디스플레이된 정보에 대해 수행될 열거된 동작들에 대해 순차적으로 디바이스에 대한 요구된 모션 유형을 유발하도록 요구한다. 디바이스는 각각의 모션 유형이 각각의 제어 동작에 대해 수행되어야 할 때를 사용자에게 표시할 수 있다. 이것은 예를 들어 디스플레이된 메시지, 표시등 또는 예를 들어 사운드 출력에 의해 이루어질 수 있다.

모션 유형들 및 제어 동작들은 개별 사용자들에 대해 학습될 수 있다. 예를 들어, 사용자는 디스플레이 장치를 사용하기 위해 그의 이름 또는 서명을 입력할 수 있고, 이어서 학습된 모션 유형들 및 제어 동작들은 사용자가 그의 이름 또는 서명을 입력할 때 사용하기 위해 그 사용자에 대해 저장된다.

사용자는 디스플레이의 각각의 영역을 동시에 사용할 수 있다. 또한, 디스플레이 스크린 영역들은 사용자에 의해 요구되는 바와 같이 위치될 수 있고, 미리 설정되거나 사용자에 의해 설정될 수 있다. 사용자는 모션 제어를 사용하여 디스플레이 영역을 조작할 수 있는데, 예를 들어 선택된 디스플레이 영역 내의 디스플레이 스크린 영역 또는 데이터의 일부를 선택하고 위치시키거나 다시 위치시키도록 지시하여 그것을 재배치할 수 있다.

일 실시예에서, 사용자는 디스플레이 영역을 선택 및 제어할 수 있고, 예를 들어 그 위에 줌인함으로써, 예를 들어 선택된 디스플레이 영역 상에 탭핑하여 사용자에 의해 요구되거나 원하는 바와 같은 주어진 크기로 디스플레이 영역을 개방함으로써 디스플레이 영역을 개방하고 조정할 수 있다. 이것은 사용자가 예를 들어 전체 스크린을 커버하기 위해 디스플레이 영역을 완전히 개방하는 것을 가능하게 할 수 있다.

일 실시예에서, 디바이스는 하나 이상의 디스플레이를 갖는 가용성 디바이스를 포함하고, 하나 이상의 디스플레이 영역에서는 디스플레이 데이터가 디바이스 디스플레이의 하나 이상의 면 상에 나타나고 전환하는 것을 포함하여 하나 이상의 디스플레이 영역 사이에서 전환될 수 있다. 양면에 디스플레이들을 갖는 디바이스는 디스플레이된 데이터를 디스플레이 및 제어할 수 있는 전자 문서 판독기를 포함할 수 있다. 예를 들어, 데이터는 디바이스의 전면 A 상에 디스플레이되고, 그 후 디바이스의 배면 B로 전환될 수 있다.

일 실시예에서, 디바이스는 가요성 디바이스를 포함하고, 데이터는 가요성 디바이스의 하나 이상의 접히는 또는 굽는 영역들 상에 디스플레이될 수 있고, 사용자는 모션 또는 제스처들을 사용하여, 2개 이상의 디스플레이가 제공되는 경우에 데이터가 동일한 디스플레이 또는 다른 디스플레이 상의 디스플레이 영역들 사이에서 전환하게 할 수 있다. 사용자 입력 배열은 키보드, 포인팅 디바이스(예를 들어, 마우스, 트랙 패드, 또는 트랙커 볼), 터치 감지 디스플레이 및/또는 펜과 같은 임의의 종래의 디바이스 입력 배열을 포함할 수 있다. 펜은 사용자가 수기 텍스트 및 그림들을 입력하는 것을 가능하게 한다.

디바이스는 고정 또는 가요성 디스플레이 또는 디스플레이들을 포함할 수 있는 디스플레이를 가질 수 있다. 디스플레이 또는 디스플레이들은 분리 가능할 수 있다. 디스플레이들은 상이한 유형들, 예를 들어 하나는 유연하고, 하나는 단단할 수 있다.

일 양태는 방법을 수행하기 위해 기계의 프로세서에 의한 실행을 위한 코드를 저장하는 비일시적 저장 매체, 또는 방법을 수행하기 위해 기계의 프로세서에 의한 실행을 위해 프로세서 실행가능 코드를 운반하는 일시적 매체와 같은 캐리어 매체를 제공한다. 실시예들은 컴퓨터 코드를 구현하는 프로그래밍 가능 디지털 로직으로 구현될 수 있다. 코드는 캐리어 매체 상에서 프로세서 또는 마이크로프로세서와 같은 프로그래밍 가능 로직에 제공될 수 있다. 캐리어 매체의 하나의 이러한 실시예는 일시적 매체, 즉 전기, 전자기, 음향, 자기 또는 광 신호와 같은 신호이다. 다른 형태의 캐리어 매체는 고체 상태 메모리, 자기 매체(하드 디스크 드라이브), 또는 광학 매체(컴팩트 디스크(CD) 또는 디지털 다기능 디스크(DVD))와 같이 코드를 저장하는 비일시적 저장 매체이다.

디바이스는 일례로 그 전체 내용이 본 명세서에 참고로 통합되는, 2017년 12월 29일자로 출원되어 동시 계류중인 출원 GB 1722249.8에 개시된 디스플레이 장치의 예들 중 임의의 것에서의 디스플레이 유닛으로서 사용될 수 있거나, 그 전체 내용이 본 명세서에 참고로 통합되는, 이 출원과 동일자에 출원된 "디스플레이 장치(Display Apparatus)"라는 명칭의 동시 계류중인 UK 특허 출원 GB1805278.7에 개시된 디바이스와 함께 사용될 수 있다.

이제, 도면들을 참조하여 특정 실시예들이 설명될 것이다.

도 1은 핸드헬드 디바이스(1)를 예시하는 개략도이다. 디바이스(1)는 모바일 전화기와 같은 임의의 핸드헬드 디바이스를 포함할 수 있다.

디바이스(1)가 디바이스의 하나 이상의 독립적인 디스플레이 영역에 대한 커맨드를 입력하는 방법으로서 경험할 수 있는 모션 방향들이 도 1에서 화살표들로 예시된다. 모션은 교차하는 화살표들로 도시된 바와 같이 3개의 차원에서 3개의 축 x, y 및 z를 따르는 3개의 방향 중 임의의 방향에서의 전후 선형 또는 왕복 모션일 수 있다. 또한 또는 대안적으로, 모션은 곡선 화살표 A 및 B에 의해 도시된 바와 같이 비선형, 곡선 또는 회전 모션일 수 있다. 회전 모션은 x, y 또는 z 축들 중 임의의 축에 대한 회전일 수 있다.

도 2는 모바일 디바이스(2)를 예시하는 개략도이다.

디바이스(2)는 정보를 디스플레이할 수 있는 디스플레이 스크린(3)을 포함한다. 이 예에서, 디스플레이 스크린(3)은 3개의 상이한 디스플레이 영역들에 3개의 유형의 정보, 즉 타이핑된 텍스트(11), 수기 텍스트(41) 및 이미지(31)를 디스플레이하고 있다. 이 실시예에서는 상이한 정보가 상이한 영역들에 디스플레이되는 것으로 예시되지만, 본 발명은 동일한 또는 상이한 디스플레이 영역들 내의 동일한 정보 유형 또는 정보 유형들의 혼합의 디스플레이에도 적용된다. 디스플레이된 정보는 예를 들어 완성되거나 채워질 영역들, 예를 들어 표준 서식 편지 내의 주소 영역 및 이름 영역, 또는 서식 내의 필드들을 갖는 문서 또는 서식일 수 있다. 디스플레이 영역에 디스플레이된 정보는 텍스트, 이미지 또는 비디오 중 임의의 것을 포함할 수 있다. 정보는 웹 브라우저, 이메일 애플리케이션, 워드 프로세서, 스프레드시트, 이미지 편집기 등과 같은 장치 상에서 실행되는 임의의 애플리케이션에 의해 디스플레이될 수 있다. 수기 텍스트(41)는 펜 디바이스(50)를 사용하여 입력될 수 있다. 디스플레이 스크린(3)은 펜 디바이스(50)의 근접에 민감하여 펜 디바이스(50)의 좌표를 검출하여 그의 위치를 추적하고, 따라서 입력된 수기 텍스트(41)를 생성할 수 있다. 디스플레이 스크린(3)은 예를 들어 터치 감지 옵션들 및/또는 키보드의 디스플레이에 의해 디바이스로(2)의 정보 및 커맨드들의 입력을 허용하기 위해 터치에 민감할 수 있다.

도 2의 예에서, 디바이스(2)의 모션은 예컨대, 타이핑된 텍스트(11), 수기 텍스트(41) 또는 이미지(31) 중 하나 이상과 같은 디스플레이된 정보 또는 선택적 부분들 모두를 소거하는 것, 또는 디스플레이 영역 안에 미리 정의된 정보를 입력하는 것, 예를 들어 텍스트 또는 이미지 데이터를 입력하는 것에 의해, 디스플레이 영역들 중 임의의 것에 디스플레이된 정보 중 임의의 것을 수정하기 위한 제어 동작의 실행을 유발할 수 있다.

도 3은 디바이스의 대안적인 디스플레이 스크린(20)을 예시한다. 이 예에서는, 경계 마킹들에 의해 명확히 정의되는 3개의 상이한 디스플레이 영역, 즉 타이핑된 텍스트(11)를 디스플레이하는 타이핑된 텍스트 디스플레이 영역(10), 이미지(31)를 디스플레이하는 이미지 디스플레이 영역(30), 및 펜(50)을 사용하여 작성된 수기 텍스트(41)를 디스플레이하는 수기 텍스트 디스플레이 영역(40)이 존재한다.

도 2 및 도 3은 텍스트 또는 이미지들의 형태의 디스플레이된 정보의 모션 제어를 예시하지만, 모션 제어는 임의의 디스플레이된 정보를 포함할 수 있다. 쇼핑 애플리케이션에서, 가상 쇼핑 카트가 이동되거나, 채워지거나, 비워질 수 있고, 항목들이 체크아웃될 수 있다. 각각의 제어 동작은 디바이스가 학습 단계에서 교시되는 연관된 제어 모션을 가질 수 있다. 일부 제어 옵션들은 미리 저장될 수 있고 교시를 요구하지 않는다.

이 예의 디바이스의 모션은 도 1의 교차하는 화살표들에 의해 도시된 바와 같이 3개의 차원에서 3개의 축 x, y 및 z를 따르는 3개의 방향 중 임의의 방향에서의 전후 선형 또는 왕복 모션일 수 있다. 또한 또는 대안적으로, 모션은 도 1의 곡선 화살표들로 도시된 바와 같이 비선형, 곡선 또는 회전 모션일 수 있다.

도 3의 예에서, 디바이스의 모션은 디스플레이 영역들(10, 30 및 40) 중 하나 이상 내의 디스플레이된 정보의 전부 또는 일부를 소거할 수 있다. 디스플레이된 영역들 중 하나 이상 및 디스플레이된 영역에서 정보에 대해 수행되는 동작은 디바이스의 모션에 고유한 커맨드로서 정의된다. 디바이스는 모션 패턴들의 세트를 대응하는 디스플레이 영역 식별자들 및 정보 동작들과 함께 저장하며, 따라서 특정 모션 유형은 단지 하나의 디스플레이 영역, 단지 디스플레이 영역들의 서브세트, 또는 디스플레이 영역들의 전부에 디스플레이된 정보에 대한 특정 동작을 유발할 것이다.

도 3에는 상이한 정보 유형들이 상이한 디스플레이 영역들에 디스플레이되는 것으로 예시되고 설명되지만, 상이한 디스플레이 영역들은 동일한 정보 유형 또는 정보 유형들의 임의의 조합을 디스플레이할 수 있다. 또한, 디스플레이 영역은 정보 유형들의 혼합을 디스플레이할 수 있다. 도 3의 예는 단지 예시를 위한 것이다.

도 2 및 3의 예는 인식된 모션 패턴들 또는 유형들에 따라 특정 디스플레이 영역들 내의 정보의 디스플레이를 제어하는 제어 동작을 설명한다.

디바이스의 모션 검출 배열에 의해 검출되는 모션 유형은 임의의 차원 또는 방향에서의 모션 패턴들의 복수의 유형들 중 임의의 것을 검출할 수 있다. 모션의 상이한 패턴들의 예들은 전후 흔들림, 좌우 흔들림, 상하 흔들림, 좌우 선회(좌우 경사), 상하 선회(상하 경사) 및 회전이다. 이들 각각은 도 1에 예시된 3개의 축 중 하나를 따르는 또는 그 주위의 측방(흔들림) 또는 회전 움직임을 나타낸다. 시작 모션에 기초하여, 이러한 모션 유형들 각각의 2 가지 유형을 검출하는 것이 가능하다. 예를 들어, 전후는 전 및 후 또는 후 및 전일 수 있고, 좌우는 좌에서 우 또는 우에서 좌일 수 있고, 회전은 시계방향 또는 반시계방향일 수 있고, 기타 등등일 수 있다. 또한, 모션이 실행되는 세기(예를 들어, 흔들림 또는 왕복의 속력 또는 주파수)는 상이한 모션 유형들 또는 패턴들에 대한 구별 특징들로서 사용될 수 있다. 따라서, 디스플레이 장치의 동일한 공간 변위들은 변위가 실행되는 속력, 가속도 및 주파수에 따라 상이한 모션 유형들에 대응할 수 있다. 또한, 복잡한 모션 유형들은 기본 모션 유형들, 예를 들어 측방향 모션과 회전 모션의 조합, 또는 왕복 측방향 및 회전 모션들의 조합들을 포함하는 복잡한 모션 패턴들을 포함할 수 있다.

디바이스의 메모리는 모션 검출 배열에 의해 검출되고 모션 검출 배열로부터의 신호로부터 프로세서에 의해 식별된 각각의 모션 유형에 대해 프로세서에 의해 식별된 하나 이상의 디스플레이 영역에 대해 구현될 동작들의 세트를 저장할 수 있다. 이러한 동작들은 미리 정의되거나 데이터 소스로부터 다운로드될 수 있고, 사용자에 의해 정의 또는 보완될 수 있다. 사용자 정의 또는 보완은 학습 단계 동안 발생할 수 있다.

도 4는 예시적인 디바이스의 전자 컴포넌트들을 예시하는 개략도이다.

프로세서(100)는 프로세서(100)에 의해 사용되는 코드, 예컨대 운영 체제 코드 및 디스플레이하기 위한 데이터 및 정보를 비휘발성 방식으로 저장하는 정적 또는 비휘발성 메모리(102)에 접속된다. 휘발성 메모리(103)는 프로세서(100)에 의한 구현을 위한 애플리케이션 코드 및 디스플레이를 위한 데이터 및 정보의 저장을 위해 제공된다. 휘발성 메모리는 모션 센서(104)에 의해 검출된 모션 패턴들을 식별하기 위한 코드를 포함하는 코드(예를 들어, 코드 모듈), 및 그에 응답하여 독립적인 디스플레이된 영역들에 디스플레이된 정보에 대한 동작들을 수행하도록 디스플레이 스크린(105)을 제어하기 위한 코드(예를 들어, 코드 모듈)를 저장할 수 있다. 메모리는 또한 미리 저장되거나 학습 단계 동안에 학습된 디스플레이 영역들에 대한 동작들 및 모션 유형들에 대한 디스플레이 영역들에 대한 식별자들을 매핑하는 데이터를 저장할 수 있다.

디스플레이 스크린(105)은 정보의 디스플레이를 위해 프로세서(100)에 접속된다. 디스플레이 스크린(105)은 입력 배열을 제공하기 위한 터치 감지 디스플레이를 포함할 수 있다. 디스플레이 스크린(105)과 함께 펜(50)(도 2에 도시됨)이 사용되어, 수기 텍스트 또는 그림의 입력을 허용할 수 있다. 카메라(106)는 또한 옵션으로서 이미지들을 캡처하기 위해 프로세서(100)에 접속될 수 있다. 카메라(106)는 또한 카메라(106)에 의해 캡처된 이미지들에 대해 프로세서에 의해 구현되는 제스처 인식을 사용하는 정보 및 커맨드들의 입력을 위한 입력 배열로서 사용될 수 있다.

네트워크 커넥터(101)는 통신 또는 컴퓨터 네트워크와의 통신을 위해 프로세서(100)에 접속된다. 이 통신 링크는 네트워크를 통해 디바이스와 다른 디바이스들 또는 컴퓨터들 사이에 데이터, 정보 및 제어들을 전달할 수 있다. 네트워크 커넥터(101)는 유선 또는 무선 접속을 사용하여 통신 또는 컴퓨터 네트워크에 접속될 수 있다. 예를 들어, 유선 접속은 LAN 또는 전화 접속에 대한 이더넷 접속일 수 있고, 따라서 네트워크 커넥터(101)는 모뎀 또는 라우터로서 작용한다. 무선 접속은 WiFi, WiMAX, CDMA, GSM, GPRS, 무선 로컬 루프 또는 WAN일 수 있다. 저범위 및 저전력 무선 통신들을 위해, 블루투스(상표)가 사용될 수 있다.

모션 센서(104)는 디바이스의 모션을 검출하기 위해 프로세서(100)에 접속된다. 모션 센서(104)는 가속도계와 같은 임의의 종래의 모션 센서를 포함할 수 있다. 모션 센서(104)는 임의의 방향으로의 디바이스의 모션을 검출할 수 있는데, 즉 3개의 차원에서 3개의 직교 축 중 임의의 축을 따른 모션을 검출하기 위한 다축 모션 센서이다.

위의 예들 중 임의의 예에서, 디바이스는 양면의 디스플레이 스크린을 가질 수 있으며, 따라서 양면에서 정보를 보기 위해 턴오버될 수 있다. 제어 동작은 양면에 또는 한 면에만 적용될 수 있다. 이것은 일례에서 선택적으로 설정될 수 있다. 디스플레이 또는 디스플레이들은 마운트 프레임으로부터 분리될 수도 있다.

하나 이상의 실시예에서, 디바이스는 디스플레이 스크린이 분리 가능한 또는 분해 가능한 방식으로 장착되는 도킹 파트 또는 마운트를 포함할 수 있고, 따라서 디스플레이 스크린은 마운트와 별개로 사용될 수 있다. 마운트 및 디스플레이 스크린은 무선 링크를 이용하여 서로 간에 통신할 수 있으며, 따라서 마운트는 프로세서 및 저장소와 같은 디스플레이 장치의 일부 컴포넌트들을 포함할 수 있는 반면, 디스플레이 스크린은 디스플레이 스크린을 동작시키고, 디스플레이 스크린의 모션을 검출하고, 프로세서와 통신하는 데 필요한 컴포넌트들만을 포함할 수 있다. 일 실시예에서, 2개 이상의 디스플레이 스크린이 마운트로부터 분리 가능하게 제공될 수 있고, 각각의 디스플레이 스크린은 독립적으로 동작하여 마운트 내의 공유 프로세서를 사용하는 모션 검출에 의해 소거 동작을 제공한다.

디바이스는 오디오 출력을 위한 하나 이상의 확성기 및 오디오 입력을 위한 하나 이상의 마이크로폰을 포함할 수 있다. 또한, 디바이스는 디바이스로의 정보 및 커맨드들의 입력을 허용하기 위해 유선 또는 무선 접속에 의해 키보드 및/또는 포인팅 디바이스와 같은 주변 디바이스에 접속할 수 있다.

이제, 도 5 및 6을 참조하여 예시적인 디바이스를 동작시키는 방법이 설명될 것이다.

도 5는 디바이스의 학습 단계를 예시하는 흐름도이다.

단계 S1에서, 디바이스는 학습 단계에 들어간다. 이것은 디바이스의 시동 시에 자동적일 수 있거나, 디바이스의 소정의 다른 동작의 결과일 수 있거나, 사용자 선택, 즉 디바이스의 입력 배열을 사용하는 것과 같은 사용자 입력의 결과일 수 있다. 단계 S2에서, 디바이스의 디스플레이는 사용자가 사용자 입력으로서 모션을 사용하여 실행하기로 선택할 수 있는 하나 이상의 식별된 디스플레이 영역들에 디스플레이된 정보에 대해 수행될 정의된 동작들의 메뉴를 디스플레이한다. 디스플레이된 메뉴는 단순히 예를 들어 리스트 또는 드롭다운 메뉴일 수 있다. 리스트는 동작들의 유형들의 카테고리들로 조직화될 수 있다. 메뉴는 또한 동작들이 적용될 수 있는 디스플레이 영역들의 리스트를 디스플레이할 수 있고, 사용자는 하나 이상의 디스플레이 영역들을 선택할 수 있다. 대안적으로, 디스플레이는 영역들을 선택 가능한 방식으로 디스플레이할 수 있으며, 따라서 사용자는 예를 들어 디스플레이의 영역 또는 영역들을 선택하기 위해 포인터 디바이스 또는 터치 입력을 사용하여 선택된 동작이 적용될 하나 이상의 영역들을 선택할 수 있다.

단계 S3에서, 동작 메뉴 항목의 사용자 선택이 수신되고, 그 후 단계 S4에서, 디바이스는 모션 검출기 배열, 예를 들어 가속도계가 디바이스의 모션을 검출하기를 기다린다. 모션은 모션 패턴을 캡처하기에 적절한 짧은 기간, 예를 들어 1-2초에 걸쳐 기록된다. 매칭 프로세스의 정확도를 개선하고 사용자에 의한 모션 패턴의 변경들을 허용하기 위해, 단계 S5에서, 프로세스는 루프 백하여 사용자에게 모션 입력을 다수 회(N회), 예를 들어 3회 내지 10회 중 임의의 횟수만큼 반복할 것을 요구한다. 더 많은 반복은 매칭 프로세스의 정확도를 개선하지만 디바이스의 유용성을 감소시키며: 사용자는 모션 패턴을 너무 많이 반복하라는 요구에 인내심을 잃을 것이다.

루프 백 프로세스의 끝에서, 단계 S6에서, 반복된 기록들에 대한 기록된 모션 패턴들이 평균되고, 단계 S7에서 평균은 저장되는 모션 유형 제거 데이터에서의 모션 유형에 대한 정보의 일부로서의 저장을 위해 사용된다. 기록된 모션 패턴들 사이의 편차의 정도를 나타내는 데이터도 동작 단계 동안 매칭 프로세스를 돕기 위해, 즉 저장된 평균 모션 패턴의 예상된 편차 내에서 매치가 있는지를 평가하는 것을 돕기 위해 모션 유형 데이터의 일부로서 저장될 수 있다. 대응하는 제어 동작을 식별하는 식별자도 저장되는 모션 유형 제어 데이터의 일부로서 저장된다.

이어서, 프로세스는 단계 S2로 복귀하여, 사용자가 메뉴로부터 다른 동작을 선택할 수 있게 할 것이다. 사용자가 동작들의 선택을 완료하였다면, 사용자는 학습 단계를 종료하기로 선택할 수 있다.

도 6은 학습 단계에 이어지는 디바이스의 동작 단계를 예시하는 흐름도이다.

단계 S10에서, 디바이스는 동작 단계에 들어가고, 단계 S11에서 디바이스의 모션이 검출된다. 모션이 모션 유형과 매칭되는지를 결정하기 위해 모션의 유형이 모션 유형 제어 데이터 내의 모션 유형에 대한 저장된 패턴들과 비교된다(단계 S12). 매치가 발견되지 않으면(단계 S13), 프로세스는 단계 S11로 복귀하여 추가의 모션을 검출한다. 단계 S13에서 매치 유형에 대한 모션 데이터와의 매치가 발견되면, 단계 S14에서 하나 이상의 식별된 디스플레이 영역들에 표시된 정보에 대한 대응하는 동작이 모션 유형 제어 데이터에서 식별되고, 단계 S15에서, 하나 이상의 식별된 디스플레이 영역들에 표시된 정보에 대한 동작이 실행된다. 그 다음, 프로세스는 하나 이상의 식별된 디스플레이 영역들에 표시된 정보에 대한 추가 동작들에 대한 디바이스의 다음 모션을 검출하기 위해 단계 S11로 복귀한다.

도 5에서, 다수의 기록된 모션 동작에 대한 모션 데이터의 평균이 취해진다. 그러나, 본 발명은 평균을 취하는 것으로 제한되지 않고, 단지 하나의 모션 검출이 사용될 수 있거나, 다수가 기록될 수 있고, 그들은 동작 단계 동안 모션 패턴과의 개별적인 매칭을 위해 개별적으로 저장될 수 있다.

도 5에서, 사용자는 동작을 선택하기 위한 메뉴를 제시받아서, 디바이스에게 그 제어 동작에 대한 모션 유형을 교시한다. 사용자는 또한 사용자 입력 배열을 사용하여 하나 이상의 식별된 디스플레이 영역들에 표시된 정보에 대해 수행될 그 자신의 동작을 정의할 수 있다.

상기 예들 중 임의의 예에서, 디바이스는 사용자가 모션 검출 제어 입력 방법과 함께 제어들 및 정보를 입력하는 것을 가능하게 하기 위해 오디오 입력을 위한 오디오 센서, 키보드, 포인터 디바이스(예를 들어, 마우스) 또는 터치 스크린과 같은 다른 입력 배열들을 포함할 수 있다. 또한, 카메라는 제어 또는 정보 입력의 방법으로서 제스처 입력을 가능하게 하기 위해 이미지 캡처를 허용하도록 제공될 수 있다. 디바이스는 적외선 센서, 예를 들어 수동형 적외선 센서(PIR)를 포함할 수 있다.

디스플레이 영역에 디스플레이된 정보는 비디오(움직이는 이미지, 텔레비전, 3D 비디오, 파노라마 뷰 등)를 포함할 수 있다.

디바이스는 디바이스를 제어하기 위한 원격 제어를 포함할 수 있다. 원격 제어는 디바이스의 모션 제어에 응답하는 모션일 수 있다.

실시예들에서, 모션 제어 입력에 추가하여 또는 대안으로서, 사용자에 대면하는 방향에서 비디오를 캡처하기 위해 디바이스 내에 카메라가 제공될 수 있고, 따라서 사용자는 식별된 제스처의 유형에 따라 제어를 입력하기 위해 제스처들을 사용할 수 있다. 제스처 제어는 사용자의 신체 부분들, 즉 손들의 움직임, 얼굴 특징들 또는 전체 신체 위치의 인식을 포함할 수 있다. 패턴 인식 기술들이 제스처들의 유형을 인식하고 이들을 식별하는 데 사용될 수 있다. 예시적인 제스처 유형들은 좌우 또는 상하로의 손의 스위핑, 또는 손의 웨이빙을 포함할 수 있다.

제스처 제어가 모션 제어와 함께 제공되는 경우, 제스처 제어 소거 동작은 예를 들어 사용자가 디바이스를 픽업할 수 없는 경우에, 예를 들어 사용자의 손이 젖었거나 더러운 경우에 사용될 수 있다. 또한, 디바이스는 검출된 제스처 유형에 응답하고, 동일한 제어를 입력하는 필적하는 또는 연관된 모션 유형을 식별하고, 디스플레이 스크린으로 하여금 제스처 커맨드에 대한 모션 등가 커맨드를 모방하게 하도록 디스플레이 스크린을 제어하도록 제어될 수 있다. 예를 들어, 모션 커맨드가 좌에서 우로의 회전이면, 동등하거나 연관된 제스처 커맨드, 예를 들어 좌에서 우로의 손의 웨이빙이 식별될 때, 디스플레이 스크린은 제스처 커맨드가 모션 커맨드로서 인식되었다는 사용자에 대한 확인으로서 작용하도록 디스플레이가 좌에서 우로 회전하게 할 수 있다. 등가 제스처 유형은 대응하는 모션 유형으로부터 프로세서에 의해 자동으로 결정될 수 있고, 따라서 모션 유형 데이터는 동일한 동작에 대한 대응하는 제스처 유형 데이터를 포함할 수 있다. 일반적인 움직임에서 모션 커맨드와 매칭되는 제스처의 사용은 제스처가 사용자에 대해 직관적일 것이라는 것을 의미하며, 예를 들어 디바이스의 회전은 사용자의 손의 회전과 동등할 수 있다.

본 발명의 이러한 양태는 애플리케이션의 실행, 디바이스의 카메라를 사용하는 사진의 촬영, 또는 디바이스의 상태를 변경하는 임의의 다른 동작을 포함하는, 디바이스로의 임의의 유형의 커맨드의 입력에 적용될 수 있다. 이러한 양태는 제어 동작들의 학습 및 실행을 위해 도 4의 하드웨어 및 도 5 및 도 6의 흐름도들의 방법을 사용할 수 있다. 이러한 양태는 디스플레이 영역들에서의 디스플레이 동작들의 제어에 제한되지 않고, 대신에 디바이스로의 임의의 제어 동작들의 입력에 적용될 수 있다.

일 양태에서, 본 발명은 모션 제어를 보완하기 위한 제스처 제어를 제공한다. 이 양태에서, 디바이스는 모션 유형들의 식별들, 대응하는 제어 동작들 및 대응하는 제스처 유형 데이터를 포함하는 제어 데이터를 저장하기 위한 메모리; 디바이스의 모션을 검출하기 위한 모션 검출 배열; 제스처들을 검출하기 위한 제스처 검출 배열; 학습 단계 동안 제어 동작들을 식별하는 사용자 입력을 수신하기 위한 사용자 입력 배열; 및 학습 단계에서, 제어 동작을 식별하는 사용자 입력이 수신될 때, 모션 검출 배열에 의해 검출된 모션으로부터 모션 유형을 식별하고, 제어 데이터에서 모션 유형을 식별하는 데이터와 대응하여 수신된 사용자 입력을 저장하고, 대응하는 제스처 유형 데이터를 결정하며, 학습 단계에 이어서, 모션 검출 배열이 모션을 검출할 때, 제어 데이터를 사용하여 모션 유형을 식별하고, 대응하는 제어 동작을 실행하거나, 제스처 검출 배열이 제스처를 검출할 때, 제어 데이터를 사용하여 제스처 유형을 식별하고, 대응하는 제어 동작을 실행하도록 프로그래밍된 프로세서를 포함할 수 있다.

이 양태에서, 디바이스는 이동 가능하거나 고정/부착될 수 있다. 사용자에 대면하는 방향에서 비디오를 캡처하기 위해 디바이스 내에 카메라가 제공될 수 있고, 따라서 사용자는 식별된 제스처의 유형에 따라 제어 입력으로서 제스처들을 사용할 수 있다. 제스처 제어는 사용자의 신체 부분들, 즉 손들의 움직임, 얼굴 특징들 또는 전체 신체 위치의 인식 또는 스틱, 자 또는 사용자에 의해 착용된 무언가와 같은 사용자에 의해 이동된 물체의 인식을 포함할 수 있다. 패턴 인식 기술들이 제스처들의 유형을 인식하고 이들을 식별하는 데 사용될 수 있다. 예시적인 제스처 유형들은 좌우 또는 상하로의 손의 스위핑, 또는 손의 웨이빙을 포함할 수 있다. 제스처는 학습 단계에서 학습된 디바이스의 모션과 매칭되고, 예를 들어 디바이스의 회전은 사용자의 손의 회전에 의해 모방될 수 있다.

본 발명의 특성을 설명하기 위해 설명되고 예시된 부품들 및 방법 단계들의 상세들, 재료 및 배열들의 다양한 다른 변경들이 첨부된 청구항들에 표현되는 바와 같은 본 발명의 원리들 및 범위를 벗어나지 않고 이루어질 수 있다는 것이 이 분야의 기술자들에게 쉽게 이해될 것이다.

Claims

디바이스로서,
복수의 독립적인 디스플레이 영역에 정보를 디스플레이하기 위한 디스플레이 - 각각의 디스플레이 영역은 독립적으로 식별가능함 -;
모션 유형의 식별 및 하나 이상의 식별된 디스플레이 영역에 디스플레이된 정보에 대해 수행될 대응하는 동작을 포함하는 모션 유형 제어 데이터를 저장하기 위한 메모리;
상기 디바이스의 모션을 검출하기 위한 모션 검출 배열;
학습 단계 동안 하나 이상의 식별된 디스플레이 영역에 디스플레이된 정보에 대해 수행될 동작을 식별하는 사용자 입력을 수신하기 위한 사용자 입력 배열; 및
상기 학습 단계에서, 하나 이상의 식별된 디스플레이 영역에 디스플레이된 정보에 대해 수행될 동작을 식별하는 사용자 입력이 수신될 때, 상기 모션 검출 배열에 의해 검출된 모션으로부터 모션 유형을 식별하고, 상기 모션 유형 제어 데이터에서 상기 모션 유형을 식별하는 데이터와 대응하여 상기 수신된 사용자 입력을 저장하고, 상기 학습 단계에 이어서, 상기 모션 검출 배열이 모션을 검출할 때, 상기 모션 유형 제어 데이터를 사용하여 모션 유형을 식별하고, 대응하는 동작을 하나 이상의 식별된 디스플레이 영역에 디스플레이된 정보에 대해 실행하도록 프로그래밍된 프로세서
를 포함하는, 디바이스.
제1항에 있어서,
상기 프로세서는, 상기 학습 단계에서, 하나 이상의 식별된 디스플레이 영역에 표시된 정보에 대해 수행될 동작을 식별하는 사용자 입력이 수신될 때, 상기 모션 검출 배열로부터 복수 회 수신된 상기 검출된 모션을 평균함으로써 상기 모션 유형을 식별하고, 상기 모션 유형 제어 데이터에서 상기 모션 유형을 식별하는 데이터와 대응하여 상기 수신된 사용자 입력을 저장하도록 프로그래밍되는 것인, 디바이스.
제1항 또는 제2항에 있어서,
상기 프로세서는, 상기 학습 단계에서, 복수의 사용자 입력을 수신하고, 각각의 사용자 입력에 대해 상기 모션 검출 배열에 의해 검출된 모션으로부터 상기 모션 유형을 식별하고, 상기 모션 유형 제어 데이터에서 상기 각각의 모션 유형을 식별하는 데이터와 대응하여 상기 수신된 사용자 입력을 저장하도록 프로그래밍되는 것인, 디바이스.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 프로세서는 다수의 방향에서의 모션의 조합을 포함하는 복수의 모션 유형을 식별하도록 프로그래밍되는 것인, 디바이스.
제4항에 있어서,
상기 방향은 측 방향 및 회전 방향 중 적어도 하나를 포함하는 것인, 디바이스.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 프로세서는, 상기 학습 단계에서, 하나 이상의 디스플레이 영역의 사용자 선택을 수신하여 상기 사용자 입력의 일부로서 상기 하나 이상의 디스플레이 영역을 식별하도록 프로그래밍되는 것인, 디바이스.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 프로세서는, 상기 학습 단계에서, 하나 이상의 식별된 디스플레이 영역에 디스플레이된 정보에 대해 수행될 동작의 메뉴를 디스플레이하도록 상기 디스플레이를 제어하도록 프로그래밍되고, 상기 사용자 입력 배열은 상기 메뉴에서의 하나 이상의 식별된 디스플레이 영역에 디스플레이된 정보에 대해 수행될 상기 동작 중 하나의 동작의 사용자 선택 및 상기 사용자 입력으로서 상기 동작이 적용되는 상기 디스플레이 영역 중 하나 이상의 디스플레이 영역의 선택을 수신하도록 구성되는 것인, 디바이스.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 프로세서는, 상기 학습 단계에서, 하나 이상의 식별된 디스플레이 영역에 디스플레이된 정보에 대해 수행될 동작의 리스트를 디스플레이하도록 상기 디스플레이를 제어하도록 프로그래밍되고, 상기 사용자 입력 배열은 하나 이상의 식별된 디스플레이 영역에 디스플레이된 정보에 대해 수행될 동작을 식별하는 사용자 입력의 리스트로서 상기 리스트를 선택하기 위한 사용자 선택 및 상기 사용자 입력으로서 상기 동작이 적용되는 상기 디스플레이 영역 중 하나 이상의 디스플레이 영역의 선택을 수신하도록 구성되고, 상기 프로세서는 각각의 사용자 입력에 대해 상기 모션 검출 배열에 의해 검출된 모션으로부터 상기 모션 유형을 식별하고, 상기 모션 유형 제어 데이터에서 상기 각각의 모션 유형을 식별하는 데이터와 대응하여 상기 사용자 입력을 저장하도록 프로그래밍되는 것인, 디바이스.
제1항 내지 제8항 중 어느 한 항에 있어서,
상기 프로세서는 다수의 방향에서의 복수의 모션 패턴을 식별하고, 하나 이상의 식별된 디스플레이 영역에 디스플레이된 정보에 대한 상기 대응하는 동작을 실행하도록 프로그래밍되는 것인, 디바이스.
디바이스의 모션을 검출하기 위한 모션 검출기 배열을 갖는 상기 디바이스 상의 복수의 독립적인 디스플레이 영역 내의 정보의 디스플레이를 제어하는 방법으로서,
각각의 디스플레이 영역은 독립적으로 식별가능하고, 상기 방법은:
학습 단계 동안:
하나 이상의 식별된 디스플레이 영역에 디스플레이된 정보에 대해 수행될 동작을 식별하는 사용자 입력을 수신하는 단계;
상기 모션 검출기 배열을 사용하여 상기 디바이스의 모션을 검출하는 단계;
상기 모션 검출 배열에 의해 검출된 상기 모션으로부터 모션 유형을 식별하는 단계;
모션 유형 제어 데이터로서 상기 모션 유형을 식별하는 데이터와 대응하여 상기 수신된 사용자 입력을 저장하는 단계; 및
상기 수신, 검출, 식별, 및 저장 단계를 반복하는 단계; 및
동작 단계에서:
상기 모션 검출기 배열을 사용하여 상기 디바이스의 모션을 검출하는 단계; 및
상기 모션 유형 제어 데이터를 사용하여 모션 유형을 식별하고, 대응하는 동작을 하나 이상의 식별된 디스플레이 영역에 디스플레이된 정보에 대해 실행하는 단계
를 포함하는, 방법.
제10항에 있어서,
상기 학습 단계에서, 하나 이상의 식별된 디스플레이 영역에 디스플레이된 정보에 대해 수행될 동작을 식별하는 사용자 입력이 수신될 때, 상기 모션 검출 배열로부터 복수 회 수신된 상기 검출된 모션을 평균함으로써 상기 모션 유형이 식별되고, 상기 수신된 사용자 입력은 상기 모션 유형 제어 데이터에서 상기 모션 유형을 식별하는 데이터와 대응하여 저장되는 것인, 방법.
제10항 또는 제11항에 있어서,
상기 모션 유형은 다수의 방향에서의 모션의 조합을 포함하는 것인, 방법.
제12항에 있어서,
상기 방향은 측 방향 및 회전 방향 중 적어도 하나를 포함하는 것인, 방법.
제10항 내지 제13항 중 어느 한 항에 있어서,
상기 학습 단계에서, 하나 이상의 디스플레이 영역의 사용자 선택을 수신하여 상기 사용자 입력의 일부로서 상기 하나 이상의 디스플레이 영역을 식별하는 단계를 포함하는, 방법.
제10항 내지 제13항 중 어느 한 항에 있어서,
상기 학습 단계에서, 하나 이상의 식별된 디스플레이 영역에 디스플레이된 정보에 대해 수행될 동작의 메뉴를 디스플레이하는 단계를 포함하고, 상기 사용자 입력은 상기 메뉴에서의 하나 이상의 식별된 디스플레이 영역에 디스플레이된 정보에 대해 수행될 상기 동작 중 하나의 동작의 사용자 선택 및 상기 사용자 입력으로서 상기 동작이 적용되는 상기 디스플레이 영역 중 하나 이상의 디스플레이 영역의 선택으로서 수신되는 것인, 방법.
제10항 내지 제13항 중 어느 한 항에 있어서,
상기 학습 단계에서, 하나 이상의 식별된 디스플레이 영역에 디스플레이된 정보에 대해 수행될 동작의 리스트를 디스플레이하는 단계를 포함하고, 상기 사용자 입력은 하나 이상의 식별된 디스플레이 영역에 디스플레이된 정보에 대해 수행될 동작을 식별하는 사용자 입력의 리스트로서 상기 리스트를 선택하기 위한 사용자 선택 및 상기 사용자 입력으로서 상기 동작이 적용되는 상기 디스플레이 영역 중 하나 이상의 디스플레이 영역의 선택으로서 수신되고, 각각의 사용자 입력에 대해 상기 모션 검출 배열에 의해 검출된 상기 모션으로부터 모션 유형이 식별되고, 상기 모션 유형 제어 데이터에서 상기 각각의 모션 유형을 식별하는 데이터와 대응하여 상기 사용자 입력이 저장되는 것인, 방법.
제10항 내지 제16항 중 어느 한 항에 있어서,
다수의 방향에서의 복수의 모션 패턴을 식별하여, 하나 이상의 식별된 디스플레이 영역에 디스플레이된 정보에 대해 수행될 상기 대응하는 동작을 실행하는 것인, 방법.
제10항 내지 제17항 중 어느 한 항의 방법을 구현하기 위해 프로세서에 의한 실행을 위한 프로세서 구현 가능 코드를 운반하는 캐리어 매체.
디바이스로서,
모션 유형의 식별, 대응하는 제어 동작 및 대응하는 제스처 유형 데이터를 포함하는 제어 데이터를 저장하기 위한 메모리;
상기 디바이스의 모션을 검출하기 위한 모션 검출 배열;
제스처를 검출하기 위한 제스처 검출 배열;
학습 단계 동안 제어 동작을 식별하는 사용자 입력을 수신하기 위한 사용자 입력 배열; 및
프로세서
를 포함하고, 상기 프로세서는:
상기 학습 단계에서, 제어 동작을 식별하는 사용자 입력이 수신될 때, 상기 모션 검출 배열에 의해 검출된 모션으로부터 모션 유형을 식별하고, 상기 제어 데이터에서 상기 모션 유형을 식별하는 데이터와 대응하여 상기 수신된 사용자 입력을 저장하고, 대응하는 제스처 유형 데이터를 결정하며,
상기 학습 단계에 이어서, 상기 모션 검출 배열이 모션을 검출할 때, 상기 제어 데이터를 사용하여 모션 유형을 식별하고, 대응하는 제어 동작을 실행하거나, 상기 제스처 검출 배열이 제스처를 검출할 때, 상기 제어 데이터를 사용하여 제스처 유형을 식별하고, 상기 대응하는 제어 동작을 실행하도록
프로그래밍되는 것인, 디바이스.
제19항에 있어서, 상기 제스처 검출 배열은 카메라를 포함하는 것인, 디바이스.