KR20140051968A

KR20140051968A - 이동 장치를 위한 제스처 기반 입력 모드 선택 기법

Info

Publication number: KR20140051968A
Application number: KR1020147004548A
Authority: KR
Inventors: 스티븐 코스만; 아론 우; 제프리 쳉-야오 퐁
Original assignee: 마이크로소프트 코포레이션
Priority date: 2011-08-24
Filing date: 2012-08-23
Publication date: 2014-05-02
Also published as: WO2013028895A1; EP2748933A1; JP2014533446A; EP2748933A4; CN103765348A; US20130053007A1

Abstract

스마트폰들의 작은 크기 및 이동성으로 인해 그리고 이들은 통상적으로 핸드헬드이므로, 손, 손목 또는 팔 제스처들을 이용하여, 전자 장치가 사용자의 손의 연장부인 것처럼 명령들을 전자 장치로 전송하는 것이 자연스러울 뿐만 아니라 가능하다. 일부 사용자 제스처들은 스마트폰의 회로 내의 전기-기계 모션 센서들에 의해 검출될 수 있다. 센서들은 장치와 관련된 물리적 변화, 예를 들어 장치의 모션 또는 배향 변화를 검출함으로써 사용자 제스처를 감지할 수 있다. 이에 응답하여, 음성 기반 또는 이미지 기반 입력 모드가 제스처에 기초하여 트리거링될 수 있다. 개시되는 방법들 및 장치들은 수동 선택에 의존하지 않고서 장치 특징에 대한 상이한 입력 모드들 중에서 선택하기 위한 방법을 제공한다.

Description

이동 장치를 위한 제스처 기반 입력 모드 선택 기법{GESTURE-BASED INPUT MODE SELECTION FOR MOBILE DEVICES}

"스마트폰"은 무선 통신 기능들과 다양한 컴퓨터 기능들, 예를 들어 글로벌 포지셔닝 시스템(GPS(global positioning system))을 이용하는 맵핑 및 내비게이션 기능, 무선 네트워크 액세스(예를 들어, 전자 메일 및 인터넷 웹 브라우징), 디지털 이미징, 디지털 오디오 재생, 개인용 휴대 단말기(PDA) 기능(예를 들어, 동기식 캘린더링) 등을 결합하는 이동 장치이다. 스마트폰들은 통상적으로 핸드헬드이지만, 대안으로서 이들은 더 큰 폼 팩터(form factor)를 가질 수 있는데, 예를 들어 이들은 태블릿 컴퓨터, 텔레비전 셋톱 박스, 또는 원격 통신이 가능한 다른 유사한 전자 장치의 형태를 취할 수 있다.

스마트폰들 내의 모션 검출기들은 가속도계, 자이로스코프 등을 포함하며, 이들 중 일부는 공통 기판 또는 칩 상에 기계 컴포넌트들과 전기 컴포넌트들이 통합되는 것을 가능하게 하는 마이크로-전기-기계(MEMS(micro-electro-mechanical)) 기술을 이용한다. 이러한 소형 모션 센서들은 개별적으로 또는 함께 동작할 때 평면(2D) 내에서 또는 삼차원에서 스마트폰의 전화 모션 또는 배향 변화를 검출할 수 있다. 예를 들어, 현존하는 일부 스마트폰들은 사용자가 스마트폰을 90도 회전시키는 것에 응답하여 디스플레이 상에 표시된 정보를 "세로" 배향으로부터 "가로" 배향으로 또는 그 반대로 회전시키도록 프로그래밍된다. 게다가, 광 또는 적외선(열) 센서들 및 근접 센서들은 스마트폰으로부터 소정 거리 내의 물체의 존재를 검출할 수 있으며, 물체로부터 입력되는 신호들 또는 데이터의 수신을 수동적으로 또는 능동적으로 트리거링(triggering)할 수 있다[미국 특허 공개 제2010/0321289호]. 예를 들어, 스마트폰은 적외선 센서들을 이용하여 바코드들을 스캐닝하거나 무선 주파수 식별(RFID) 태그들로부터 신호들을 수신하도록 구성될 수 있다[Mantyjarvi 등, Mobile HCI Sept. 12 - 15, 2006].

현존하는 스마트폰들 및 다른 유사한 전자 장치들의 공통적인 특징은 사용자로 하여금 특정 단어들 또는 문구들에 대해 장치를 검색하기 위해 텍스트를 입력하는 것을 가능하게 하는 검색 기능이다. 텍스트는 또한 원격 글로벌 네트워크 검색을 개시하기 위해 검색 엔진에 입력으로서 입력될 수 있다. 검색 특징은 사용자로부터의 입력에 응답하므로, "스크린 기반"인 텍스트 입력, 즉 사용자에게 스크린을 통해 통신할 것으로 요구하는 입력 모드와 다른 또는 그에 더한 대안 입력 모드들을 제공함으로써 특징을 향상시키는 것이 가능하다. 예를 들어, 많은 스마트폰은 자동차를 운전하는 동안에 안전한 핸즈프리 동작을 가능하게 하는 음성 인식 능력을 구비한다. 음성 인식을 이용할 경우, 작성된 텍스트 입력이 아니라 구두 입력에 응답하는 핸즈프리 검색 특징을 구현하는 것이 가능하다. 음성 명령 "빌딩 보안 호출"은 빌딩 보안을 위한 전화 번호에 대해 스마트폰을 검색하고, 호출을 개시한다. 유사하게, 일부 스마트폰 애플리케이션들 또는 "앱들"은 음성 인식과 검색 기능을 결합하여, 음악을 인식 및 식별하고, 노래 제목, 가수, 노래 가사 등과 같은 데이터를 사용자에게 반환한다. 현존 스마트폰들 및 다른 유사한 전자 장치들의 또 하나의 공통 특징은 정지 이미지들을 캡처하거나 라이브 비디오 이미지들을 기록하기 위한 디지털 카메라 기능이다. 온보드 카메라를 이용할 경우, 작성된 텍스트 입력이 아니라 시각 또는 광학 입력에 응답하는 검색 특징을 구현하는 것이 가능하다.

상이한 타입의 입력 모드들(예를 들어, 텍스트 입력, 음성 입력 및 시각 입력)을 갖는 그러한 향상된 검색 특징을 지원하는 현존 장치들은 통상적으로 버튼, 터치스크린 입력, 키패드에 의해 또는 디스플레이 상의 메뉴 선택을 통해 상이한 입력 모드들 사이에서 선택한다. 따라서, 음성 입력을 이용하는 검색은 구두가 아니라 수동으로 개시되어야 하며, 이는 이러한 검색이 사실은 핸즈프리 특징이 아님을 의미한다. 예를 들어, 사용자가 자동차를 운전하고 있는 경우, 운전자는 소위 "핸즈프리" 검색 특징을 활성화하기 위해서는 도로를 보지 않고 디스플레이 스크린 상에 집중해야 한다.

이 요약은 아래의 상세한 설명 부분에서 더 설명되는 개념들의 발췌를 간단한 형태로 소개하기 위해 제공된다. 이 요약은 청구 발명 대상의 중요한 특징들 또는 본질적인 특징들을 식별하는 것을 의도하지 않으며, 청구 발명 대상의 범위를 한정하는 데 사용되는 것도 의도하지 않는다. 본 발명은 이동 장치들, 핸드헬드 장치들 또는 스마트폰들에서의 구현에 특히 적합하지만, 다양한 전자 장치들에 적용되며, 그러한 구현들로 한정되지 않는다. 본 기술은 원격 통신에 의존하지 않으므로, 무선 또는 다른 통신 기술을 포함하거나 포함하지 않을 수 있는 전자 장치들에서 구현될 수 있다. 따라서, 용어 "이동 장치", "핸드헬드 장치", "전자 장치" 및 "스마트폰"은 본 명세서에서 교환 가능하게 사용된다. 유사하게, 본 발명은 특히 검색 특징과 관련되지만, 개시되는 제스처 인터페이스 기술은 그러한 구현으로 한정되는 것이 아니라, 다른 장치 특징들 또는 프로그램들과 관련하여 구현될 수도 있다. 따라서, 용어 "특징", "기능", "애플리케이션" 및 "프로그램"은 본 명세서에서 교환 가능하게 사용된다.

개시되는 방법들 및 장치들은 수동 스크린 기반 선택에 의존하지 않고서 스마트폰 또는 유사한 이동 전자 장치에 대한 상이한 입력 모드들을 트리거링하기 위한 방법을 제공한다. 검출기 및 복수의 입력 장치를 구비한 이동 전자 장치가 상이한 사용자 입력 모드들에 따라 입력 장치들을 통해 입력을 수신하고, 제스처에 기초하여 상이한 입력 모드들 사이에서 선택하도록 프로그래밍될 수 있다. 스크린 기반이 아닌 입력 장치들은 카메라 및 마이크를 포함할 수 있다. 스마트폰들의 작은 크기 및 이동성으로 인해 그리고 이들은 통상적으로 핸드헬드이므로, 손, 손목 또는 팔 제스처들을 이용하여, 전자 장치가 사용자의 손의 연장부인 것처럼 명령들을 전자 장치로 전송하는 것이 자연스러울 뿐만 아니라 가능하다. 일부 사용자 제스처들은 스마트폰의 회로 내의 전기-기계 모션 센서들에 의해 검출될 수 있다. 센서들은 장치와 관련된 물리적 변화, 예를 들어 장치 자체의 모션 또는 배향 변화를 검출함으로써 사용자 제스처를 감지할 수 있다. 이에 응답하여, 입력 모드가 제스처에 기초하여 트리거링될 수 있으며, 검색과 같은 장치 특징이 수신된 입력에 기초하여 런칭(launching)될 수 있다.

본 발명의 상기 및 다른 목적들, 특징들 및 장점들은 첨부 도면들을 참조하여 진행하는 아래의 상세한 설명으로부터 더 명백해질 것이다.

도 1은 본 명세서에서 설명되는 기술들 및 도구들이 구현될 수 있는 예시적인 이동 컴퓨팅 장치를 나타내는 블록도이다.
도 2는 이동 장치에 대한 제스처 기반 입력 모드 선택의 방법을 나타내는 일반 흐름도이다.
도 3은 손 및/또는 팔 모션 제스처들을 감지하고 그에 응답하여 다양한 데이터 입력 모드들을 트리거링하는 제스처 인터페이스를 갖도록 구성되는 검색 애플리케이션에 대한 예시적인 소프트웨어 아키텍처를 나타내는 블록도이다.
도 4는 제스처 인터페이스를 갖도록 구성되는 진보된 검색 방법을 나타내는 흐름도이다.
도 5는 음성 입력을 청취함으로써 회전 제스처에 응답하는 검색 애플리케이션을 갖도록 구성되는 스마트폰의 그림 도면이다.
도 6은 제스처 인터페이스 "대화를 위해 기울이기(Tilt to talk)"를 나타내는 스냅샷 프레임들의 쌍이다.
도 7은 제스처 인터페이스 "스캔을 위해 지향시키기(Point to Scan)"를 나타내는 스냅샷 프레임들(하부)의 시퀀스를 대응하는 스크린샷들(상부)과 함께 나타낸다.
도 8은 도 5-7에서 설명되는 대표적인 예들에 따른, 제스처 인터페이스를 갖도록 구성되는 진보된 검색 애플리케이션을 실행하는 이동 전자 장치에 의해 실행되는 방법의 상세 흐름도이다.

예시적인 이동 컴퓨팅 장치

도 1은 본 명세서에서 설명되는 기술들 및 해법들을 구현할 수 있는 이동 컴퓨팅 장치(100)의 상세한 예를 도시한다. 이동 장치(100)는 일반적으로 102에 도시되는 다양한 옵션 하드웨어 및 소프트웨어 컴포넌트를 포함한다. 일반적으로, 도시의 편의를 위해 모든 접속들이 도시되지는 않지만, 이동 장치 내의 컴포넌트(102)는 장치의 임의의 다른 컴포넌트와 통신할 수 있다. 이동 장치는 임의의 다양한 컴퓨팅 장치(예를 들어, 셀폰, 스마트폰, 핸드헬드 컴퓨터, 랩탑 컴퓨터, 노트북 컴퓨터, 태블릿 장치, 넷북, 미디어 플레이어, 개인용 휴대 단말기(PDA), 카메라, 비디오 카메라 등)일 수 있으며, 와이파이, 셀룰러 또는 위성 네트워크와 같은 하나 이상의 이동 통신 네트워크(104)와의 무선 양방향 통신을 가능하게 할 수 있다.

도시된 이동 장치(100)는 신호 코딩, 데이터 처리, 입출력 처리, 전력 제어 및/또는 다른 기능들과 같은 작업들을 수행하기 위한 제어기 또는 프로세서(110)(예로서, 신호 프로세서, 마이크로프로세서, ASIC 또는 다른 제어 및 처리 논리 회로)를 포함한다. 운영 체제(112)는 컴포넌트들(102)의 할당과 이용, 및 본 명세서에서 설명되는 혁신적인 특징들 중 하나 이상을 구현하는 진보된 검색 애플리케이션과 같은 하나 이상의 애플리케이션 프로그램(114)에 대한 지원을 제어한다. 제스처 인터페이스 소프트웨어에 더하여, 애플리케이션 프로그램들은 일반적인 이동 컴퓨팅 애플리케이션들(예를 들어, 전화 애플리케이션, 이메일 애플리케이션, 캘린더, 연락처 관리자, 웹 브라우저, 메시징 애플리케이션) 또는 임의의 다른 컴퓨팅 애플리케이션을 포함할 수 있다.

도시된 이동 장치(100)는 메모리(120)를 포함한다. 메모리(120)는 비이동식 메모리(122) 및/또는 이동식 메모리(124)를 포함할 수 있다. 비이동식 메모리(122)는 RAM, ROM, 플래시 메모리, 하드 디스크 또는 다른 공지된 메모리 저장 기술들을 포함할 수 있다. 이동식 메모리(124)는 플래시 메모리, 또는 GSM(Global System for Mobile Communications) 통신 시스템들 또는 다른 공지된 메모리 저장 기술들에서 잘 알려진 가입자 식별 모듈(SIM) 카드, 예를 들어 "스마트 카드들"을 포함할 수 있다. 메모리(120)는 운영 체제(112) 및 애플리케이션들(114)을 실행하기 위한 데이터 및/또는 코드를 저장하는 데 사용될 수 있다. 예시적인 데이터는 하나 이상의 유선 또는 무선 네트워크를 통해 하나 이상의 네트워크 서버 또는 다른 장치로 전송되고/되거나 그로부터 수신되는 웹페이지, 텍스트, 이미지, 사운드 파일, 비디오 데이터 또는 다른 데이터 세트를 포함할 수 있다. 메모리(120)는 국제 이동 가입자 식별(IMSI)과 같은 가입자 식별자 및 국제 이동 장비 식별자(IMEI)와 같은 장비 식별자를 저장하는 데 사용될 수 있다. 그러한 식별자들은 사용자들 및 장비를 식별하기 위해 네트워크 서버로 전송될 수 있다.

이동 장치(100)는 (예로서, 손가락 탭 입력, 손가락 제스처 입력 또는 가상 키보드 또는 키패드에 대한 키스트로크 입력을 캡처할 수 있는) 터치스크린(132), (예로서, 음성 입력을 캡처할 수 있는) 마이크(134), (예로서, 정지 사진 및/또는 비디오 이미지를 캡처할 수 있는) 카메라(136), 물리 키보드(138), 버튼 및/또는 트랙볼(140)과 같은 하나 이상의 입력 장치(130), 및 스피커(152) 및 디스플레이(154)와 같은 하나 이상의 출력 장치(150)를 지원할 수 있다. 다른 가능한 출력 장치들(도시되지 않음)은 압전 또는 다른 촉각 출력 장치들을 포함할 수 있다. 일부 장치들은 둘 이상의 입출력 기능을 서빙할 수 있다. 예를 들어, 터치스크린(132) 및 디스플레이(154)는 단일 입출력 장치 내에 결합될 수 있다.

이동 컴퓨팅 장치(100)는 하나 이상의 자연 사용자 인터페이스(NUI)를 제공할 수 있다. 예를 들어, 운영 체제(112) 또는 애플리케이션들(114)은 사용자로 하여금 음성 명령들을 통해 장치(100)를 조작하는 것을 가능하게 하는 음성 사용자 인터페이스의 일부로서 음성 인식 소프트웨어를 포함할 수 있다. 예를 들어, 사용자의 음성 명령들을 이용하여 검색 도구에 입력을 제공할 수 있다.

무선 모뎀(160))이 하나 이상의 안테나(도시되지 않음)에 결합될 수 있으며, 이 분야에서 잘 이해되는 바와 같이 프로세서(110)와 외부 장치들 사이의 양방향 통신을 지원할 수 있다. 모뎀(160)은 일반적으로 도시되며, 예를 들어 이동 통신 네트워크(104)와 장거리 통신하기 위한 셀룰러 모뎀, 블루투스 호환 모뎀(164) 또는 외부 블루투스 장착 장치 또는 로컬 무선 데이터 네트워크 또는 라우터와 단거리 통신하기 위한 와이파이 호환 모뎀(162)을 포함할 수 있다. 무선 모뎀(160)은 통상적으로 단일 셀룰러 네트워크 내에서, 셀룰러 네트워크들 사이에서 또는 이동 장치와 공중 교환 전화망(PSTN) 사이에서의 데이터 및 음성 통신을 위해 GSM 네트워크와 같은 하나 이상의 셀룰러 네트워크와 통신하도록 구성된다.

이동 장치는 적어도 하나의 입출력 포트(180), 전원(182), 글로벌 포지셔닝 시스템(GPS) 수신기와 같은 위성 내비게이션 시스템 수신기(184), 예를 들어 가속도계, 자이로스코프 또는 장치(100)의 배향 또는 모션을 검출하고 제스처 명령들을 입력으로서 수신하기 위한 적외선 근접 센서와 같은 센서들(186), (아날로그 또는 디지털 신호들을 무선 전송하기 위한) 송수신기(188) 및/또는 USB 포트, IEEE 1394(파이어와이어) 포트 및/또는 RS-232 포트일 수 있는 물리적 커넥터(190)를 더 포함할 수 있다. 도시된 컴포넌트들(102)은 필요하지 않거나 모두 포함되는데, 이는 도시된 임의의 컴포넌트가 생략될 수 있고, 다른 컴포넌트들이 추가될 수 있기 때문이다.

센서들(186)은 하나 이상의 MEMS 장치로서 제공될 수 있다. 일부 예들에서, 자이로스코프는 전화 모션을 감지하는 반면, 가속도계는 배향 또는 배향 변화를 감지한다. "폰 모션"은 일반적으로 자이로스코프 센서에 의해 검출될 수 있는 운동량의 변화를 포함하는, 하나의 공간 위치로부터 다른 공간 위치로의 전화의 이동에 의해 특성화되는 물리적 변화를 지칭한다. 가속도계는 원형 링 내에서 구르도록 제한되는 볼이 이동 장치의 각 변위 및/또는 각 운동량의 변화를 감지하여 3D에서의 그의 배향을 지시할 수 있는 볼 및 링(ball-and-ring) 구성을 이용하여 구현될 수 있다.

이동 장치는 위성 내비게이션 시스템 수신기(184)(예로서, GPS 수신기)를 통해 수신되는 정보에 기초하여 이동 장치의 위치를 지시하는 위치 데이터를 결정할 수 있다. 대안으로서, 이동 장치는 이동 장치의 위치를 지시하는 위치 데이터를 다른 방식으로 결정할 수 있다. 예를 들어, 이동 장치의 위치는 셀룰러 네트워크의 셀 타워들 간의 삼각 측량에 의해 결정될 수 있다. 또는, 이동 장치의 위치는 이동 장치 근처의 와이파이 라우터들의 공지 위치들에 기초하여 결정될 수 있다. 위치 데이터는 구현 및/또는 사용자 설정에 따라 매초마다 또는 소정의 다른 근거로 갱신될 수 있다. 위치 데이터의 소스에 관계없이, 이동 장치는 맵 내비게이션에서 사용하기 위해 위치 데이터를 맵 내비게이션 도구에 제공할 수 있다. 예를 들어, 맵 내비게이션 도구는 (이동 장치의 다른 컴포넌트로부터 갱신된 위치 데이터를 또한 획득할 수 있는) 운영 체제(112)에 의해 노출되는 인터페이스를 통해 현재 위치 데이터를 주기적으로 요청 또는 폴링하거나, 운영 체제(112)는 갱신된 위치 데이터를 콜백 메커니즘을 통해 그러한 갱신들을 위해 등록한 (본 명세서에서 설명되는 진보된 검색 애플리케이션과 같은) 임의의 애플리케이션으로 푸시한다.

진보된 검색 애플리케이션 및/또는 다른 소프트웨어 또는 하드웨어 컴포넌트들을 이용하여, 이동 장치(100)는 본 명세서에서 설명되는 기술들을 구현한다. 예를 들어, 프로세서(100)는 장면 및/또는 리스트 뷰를 갱신하거나, 상이한 제스처들에 의해 트리거링되는 사용자 입력과 관련하여 검색을 실행할 수 있다. 클라이언트 컴퓨팅 장치로서, 이동 장치(100)는 요청들을 서버 컴퓨팅 장치로 전송하고, 그에 대한 응답으로서 서버 컴퓨팅 장치로부터 이미지들, 거리들, 방향들, 검색 결과들 또는 다른 데이터를 수신할 수 있다.

도 1은 스마트폰(100)의 형태의 이동 장치를 도시하지만, 더 일반적으로는, 본 명세서에서 설명되는 기술들 및 해법들은 태블릿 컴퓨터, 이동 또는 데스크탑 컴퓨터에 접속된 가상 현실 장치, 텔레비전에 접속된 게임 장치 등과 같은 다른 스크린 능력들 및 장치 폼 팩터들을 갖는 접속된 장치들을 이용하여 구현될 수 있다. 컴퓨팅 서비스들(예로서, 원격 검색)은 국지적으로 또는 중앙 서비스 제공자 또는 인터넷과 같은 네트워크를 통해 접속된 서비스 제공자를 통해 제공될 수 있다. 따라서, 본 명세서에서 설명되는 제스처 인터페이스 기술들 및 해법들은 클라이언트 컴퓨팅 장치와 같은 접속된 장치 상에서 구현될 수 있다. 유사하게, 임의의 다양한 중앙 컴퓨팅 장치들 또는 서비스 제공자들은 서버 컴퓨팅 장치의 역할을 수행하고, 검색 결과들 또는 다른 데이터를 접속된 장치들에 전달할 수 있다.

도 2는 제스처에 응답하여 이동 장치에 대한 입력 모드를 선택하는 일반화된 방법(200)을 도시한다. 방법(200)은 전화 모션이 감지되고(202), 전화의 배향 또는 공간 위치의 변화를 포함하는 제스처인 것으로 해석(204)될 때 시작된다. 특정 제스처가 식별될 때, 입력 모드가 선택될 수 있고(206), 이동 장치의 하나 이상의 특징에 입력 데이터를 제공하는 데 사용될 수 있다(208). 특징들은 예를 들어 상이한 입력 모드들을 이용하여 명령들 및/또는 데이터를 수신할 수 있는 이동 장치의 검색 기능, 전화 호출 기능 또는 다른 기능들을 포함할 수 있다. 입력 모드들은 예를 들어 음성 입력, 이미지 입력, 텍스트 입력 또는 다른 감지 또는 환경 입력 모드들을 포함할 수 있다.

제스처 인터페이스를 이용하여 상이한 입력 모드들 사이에서 선택하기 위한 예시적인 소프트웨어 아키텍처

도 3은 사용자 제스처들을 검출하고, 이동 장치(100)를 검출된 사용자 제스처에 기초하여 다수의 청취 모드 중 하나로 스위칭하도록 구성되는 진보된 검색 애플리케이션(310)을 위한 예시적인 소프트웨어 아키텍처(300)를 도시한다. 클라이언트 컴퓨팅 장치(예로서, 스마트폰 또는 다른 이동 컴퓨팅 장치)가 아키텍처(300)에 따라 구성된 소프트웨어를 실행하여, 모션 감지 하드웨어와 인터페이스하고, 감지된 모션들을 해석하고, 상이한 타입의 검색 입력 모드들을 감지된 모션들과 연관시키고, 입력 모드에 따라 여러 상이한 검색 기능들 중 하나를 실행할 수 있다.

아키텍처(300)는 주요 컴포넌트들로서 장치 운영 체제(OS)(350), 및 제스처 인터페이스를 갖도록 구성되는 예시적인 진보된 검색 애플리케이션(310)을 포함한다. 도 3에서, 장치 OS(350)는 많은 컴포넌트 가운데 특히 렌더링을 위한 (예를 들어, 시각 출력을 디스플레이로 렌더링하고, 스피커용 음성 출력을 생성하기 위한) 컴포넌트들, 네트워킹을 위한 컴포넌트들, 비디오 인식을 위한 컴포넌트들, 음성 인식을 위한 컴포넌트들 및 제스처 모니터링 서브시스템(373)을 포함한다. 장치 OS(350)는 사용자 입력 기능들, 출력 기능들, 저장소 액세스 기능들, 네트워크 통신 기능들 및 장치를 위한 다른 기능들을 관리하도록 구성된다. 장치 OS(350)는 진보된 검색 애플리케이션(310)에 그러한 기능들에 대한 액세스를 제공한다.

진보된 검색 애플리케이션(310)은 검색 엔진(312), 검색 설정들을 저장하기 위한 메모리(314), 검색 결과들을 렌더링하기 위한 렌더링 엔진(316), 검색 결과들을 저장하기 위한 검색 데이터 저장소(318) 및 입력 모드 선택기(320)와 같은 주요 컴포넌트들을 포함할 수 있다. OS(350)는 텍스트 또는 이미지 기반일 수 있는 입력 검색 키들의 형태로 메시지들을 검색 애플리케이션(310)으로 전송하도록 구성된다. OS는 검색 엔진(312)으로부터 검색 결과들을 수신하도록 더 구성된다. 검색 엔진(312)은 원격(예를 들어, 인터넷 기반) 검색 엔진이거나, 이동 장치(100) 내에 저장된 정보를 검색하기 위한 로컬 검색 엔진일 수 있다. 검색 엔진(312)은 검색 결과들을 검색 데이터 저장소(318)에 저장하는 것은 물론, 검색 결과들을 위한 렌더링 엔진(316)을 이용하여 검색 결과들을 예를 들어 이미지, 사운드 또는 맵 데이터 형태로 출력할 수 있다.

사용자는 전통적인 (예를 들어, 스크린 기반) 사용자 인터페이스(UI)를 통해 진보된 검색 애플리케이션(310)에 대한 사용자 입력을 생성할 수 있다. 전통적인 사용자 입력은 손가락 모션, 터치스크린 입력과 같은 촉각 입력, 버튼 누름 또는 키 누름, 또는 오디오(음성) 입력의 형태일 수 있다. 장치 OS(350)는 터치스크린에 대한 촉각 입력을 위한 손가락 탭, 손가락 스와이프 등과 같은 모션들을 인식하고, 음성 입력, 버튼 입력 또는 키 누름 입력으로부터 명령들을 인식하고, 진보된 검색 애플리케이션(310) 또는 다른 소프트웨어에 의해 사용될 수 있는 메시지들을 생성하기 위한 기능을 포함한다. UI 이벤트 메시지들은 장치의 터치스크린 상의 패닝, 플릭킹, 드래깅, 탭핑 또는 다른 손가락 모션들, 키스트로크 입력, 또는 (예로서, 음성 입력, 방향 버튼들, 트랙볼 등으로부터의) 다른 UI 이벤트를 지시할 수 있다.

대안으로서, 사용자는 "제스처 인터페이스"(370)를 통해 진보된 검색 애플리케이션(310)에 대한 사용자 입력을 생성할 수 있으며, 이 경우에 진보된 검색 애플리케이션(310)은 하나 이상의 전화 모션 검출기(372)를 이용하여 전화 모션을 감지하고, 이동 장치(100)의 2D 또는 3D 배향을 변경하는 스크린 기반 아닌 사용자 손목 및 팔 제스처들을 제스처 모니터링 서브시스템(373)을 통해 인식하기 위한 추가적인 능력을 갖는다. 제스처들은 예를 들어 손 또는 팔 움직임, 이동 장치의 회전, 장치의 기울임, 장치 지향시킴 또는 장치의 배향 또는 공간 위치의 변경의 형태일 수 있다. 장치 OS(350)는 그러한 제스처들을 검출하기 위해 센서 입력을 수신하고, 진보된 검색 애플리케이션(310) 또는 다른 소프트웨어에 의해 사용될 수 있는 메시지들을 생성하기 위한 기능을 포함한다. 그러한 제스처가 감지될 때, 이동 장치(100)가 추가적인 입력을 청취하도록 청취 모드가 트리거링된다. 진보된 검색 애플리케이션(310)의 입력 모드 선택기(320)는 카메라 입력(374), 음성 입력(376) 또는 촉각 입력(378)으로서 수신될 수 있는 장치 OS(350)로부터의 사용자 입력 메시지들을 청취하고, 후술하는 다양한 대표적인 예들에 따라 감지된 제스처에 기초하여 이러한 입력 모드들 중에서 선택하도록 프로그래밍될 수 있다.

도 4는 제스처 인터페이스를 갖도록 구성되는 스마트폰 상에서 진보된 검색 특징을 구현하기 위한 예시적인 방법(400)을 도시한다. 방법(400)은 하나 이상의 센서가 전화 모션(402) 또는 특정 전화 배향(404)을 검출할 때 시작된다. 예를 들어, 자이로스코프 센서에 의해 전화 모션이 검출되는 경우, 모션은 모션이 전통적인 스크린 기반 사용자 인터페이스와 관련된 모션이 아니라 전화의 배향 변화 또는 공간 위치 이동과 같은 스마트폰 자체의 모션인지를 확인하기 위해 분석된다. 전화 모션이 검출될 때(402), 제스처 모니터링 서브시스템(373)은 감지된 모션을 해석하여, 사용자의 의도된 입력 모드를 지시하는 제스처들을 인식한다. 예를 들어, 전화의 회전이 감지되는 경우(403), 음성 입력을 이용하여 검색이 개시될 수 있다(403).

대안으로서, 전화의 특정 배향이 감지되는 경우(404) 또는 예를 들어 가속도계에 의해 배향 변화가 감지되는 경우, 제스처 모니터링 서브시스템(373)은 감지된 배향을 해석하여, 사용자의 의도된 입력 모드를 지시하는 제스처들을 인식한다. 예를 들어, 기울이기 제스처가 감지되는 경우, 음성 입력을 이용하여 검색이 개시될 수 있는 반면, 지향시키기 제스처가 감지되는 경우, 카메라 입력을 이용하여 검색이 개시될 수 있다. 전화가 이미 기울이기 또는 지향시키기 배향에 있는 동안에 턴온되는 경우, 전화가 정지 상태로 유지되는 경우에도, 제스처 모니터링 서브시스템(373)은 정지 배향을 제스처로서 해석하고, 관련 입력 모드를 이용하여 검색을 개시할 수 있다.

아래에 상세히 설명되는 예들에서, 스마트폰은 전화의 근단(하부)에 마이크를 그리고 전화의 원단(상부)에 카메라 렌즈를 갖도록 구성될 수 있다. 그러한 구성에서, 전화의 하단의 상승의 검출(408)은 검색 엔진에 대한 음성 입력(410)을 이용하여 검색을 개시하려는 사용자의 의도를 지시하며("대화를 위해 기울이기"), 전화의 상단의 상승의 검출(414)은 카메라 이미지들을 검색 엔진에 대한 입력(416)으로서 이용하여 검색을 개시하려는 사용자의 의도를 지시한다("스캔을 위해 지향시키기"). 검색 엔진이 입력을 수신하면, 검색 엔진은 검색을 수행하도록 활성화되며(412), 검색의 결과들이 수신되고, 스마트폰의 스크린 상에 표시될 수 있다(418). 상이한 타입의 전화 모션이 검출되는 경우(402), 제스처 인터페이스는 검색이 아닌 다른 특징을 실행하도록 프로그래밍될 수 있다.

도 5에서, 예시적인 이동 장치(500)가 상면(502) 및 하면(504)을 갖는 스마트폰으로서 도시된다. 예시적인 장치(500)는 주로 상면(502)에 걸쳐 연장하는 디스플레이(506)를 통해 사용자 입력 명령들을 수신한다. 디스플레이(506)는 터치 감지식이거나, 입력 장치는 물론 출력 장치로도 기능하도록 구성될 수 있다. 예시적인 이동 장치(500)는 내부 모션 센서들, 및 하나의 단부 근처에 그리고 하면(504) 근처에 배치될 수 있는 마이크(588)를 포함한다. 이동 장치(500)는 하면(504) 내에 통합될 수 있는 카메라 렌즈를 갖는 카메라도 구비할 수 있다. 이동 장치(500)의 물리적 변화들을 검출할 수 있는 내부 센서들을 포함하는 이동 장치(500)의 다른 컴포넌트들 및 동작은 일반적으로 위의 범용 이동 장치(100)의 설명에 따른다.

상면(502)의 지정된 영역(507)이 이동 장치(500)의 종종 사용되는 기능들에 대한 자동 "고속 액세스"를 위해 구성되는 특수 기능 장치 버튼들(508, 510, 512)을 위해 예약될 수 있다. 대안으로서, 장치(500)는 더 많은 버튼을 포함하거나, 더 적은 버튼을 포함하거나, 어떠한 버튼도 포함하지 않는다. 버튼들(508, 510, 512)은 터치 감지 디스플레이(506)의 나머지와 물리적으로 유사한 터치스크린 버튼들로서 구현될 수 있거나, 버튼들(508, 510, 512)은 서로에 대해 그리고 디스플레이(506)에 대해 이동할 수 있는 기계적 푸시 버튼들로서 구성될 수 있다.

각각의 버튼은 활성화될 때 소정의 붙박이 특징 또는 하드-와이어드 애플리케이션을 개시하도록 프로그래밍된다. 버튼들(508, 510, 512)과 관련되는 애플리케이션(들)은 아이콘들(509, 511, 513) 각각에 의해 심벌화될 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 좌측 버튼(508)은 좌측 화살표 아이콘(509)에 의해 심벌화된 "백" 또는 "이전 스크린" 기능과 관련된다. "백" 버튼의 활성화는 장치의 사용자 인터페이스의 내비게이션을 개시한다. 중앙 버튼(510)은 매직 카페트/윈도(상표) 아이콘(511)에 의해 심벌화된 "홈" 기능과 관련된다. "홈" 버튼의 활성화는 홈 스크린을 표시한다. 우측 버튼(512)은 확대경 아이콘(513)에 의해 심벌화된 검색 특징과 관련된다. 검색 버튼(512)의 활성화는 이동 장치(500)로 하여금 검색 버튼(512)이 활성화되는 포인트에 따라 예를 들어 검색 페이지에서 웹 브라우저 내에서, 연락처 애플리케이션 또는 소정의 다른 검색 메뉴 내에서 검색을 시작하게 한다.

본 명세서에서 설명되는 제스처 인터페이스는 검색 버튼(512)에 의해 통상적으로 개시되거나 터치 감지 디스플레이(506)와의 접촉을 필요로 하는 다양한 검색 애플리케이션들의 능력들을 진보시키는 것과 관련된다. 검색 버튼(512)을 이용하여 검색 애플리케이션을 활성화하는 것에 대한 대안으로서, 활성화는 디스플레이(506)에 액세스할 필요 없이 하나 이상의 사용자 제스처에 의해 자동으로 개시될 수 있다. 예를 들어, 이동 장치(500)가 제스처 인터페이스를 통해 그의 배향의 변화를 검출하는 진보된 검색 기능 시나리오가 도 5에 도시된다. 센서들에 의해 검출될 수 있는 제스처들은 장치의 회전, 장치 뒤집기, 장치 기울이기 또는 장치 지향시키기와 같은 이차원 및 삼차원 배향 변경 제스처들을 포함하며, 이들 각각은 사용자로 하여금 장치(500)가 사용자의 손 또는 팔뚝의 연장부인 것처럼 장치를 조작함으로써 장치(500)에 명령할 수 있게 한다. 도 5는 배향 변화가 감지되어 제스처 인터페이스가 호출될 때 사용자가 관찰하는 것을 더 도시한다. 본 예에 따르면, 사용자가 우측으로 도는 화살표(592)에 의해 지시되는 바와 같이 시계 방향으로 이동 장치(500)를 회전시킬 때, 청취 모드(594)가 트리거링될 수 있다. 이에 응답하여, 이동 장치(500)가 이제 음성 인식 모드에 있다는 시각 지시자로서 사용되는 그래프(596)와 함께 단어 "청취..."가 디스플레이(506) 상에 나타나서, 사용자로부터의 음성 명령들을 기다린다. 그래프(596) 상에 표시되는 신호가 마이크(588)에 의해 검출되는 주변 사운드들에 응답하여 변동한다. 대안으로서, 반시계 방향 회전이 음성 입력 모드 또는 상이한 입력 모드를 트리거링할 수 있다.

도 6에서, 예시적인 이동 장치(600)가 상면(602) 및 하면(604)을 갖는 스마트폰으로서 도시된다. 예시적인 장치(600)는 주로 상면(602)에 걸쳐 연장하는 디스플레이(606)를 통해 사용자 입력 명령들을 수신한다. 디스플레이(602)는 터치 감지식이거나, 입력 장치는 물론 출력 장치로도 기능하도록 구성될 수 있다. 예시적인 이동 장치(600)는 내부 센서들, 및 전화의 하단 또는 근단 근처에 그리고 하면(604) 근처에 배치되는 마이크(688)를 포함한다. 이동 장치(600)는 전화의 원단(상부)에서 하면(604) 내에 통합될 수 있는 카메라 렌즈를 갖는 내부 카메라도 구비할 수 있다. 이동 장치(600)의 배향 변화들을 검출할 수 있는 내부 센서들을 포함하는 이동 장치(600)의 다른 컴포넌트들 및 동작은 일반적으로 위의 범용 이동 장치(100)의 설명에 따른다.

이동 장치(600)는 진보된 검색 애플리케이션의 다른 대표적인 예를 나타내기 위해 도 6에서 한 쌍의 순차적 스냅샷 프레임들(692, 694) 내에 나타나며, 이 예는 "대화를 위해 기울이기"로서 지칭된다. 이동 장치(600)는 사용자의 손(696) 안에 도시되며, 처음에 도 6의 좌측 스냅샷 프레임(692)에서 실질적으로 수직 위치에 유지되며, 나중에 도 6의 우측 스냅샷 프레임(694)에서 기울어진 위치에 유지된다. 사용자의 손(696)이 사용자의 관점에서 앞으로 그리고 아래로 기울 때, 이동 장치(600)의 배향은 실질적 수직으로부터 실질적 수평으로 변하여, 이동 장치(600)의 근단에 위치하는 마이크(688)가 노출된다. 전화의 근단(하부)이 전화의 원단(상부) 위로 상승하여 전화가 "역 기울기" 배향이 된 것을 감지할 때, 제스처 인터페이스는 검색 애플리케이션의 개시를 트리거링하며, 여기서 입력 모드는 음성 입력이다.

도 7에서, 예시적인 이동 장치(700)가 상면(702) 및 하면(704)을 갖는 스마트폰으로서 도시된다. 예시적인 장치(600)는 주로 상면(702)에 걸쳐 연장하는 디스플레이(706)를 통해 사용자 입력 명령들을 수신한다. 디스플레이(706)는 터치 감지식이거나, 입력 장치는 물론 출력 장치로도 기능하도록 구성될 수 있다. 예시적인 이동 장치(700)는 내부 센서들, 및 전화의 하단 또는 근단 근처에 그리고 하면(704) 근처에 배치되는 마이크(788)를 포함한다. 이동 장치(700)는 전화의 원단(상부)에서 하면(704) 내에 통합되는 카메라 렌즈(790)를 갖는 내부 카메라도 구비할 수 있다. 이동 장치(700)의 배향 변화들을 검출할 수 있는 내부 센서들을 포함하는 이동 장치(700)의 다른 컴포넌트들 및 동작은 일반적으로 위의 범용 이동 장치(100)의 설명에 따른다.

이동 장치(700)는 도 7에서 진보된 검색 애플리케이션의 다른 대표적인 예를 나타내는 일련의 3개의 순차적 스냅샷 프레임(792, 793, 794) 내에 나타나며, 이 예는 "스캔을 위해 지향시키기"로서 지칭된다. 이동 장치(700)는 사용자 손(796) 안에 도시되며, 처음에 도 7의 좌측 스냅샷 프레임(792)에서 실질적 수평 위치에 유지되고; 중간 시점에 중앙 스냅샷 프레임(793)에서 기울어진 위치에 유지되며; 나중에 우측 스냅샷 프레임(794)에서 실질적 수직 위치에 유지된다. 따라서, 사용자의 손(796)이 사용자의 관점에서 뒤로 그리고 위로 기울 때, 이동 장치(700)의 배향은 실질적 수평 위치로부터 실질적 수직 위치로 변하여, 이동 장치(700)의 원단에 위치하는 카메라 렌즈(770)가 노출된다. 카메라 렌즈(790)는 장면으로부터 반사되는 광(797)의 원뿔을 수신하도록 배치되며, 원뿔(797)은 하면(704)에 수직인 렌즈 축(798)에 대해 대체로 대칭이다. 따라서, 이동 장치(700)를 지향시킴으로써, 사용자는 카메라 렌즈(790)를 겨냥하여 특정 타겟 장면을 스캔할 수 있다. 전화의 원단(상부)이 사전 결정된 임계각만큼 전화의 근단(하부) 위로 상승하는 이동 장치(700)의 배향 변화를 감지할 때(이는 타겟 장면에서 카메라 렌즈(790)를 지향시키기 위한 모션과 일치함), 제스처 인터페이스는 그러한 모션을 지향 제스처인 것으로 해석한다. 사전 결정된 임계각은 임의의 원하는 값을 가질 수 있다. 통상적으로, 값들은 45도와 90도 사이의 범위 내의 어딘가에 있다. 이어서, 제스처 인터페이스는 카메라 기반 검색 애플리케이션의 개시를 트리거링함으로써 지향 제스처에 응답하며, 여기서 입력 모드는 카메라 이미지 또는 이동 장치(700)가 현재 향하는 방향에서의 장면의 "스캔"이다. 대안으로서, 제스처 인터페이스는 카메라 애플리케이션 또는 다른 카메라 관련 특징의 개시를 트리거링함으로써 지향 제스처에 응답할 수 있다.

도 7은 배향 변경이 감지되어 제스처 인터페이스가 호출될 때 사용자가 관찰하는 것을 더 도시한다. 도 7의 상부에서, 일련의 3개의 순차적 스크린 샷(799a, 799b, 799c) 각각은 디스플레이를 위해 카메라 렌즈(790)에 의해 캡처된 상이한 장면들을 나타낸다. 스크린 샷들(799a, 799b, 799c)은 각각의 스크린 샷 아래의 프레임들(792, 793, 794) 각각에 도시된 장치 배향들의 시퀀스에 대응한다. 이동 장치(700)가 수평 위치에 있을 때, 카메라 렌즈(790)는 아래로 향하고, 센서들은 아직 제스처를 검출하지 않았다. 따라서, 스크린 샷(799a)은 가장 최근에 표시된 장면(카메라 뷰)을 유지한다. (도 7에 도시된 예에서, 이전 이미지는 바다 표면에서 헤엄치는 상어들의 하면의 이미지이다. 그러나, 센서들이 사용자의 손(796)의 뒤로 그리고 위로의 모션을 검출할 때, 카메라 모드가 트리거링된다. 이에 응답하여, 카메라 렌즈(790)가 입력 데이터를 제공하는 검색 기능이 활성화된다. 이어서, 단어 "교통", "영화" 및 "식당"이 디스플레이(706) 상에 나타나고, 배경 장면이 스크린샷(799a)에 나타난 이전 장면으로부터 스크린샷(799b)에 나타난 현재 장면으로 갱신된다. 프레임(799c)에 나타난 바와 같이 현재 장면에 초점이 맞춰지면, 식별 기능이 호출되어, 장면 내의 경계표들을 식별하고, 그러한 경계표들에 기초하여 현재 위치를 추정할 수 있다. 예를 들어, GPS 맵핑 데이터를 이용하여, 식별 기능은 현재 위치가 맨하탄인 것으로 추정할 수 있고, 빌딩들의 GPS 및 이미지 인식의 결합을 이용하여, 위치는 타임스 스퀘어로 좁혀질 수 있다. 이어서, 디스플레이(706) 상에 위치명이 나타날 수 있다.

위의 도 5-7의 상세한 예들을 통해 설명된 바와 같은 제스처 인터페이스(114)를 갖도록 구성된 진보된 검색 애플리케이션은 도 8에 도시된 검색 방법(800)을 실행할 수 있다. 이동 장치 내의 센서들은 전화 모션을 감지하며(802), 즉 센서들은 장치의 모션, 장치 배향의 변화 또는 이들 양자를 포함하는 장치의 물리적 변화를 검출한다. 이어서, 제스처 인터페이스 소프트웨어는 모션을 해석하여(803), 회전 제스처(804), 역 기울이기 제스처(806) 또는 지향 제스처(808)를 인식 및 식별하거나, 이들 중 어느 것도 행하지 않는다. 제스처들(804, 806 또는 808) 중 어느 것도 식별되지 않는 경우, 센서들은 추가적인 입력을 계속 기다린다(809).

회전 제스처(804) 또는 역 기울이기 제스처(806)가 식별되는 경우, 방법은 마이크(814)를 통해 구두 명령들을 수신하기 위해 음성 입력 모드(815)를 사용하는 검색 기능(810)을 트리거링한다. 이동 장치는 청취 모드(816)에 배치되며, 검색 기능에 대한 구두 명령 입력(816)을 기다리는 동안에 "청취"와 같은 메시지가 표시될 수 있다(818). 음성 입력이 수신되면, 검색 기능은 발음된 단어들을 검색 키들로서 사용하여 진행된다. 대안으로서, 음성 입력 모드(815)를 트리거링하는 회전(804) 및 기울이기(806) 제스처들의 검출은 검색 기능 대신에 또는 그에 더하여 다른 장치 특징(예로서, 상이한 프로그램 또는 기능)을 런칭할 수 있다. 마지막으로, 방법(800)의 제어는 모션 검출(820)로 복귀한다.

지향 제스처가 식별되면(808), 방법(800)은 카메라(822)를 통해 이미지 데이터를 수신하기 위해 이미지 기반 입력 모드(823)를 사용하는 검색 기능(812)을 트리거링한다. 이어서, 스크린 상에 실시간으로 표시(828)하기 위해 카메라 렌즈에 의해 장면이 추적될 수 있다. 한편, GPS 측위기가 활성화되어(824), 장면에 관한 위치 정보를 검색할 수 있다. 게다가, 이미지 인식 소프트웨어가 장면의 요소들을 분석하여 이동 장치의 즉석 위치(830)를 더 식별하고 특성화할 수 있다. 국지적 장면이 식별되면, 장면의 스크린 샷 상에 위치 설명자들(832)을 오버레이함으로써 정보가 사용자에게 전송될 수 있다. 게다가, 국지적 장면의 특성들 또는 그 안의 추가적인 요소들, 예를 들어 이웃의 비즈니스들, 여행자 유혹물들 등이 목록화될 수 있다. 대안으로서, 카메라 기반 입력 모드(823)를 트리거링하는 지향(808) 제스처의 검출은 검색 기능 대신에 또는 그에 더하여 다른 장치 특징(예로서, 상이한 프로그램 또는 기능)을 런칭할 수 있다. 마지막으로, 방법(800의 제어는 모션 검출(834)로 복귀한다.

개시된 방법들 중 일부의 동작들은 편리한 설명을 위해 특정 순서로 설명되었지만, 이러한 설명 방식은 후술하는 특정 언어들에 의해 특정 순서가 요구되지 않는 한은 재배열을 포함한다는 것을 이해해야 한다. 예를 들어, 순차적으로 설명되는 동작들은 일부 예들에서 재배열되거나 동시에 수행될 수 있다. 더욱이, 간소화를 위해, 첨부된 도면들은 개시된 방법들이 다른 방법들과 연계하여 사용될 수 있는 다양한 방식들을 나타내지 않을 수 있다.

개시된 방법들 중 임의의 방법은 하나 이상의 컴퓨터 판독 가능 저장 매체(예로서, 하나 이상의 광학 매체 디스크, 휘발성 메모리 컴포넌트(DRAM 또는 SRAM 등) 또는 비휘발성 메모리 컴포넌트(하드 드라이브 등)와 같은 비일시적 컴퓨터 판독 가능 매체) 상에 저장되고 컴퓨터(예를 들어, 컴퓨팅 하드웨어를 포함하는 스마트폰 또는 다른 이동 장치를 포함하는 상용 컴퓨터) 상에서 실행되는 컴퓨터 실행 가능 명령어들로서 구현될 수 있다. 개시되는 기술들을 구현하기 위한 임의의 컴퓨터 실행 가능 명령어들은 물론, 개시되는 실시예들의 구현 동안 생성되고 사용되는 임의의 데이터는 하나 이상의 컴퓨터 판독 가능 매체(예로서, 비일시적 컴퓨터 판독 가능 매체) 상에 저장될 수 있다. 컴퓨터 실행 가능 명령어들은 예를 들어 전용 소프트웨어 애플리케이션 또는 웹 브라우저를 통해 액세스되거나 다운로드되는 소프트웨어 애플리케이션 또는 다른 소프트웨어 애플리케이션(원격 컴퓨팅 애플리케이션 등)의 일부일 수 있다. 그러한 소프트웨어는 예를 들어 단일 로컬 컴퓨터(예로서, 임의의 적절한 상용 컴퓨터) 상에서 또는 네트워크 환경에서(예를 들어, 인터넷, 광역 네트워크, 근거리 네트워크, 클라이언트-서버 네트워크(클라우드 컴퓨팅 네트워크 등) 또는 다른 그러한 네트워크를 통해) 하나 이상의 네트워크 컴퓨터를 이용하여 실행될 수 있다.

명료화를 위해, 소프트웨어 기반 구현들의 소정의 선택된 양태들만이 설명된다. 이 분야에 공지된 다른 상세들은 생략된다. 예를 들어, 개시되는 기술은 임의의 특정 컴퓨터 언어 또는 프로그램으로 한정되지 않는다는 것을 이해해야 한다. 예를 들어, 개시되는 기술은 C++, Java, Perl, JavaScript, Adobe Flash 또는 임의의 다른 적절한 프로그래밍 언어로 작성된 소프트웨어에 의해 구현될 수 있다. 또한, 개시되는 기술은 임의의 특정 컴퓨터 또는 하드웨어 타입으로 한정되지 않는다. 적절한 컴퓨터들 및 하드웨어의 소정 상세들은 공지되어 있으며, 본 명세서에서는 상세히 설명될 필요가 없다.

더구나, (예를 들어, 컴퓨터로 하여금 임의의 개시되는 방법을 수행하게 하기 위한 컴퓨터 실행 가능 명령어들을 포함하는) 임의의 소프트웨어 기반 실시예가 적절한 통신 수단을 통해 업로드, 다운로드 또는 원격 액세스될 수 있다. 그러한 적절한 통신 수단은 예를 들어 인터넷, 월드 와이드 웹, 인트라넷, 소프트웨어 애플리케이션, (광섬유 케이블을 포함하는) 케이블, 자기 통신, (RF, 마이크로웨이브 및 적외선 통신을 포함하는) 전자기 통신, 전자 통신 또는 다른 그러한 통신 수단을 포함한다.

개시되는 방법들, 장치들 및 시스템들은 한정적인 것으로 해석되지 않아야 한다. 대신에, 본 발명은 다양한 개시되는 실시예들의 모든 새로운, 자명하지 않은 특징들 및 양태들과 단독으로 그리고 서로의 다양한 조합들 및 하위 조합들에서 관련된다. 개시되는 방법들, 장치들 및 시스템들은 임의의 특정 양태 또는 특징 또는 그 조합으로 한정되지 않으며, 개시되는 실시예들은 어느 하나 이상의 특정 장점이 존재하거나 문제가 해결되는 것을 요구하지 않는다.

개시되는 발명의 원리들이 적용될 수 있는 많은 가능한 실시예에 비추어, 설명된 실시예들은 본 발명의 바람직한 예들일 뿐이며, 본 발명의 범위를 한정하는 것으로 간주되지 않아야 한다는 것을 인식해야 한다. 오히려, 본 발명의 범위는 아래의 청구범위에 의해 정의된다. 따라서, 본 발명은 이 청구범위의 범위 내에 속하는 모든 것을 우리 발명으로 청구한다.

Claims

이동 전화로서,
전화 모션 검출기와,
복수의 입력 장치와,
상이한 입력 모드들에 따라 상기 입력 장치로부터 입력을 수신하고, 상기 전화 모션 검출기에 의해 감지되는 물리적 변화를 해석함으로써 사용자 제스처를 인식하고 식별하도록 적응되는 제스처 인터페이스를 갖는 진보된 검색 기능을 활성화하도록 프로그래밍되는 프로세서
를 포함하고,
상기 제스처 인터페이스는 상기 제스처에 기초하여 상이한 사용자 입력 모드 중에서 선택하도록 구성되는 이동 전화.
제1항에 있어서,
상기 입력 장치는 카메라 또는 마이크 중 하나 이상을 포함하는 이동 전화.
제1항에 있어서,
상기 전화 모션 검출기는 가속도계, 자이로스코프, 근접 센서, 열 검출기, 광 검출기 또는 무선 주파수 검출기 중 하나 이상을 포함하는 센서를 포함하는 이동 전화.
제1항에 있어서,
상기 입력 모드는 이미지 기반, 사운드 기반 및 텍스트 기반 입력 모드 중 하나 이상을 포함하는 이동 전화.
전자 장치의 상이한 사용자 입력 모드 중에서 선택하는 방법으로서,
전화 모션을 감지하는 단계와,
상기 전화 모션을 분석하여 제스처를 검출하는 단계와,
상기 제스처에 기초하여 다수의 입력 모드 중에서 선택하는 단계와,
상기 입력 모드를 통해 수신된 정보에 기초하여 특징을 개시하는 단계
를 포함하는 방법.
제5항에 있어서,
상기 특징은 검색인 방법.
이동 전화의 검색 기능에 대한 상이한 사용자 입력 모드 중에서 선택하는 방법으로서,
전화 모션을 감지하는 단계와,
회전 또는 역 기울이기 제스처에 응답하여, 상기 검색 기능에 대한 음성 입력을 수신하는 단계와,
지향 제스처에 응답하여, 상기 검색 기능에 대한 카메라 이미지 입력을 수신하는 단계와,
검색 엔진을 활성화하여 검색을 수행하는 단계와,
검색 결과를 표시하는 단계
를 포함하는 방법.
제7항에 있어서,
전화 모션은 a) 장치의 배향의 변화, 또는 b) 상기 장치의 위치의 변화 중 하나 이상을 포함하는 방법.
제7항에 있어서,
상기 역 기울이기 제스처는 상기 전화의 근단(proximal)의 원단(distal end) 위로의 상승에 의해 특성화되는 방법.
제7항에 있어서,
상기 지향 제스처는 상기 전화의 원단의 근단 위로의 임계각을 통한 상승에 의해 특성화되는 방법.