KR20140105807A - 힘 감지 제스처 인식을 위한 방법 및 디바이스 - Google Patents

Abstract

힘 감지 제스처 인식(force sensing gesture recognition)을 위한 방법 및 디바이스는 프로세서, 모션 감지기(motion detector), 및 힘 감지기를 포함한다. 모션 감지기가 제스처에 상응하는 모바일 디바이스의 모션을 감지하고, 실행될 명령(command)을 나타내는 제스처 데이터를 생성한다. 힘 센서는 가해진 힘의 크기를 감지하고 힘 데이터를 생성한다. 가해진 힘의 크기는 명령이 실행될 모드를 나타낸다. 프로세서는 모션 감지기 및 힘 센서에 연결된다. 프로세서는 제스처 데이터 및 힘 데이터의 함수로서 명령을 실행한다.

Description

힘 감지 제스처 인식을 위한 방법 및 디바이스{METHOD AND DEVICE FOR FORCE SENSING GESTURE RECOGNITION}

본 발명은 일반적으로 제스처 데이터 및 힘 데이터를 수신하도록 구성된 전자 디바이스에 관한 것이고, 특히 제스처 데이터 및 힘 데이터의 함수로서 명령을 실행하는 것에 관한 것이다.

전자 디바이스는 갖가지 상이한 입력 기술들을 포함할 수 있다. 예를 들면, 전자 디바이스는 키패드를 포함하여 사용자가 입력할 수 있도록 한다. 또 다른 예로, 전자 디바이스는 터치 센서를 포함하여 사용자가 입력하도록 할 수 있다. 제스처 인식(gesture recognition)은 전자 디바이스들에서 인기를 얻고 있다. 적절히 이용되었을 때, 제스처 인식은 더 빠르고 더 직관적인 명령들을 가능하게 한다. 그러나, 제스처 인식은 그것과 연관된 본질적인 한계들을 가진다. 정확도(accuracy)가 하나의 그러한 한계이다. 보편적으로 인식되는 언어를 대신하여, 표준 제스처들의 라이브러리가 없다. 더 중요하게는, 공통적인 제스처에 대해서, 상이한 사용자들은 작업을 상이하게 수행할 것이다. 예를 들면, 왼쪽 슬라이드 제스처에 대하여 일부 사용자들은 먼저 오른쪽으로 약간 움직였다가 왼쪽으로 슬라이드 하는 것을 선호하는 반면, 다른 사용자들은 먼저 왼쪽으로 슬라이드한 후 반대로 되돌아올 것이다. 정확도를 높이기 위하여 수많은 연구들이 은닉 마코프 모델들(hidden Markov models) 및 동적 시간 왜곡 방법들(Dynamic time warping methods)과 같은 상이한 인식 알고리즘들을 사용하여 수행되었으나 큰 성공을 얻지 못하였다. 이러한 한계를 극복하는 더욱 직설적인 방법은 혼란을 피하기 위해서, 수행되는 제스처들의 개수를 제한하는 것이다. 그러나, 이는 결과적으로 제스처링 자체의 유용성을 제한하게 된다.

제스처 인식의 또 다른 한계는 제스처들을 수행하는 동안 시각적인 피드백이 제한된다는 것이다. 게이밍 콘솔(gaming console)과는 달리, 핸드-헬드 모바일 유닛들(hand-held mobile units)에서 제스처의 적용은, 모션 감지 및 시각적 디스플레이가 동일한 디바이스에서 이루어진다는 사실에 의해 제한된다. 따라서, 큰 모션은 사용자가 디스플레이를 볼 수 있는 능력에 영향을 미친다. 예를 들어 스크롤링을 위해 디바이스를 기울이는 것은 많은 모바일 어플리케이션들에서 흔히 사용되는 제스처이다. 기울이는 정도가 스크롤링의 속도를 결정한다. 그러나, 디바이스를 기울이는 행위는 디스플레이의 가시성(visibility)을 모호하게 하고 사용자로의 시각적인 피드백을 제한한다. 햅틱 진동 및 오디오 또한 부가적인 피드백을 제공하기 위하여 사용될 수도 있지만, 종종 프로세스의 시각화 대신 최종 확인(final confirmation)으로 제한된다.

한 측면에 있어서, 본 발명은 모바일 디바이스에 구현된다. 모바일 디바이스는 제스처에 상응하는 모바일 디바이스의 모션을 감지하는 모션 감지기(motion detector)를 포함한다. 모션 감지기는 실행될 명령(command)을 나타내는 제스처 데이터를 생성한다. 힘 센서는 가해진 힘의 크기를 감지하고 힘 데이터를 생성한다. 가해진 힘의 크기는 명령이 실행될 모드를 나타낸다. 프로세서는 모션 감지기 및 힘 센서에 연결된다. 프로세서는 제스처 데이터 및 힘 데이터의 함수로 명령을 실행한다.

모션 감지기는 가속도계(accelerometer), 자이로스코프(gyroscope) 또는 수은 스위치(mercury switch) 중 하나 이상일 수 있다. 모바일 디바이스는 또한 명령에 관한 정보를 디스플레이하기 위한 디스플레이를 포함한다. 일 실시예에서, 힘 센서는 제어 스위치에 구현된다. 또 다른 실시예에서, 힘 센서는 힘-감지 터치 스크린 디스플레이에 구현된다.

일 실시예에서, 가해진 힘의 크기는 명령이 실행될 상이한 모드들에 상응하는, 힘의 복수의 이산 범위들(a plurality of discrete ranges of force)을 포함한다. 또 다른 실시예에서, 가해진 힘의 크기는 끊임없이 변하는 힘의 작용을 포함한다.

모바일 디바이스는 또한 제스처 데이터 및 힘 데이터 중 적어도 하나를 저장하는 메모리를 포함할 수 있다. 명령은 스크롤 명령일 수 있고 모드는 스크롤 레이트(scroll rate)일 수 있다. 일 실시예에서, 모바일 디바이스를 기울이는 것은 스크롤 명령을 활성화하고, 가해진 힘의 크기의 변경은 스크롤 레이트를 변화시킨다.

또 다른 측면에서, 본 발명은 모바일 디바이스의 명령을 실행하기 위한 방법에 구현된다. 그 방법은 제스처에 상응하는 모바일 디바이스의 모션의 감지 및 제스처 데이터의 생성을 포함한다. 제스처 데이터는 실행될 명령을 나타낸다. 힘 센서에 가해진 힘의 크기가 감지되고 힘 데이터가 생성된다. 가해진 힘의 크기는 명령이 실행될 모드를 나타낸다. 명령은 제스처 데이터 및 힘 데이터의 함수로 실행된다.

일 실시예에서, 가속도계, 자이로스코프, 수은 스위치 중 하나 이상일 수 있는 모션 감지기를 사용하여 힘이 감지된다. 디스플레이는 명령에 관한 정보를 디스플레이할 수 있다. 일 실시예에서, 가해진 힘의 크기를 감지하는 것은 힘 센서에 압력을 가하는 것을 포함한다. 가해진 힘의 크기는 명령이 실행될 상이한 모드들에 상응하는 힘의 복수의 이산 범위들을 포함할 수 있다. 그 대신에, 가해진 힘의 크기는 끊임없이 변하는 힘의 작용을 포함할 수 있다.

일 실시예에서, 제스처 데이터 및 힘 데이터 중 적어도 하나는 메모리에 저장될 수 있다. 일 실시예에서, 명령은 스크롤 명령을 포함하고, 모드는 스크롤 레이트를 포함한다. 일 실시예에서, 모바일 디바이스를 기울이는 것은 스크롤 명령을 활성화하고, 가해진 힘의 크기를 변경하는 것은 스크롤 레이트를 변화시킨다.

통상의 기술자들은 도면들에 있는 요소들이 간단함 및 명료함을 위하여 도시되었고 반드시 일정한 비율로 그려진 것이 아니라는 것을 인정할 것이다. 예를 들어 도면들에 있는 요소들의 일부의 크기는 다양한 실시예들의 이해를 개선하도록 돕기 위해 다른 요소들보다 상대적으로 과장되었을 수 있다. 게다가, 설명과 도면들은 도시된 순서를 반드시 필요로 하지 않는다. 어떠한 액션들 및/또는 단계들이 특정한 발생 순서로 설명되고 도시될 수 있지만 당해 분야에서 통상의 지식을 가진 자들은 시퀀스에 관하여 그러한 특이성(specificity)이 실제로 필요하지 않다고 이해할 것이다. 장치 및 방법 컴포넌트들이 도면들의 적절한 곳에 일반적인 부호들로 표현되어, 본 명세서의 설명으로부터 이득을 얻는 당해 분야에서 통상의 지식을 가진 자들에게 쉽게 분명해질 세부사항들로 인해 본 개시가 모호하지 않도록 다양한 실시예들의 이해에 적절한 특정 세부사항들만을 보여준다. 따라서, 도면의 간단함 및 명료성을 위하여, 상업적으로 실현 가능한 실시예들에서 유용하거나 필요한 흔하고 잘 알려진 요소들은, 다양한 실시예들을 보는 것을 덜 방해하도록 하기 위하여 도시되지 않을 수 있다.
다양한 도면들에서 유사한 숫자들이 유사한 구조적 요소들 및 특징들을 나타내는 첨부된 도면들과 함께 이하의 설명을 참조함으로써, 상술한 것 및 그 외의 본 발명의 이점들이 잘 이해될 것이다. 숙련된 기술자들은 본 명세서에서 괄호 안에 있는 참조 지시기호들(reference designators)은 논의 중인 것 외의 도면에 도시된 컴포넌트들을 나타냄을 인정할 것이다. 예를 들어, 도 A를 논의하면서 디바이스(10)에 대해 말하는 것은 도 A 이외의 도면에 도시된 요소 10을 지칭할 것이다.
도 1은 본 발명의 일 실시예에 따른 모바일 디바이스의 사시도.
도 2는 일부 실시예에 따른 도 1의 모바일 유닛의 컴포넌트들의 블록도.
도 3은 일부 실시예에 따른, 제스처 데이터 및 힘 데이터의 함수로 명령을 결정하기 위한 방법의 흐름도.

이하의 세부적인 설명은 본질적으로 단지 설명적일 뿐이며, 본 발명 또는 본 출원 및 본 발명의 사용들을 제한하려는 의도가 아니다. 더욱이, 전술된 기술 분야, 배경 기술, 발명의 내용 또는 이하의 세부적인 설명에 존재하는 임의의 표현 또는 암시된 이론들에 의해 속박되려는 의도가 없다.

간결함을 위하여, 모션 감지 기술에 관한 많은 전통적인 기술들 및 원리들은 본 명세서에 세부적으로 설명될 필요가 없고 세부적으로 설명되지 않았다. 예를 들어, 가속도계들과 같은 전통적인 모션 센서들에 관한 세부사항들은 세부적으로 설명되지 않았다.

일 실시예에서, 본 발명은 모바일 디바이스에 구현된다. 모바일 디바이스는 제스처에 상응하는 모바일 디바이스의 모션을 감지하는 모션 감지기를 포함한다. 모션 센서는 실행될 명령을 나타내는 제스처 데이터를 생성한다. 힘 센서는 가해진 힘의 크기를 감지한다. 힘 센서는 힘 데이터를 생성한다. 가해진 힘의 크기는 명령이 실행될 모드를 나타낸다. 프로세서는 모션 감지기 및 힘 센서와 연결된다. 프로세서는 제스처 데이터 및 힘 데이터의 함수로 명령을 실행한다.

여기에서 기법들(techniques) 및 기술들(technologies)이 기능적 및/또는 논리적 블록 컴포넌트들 및 다양한 프로세싱 단계들로 설명될 것이다. 이러한 블록 컴포넌트들은, 지정된 기능들을 수행하도록 구성된 임의의 개수의 하드웨어, 소프트웨어, 및/또는 펌웨어에 의해 실현될 수 있다. 예를 들어, 시스템 또는 컴포넌트의 실시예는, 예컨대 메모리 소자들(memory elements), 디지털 신호 프로세싱 소자들, 논리 소자들, 룩-업 테이블(look-up table), 또는 유사한 것과 같은 다양한 집적 회로 컴포넌트들을 채용할 수 있고, 그들은 하나 이상의 마이크로프로세서 또는 다른 제어 디바이스들의 제어 하에서 다양한 기능들을 이행할 수 있다.

이하의 설명은 요소들 또는 노드들 또는 특징들(features)이 함께 "접속된(connected)" 또는 "연결된(coupled)"것을 언급할 수 있다. 여기에서 사용된 바와 같이, 달리 명시되지 않으면 "접속된"은 하나의 요소/노드/특징이 또 다른 요소/노드/특징에 직접적으로 이어진 것(또는 직접적으로 통신하는 것)을 의미하는데, 반드시 기계적일 필요는 없다. 유사하게, 달리 명시되지 않으면, "연결된"은 하나의 요소/노드/특징이 또 다른 요소/노드/특징에 직접적으로 또는 간접적으로 이어진 것(또는 직접적으로 또는 간접적으로 통신하는 것)을 의미하는데, 반드시 기계적일 필요는 없다. "예시적인(exemplary)" 이라는 용어는, "모델" 또는 "모방할 만함"을 의미하기보다는, 예시(example), 사례(instance), 또는 실례(illustration)의 의미로 사용된다.

뿐만 아니라, 본 명세서에 포함된 다양한 도면들에서 보여지는 연결 선들은 다양한 요소들 간의 예시적인 기능적 관계들 및/또는 물리적 연결들을 표현하도록 의도된다. 실제의 구현에서는, 많은 대안적이거나 부가적인 기능적 관계들 또는 물리적 연결들이 존재할 수 있다.

예시적인 실시예들은 이하의 설명 및 유사한 요소들이 동일한 참조 번호들로 언급되는 첨부된 도면들을 참조하여 더 이해될 수 있다. 예시적인 실시예들은 제스처 및 힘 측정의 함수로 명령을 결정하도록 구성된 전자 디바이스를 설명한다. 구체적으로, 전자 디바이스는 제스처를 나타내는 제스처 데이터 및 힘 측정의 함수로서의 힘 데이터를 수신하여, 두 개의 요인에 기반하는 명령을 결정한다. 전자 디바이스, 그것의 컴포넌트들, 제스처 및 제스처 데이터, 힘 데이터 및 힘 측정, 및 관련된 방법이 이하에서 더 세부적으로 논의될 것이다.

도 1은 본 발명의 예시적인 실시예에 따른 MU(mobile unit)(100)이다. 도시된 바와 같이, MU(100)는 이동전화, 휴대 정보 단말기(personal digital assistant), 스마트폰, 태블릿, 랩탑, 바코드 리더 등과 같은 임의의 휴대용 전자 디바이스일 수 있다. 그러나, MU(100)는 제스처 데이터 및 힘 데이터를 수신할 수 있는 임의의 유형의 디바이스를 표현할 수 있다는 점이 주목되어야 한다. 전자 디바이스(100)는 다양한 컴포넌트들을 포함할 수 있다. 도 1에 도시된 바와 같이, MU(100)는 핸들(104)을 포함하는 하우징(housing)(102), 디스플레이(106) 및 입력 디바이스(108) 및/또는 키패드를 포함할 수 있다.

힘 센서(110)는 디스플레이(106)에 근접한 제어 스위치와 통합될 수 있다. 힘 센서(110)는 임의의 적합한 힘 감지 기술을 사용하여 제조될 수 있다. 예를 들어, 힘 센서(110)는 FSR(force sensing resister)일 수 있다. FSR은 표면에 힘을 적용함에 따라 저항을 예측가능한 방식으로 변화시키는 피에조저항성 전도성 폴리머(piezoresistivity conductive polymer)이다. 그것은 보통 스크린 프린팅에 의해 도포된 감지 필름을 가진 폴리머 시트로서 공급된다. 감지 필름은 매트릭스에 떠 있는(suspended), 전기 전도성 및 비전도성 입자 둘 모두로 구성된다. 감지 필름의 표면에 힘을 가하는 것은 입자들이 전도성 전극들을 터치하도록 야기하여 필름의 저항을 변화시킨다.

일 실시예에서, 용량-기반의 센서(capacitive-based sensor)가 또한 힘 센서(110)로 사용될 수 있다. 이러한 센서들은 손가락이 두 개의 판 근처로 올 때, 그러한 판들 사이의 커패시턴스의 변화에 기초한다. 두 개의 평행 판 사이의 커패시턴스는 판 면적, 판들 간의 거리, 및 판들 사이에 위치한 유전 매질의 유전율에 의해 좌우된다. 용량성 터치 센서는 판들 간의 거리 또는 커패시터의 유효 표면적을 변화시키는 가해진 힘에 의존한다. 그러한 센서에서 센서의 두 개의 전도성 판은 유전 매질에 의해 분리되고, 그 유전 매질은 감지기에게 포스-투-커패시턴스(force-to-capacitance) 특성들을 주기 위해 탄성중합체(elastomer)로 사용될 수도 있다.

힘 센서(110)는 힘에 민감한(force-sensitive) 터치 스크린 디스플레이(도시되지 않음)내에 통합될 수도 있다. 투명한 힘 센서는 투명한 압력 감지(피에조저항성(piezoresistive)) 물질의 반대 표면들에 투명한 전도성 전극들을 적용함으로써 형성된다. 센서에 압력이 가해지면, 전극들 사이의 저항이 감소하고 전극들을 통해 측정된다. 다음으로, 저항의 이러한 변화는 압력 변화로 전환된다.

또한 모바일 디바이스(100)는 모바일 디바이스(100)와 통합된 모션 감지기(112)를 포함할 수 있다. 모션 감지기(112)는 모션을 감지하는 어떠한 적합한 센서라도 될 수 있다. 예를 들어, 모션 감지기(112)는 가속도계일 수 있다. 일 실시예에서, 모션 감지기(112)는 수은 스위치 또는 다른 중력-기반 스위치(gravity-based switch)이다. 모션 감지기(112)는 예컨대 자이로스코프일 수도 있다.

도 2는 본 발명의 예시적인 실시예에 따른 도 1의 MU(100)의 컴포넌트들의 블록도(200)이다. 도 2에 도시된 바와 같이 MU(100)는 디스플레이(202), 프로세서(204), 메모리(206), 모션 감지기(208), 힘 센서(210), 무선 송수신기 (wireless transceiver)(212), 및 키패드와 같은 입력 디바이스(214)를 포함할 수 있다. MU(100)는 휴대용 전력 공급부(portable power supply)(예를 들어 배터리)와 같은 부가적인 컴포넌트들을 포함할 수 있다.

하우징(102)(도 1)은 MU(100)를 위한 케이싱을 제공하여 그것의 컴포넌트들이 하우징(102) 상에, 적어도 부분적으로 하우징 상에, 또는 하우징 내에 배치될 수 있게 한다. 하우징(102)은 상당히 단단한 형상(substantially rigid shape)을 유지할 수 있는 임의의 전통적인 물질로 제조될 수 있다. 핸들(104)은 사용자가 MU(100)를 집을 수 있도록 하기 위한 하우징(102)의 확장부일 수 있다.

디스플레이(202)는 사용자에게 데이터를 디스플레이하도록 구성된 임의의 전통적인 디스플레이일 수 있다. 예를 들어, 디스플레이(202)는 LCD 디스플레이, LED 디스플레이, 터치 스크린 디스플레이 등일 수 있다. 입력 디바이스(214)는 임의의 전통적인 입력 컴포넌트일 수 있고 또한 키패드, 키보드, 마우스, 조이스틱, 제어 버튼 등을 포함할 수 있다. 만약 디스플레이(202)가 터치 스크린 디스플레이라서, 사용자가 디스플레이(202)를 통해 데이터를 입력할 수 있도록 한다면, 입력 디바이스(214)는 선택적인 컴포넌트일 수 있다.

예시적인 실시예들에 따르면, 힘 센서(210)는 예컨대 사용자에 의한 압력 입력으로부터 힘 입력을 수신하도록 구성된 입력 디바이스일 수도 있다.

도 1에 도시된 바와 같이, 힘 센서(110)는 눌러지도록 구성된 버튼일 수 있다. 힘 센서(110)로부터의 출력은 버튼에 가해진 압력의 크기의 함수로서 변한다. 버튼은 단지 하나의 예시적인 컴포넌트라는 것에 주의해야 하고; 힘 센서(110)는 임의의 적합한 디바이스일 수 있다. 예를 들어, 또 다른 예시적인 실시예에서, 힘 센서(110)는 단단하고 힘 입력을 수신하도록 구성된 하우징(102) 상에 배치된 터치 패드일 수 있다. 이하 더 상세히 논의될 바와 같이, 힘 센서(110)는 핸들(104)과 근접하게 하우징(102) 상에 배치될 수 있다. 일 실시예에서, MU(100)는 한 손을 사용하여 작동될 수 있다. 예를 들어, 핸들(104)을 잡고 있는 사용자는 제스처를 제공하면서도 엄지를 사용하여 힘 센서(110)를 이용할 수 있다.

프로세서(204)는 MU(100)에 전통적인 기능들을 제공할 수 있다. 예를 들면, MU(100)는 송수신기(212)를 경유하여 네트워크에 접속되었을 때 프로세서(204)에서 실행되는 웹 브라우저를 포함하는 어플리케이션과 같은 복수의 어플리케이션들을 포함할 수 있다. 이하 더 상세히 논의될 바와 같이, MU(100)의 프로세서(204)는 실행될 명령을 결정하기 위한 데이터를 수신할 수도 있다. 메모리(206) 또한 MU(100)에 전통적인 기능들을 제공할 수 있다. 예를 들면, 메모리(206)는 프로세서(204)에 의해 수행되는 동작들(operations)과 관련된 어플리케이션 프로그램들 및 데이터를 저장할 수 있다. 이하 더 상세히 논의될 바와 같이, 메모리(206)는 또한 실행될 명령에 상응하는 제스처 및 힘의 조합들을 저장할 수도 있다.

모션 감지기(208)는 가속도계와 같은 임의의 전통적인 모션 감지 컴포넌트일 수 있다. 구체적으로, 모션 감지기(208)는 수행되는 제스처(예를 들면, 흔들림, 기울임, 회전 등)를 결정할 수 있고 제스처 데이터를 프로세서(204)에 전달할 수 있다. 모션 감지기(208)는 힘 센서(210)에 압력을 가하는 것에 상응하는 제스처된 명령의 모드를 결정하기 위해서 힘 센서(210)와 통신할 수 있다. 그 후, 힘 센서(210)는 프로세서(204)에 힘 데이터를 전달할 수 있다.

송수신기(212)는 데이터를 송신 및/또는 수신하도록 구성된 임의의 전통적인 컴포넌트일 수 있다. 따라서 송수신기(212)는 네트워크를 통해 직접적 또는 간접적으로 다른 전자 디바이스들과 통신할 수 있다.

예시적인 실시예들에 따르면, MU(100)는 모션 감지기(208)를 통해 제스처 데이터를 수신하고 힘 센서(210)를 통해 힘 데이터를 수신하도록 구성된다. 제스처 데이터 및 힘 데이터를 수신하면, 프로세서(204)는 제스처 데이터 및 힘 데이터의 함수로 실행될 상응하는 명령을 결정할 수 있다. 메모리(206)는 모션 감지기(208) 및 힘 센서(210)에 의해 생성되는 제스처들 및 힘들의 다양한 상이한 순열들을 저장할 수 있다.

예시적인 일 실시예에 따르면, MU(100)는 제스처들 및 힘들의 상이한 페어링들(pairings)에 상응하는 명령들로 프로그램될 수 있다. 또 다른 예시적인 실시예에 따르면, MU(100)는, 각각 모션 감지기(208) 및 힘 센서(210)에 의해 생성되는 제스처와 힘의 각 페어링에 상응하는 사용자-정의된 명령들(user-defined commands)을 수용하도록 구성될 수 있다. 또 다른 예시적인 실시예에 따르면, MU(100)는 사용자가 모션 감지기(208) 및 힘 센서(210)에 의해 생성되는 제스처들 및 힘들의 세트 페어(set pair)에 상응하는 기존의 명령들을 새로 정의하도록(redefine) 구성될 수 있다. 또 다른 예시적인 실시예에 따르면, MU(100)는 상기 설명된 실시예들의 임의의 조합으로 구성될 수 있다.

명령을 결정하기 위한 제스처/힘 페어링의 제1 예시적인 응용에서, MU(100)는 이산적인 레벨들로 힘들을 감지하도록 구성될 수 있다. 예를 들어, 힘 센서(210)는 힘 입력들을 세 개로 구별되는 레벨로 출력하도록 구성될 수 있다. 힘 센서(210)는 힘 센서(210)에 가해지는 압력의 크기 또는 양을 측정할 수 있고, 프로세서(204)는 압력이 속하는 미리 결정된 범위에 따라서, 세 개의 구별되는 레벨들 중 어떤 것에 힘 입력이 적용되는지 결정할 수 있다. 예를 들어, 프로세서(204)는 힘 센서(210)로부터의 힘 데이터에 상응하는 압력 범위들을 보정(calibrate)할 수 있다. 실제로, 이산적인 레벨들은 임의의 원하는 개수만큼 사용될 수 있다.

이러한 능력은 MU(100)를 위해서 다양하게 상이한 동작 모드들에서 사용될 수 있다. 예를 들어, 만약 슬라이드 제스처가 시작 동작으로 이어지면, 힘 감지는 웹 모드, 폰 모드, 텍스트 모드 등과 같은 상이한 동작 모드들을 설정하기 위해서 사용될 수 있다. 상이한 모드들에 따라, 동일한 제스처가 감지된 힘 레벨의 함수로서 상이한 프로그램들 또는 어플리케이션들을 열 수 있다. 각 제스처가 상응하는 개수의 힘 페어링들을 가질 수 있으므로, 이것은 잠재적으로 이용될 수 있는 제스처들의 총 개수를 개선할 수 있다. 예를 들어, 하나의 제어 버튼에 대하여 세 개의 상이한 레벨의 힘 입력과 함께 여덟 개의 뚜렷이 구별되는 제스처가 신뢰가능하게 인식될 수 있다. 스물네 개의 상이한 동작이 인식될 수 있다. 이것은 MU(100)가, 한 손 동작이 종종 필요하고 효율성 및/또는 속도가 중요한 전달 서비스 단말(delivery service terminal)일 때 유용할 수 있다.

명령을 결정하기 위한 제스처/힘 페어링의 제2 예시적인 응용에서 MU(100)는 연속적인 동작을 위해 아날로그 입력과 같은 힘들을 감지하도록 구성될 수 있다. 예를 들어, 스크롤링 기능은 제스처에 대한 기울임 동작을 사용함으로써 개시될 수 있다. 스크롤링 속도가 전통적으로 기울임의 정도에 의해 제어되므로, 디스플레이는 종종 기울임 동안 가려지고, 따라서 기울임은 스크롤링의 시각적 피드백에 불리하게 영향을 미친다.

예시적인 실시예들에 따라, 힘 감지 입력은 스크롤링 속도를 제어하기 위해 사용될 수 있다. 모션 감지기(208)가 매우 작은 기울임 제스처라도 기울임 제스처를 감지하면, 초기 스크롤링 속도는 초기화될 수 있다(예를 들어 느린 스크롤). 스크롤의 속도는 이후 힘 센서(210)로의 힘 입력의 크기로 제어될 수 있다. 따라서, 스크롤링 기능이 제스처에 의해 활성화된 때에 힘 입력을 수신하면, 스크롤링 속도는 변할 수 있다(예를 들어, 높은 힘 입력은 빠른 스크롤 속도를 야기한다). 상당히 유사한 동작이 비디오 제어에 적용될 수 있다. 예를 들어, 오른쪽 또는 왼쪽으로의 작은 기울임 제스처는 비디오의 빨리 감기 기능 또는 되감기 기능을 개시할 수 있다. 힘 입력은 빨리 감기 기능 또는 되감기 기능이 동작하는 속도를 제어할 수 있다(예를 들어, 높은 힘 입력은 비디오의 빠른 스크롤링을 야기한다).

상기 설명된 것과 같은 제스처 및 힘 입력의 타이밍은 단지 예시적이라는 것에 주의해야 한다. 본 발명의 예시적인 실시예들에 따르면, 제스처가 먼저 수신되고 이어서 힘 입력이 수신되거나 그 역일 수도 있다. 예를 들어, 사용자는 동작 모드를 선택하기 위해서 제스처 후에 힘 센서(210)에 압력을 가할 수 있고, 또는 사용자는 어떤 어플리케이션 프로그램이 열리는지 확인하기 위하여 슬라이드 제스처 전에 힘 센서(210)에 압력을 가할 수도 있다. 스크롤링 동작에도 동일하게 적용될 수 있는데, 여기에서는 속도를 미리 선택(preselect)하기 위해서 기울임 제스처 전에 힘 센서(210)가 눌러질 수 있거나, 스크롤링 동작의 속도를 정의하기 위해서 기울임 제스처 동안 힘 센서(210)가 눌러질 수도 있다.

도 3은 일부 실시예에 따라 명령을 제스처 데이터 및 힘 데이터의 함수로 결정하기 위한 방법(300)의 흐름도이다. 방법(300)은 MU(100)의 컴포넌트들로부터 제스처 데이터 및 힘 데이터를 수신하는 것에 관한 것이다. 따라서 방법(300)은 도 1 및 도 2의 MU(100) 및 그것의 컴포넌트들을 참조하여 설명될 것이다.

단계(302)에서, 프로세서(204)에 의해 모션 감지기(208)로부터 제스처 데이터가 수신된다. 상기 논의된 바와 같이, MU(100)는 사용자가 MU(100)를 한 손으로 잡을 수 있도록 하는 핸들(104)을 포함할 수 있다. 그렇다면 사용자는 왼쪽/오른쪽 기울임, 앞/뒤 기울임, 흔들기 등과 같은 제스처 모션을 수행함으로써 제스처 데이터를 제공할 수 있다. 모션 감지기(208)는 제스처 데이터를 확인하기 위해 수행되고 있는 제스처를 결정하기 위하여 MU(100)의 방향 및 위치의 변화를 측정할 수 있다.

따라서 단계(304)에서, 명령 유형은 제스처 데이터의 함수로 결정될 수 있다. 예를 들어, 웹 페이지가 디스플레이(202) 상에 로딩되고 디스플레이되면, 제스처 데이터가 기울임 제스처로부터 생성될 수 있다. 제스처 데이터는 실행될 명령이 스크롤 명령이라는 것을 나타낼 수 있다.

단계(306)에서, 힘 데이터가 힘 센서(210)로부터 프로세서(204)에 의해 수신된다. 위에서 논의했던 바와 같이, MU(100)는 사용자가 압력을 가하도록 허용된 힘 센서(210)를 포함한다. 힘 센서(210)는 그것에 가해지는 압력의 크기를 힘 데이터로 변환할 수 있다. 힘 센서(210)는 다양한 상이한 힘 입력들(예를 들어, 가벼운 힘, 중간 힘, 및 무거운 힘)을 수신하도록 구성될 수 있다. 따라서, 단계(308)에서, 명령의 모드는 힘 데이터의 함수로 결정될 수 있다. 예를 들어, 제스처가 스크롤 명령을 개시하면, 무거운 힘 데이터는 스크롤이 고속으로 수행될 것이라는 것을 나타낼 수 있다.

단계(310)에서, 명령은 제스처 데이터 및 힘 데이터의 함수로서 실행될 수 있다. 앞선 예에서, 기울임에 대한 명령은 제스처 데이터에 기반하고, 스크롤의 속도는 힘 데이터에 기반한다.

위에서 논의된 바와 같이, 방법(300)은 단지 제스처 데이터 및 힘 데이터의 타이밍에 관한 예시이다. 또 다른 실시예에서, 힘 데이터는 제스처 데이터 이전에 수신될 수 있다. 그러나, 명령의 실행은 제스처 데이터 및 힘 데이터 둘 모두에 의해 결정된다.

본 발명의 예시적인 실시예들은 필요한 제스처 모션의 양을 제한함으로써 인식 가능한 제스처들의 수를 크게 증가시키고 제스처링 모션과 시각적 피드백 간의 충돌들을 개선하기 위해서 힘 감지 및 모션 제스처 입력들의 조합을 제공한다. 모바일 유닛은 사용자에 의한 입력인 제스처 데이터를 결정하기 위한 모션 감지기와 같은 제스처 감지 디바이스로 구성될 수 있다. 모바일 유닛은 또한 사용자에 의한 입력인 힘 데이터를 결정하기 위한 힘 센서로 구성될 수도 있다. 제스처 데이터 및 힘 데이터의 페어링들을 통해, 명령은 그것들의 함수로 실행될 수 있다. 구체적으로, 힘 데이터는 명령이 어떻게 실행될지를 나타내는 동작의 모드와 관련될 수 있는 반면, 제스처 데이터는 실행될 명령의 유형과 관련될 수 있다.

상술한 명세서에서, 특정한 실시예들이 설명되었다. 그러나, 당해 기술 분야에서 통상의 지식을 가진 자는 이하의 청구항들로 제시된 본 발명의 범위를 벗어나지 않고 다양한 변경들 및 변화들이 이루어질 수 있다는 것을 인정할 것이다. 따라서, 명세서 및 도면들은 제한적인 것이 아니라 설명적인 것으로 간주될 것이며, 그러한 모든 변경들은 본 발명의 범위 내에 포함됨을 의도한다.

이득들, 이점들, 문제점들에 대한 솔루션들, 및 임의의 이득, 이점 또는 솔루션을 야기하거나 더욱 부각되도록 할 수 있는 임의의 요소(들)는, 임의의 또는 모든 청구항들의 중요하거나, 필요하거나, 필수적인 특징들 또는 요소들로 해석되지 않을 것이다. 본 발명은 오로지, 본 발명의 출원 계속 동안 이루어지는 임의의 보정들 및 발행된 청구항들의 모든 등가물들을 포함하는 첨부된 청구항들에 의해서만 정의된다.

더욱이, 본 명세서에서 제1 및 제2, 위 또는 아래, 및 그와 유사한 것과 같은 상관관계에 있는 용어들은 오직 하나의 객체 또는 액션을 또 다른 객체 또는 액션으로부터 구분하기 위해서만 사용될 수 있고, 필연적으로 그러한 객체들 또는 액션들 간에 그러한 임의의 실제 관계 또는 순서를 요구하는 것이 아니다. "구성한다", "구성하는", "가진", "갖는", "포함하다", "포함하는", "함유한다", "함유하는" 또는 이들의 임의의 다른 변형들은 배타적이지 않은 포괄을 커버하도록 의도되어, 요소들의 리스트로 구성되고, 그것을 갖고, 그것을 포함하고, 그것을 함유하는 프로세스, 방법, 물품(article), 또는 장치는 오직 그러한 요소들만을 포함하는 것이 아니고, 명시적으로 나열되지 않았거나 그러한 프로세스, 방법, 물품 또는 장치에 내재적인 다른 요소들을 포함할 수 있다. "...로 구성되는", "...을 가진", "...를 포함하는", "...를 함유하는"에 선행하는 요소는 더 이상의 제한들 없이는, 그 요소로 구성되고, 그것을 갖고, 그것을 포함하고, 그것을 함유하는 프로세스, 방법, 물품 또는 장치들 내의 부가적인 동일한 요소들의 존재를 배제하지 않는다. "a" 및 "an"의 용어들은 본 명세서에 명확하게 달리 표현되어 있지 않는 한, 하나 이상으로 정의된다. "실질적으로", "본질적으로(essentially)", "약(approximately)", "쯤(about)" 또는 이들의 임의의 다른 버전들은 당해 기술 분야에서 통상의 지식을 가진 자들에 의해 이해되는 바와 같이 근접한 것으로 정의되고, 제한이 아닌 일 실시예에서 그 용어는 10% 이내, 또 다른 실시예에서 5% 이내, 또 다른 실시예에서 1% 이내, 및 또 다른 실시예에서 0.5% 이내로 정의된다. 본 명세서에서 사용된 "연결된" 이라는 용어는 접속된 것으로 정의되나, 반드시 직접적이지는 않고 반드시 물리적이지는 않다. 어떠한 방식으로 "구성된" 디바이스 또는 구조는 적어도 그 방식으로 구성되지만, 나열되지 않은 방식으로도 구성될 수 있다.

일반적으로, 프로세서는 데이터 캡쳐 디바이스의 동작에 연관된 기능들, 기법들 및 프로세싱 작업들을 수행하도록 구성된 프로세싱 로직을 포함한다. 더욱이, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 및 알고리즘의 단계들은, 하드웨어, 펌웨어, 프로세서에 의해 실행되는 소프트웨어 모듈, 또는 이들의 임의의 조합으로 직접적으로 구현될 수 있다. 임의의 그러한 소프트웨어는 낮은 레벨의 명령어들(어셈블리 코드, 기계어 등)로 구현되거나 높은 레벨의 해석 또는 컴파일된 소프트웨어 코드(예를 들어, C, C++, Objective C, Java, Python 등)로 구현될 수 있다.

일부 실시예들은, 마이크로프로세서들, 디지털 신호 프로세서들, 커스텀화된 프로세서들(customized processors) 및 FPGAs(field programmable gate arrays)와 같은 하나 이상의 포괄적 또는 특수 프로세서 (또는 "프로세싱 디바이스들") 및 소정의 비-프로세서(non-processor) 회로들과 함께, 본 명세서에 기술된 근거리(near-field) 무선 디바이스 페어링을 위한 방법 및 장치의 기능들 중 일부, 대부분 또는 전부를 구현하도록 하나 이상의 프로세서들을 제어하는 (소프트웨어 및 펌웨어를 포함하는) 고유한 저장된 프로그램 명령어들로 구성될 수 있다는 것이 인정될 것이다. 비-프로세서 회로들은 라디오 수신기, 라디오 송신기, 신호 드라이버들, 클락 회로들, 전력 소스 회로들 및 사용자 입력 디바이스들을 포함할 수 있으나, 이에 한정되지 않는다. 그러한 바와 같이, 이러한 기능들은 본 명세서에 기술된 근거리 무선 디바이스 페어링을 수행하기 위한 방법의 단계들로 해석될 수 있다. 대안적으로, 일부 또는 모든 기능들은, 저장된 프로그램 명령어들이 없는 상태 기계(state machine)에 의해 구현될 수 있거나, 또는 각 기능 또는 그 기능들의 어떠한 것들의 일부 조합들이 커스텀 로직으로 구현되는 하나 이상의 ASICs(application specific integrated circuits)에서 구현될 수 있다. 물론, 두 가지 접근의 조합이 사용될 수도 있다. 상태 기계 및 ASIC는 본 명세서에서, 상기 논의 및 청구항 언어를 위해 "프로세싱 디바이스"로 간주된다.

더욱이, 실시예는 본 명세서에서 기술되고 청구된 방법을 수행하도록 (예를 들어, 프로세싱 디바이스를 포함하는) 컴퓨터를 프로그래밍하기 위하여 컴퓨터 판독 가능한 코드가 저장되어 있는 컴퓨터-판독가능 저장 요소 또는 매체로서 구현될 수도 있다. 그러한 컴퓨터 판독가능 저장 요소들의 예들은 하드 디스크, CD-ROM, 광학 저장 디바이스, 자기 저장 디바이스, ROM(Read Only Memory), PROM(Programmable Read Only Memory), EPROM(Erasable Programmable Read Only Memory), EEPROM(Electrically Erasable Programmable Read Only Memory) 및 플래시 메모리들을 포함하지만 이에 한정되지 않는다. 뿐만 아니라, 당해 기술 분야에서 통상의 지식을 가진 자는, 예컨대 이용가능한 시간, 현재의 기술 및 경제적인 고려 등이 원인이 되는 아마도 상당한 노력 및 매우 많은 설계 선택들에도 불구하고, 본 명세서에 개시된 개념들 및 원리들에 의해 지도될 때, 그러한 소프트웨어 명령어들 및 프로그램들 및 IC들을 최소한의 실험으로 손쉽게 생성할 수 있을 것이라는 점이 예상된다.

본 개시의 요약서는 독자가 기술적 개시의 본질을 빨리 알아낼 수 있게 하기 위해서 제공된다. 그것은 청구항들의 범위 또는 의미를 해석하거나 제한하도록 사용되지 않을 것이라는 이해와 함께 제안된다. 부가적으로, 상기 상세한 설명에서, 개시의 간소화를 목적으로, 다양한 특징들이 다양한 실시예들에서 함께 그룹화 되었음을 볼 수 있다. 본 개시의 방법은, 청구된 실시예들이 각 청구항에 명확히 인용된 것보다 더 많은 특징들을 요구하는 의도임을 반영하는 것으로 해석되지 않는다. 그보다는, 이하의 청구항들이 반영하듯이, 발명의 주제는 하나의 개시된 실시예의 모든 특징들보다 적은 것에 존재한다. 따라서, 이하의 청구항들은 각 청구항 별로 독립적인 청구된 주제로서 본 명세서의 상세한 설명에 포함된다.

적어도 하나의 예시적인 실시예가 상기 상세한 설명에 표현되었지만, 방대한 개수의 변형이 존재함이 인정되어야 한다. 또한 여기에 설명된 예시적인 실시예 또는 실시예들은 어떠한 방식으로도 청구된 주제의 범위, 응용가능성 또는 구성을 제한하려는 의도가 아님이 인정되어야 한다. 그보다는, 상기 상세한 설명은 당해 기술 분야에서 숙련된 자들에게 설명된 실시예 또는 실시예들을 구현하기 위한 편리한 로드 맵을 제공할 것이다. 본 발명의 출원 당시에 알려진 동등물들 및 예측할 수 있는 동등물들을 포함하는 청구항들에 의해 정의되는 범위를 벗어남이 없이, 요소들의 기능 및 배열에 다양한 변화들이 이루어질 수 있다는 점이 이해되어야 한다.

더욱이, 본 명세서에 포함된 섹션의 제목들은 검토를 용이하게 하기 위한 의도이지, 본 발명의 범위를 제한하려는 의도가 아니다. 따라서, 본 명세서와 도면들은 예시적인 방식으로 간주되어야 하고 첨부된 청구항들의 범위를 제한하는 의도가 아니다.

첨부된 청구항들을 해석함에 있어서, 이하의 것들이 이해되어야 한다:

a) "포함하는"이라는 단어는 주어진 청구항에 열거된 것들과는 다른 요소들 또는 행위들의 존재를 배제하지 않는다;

b) 요소 앞에 선행하는 단어 "a" 또는 "an"은 그러한 요소들의 복수 개의 존재를 배제하지 않는다;

c) 청구항들에 있는 임의의 도면 부호들은 그것들의 범위를 제한하지 않는다;

d) 다수의 "수단"은 동일한 아이템 또는 하드웨어 또는 소프트웨어로 구현된 구조 또는 기능에 의해 표현될 수 있다;

e) 개시된 요소들 중 임의의 것은 하드웨어 부분들(예를 들어, 이산적이고 집적된 전자 회로망), 소프트웨어 부분들(예를 들어, 컴퓨터 프로그래밍), 및 그들의 임의의 조합으로 구성되어 있을 수 있다;

f) 하드웨어 부분들은 아날로그 및 디지털 부분 중 하나 또는 둘 모두로 구성될 수 있다;

g) 임의의 개시된 디바이스들 또는 그것들의 부분들은 명확하게 달리 명시되어 있지 않는 한, 또 다른 부분들로 함께 조합되거나 분리될 수 있다; 및

h) 명확하게 달리 명시되어 있지 않는 한, 행위들 또는 단계들의 특정한 시퀀스가 필요하다고 의도되지 않는다.

Claims (20)

1. 모바일 디바이스(100)로서,
   제스처에 상응하는 상기 모바일 디바이스(100)의 모션을 감지하고, 실행될 명령을 나타내는 제스처 데이터를 생성하는 모션 감지기(208);
   가해진 힘의 크기 - 상기 가해진 힘의 크기는 복수의 모드 중에서 상기 명령이 실행될 상응하는 모드를 나타내고, 상기 복수의 모드는 상기 명령을 실행하기 위한 상이한 방식들을 나타냄 - 를 감지하고, 힘 데이터를 생성하는 힘 센서(210); 및
   상기 모션 감지기(208) 및 상기 힘 센서(210)에 연결되고, 상기 제스처 데이터 및 상기 힘 데이터의 조합의 함수로서 상기 명령을 실행하는 프로세서(204)
   를 포함하는 모바일 디바이스(100).
2. 제1항에 있어서,
   상기 모션 감지기(208)는 가속도계(accelerometer), 자이로스코프(gyroscope) 및 수은 스위치(mercury switch)를 포함하는 그룹으로부터 선택된 것인, 모바일 디바이스(100).
3. 제1항에 있어서,
   상기 명령과 관련된 정보를 디스플레이하기 위한 디스플레이(202)를 더 포함하는 모바일 디바이스(100).
4. 제1항에 있어서,
   상기 힘 센서(210)는 제어 스위치를 포함하는, 모바일 디바이스(100).
5. 제1항에 있어서,
   상기 힘 센서(210)는 힘-감지 터치 스크린 디스플레이를 포함하는, 모바일 디바이스(100).
6. 제1항에 있어서,
   상기 모바일 디바이스(100)는 상기 명령이 실행될 상이한 모드들에 상응하는, 힘의 복수의 이산 범위(a plurality of discrete ranges of force)에서 상기 가해진 힘의 크기를 감지하도록 구성된 모바일 디바이스(100).
7. 제1항에 있어서,
   상기 모바일 디바이스(100)는 상기 가해진 힘의 크기를 끊임없이 변하는 힘의 작용으로서 감지하도록 구성된 모바일 디바이스(100).
8. 제1항에 있어서,
   상기 제스처 데이터 및 상기 힘 데이터 중 적어도 하나를 저장하는 메모리(206)를 더 포함하는 모바일 디바이스(100).
9. 제1항에 있어서,
   상기 명령은 시작 명령을 포함하고, 상기 모드는 웹 모드, 폰 모드 및 텍스트 모드 중 하나를 포함하는, 모바일 디바이스(100).
10. 제9항에 있어서,
    상기 모바일 디바이스(100)를 슬라이딩하는 것은 상기 시작 명령을 활성화시키고, 상기 가해진 힘의 크기를 감지하는 것은 상기 웹 모드, 상기 폰 모드 및 상기 텍스트 모드로부터 상응하는 모드를 설정하는, 모바일 디바이스(100).
11. 모바일 디바이스(100)의 명령을 실행하기 위한 방법으로서,
    제스처에 상응하는 상기 모바일 디바이스(100)의 모션을 감지하고, 실행될 명령을 나타내는 제스처 데이터를 생성하는 단계;
    힘 센서(210)에 가해진 힘의 크기 - 상기 가해진 힘의 크기는 복수의 모드 중에서 상기 명령이 실행될 상응하는 모드를 나타내고, 상기 복수의 모드는 상기 명령을 실행하기 위한 상이한 방식들을 나타냄 - 를 감지하고, 힘 데이터를 생성하는 단계; 및
    상기 제스처 데이터 및 상기 힘 데이터의 조합의 함수로서 상기 명령을 실행하는 단계
    를 포함하는 방법.
12. 제11항에 있어서,
    상기 모션은 가속도계, 자이로스코프 및 수은 스위치를 포함하는 그룹으로부터 선택된 모션 감지기(208)를 사용하여 감지되는, 방법.
13. 제11항에 있어서,
    상기 명령과 관련된 정보를 디스플레이하는 단계를 더 포함하는 방법.
14. 제11항에 있어서,
    상기 가해진 힘의 크기를 감지하는 것은, 상기 힘 센서(210)에 압력을 가하는 것을 포함하는, 방법.
15. 제11항에 있어서,
    상기 가해진 힘의 크기를 감지하는 것은, 상기 명령이 실행될 상이한 모드들에 상응하는, 힘의 복수의 이산 범위들을 감지하는 것을 포함하는, 방법.
16. 제11항에 있어서,
    상기 가해진 힘의 크기를 감지하는 것은, 끊임없이 변하는 힘의 작용을 감지하는 것을 포함하는, 방법.
17. 제11항에 있어서,
    상기 제스처 데이터 및 상기 힘 데이터 중 적어도 하나를 저장하는 단계를 더 포함하는 방법.
18. 제11항에 있어서,
    상기 명령은 시작 명령을 포함하고, 상기 모드는 웹 모드, 폰 모드 및 텍스트 모드 중 하나를 포함하는, 방법.
19. 제18항에 있어서,
    상기 모바일 디바이스(100)를 슬라이딩하는 것은 상기 시작 명령을 활성화시키고, 상기 가해진 힘의 크기를 감지하는 것은 상기 웹 모드, 상기 폰 모드 및 상기 텍스트 모드 중에서 상응하는 모드를 설정하는, 방법.
20. 모바일 디바이스(100)로서,
    제스처에 상응하는 상기 모바일 디바이스(100)의 모션을 감지하고, 실행될 명령을 나타내는 제스처 데이터를 생성하기 위한 수단;
    힘 센서(210)에 가해진 힘의 크기 - 상기 가해진 힘의 크기는 복수의 모드 중에서 상기 명령이 실행될 상응하는 모드를 나타내고, 상기 복수의 모드는 상기 명령을 실행하기 위한 상이한 방식들을 나타냄 - 를 감지하고, 힘 데이터를 생성하기 위한 수단; 및
    상기 제스처 데이터 및 상기 힘 데이터의 조합의 함수로서 상기 명령을 실행하기 위한 수단
    을 포함하는 모바일 디바이스(100).

Images