KR20190001926A - 그 내부 마이크로폰을 사용하여 디바이스의 가속도를 측정하기 위한 시스템들 및 방법들 - Google Patents
그 내부 마이크로폰을 사용하여 디바이스의 가속도를 측정하기 위한 시스템들 및 방법들 Download PDFInfo
- Publication number
- KR20190001926A KR20190001926A KR1020180072486A KR20180072486A KR20190001926A KR 20190001926 A KR20190001926 A KR 20190001926A KR 1020180072486 A KR1020180072486 A KR 1020180072486A KR 20180072486 A KR20180072486 A KR 20180072486A KR 20190001926 A KR20190001926 A KR 20190001926A
- Authority
- KR
- South Korea
- Prior art keywords
- computing device
- portable computing
- haptic
- processor
- acceleration
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
- G01P15/02—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
- G01P15/02—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses
- G01P15/08—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses with conversion into electric or magnetic values
- G01P15/097—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses with conversion into electric or magnetic values by vibratory elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
- G01P15/02—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses
- G01P15/08—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses with conversion into electric or magnetic values
- G01P15/0802—Details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
- Details Of Audible-Bandwidth Transducers (AREA)
- Circuit For Audible Band Transducer (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
Abstract
진동시 그 내부 마이크로폰을 사용하여 휴대용 컴퓨팅 디바이스의 가속도를 추정하기 위한 디바이스들, 시스템들 및 방법들의 예들이 개시되어 있다. 일례에서, 휴대용 컴퓨팅 디바이스는 휴대용 컴퓨팅 디바이스가 진동하게 하는 햅틱 효과를 출력하는 햅틱 출력 디바이스를 갖는다. 휴대용 컴퓨팅 디바이스에서의 마이크로폰으로부터의 오디오 신호는 출력되는 햅틱 효과로 인해 휴대용 컴퓨팅 디바이스가 진동하는 동안 포착된다. 오디오 신호는 햅틱 효과의 출력에 의해 야기되는 휴대용 컴퓨팅 디바이스의 가속도를 추정하는데 사용될 수 있다.
Description
본 출원은 일반적으로 진동하는 동안 휴대용 디바이스들의 가속도를 측정(determine)하는 것에 관한 것이다.
휴대용 디바이스에서의 액추에이터가 작동될 때, 휴대용 디바이스는 흔히 진동하여 휴대용 디바이스가 움직이게 한다. 전통적으로, 외부 가속도계는 휴대용 디바이스에 부착되어 휴대용 디바이스가 진동시 생성되는 가속도 신호들을 측정한다. 물론, 이것은 특정한 시나리오들에서 비효율적이고 비실용적일 수 있는 외부 가속도계를 사용하는 것을 필요로 한다. 예를 들어, 휴대용 디바이스에 외부 가속도계를 지속적으로 부착하는 것은 비효율적이며 비실용적이다. 휴대용 디바이스에서의 내부 가속도계가 또한 휴대용 디바이스가 진동시 생성되는 가속도 신호들을 측정하는데 사용되어 왔다. 그러나, 이것은 진동시 휴대용 디바이스의 가속도를 추정하기 위해 여러 번 반복하는 것을 필요로 한다. 또한, 휴대용 디바이스에서의 내부 가속도계는 일반적으로 진동시 휴대용 디바이스의 가속도를 효율적이고 효과적으로 추정하기에는 너무 낮은 샘플링 레이트를 갖는다. 또한, 모든 휴대용 디바이스들이 내부 가속도계를 갖는 것은 아니다. 진동시 높은 샘플링 레이트를 갖는 자체 내부 마이크로폰을 사용하여 자체 가속도를 추정할 수 있는 휴대용 컴퓨팅 디바이스가 필요하다.
진동시 내부 마이크로폰을 사용하여 디바이스의 가속도를 포착하기 위한 디바이스들, 시스템들 및 방법들에 대한 다양한 예들이 설명된다.
개시된 일례의 휴대용 컴퓨팅 디바이스는 햅틱 출력 디바이스, 마이크로폰, 메모리, 및 햅틱 출력 디바이스 및 마이크로폰과 통신하는 프로세서를 포함한다. 이 예에서, 프로세서는 메모리로부터 실행가능한 명령어들을 수신하도록 구성되며, 이러한 실행가능한 명령어들은, 프로세서에 의해 실행될 때 프로세서로 하여금, 햅틱 출력 디바이스가 햅틱 효과를 출력하게 하도록 구성된 햅틱 신호를 생성하게 하고, 햅틱 출력 디바이스에 햅틱 신호를 출력하여 햅틱 출력 디바이스가 햅틱 효과를 출력하게 하고, 햅틱 효과의 적어도 일부가 햅틱 출력 디바이스에 의해 출력되는 동안 마이크로폰을 사용하여 오디오 신호를 포착하게 하며, 햅틱 효과가 오디오 신호에 기반하여 출력될 때 휴대용 컴퓨팅 디바이스의 가속도를 추정하게 한다.
일부 예들에서, 오디오 신호는 원시 PCM 신호를 포함한다. 오디오 신호는 적어도 8,000Hz(8kHz)의 샘플링 레이트를 가질 수 있다. 오디오 신호는 적어도 22,050Hz 및/또는 적어도 22kHz의 샘플링 레이트를 가질 수 있다. 일부 예들에서, 오디오 신호는 적어도 44,100Hz(44.1kHz)의 샘플링 레이트를 갖는다. 예들에서, 외부 마이크로폰 또는 외부 가속도계와 같은 임의의 외부 센서를 사용하지 않고 오디오 신호가 포착될 수 있다. 이러한 예들에서, 햅틱 효과가 출력될 때 휴대용 컴퓨팅 디바이스의 가속도는 임의의 외부 센서를 사용하지 않고 오디오 신호에 기반하여 추정될 수 있다.
일부 예들에서, 휴대용 컴퓨팅 디바이스는 가속도계를 갖지 않는다. 다른 예들에서, 휴대용 컴퓨팅 디바이스는 가속도계를 갖는다. 예들에서, 오디오 신호는 가속도계에 대응하는 최대 샘플링 레이트보다 더 큰 샘플링 레이트를 갖는다. 예를 들어, 오디오 신호는 44,100Hz(44.1kHz)의 샘플링 레이트를 가질 수 있으며, 휴대용 컴퓨팅 디바이스에서의 가속도계 드라이버는 가속도계에 대해 200Hz의 최대 샘플링 레이트를 지정할 수 있다.
예들에서, 마이크로폰에 대응하는 최대 샘플링 레이트는 가속도계에 대응하는 최대 샘플링 레이트보다 더 클 수 있다. 예를 들어, 휴대용 컴퓨팅 디바이스에서의 드라이버는 가속도계를 제어하도록 구성될 수 있으며 가속도계에 대해 최대 샘플링 레이트를 지정한다. 이 예에서, 휴대용 컴퓨팅 디바이스에서의 드라이버는 마이크로폰을 제어하도록 구성될 수 있으며 마이크로폰에 대해 최대 샘플링 레이트를 지정한다.
일례에서, 휴대용 컴퓨팅 디바이스에서의 가속도계 드라이버는 가속도계에 대해 100Hz(0.1kHz) 이하의 최대 샘플링 레이트를 지정한다. 다른 예에서, 휴대용 컴퓨팅 디바이스에서의 가속도계 드라이버는 가속도계에 대해 1,000Hz(1kHz) 미만의 최대 샘플링 레이트를 지정한다. 일부 예들에서, 휴대용 컴퓨팅 디바이스에서의 마이크로폰 드라이버는 마이크로폰에 대해 적어도 20,050Hz(20.05kHz)의 최대 샘플링 레이트를 지정한다. 다른 예들에서, 휴대용 컴퓨팅 디바이스에서의 마이크로폰 드라이버는 마이크로폰에 대해 적어도 44,100Hz(44.1kHz)의 최대 샘플링 레이트를 지정한다.
햅틱 출력 디바이스는 일례에서 선형 공진 액추에이터(LRA)이다. 일부 예들에서, 햅틱 출력 디바이스는 편심 회전 질량(ERM) 모터이다. 일부 예들에서, 햅틱 출력 디바이스는 단일 액추에이터이다. 다른 예들에서, 햅틱 출력 디바이스는 2개 이상의 액추에이터일 수 있다. 일부 예들에서, 휴대용 컴퓨팅 디바이스는 스마트폰, 패블릿 또는 태블릿 중 적어도 하나이다.
일부 예들에서, 휴대용 컴퓨팅 디바이스에서의 프로세서는 메모리로부터 실행가능한 명령어들을 수신하도록 추가로 구성되며, 이러한 실행가능한 명령어들은 프로세서에 의해 실행될 때 프로세서로 하여금, 가속도를 추정하기 전에 오디오 신호에 적어도 하나의 필터를 적용하여 햅틱 출력 디바이스의 진동 주파수에 대응하지 않는 주파수들을 오디오 신호로부터 제거하게 한다. 일부 예들에서, 휴대용 컴퓨팅 디바이스에서의 프로세서는 메모리로부터 실행가능한 명령어들을 수신하도록 추가로 구성되며, 이러한 실행가능한 명령어들은 프로세서에 의해 실행될 때 프로세서로 하여금, 가속도를 추정하기 전에 저역 통과 필터 또는 대역 통과 필터 중 적어도 하나를 오디오 신호에 적용하게 한다.
다양한 예들에서, 휴대용 컴퓨팅 디바이스에서의 프로세서는 메모리로부터 실행가능한 명령어들을 수신하도록 추가로 구성되며, 이러한 실행가능한 명령어들은 프로세서에 의해 실행될 때 프로세서로 하여금, 추정된 가속도가 햅틱 효과에 대한 미리정의된 가속도에 대응할 때까지 실시간으로 햅틱 효과의 적어도 하나의 특성을 조정하게 한다. 일례에서, 휴대용 컴퓨팅 디바이스는 프로세서와 통신하는 디스플레이를 갖는다. 디스플레이는 STN(super twisted nematic) 디스플레이, CSTN(color super twisted nematic) 디스플레이, TFT(thin film transistor) 디스플레이, TFD(thin film diode) 디스플레이와 같은 액정 디스플레이(LCD)일 수 있다. 이 디스플레이는 OLED(organic light-emitting diode) 디스플레이 또는 AMOLED(active-matrix organic light-emitting diode) 디스플레이일 수 있다. 이 디스플레이는 정전식 터치스크린 디스플레이 또는 저항식 터치스크린 디스플레이일 수 있다. 예들에서, 프로세서는 메모리로부터 실행가능한 명령어들을 수신하도록 추가로 구성되며, 이러한 실행가능한 명령어들은 프로세서에 의해 실행될 때 프로세서로 하여금, 표시 신호를 디스플레이에 출력하게 한다. 표시 신호는 디스플레이가 추정된 가속도를 디스플레이 상에 나타내게 하도록 구성될 수 있다.
개시된 일례의 방법은, 휴대용 컴퓨팅 디바이스에서의 프로세서에 의해, 휴대용 컴퓨팅 디바이스에서의 마이크로폰으로부터 오디오 신호를 포착하는 단계, 및 프로세서에 의해, 오디오 신호에 기반하여 휴대용 컴퓨팅 디바이스의 가속도를 추정하는 단계를 포함한다. 일부 예들에서, 이 방법은, 프로세서에 의해, 휴대용 컴퓨팅 디바이스에서의 센서로부터 센서 신호를 수신하는 단계 - 센서 신호는 휴대용 컴퓨팅 디바이스의 움직임을 나타냄 -, 및 휴대용 컴퓨팅 디바이스의 움직임을 나타내는 센서 신호를 수신하는 것에 응답하여 오디오 신호를 포착하는 단계를 추가로 포함한다. 일부 예에서, 이 방법은, 프로세서에 의해, 가속도를 추정하기 전에 오디오 신호에 적어도 하나의 필터를 적용하는 단계를 추가로 포함한다.
일부 예들에서, 이 방법은, 프로세서에 의해, 휴대용 컴퓨팅 디바이스에서의 햅틱 출력 디바이스가 햅틱 효과를 출력하게 하도록 구성된 햅틱 신호를 생성하는 단계, 프로세서에 의해, 햅틱 신호를 햅틱 출력 디바이스에 출력하여 햅틱 출력 디바이스가 햅틱 효과를 출력하게 하는 단계를 추가로 포함하며, 햅틱 효과의 출력은 휴대용 컴퓨팅 디바이스에서의 센서가 휴대용 컴퓨팅 디바이스의 움직임을 나타내는 센서 신호를 휴대용 컴퓨팅 디바이스에서의 프로세서에 보내게 한다.
일부 예들에서, 이 방법은, 프로세서에 의해, 추정된 가속도가 햅틱 효과에 대한 미리정의된 가속도에 대응할 때까지 실시간으로 햅틱 효과의 적어도 하나의 특성을 조정하는 단계를 추가로 포함한다. 일부 예들에서, 이 방법은, 프로세서에 의해, 휴대용 컴퓨팅 디바이스에서의 디스플레이에 표시 신호를 출력하는 단계를 추가로 포함하며, 이 표시 신호는 디스플레이가 추정된 가속도를 디스플레이 상에 나타내게 하도록 구성된다. 오디오 신호는 원시 펄스 코드 변조(PCM) 신호일 수 있다. 오디오 신호는 휴대용 컴퓨팅 디바이스에서의 가속도계에 대응하는 최대 샘플링 레이트보다 더 큰 샘플링 레이트를 포함할 수 있다. 최대 샘플링 레이트는 가속도계에 대응할 수 있다. 최대 샘플링 레이트는 가속도계를 제어하도록 구성된 가속도계 드라이버에 의해 지정될 수 있다. 가속도계는 센서일 수 있다. 마이크로폰은 센서일 수 있다.
개시된 일례의 방법은, 휴대용 컴퓨팅 디바이스에서의 프로세서에 의해, 휴대용 컴퓨팅 디바이스에서의 햅틱 출력 디바이스가 햅틱 효과를 출력하게 하도록 구성된 햅틱 신호를 생성하는 단계, 프로세서에 의해, 햅틱 신호를 햅틱 출력 디바이스에 출력하여 햅틱 출력 디바이스가 햅틱 효과를 출력하게 하는 단계, 프로세서에 의해, 햅틱 효과의 적어도 일부가 햅틱 출력 디바이스에 의해 출력되는 동안 휴대용 컴퓨팅 디바이스에서의 마이크로폰으로부터 오디오 신호를 포착하는 단계, 및 프로세서에 의해, 햅틱 효과가 오디오 신호에 기반하여 출력될 때 휴대용 컴퓨팅 디바이스의 가속도를 추정하는 단계를 포함한다.
일부 예들에서, 이 방법은, 프로세서에 의해, 가속도를 추정하기 전에 적어도 하나의 필터를 오디오 신호에 적용하는 단계를 추가로 포함한다. 이 방법은, 프로세서에 의해, 추정된 가속도가 햅틱 효과에 대한 미리정의된 가속도에 대응할 때까지 실시간으로 햅틱 효과의 적어도 하나의 특성을 조정하는 단계를 추가로 포함할 수 있다. 햅틱 효과의 특성(들)이 실시간으로 조정되지 않는 것과 같은 일부 예들에서, 이 방법은, 프로세서에 의해, 표시 신호를 휴대용 컴퓨팅 디바이스에서의 디스플레이에 출력하는 단계를 추가로 포함한다. 표시 신호는 디스플레이가 추정된 가속도를 디스플레이 상에 나타내게 하도록 구성될 수 있다.
예들에서, 오디오 신호는 원시 펄스 코드 변조(PCM) 신호이다. 오디오 신호는 휴대용 컴퓨팅 디바이스에서의 가속도계에 대응하는 최대 샘플링 레이트보다 더 큰 샘플링 레이트를 가질 수 있다.
개시된 일례의 비일시적 컴퓨터 판독가능한 매체는 프로세서에 의해 실행되도록 구성된 하나 이상의 소프트웨어 애플리케이션을 포함한다. 이 예에서, 하나 이상의 소프트웨어 애플리케이션은, 휴대용 컴퓨팅 디바이스에서의 햅틱 출력 디바이스가 햅틱 효과를 출력하게 하도록 구성된 햅틱 신호를 생성하고, 햅틱 출력 디바이스에 햅틱 신호를 출력하여 햅틱 출력 디바이스가 햅틱 효과를 출력하게 하고, 햅틱 효과의 적어도 일부가 햅틱 출력 디바이스에 의해 출력되는 동안 휴대용 컴퓨팅 디바이스에서의 마이크로폰으로부터 오디오 신호를 포착하며, 오디오 신호에 기반하여 진동시 휴대용 컴퓨팅 디바이스의 가속도를 추정하도록 구성된다.
일부 예들에서, 하나 이상의 소프트웨어 애플리케이션은 가속도를 추정하기 전에 오디오 신호에 적어도 하나의 필터를 적용하도록 추가로 구성된다. 다양한 예들에서, 하나 이상의 소프트웨어 애플리케이션은 추정된 가속도가 햅틱 효과에 대한 미리정의된 가속도에 대응할 때까지 실시간으로 햅틱 효과의 적어도 하나의 특성을 조정하도록 추가로 구성된다. 일부 예들에서, 하나 이상의 소프트웨어 애플리케이션은 표시 신호를 휴대용 컴퓨팅 디바이스에서의 디스플레이에 출력하도록 추가로 구성된다. 표시 신호는 디스플레이가 추정된 가속도를 나타내게 하도록 구성될 수 있다.
이러한 예시적인 예들은 본 개시내용의 범위를 제한하거나 정의하지 않고, 오히려 그 이해를 돕기 위한 예들을 제공하기 위해 언급된다. 예시적인 예들이 추가적인 설명을 제공하는 상세한 설명에서 논의된다. 다양한 예들에 의해 제공되는 이점들은 본 명세서를 검토함으로써 더 이해될 수 있다.
본 특허 또는 출원 파일은 컬러로 작성된 적어도 하나의 도면을 포함한다. 컬러 도면(들)을 갖는 본 특허 또는 특허 출원 공보의 사본들은 요청하여 필요한 요금의 납부시 해당 관청에 의해 제공될 것이다.
본 명세서의 일부에 통합되고 본 명세서의 일부를 구성하는 첨부한 도면들은, 하나 이상의 특정한 예를 예시하고, 그 예의 설명과 함께, 특정한 예들의 원리들 및 구현들을 설명하는 역할을 한다.
도 1a 및 도 1b는 컴퓨팅 디바이스의 내부 햅틱 출력 디바이스가 햅틱 효과를 출력할 때 일례에 따라 가속도의 추정시 컴퓨팅 디바이스의 내부 마이크로폰을 사용하여 컴퓨팅 디바이스의 가속도를 추정하기 위한 예시적인 컴퓨팅 디바이스를 도시한다.
도 2는 컴퓨팅 디바이스의 내부 햅틱 출력 디바이스가 햅틱 효과를 출력할 때 일례에 따라 컴퓨팅 디바이스의 내부 마이크로폰을 사용하여 컴퓨팅 디바이스의 가속도를 추정하는 예시적인 방법을 도시한다.
도 3은 선형 공진 액추에이터(LRA)를 갖는 삼성 갤럭시 S6 스마트폰이 특정한 햅틱 효과를 출력할 때 일례에 따른 도 2에 도시된 방법(200)에 따라 삼성 갤럭시 S6 스마트폰의 내부 마이크로폰을 사용하여 측정된 정규화된 추정된 가속도에 대한 외부 가속도계에 의해 측정된 정규화된 가속도를 도시한다.
도 4는 선형 공진 액추에이터(LRA)를 갖는 삼성 갤럭시 S7 스마트폰이 특정한 햅틱 효과를 출력할 때 일례에 따른 도 2에 도시된 방법(200)에 따라 삼성 갤럭시 S7 스마트폰의 내부 마이크로폰을 사용하여 측정된 정규화된 추정된 가속도에 대한 외부 가속도계에 의해 측정된 정규화된 가속도를 도시한다.
도 5는 선형 공진 액추에이터(LRA)를 갖는 삼성 갤럭시 S6 에지 스마트폰이 특정한 햅틱 효과를 출력할 때 일례에 따른 도 2에 도시된 방법(200)에 따라 삼성 갤럭시 S6 에지 스마트폰의 내부 마이크로폰을 사용하여 측정된 정규화된 추정된 가속도에 대한 외부 가속도계에 의해 측정된 정규화된 가속도를 도시한다.
도 6은 코인 편심 회전 질량(ERM) 모터를 갖는 삼성 그란데 스마트폰이 특정한 햅틱 효과를 출력할 때 일례에 따른 도 2에 도시된 방법(200)에 따라 삼성 그란데 스마트폰의 내부 마이크로폰을 사용하여 측정된 정규화된 추정된 가속도에 대한 외부 가속도계에 의해 측정된 정규화된 가속도를 도시한다.
도 7은 바 편심 회전 질량(ERM) 모터를 갖는 HTC One M9 스마트폰이 특정한 햅틱 효과를 출력할 때 일례에 따른 도 2에 도시된 방법(200)에 따라 HTC One M9 스마트폰의 내부 마이크로폰을 사용하여 측정된 정규화된 추정된 가속도에 대한 외부 가속도계에 의해 측정된 정규화된 가속도를 도시한다.
도 8은 바 편심 회전 질량(ERM) 모터를 갖는 샤오미 RedMi Note 3 스마트폰이 특정한 햅틱 효과를 출력할 때 일례에 따른 도 2에 도시된 방법(200)에 따라 샤오미 RedMi Note 3 스마트폰의 내부 마이크로폰을 사용하여 측정된 정규화된 추정된 가속도에 대한 외부 가속도계에 의해 측정된 정규화된 가속도를 도시한다.
도 9는 코인 편심 회전 질량(ERM) 모터를 갖는 LG 넥서스 5 스마트폰이 특정한 햅틱 효과를 출력할 때 일례에 따른 도 2에 도시된 방법(200)에 따라 LG 넥서스 5 스마트폰의 내부 마이크로폰을 사용하여 측정된 정규화된 추정된 가속도에 대한 외부 가속도계에 의해 측정된 정규화된 가속도를 도시한다.
본 명세서의 일부에 통합되고 본 명세서의 일부를 구성하는 첨부한 도면들은, 하나 이상의 특정한 예를 예시하고, 그 예의 설명과 함께, 특정한 예들의 원리들 및 구현들을 설명하는 역할을 한다.
도 1a 및 도 1b는 컴퓨팅 디바이스의 내부 햅틱 출력 디바이스가 햅틱 효과를 출력할 때 일례에 따라 가속도의 추정시 컴퓨팅 디바이스의 내부 마이크로폰을 사용하여 컴퓨팅 디바이스의 가속도를 추정하기 위한 예시적인 컴퓨팅 디바이스를 도시한다.
도 2는 컴퓨팅 디바이스의 내부 햅틱 출력 디바이스가 햅틱 효과를 출력할 때 일례에 따라 컴퓨팅 디바이스의 내부 마이크로폰을 사용하여 컴퓨팅 디바이스의 가속도를 추정하는 예시적인 방법을 도시한다.
도 3은 선형 공진 액추에이터(LRA)를 갖는 삼성 갤럭시 S6 스마트폰이 특정한 햅틱 효과를 출력할 때 일례에 따른 도 2에 도시된 방법(200)에 따라 삼성 갤럭시 S6 스마트폰의 내부 마이크로폰을 사용하여 측정된 정규화된 추정된 가속도에 대한 외부 가속도계에 의해 측정된 정규화된 가속도를 도시한다.
도 4는 선형 공진 액추에이터(LRA)를 갖는 삼성 갤럭시 S7 스마트폰이 특정한 햅틱 효과를 출력할 때 일례에 따른 도 2에 도시된 방법(200)에 따라 삼성 갤럭시 S7 스마트폰의 내부 마이크로폰을 사용하여 측정된 정규화된 추정된 가속도에 대한 외부 가속도계에 의해 측정된 정규화된 가속도를 도시한다.
도 5는 선형 공진 액추에이터(LRA)를 갖는 삼성 갤럭시 S6 에지 스마트폰이 특정한 햅틱 효과를 출력할 때 일례에 따른 도 2에 도시된 방법(200)에 따라 삼성 갤럭시 S6 에지 스마트폰의 내부 마이크로폰을 사용하여 측정된 정규화된 추정된 가속도에 대한 외부 가속도계에 의해 측정된 정규화된 가속도를 도시한다.
도 6은 코인 편심 회전 질량(ERM) 모터를 갖는 삼성 그란데 스마트폰이 특정한 햅틱 효과를 출력할 때 일례에 따른 도 2에 도시된 방법(200)에 따라 삼성 그란데 스마트폰의 내부 마이크로폰을 사용하여 측정된 정규화된 추정된 가속도에 대한 외부 가속도계에 의해 측정된 정규화된 가속도를 도시한다.
도 7은 바 편심 회전 질량(ERM) 모터를 갖는 HTC One M9 스마트폰이 특정한 햅틱 효과를 출력할 때 일례에 따른 도 2에 도시된 방법(200)에 따라 HTC One M9 스마트폰의 내부 마이크로폰을 사용하여 측정된 정규화된 추정된 가속도에 대한 외부 가속도계에 의해 측정된 정규화된 가속도를 도시한다.
도 8은 바 편심 회전 질량(ERM) 모터를 갖는 샤오미 RedMi Note 3 스마트폰이 특정한 햅틱 효과를 출력할 때 일례에 따른 도 2에 도시된 방법(200)에 따라 샤오미 RedMi Note 3 스마트폰의 내부 마이크로폰을 사용하여 측정된 정규화된 추정된 가속도에 대한 외부 가속도계에 의해 측정된 정규화된 가속도를 도시한다.
도 9는 코인 편심 회전 질량(ERM) 모터를 갖는 LG 넥서스 5 스마트폰이 특정한 햅틱 효과를 출력할 때 일례에 따른 도 2에 도시된 방법(200)에 따라 LG 넥서스 5 스마트폰의 내부 마이크로폰을 사용하여 측정된 정규화된 추정된 가속도에 대한 외부 가속도계에 의해 측정된 정규화된 가속도를 도시한다.
진동시 디바이스의 내부 마이크로폰을 사용하여 디바이스의 가속도를 포착하기 위한 디바이스들, 시스템들 및 방법들의 맥락에서의 예들이 본 명세서에서 설명된다. 관련 기술분야의 통상의 기술자는 이하의 설명이 단지 예시적이며 어떠한 제한하는 방식인 것으로 의도되지 않는다는 것을 인식할 것이다. 이제, 첨부한 도면들에 예시되어 있는 바와 같은 예들의 구현들을 상세히 참조할 것이다. 동일한 참조 부호들이 동일하거나 유사한 아이템들을 지칭하기 위해 도면들 및 이하의 설명 전반에 걸쳐 사용될 것이다.
명확성을 위해, 본 명세서에서 설명되는 예들의 모든 통상적인 특징들이 도시되고 설명되지는 않는다. 물론, 임의의 이러한 실제 구현의 개발에 있어서, 많은 구현에 특정된 결정들이 애플리케이션 및 비즈니스 관련 제약들과의 순응과 같은 개발자의 특정한 목표들을 달성하기 위해 이루어져야 하며, 이러한 특정한 목표들이 구현마다 또한 개발자마다 변할 것이라는 점을 알 것이다.
진동시 디바이스의 내부 마이크로폰을 사용하여 디바이스의 가속도를 포착하는 예시적인 예
하나의 예시적인 예에서, (스마트폰, 패블릿, 태블릿 등과 같은) 휴대용 컴퓨팅 디바이스는 (선형 공진 액추에이터 및/또는 편심 회전 질량 모터와 같은) 내부 햅틱 출력 디바이스 및 내부 마이크로폰을 갖는다. 이러한 예시적인 예에서, 햅틱 효과가 출력되는 동안 휴대용 컴퓨팅 디바이스가 가속되게 하는 햅틱 효과를 내부 햅틱 출력 디바이스가 출력할 때 휴대용 컴퓨팅 디바이스가 진동한다. 휴대용 컴퓨팅 디바이스에서의 내부 마이크로폰은 (원시 펄스 코드 변조(PCM) 오디오 신호와 같은) 오디오 신호를 포착하는데 사용되는 반면, 휴대용 컴퓨팅 디바이스에서의 내부 햅틱 출력 디바이스는 햅틱 효과를 출력한다.
포착된 오디오 신호는 그 다음에 필터링될 수 있고 햅틱 효과가 내부 햅틱 출력 디바이스에 의해 출력되는 동안 휴대용 컴퓨팅 디바이스의 가속도를 추정하는데 사용될 수 있다. 예들에서, 추정된 가속도는 햅틱 효과가 출력될 때 휴대용 컴퓨팅 디바이스 전체의 가속도를 추정한다. 휴대용 컴퓨팅 디바이스 전체의 추정된 가속도는 햅틱 효과를 출력할 때 내부 햅틱 출력 디바이스에 의해 생성된 추정된 가속도와 상관될 수 있고 이를 나타낼 수 있다. 일부 예들에서, 추정된 가속도는 햅틱 효과, 휴대용 컴퓨팅 디바이스 및/또는 내부 햅틱 출력 디바이스의 (상승 시간, 정지/감쇠 시간, 최대 크기, 펄싱 주파수 등과 같은) 특성들을 추정하는데 사용될 수 있다. 상승 시간은 액추에이터가 정지하고 있다면 그 안정 상태에 도달하는데 필요한 시간에 대응할 수 있다. 감쇠 시간은 액추에이터가 그 안정 상태에 있다면 정지 상태에 도달하는데 필요한 시간에 대응할 수 있다.
다른 예들에서, 추정된 가속도는 휴대용 컴퓨팅 디바이스에 의해 실시간으로 분석되고 연속적으로 또는 주기적으로 업데이트되어 추정된 가속도가 햅틱 효과에 대한 미리정의된 가속도와 일치할 때까지 실시간으로 햅틱 효과에 대응하는 강도 특성을 증가 또는 감소시킨다. 이러한 방식으로, 설계자는 햅틱 효과에 대한 의도된 가속도를 지정할 수 있고, 햅틱 효과에 대응하는 하나 이상의 특성은 추정된 가속도가 햅틱 효과에 대한 의도된 가속도와 일치할 때까지 휴대용 컴퓨팅 디바이스에 의해 실시간으로 조정될 수 있다. 예들에서, 이것은 설계자가 햅틱 효과에 대한 의도된 가속도를 지정할 수 있게 하며, 햅틱 효과는 다양한 유형들의 내부 햅틱 출력 디바이스들(예를 들어, 선형 공진 액추에이터, 편심 회전 질량 모터 등)을 갖는 다양한 유형들의 휴대용 컴퓨팅 디바이스들(예를 들어, 스마트폰, 패블릿들, 태블릿들 등)에서 의도된 가속도로 일관되게 출력될 수 있다.
이 예시적인 예는 본 명세서에서 논의되는 일반적인 주제를 독자에게 소개하기 위해 주어지며, 그 개시내용은 이 예에 제한되지 않는다. 다음 섹션들에서는 다양한 추가의 비제한적인 예들에 대해 설명한다.
이제 도 1a 및 도 1b를 참조하면, 이러한 도면들은 햅틱 출력 디바이스(118)가 햅틱 효과를 출력할 때 가속도의 추정시 내부 마이크로폰(142)을 사용하여 휴대용 컴퓨팅 디바이스(100)의 가속도를 추정하기 위한 예시적인 휴대용 컴퓨팅 디바이스(100)를 도시하고 있다. 도 1a는 휴대용 컴퓨팅 디바이스(100)의 전방을 도시하고, 도 1b는 휴대용 컴퓨팅 디바이스(100)의 구성요소들을 도시한다.
휴대용 컴퓨팅 디바이스(100)는 예를 들어 스마트폰, 패블릿, 태블릿, e-리더, 디지털 카메라, 휴대용 게임 디바이스, 휴대용 의료 디바이스 또는 게임 제어기를 포함할 수 있다. 일부 예들에서, 휴대용 컴퓨팅 디바이스(100)는 손목시계들, 팔찌들, 목걸이들, 벨트들, 가상 현실(VR) 헤드셋들 또는 헤드폰들과 같은 착용가능한 컴퓨팅 디바이스들을 포함할 수 있다. 휴대용 컴퓨팅 디바이스(100)가 도 1a 및 도 1b에서 단일 디바이스로 도시되어 있지만, 다른 예들에서는 휴대용 컴퓨팅 디바이스(100)가 복수의 디바이스들을 포함할 수 있다.
예시적인 휴대용 컴퓨팅 디바이스(100)는 버스(106)를 통해 다른 하드웨어와 인터페이싱되는 프로세서(102)를 포함한다. RAM, ROM, EEPROM 등과 같은 임의의 적합한 유형(tangible)의 (및 비일시적) 컴퓨터 판독가능한 매체를 포함할 수 있는 메모리(104)는 휴대용 컴퓨팅 디바이스(100)의 동작을 구성하는 프로그램 구성요소들을 구현할 수 있다. 일부 예들에서, 휴대용 컴퓨팅 디바이스(100)는 하나 이상의 네트워크 인터페이스 디바이스(110), 입/출력(I/O) 인터페이스 구성요소(112) 및 추가적인 스토리지(114)를 추가로 포함할 수 있다. 다른 예들에서, 휴대용 컴퓨팅 디바이스(100)는 네트워크 인터페이스 디바이스들(110), 인터페이스 구성요소들(112) 및/또는 추가적인 스토리지(114)를 갖지 않는다.
네트워크 인터페이스 디바이스(110)는 네트워크 접속을 용이하게 하는 하나 이상의 임의의 구성요소를 나타낼 수 있다. 예들은 이더넷, USB, IEEE 1394와 같은 유선 인터페이스들, 및/또는 IEEE 802.11, 블루투스, 또는 셀룰러 전화 네트워크들에 액세스하기 위한 라디오 인터페이스들(예를 들어, CDMA, GSM, UMTS, 또는 다른 모바일 통신 네트워크에 액세스하기 위한 트랜시버/안테나)과 같은 무선 인터페이스들을 포함하지만, 이에 제한되지는 않는다.
I/O 구성요소들(112)은, 데이터를 입력하거나 데이터를 출력하는데 사용되는 하나 이상의 디스플레이, 키보드, 카메라, 마우스, 스피커, 버튼, 조이스틱 및/또는 다른 하드웨어와 같은 디바이스들에 대한 접속을 용이하게 하는데 사용될 수 있다. 추가적인 스토리지(114)는 휴대용 컴퓨팅 디바이스(100)에 포함되거나 프로세서(102)에 결합되는 판독 전용 메모리, 플래시 메모리와 같은 비휘발성 스토리지, 랜덤 액세스 메모리(RAM), 강유전성 RAM(F-RAM), 자기, 광학 또는 다른 저장 매체를 나타낸다.
휴대용 컴퓨팅 디바이스(100)는 터치 감지 표면(116)을 포함한다. 도 1b에 도시된 예에서, 터치 감지 표면(116)은 휴대용 컴퓨팅 디바이스(100)에 통합된다. 다른 예들에서, 휴대용 컴퓨팅 디바이스(100)는 터치 감지 표면(116)을 포함하지 않을 수 있다. 터치 감지 표면(116)은 사용자의 촉각 입력을 감지하도록 구성되는 임의의 표면을 나타낸다. 일부 예들에서, 터치 감지 표면(116)은 말릴 수 있거나, 구부려질 수 있거나, 접힐 수 있거나, 늘어날 수 있거나, 비틀릴 수 있거나, 압착될 수 있거나, 또는 이와 달리 변형가능할 수 있다. 예를 들어, 터치 감지 표면(116)은 구부릴 수 있는 전자 종이 또는 터치 감지 디스플레이 디바이스를 포함할 수 있다.
하나 이상의 터치 센서(108)는 일부 예들에서 객체가 터치 감지 표면(116)과 접촉할 때 터치 영역 내의 터치를 검출하고 프로세서(102)에 의한 사용을 위해 적합한 데이터를 제공하도록 구성된다. 센서들의 임의의 적합한 수, 유형 또는 배열이 사용될 수 있다. 예를 들어, 저항식 및/또는 정전식 센서들은 터치 감지 표면(116)에 내장될 수 있으며, 터치의 위치, 및 압력, 속도 및/또는 방향과 같은 다른 정보를 결정하는데 사용될 수 있다. 다른 예로서, 터치 감지 표면(116)의 뷰를 갖는 광학 센서들이 터치 위치를 결정하는데 사용될 수 있다.
다른 예들에서, 터치 센서(108)는 LED(Light Emitting Diode) 검출기를 포함할 수 있다. 예를 들어, 일부 예들에서, 터치 감지 표면(116)은 디스플레이의 측면 상에 장착된 LED 핑거 검출기를 포함할 수 있다. 일부 예들에서, 프로세서(102)는 단일 터치 센서(108)와 통신한다. 다른 예들에서, 프로세서(102)는 복수의 터치 센서들(108), 예를 들어 제1 터치스크린 및 제2 터치스크린과 연관된 터치 센서들과 통신한다. 터치 센서(108)는 사용자 상호작용을 검출하고, 사용자 상호작용에 기반하여 신호들을 프로세서(102)에 전송하도록 구성된다. 일부 예들에서, 터치 센서(108)는 사용자 상호작용의 복수의 양태들을 검출하도록 구성될 수 있다. 예를 들어, 터치 센서(108)는 사용자 상호작용의 속도 및 압력을 검출하고, 이 정보를 신호에 통합할 수 있다. 일부 예들에서, 휴대용 컴퓨팅 디바이스(100)는 터치 감지 표면 및/또는 터치 센서를 포함하지 않는다.
일부 예들에서, 휴대용 컴퓨팅 디바이스(100)는 터치 감지 표면(116)과 디스플레이를 결합한 터치 인에이블 디스플레이를 포함할 수 있다. 터치 감지 표면(116)은 디스플레이의 구성요소들 위의 하나 이상의 재료 층 또는 디스플레이 외부에 대응할 수 있다. 다른 예들에서, 터치 감지 표면(116)은 휴대용 컴퓨팅 디바이스(100)의 특정한 구성에 따라 디스플레이를 포함(또는 아니면 대응)하지 않을 수 있다. 일부 예들에서, 휴대용 컴퓨팅 디바이스(100)는 디스플레이를 포함하지 않는다.
휴대용 컴퓨팅 디바이스(100)는 또한 하나 이상의 추가적인 센서(들)(130)를 포함한다. 센서(들)(130)는 센서 신호들을 프로세서(102)에 전송하도록 구성된다. 일부 예들에서, 센서(들)(130)는 예를 들어, 카메라, 습도 센서, 주변 광 센서, 자이로스코프, GPS 유닛, 거리 센서 또는 깊이 센서, 바이오리듬 센서 또는 온도 센서를 포함할 수 있다. 도 1b에 도시된 예가 휴대용 컴퓨팅 디바이스(100) 내부의 센서(130)를 도시하지만, 일부 예들에서, 센서(130)는 휴대용 컴퓨팅 디바이스(100) 외부에 있을 수 있다. 예를 들어, 일부 예들에서, 하나 이상의 센서(130)는 게임 시스템을 포함하는 휴대용 컴퓨팅 디바이스(100)와 함께 사용하기 위해 게임 제어기와 연관될 수 있다. 일부 예들에서, 프로세서(102)는 단일 센서(130)와 통신할 수 있고, 다른 예들에서, 프로세서(102)는 복수의 센서들(130), 예를 들어 온도 센서 및 습도 센서와 통신할 수 있다. 일부 예들에서, 휴대용 컴퓨팅 디바이스(100)는 센서(들)(130)를 포함하지 않는다.
휴대용 컴퓨팅 디바이스(100)는 프로세서(102)와 통신하는 햅틱 출력 디바이스(118)를 추가로 포함한다. 햅틱 출력 디바이스(118)는 햅틱 신호에 응답하여 햅틱 효과를 출력하도록 구성된다. 일부 예들에서, 햅틱 출력 디바이스(118)는 예를 들어, 진동, 감지된 마찰 계수의 변화, 시뮬레이팅된 텍스처, 온도의 변화, 스트로킹 감각, 전기 촉각(electro-tactile) 효과, 또는 표면 변형(예를 들어, 휴대용 컴퓨팅 디바이스(100)와 연관된 표면의 변형)을 포함하는 햅틱 효과를 출력하도록 구성된다. 본 명세서에는 단일 햅틱 출력 디바이스(118)가 도시되어 있지만, 일부 예들은 햅틱 효과들을 생성하기 위해 연속적으로 또는 일제히 작동될 수 있는 동일하거나 상이한 유형의 복수의 햅틱 출력 디바이스들(118)을 포함할 수 있다.
도 1b에 도시된 예에서, 햅틱 출력 디바이스(118)는 휴대용 컴퓨팅 디바이스(100) 내부에 있다. 일부 예들에서, 햅틱 출력 디바이스(118)는 진동을 포함하는 햅틱 효과를 출력하도록 구성될 수 있다. 이러한 일부 예들에서, 햅틱 출력 디바이스(118)는 압전 액추에이터, 전기 모터, 전자기 액추에이터, 보이스 코일, 형상 기억 합금, 전기 활성 중합체, 솔레노이드, 편심 회전 질량(ERM) 모터, 또는 선형 공진 액추에이터(LRA) 중 하나 이상을 포함할 수 있다. 일부 예들에서, ERM 모터는 바 ERM 모터 또는 코인 ERM 모터일 수 있다.
다양한 예들에서, 햅틱 출력 디바이스(118)와 같은 햅틱 출력 디바이스는 하나 이상의 햅틱 효과를 출력할 수 있는 임의의 구성요소 또는 구성요소들의 집합일 수 있다. 예를 들어, 햅틱 출력 디바이스는, 편심 회전 질량(ERM) 액추에이터, 선형 공진 액추에이터(LRA), 압전 액추에이터, 보이스 코일 액추에이터, 전기 활성 중합체(EAP) 액추에이터, 형상 기억 합금, 페이저, DC 모터, AC 모터, 이동 자석 액추에이터(moving magnet actuator), E-코어 액추에이터, 스마트겔, 정전기 액추에이터, 전기 촉각 액추에이터, 변형가능한 표면, 정전기 마찰(ESF) 디바이스, 초음파 마찰(USF) 디바이스, 또는 햅틱 출력 디바이스의 기능들을 수행하거나 햅틱 효과를 출력할 수 있는 임의의 다른 햅틱 출력 디바이스 또는 구성요소들의 집합을 포함하지만 이에 제한되지 않는 다양한 유형들 중 하나일 수 있다. 복수의 햅틱 출력 디바이스들 또는 상이한 크기의 햅틱 출력 디바이스들은 진동 주파수들의 범위를 제공하는데 사용될 수 있으며, 이들은 개별적으로 또는 동시에 작동될 수 있다. 다양한 예들은 단일의 또는 복수의 햅틱 출력 디바이스들을 포함할 수 있고, 동일한 유형을 갖거나 또는 상이한 유형들의 햅틱 출력 디바이스들의 조합을 가질 수 있다.
일부 예들에서, 햅틱 출력 디바이스(118)는 햅틱 신호에 응답하여 휴대용 컴퓨팅 디바이스(100)의 표면 상의 감지된 마찰 계수를 변조하는 햅틱 효과를 출력하도록 구성될 수 있다. 이러한 일부 예들에서, 햅틱 출력 디바이스(118)는 초음파 액추에이터를 포함할 수 있다. 초음파 액추에이터는 압전 재료를 포함할 수 있다. 초음파 액추에이터는 터치 감지 표면(116)의 표면에서 감지된 계수를 증가 또는 감소시키는 초음파 주파수, 예를 들어 20kHz로 진동할 수 있다.
휴대용 컴퓨팅 디바이스(100)는 또한 전방(front-facing) 카메라(134)를 포함한다. 예를 들어, 도 1a에 도시된 전방 카메라(134)는 휴대용 컴퓨팅 디바이스(100)가 사용자에 의해 사용될 때 휴대용 컴퓨팅 디바이스(100)의 사용자를 가리키거나 사용자 쪽으로 향한다. 전방 카메라(134)는 비디오 신호를 프로세서(102)에 통신하도록 구성된다. 일부 예들에서, 프로세서(102)는 버스(106)를 통해 전방 카메라(134)와 통신한다. 일부 예들에서, 휴대용 컴퓨팅 디바이스(100)는 전방 카메라를 포함하지 않는다.
휴대용 컴퓨팅 디바이스(100)는 또한 후방 카메라(140)를 포함한다. 예를 들어, 도 1b에서의 후방 카메라(140)는 휴대용 컴퓨팅 디바이스(100)가 사용자에 의해 사용될 때 휴대용 컴퓨팅 디바이스(100)의 사용자로부터 멀어지는 방향을 가리키거나 향한다. 후방 카메라(140)는 비디오 신호를 프로세서(102)에 통신하도록 구성된다. 일부 예들에서, 프로세서(102)는 버스(106)를 통해 후방 카메라(140)와 통신한다. 일부 예들에서, 휴대용 컴퓨팅 디바이스(100)는 후방 카메라를 포함하지 않는다. 예들에서, 휴대용 컴퓨팅 디바이스(100)는 어떠한 카메라도 포함하지 않는다.
휴대용 컴퓨팅 디바이스(100)는 또한 내부 마이크로폰(142)을 포함한다. 일부 예들에서, 원시 펄스 코드 변조(PCM) 신호 포맷의 오디오 신호는 내부 마이크로폰(142)을 사용하여 포착될 수 있다. 예들에서, 적어도 8,000Hz의 샘플링 레이트를 갖는 오디오 신호는 내부 마이크로폰(142)을 사용하여 포착될 수 있다. 예들에서, 적어도 22,050Hz의 샘플링 레이트를 갖는 오디오 신호는 내부 마이크로폰(142)을 사용하여 포착될 수 있다. 예들에서, 적어도 44,100Hz의 샘플링 레이트를 갖는 오디오 신호는 내부 마이크로폰(142)을 사용하여 포착될 수 있다. 일부 예들에서, 1,000Hz 내지 44,100Hz의 샘플링 레이트를 갖는 오디오 신호는 내부 마이크로폰(142)을 사용하여 포착될 수 있다. 예를 들어, 휴대용 컴퓨팅 디바이스 상의 소프트웨어는 내부 마이크로폰(142)으로부터 오디오 신호를 포착하기 위한 샘플링 레이트의 선택을 허용할 수 있다. 다양한 예들에서, 임의의 적합한 샘플링 레이트가 사용될 수 있지만, 내부 마이크로폰(142)을 사용하여 휴대용 컴퓨팅 디바이스(100)의 가속도를 추정할 때의 정확도는 일반적으로 샘플링 레이트들이 커짐에 따라 증가한다.
도 1b에 도시된 예에서, 휴대용 컴퓨팅 디바이스(100)는 내부 가속도계(144)를 갖는다. 예들에서, 내부 마이크로폰(142)에 대응하는 최대 샘플링 레이트는 내부 가속도계(144)에 대응하는 최대 샘플링 레이트보다 더 크다. 예를 들어, 휴대용 컴퓨팅 디바이스 상의 오디오 드라이버는 내부 마이크로폰(142)을 제어하도록 구성될 수 있고, 내부 마이크로폰(142)에 대해 44,100Hz의 최대 샘플링 레이트를 지정할 수 있다. 이 예에서, 휴대용 컴퓨팅 디바이스 상의 가속도계 드라이버는 내부 가속도계(144)를 제어하도록 구성될 수 있고, 내부 가속도계(144)에 대해 1,000Hz의 최대 샘플링 레이트를 지정할 수 있다. 일례에서, 내부 마이크로폰(142)에 대응하는 최대 샘플링 레이트는 최소 22,050Hz이고, 내부 가속도계(144)에 대응하는 최대 샘플링 레이트는 300Hz 미만이다. 일부 예들에서, 내부 가속도계(144)에 대응하는 최대 샘플링 레이트는 100Hz 또는 대략 100Hz이다. 다른 예들에서, 내부 가속도계(144)에 대응하는 최대 샘플링 레이트는 200Hz 또는 대략 200Hz이다. 다른 예들에서, 휴대용 컴퓨팅 디바이스(100)는 어떠한 가속도계도 갖지 않는다.
휴대용 컴퓨팅 디바이스(100)는 또한 메모리(104)를 포함한다. 예들에서, 메모리(104)는 내부 햅틱 출력 디바이스(118)가 햅틱 효과를 출력할 때 내부 마이크로폰(142)에 의해 포착된 오디오 신호에 기반하여 휴대용 컴퓨팅 디바이스(100)의 가속도를 추정하도록 구성되는 하나 이상의 프로그램 구성요소를 포함한다. 예를 들어, 메모리(104)는 다양한 예들에 따라 도 2에서의 방법(200)의 일부 또는 전부를 수행하는 하나 이상의 프로그램 구성요소를 포함한다.
이제 도 2를 참조하면, 이 도면은 휴대용 컴퓨팅 디바이스에서의 (도 1b에 도시된 햅틱 출력 디바이스(118)와 같은) 내부 햅틱 출력 디바이스가 햅틱 효과를 출력할 때 휴대용 컴퓨팅 디바이스에서의 (도 1b에 도시된 마이크로폰(142)과 같은) 내부 마이크로폰을 사용하여 (도 1a 및 도 1b에 도시된 휴대용 컴퓨팅 디바이스(100)와 같은) 휴대용 컴퓨팅 디바이스의 가속도를 추정하는 예시적인 방법(200)을 도시한다. 도 1a 및/또는 도 1b에 대해 참조할 것이지만, 본 개시내용에 따른 임의의 적합한 휴대용 컴퓨팅 디바이스는 내부 햅틱 출력 디바이스가 햅틱 효과를 출력할 때 다양한 예들에 따른 휴대용 컴퓨팅 디바이스의 내부 마이크로폰을 사용하여 휴대용 컴퓨팅 디바이스의 가속도를 추정하는데 사용될 수 있다.
이 방법(200)은 햅틱 신호가 생성되는 블록(210)에서 시작한다. 예를 들어, 휴대용 컴퓨팅 디바이스에서의 프로세서는 휴대용 컴퓨팅 디바이스에서의 내부 햅틱 출력 디바이스가 햅틱 효과를 출력하게 하도록 구성된 햅틱 신호를 생성할 수 있다. 일례에서, 프로세서(102)는 햅틱 신호를 생성하고, 햅틱 신호는 햅틱 출력 디바이스(118)가 햅틱 효과를 출력하게 하도록 구성된다. 예를 들어, 햅틱 신호는 햅틱 출력 디바이스(118)가 진동하게 하도록 구성될 수 있다. 일부 예들에서, 햅틱 효과는 햅틱 패턴을 포함한다. 일부 예들에서, 햅틱 신호는 햅틱 출력 디바이스(118)가 햅틱 출력 디바이스(118)의 최대 크기로 햅틱 효과를 출력하게 하도록 구성된다.
블록(220)에서, 햅틱 신호가 출력된다. 예를 들어, 휴대용 컴퓨팅 디바이스에서의 프로세서는 내부 햅틱 출력 디바이스가 햅틱 신호를 수신하는 것에 응답하여 햅틱 효과를 출력하게 하는 휴대용 컴퓨팅 디바이스에서의 내부 햅틱 출력 디바이스에 햅틱 신호를 출력할 수 있다. 일례에서, 프로세서(102)는 블록(210)에서 생성된 햅틱 신호를 햅틱 출력 디바이스(118)에 출력한다. 이 예에서, 햅틱 출력 디바이스(118)는 프로세서(102)로부터 햅틱 신호를 수신하는 것에 응답하여 햅틱 효과를 출력한다.
블록(230)에서, 내부 마이크로폰으로부터의 오디오 신호가 포착된다. 예를 들어, 휴대용 컴퓨팅 디바이스에서의 프로세서는 햅틱 효과의 적어도 일부가 출력되는 동안 휴대용 컴퓨팅 디바이스에서의 내부 마이크로폰으로부터 오디오 신호를 포착할 수 있다. 일례에서, 프로세서(102)는 햅틱 출력 디바이스(118)가 햅틱 효과의 적어도 일부를 출력하는 동안 내부 마이크로폰(142)으로부터 오디오 신호를 포착한다.
일부 예들에서, 오디오 신호는 원시 펄스 코드 변조(PCM) 신호이다. 일례에서, 오디오 신호는 적어도 8,000Hz의 샘플링 레이트를 갖는다. 다른 예에서, 오디오 신호는 적어도 22,050Hz의 샘플링 레이트를 갖는다. 일부 예들에서, 오디오 신호는 적어도 44,100Hz의 샘플링 레이트를 갖는다. 일부 예들에서, 오디오 신호는 적어도 1,000Hz 내지 44,100Hz의 샘플링 레이트를 갖는다. 다양한 예들에서, 오디오 신호는 임의의 적합한 샘플링 레이트를 가질 수 있지만, 내부 마이크로폰(142)을 사용하여 컴퓨팅 디바이스(100)의 가속도를 측정할 때의 정확도는 일반적으로 오디오 신호의 샘플링 레이트가 증가함에 따라 증가한다. 일부 예들에서, 오디오 신호는 내부 가속도계(144)에 대응하는 최대 샘플링 레이트보다 더 큰 샘플링 레이트를 갖는다.
도 1b와 관련하여 위에서 논의한 바와 같이, 일부 예들에서, 휴대용 컴퓨팅 디바이스는 내부 가속도계를 갖지 않는다. 다른 예들에서, 휴대용 컴퓨팅 디바이스는 내부 가속도계를 갖는다. 일부 예들에서, 오디오 신호는 내부 가속도계(144)에 대응하는 최대 샘플링 레이트보다 더 큰 샘플링 레이트를 갖는다. 예를 들어, 내부 가속도계(144)의 드라이버는 내부 가속도계(144)에 대해 100Hz 이하의 최대 샘플링 레이트를 지정할 수 있고, 오디오 신호는 100Hz보다 더 큰 샘플링 레이트를 가질 수 있다. 다른 예로서, 내부 가속도계(144)의 드라이버는 내부 가속도계(144)에 대해 1,000Hz 이하의 최대 샘플링 레이트를 지정할 수 있고, 오디오 신호는 1,000Hz보다 더 큰 샘플링 레이트를 가질 수 있다. 오디오 신호가 내부 가속도계(144)에 대응하는 최대 샘플링 레이트보다 더 큰 샘플링 레이트를 갖는 예들에서, 내부 마이크로폰(142)을 사용하여 휴대용 컴퓨팅 디바이스(100)의 가속도를 추정할 때의 정확도는 내부 가속도계(144)를 사용하여 컴퓨팅 디바이스(100)의 가속도를 추정할 때의 정확도보다 더 높다. 마찬가지로, 휴대용 컴퓨팅 디바이스(100)의 추정된 가속도가 햅틱 효과를 출력할 때 햅틱 출력 디바이스(118)에 의해 생성된 추정된 가속도와 일반적으로 상관되고 이를 나타내기 때문에, 햅틱 효과를 출력할 때 햅틱 출력 디바이스(118)의 가속도를 추정하는 정확도는 오디오 신호의 샘플링 레이트가 내부 가속도계(144)에 대응하는 최대 샘플링 레이트보다 더 클 때 더욱 높아진다.
일부 예들에서, 햅틱 신호가 블록(210)에서 생성되기 전에 및/또는 햅틱 신호가 블록(220)에서 출력되기 전에 휴대용 컴퓨팅 디바이스에서의 마이크로폰 구멍은 테이프 및/또는 사용자의 손가락과 같은 것으로 차단된다. 예들에서, 휴대용 컴퓨팅 디바이스에서 마이크로폰 구멍을 차단하는 것은 휴대용 컴퓨팅 디바이스에서의 내부 마이크로폰에 의해 검출될 수 있는 주변 잡음을 감소시킴으로써 보다 깨끗한 신호를 제공한다. 따라서, (프로그래머와 같은) 애플리케이션 개발자는 햅틱 효과들이 출력되어 휴대용 컴퓨팅 디바이스(100)에 대한 햅틱 효과들을 구성할 때 내부 마이크로폰(142)을 사용하여 디바이스의 가속도를 보다 정확하게 측정하기 위해 휴대용 컴퓨팅 디바이스(100)에서의 마이크로폰 구멍을 차단할 수 있다. 이에 따라, 애플리케이션 개발자는, 예를 들어 햅틱 효과들이 출력될 때 디바이스들의 내부 마이크로폰을 사용하여 다양한 컴퓨팅 디바이스들의 다양한 모델들에 대한 가속도들을 측정할 수 있고, 다양한 컴퓨팅 디바이스들에 대해 일관된 햅틱 경험을 제공할 수 있는 이러한 디바이스들에 의해 동일한 햅틱 효과가 출력될 때 디바이스들의 가속도가 동일하도록 햅틱 효과들을 구성하거나 아니면 맞출 수 있다.
도 1b와 관련하여 위에서 논의한 바와 같이, 일부 예들에서, 휴대용 컴퓨팅 디바이스(100)는 내부 가속도계(144)를 포함한다. 이러한 예들에서, 내부 가속도계(144)는 햅틱 효과의 적어도 일부가 출력되는 동안 가속도를 측정할 수 있다. 예를 들어, 프로세서(102)는 마이크로폰(142)으로부터 오디오 신호를 포착하는 동시에 내부 가속도계(144)로부터 측정된 가속도를 포착할 수 있다.
블록(240)에서는, 블록(230)에서 포착된 오디오 신호가 필터링된다. 예를 들어, 휴대용 컴퓨팅 디바이스에서의 프로세서는 블록(230)에서 포착된 오디오 신호를 필터링할 수 있다. 일례에서, 휴대용 컴퓨팅 디바이스(100)에서의 프로세서(102)는 오디오 신호를 필터링한다. 예를 들어, 고 주파수 잡음을 제거하기 위해 오디오 신호에 저역 통과 필터를 적용할 수 있다. 다른 예로서, 대역 통과 필터가 오디오 신호에 적용되어 고 주파수 및 매우 낮은 주파수 잡음을 제거할 수 있다. 일례에서, 햅틱 출력 디바이스(118)에 대응하는 진동 주파수 범위를 제외한 임의의 신호를 제거하기 위해 하나 이상의 대역 통과 필터가 오디오 신호에 적용될 수 있다.
블록(250)에서, 내부 햅틱 출력 디바이스가 햅틱 효과의 적어도 일부를 출력하는 동안 휴대용 컴퓨팅 디바이스의 가속도는 오디오 신호에 적어도 부분적으로 기반하여 추정된다. 일부 예들에서, 휴대용 컴퓨팅 디바이스의 가속도는 블록(230)에서 포착된 오디오 신호와 같은 필터링되지 않은 오디오 신호를 사용하여 추정된다. 다른 예들에서, 휴대용 컴퓨팅 디바이스의 가속도는 블록(240)으로부터의 필터링된 오디오 신호와 같은 필터링된 오디오 신호를 사용하여 추정된다.
일례에서, 필터링되지 않은 및/또는 필터링된 오디오 신호는 휴대용 컴퓨팅 디바이스(100)의 추정된 가속도를 나타낸다. 일부 예들에서, 휴대용 컴퓨팅 디바이스(100)는 내부 가속도계(144)를 포함한다. 블록(230)과 관련하여 위에서 논의한 바와 같이, 일부 예들에서, 내부 가속도계(144)는 프로세서(102)가 마이크로폰(142)으로부터 오디오 신호를 포착하는 동시에 내부 가속도계(144)로부터 측정된 가속도를 포착한다. 이러한 예들에서, 내부 가속도계(144)로부터의 측정된 가속도는 오디오 신호를 실제 중력 값으로 스케일링하는 것과 같이 오디오 신호를 스케일링하는데 사용될 수 있다. 이것은, 예를 들어 햅틱 출력 디바이스(118)가 내부 가속도계(144)로부터의 가속도 및 내부 마이크로폰(142)으로부터의 오디오 신호를 동시에 포착하는 동안 햅틱 효과를 최대 크기로 출력하게 하고, 그 다음에 내부 가속도계(144)로부터 포착된 가속도에 기반하여 오디오 신호를 스케일링함으로써 수행될 수 있다.
도 1b와 관련하여 위에서 논의한 바와 같이, 일부 예들에서, 휴대용 컴퓨팅 디바이스(100)는 디스플레이를 갖는다. 일부 예들에서, 프로세서(102)는 휴대용 컴퓨팅 디바이스(100)에서의 디스플레이에 표시 신호를 출력한다. 표시 신호는 디스플레이가 정보를 디스플레이 상에 시각적으로 나타내게 하도록 구성될 수 있다. 예를 들어, 표시 신호는 내부 햅틱 출력 디바이스(118)가 햅틱 효과의 적어도 일부를 출력하는 동안의 휴대용 컴퓨팅 디바이스(100)의 추정된 가속도를 포함할 수 있다. 일부 예들에서, 표시 신호는 내부 햅틱 출력 디바이스(118)가 햅틱 효과의 적어도 일부를 출력하는 동안의 휴대용 컴퓨팅 디바이스(100)의 추정된 가속도의 그래프를 포함한다. 예를 들어, 예들에서, 표시 신호는 내부 햅틱 출력 디바이스(118)가 햅틱 효과의 적어도 일부를 출력하는 동안 휴대용 컴퓨팅 디바이스(100)의 내부 가속도계(144)로부터의 측정된 가속도에 기반하여 필터링되지 않은 오디오 신호 및/또는 필터링된 오디오 신호를 실제 중력 값으로 스케일링하는 그래프를 포함한다.
일부 예들에서, 가속도는 피드백 루프를 사용하지 않고 (블록들(210-250)과 관련하여 본 명세서에서 설명되는 바와 같이) 추정될 수 있다. 예를 들어, 본 명세서에서 설명되는 바와 같이 햅틱 신호가 생성되어 출력될 수 있고, 내부 마이크로폰으로부터의 오디오 신호가 포착되어 필터링될 수 있으며, 가속도가 추정될 수 있다. 이러한 예들에서, 디바이스의 내부 마이크로폰은 디바이스의 내부 마이크로폰으로부터 오디오 신호를 포착하는데 사용될 수 있고, 디바이스의 가속도는 햅틱 효과를 조정하지 않고 피드백 루프 없이 추정될 수 있다. 개발자는 디바이스용 애플리케이션에 대한 햅틱 효과들을 설계할 때 추정된 가속도를 사용할 수 있다. 다른 예들에서, 피드백 루프는 도 2에서의 블록(260)에 도시된 바와 같이 추정된 가속도에 기반하여 햅틱 효과를 조정하는데 사용될 수 있다.
블록(260)에서, 햅틱 효과는 추정된 가속도에 기반하여 임의적으로 조정된다. 예를 들어, 휴대용 컴퓨팅 디바이스(100)용 애플리케이션의 개발자는 추정된 가속도에 기반하여 햅틱 효과의 특성을 수동으로 조정할 수 있다. 일부 예들에서, 휴대용 컴퓨팅 디바이스(100)의 사용자는 추정된 가속도에 기반하여 햅틱 효과의 특성을 수동으로 조정할 수 있다. 예를 들어, 일례에서, (상승 시간, 정지 시간, 감쇠 시간, 최대 크기, 펄싱 주파수 등과 같은) 하나 이상의 특성은 추정된 가속도에 기반하여 추정될 수 있고/있거나 추정된 가속도에 기반하여 조정될 수 있다.
일부 예들에서, 햅틱 효과의 특성은 추정된 가속도에 기반하여 휴대용 컴퓨팅 디바이스(100)에 의해 자동으로 조정될 수 있다. 예를 들어, 프로세서(102)는 추정된 가속도에 기반하여 햅틱 효과의 하나 이상의 특성을 자동으로 조정할 수 있다. 일부 예들에서, 햅틱 효과가 햅틱 출력 디바이스(118)에 의해 출력된 후에, 프로세서(102)는 추정된 가속도에 기반하여 햅틱 효과의 하나 이상의 특성을 조정한다. 이러한 예들에서, 햅틱 효과의 조정된 특성(들)은 휴대용 컴퓨팅 디바이스(100)에서의 햅틱 출력 디바이스(118)에 의한 햅틱 효과의 후속 출력에 사용된다. 일례에서, 햅틱 효과의 특성(들)은 애플리케이션의 개발자에 의해 지정된 햅틱 효과에 대한 미리정의된 가속도 또는 휴대용 컴퓨팅 디바이스(100)의 사용자에 의해 지정된 햅틱 효과에 대한 미리정의된 가속도와 같은 햅틱 효과에 대한 미리정의된 가속도와 일치시키기 위해(또는 일치시키려는 노력으로) 휴대용 컴퓨팅 디바이스(100)의 추정된 가속도를 변경하도록 조정된다.
예들에서, 햅틱 효과의 특성은 추정된 가속도에 기반하여 휴대용 컴퓨팅 디바이스(100)에 의해 실시간으로 조정될 수 있다. 예를 들어, 프로세서(102)는 추정된 가속도에 기반하여 햅틱 효과의 하나 이상의 특성을 조정할 수 있다. 이 예에서, 햅틱 효과가 햅틱 출력 디바이스(118)에 의해 출력되는 동안, 휴대용 컴퓨팅 디바이스(100)의 가속도는 오디오 신호에 적어도 부분적으로 기반하여 블록(250)에서 추정된다. 햅틱 출력 디바이스(118)가 햅틱 효과의 출력을 끝내기 전에, 프로세서(102)는 햅틱 효과의 조정할 하나 이상의 특성을 결정하고 햅틱 출력 디바이스(118)에 신호를 보내서 햅틱 효과의 특성(들)을 조정한다. 일례에서, 프로세서(102)는 햅틱 효과에 대한 미리정의된 가속도를 추정된 가속도와 비교하는 것에 기반하여 햅틱 효과의 조정할 하나 이상의 특성을 결정한다. 예들에서, 햅틱 효과의 특성(들)은 추정된 가속도가 햅틱 효과에 대한 미리정의된 가속도와 일치하거나 근사할 때까지 실시간으로 조정된다.
일부 예들에서, 추정된 가속도는 햅틱 효과들의 렌더링을 향상시키는데 사용된다. 예를 들어, 추정된 가속도는 햅틱 신호를 제동 또는 정지시키는 시기를 결정하는데 사용될 수 있다. 다른 예로서, 추정된 가속도는 햅틱 효과를 얼마나 증가시킬지 및/또는 햅틱 효과를 얼마나 감소시킬지를 결정하는데 사용될 수 있다. 일례에서, 진동 신호의 위상을 분석하고, 진동 신호와 180도 위상차가 나도록 구성된 진동 명령을 인가함으로써 제동이 구현된다.
이제 도 3 내지 도 9를 참조하면, 이러한 도면들은 액추에이터를 갖는 다양한 스마트폰들이 특정한 햅틱 효과를 출력할 때 다양한 예들에 따라 스마트폰들의 내부 마이크로폰을 사용하여 측정된 정규화된 추정된 가속도들에 대한 외부 가속도계에 의해 측정된 정규화된 가속도들을 도시한다.
도 3 내지 도 9에서 사용된 스마트폰들은 각각 삼성 갤럭시 S6 스마트폰, 삼성 갤럭시 S7 스마트폰, 삼성 갤럭시 S6 에지 스마트폰, 삼성 그란데 스마트폰, HTC One M9 스마트폰, 샤오미 RedMi Note 3 스마트폰 및 LG 넥서스 5 스마트폰이었다.
도 3 내지 도 9에서 사용된 각각의 스마트폰은 안드로이드 운영 체계를 실행하였다. 특히, 도 3 내지 도 5 및 도 9와 관련하여 사용된 스마트폰들은 안드로이드 6 운영 체계를 실행하였다. 도 7 및 도 8과 관련하여 사용된 스마트폰들은 안드로이드 5 운영 체계를 실행하였다. 도 6과 관련하여 사용된 스마트폰은 안드로이드 4 운영 체계를 실행하였다.
도 3 내지 도 9에서 사용된 각각의 스마트폰은 또한 액추에이터를 갖는다. 특히, 도 3 내지 도 5와 관련하여 사용된 스마트폰들은 각각의 선형 공진 액추에이터(LRA)를 가졌다. 도 6 및 도 9와 관련하여 사용된 스마트폰들은 각각의 코인 편심 회전 질량(ERM) 모터를 가졌다. 도 7 및 도 8과 관련하여 사용된 스마트폰들은 각각의 바 편심 회전 질량(ERM) 모터를 가졌다.
도 3 내지 도 9에서 사용된 각각의 스마트폰은 그 스마트폰의 내부 액추에이터가 특정한 햅틱 효과를 출력할 때 스마트폰의 가속도를 추정하는데 사용된 각각의 내부 마이크로폰을 가졌다. 이를 위해, 스마트폰들의 내부 마이크로폰으로부터의 원시 펄스 코드 변조(PCM) 오디오 신호는 스마트폰이 진동하는 동안 44.1KHz에서 포착되었다. 포착된 잡음을 줄이기 위해, 각각의 스마트폰의 마이크로폰은 그 오디오 신호를 포착하기 전에 테이프로 가려졌다.
안드로이드 운영 체계에서 Vibrate() 방법을 사용하여, 다음의 햅틱 패턴 - {20,100,40,100,100,300,300}이 각각의 스마트폰의 액추에이터에 의해 출력되었다. 가속도계 신호는 스마트폰의 액추에이터가 햅틱 패턴을 출력할 때 외부 가속도계를 사용하여 포착되었다. 그 다음, 스마트폰의 액추에이터가 햅틱 패턴을 출력할 때 스마트폰들의 내부 마이크로폰으로부터의 원시 PCM 오디오 신호는 44.1KHz에서 포착되었고, 외부 가속도계는 스마트폰에 부착되어 있지 않았다.
다음으로, 포착된 가속도계 신호 및 포착된 마이크로폰 신호는 100 내지 300 Hz의 대역 통과 필터를 사용하여 필터링되었지만, 다른 예들에서는, 임의의 적합한 대역 통과 필터가 사용될 수 있다. 그 다음, 도 3 내지 도 9에 도시된 바와 같이, 외부 가속도계에 의해 포착된 정규화된 가속도는 스마트폰의 내부 마이크로폰에 의해 포착된 정규화된 추정된 가속도와 비교되었다. LRA 액추에이터를 갖는 스마트폰들의 경우, 1축 가속도 비교 그래프가 생성되었다. ERM 모터를 갖는 스마트폰들의 경우, 3D 가속도 비교 그래프가 생성되었다. 도 3 내지 도 9에 도시된 바와 같이, 스마트폰이 진동했을 때 스마트폰들의 내부 마이크로폰들에 의해 포착된 추정된 가속도는 외부 가속도계에 의해 포착된 가속도와 근사하였다. 예를 들어, ERM 모터를 갖는 스마트폰들의 경우, 벡터 가속도는 외부 가속도계의 3축 가속도 데이터로부터 계산되었고, 이 벡터 가속도는 오디오 신호로부터 추정된 1축 가속도와 비교되었다. 이 예에서, 벡터 가속도는 벡터 방정식 acc_vector = sqrt(x*x+y*y+z*z)를 사용하여 추정되었으며, 여기서 x, y 및 z는 3개의 수직 가속도 축이다. 따라서, 휴대용 컴퓨팅 디바이스의 내부 마이크로폰은 다양한 예들에 따라 본 명세서에서 설명되는 바와 같이 진동시 휴대용 컴퓨팅 디바이스의 가속도를 근사화하는데 사용될 수 있다.
본 명세서에서의 디바이스들, 시스템들, 및 방법들의 일부 예들이 다양한 머신들 상에서 실행되는 소프트웨어와 관련하여 설명되었지만, 이러한 방법들 및 시스템들은 다양한 방법들을 구체적으로 실행하기 위한 FPGA(field-programmable gate array)와 같은 구체적으로 구성된 하드웨어로서 또한 구현될 수 있다. 예를 들어, 예들은 디지털 전자 회로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수 있다. 일례에서, 디바이스는 프로세서 또는 프로세서들을 포함할 수 있다. 프로세서는 프로세서에 결합된 RAM과 같은 컴퓨터 판독가능한 매체를 포함한다. 프로세서는 이미지를 편집하기 위해 하나 이상의 컴퓨터 프로그램을 실행시키는 것과 같이, 메모리에 저장된 컴퓨터 실행가능한 프로그램 명령어들을 실행시킨다. 이러한 프로세서들은 마이크로프로세서, DSP(digital signal processor), ASIC(application-specific integrated circuit), FPGA들, 및 상태 머신들을 포함할 수 있다. 이러한 프로세서들은 PLC들, 프로그램가능한 인터럽트 제어기(PIC)들, 프로그램가능한 논리 디바이스(PLD)들, 프로그램가능한 판독 전용 메모리(PROM)들, 전기적 프로그램가능한 판독 전용 메모리(EPROM 또는 EEPROM)들, 또는 다른 유사한 디바이스들과 같은 프로그램가능한 전자 디바이스들을 추가로 포함할 수 있다.
이러한 프로세서들은, 프로세서에 의해 실행될 때, 프로세서로 하여금 프로세서에 의해 수행되거나 지원되는 바와 같은 본 명세서에서 설명되는 단계들을 수행하게 할 수 있는 명령어들을 저장할 수 있는 매체, 예를 들어 컴퓨터 판독가능한 저장 매체를 포함할 수 있거나, 이 매체와 통신할 수 있다. 컴퓨터 판독가능한 매체의 예들은 웹 서버에서의 프로세서와 같은 프로세서에게 컴퓨터 판독가능한 명령어들을 제공할 수 있는 전자, 광학, 자기, 또는 다른 저장 디바이스를 포함할 수 있지만, 이에 제한되지는 않는다. 매체의 다른 예들은 플로피 디스크, CD-ROM, 자기 디스크, 메모리 칩, ROM, RAM, ASIC, 구성된 프로세서, 모든 광학 매체, 모든 자기 테이프 또는 다른 자기 매체, 또는 컴퓨터 프로세서가 판독할 수 있는 임의의 다른 매체를 포함하지만, 이에 제한되지는 않는다. 설명한 프로세서 및 처리는 하나 이상의 구조물에 있을 수 있으며, 하나 이상의 구조물을 통해 분산될 수 있다. 프로세서는 본 명세서에서 설명되는 방법들 중 하나 이상(또는 방법들의 일부들)을 수행하기 위한 코드를 포함할 수 있다.
본 명세서에 개시된 방법들의 예들은 컴퓨팅 디바이스들의 동작에서 수행될 수 있다. 위의 예들에서 제시된 블록들의 순서는 변경될 수 있고, 예를 들어 블록들은 재순서화되고, 결합되고/되거나 서브 블록들로 분할될 수 있다. 특정한 블록들 또는 프로세스들은 병렬로 수행될 수 있다. 따라서, 본 명세서에 개시된 방법들의 단계들이 특정한 순서로 도시되고 설명되었지만, 다른 예들은 동일하거나, 추가적이거나 또는 더 적은 단계들을 포함할 수 있다. 일부 예들은 이러한 단계들을 상이한 순서로 또는 병렬로 수행할 수 있다. 일부 예들에서, 본 명세서에서 설명되는 방법에서의 하나 이상의 단계는 임의적일 수 있다.
일부 예들의 앞선 설명은 예시 및 설명의 목적만을 위해 제시되었으며, 포괄적이거나 개시된 정밀한 형태들로 본 개시내용을 제한하는 것으로 의도되지 않는다. 많은 수정들 및 그 적응물들이 본 개시내용의 사상 및 범위를 벗어나지 않고 관련 기술분야의 통상의 기술자에게 명백할 것이다.
예 또는 구현에 대한 본 명세서에서의 참조는, 예와 관련하여 설명된 특정한 특징, 구조, 동작, 또는 다른 특성이 본 개시내용의 적어도 하나의 구현에 포함될 수 있다는 것을 의미한다. 본 개시내용은 이와 같이 설명된 특정한 예들 또는 구현들에 제한되지 않는다. 문구들 "일례에서", "예에서", "하나의 구현에서" 또는 "구현에서"의 표현, 또는 본 명세서의 다양한 곳들에서의 동일한 변형들은 반드시 동일한 예 또는 구현을 지칭하지는 않는다. 하나의 예 또는 구현에 관해 본 명세서에서 설명된 임의의 특정한 특징, 구조, 동작, 또는 다른 특성은 임의의 다른 예 또는 구현에 관해 설명된 다른 특징들, 구조들, 동작들, 또는 다른 특성들과 결합될 수 있다.
Claims (25)
- 휴대용 컴퓨팅 디바이스로서,
햅틱 출력 디바이스;
마이크로폰;
메모리; 및
상기 햅틱 출력 디바이스, 상기 마이크로폰 및 상기 메모리와 통신하는 프로세서
를 포함하며, 상기 프로세서는 상기 메모리로부터 실행가능한 명령어들을 수신하도록 구성되며, 상기 실행가능한 명령어들은 상기 프로세서에 의해 실행될 때 상기 프로세서로 하여금,
상기 햅틱 출력 디바이스가 햅틱 효과를 출력하게 하도록 구성된 햅틱 신호를 생성하게 하고,
상기 햅틱 출력 디바이스에 상기 햅틱 신호를 출력하여 상기 햅틱 출력 디바이스가 상기 햅틱 효과를 출력하게 하고,
상기 햅틱 효과의 적어도 일부가 상기 햅틱 출력 디바이스에 의해 출력되는 동안 상기 마이크로폰을 사용하여 오디오 신호를 포착하게 하며,
상기 햅틱 효과가 상기 오디오 신호에 기반하여 출력될 때 상기 휴대용 컴퓨팅 디바이스의 가속도를 추정하게 하는 휴대용 컴퓨팅 디바이스. - 제1항에 있어서,
상기 휴대용 컴퓨팅 디바이스는 가속도계를 포함하지 않는 휴대용 컴퓨팅 디바이스. - 제1항에 있어서,
상기 휴대용 컴퓨팅 디바이스는 가속도계를 더 포함하며, 상기 마이크로폰에 대응하는 최대 샘플링 레이트는 상기 가속도계에 대응하는 최대 샘플링 레이트보다 더 큰 휴대용 컴퓨팅 디바이스. - 제3항에 있어서,
오디오 드라이버는 상기 마이크로폰에 대응하는 상기 최대 샘플링 레이트를 지정하며, 가속도계 드라이버는 상기 가속도계에 대응하는 상기 최대 샘플링 레이트를 지정하는 휴대용 컴퓨팅 디바이스. - 제4항에 있어서,
상기 휴대용 컴퓨팅 디바이스는 스마트폰, 패블릿 또는 태블릿 중 적어도 하나인 휴대용 컴퓨팅 디바이스. - 제4항에 있어서,
상기 가속도계에 대응하는 상기 최대 샘플링 레이트는 1,000Hz 미만인 휴대용 컴퓨팅 디바이스. - 제6항에 있어서,
상기 마이크로폰에 대응하는 상기 최대 샘플링 레이트는 적어도 20,050Hz인 휴대용 컴퓨팅 디바이스. - 제1항에 있어서,
상기 햅틱 출력 디바이스는 선형 공진 액추에이터(LRA) 또는 편심 회전 질량(ERM) 모터인 휴대용 컴퓨팅 디바이스. - 제1항에 있어서,
상기 프로세서는 상기 메모리로부터 실행가능한 명령어들을 수신하도록 추가로 구성되며, 상기 실행가능한 명령어들은 상기 프로세서에 의해 실행될 때 상기 프로세서로 하여금,
상기 가속도를 추정하기 전에 적어도 하나의 필터를 상기 오디오 신호에 적용하여 상기 햅틱 출력 디바이스의 진동 주파수에 대응하지 않는 주파수들을 상기 오디오 신호로부터 제거하게 하는 휴대용 컴퓨팅 디바이스. - 제1항에 있어서,
상기 프로세서는 상기 메모리로부터 실행가능한 명령어들을 수신하도록 추가로 구성되며, 상기 실행가능한 명령어들은 상기 프로세서에 의해 실행될 때 상기 프로세서로 하여금,
상기 가속도를 추정하기 전에 저역 통과 필터 또는 대역 통과 필터 중 적어도 하나를 상기 오디오 신호에 적용하게 하는 휴대용 컴퓨팅 디바이스. - 제1항에 있어서,
상기 프로세서는 상기 메모리로부터 실행가능한 명령어들을 수신하도록 추가로 구성되며, 상기 실행가능한 명령어들은 상기 프로세서에 의해 실행될 때 상기 프로세서로 하여금,
추정된 가속도가 상기 햅틱 효과에 대한 미리정의된 가속도에 대응할 때까지 실시간으로 상기 햅틱 효과의 적어도 하나의 특성을 조정하게 하는 휴대용 컴퓨팅 디바이스. - 제1항에 있어서,
상기 휴대용 컴퓨팅 디바이스는 상기 프로세서와 통신하는 디스플레이를 더 포함하며, 상기 프로세서는 상기 메모리로부터 실행가능한 명령어들을 수신하도록 추가로 구성되며, 상기 실행가능한 명령어들은 상기 프로세서에 의해 실행될 때 상기 프로세서로 하여금,
상기 디스플레이에 표시 신호를 출력하게 하며, 상기 표시 신호는 상기 디스플레이가 추정된 가속도를 상기 디스플레이 상에 나타내게 하도록 구성되는 휴대용 컴퓨팅 디바이스. - 방법으로서,
휴대용 컴퓨팅 디바이스에서의 프로세서에 의해, 상기 휴대용 컴퓨팅 디바이스에서의 센서로부터 센서 신호를 수신하는 단계 - 상기 센서 신호는 상기 휴대용 컴퓨팅 디바이스의 움직임을 나타냄 -;
상기 프로세서에 의해, 상기 휴대용 컴퓨팅 디바이스의 움직임을 나타내는 상기 센서 신호를 수신하는 것에 응답하여 상기 휴대용 컴퓨팅 디바이스에서의 마이크로폰으로부터 오디오 신호를 포착하는 단계; 및
상기 프로세서에 의해, 상기 오디오 신호에 기반하여 상기 휴대용 컴퓨팅 디바이스의 가속도를 추정하는 단계
를 포함하는 방법. - 제13항에 있어서,
상기 가속도를 추정하기 전에, 상기 프로세서에 의해, 적어도 하나의 필터를 상기 오디오 신호에 적용하는 단계를 더 포함하는 방법. - 제13항에 있어서,
상기 프로세서에 의해, 상기 휴대용 컴퓨팅 디바이스에서의 햅틱 출력 디바이스가 햅틱 효과를 출력하게 하도록 구성된 햅틱 신호를 생성하는 단계;
상기 프로세서에 의해, 상기 햅틱 출력 디바이스에 상기 햅틱 신호를 출력하여 상기 햅틱 출력 디바이스가 상기 햅틱 효과를 출력하게 하는 단계
를 더 포함하며,
상기 햅틱 효과의 출력은 상기 휴대용 컴퓨팅 디바이스에서의 상기 센서가 상기 휴대용 컴퓨팅 디바이스의 움직임을 나타내는 상기 센서 신호를 상기 휴대용 컴퓨팅 디바이스에서의 상기 프로세서에 보내게 하는 방법. - 제15항에 있어서,
상기 프로세서에 의해, 추정된 가속도가 상기 햅틱 효과에 대한 미리정의된 가속도에 대응할 때까지 실시간으로 상기 햅틱 효과의 적어도 하나의 특성을 조정하는 단계를 더 포함하는 방법. - 제13항에 있어서,
상기 프로세서에 의해, 상기 휴대용 컴퓨팅 디바이스에서의 디스플레이에 표시 신호를 출력하는 단계를 더 포함하며, 상기 표시 신호는 상기 디스플레이가 추정된 가속도를 상기 디스플레이 상에 나타내게 하도록 구성되는 방법. - 제13항에 있어서,
상기 오디오 신호는 원시 펄스 코드 변조(PCM) 신호인 방법. - 제13항에 있어서,
상기 오디오 신호는 상기 휴대용 컴퓨팅 디바이스에서의 가속도계에 대응하는 최대 샘플링 레이트보다 더 큰 샘플링 레이트를 포함하며, 상기 최대 샘플링 레이트는 상기 가속도계에 대응하고 상기 가속도계를 제어하도록 구성된 가속도계 드라이버에 의해 지정되는 방법. - 제19항에 있어서,
상기 가속도계는 상기 센서인 방법. - 제13항에 있어서,
상기 마이크로폰은 상기 센서인 방법. - 프로세서에 의해 실행되도록 구성된 하나 이상의 소프트웨어 애플리케이션을 포함하는 비일시적 컴퓨터 판독가능한 매체로서,
상기 하나 이상의 소프트웨어 애플리케이션은,
휴대용 컴퓨팅 디바이스에서의 햅틱 출력 디바이스가 햅틱 효과를 출력하게 하도록 구성된 햅틱 신호를 생성하고,
상기 햅틱 출력 디바이스에 상기 햅틱 신호를 출력하여 상기 햅틱 출력 디바이스가 상기 햅틱 효과를 출력하게 하고,
상기 햅틱 효과의 적어도 일부가 상기 햅틱 출력 디바이스에 의해 출력되는 동안 상기 휴대용 컴퓨팅 디바이스에서의 마이크로폰으로부터 오디오 신호를 포착하며,
상기 오디오 신호에 기반하여 진동시 상기 휴대용 컴퓨팅 디바이스의 가속도를 추정하도록 구성되는 비일시적 컴퓨터 판독가능한 매체. - 제22항에 있어서,
상기 하나 이상의 소프트웨어 애플리케이션은,
상기 가속도를 추정하기 전에 적어도 하나의 필터를 상기 오디오 신호에 적용하도록 추가로 구성되는 비일시적 컴퓨터 판독가능한 매체. - 제22항에 있어서,
상기 하나 이상의 소프트웨어 애플리케이션은,
추정된 가속도가 상기 햅틱 효과에 대한 미리정의된 가속도와 일치할 때까지 실시간으로 상기 햅틱 효과의 적어도 하나의 특성을 조정하도록 추가로 구성되는 비일시적 컴퓨터 판독가능한 매체. - 제22항에 있어서,
상기 하나 이상의 소프트웨어 애플리케이션은,
상기 휴대용 컴퓨팅 디바이스에서의 디스플레이에 표시 신호를 출력하도록 추가로 구성되며, 상기 표시 신호는 상기 디스플레이가 추정된 가속도를 상기 디스플레이 상에 나타내게 하도록 구성되는 비일시적 컴퓨터 판독가능한 매체.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/636,440 | 2017-06-28 | ||
| US15/636,440 US20190004082A1 (en) | 2017-06-28 | 2017-06-28 | Systems and Methods for Determining a Device's Acceleration Using Its Internal Microphone |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20190001926A true KR20190001926A (ko) | 2019-01-07 |
Family
ID=62951819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180072486A KR20190001926A (ko) | 2017-06-28 | 2018-06-25 | 그 내부 마이크로폰을 사용하여 디바이스의 가속도를 측정하기 위한 시스템들 및 방법들 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20190004082A1 (ko) |
| EP (1) | EP3422154A1 (ko) |
| JP (1) | JP2019032823A (ko) |
| KR (1) | KR20190001926A (ko) |
| CN (1) | CN109142789A (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111736704B (zh) * | 2020-06-29 | 2024-04-02 | 瑞声科技(新加坡)有限公司 | 触觉效果的设计方法及设备、计算机可读存储介质 |
| US20240042308A1 (en) * | 2022-08-03 | 2024-02-08 | Sony Interactive Entertainment Inc. | Fidelity of motion sensor signal by filtering voice and haptic components |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9608848B2 (en) * | 2014-10-22 | 2017-03-28 | The Board Of Trustees Of The University Of Illinois | Communicating through physical vibration |
-
2017
- 2017-06-28 US US15/636,440 patent/US20190004082A1/en not_active Abandoned
-
2018
- 2018-06-25 KR KR1020180072486A patent/KR20190001926A/ko unknown
- 2018-06-26 JP JP2018120406A patent/JP2019032823A/ja active Pending
- 2018-06-27 EP EP18180219.0A patent/EP3422154A1/en not_active Withdrawn
- 2018-06-27 CN CN201810680290.7A patent/CN109142789A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20190004082A1 (en) | 2019-01-03 |
| EP3422154A1 (en) | 2019-01-02 |
| JP2019032823A (ja) | 2019-02-28 |
| CN109142789A (zh) | 2019-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102255469B1 (ko) | 플렉서블한 디스플레이를 포함하는 전자 장치 및 그 동작 방법 | |
| CN104714687B (zh) | 用于触觉显示参数的光学传输的系统和方法 | |
| CN108536463B (zh) | 获取资源包的方法、装置、设备及计算机可读存储介质 | |
| US9898086B2 (en) | Systems and methods for visual processing of spectrograms to generate haptic effects | |
| JP6494222B2 (ja) | 自動遠隔検出およびハプティック変換システム | |
| US11272283B2 (en) | Rendering haptics on headphones with non-audio data | |
| KR101720655B1 (ko) | 사용자 동작 인식 기반의 햅틱 피드백 제공 장치 및 그 동작 방법 | |
| JP2017151950A (ja) | ハプティック効果競合の回避 | |
| CN108710496A (zh) | 应用程序的配置更新方法、装置、设备及存储介质 | |
| CN109375767A (zh) | 用于生成触觉效果的系统和方法 | |
| US20150084875A1 (en) | Enhanced haptic feedback for handheld mobile computing devices | |
| CN103631375B (zh) | 根据电子设备中的情形感知控制振动强度的方法和设备 | |
| CN111177137B (zh) | 数据去重的方法、装置、设备及存储介质 | |
| CN109814775B (zh) | 菜单项调整方法、装置及终端 | |
| KR20190001926A (ko) | 그 내부 마이크로폰을 사용하여 디바이스의 가속도를 측정하기 위한 시스템들 및 방법들 | |
| CN109144460A (zh) | 发声控制方法、装置、电子装置以及存储介质 | |
| CN108053832A (zh) | 音频信号处理方法、装置、电子设备及存储介质 | |
| CN110275655A (zh) | 歌词显示方法、装置、设备及存储介质 | |
| US20200142492A1 (en) | Haptic effects using a high bandwidth thin actuation system | |
| KR20210101518A (ko) | Ar 객체를 배치하는 방법 및 전자 장치 | |
| TW201739645A (zh) | 行車資訊顯示方法 | |
| CN112181442A (zh) | 卸载页面显示方法、装置、终端、服务器及存储介质 | |
| JP6937168B2 (ja) | 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法 | |
| JP2014106394A (ja) | 音声情報表示装置、音声情報表示方法およびプログラム | |
| CN109886226B (zh) | 确定图像的特征数据的方法、装置、电子设备及存储介质 |