KR20190142229A - 센서 융합을 이용한 햅틱 효과들의 다중-레이트 제어를 위한 시스템들 및 방법들 - Google Patents

Abstract

센서 융합을 이용한 햅틱 효과들의 다중-레이트 제어를 위한 시스템들 및 방법들이 개시된다. 하나의 예시적인 시스템은, 햅틱 효과를 출력하도록 구성된 햅틱 출력 디바이스, 햅틱 출력 디바이스의 출력을 감지하고 제1 센서 신호를 생성하도록 구성된 제1 센서, 및 제1 센서와 통신하는 프로세서를 포함한다. 프로세서는: 제1 센서로부터의 제1 센서 신호를 제1 레이트로 샘플링하고, 기준 신호를 수신하고, 제1 센서 신호와 기준 신호 사이의 에러를 결정하고, 기준 신호 및 에러에 적어도 부분적으로 기초하여 햅틱 신호를 생성하고, 햅틱 신호를 햅틱 신호에 기초하여 햅틱 효과를 출력하도록 구성된 햅틱 출력 디바이스로 송신하고, 제1 센서 신호를 제2 레이트로 샘플링하도록 구성되며, 제2 레이트는 제1 레이트보다 낮다.

Description

센서 융합을 이용한 햅틱 효과들의 다중-레이트 제어를 위한 시스템들 및 방법들{SYSTEMS AND METHODS FOR MULTI-RATE CONTROL OF HAPTIC EFFECTS WITH SENSOR FUSION}

본 출원은 햅틱 효과들의 분야에 관한 것이다. 더 구체적으로, 본 출원은 센서 융합을 이용한 햅틱 효과들의 다중-레이트 제어에 관한 것이다.

햅틱 효과들은 일반적으로 디바이스들에서의, 그리고 특히 모바일 디바이스들에서의 사용성을 개선한다. 이는 햅틱들의 구현의 폭의 증가로 이어졌다. 햅틱들이 다양한 디바이스들에서 구현됨에 따라, 햅틱들이 제공되는 디바이스를 효율적으로 이용하면서, 상이한 디바이스들의 범위에 걸쳐 고품질의 일관된 햅틱 효과들을 보장하는 것이 도전과제일 수 있다. 센서 융합을 이용한 햅틱 효과들의 다중-레이트 제어를 위한 시스템들 및 방법들이 이러한 햅틱 효과들의 품질 및 일관성을 보장하는 것을 돕기 위해 필요하다.

일 실시예에서, 센서 융합을 이용한 햅틱 효과들의 다중-레이트 제어를 위한 시스템은 햅틱 효과를 출력하도록 구성된 햅틱 출력 디바이스, 햅틱 출력 디바이스의 출력을 감지하고 제1 센서 신호를 생성하도록 구성된 제1 센서, 제1 센서와 통신하는 프로세서를 포함한다. 프로세서는: 제1 센서로부터의 제1 센서 신호를 제1 레이트로 샘플링하고, 기준 신호를 수신하고, 제1 센서 신호와 기준 신호 사이의 에러를 결정하고, 기준 신호 및 에러에 적어도 부분적으로 기초하여 햅틱 신호를 생성하고, 햅틱 신호를 햅틱 신호에 기초하여 햅틱 효과를 출력하도록 구성된 햅틱 출력 디바이스로 송신하고, 제1 센서 신호를 제2 레이트로 샘플링하도록 구성되며, 제2 레이트는 제1 레이트보다 낮다.

다른 실시예에서, 시스템은 햅틱 효과를 출력하도록 구성된 햅틱 출력 디바이스, 햅틱 출력 디바이스의 출력을 감지하고 제1 센서 신호를 생성하도록 구성된 제1 센서, 햅틱 출력 디바이스의 출력을 감지하고 센서 신호를 생성하도록 구성된 제2 센서, 제1 센서 및 제2 센서와 통신하는 프로세서를 포함한다. 프로세서는: 제1 센서로부터 제1 센서 신호를 수신하고, 제2 센서로부터 제2 센서 신호를 수신하고, 제1 센서 신호 및 제2 센서 신호에 적어도 부분적으로 기초하여 햅틱 신호를 생성하고, 햅틱 신호를 햅틱 신호에 기초하여 햅틱 효과를 출력하도록 구성된 햅틱 출력 디바이스로 송신하도록 구성된다.

다른 실시예는 센서 융합을 이용한 햅틱 효과들의 다중-레이트 제어를 위한 방법을 포함하고, 이 방법은: 제1 센서로부터의 제1 센서 신호를 제1 레이트로 샘플링하는 단계- 제1 센서는 햅틱 출력 디바이스의 출력을 감지하도록 구성됨 -, 기준 신호를 수신하는 단계, 제1 센서 신호와 기준 신호 사이의 에러를 결정하는 단계, 기준 신호 및 에러에 적어도 부분적으로 기초하여 햅틱 신호를 생성하는 단계, 햅틱 신호를 햅틱 신호에 기초하여 햅틱 효과를 출력하도록 구성된 햅틱 출력 디바이스로 송신하는 단계, 및 제1 센서 신호를 제2 레이트로 샘플링하는 단계- 제2 레이트는 제1 레이트보다 낮음 -를 포함한다. 다른 실시예에서, 비일시적 컴퓨터 판독가능 매체는, 프로세서에 의해 실행될 때, 상술한 방법을 가능하게 하도록 구성되는 프로그램 코드를 포함할 수 있다.

이 예시적인 실시예들은 본 주제의 범위를 제한하거나 한정하기 위한 것이 아니라 오히려 본 발명의 이해를 돕기 위한 예들을 제공하기 위해 언급되어 있다. 예시적인 실시예들은 상세한 설명에서 논의되고 있으며, 추가적인 설명이 제공되어 있다. 다양한 실시예들에 의해 제공되는 이점들은 본 명세서를 검토함으로써 및/또는 청구된 주제의 하나 이상의 실시예를 실시함으로써 더욱 이해될 수 있다.

상세하고 실시가능한 개시내용이 명세서의 나머지 부분에 더 구체적으로 기술되어 있다. 명세서는 이하의 첨부 도면들을 참조한다.
도 1은 일 실시예에서 센서 융합을 이용한 햅틱 효과들의 다중-레이트 제어를 위한 예시적인 시스템을 도시한다.
도 2는 일 실시예에서 센서 융합을 이용한 햅틱 효과들의 다중-레이트 제어를 위한 다른 예시적인 시스템을 도시한다.
도 3은 일 실시예에 따른 방법(300)을 나타내는 흐름도이다.

지금부터 다양한 그리고 대안의 예시적인 실시예들 및 첨부 도면들에 대해 상세히 언급될 것이다. 각각의 예는 제한이 아니라 설명으로 제공된다. 본 기술분야의 통상의 기술자들에게는 수정들 및 변형들이 이루어질 수 있다는 것이 명백할 것이다. 예를 들어, 일 실시예의 일부로서 예시 또는 설명되는 특징들이 다른 실시예에서 사용되어 또 다른 실시예를 산출해 낼 수 있다. 따라서, 본 개시내용이 첨부된 청구항들 및 그 등가물들의 범위 내에 속하는 수정들 및 변형들을 포함하는 것으로 의도된다.

센서 융합을 이용한 햅틱 효과들의 다중-레이트 제어를 위한 실례적 예시적인 시스템

하나의 예시적인 실시예에서, 스마트 폰과 같은 모바일 디바이스 상에서 실행하는 모바일 애플리케이션은 사용자가 다양한 작업들을 수행할 수 있게 한다. 모바일 애플리케이션은 사용자에게 가상 버튼들과 같은 사용자 인터페이스 요소들을 제공하는 인터페이스를 포함한다. 사용자가 버튼의 위치에서 스마트 폰의 터치 스크린을 터치할 때, 애플리케이션은 버튼과 연관된 기능을 실행한다.

사용자 인터페이스와의 사용자의 상호작용은 사용자의 액션들에 응답하여 햅틱 효과들을 제공함으로써 개선된다. 예를 들어, 사용자가 가상 버튼을 누를 때, 예시적인 실시예에서의 모바일 디바이스는 버튼 누름이 성공적이었다는 것을 사용자에게 알리기 위해 크리스프(crisp) 클릭을 출력한다. 모바일 폰은 햅틱 피드백을 제공하기 위해 선형 공진 액추에이터(LRA)를 이용할 수 있다. 또는, 모바일 디바이스는 상이한 타입의 햅틱 출력 디바이스를 사용할 수 있다.

예시적인 실시예에서의 모바일 디바이스는 햅틱 출력 디바이스의 출력을 감지하기 위한 복수의 센서를 포함한다. 이러한 센서들에 의해 생성되는 센서 신호들은 햅틱 효과가 디바이스들에 걸쳐 그리고 다수의 액추에이터에 걸쳐 일관되는 것을 보장하기 위해 사용될 수 있다. 그리고 복수의 센서를 사용함으로써, 일부 실시예는 햅틱 효과가 출력되는 방법의 더 넓은 픽처를 제공할 수 있다. 예컨대, 예시적인 실시예에서와 같은 폐루프 제어는 햅틱 효과의 제어를 돕기 위해 프로그램가능 댐핑을 추가할 수 있다. 이러한 제어는 통상적으로 프로그램가능 댐핑을 신뢰성있게 생성하기 위해 비교적 높은 샘플링 및 제어 루프 레이트(예를 들어, 약 15 KHz보다 큼)를 요구한다. 액추에이터들을 제어하기 위해 댐핑을 추가하는 이점은, 신호로 액추에이터를 구동한 후에 커맨드(기준) 신호가 제로일 때 원하지 않는 발진들의 제거이다. 마이크로컨트롤러가 폐루프 제어기로부터의 요청들로 포화될 수 있기 때문에, 이러한 고주파수 샘플링 레이트들을 항상 유지하는 것이 가능하지 않은 것이 유리할 수 있다. 따라서, 일부 경우들(효과가 출력되지 않음)에서 저주파수 샘플링 레이트 및 다른 상황들(햅틱 효과가 출력됨)에서 고주파수 샘플링 레이트를 사용하도록 적응할 수 있는 제어기를 갖는 것이 바람직할 수 있다.

예시적인 실시예는 다양한 센서 신호들을 함께 융합한다. 복수의 동종 센서들, 예를 들어 동일한 타입의 센서들의 경우에, 스마트 폰 내의 프로세서는 신호들을 평균할 수 있다. 다른 실시예들에서, 프로세서는 신호를 정규화해야 할 수 있는데, 즉 신호들이 결합될 수 있도록 일부 방식으로 신호들 중 적어도 일부를 수정해야 할 수 있다.

모바일 디바이스 내의 프로세서는 센서 신호들을 샘플링한다. 고품질의 일관된 효과를 제공하기 위해, 프로세서는 효과가 출력되는 동안, 비교적 높은 샘플링 레이트, 예를 들어, 대략 50 마이크로초로 신호들을 샘플링한다. 그 후, 프로세서는 효과가 완료된 후에, 제2, 더 느린 샘플링 레이트, 예를 들어 대략 1 밀리초로 스위칭한다. 이러한 방식으로, 프로세서는 그것이 더 높은 레이트로 일관되게 샘플링되었던 것보다 더 효율적으로 사용된다.

앞선 예는 단지 예시적인 것이며, 청구된 발명을 임의의 방식으로 제한하려는 것은 아니다.

센서 융합을 이용한 햅틱 효과들의 다중-레이트 제어를 위한 예시적인 시스템들

도 1은 센서 융합을 이용한 햅틱 효과들의 다중-레이트 제어를 위한 예시적인 시스템(100)을 도시한다. 특히, 이 예에서, 시스템(100)은 버스(106)를 통해 다른 하드웨어와 인터페이스하는 프로세서(102)를 갖는 컴퓨팅 디바이스(101)를 포함한다. 디바이스(101)는 예를 들어 모바일 폰 또는 패드를 포함하는 임의의 타입의 디바이스일 수 있다. RAM, ROM, EEPROM 등과 같은 임의의 적합한, 유형의(tangible)(그리고 비일시적) 컴퓨터 판독가능 매체를 포함할 수 있는 메모리(104)는 컴퓨팅 디바이스의 동작을 구성하는 프로그램 컴포넌트들을 구현한다. 이 예에서, 컴퓨팅 디바이스(101)는 하나 이상의 네트워크 인터페이스 디바이스(110), 입/출력(I/O) 인터페이스 컴포넌트들(112), 및 추가적인 스토리지(114)를 추가로 포함한다.

네트워크 디바이스(110)는 네트워크 접속을 용이하게 하는 임의의 컴포넌트들 중 하나 이상을 나타낼 수 있다. 예들은, 이더넷, USB, IEEE 1394와 같은 유선 인터페이스들, 및/또는 IEEE 802.11, 블루투스, 또는 셀룰러 전화 네트워크에 액세스하기 위한 무선 인터페이스들(예를 들어, CDMA, GSM, UMTS, 또는 다른 모바일 통신 네트워크(들)에 액세스하기 위한 송수신기/안테나)와 같은 무선 인터페이스들을 포함하지만 이들에 제한되지 않는다.

I/O 컴포넌트들(112)은 하나 이상의 디스플레이, 터치 스크린 디스플레이들, 키보드들, 마우스들, 스피커들, 마이크로폰들, 카메라들 및/또는 데이터를 입력하거나 데이터를 출력하는데 이용되는 다른 하드웨어와 같은 디바이스들에 대한 접속을 용이하게 하는데 이용될 수 있다. 가상 또는 증강 현실 환경에서 사용하기 위한 실시예에서, I/O 컴포넌트들(112)은 핸드헬드 VR 제어기들을 포함할 수 있다. 스토리지(114)는 디바이스(101)에 포함된 자기, 광학, 또는 다른 저장 매체와 같은 비휘발성 스토리지를 나타낸다.

시스템(100)은 이 예에서는 디바이스(101)에 통합되어 있는 터치 표면(116)을 추가로 포함한다. 터치 표면(116)은 사용자의 터치 입력을 감지하도록 구성된 임의의 표면을 나타낸다. 터치 표면(116)은, 예를 들어, 하나 이상의 버튼과 같은, 사용자가 상호작용할 수 있는 인터페이스 요소들을 디스플레이하는 디스플레이를 포함할 수 있다.

하나 이상의 센서(108)가 물체가 터치 표면과 접촉할 때 터치 영역에서 터치를 검출하고 프로세서(102)에 의해 사용하기 위한 적절한 데이터를 제공하도록 구성된다. 센서(108)는 또한 햅틱 출력 디바이스(118)의 출력을 검출하기 위해 사용될 수 있다. 임의의 적합한 수, 타입, 또는 배열의 센서들이 사용될 수 있다. 예를 들어, 저항 및/또는 정전용량 센서가 터치 표면(116)에 임베딩되어 있을 수 있고 터치의 위치 및 기타 정보(압력 등)를 결정하기 위해 사용될 수 있다. 다른 예로서, 터치 표면의 뷰와 함께 광 센서들이 터치 위치를 결정하기 위해 사용될 수 있다. 출력되는 햅틱 효과를 결정하기 위한 센서(108)는 또한 가속도계, 홀 효과 센서, 또는 광학 센서를 포함할 수 있다.

일부 실시예들에서, 센서(108), 터치 표면(116), 및 I/O 컴포넌트들(112)은 터치 스크린 디스플레이와 같은 단일 컴포넌트에 통합될 수 있다. 예를 들어, 일부 실시예들에서, 터치 표면(116) 및 센서(108)는, 디스플레이 신호를 수신하고 사용자에게 이미지를 출력하도록 구성된 디스플레이의 최상부 위(overtop)에 장착된 터치 스크린을 포함할 수 있다. 이러한 실시예들은 차량들과 같은 애플리케이션들에서 또는 독립형 패드들로서 사용되는 것들과 같은 스마트 폰들 또는 터치 패드들을 포함할 수 있다.

다른 실시예들에서, 센서(108)는 LED 검출기를 포함할 수 있다. 예를 들어, 일 실시예에서, 터치 표면(116)은 디스플레이의 측면 상에 장착된 LED 손가락 검출기를 포함할 수 있다. 일부 실시예들에서, 프로세서(102)는 단일 센서(108)와 통신하고, 다른 실시예들에서, 프로세서(102)는 복수의 센서(108), 예를 들어, 제1 터치 스크린 및 제2 터치 스크린과 통신한다. 센서(108)는 사용자 상호작용, 햅틱 효과들 또는 다른 액션들을 검출하고, 액션에 기초하여, 프로세서(102)로 센서 신호들을 송신하도록 구성된다. 일부 실시예들에서, 센서(108)는 사용자 상호작용의 다수의 양태를 검출하도록 구성될 수 있다. 예를 들어, 센서(108)는 사용자 상호작용의 속도 및 압력을 검출하고, 이 정보를 인터페이스 신호에 포함시킬 수 있다. 유사하게, 센서(108)(또는 다수의 센서(108))는 크기, 방향, 주파수, 또는 다른 특성들과 같은, 출력 햅틱 효과의 다수의 특성을 검출할 수 있다.

디바이스(101)는 햅틱 출력 디바이스(118)를 추가로 포함한다. 도 1에 도시된 예에서, 햅틱 출력 디바이스(118)는 프로세서(102)와 통신하고 터치 표면(116)에 연결된다. 도 1에 도시된 실시예는 단일의 햅틱 출력 디바이스(118)를 포함한다. 다른 실시예들에서, 컴퓨팅 디바이스(101)는 복수의 햅틱 출력 디바이스를 포함할 수 있다.

여기서 단일의 햅틱 출력 디바이스(118)가 도시되지만, 실시예들은 동일하거나 상이한 타입의 다수의 햅틱 출력 디바이스를 이용하여 햅틱 효과들을 출력할 수 있다. 예를 들어, 햅틱 출력 디바이스(118)는, 예를 들어, 압전 액추에이터, 전기 모터, 전자기 액추에이터, 보이스 코일, 형상 기억 합금, 전기 활성 폴리머, 솔레노이드, 편심 회전 질량 모터(ERM), 또는 선형 공진 액추에이터(LRA), 로우(low) 프로파일 햅틱 액추에이터, 햅틱 테이프, 또는 정전기적 효과를 출력하도록 구성된 햅틱 출력 디바이스, 예컨대 정전 마찰(ESF) 액추에이터 중 하나 이상을 포함할 수 있다. 일부 실시예들에서, 햅틱 출력 디바이스(118)는 복수의 액추에이터, 예를 들어 로우 프로파일 햅틱 액추에이터, 압전 액추에이터 및 LRA를 포함할 수 있다.

메모리(104)로 돌아가서, 햅틱 효과들을 결정하고 출력하기 위해 디바이스가 어떻게 구성될 수 있는지를 예시하기 위해 예시적인 프로그램 컴포넌트들(124, 126 및 128)이 도시되어 있다. 이 예에서, 검출 모듈(124)은 터치의 위치를 결정하기 위해 센서(108)를 통해 터치 표면(116)을 모니터링하도록 프로세서(102)를 구성한다. 예를 들어, 모듈(124)은 터치의 존재 또는 부존재를 추적하기 위해, 그리고 터치가 존재하는 경우, 시간 경과에 따른 터치의 위치, 경로, 속도, 가속도, 압력 및/또는 기타 특성들 중 하나 이상을 추적하기 위해 센서(108)를 샘플링할 수 있다. 대안적으로 또는 추가로, 검출 모듈(124)은 햅틱 출력 디바이스(118)로부터의 출력을 검출하도록 구성될 수 있다.

햅틱 효과 결정 모듈(126)은 출력 햅틱 효과 및 기준 신호에 관한 데이터를 분석하여, 햅틱 출력 디바이스(118)에 전송하기 위한 구동 신호를 결정하는 프로그램 컴포넌트를 나타낸다.

햅틱 효과 생성 모듈(128)은 프로세서(102)로 하여금 햅틱 신호를 생성하고 햅틱 신호를 햅틱 출력 디바이스(118)로 송신하게 하는 프로그래밍을 나타내며, 이는 햅틱 출력 디바이스(118)로 하여금 선택된 햅틱 효과를 생성하게 한다. 예를 들어, 생성 모듈(128)은 햅틱 출력 디바이스(118)에 전송하기 위한 저장된 파형들 및 커맨드들에 액세스할 수 있다. 다른 예로서, 햅틱 효과 생성 모듈(128)은 원하는 타입의 햅틱 효과를 수신하고 신호 처리 알고리즘들을 이용하여 햅틱 출력 디바이스(118)로 전송할 적절한 신호를 생성할 수 있다. 추가의 예로서, 표면(및/또는 기타 디바이스 컴포넌트들)의 적절한 변위를 생성하여 햅틱 효과를 제공하기 위해 하나 이상의 액추에이터로 전송되는 적절한 파형 및 텍스처에 대한 목표 좌표들과 함께, 원하는 햅틱 효과가 표시될 수 있다. 일부 실시예들은 특징을 시뮬레이팅하기 위해 다수의 햅틱 출력 디바이스를 협력하여 이용할 수 있다. 예를 들어, 텍스처의 변동은 인터페이스 상의 버튼들 간의 경계를 가로지르는 것을 시뮬레이팅하기 위해 사용될 수 있는 한면, 진동촉각 효과는 버튼이 눌러질 때 응답을 시뮬레이팅한다.

도 2는 일 실시예에서 센서 융합을 이용한 햅틱 효과들의 다중-레이트 제어를 위한 다른 예시적인 시스템을 도시한다. 도 2에 도시된 실시예에서, 기준 신호(202)가 시스템에 제공된다. 기준 신호(202)는 설계자가 디바이스에 의해 출력되기를 원하는 햅틱 효과를 나타낸다. 예를 들어, 설계자는 가상 버튼이 매우 크리스프하고 기계적으로 느껴지기를 원할 수 있다. 다른 실시예에서, 햅틱 효과 설계자는 햅틱 효과가 비브라토(vibrato) 또는 크런치(crunchy)하게 느껴지기를 원할 수 있다. 기준 신호(202)는 디자이너의 의도들 또는 설계 선택들을 반영한다.

기준 신호는 비교기에 제공되며, 이는 아래에서 설명되고, 그 후 피드백 루프 제어기(204)에 제공된다. 피드백 루프 제어기는 신호를 증폭기(206)에 제공한다. 기준 신호(202)는 원하는 햅틱 출력을 반영하도록 의도된다. 기준 신호(202)는 예를 들어, 주파수, 크기, 지속기간 및 파형을 포함하는 다양한 특성들을 포함한다. 이러한 특성들은 피드백 루프 제어기(204)가 특정의 알고리즘을 이용하게 할 수 있고 증폭기(206)가 특정의 이득을 이용하게 할 수 있다. 다른 실시예들에서, 피드백 제어의 타입 및 이득 레벨은 고정될 수 있다. 일례로서, 증폭기(206)에 대한 적절한 이득을 선택하기 위해 원하는 형상 대 실제 형상이 사용될 수 있다. 예를 들어, 실시예는 효과 또는 테일(tail)을 단축하도록 설계될 수 있다. 다른 실시예는 효과의 상승, 또는 효과의 상승 및 테일 둘 다를 관리하도록 설계될 수 있다. 다른 실시예에서, 기준 신호(202)의 주파수는 이득을 선택하기 위해 사용될 수 있다.

증폭기(206)는 햅틱 또는 구동 신호를 생성하고 햅틱 신호를 햅틱 출력 디바이스(208)로 송신한다. 햅틱 출력 디바이스(208)는 예를 들어 LRA, 진동 액추에이터, 또는 캔틸레버형(cantilevered) 압전 액추에이터를 포함하는 임의의 종류의 액추에이터일 수 있다.

그 후 햅틱 출력 디바이스(208)의 출력은 센서(210)에 의해 감지된다. 센서(210)는 다양한 타입의 센서를 포함할 수 있고 복수의 센서를 포함할 수 있다. 예를 들어, 센서(210)는 홀 효과 센서, 햅틱 출력 디바이스(208) 내에서의 움직임을 감지하기 위한 위치 센서, 가속도계, 자이로스코프, 카메라 또는 적외선 센서와 같은 광학 센서, 또는 햅틱 출력 디바이스의 출력을 검출하고 출력 햅틱 효과에 대응하는 센서 신호를 생성하기 위한 임의의 다른 타입의 센서 또는 센서들의 조합들을 포함할 수 있다. 햅틱 출력 디바이스(208) 및 센서(210)는 별개의 컴포넌트들로서 도시되지만, 이들은 일부 실시예들에서 조합될 수 있다. 도시된 실시예에서, 햅틱 출력 디바이스(208) 및 센서(210)는 모바일 디바이스(212) 내에 포함된다. 모바일 디바이스(212)는 예를 들어, 스마트 폰, 태블릿, 또는 예를 들어 차량에 설치된 디바이스를 포함할 수 있다.

센서 신호는 기준 신호(202)와 센서(210)에 의해 출력되는 센서 신호 사이의 에러를 결정하기 위해 비교기(214)에 제공된다. 도시된 실시예에서, 기준 신호(202) 및 센서 신호는 동일한 타입의 신호가 되어야 한다. 즉, 기준 신호는, 원하는 햅틱 피드백 효과의 설계가 그대로 햅틱 출력 디바이스로부터 출력된 것을 반영한다. 그러나, 다른 실시예들에서는, 에러를 결정하기 위해 상이한 타입의 신호들이 사용될 수 있다. 그 다음, 에러는 피드백 루프 제어기(204)에 제공된다. 피드백 루프 제어기(204)는 에러를 사용하여 구동 신호를 변조한다.

피드백 루프 제어기(204)는 다양한 타입들일 수 있다. 예를 들어, 피드백 루프 제어기(204)는 PD(proportional-derivative), PID(proportional-integral-derivative), 또는 리드-래그(lead-lag) 제어기일 수 있다. 제어기의 타입은 특정 응용에 기초할 수 있다. 예를 들어, 리드-래그 제어기는 실질적인 댐핑을 제공하고, 따라서 크리스프 효과가 요구될 때 사용될 수 있다. 피드백 루프 제어기(204)는 기준 신호(202)의 타입에 기초하여 선택될 수 있다. 이러한 방식으로, 도 2에 도시된 시스템은 다양한 디바이스들에 걸쳐 동일한 기준 신호를 사용하면서 햅틱 효과의 형상(예를 들어, 테일(tail)을 갖는 것에 비해 날카로운 효과), 크기 및 지속기간을 제어할 수 있다.

일부 실시예들에서, 도 2에 도시된 컴포넌트들은 칩 상에 구현될 수 있다. 다른 실시예들에서, 컴포넌트들은 모바일 디바이스 상에서 실행되는 소프트웨어로서 구현될 수 있다. 추가 실시예들에서, 컴포넌트들은 디바이스 상에서 실행되는 하나 이상의 칩 및 소프트웨어의 조합으로서 구현될 수 있다. 다른 구성들도 구현될 수 있다. 예를 들어, 일부 실시예들에서, 컴포넌트들은 명령어 세트를 갖는 일반 코어를 사용하여 ASIC로 구현될 수 있다. ASIC는 파라미터들로 제어될 수 있다. 예를 들어, ASIC는 다수의 제어기 또는 다수의 파라미터를 갖는 단일 제어기를 포함할 수 있어 그 동작을 제어할 수 있다.

센서 융합을 이용한 햅틱 효과들의 다중-레이트 제어를 위한 실례적 예시적인 방법

도 3은 일 실시예에 따른 방법(300)을 나타내는 흐름도이다. 도시된 프로세스는 프로세서가 햅틱 출력 디바이스의 출력에 대응하는 센서 신호를 제1 레이트(302)로 샘플링할 때 시작된다. 일 실시예에서, 제1 레이트는 프로세서가 햅틱 출력 디바이스로부터의 고품질 햅틱 효과를 보장하기 위해 햅틱 출력 디바이스의 입상(granular) 제어를 제공하게 할 수 있는 비교적 높은 레이트이다.

프로세서는 또한 기준 신호(304)를 수신한다. 도시된 실시예에서의 기준 신호는 햅틱 출력 디바이스가 햅틱 효과를 정확하게 생성했던 경우에 발생될 센서 신호를 나타내도록 의도된다.

그 후 프로세서는 기준 신호와 센서 신호(303) 사이의 에러를 결정한다. 예를 들어, 센서 신호 및 기준 신호는 센서 신호가 기준 신호를 근사화해야 하도록 설계될 수 있다. 따라서, 신호들 사이의 임의의 에러 또는 차이는 출력되는 햅틱 효과가 기준 신호를 정확하게 반영하지 않는다는 것을 나타낸다.

일부 실시예들에서, 센서는 복수의 센서를 포함할 수 있다. 햅틱 출력 디바이스가 햅틱 효과를 출력하는 방법의 더 정확한 뷰를 제공하기 위해 복수의 센서로부터의 신호들이 융합될 수 있다. 센서들은 동종이거나 이종일 수 있다. 동종 센서들은 실질적으로 유사하다. 예를 들어, 실시예는 복수의 유사한 가속도계 또는 광학 센서를 이용할 수 있다. 그러나, 그러한 실시예는 복수의 동일한 센서를 이용할 필요가 없다. 동종 센서들의 경우에, 센서 신호는 평균화될 수 있는데, 그 이유는 다수의 신호의 특성들이 유사해야 하기 때문이다. 센서들이 이종인 경우, 복수의 신호 중 일부 또는 전부는 이들이 기준 신호와 비교될 수 있도록 수정될 필요가 있을 수 있다.

그 다음, 프로세서는 햅틱 출력 디바이스를 구동하기 위한 햅틱 효과 신호를 생성하고, 햅틱 효과 신호는 에러(308)에 적어도 부분적으로 기초한다. 예를 들어, 프로세서는 수정된 구동 신호를 출력하기 전에 기준 신호를 수정하기 위해 결정된 에러를 사용할 수 있다. 그 다음, 프로세서는 햅틱 신호를 햅틱 출력 디바이스로 송신한다. 그 후, 햅틱 출력 디바이스는 햅틱 효과(312)를 출력한다.

그 다음, 프로세서는 햅틱 출력 디바이스의 출력에 대응하는 센서 신호를 제2 레이트(314)로 샘플링한다. 제2 레이트는 제1 레이트보다 낮은 레이트에 있을 수 있다. 예를 들어, 일 실시예에서, 제1 레이트는 대략 50 마이크로초일 수 있고 제2 레이트는 대략 1 밀리초일 수 있다. 프로세서는 다른 햅틱 효과가 출력될 때까지 제2 레이트로 계속 샘플링할 수 있고, 그 후 효과가 출력될 때, 프로세서는 고품질 효과가 출력되는 것을 보장하기 위해 다시 제1의, 더 높은 레이트로 다시 스위칭 백할 수 있다. 일부 실시예들에서, 프로세서는 도 3에 도시된 방법을 달성하기 위해 다수의 스레드(thread)를 이용할 수 있다. 도 3에 도시된 프로세스(300)는 도 1 및 도 2에 도시된 시스템들 또는 햅틱 효과들의 폐루프 생성을 수행하기 위한 다른 시스템들에 의해 수행될 수 있다.

본 명세서에 설명된 실시예들은 햅틱 효과들을 생성하기 위한 종래의 시스템들에 비해 다수의 장점을 제공한다. 예를 들어, 실시예들은 디바이스 상에서 제한된 처리 사이클들의 보다 효율적인 사용을 제공한다. 예를 들어, 모바일 디바이스의 프로세서는 많은 다른 작업들과 함께 입력, 디스플레이, 및 통신들을 관리한다. 폐루프 햅틱들은 효과가 출력되고 있는 동안 상당한 처리 사이클들을 필요로 할 수 있고, 따라서 단지 효과가 출력되는 동안 샘플링 레이트를 증가시키는 것에 의해, 일부 실시예들은 효과를 제어하는데 필요한 사이클들의 양을 최소화할 수 있다.

센서 융합을 이용하는 실시예들은 햅틱 효과의 거동이 다수의 방식으로 다수의 센서에 의해 분석되기 때문에 더 정확한 햅틱 효과를 제공할 수 있다. 이러한 방식으로, 일부 실시예들은 액추에이터들 또는 다른 햅틱 출력 디바이스들에 걸쳐, 심지어는 다양한 모바일 디바이스들, 예컨대 상이한 타입들 및 모델들의 스마트 폰들 사이에 더 일관된 효과를 제공할 수 있다.

일반적인 고려사항들

위에서 논의된 방법들, 시스템들, 및 디바이스들은 예들이다. 다양한 구성들은 적절한 경우 다양한 절차들 또는 컴포넌트들을 생략하거나, 대체하거나 또는 추가할 수 있다. 예를 들어, 대안적인 구성들에서, 방법들은 설명된 것과 상이한 순서로 수행될 수 있고/있거나, 다양한 스테이지들이 추가, 생략, 및/또는 조합될 수 있다. 또한, 특정 구성들과 관련하여 설명된 특징들은 다양한 다른 구성들에서 조합될 수 있다. 구성들의 상이한 양태들 및 요소들은 유사한 방식으로 조합될 수 있다. 또한, 기술이 진화하고, 따라서, 요소들 중 다수가 예들이고 본 개시내용 또는 청구항들의 범위를 제한하지 않는다.

예시적인 구성들(구현들을 포함함)의 철저한 이해를 제공하기 위해 특정 상세들이 설명에 주어진다. 그러나, 구성들은 이들 특정 상세들 없이 실시될 수 있다. 예를 들어, 구성들을 불명확하게 하지 않기 위해 공지된 회로들, 프로세스들, 알고리즘들, 구조들 및 기술들은 불필요한 상세 없이 나타내었다. 이 설명은 예시적인 구성들만을 제공하고, 청구항들의 범위, 적용가능성, 또는 구성들을 제한하지 않는다. 오히려, 앞선 구성들의 설명은 본 기술분야의 통상의 기술자에게 설명된 기술들을 구현 가능하게 하는 설명을 제공할 것이다. 다양한 변화들이 본 개시내용의 사상 또는 범위에서 벗어나지 않고서 요소들의 기능 및 배열에서 이루어질 수 있다.

또한, 구성들은 흐름도 또는 블록도로서 도시되는 프로세스로서 설명될 수 있다. 이들 각각은 동작들을 순차적인 프로세스로서 설명할 수 있지만, 동작들 중 다수는 병렬로 또는 동시에 수행될 수 있다. 또한, 동작들의 순서가 재배열될 수 있다. 프로세스는 도면에 포함되지 않은 추가 단계들을 가질 수 있다. 게다가, 방법들의 예들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어(hardware description language)들, 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드로 구현될 때, 필요한 작업들을 수행하기 위한 프로그램 코드 또는 코드 세그먼트들은 저장 매체와 같은 비일시적 컴퓨터 판독가능 매체에 저장될 수 있다. 프로세서들이 설명된 작업들을 수행할 수 있다.

여러 예시적 구성들을 설명하였지만, 본 개시내용의 사상으로부터 벗어나지 않고 다양한 수정들, 대안적 구성들, 및 등가물들이 사용될 수 있다. 예를 들어, 위의 요소들은 더 큰 시스템의 컴포넌트들일 수 있고, 여기서 다른 규칙들은 본 발명의 응용보다 우선할 수 있거나 또는 이를 다른 방식으로 수정할 수 있다. 또한, 위의 요소들이 고려되기 전에, 그 동안에, 또는 그 이후에 다수의 단계가 착수될 수 있다. 따라서, 위의 설명은 청구항들의 범위를 제한하지 않는다.

본 명세서에서 "~하는 데 적응하게 되는" 또는 "~하도록 구성되는"의 사용은 부가의 작업들 또는 단계들을 수행하는 데 적응하게 되는 또는 부가의 작업들 또는 단계들을 수행하도록 구성되는 디바이스들을 제외시키지 않는 개방적이고 포괄적인 어구로서 의도된다. 추가로, “에 기초한”의 사용은 하나 이상의 열거된 조건들 또는 값들”에 기초한” 프로세스, 단계, 계산, 또는 다른 액션은, 실제로는, 열거된 것들 이외에 추가적인 조건들 또는 값들에 기초할 수 있다는 점에서, 개방적이고 포괄적인 것으로 의도된다. 본 명세서에 포함된 표제들, 목록들, 및 번호 기재는 설명의 편의를 위한 것일 뿐이며 제한하는 것으로 의도된 것은 아니다.

본 주제의 양태들에 따른 실시예들은, 디지털 전자 회로, 컴퓨터 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합으로 구현될 수 있다. 일 실시예에서, 컴퓨터는 프로세서 또는 프로세서들을 포함할 수 있다. 프로세서는 프로세서에 연결되는 RAM(Random Access Memory) 등의 컴퓨터-판독가능 매체로의 액세스를 포함하거나 또는 구비한다. 프로세서는 센서 샘플링 루틴, 선택 루틴들, 및 전술한 방법들을 수행하기 위해 다른 루틴들을 포함하는 하나 이상의 컴퓨터 프로그램을 실행하는 것과 같은 메모리에 저장된 컴퓨터 실행가능 프로그램 명령어들을 실행한다.

이 프로세서들은 마이크로프로세서, 디지털 신호 프로세서(DSP), ASIC(application-specific integrated circuit), FPGA들(field-programmable gate arrays), 및 상태 머신들을 포함할 수 있다. 이러한 프로세서는 PLC들, PIC(programmable interrupt controller)들, PLD(programmable logic device)들, PROM(programmable read-only memory)들, 전기적 프로그램가능 판독 전용 메모리(EPROM 또는 EEPROM)들, 또는 기타 유사한 디바이스들 등의 프로그램가능 전자 디바이스들을 추가로 포함할 수 있다.

그러한 프로세서들은 매체, 예를 들어, 프로세서에 의해 실행될 때, 프로세서로 하여금, 프로세서에 의해 수행되거나 도움을 받아 여기에 설명된 단계들을 수행하게 할 수 있는 명령어들을 저장할 수 있는 유형의(tangible) 컴퓨터 판독가능 매체를 포함할 수 있거나, 또는 이와 통신할 수 있다. 컴퓨터 판독가능 매체의 실시예들은 웹 서버 내의 프로세서와 같은 프로세서에 컴퓨터 판독가능 명령어들을 제공할 수 있는 모든 전자, 광학, 자기, 또는 다른 저장 디바이스들을 포함할 수 있지만, 이에 제한되지는 않는다. 매체의 다른 일례들은, 플로피 디스크, CD-ROM, 자기 디스크, 메모리 칩, ROM, RAM, ASIC, 구성된 프로세서, 모든 광학 매체, 모든 자기 테이프 또는 다른 자기 매체, 또는 컴퓨터 프로세서가 판독할 수 있는 임의의 다른 매체를 포함하지만, 이들로만 제한되지는 않는다. 또한, 라우터, 사설 또는 공공 네트워크, 또는 다른 송신 디바이스와 같은 다양한 다른 디바이스들이 컴퓨터 판독가능 매체를 포함할 수 있다. 설명된 프로세서 및 처리는 하나 이상의 구조일 수 있고, 하나 이상의 구조를 통해 분산될 수 있다. 프로세서는 본 명세서에 기술된 방법들(또는 방법들의 부분들) 중 하나 이상을 실행하기 위한 코드를 포함할 수 있다.

본 주제는 그의 특정 실시예들에 관련하여 상세히 설명되었지만, 본 기술분야의 통상의 기술자들은, 전술한 내용을 이해하게 되면, 그러한 실시예들의 변경들, 변형들, 및 동등물들을 쉽게 만들어 낼 수 있음을 알 것이다. 따라서, 본 개시내용은 제한보다는 예시의 목적으로 제시되었고, 본 기술분야의 통상의 기술자가 쉽게 알 수 있을 본 주제에 대한 그러한 변경들, 변형들 및/또는 추가들을 포함하는 것을 배제하지 않는다.

Claims (19)

1. 방법으로서,
   제1 센서로부터의 제1 센서 신호를 제1 레이트로 샘플링하는 단계- 상기 제1 센서는 햅틱 출력 디바이스의 출력을 감지하도록 구성됨 -;
   기준 신호를 수신하는 단계;
   상기 제1 센서 신호와 상기 기준 신호 사이의 에러를 결정하는 단계;
   상기 기준 신호 및 상기 에러에 적어도 부분적으로 기초하여 햅틱 신호를 생성하는 단계;
   상기 햅틱 신호를 상기 햅틱 신호에 기초하여 햅틱 효과를 출력하도록 구성된 햅틱 출력 디바이스로 송신하는 단계; 및
   상기 제1 센서 신호를 제2 레이트로 샘플링하는 단계- 상기 제2 레이트는 상기 제1 레이트보다 낮음 -를 포함하는 방법.
2. 제1항에 있어서,
   상기 제1 레이트는 대략 50 마이크로초를 포함하고, 상기 제2 레이트는 대략 1 밀리초를 포함하는 방법.
3. 제1항에 있어서,
   제2 센서로부터의 제2 센서 신호를 샘플링하는 단계- 상기 제2 센서는 상기 햅틱 출력 디바이스의 출력을 감지하도록 구성됨 -; 및
   상기 제1 센서 신호와 상기 제2 센서 신호를 융합하여 융합된 센서 신호를 생성하는 단계를 추가로 포함하고;
   상기 에러를 결정하는 단계는 상기 기준 신호와 상기 융합된 센서 신호 사이의 에러를 결정하는 것을 포함하는 방법.
4. 제3항에 있어서,
   상기 제1 센서 및 상기 제2 센서는 동종인 방법.
5. 제3항에 있어서,
   상기 제1 센서 및 상기 제2 센서는 이종인 방법.
6. 제5항에 있어서,
   상기 제1 센서 신호 또는 상기 기준 신호의 특성에 기초하여 상기 제2 센서 신호를 수정하는 단계를 추가로 포함하는 방법.
7. 방법으로서,
   제1 센서로부터 제1 센서 신호를 수신하는 단계- 상기 제1 센서는 햅틱 출력 디바이스의 출력을 감지하도록 구성됨 -;
   제2 센서로부터 제2 센서 신호를 수신하는 단계- 상기 제2 센서는 상기 햅틱 출력 디바이스의 출력을 감지하도록 구성됨 -;
   제1 센서 신호 및 상기 제2 센서 신호에 적어도 부분적으로 기초하여 햅틱 신호를 생성하는 단계; 및
   상기 햅틱 신호를 상기 햅틱 신호에 기초하여 햅틱 효과를 출력하도록 구성된 햅틱 출력 디바이스로 송신하는 단계를 포함하는 방법.
8. 제7항에 있어서,
   상기 제1 센서 및 상기 제2 센서는 동종인 방법.
9. 제7항에 있어서,
   상기 제1 센서 및 상기 제2 센서는 이종인 방법.
10. 시스템으로서,
    햅틱 효과를 출력하도록 구성된 햅틱 출력 디바이스;
    상기 햅틱 출력 디바이스의 출력을 감지하고 제1 센서 신호를 생성하도록 구성된 제1 센서; 및
    상기 제1 센서와 통신하는 프로세서를 포함하고, 상기 프로세서는:
    상기 제1 센서로부터의 상기 제1 센서 신호를 제1 레이트로 샘플링하고;
    기준 신호를 수신하고;
    상기 제1 센서 신호와 상기 기준 신호 사이의 에러를 결정하고;
    상기 기준 신호 및 상기 에러에 적어도 부분적으로 기초하여 햅틱 신호를 생성하고;
    상기 햅틱 신호를 상기 햅틱 신호에 기초하여 햅틱 효과를 출력하도록 구성된 햅틱 출력 디바이스로 송신하고;
    상기 제1 센서 신호를 제2 레이트로 샘플링하도록 구성되며, 상기 제2 레이트는 상기 제1 레이트보다 낮은 시스템.
11. 제10항에 있어서,
    상기 제1 레이트는 대략 50 마이크로초를 포함하고, 상기 제2 레이트는 대략 1 밀리초를 포함하는 시스템.
12. 제10항에 있어서,
    상기 프로세서는:
    제2 센서로부터의 제2 센서 신호를 샘플링하고- 상기 제2 센서는 상기 햅틱 출력 디바이스의 출력을 감지하도록 구성됨 -; 및
    상기 제1 센서 신호와 상기 제2 센서 신호를 융합하여 융합된 센서 신호를 생성하고;
    상기 기준 신호와 상기 융합된 센서 신호 사이의 에러를 결정함으로써 상기 에러를 결정하도록 추가로 구성되는 시스템
13. 제12항에 있어서,
    상기 제1 센서 및 상기 제2 센서는 동종인 시스템.
14. 제12항에 있어서,
    상기 제1 센서 및 상기 제2 센서는 이종인 시스템.
15. 제14항에 있어서,
    상기 프로세서는 상기 제1 센서 신호 또는 상기 기준 신호의 특성에 기초하여 상기 제2 센서 신호를 수정하도록 추가로 구성되는 시스템.
16. 시스템으로서,
    햅틱 효과를 출력하도록 구성된 햅틱 출력 디바이스;
    상기 햅틱 출력 디바이스의 출력을 감지하고 제1 센서 신호를 생성하도록 구성된 제1 센서;
    상기 햅틱 출력 디바이스의 출력을 감지하고 제2 센서 신호를 생성하도록 구성된 제2 센서; 및
    상기 제1 센서와 통신하는 프로세서를 포함하고, 상기 프로세서는:
    상기 제1 센서로부터 상기 제1 센서 신호를 수신하고;
    상기 제2 센서로부터 상기 제2 센서 신호를 수신하고;
    상기 제1 센서 신호 및 상기 제2 센서 신호에 적어도 부분적으로 기초하여 햅틱 신호를 생성하고;
    상기 햅틱 신호를 상기 햅틱 신호에 기초하여 햅틱 효과를 출력하도록 구성된 햅틱 출력 디바이스로 송신하도록 구성되는 시스템.
17. 제16항에 있어서,
    상기 제1 센서 및 상기 제2 센서는 동종인 시스템.
18. 제16항에 있어서,
    상기 제1 센서 및 상기 제2 센서는 이종인 시스템.
19. 프로그램 코드를 포함하는 비일시적 컴퓨터 판독가능 매체로서,
    상기 프로그램 코드는 프로세서에 의해 실행될 때 상기 프로세서로 하여금:
    제1 센서로부터의 제1 센서 신호를 제1 레이트로 샘플링하고;
    기준 신호를 수신하고;
    상기 제1 센서 신호와 상기 기준 신호 사이의 에러를 결정하고;
    상기 기준 신호 및 상기 에러에 적어도 부분적으로 기초하여 햅틱 신호를 생성하고;
    상기 햅틱 신호를 상기 햅틱 신호에 기초하여 햅틱 효과를 출력하도록 구성된 햅틱 출력 디바이스로 송신하고;
    상기 제1 센서 신호를 제2 레이트로 샘플링하게 하도록 구성되며, 상기 제2 레이트는 상기 제1 레이트보다 낮은 비일시적 컴퓨터 판독가능 매체.

Images