KR102478361B1 - 터치스크린의 햅틱 진동을 모니터링하는 방법 및 장치 - Google Patents

터치스크린의 햅틱 진동을 모니터링하는 방법 및 장치 Download PDF

Info

Publication number
KR102478361B1
KR102478361B1 KR1020217004848A KR20217004848A KR102478361B1 KR 102478361 B1 KR102478361 B1 KR 102478361B1 KR 1020217004848 A KR1020217004848 A KR 1020217004848A KR 20217004848 A KR20217004848 A KR 20217004848A KR 102478361 B1 KR102478361 B1 KR 102478361B1
Authority
KR
South Korea
Prior art keywords
watermark
control signal
delete delete
touchscreen
haptic
Prior art date
Application number
KR1020217004848A
Other languages
English (en)
Other versions
KR20210024653A (ko
Inventor
알렉산더 파블로비치 탑치
제레미 엠. 데이비스
Original Assignee
더 닐슨 컴퍼니 (유에스) 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 더 닐슨 컴퍼니 (유에스) 엘엘씨 filed Critical 더 닐슨 컴퍼니 (유에스) 엘엘씨
Priority to KR1020227043510A priority Critical patent/KR102585704B1/ko
Publication of KR20210024653A publication Critical patent/KR20210024653A/ko
Application granted granted Critical
Publication of KR102478361B1 publication Critical patent/KR102478361B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04809—Textured surface identifying touch areas, e.g. overlay structure for a virtual keyboard

Abstract

터치스크린의 햅틱 진동을 식별하기 위한 방법 및 장치가 개시된다. 장치는 터치스크린과 상호작용하는 사용자를 위한 질감의 인지를 생성하기 위하여 터치스크린이 진동하도록 야기하기 위한 것인 표면 햅틱 제어 신호를 획득하는 햅틱 신호 생성기를 포함한다. 질감은 터치스크린 상에 디스플레이되는 컨텐츠에 대응한다. 장치는 워터마킹된 표면 햅틱 제어 신호를 생성하기 위하여 워터마크를 표면 햅틱 제어 신호에 인코딩하는 워터마크 인코더를 더 포함한다. 워터마크는 컨텐츠 또는 질감 중 적어도 하나를 식별하기 위한 식별 정보를 포함한다.

Description

터치스크린의 햅틱 진동을 모니터링하는 방법 및 장치
본 명세서는 일반적으로 햅틱 기술에 관한 것으로, 특히 터치스크린의 햅틱 진동을 모니터링하는 방법 및 장치에 관한 것이다.
햅틱 기술은 사용자에게 촉각 기반 피드백을 제공함으로써 컴퓨팅 장치와의 사용자 상호작용을 향상시킬 수 있다. 사용자가 물리적으로 감지할 수 있는 촉각 기반 피드백의 예시는 진동이다.
본 발명의 내용 중에 포함되어 있다.
본 발명의 내용 중에 포함되어 있다.
본 발명의 내용 중에 포함되어 있다.
도 1은 본 명세서에 개시된 교시가 구현될 수 있는 환경의 예시의 블록도이다.
도 2는 도 1의 햅틱 터치스크린 컴퓨팅 장치의 구현의 예시를 도시하는 블록도이다.
도 3은 도 1 및/또는 2의 햅틱 신호 정의기의 예시의 구현의 예시를 도시하는 블록도이다.
도 4는 도 1 및/또는 2의 햅틱 이벤트 모니터의 예시의 구현의 예시를 도시하는 블록도이다.
도 5는 도 1의 데이터 수집 시설의 예시의 구현의 예시를 도시하는 블록도이다.
도 6은 도 1-3의 햅틱 신호 정의기의 예시를 구현하기 위해 실행될 수 있는 장치 판독 가능한 명령어의 예시를 표현하는 흐름도이다.
도 7은 도 1, 2 및/또는 4의 햅틱 이벤트 모니터의 예시를 구현하기 위해 실행될 수 있는 장치 판독 가능한 명령어의 예시를 표현하는 흐름도이다.
도 8은 도 1-3의 햅틱 신호 정의기를 구현하기 위하여 도 6의 명령어를 실행하도록 구축된 프로세서 플랫폼의 예시의 블록도이다.
도 9는 도 1, 2 및/또는 4의 햅틱 이벤트 모니터를 구현하기 위하여 도 7의 명령어를 실행하도록 구축된 프로세서 플랫폼의 예시의 블록도이다.
요즘, 연구자는 터치스크린과 상호작용하는(예컨대, 터치하는) 사용자에게 질감의 인지나 감지를 생성하기 위해 프로그램 가능한 표면 햅틱 제어 신호에 기반하여 진동할 수 있는 터치스크린을 개발해왔다. 예를 들어, 터치스크린이 평평하더라도, 터치스크린은 스크린을 가로질러 손가락을 슬라이드하는 사용자에게 거친 표면, 울퉁불퉁한 표면, 이랑진 표면, 또는 특정 촉각 감지와 연관된 임의의 다른 타입의 표면을 만진다는 감지를 주는 방식으로 초음파 진동을 받을 수 있다. 일부 예시에서, 표면 햅틱 제어 신호에 의해 생성된 특정 질감은 터치스크린 상에 디스플레이되고 있는 시각적 컨텐츠와 연관된다. 따라서, 사용자는 스크린 상에 디스플레이되는 것이 무엇이든 만진다는 감지를 경험할 수 있다. 예컨대, 사람들에게 구매 전에 제품의 촉각이나 느낌을 경험할 수 있게 하기, 비디오 게임에서 새로운 형태의 경험을 제공하기, 사람들이 서로 원격으로 위치했더라도 "물리적"(예컨대, 촉각 기반) 상호작용을 공유할 수 있게 하기, 맹인 또는 시각적으로 손상된 사람을 돕기(예컨대, 이러한 사람들이 점자를 만짐으로써 읽을 수 있는 방법과 유사), 사용자가 터치스크린 상에 디스플레이되는 시각적 버튼의 모서리를 인지할 수 있게 하기(예컨대, 터치 감지를 통해) 등을 포함하여 이러한 기술을 위한 많은 응용이 있다.
터치스크린의 진동이 상술한 바와 같이 사용자를 위해 특정 촉감 감지를 생성하도록 설계되었지만, 진동은 청각 신호도 생성한다. 청각 신호는 사람(예컨대, 터치스크린의 사용자)에게 인지될 수 있거나 인지되지 않을 수 있지만, 센서(예컨대, 마이크)에 의해 검출될 수 있다. 본 명세서에 개시되는 예시는 진동에 의해 전달되는 특정 질감을 식별하기 위해 터치스크린의 햅틱 진동을 모니터링 및 검출하기 위해 이러한 센서를 사용한다. 이 방식으로, 사용자의 활동 및/또는 행동(예컨대, 진동 터치스크린이 있는 컴퓨팅 장치 상에서 사용자가 접근하는 컨텐츠)이 결정될 수 있다. 센서가 햅틱 진동에 의해 야기되는 임의의 청각적 누출을 적절하게 감지하기 위해 필요한 터치스크린과의 거리는 진동의 성질과 센서의 품질이나 감도에 따를 수 있다. 일부 예시에서, 센서는 터치스크린에 물리적으로 부착될 수 있다. 다른 예시에서, 센서는 터치스크린으로부터 이격될 수 있다. 일부 예시에서, 센서는 터치스크린을 포함하는 동일 장치에 통합된 마이크일 수 있다. 다른 예시에서, 센서는 개별 장치와 연관될 수 있다.
본 명세서에 개시되는 예시는 오디오 워터마크에 기반하여 능동적으로, 또는 오디오 서명에 기반하여 수동적으로 햅틱 진동을 모니터링(예컨대, 검출 및 식별)할 수 있다. 오디오 워터마킹은 텔레비전 방송, 라디오 방송, 광고(텔레비전 및/또는 라디오), 다운로드 미디어, 스트리밍 미디어, 프리패키지 미디어 등과 같은 미디어를 식별하는데 사용되는 기술이다. 오디오 워터마크는 예컨대 워터마킹된 미디어가 변경됐는지 또는 특정 당사자에 의해 접근될 수 있는지 여부를 검출하기 위해 포렌식 목적 및 권리 관리를 위해서도 종종 사용된다. 기존의 오디오 워터마킹 기술은 하나 이상의 오디오 코드(예컨대, 하나 이상의 워터마크), 예컨대 컨텐츠 식별 정보 및/또는 식별 정보에 매핑될 수 있는 식별자를 오디오 및/또는 비디오 요소에 내장함으로써 미디어를 식별한다. 일부 예시에서, 오디오나 비디오 컴포넌트가 워터마크를 지각적으로 숨기거나, 객관적인 분석 방법의 범위에서 그 존재를 숨기기 등에 충분한 신호 특성을 가지도록 선택된다. 본 명세서에 개시되는 예시에서, 워터마크는 터치스크린의 대응하는 햅틱 진동에 의해 생성되는 청각 신호에서 검출 가능하도록 표면 햅틱 제어 신호에 인코딩된다. 본 명세서에 서술되는 바와 같이, 용어 "코드"나 "워터마크"는 상호 교환적으로 사용되고 진동과 관련하여 터치스크린 상에 디스플레이되는 질감 및/또는 컨텐츠 및/또는 컨텐츠의 소스를 식별하기 위한 목적으로 터치스크린의 햅틱 진동(예컨대, 질감을 나타냄)과 연관된 청각 신호에 삽입 또는 내장될 수 있는 임의의 식별 정보(예컨대, 식별자)를 의미하도록 정의된다. 워터마킹된 컨텐츠를 식별하기 위하여, 워터마크(들)은 추출되고 식별 정보에 매핑된 참조 워터마크의 표에 접근하는데 사용되거나, 컨텐츠를 식별하기에 충분한 정보를 도출하기 위해 규칙의 세트에 의해 파싱된다.
표면 햅틱 터치스크린의 진동에 포함 및/또는 내장된 코드 및/또는 워터마크에 기반한 모니터링 기술과 달리, 지문 또는 서명 기반 모니터링 기술은 일반적으로 신호에 대한 실질적으로 고유 프록시를 생성하기 위해 모니터링 시간 간격 동안 모니터링되는 신호(예컨대, 청각 신호)의 하나 이상의 내재하는 특성을 사용한다. 이러한 프록시는 서명 또는 지문으로 지칭되고, 청각 신호의 임의의 양태(들)를 나타내는 임의의 형태(예컨대, 일련의 디지털 값, 파형 등)를 취할 수 있다. 서명이나 지문은 보통 원래의 미디어 컨텐츠 크기보다 현저하게 작은 크기이고, 적은 컴퓨팅 효과를 요구하지만, 컨텐츠 인식, 식별 및 검색 목적 대부분을 가능하게 하기에 충분히 고유하다. 서명은 타이머 간격에 걸쳐 연속으로 수집된 일련의 서명일 수 있다. 햅틱 진동 모니터링의 문맥에서, 좋은 서명은 동일 진동의 인스턴스로부터 생성될 때 반복 가능하지만, 상이한 햅틱 컨텐츠(예컨대, 상이한 질감과 연관된)에 대응하는 다른(예컨대, 상이한) 진동에 대해 고유하다. 따라서, 용어 "지문" 및 "서명"은 본 명세서에서 상호 교환적으로 사용되고 질감의 감지를 생성하는 햅틱 진동으로부터 생성된 청각 신호의 하나 이상의 내재된 특성으로부터 생성되는 질감 및/또는 질감과 연관된 컨텐츠를 식별하기 위한 프록시를 의미하는 것으로 본 명세서에서 정의된다.
서명 기반 미디어 식별 또는 인식은 일반적으로 모니터링되는 컴퓨팅 장치에 의해 출력되는(예컨대, 터치스크린의 진동을 통해) 신호(예컨대, 청각 신호)를 나타내는 서명(들)의 결정(예컨대, 생성 및/또는 수집) 및 모니터링되는 서명(들)(때때로 질의 서명(들)로 지칭)과 알려진(예컨대, 참조) 컨텐츠 및/또는 햅틱 진동으로부터 생성된 연관된 질감에 대응하는 하나 이상의 참조 서명의 비교를 수반한다 다양한 비교 기준, 예컨대 상호 상관값, 해밍 거리 등이 평가되어 모니터링되는 서명이 특정 참조 서명과 일치하는지 여부를 결정할 수 있다. 모니터링되는 서명과 참조 서명 중 하나 간의 일치가 발견되면, 참조 서명에 대한 컨텐츠 및/또는 질감 식별 정보가 모니터링되는/질의 서명과 연관될 수 있다.
도 1은 본 명세서에 개시된 교시가 구현될 수 있는 환경(100)의 예시의 블록도이다. 도 1에 도시된 예시에서, 햅틱 터치스크린 컴퓨팅 장치(102)의 예시는 액추에이터 및/또는 터치스크린(104)이 표면 햅틱 진동을 생성할 수 있게 하는 다른 컴포넌트가 구비된 터치스크린(104)의 예시를 포함한다. "표면 햅틱 진동"의 문맥에서 용어 "표면"의 사용은 많은 손에 드는 장치에서 흔히 사용되는 종래의 햅틱 진동(예컨대, 오프 밸런스 모터를 사용하여 기기 전체를 진동시키는)과 터치스크린을 터치하는 사람에게 특정한 식별 가능 촉각 경험을 제공하는 터치스크린(예컨대, 장치의 "표면")의 정밀한 초음파 진동을 구별하기 위한 것이다. 따라서, 본 명세서에서 사용되는 바와 같이, 용어 "표면 햅틱 진동"은 터치스크린(또는 다른 사용자 인터페이스)를 터치하는 사람에게 인식 가능한 특정한 질감의 인지를 생성하는 터치스크린(또는 다른 사용자 인터페이스)의 진동을 지칭한다. 터치스크린(104)의 예시는 상이한 질감을 생성하기 위해 상이한 방식으로 진동할 수 있다.
도시된 예시에서, 터치스크린(104)의 진동은 햅틱 신호 정의기의 예시에 의해 생성 또는 정의되는 표면 햅틱 제어 신호에 의해 제어된다. 일부 예시에서, 표면 햅틱 제어 터치스크린(104)을 통해 디스플레이되는 시각적 컨텐츠에 대응하도록 생성된다. 즉, 일부 예시에서, 터치스크린(104)의 표면 햅틱 진동에 의해 생성되는 질감(들)은 스크린에 디스플레이되고 있는 것이 무엇이든 물리적인 만짐이나 느낌(예컨대, 스크린 상에 디스플레이되는 직물 조각의 느낌, 스크린에 디스플레이되는 키패드 상의 버튼의 모서리, 스크린 상에 디스플레이되는 텍스트의 글자에 대응하는 요철을 모사하도록 의도된다. 따라서, 일부 예시에서, 컴퓨터 장치(102)에 의해 접근되는 미디어 컨텐츠는 햅틱 신호 정의기(106)가 적절한 햅틱 진동 제어 신호(들)를 생성할 수 있게 하는 시각적 컨텐츠와 연관된 파라미터나 정의를 포함한다. 일부 예시에서, 컨텐츠 제공자(108)는 이러한 파라미터 및/또는 정의를 시각적 컨텐츠와 함께 컴퓨터 장치(102)로 제공한다. 추가적으로 또는 대안적으로, 컨텐츠 제공자(108)는 햅틱 신호 정의기(106)의 기능 중 일부 또는 모두를 포함할 수 있다. 이러한 일부 예시에서, 컨텐츠 제공자(108)는 햅틱 신호 정의기(106)를 통하여 컴퓨터 장치(102)의 터치스크린(104)를 위한 햅틱 진동 제어 신호를 완전히 정의하는 실행 가능한 파일 또는 프로그램을 제공할 수 있다. 다른 예시에서, 컨텐츠 제공자(108)의 햅틱 신호 정의기(106)는 컴퓨터 장치(102)의 햅틱 신호 정의기(106)에 의해 더 발달되는 햅틱 진동 제어 신호를 위한 일부 파라미터 또는 일반적/초기 명령어를 생성한다. 햅틱 신호 정의기(106)에 관한 더 자세한 내용은 도 3과 관련하여 아래 제공된다.
햅틱 터치스크린(104)의 사용이 더 일반적으로 됨에 따라, 소비자 연구 또는 AME(audience measurement entity)(110)는 이러한 기술의 사용을 추적하고 및/또는 사람이 컴퓨터 장치(102)와 상호작용하는 동안 어떤 컨텐츠 및/또는 연관된 질감(들)이 노출되는지 모니터링하기 원할 수 있다. 따라서, 일부 예시에서, AME(110)는 컴퓨터 장치(102)의 사용자에게 하나 이상의 햅틱 이벤트 모니터(112, 114, 116)의 예시를 제공하여 터치스크린(104)의 진동을 모니터링하여 컨텐츠 및/또는 컨텐츠와 연관된 질감(들)을 검출할 수 있다. 도시된 예시에서, 제1 햅틱 이벤트 모니터(112)는 컴퓨터 장치(102)에 통합 및/또는 컴퓨터 장치(102)에 의해 구현된다. 다른 두 햅틱 이벤트 모니터(114, 116)는 컴퓨터 장치(102)의 외부이다(예컨대, 개별 장치에 구현된다). 일부 예시에서, 햅틱 이벤트 모니터(112, 114, 116) 중 하나 또는 서브셋만 구현된다. 하지만, 세 상이한 햅틱 이벤트 모니터(112, 114, 116)가 도 1에 도시되어 상이한 구현을 설명한다.
햅틱 이벤트 모니터(112, 114, 116)는 진동에 의해 생성되는 청각 신호를 검출함으로써 터치스크린(104)의 표면 햅틱 진동을 모니터링한다. 따라서, 도시된 예시에서 알 수 있듯이, 햅틱 이벤트 모니터(112, 114, 116) 각각은 대응하는 청각 또는 오디오 센서(118), 예컨대 마이크와 연관된다. 일부 예시에서, 센서(118)는 햅틱 터치스크린 컴퓨팅 장치(102)의 마이크에 대응한다(통합된 햅틱 이벤트 모니터(112)와 연관된 센서(118)와 같이). 일부 예시에서, 센서(118)는 진동의 검출을 가능하게 하기 위해 터치스크린(104)에 물리적으로 고정된 버튼 마이크이다(제2 햅틱 이벤트 모니터(114)와 연관된 센서(118)와 같이). 일부 예시에서, 센서(118)는 터치스크린(104) 및 연관된 컴퓨터 장치(102)와 개별이며 이격될 수 있다(제2 햅틱 이벤트 모니터(114)와 연관된 센서(118)와 같이). 센서(118)와 터치스크린(104) 간의 거리는 센서(118)의 감도 및 터치스크린(104)의 진동의 성질에 따른다. 상술한 바와 같이, 터치스크린(104)의 진동은 초음파 진동이다. 따라서, 일부 예시에서, 센서(118)는 초음파 센서이다.
일부 예시에서, 햅틱 이벤트 모니터(112, 114, 116) 중 임의의 하나는 청각 신호의 오디오 서명 또는 지문을 생성하기 위해 청각 신호를 샘플링함으로써 터치스크린(104)의 진동으로부터 생성된 청각 신호를 수동으로 모니터링할 수 있다. 오디오 서명은 후속 분석 및 처리를 위해 AME(110)의 중앙화된 데이터 수집 시설(120)로 전송될 수 있다. 특히, 일부 예시에서, 데이터 수집 시설(120)은 수집된 오디오 서명(질의 서명으로 지칭됨)을 알려진 특성을 가지는(예컨대, 알려진 컨텐츠 및/또는 알려진 질감(들)과 연관된) 참조 서명의 데이터베이스 또는 라이브러리와 비교한다. 일부 예시에서, 참조 서명은 터치스크린(108) 상의 표면 햅틱 진동을 생성하기 위해 사용되는 동일한 컨텐츠를 AME(110)로 제공하는 컨텐츠 제공자(108)에 기반하여 생성된다.
추가적으로 또는 대안적으로, 햅틱 이벤트 모니터(112, 114, 116)는 청각 신호에 내장된 워터마크에 대해 모니터링함으로써 터치스크린(104)의 진동으로부터 생성되는 청각 신호를 능동적으로 모니터링할 수 있다. 일부 예시에서, 워터마크는 터치스크린(104) 상에 디스플레이되는 컨텐츠 및/또는 터치스크린(104)의 표면 햅틱 진동에 의해 생성되는 연관된 질감(들)을 식별하는 식별 정보를 포함한다. 일부 예시에서, 식별 정보는 컨텐츠 및/또는 연관된 질감(들)을 직접 식별할 수 있다. 다른 예시에서, 식별 정보는 컨텐츠 및/또는 연관된 질감(들)을 대응하는 데이터베이스에서 찾는데 사용될 수 있는 식별자를 포함할 수 있다. 이러한 예시에서, 컨텐츠 제공자(108)에 의해 생성된 컨텐츠에 인코딩된 워터마크가 데이터 수집 시설(120)에 의해 유지되는 데이터베이스에 저장된 정보와 일치하는 정보를 가지도록 식별 정보는 컨텐츠 제공자(108)와 AME(110) 간에 공유될 수 있다.
일부 예시에서, 햅틱 신호 정의기(106)는 신호가 터치스크린(104)의 진동을 제어하기 위해 제공되기 전에 워터마크를 햅틱 제어 신호에 인코딩한다. 일부 예시에서, 워터마크 인코딩은 컴퓨터 장치가 컨텐츠 제공자(108)로부터의 컨텐츠에 접근하거나 수신한 후 컴퓨터 장치(102)에 의해 구현된 햅틱 신호 정의기(106)에 의해 수행된다. 다른 예시에서, 워터마크의 인코딩은 컨텐츠가 컴퓨터 장치(102)에 제공되기 전 컨텐츠 제공자(108)(또는 다른 제3자)에 의해 구현된 햅틱 신호 정의기(106)에 의해 수행될 수 있다. 햅틱 이벤트 모니터(116)가 터치스크린(104)에 의해 생성된 청각 신호로부터 워터마크를 추출하면, 햅틱 이벤트 모니터(116)는 후속 분석 및 처리를 위해 데이터 수집 시설(120)로 워터마크를 전송할 수 있다.
도 2는 도 1의 햅틱 터치스크린 컴퓨팅 장치(102)의 구현의 예시를 도시하는 블록도이다. 도시된 예시에서 알 수 있듯이, 컴퓨터 장치(102)는 통신 인터페이스(202)의 예시, 표면 햅틱 컨트롤러(204)의 예시, 햅틱 신호 정의기(106)의 예시 및 햅틱 이벤트 모니터(112)의 예시를 포함한다. 도 2에 간단하게 언급되었지만, 햅틱 신호 정의기(106)와 햅틱 이벤트 모니터(112)의 구현에 관한 더 자세한 사항은 도 3 및 4와 관련하여 후술된다.
모뎀이나 다른 통신 장치로 구현될 수 있는 도 2의 통신 인터페이스(202)의 예시는 컴퓨터 장치(102)의 예시가 AME(110)와 통신하여, 예컨대 햅틱 이벤트 모니터(112)를 구현하는 명령어 및/또는 햅틱 신호 정의기(106)가 표면 햅틱 제어 신호에 워터마크를 포함시키도록 수정할 수 있게 하는 정보를 수신할 수 있게 한다. 또한, 통신 인터페이스(202)의 예시는 네트워크(예컨대, 인터넷)를 통해 AME(110)의 데이터 수집 시설(120)로 햅틱 이벤트 모니터(112)에 의해 생성된 햅틱 계측 데이터(예컨대, 오디오 서명 및/또는 오디오 워터마크)의 전송을 가능하게 한다.
도시된 예시에서, 통신 인터페이스(202)는 컴퓨터 장치(102)가 네트워크(예컨대, 인터넷)를 통해 컨텐츠 제공자(108)로부터 미디어(예컨대, 컨텐츠 및/또는 광고)를 요청할 수 있게 한다. 이러한 예시에서, 컨텐츠 제공자(108)가 요청된 미디어 컨텐츠를 전달하므로, 컨텐츠 제공자(108)가 컨텐츠와 연관된 표면 햅틱 제어 신호도 제공할 수 있다. 표면 햅틱 컨트롤러(204)의 예시는 표면 햅틱 제어 신호를 사용하여 터치스크린(104) 상에 디스플레이되는 시각적 컨텐츠와 연관된 질감의 인지를 생성하는 방식으로 컴퓨터 장치(102)의 터치스크린(104)의 진동을 제어한다. 일부 예시에서, 컨텐츠 제공자(108)가 제공하는 표면 햅틱 제어 신호는 터치스크린(104)의 진동의 결과로 방출되는 청각 신호로부터 감지될 수 있는 하나 이상의 내장된 워터마크를 포함한다. 다른 예시에서, 햅틱 신호 정의기(106)는 워터마크(들)을 인코딩 또는 내장시키기 위해 컨텐츠 제공자(108)로부터 수신한 표면 햅틱 제어 신호를 수정한다. 다른 예시에서, 컨텐츠 제공자(108)는 컴퓨터 장치(102)에 의해 접근되는 미디어의 시각적 컨텐츠를 서술하는 정의, 파라미터 및/또는 다른 명령어를 제공할 수 있다. 이러한 예시에서, 햅틱 신호 정의기(106)는 이러한 정의, 파라미터 및/또는 명령어를 사용하여 컨텐츠 및/또는 대응하는 질감(들)을 식별하여 터치스크린(104)을 제어하기 위해 표면 햅틱 컨트롤러(204)로 제공되는 표면 햅틱 제어 신호를 생성한다.
도 1의 햅틱 터치스크린 컴퓨팅 장치(102)를 구현하는 방식의 예시가 도 2에 도시되었지만, 도 2에 도시된 요소, 프로세스 및/또는 장치 중 하나 이상이 조합, 분할, 재배열, 생략, 제거 및/또는 임의의 다른 방식으로 구현될 수 있다. 나아가, 통신 인터페이스(202)의 예시, 표면 햅틱 컨트롤러(204)의 예시, 햅틱 신호 정의기(106)의 예시, 햅틱 이벤트 모니터(112)의 예시 및/또는 더 일반적으로 도 2의 컴퓨터 장치(102)의 예시는 하드웨어, 소프트웨어, 펌웨어 및/또는 하드웨어, 소프트웨어 및/또는 펌웨어의 임의의 조합에 의해 구현될 수 있다. 따라서, 예를 들어, 통신 인터페이스(202)의 예시, 표면 햅틱 컨트롤러(204)의 예시, 햅틱 신호 정의기(106)의 예시, 햅틱 이벤트 모니터(112)의 예시 및/또는 더 일반적으로 컴퓨터 장치(102)의 예시 중 임의의 것은 하나 이상의 아날로그나 디지털 회로(들), 논리 회로, 프로그램 가능한 프로세서(들), 프로그램 가능한 컨트롤러(들), GPU(graphics processing unit)(들), DSP(digital signal processor)(들), ASIC(application specific integrated circuit)(들), PLD(programmable logic device)(들) 및/또는 FPLD(field programmable logic device)(들)에 의해 구현될 수 있다. 본 특허의 임의의 장치 또는 시스템 청구항이 순수 소프트웨어 및/또는 펌웨어 구현을 포함하는 것으로 해석할 때, 통신 인터페이스(202)의 예시, 표면 햅틱 컨트롤러(204)의 예시, 햅틱 신호 정의기(106)의 예시 및/또는 햅틱 이벤트 모니터(112)의 예시 중 적어도 하나는 본 명세서에 소프트웨어 및/또는 펌웨어를 포함하는 비일시적 컴퓨터 판독 가능한 저장 장치나 저장 디스크, 예컨대 메모리, DVD(digital versatile disk), CD(compact disk), Blu-ray 디스크 등을 포함하는 것으로 명시적으로 정의된다. 나아가, 도 1의 컴퓨터 장치(102)의 예시는 도 2에 도시된 것에 추가로 또는 대신하여 하나 이상의 요소, 프로세스 및/또는 장치를 포함할 수 있고 및/또는 도시된 요소, 프로세스 및 장치 중 하나 이상의 임의의 것 또는 모두를 포함할 수 있다. 본 명세서에 사용되는 바와 같이, 구절 "통신하는"은 그 변형을 포함하여, 직접 통신 및/ 하나 이상의 중간 컴포넌트를 통한 간접 통신을 포함하고, 직접적 물리적(예컨대, 유선) 통신 및/또는 끊임없는 통신을 요구하지 않지만, 주기적 간격, 스케줄링된 간격, 비주기적 간격 및/또는 일회성으로 선택적 통신을 더 포함한다.
도 3은 도 1의 햅틱 신호 정의기(106)의 예시의 구현의 예시를 도시하는 블록도이다. 도 1에 도시 및 설명된 바와 같이, 햅틱 신호 정의기(106)는 컴퓨터 장치(102) 및/또는 컨텐츠 제공자(108)에 의해 구현될 수 있다. 일부 예시에서, 햅틱 신호 정의기(106)의 일부 기능은 컴퓨터 장치(102)에 의해 구현되는 한편 햅틱 신호 정의기(106)의 다른 기능은 컨텐츠 제공자(108)에 의해 구현된다. 도시된 예시에서, 햅틱 신호 정의기(106)는 컨텐츠 식별기(302)의 예시, 햅틱 신호 생성기(304)의 예시 및 워터마크 인코더(306)의 예시를 포함한다.
컨텐츠 식별기(302)의 예시는 시각적 컨텐츠가 디스플레이되고 사용자가 스크린을 터치할 때 터치스크린(104)에 의해 생성되는 질감(들)을 결정하기 위해 터치스크린을 통해 디스플레이되는 미디어의 시각적 컨텐츠를 식별한다. 일부 예시에서, 컨텐츠 식별기(302)는 시각적 컨텐츠의 이미지 분석에 기반하여 컨텐츠를 식별한다. 예를 들어, 컨텐츠 식별기(302)는 컨텐츠의 특정한 특징의 위치를 정의하기 위해 시각적 컨텐츠의 선 및/또는 모서리를 식별할 수 있다. 일부 예시에서, 컨텐츠 식별기(302)는 시각적 컨텐츠 내의 텍스트를 식별할 수 있다. 일부 예시에서, 컨텐츠 식별기(302)는 컨텐츠를 식별하고 및/또는 시각적 컨텐츠와 연관된 질감(들)의 성질을 정의하는 파라미터, 정의 및/또는 명령어를 포함하는 시각적 컨텐츠와 제공되는 메타데이터를 파싱할 수 있다.
컨텐츠 식별기(302)가 식별한 컨텐츠 및/또는 관련 질감(들)은 햅틱 신호 생성기(304)로 제공되어 도 2의 표면 햅틱 컨트롤러(204)가 도 1의 터치스크린(104)의 진동을 제어할 수 있게 하는 특정한 표면 햅틱 제어 신호를 생성한다.
도시된 예시에서, 햅틱 신호 정의기(106)는 햅틱 신호 생성기(304)에 의해 생성된 표면 햅틱 제어 신호를 하나 이상의 워터마크를 포함하도록 수정 또는 변경하기 위해 워터마크 인코더(306)를 포함한다. 일부 예시에서, 워터마크는 상이한 워터마크 심볼을 나타내기 위해 상이한 주파수로 정의된 기간의 진동을 생성하기 위해 제어 신호를 수정함으로써 표면 햅틱 제어 신호에 인코딩된다. 추가적으로 또는 대안적으로, 표면 햅틱 제어 신호는 상이한 워터마크 심볼을 나타내기 위해 상이한 진폭 및/또는 위상으로 진동을 생성하도록 수정될 수 있다. 일부 예시에서, 감지 가능한 오디오 신호를 유발하도록 선택된 진동 주파수, 위상 및/또는 진폭은 인간의 촉감으로 인식하지 못할 수 있다. 즉, 일부 예시에서, 워터마크가 인코딩되기 전과 후의 표면 햅틱 제어 신호에 의해 야기된 진동의 차이는 진동하는 터치스크린을 터치하는 사람에게 인식되지 않는다. 추가적으로 또는 대안적으로, 워터마크 심볼은 음조 또는 배음 성질이 아닌 진동에 의해 전달될 수 있지만, 임의의 시간 함수인 진폭으로 변조된 신호에 의해 전달될 수 있다.
상술한 바와 같이, 워터마크(들)는 터치스크린(104)을 통해 디스플레이되는 컨텐츠 및/또는 컨텐츠에 대한 연관된 질감(들)을 식별하는 식별 정보를 포함할 수 있다. 일부 예시에서, 식별 정보는 컨텐츠 식별기(302)에 의해 결정된다. 일부 예시에서, 식별 정보는 특정 컨텐츠 및/또는 연관된 질감(들)을 찾기 위해 사용될 수 있는 컨텐츠의 소스를 나타내는 식별자를 포함할 수 있다. 일부 예시에서, 식별 정보는 AME(110)에 의해 제공된다.
도 1 및 2의 햅틱 신호 정의기(106)를 구현하는 방식의 예시가 도 3에 도시되었지만, 도 3에 도시된 요소, 프로세스 및/또는 장치 중 하나 이상이 조합, 분할, 재배열, 생략, 제거 및/또는 임의의 다른 방식으로 구현될 수 있다. 나아가, 컨텐츠 식별기(302)의 예시, 햅틱 신호 생성기(304)의 예시, 워터마크 인코더(306)의 예시 및/또는 더 일반적으로 도 3의 햅틱 신호 정의기(106)의 예시는 하드웨어, 소프트웨어, 펌웨어 및/또는 하드웨어, 소프트웨어 및/또는 펌웨어의 임의의 조합에 의해 구현될 수 있다. 따라서, 예를 들어, 컨텐츠 식별기(302)의 예시, 햅틱 신호 생성기(304)의 예시, 워터마크 인코더(306)의 예시 및/또는 더 일반적으로 햅틱 신호 정의기(106)의 예시 중 임의의 것은 하나 이상의 아날로그나 디지털 회로(들), 논리 회로, 프로그램 가능한 프로세서(들), 프로그램 가능한 컨트롤러(들), GPU(graphics processing unit)(들), DSP(digital signal processor)(들), ASIC(application specific integrated circuit)(들), PLD(programmable logic device)(들) 및/또는 FPLD(field programmable logic device)(들)에 의해 구현될 수 있다. 본 특허의 임의의 장치 또는 시스템 청구항이 순수 소프트웨어 및/또는 펌웨어 구현을 포함하는 것으로 해석할 때, 컨텐츠 식별기(302)의 예시, 햅틱 신호 생성기(304)의 예시 및/또는 워터마크 인코더(306)의 예시 중 적어도 하나는 본 명세서에 소프트웨어 및/또는 펌웨어를 포함하는 비일시적 컴퓨터 판독 가능한 저장 장치나 저장 디스크, 예컨대 메모리, DVD(digital versatile disk), CD(compact disk), Blu-ray 디스크 등을 포함하는 것으로 명시적으로 정의된다. 나아가, 도 1 및/또는 2의 햅틱 신호 정의기(106)의 예시는 도 3에 도시된 것에 추가로 또는 대신하여 하나 이상의 요소, 프로세스 및/또는 장치를 포함할 수 있고 및/또는 도시된 요소, 프로세스 및 장치 중 하나 이상의 임의의 것 또는 모두를 포함할 수 있다.
도 4는 햅틱 이벤트 모니터(400)의 예시의 구현의 예시를 도시하는 블록도이다. 도 4의 햅틱 이벤트 모니터(400)의 예시는 도 1에 도시된 햅틱 이벤트 모니터(112, 114, 116) 중 임의의 하나에 대응할 수 있다. 도시된 예시에서, 햅틱 이벤트 모니터(400)는 센서 인터페이스(402)의 예시, 서명 생성기(404)의 예시, 워터마크 추출기(406)의 예시 및 통신 인터페이스(408)의 예시를 포함한다.
센서 인터페이스(402)의 예시는 터치스크린(104)의 진동에 의해 생성되는 청각 신호를 모니터링하는 청각 센서(예컨대, 도 1의 센서(118))로부터 신호를 수신한다. 센서(118)에 의해 검출된 청각 신호는 분석을 위해 서명 생성기(404) 및/또는 워터마크 추출기(406)로 제공될 수 있다. 일부 예시에서, 서명 생성기(404)는 AME(110)에 의해 제공되는 소프트웨어 개발 키트와 연관된 기능에 기반하여 구현된다. 일부 예시에서, 서명 생성기(404)는 청각 신호에 기반하여 오디오 서명을 식별 및/또는 생성하기 위해 청각 신호를 처리한다. 생성된 청각 신호는 터치스크린(104)에 의해 표시되는 컨텐츠 및/또는 생성된 질감(들)을 식별하기 위해 참조 서명과 비교하기 위해 AME(110)의 데이터 수집 시설(120)로 통신 인터페이스(408)의 예시에 의해 전송될 수 있다. 도시된 예시에서, 햅틱 이벤트 모니터(400)가 컴퓨터 장치(102)와 통합되는 경우, 도 4의 통신 인터페이스(408)는 도 2의 통신 인터페이스(202)에 대응할 수 있다. 컨텐츠 식별은 모니터링 장치 자체에서 달성될 수도 있는데, 생성된 오디오 서명을 데이터 수집 시설로 전송하지 않고 알려진 사용 가능한 오디오 서명과 비교될 때이다.
추가적으로 또는 대안적으로, 일부 예시에서, 센서(118)에 의해 검출된 신호가 워터마크 추출기(406)에 제공될 수 있다. 워터마크 추출기(406)의 예시는 워터마크를 검출 및 추출하기 위해 청각 신호를 나타내는 센서 출력을 모니터링한다. 일부 예시에서, 워터마크 추출기(406)는 AME(110)에 의해 제공되는 소프트웨어 개발 키트와 연관된 기능에 기반하여 구현된다. 워터마크가 검출될 때, 워터마크는 워터마크에 포함된 정보를 식별함으로써 표시되는 바와 같이 터치스크린에 의해 표시되는 컨텐츠 및/또는 생성된 질감(들)을 결정하기 위해 AME(110)의 데이터 수집 시설(120)로 통신 인터페이스(408)의 예시에 의해 전송된다.
도 4의 햅틱 이벤트 모니터(400)를 구현하는 방식의 예시가 도 4에 도시되었지만, 도 4에 도시된 요소, 프로세스 및/또는 장치 중 하나 이상이 조합, 분할, 재배열, 생략, 제거 및/또는 임의의 다른 방식으로 구현될 수 있다. 나아가, 센서 인터페이스(402)의 예시, 서명 생성기(404)의 예시, 워터마크 추출기(406)의 예시, 통신 인터페이스(408)의 예시 및/또는 더 일반적으로 도 4의 햅틱 이벤트 모니터(400)의 예시는 하드웨어, 소프트웨어, 펌웨어 및/또는 하드웨어, 소프트웨어 및/또는 펌웨어의 임의의 조합에 의해 구현될 수 있다. 따라서, 예를 들어, 센서 인터페이스(402)의 예시, 서명 생성기(404)의 예시, 워터마크 추출기(406)의 예시, 통신 인터페이스(408)의 예시 및/또는 더 일반적으로 햅틱 이벤트 모니터(400)의 예시 중 임의의 것은 하나 이상의 아날로그나 디지털 회로(들), 논리 회로, 프로그램 가능한 프로세서(들), 프로그램 가능한 컨트롤러(들), GPU(graphics processing unit)(들), DSP(digital signal processor)(들), ASIC(application specific integrated circuit)(들), PLD(programmable logic device)(들) 및/또는 FPLD(field programmable logic device)(들)에 의해 구현될 수 있다. 본 특허의 임의의 장치 또는 시스템 청구항이 순수 소프트웨어 및/또는 펌웨어 구현을 포함하는 것으로 해석할 때, 센서 인터페이스(402)의 예시, 서명 생성기(404)의 예시, 워터마크 추출기(406)의 예시 및/또는 통신 인터페이스(408)의 예시 중 적어도 하나는 본 명세서에 소프트웨어 및/또는 펌웨어를 포함하는 비일시적 컴퓨터 판독 가능한 저장 장치나 저장 디스크, 예컨대 메모리, DVD(digital versatile disk), CD(compact disk), Blu-ray 디스크 등를 포함하는 것으로 명시적으로 정의된다. 나아가, 도 4의 햅틱 이벤트 모니터(400)의 예시는 도 4에 도시된 것에 추가로 또는 대신하여 하나 이상의 요소, 프로세스 및/또는 장치를 포함할 수 있고 및/또는 도시된 요소, 프로세스 및 장치 중 하나 이상의 임의의 것 또는 모두를 포함할 수 있다.
도 5는 도 1의 데이터 수집 시설(120)의 예시의 구현의 예시를 도시하는 블록도이다. 도시된 예시의 데이터 수집 시설(120)은 통신 인터페이스(502)의 예시, 서명 비교기(504)의 예시, 워터마크 분석기(506)의 예시, 데이터베이스(508)의 예시 및 보고 생성기(510)의 예시를 포함한다.
도시된 예시에서, 모뎀이나 다른 통신 장치에 의해 구현될 수 있는 통신 인터페이스(502)는 컴퓨터 장치(102), 햅틱 이벤트 모니터(112, 114, 116, 400) 및/또는 컨텐츠 제공자(108) 중 하나 이상과 통신하는 역할을 한다. 일부 예시에서, 데이터 수집 시설(120)은 컴퓨터 장치(102)의 터치스크린(104)을 통해 디스플레이되는 미디어 컨텐츠와 연관된 표면 햅틱 제어 신호에 내장하기 위해 통신 인터페이스(502)를 통해 컴퓨터 장치(102) 및/또는 컨텐츠 제공자(108)로 워터마크를 제공한다. 일부 예시에서, 데이터 수집 시설(120)의 통신 인터페이스(502)는 햅틱 이벤트 모니터(112, 114, 116, 400)로부터 전송되는 햅틱 측정 데이터를 수신한다. 본 명세서에서 사용되는 바와 같이, 햅틱 측정 데이터는 터치스크린(104)의 진동에 의해 생성되는 청각 데이터로부터 생성된 오디오 서명 및/또는 이러한 청각 신호로부터 추출된 오디오 워터마크를 포함한다. 일부 예시에서, 수신된 햅틱 측정 데이터는 데이터베이스(508)의 예시에 저장된다. 일부 예시에서, 데이터 수집 시설(120)은 컴퓨터 장치(102) 상에서의 구현을 위해 통신 인터페이스(502)를 통해 햅틱 이벤트 모니터(112)를 제공한다. 일부 예시에서, 통신 인터페이스(502)는 컴퓨터 장치(102)의 사용자에 의해 나중에 다운로드 및/또는 설치될 수 있는 개발된 애플리케이션에 내장 또는 통합되도록 햅틱 이벤트 모니터(112)를 서드파티 애플리케이션 개발자에게 제공한다.
도 5의 서명 비교기(504)의 예시는 햅틱 이벤트 모니터(112, 114, 116, 400)로부터 보고된 서명을 데이터베이스(508)에 저장된 참조 서명과 비교한다. 데이터베이스(508)는 참조 서명이 추출되는 진동 및/또는 진동에 의해 표현되는 질감(들)을 생기게 하는 장치 상에서 수행되는 컨텐츠 및/또는 동작을 식별하기 위해 참조 서명과 연관된 식별 정보도 저장한다. 이와 같이, 서명 비교기(504)가 수집된 서명과 참조 서명 간의 일치를 식별하면, 서명 비교기(504)는 참조 서명의 식별 정보를 수집된 서명에 연관시킨다.
도 5의 워터마크 분석기(506)의 예시는 햅틱 이벤트 모니터(112, 114, 116, 400)로부터 보고된 워터마크를 분석하여 워터마크가 추출된 청각 신호에 대응하는 컨텐츠 및/또는 연관된 질감(들)을 결정한다. 일부 예시에서, 컨텐츠 및/또는 질감(들)은 워터마크에 포함된 식별 정보로부터 직접 식별될 수 있다. 다른 예시에서, 식별 정보는 워터마크 분석기(506)가 대응하는 컨텐츠 및/또는 질감(들)을 데이터베이스(508)에서 검색하는데 사용할 수 있는 식별자를 포함한다.
도시된 예시에서, 데이터 수집 시설(120)은 수집된 측정 데이터(예컨대, 오디오 서명 및/또는 오디오 워터마크)에 기반하여 보고를 생성하기 위해 보고 생성기(510)의 예시를 포함한다. 일부 예시에서, 보고는 다수의 사용자와 연관된 다수의 햅틱 터치스크린 컴퓨팅 장치(102)로부터 수집된 측정 데이터를 종합할 수 있다. 보고는 사용자에 의해 접근된 미디어 컨텐츠(및 연관된 질감)의 타입, 미디어 컨텐츠에 대한 청중 측정 계량(예컨대, 점수 결정), 생성되는 질감, 햅틱 진동이 생성되도록 야기하기 위해 장치(102) 상에서 수행되는 동작 및/또는 다른 관련 정보를 표시할 수 있다.
도 1의 데이터 수집 시설(120)을 구현하는 방식의 예시가 도 5에 도시되었지만, 도 5에 도시된 요소, 프로세스 및/또는 장치 중 하나 이상이 조합, 분할, 재배열, 생략, 제거 및/또는 임의의 다른 방식으로 구현될 수 있다. 나아가, 통신 인터페이스(502)의 예시, 서명 비교기(504)의 예시, 워터마크 분석기(506)의 예시, 데이터베이스(508)의 예시, 보고 생성기(510)의 예시 및/또는 더 일반적으로 도 1의 데이터 수집 시설(120)의 예시는 하드웨어, 소프트웨어, 펌웨어 및/또는 하드웨어, 소프트웨어 및/또는 펌웨어의 임의의 조합에 의해 구현될 수 있다. 따라서, 예를 들어, 통신 인터페이스(502)의 예시, 서명 비교기(504)의 예시, 워터마크 분석기(506)의 예시, 데이터베이스(508)의 예시, 보고 생성기(510)의 예시 및/또는 더 일반적으로 데이터 수집 시설(120)의 예시 중 임의의 것은 하나 이상의 아날로그나 디지털 회로(들), 논리 회로, 프로그램 가능한 프로세서(들), 프로그램 가능한 컨트롤러(들), GPU(graphics processing unit)(들), DSP(digital signal processor)(들), ASIC(application specific integrated circuit)(들), PLD(programmable logic device)(들) 및/또는 FPLD(field programmable logic device)(들)에 의해 구현될 수 있다. 본 특허의 임의의 장치 또는 시스템 청구항이 순수 소프트웨어 및/또는 펌웨어 구현을 포함하는 것으로 해석할 때, 통신 인터페이스(502)의 예시, 서명 비교기(504)의 예시, 워터마크 분석기(506)의 예시, 데이터베이스(508)의 예시 및/또는 보고 생성기(510)의 예시 중 적어도 하나는 본 명세서에 소프트웨어 및/또는 펌웨어를 포함하는 비일시적 컴퓨터 판독 가능한 저장 장치나 저장 디스크, 예컨대 메모리, DVD(digital versatile disk), CD(compact disk), Blu-ray 디스크 등을 포함하는 것으로 명시적으로 정의된다. 나아가, 도 1의 데이터 수집 시설(120)의 예시는 도 5에 도시된 것에 추가로 또는 대신하여 하나 이상의 요소, 프로세스 및/또는 장치를 포함할 수 있고 및/또는 도시된 요소, 프로세스 및 장치 중 하나 이상의 임의의 것 또는 모두를 포함할 수 있다.
도 1-3의 햅틱 신호 정의기(106)를 구현하기 위한 하드웨어 로직, 장치 판독 가능한 명령어, 하드웨어 구현된 상태 장치 및 또는 그 임의의 조합이 도 6에 도시된다. 장치 판독 가능한 명령어는 도 8과 관련하여 후술되는 프로세서 플랫폼(800)의 예시에 도시되는 프로세서(812)와 같은 컴퓨터 프로세서에 의한 실행을 위한 실행 가능한 프로그램 또는 실행 가능한 프로그램의 일부일 수 있다. 프로그램은 CD-ROM, 플로피 디스크, 하드 드라이브, DVD, Blu-ray 디스크 또는 프로세서(812)와 연관된 메모리와 같은 비일시적 컴퓨터 판독가능한 저장 매체에 저장되는 소프트웨어에 내장될 수 있지만, 전체 프로그램 및/또는 그 일부는 대안적으로 프로세서(812)가 아닌 장치에 의해 실행되거나 펌웨어 또는 전용 하드웨어에 내장될 수 있다. 나아가, 프로그램의 예시가 도 6에 도시된 흐름도를 참조하여 서술되지만, 햅틱 신호 정의기(106)의 예시를 구현하는 많은 다른 방법이 대안적으로 사용될 수 있다. 예를 들어, 블록의 실행 순서는 변경될 수 있고, 및/또는 서술된 블록의 일부가 변경, 제거 또는 조합될 수 있다. 추가적으로 또는 대안적으로, 임의의 또는 모든 블록이 소프트웨어나 펌웨어 실행 없이 대응하는 동작을 수행하도록 구축된 하나 이상의 하드웨어 회로(예를 들어, 별개의 및/또는 통합된 아날로그 및/또는 디지털 회로, FPGA, ASIC, 비교자, OP 앰프(operational-amplifier), 논리 회로 등)에 의해 구현될 수 있다.
도 6의 프로그램은 블록(602)에서 시작하는데, 컨텐츠 식별기(302)의 예시는 터치스크린(도 1의 터치스크린(104))을 통해 디스플레이되는 시각적 컨텐츠를 식별한다. 블록(604)에서, 컨텐츠 식별기(302)의 예시는 시각적 컨텐츠와 연관된 질감(들)을 식별한다. 일부 예시에서, 컨텐츠 및/또는 질감(들)은 미디어 컨텐츠와 연관된 메타데이터에 의해 식별될 수 있다. 다른 예시에서, 컨텐츠 식별기(302)는 컨텐츠 및/또는 연관된 질감(들)을 결정하기 위하여 미디어를 분석할 수 있다. 블록(606)에서, 햅틱 신호 생성기(304)의 예시는 질감(들)에 기반하여 터치스크린(104)을 위한 표면 햅틱 제어 신호를 생성한다.
블록(608)에서, 워터마크 인코더(306)의 예시는 워터마크를 인코딩할지 여부를 결정한다. 만약 그렇다면, 제어는 블록(610)으로 진행하는데 워터마크 인코더(306)의 예시는 표면 햅틱 제어 신호를 수정하여 블록(612)으로 진행하기 전에 워터마크를 포함시킨다. 워터마크 인코더(306)의 예시가 워터마크를 인코딩하지 않도록 결정하면(블록(608)), 제어는 블록(612)으로 직접 진행한다. 블록(612)에서, 컨텐츠 식별기(302)의 예시는 시각적 컨텐츠가 더 있는지 여부를 결정한다. 그렇다면, 제어는 블록(602)으로 돌아간다. 그렇지 않으면, 도 6의 프로그램의 예시는 종료한다.
도 6의 프로그램의 예시의 완료 후 표면 햅틱 제어 신호로 무엇이 일어나는지는 햅틱 신호 정의기(106)의 설정에 따를 수 있다. 예를 들어, 햅틱 신호 정의기(106)가 컨텐츠 제공자(108)에 의해 구현된다면, 컨텐츠 제공자는 표면 햅틱 제어 신호를 대응하는 컨텐츠와 연관시키고 표면 햅틱 컴퓨팅 장치(예컨대, 도 1의 컴퓨터 장치(102))를 사용하여 컨텐츠를 요청하는 최종 사용자에게의 후속 배포를 위해 저장할 수 있다. 다른 예시에서, 컨텐츠 제공자(108)는 컴퓨터 장치(102)의 사용자로부터 요청을 수신하는데 응답하여 햅틱 신호 정의기(106)가 표면 햅틱 제어 신호를 생성하도록 야기할 수 있다. 일부 예시에서, 초기 표면 햅틱 제어 신호(블록(606)에서 생성된)는 미리 생성될 수 있는 반면, 워터마크의 인코딩(블록(608)에서)은 컨텐츠가 컴퓨터 장치(102)를 사용하는 사용자에 의해 접근될 때 실질적으로 실시간으로 일어날 수 있다.
다른 예시에서, 컴퓨터 장치(102)는 컴퓨터 장치(102)에서 로컬로 표면 햅틱 제어 신호를 생성하기 위하여 햅틱 신호 정의기(106)를 구현할 수 있다. 일부 예시에서, 컨텐츠 제공자(108)는 컴퓨터 장치(102)로 초기 표면 햅틱 제어 신호를 제공할 수 있고 컴퓨터 장치(102)의 햅틱 신호 정의기(106)는 이어서 워터마크를 인코딩하기 위하여 신호를 수정한다. 어떤 경우에도, 제어 신호가 컴퓨터 장치(102)에서 사용 가능하면, 햅틱 신호 정의기(106)는 신호를 컴퓨터 장치(102)의 표면 햅틱 컨트롤러(204)에 제공하여 터치스크린(104)의 진동을 제어할 수 있다.
도 4의 햅틱 이벤트 모니터(400)를 구현하기 위한 하드웨어 로직, 장치 판독 가능한 명령어, 하드웨어 구현된 상태 장치 및 또는 그 임의의 조합이 도 7에 도시된다. 장치 판독 가능한 명령어는 도 9와 관련하여 후술되는 프로세서 플랫폼(900)의 예시에 도시되는 프로세서(912)와 같은 컴퓨터 프로세서에 의한 실행을 위한 실행 가능한 프로그램 또는 실행 가능한 프로그램의 일부일 수 있다. 프로그램은 CD-ROM, 플로피 디스크, 하드 드라이브, DVD, Blu-ray 디스크 또는 프로세서(912)와 연관된 메모리와 같은 비일시적 컴퓨터 판독가능한 저장 매체에 저장되는 소프트웨어에 내장될 수 있지만, 전체 프로그램 및/또는 그 일부는 대안적으로 프로세서(912)가 아닌 장치에 의해 실행되거나 펌웨어 또는 전용 하드웨어에 내장될 수 있다. 나아가, 프로그램의 예시가 도 7에 도시된 흐름도를 참조하여 서술되지만, 햅틱 이벤트 모니터(400)의 예시를 구현하는 많은 다른 방법이 대안적으로 사용될 수 있다. 예를 들어, 블록의 실행 순서는 변경될 수 있고, 및/또는 서술된 블록의 일부가 변경, 제거 또는 조합될 수 있다. 추가적으로 또는 대안적으로, 임의의 또는 모든 블록이 소프트웨어나 펌웨어 실행 없이 대응하는 동작을 수행하도록 구축된 하나 이상의 하드웨어 회로(예를 들어, 별개의 및/또는 통합된 아날로그 및/또는 디지털 회로, FPGA, ASIC, 비교자, OP 앰프(operational-amplifier), 논리 회로 등)에 의해 구현될 수 있다.
도 7의 프로그램의 예시는 블록(702)에서 시작하는데 센서 인터페이스(402)의 예시는 진동하는 터치스크린(예컨대, 터치스크린(104))으로부터 청각 신호를 검출하는 센서(예컨대, 센서(118))로부터 피드백을 수신한다. 블록(704)에서, 워터마크 추출기(406)의 예시는 워터마크가 청각 신호에서 검출되는지 여부를 결정한다. 그렇다면, 제어는 블록(706)으로 진행하는데 워터마크 추출기(406)의 예시는 워터마크를 추출한다. 블록(708)에서, 통신 인터페이스(408)의 예시는 워터마크를 데이터 수집 시설(120)로 전송한다. 그 후, 제어는 블록(710)으로 진행한다. 워터마크 추출기(406)의 예시가 청각 신호에서 워터마크를 검출하지 않는다면(블록(704)), 제어는 직접 블록(710)으로 진행한다.
블록(710)에서, 서명 생성기(404)의 예시는 청각 신호로부터 오디오 서명을 생성한다. 블록(712)에서, 통신 인터페이스(408)는 데이터 수집 시설(120)로 오디오 서명을 전송한다. 일부 예시에서, 블록(710 및 712)은 블록(706 및 708)의 대안으로 구현된다. 즉, 일부 예시에서 햅틱 이벤트 모니터(400)는 둘 다가 아닌 워터마크 또는 서명을 검출 및 보고할 수 있다. 다른 예시에서, 햅틱 이벤트 모니터(400)는 도시된 예시에서 알 수 있듯이 데이터 수집 시설(120)로 워터마크 및 서명 둘 다 수집 및 보고할 수 있다. 블록(714)에서, 다른 청각 신호가 있는지 여부가 결정된다. 그렇다면, 제어는 블록(702)으로 돌아간다. 그렇지 않으면, 도 7의 프로그램의 예시는 종료한다.
상술한 바와 같이, 도 6 및 7의 프로세스의 예시는 하드 디스크 드라이브, 플래시 메모리, ROM, CD, DVD, 캐시, RAM 및/또는 정보가 임의의 기간(예컨대, 연장된 기간 동안, 영구히, 짧은 경우, 정보의 임시 버퍼링 및/또는 캐싱)동안 저장되는 임의의 다른 저장 장치나 저장 디스크와 같은 비일시적 컴퓨터 및/또는 장치 판독가능한 매체에 저장되는 실행 가능한 명령어(예컨대, 컴퓨터 및/또는 장치 판독가능한 명령어)를 사용하여 구현될 수 있다. 본 명세서에 사용되는 바와 같이, 용어 비일시적 컴퓨터 판독가능한 매체는 임의의 타입의 컴퓨터 판독가능한 저장 장치 및/또는 저장 디스크를 포함하고 신호 전파를 제외하며 전송 매체를 제외하는 것으로 명시적으로 정의된다.
"포함하는(including 및 comprising)"(및 그 모든 형태와 시제)은 본 명세서에서 개방적 용어로 사용된다. 따라서, 청구항이 임의의 형태의 포함한다("include" 또는 "comprise")(예컨대, 포함한다, 포함하는, 가지는 등)를 전제부나 임의의 종류의 청구항의 기재 내에 채용할 때, 추가적인 요소, 용어 등이 대응하는 청구항이나 기재의 범위 밖으로 벗어남 없이 존재할 수 있음을 이해하여야 한다. 본 명세서에 사용되는 바와 같이, 구절 "적어도"가 예컨대 청구항의 전제부에서 전이부로 사용될 때, 용어 "포함하는(comprising 및 including)"이 개방적인 것과 마찬가지로 개방적이다. 용어 "및/또는"은 예컨대 A, B 및/또는 C와 같은 형태에서 사용될 때 A, B, C의 임의의 조합이나 부분집합, 예컨대 (1) A만, (2) B만, (3) C만, (4) A와 B, (5) A와 C, (6) B와 C, (7) A와 B와 C를 지칭할 수 있다.
도 8은 도 1-3의 햅틱 신호 정의기(106)를 구현하기 위하여 도 6의 명령어를 실행하도록 구축된 프로세서 플랫폼(600)의 예시의 블록도이다. 프로세서 플랫폼(800)은 예컨대, 서버, 개인용 컴퓨터, 워크스테이션, 자기 학습 장치(예컨대, 신경망), 모바일 장치(예컨대, 휴대 전화, 스마트폰, iPadTM과 같은 태블릿), PDA(personal digital assistant), 인터넷 가전, DVD 플레이어, CD 플레이어, 디지털 비디오 레코더, Blu-ray 플레이어, 게임 콘솔, 개인용 비디오 레코더, 셋탑 박스, 헤드셋이나 다른 웨어러블 장치 또는 임의의 다른 타입의 컴퓨팅 장치일 수 있다.
도시된 예시의 프로세서 플랫폼(800)은 프로세서(812)를 포함한다. 도시된 예시의 프로세서(812)는 하드웨어이다. 예를 들어, 프로세서(812)는 임의의 원하는 패밀리나 제조자의 하나 이상의 집적 회로, 논리 회로, 마이크로프로세서, GPU, DSP 또는 컨트롤러에 의해 구현될 수 있다. 하드웨어 프로세서는 반도체 기반(예컨대, 실리콘 기반) 장치일 수 있다. 이 예시에서, 프로세서는 컨텐츠 식별기(802), 햅틱 신호 생성기(804) 및 워터마크 인코더(806)를 구현한다.
도시된 예시의 프로세서(812)는 로컬 메모리(813)(예컨대, 캐시)를 포함한다. 도시된 예시의 프로세서(812)는 휘발성 메모리(814) 및 비휘발성 메모리(816)를 포함하는 주 메모리와 버스(818)를 통해 통신한다. 휘발성 메모리(814)는 SDRAM(Synchronous Dynamic Random Access Memory), DRAM(Dynamic Random Access Memory, RDRAM®(RAMBUS® Dynamic Random Access Memory) 및/또는 임의의 다른 타입의 RAM 장치에 의해 구현될 수 있다. 비휘발성 메모리(816)는 플래시 메모리 및/또는 임의의 다른 소정의 타입의 메모리 장치에 의해 구현될 수 있다. 주 메모리(814, 816)로의 액세스는 메모리 컨트롤러에 의해 제어된다.
도시된 예시의 프로세서 플랫폼(800)은 인터페이스 회로(820)도 포함한다. 인터페이스 회로(820)는 임의의 타입의 인터페이스 표준, 예컨대 이더넷 인터페이스, USB(universal serial bus), Bluetooth® 인터페이스, NFC(near field communication) 인터페이스 및/또는 PCI 익스프레스 인터페이스에 의해 구현될 수 있다.
도시된 예시에서, 하나 이상의 입력 장치(822)가 인터페이스 회로(820)에 연결된다. 입력 장치(들)(822)는 사용자가 프로세서(812)로 데이터 및/또는 명령을 입력할 수 있게 한다. 입력 장치(들)는 예컨대 오디오 센서, 마이크로폰, 카메라(정적 또는 비디오), 키보드, 버튼, 마우스, 터치스크린, 트랙패드, 트랙볼, 이소포인트 및/또는 음성 인식 시스템에 의해 구현될 수 있다.
하나 이상의 출력 장치(824)도 도시된 예시의 인터페이스 회로(820)에 연결된다. 출력 장치(824)는 예컨대, 디스플레이 장치(예컨대, LED(light emitting diode), OLED(organic light emitting diode), LCD(liquid crystal display), CRT(cathode ray tube) 디스플레이, IPS(in-place switching) 디스플레이, 터치스크린 등), 촉각 출력 디스플레이, 프린터 및/또는 스피커)에 의해 구현될 수 있다. 도시된 예시의 인터페이스 회로(820)는 따라서 일반적으로 그래픽 드라이버 카드, 그래픽 드라이버 칩 및/또는 그래픽 드라이버 프로세서를 포함한다.
도시된 예시의 인터페이스 회로(820)는 송신기, 수신기, 송수신기, 모뎀, 가정용 게이트웨이, 무선 액세스 포인트 및/또는 네트워크 인터페이스와 같은 통신 장치도 포함하여 네트워크(826)를 통해 외부 장치(예컨대, 임의의 종류의 컴퓨팅 장치)와 데이터의 교환을 가능하게 한다. 통신은, 예컨대 이더넷 연결, DSL(digital subscriber line) 연결, 전화선 연결, 동축 케이블 시스템, 위성 시스템, 라인-오브-사이트 무선 시스템, 셀룰러 전화 시스템 등을 통할 수 있다.
도시된 예시의 프로세서 플랫폼(800)은 소프트웨어 및/또는 데이터를 저장하기 위한 하나 이상의 대용량 저장 장치(828)도 포함한다. 이러한 대용량 저장 장치(828)는 플로피 디스크 드라이브, 하드 드라이브 디스크, CD 드라이브, Blu-ray 디스크 드라이브, RAID(redundant array of independent disks) 시스템 및 DVD(digital versatile disk) 드라이브를 포함한다.
도 6의 장치 실행 가능한 명령어(832)는 대용량 저장 장치(828), 휘발성 메모리(814), 비휘발성 메모리(816) 및/또는 CD나 DVD와 같은 탈착식 비일시적 컴퓨터 판독가능한 저장 매체에 저장될 수 있다.
도 9는 도 4의 햅틱 이벤트 모니터(400)를 구현하기 위하여 도 7의 명령어를 실행하도록 구축된 프로세서 플랫폼(900)의 예시의 블록도이다. 프로세서 플랫폼(900)은 예컨대, 서버, 개인용 컴퓨터, 워크스테이션, 자기 학습 장치(예컨대, 신경망), 모바일 장치(예컨대, 휴대 전화, 스마트폰, iPadTM과 같은 태블릿), PDA(personal digital assistant), 인터넷 가전, DVD 플레이어, CD 플레이어, 디지털 비디오 레코더, Blu-ray 플레이어, 게임 콘솔, 개인용 비디오 레코더, 셋탑 박스, 헤드셋이나 다른 웨어러블 장치 또는 임의의 다른 타입의 컴퓨팅 장치일 수 있다.
도시된 예시의 프로세서 플랫폼(900)은 프로세서(912)를 포함한다. 도시된 예시의 프로세서(912)는 하드웨어이다. 예를 들어, 프로세서(912)는 임의의 원하는 패밀리나 제조자의 하나 이상의 집적 회로, 논리 회로, 마이크로프로세서, GPU, DSP 또는 컨트롤러에 의해 구현될 수 있다. 하드웨어 프로세서는 반도체 기반(예컨대, 실리콘 기반) 장치일 수 있다. 이 예시에서, 프로세서는 서명 비교기(504)와 워터마크 추출기(906)를 구현한다.
도시된 예시의 프로세서(912)는 로컬 메모리(913)(예컨대, 캐시)를 포함한다. 도시된 예시의 프로세서(912)는 휘발성 메모리(914) 및 비휘발성 메모리(916)를 포함하는 주 메모리와 버스(918)를 통해 통신한다. 휘발성 메모리(914)는 SDRAM(Synchronous Dynamic Random Access Memory), DRAM(Dynamic Random Access Memory, RDRAM®(RAMBUS® Dynamic Random Access Memory) 및/또는 임의의 다른 타입의 RAM 장치에 의해 구현될 수 있다. 비휘발성 메모리(916)는 플래시 메모리 및/또는 임의의 다른 소정의 타입의 메모리 장치에 의해 구현될 수 있다. 주 메모리(914, 916)로의 액세스는 메모리 컨트롤러에 의해 제어된다.
도시된 예시의 프로세서 플랫폼(900)은 인터페이스 회로(920)도 포함한다. 인터페이스 회로(920)는 임의의 타입의 인터페이스 표준, 예컨대 이더넷 인터페이스, USB(universal serial bus), Bluetooth® 인터페이스, NFC(near field communication) 인터페이스 및/또는 PCI 익스프레스 인터페이스에 의해 구현될 수 있다. 이 예시에서, 인터페이스 회로는 센서 인터페이스(902)와 통신 인터페이스(906)를 포함한다.
도시된 예시에서, 하나 이상의 입력 장치(922)가 인터페이스 회로(920)에 연결된다. 입력 장치(들)(922)는 사용자가 프로세서(912)로 데이터 및/또는 명령을 입력할 수 있게 한다. 입력 장치(들)는 예컨대 오디오 센서, 마이크로폰, 카메라(정적 또는 비디오), 키보드, 버튼, 마우스, 터치스크린, 트랙패드, 트랙볼, 이소포인트 및/또는 음성 인식 시스템에 의해 구현될 수 있다.
하나 이상의 출력 장치(924)도 도시된 예시의 인터페이스 회로(920)에 연결된다. 출력 장치(924)는 예컨대, 디스플레이 장치(예컨대, LED(light emitting diode), OLED(organic light emitting diode), LCD(liquid crystal display), CRT(cathode ray tube) 디스플레이, IPS(in-place switching) 디스플레이, 터치스크린 등), 촉각 출력 디스플레이, 프린터 및/또는 스피커)에 의해 구현될 수 있다. 도시된 예시의 인터페이스 회로(920)는 따라서 일반적으로 그래픽 드라이버 카드, 그래픽 드라이버 칩 및/또는 그래픽 드라이버 프로세서를 포함한다.
도시된 예시의 인터페이스 회로(920)는 송신기, 수신기, 송수신기, 모뎀, 가정용 게이트웨이, 무선 액세스 포인트 및/또는 네트워크 인터페이스와 같은 통신 장치도 포함하여 네트워크(926)를 통해 외부 장치(예컨대, 임의의 종류의 컴퓨팅 장치)와 데이터의 교환을 가능하게 한다. 통신은, 예컨대 이더넷 연결, DSL(digital subscriber line) 연결, 전화선 연결, 동축 케이블 시스템, 위성 시스템, 라인-오브-사이트 무선 시스템, 셀룰러 전화 시스템 등을 통할 수 있다.
도시된 예시의 프로세서 플랫폼(900)은 소프트웨어 및/또는 데이터를 저장하기 위한 하나 이상의 대용량 저장 장치(928)도 포함한다. 이러한 대용량 저장 장치(928)는 플로피 디스크 드라이브, 하드 드라이브 디스크, CD 드라이브, Blu-ray 디스크 드라이브, RAID(redundant array of independent disks) 시스템 및 DVD(digital versatile disk) 드라이브를 포함한다.
도 7의 장치 실행 가능한 명령어(932)는 대용량 저장 장치(928), 휘발성 메모리(914), 비휘발성 메모리(916) 및/또는 CD나 DVD와 같은 탈착식 비일시적 컴퓨터 판독가능한 저장 매체에 저장될 수 있다.
위로부터, 터치스크린 상에 질감의 감각이나 인지를 생성하는 표면 햅틱 기술에 기반한 새로운 형태의 미디어의 모니터링 및 추적을 가능하게 하는 방법, 장치 및 제조 물품의 예시가 개시되었음을 이해할 것이다. 이러한 기술은 정밀하게 제어되는 초음파 진동을 사용하여 진동하는 터치스크린에 기반한다. 본 명세서에 개시되는 예시는 생성되는 질감 및/또는 터치스크린 상에 디스플레이되는 연관된 컨텐츠를 자동으로 검출하기 위하여 이러한 진동에 의해 생성되는 청각 신호를 검출하기 위해 센서를 사용한다. 일부 예시에서, 터치스크린의 진동을 제어하기 위해 사용되는 표면 햅틱 제어 신호는 워터마크가 내장되고 그 결과인 청각 신호로부터 검출될 수 있도록 수정된다.
예시 1은 터치스크린과 상호작용하는 사용자를 위한 질감의 인지를 생성하기 위하여 터치스크린이 진동하도록 야기하기 위한 것인 표면 햅틱 제어 신호를 획득하는 햅틱 신호 생성기; 및 워터마킹된 표면 햅틱 제어 신호를 생성하기 위하여 워터마크를 표면 햅틱 제어 신호에 인코딩하는 워터마크 인코더를 포함하고, 질감은 터치스크린 상에 디스플레이되는 컨텐츠에 대응하고, 워터마크는 컨텐츠 또는 질감 중 적어도 하나를 식별하기 위한 식별 정보를 포함하는 장치를 포함한다.
예시 2는 컴퓨팅 장치로 워터마킹된 표면 햅틱 제어 신호를 전송하는 통신 인터페이스를 더 포함하고, 컴퓨팅 장치는 터치스크린을 포함하는 예시 1의 장치를 포함한다.
예시 3은 터치스크린을 더 포함하는 예시 1의 장치를 포함한다.
예시 4는 워터마킹된 표면 햅틱 제어 신호에 기반하여 터치스크린을 진동시키는 표면 햅틱 컨트롤러를 더 포함하는 예시 3의 장치를 포함한다.
예시 5는 워터마크 인코더는 정의된 기간에 대해 상이한 주파수 또는 상이한 진폭 중 적어도 하나에 기반하여 진동을 야기하기 위하여 표면 햅틱 제어 신호를 수정함으로써 워터마크를 표면 햅틱 제어 신호에 인코딩하는 예시 1의 장치를 포함한다.
예시 6은 워터마크 인코더는 시간의 함수인 진폭으로 변조된 신호를 사용하여 워터마크를 표면 햅틱 제어 신호에 인코딩하는 예시 1의 장치를 포함한다.
예시 7은 표면 햅틱 제어 신호와 워터마킹된 표면 햅틱 제어 신호에 의해 야기되는 진동의 차이는 인간의 촉각으로 인식 불가능한 예시 1의 장치를 포함한다.
예시 8은 워터마크는 터치스크린의 진동에 의하여 생성된 청각 신호를 모니터링하는 센서를 사용하여 검출 가능한 예시 1의 장치를 포함한다.
예시 9는 프로세서로 명령어를 실행함으로써, 터치스크린과 상호작용하는 사용자를 위한 질감의 감지를 생성하기 위하여 터치스크린이 진동하도록 야기하기 위한 것인 표면 햅틱 제어 신호를 생성하는 단계; 및 프로세서로 명령어를 실행함으로써, 워터마킹된 표면 햅틱 제어 신호를 생성하기 위하여 워터마크를 표면 햅틱 제어 신호에 인코딩하는 단계를 포함하고, 질감은 터치스크린 상에 디스플레이되는 컨텐츠에 대응하고, 워터마크는 식별 정보를 포함하는 방법을 포함한다.
예시 10은 컴퓨팅 장치로 워터마킹된 표면 햅틱 제어 신호를 전송하는 단계를 더 포함하고, 컴퓨팅 장치는 터치스크린을 포함하는 예시 9의 방법을 포함한다.
예시 11은 프로세서 및 터치스크린은 동일한 컴퓨팅 장치에 대응하는 예시 9의 방법을 포함한다.
예시 12는 워터마킹된 표면 햅틱 제어 신호에 기반하여 터치스크린을 진동시키는 단계를 더 포함하는 예시 11의 방법을 포함한다.
예시 13은 정의된 기간에 대해 상이한 주파수 또는 상이한 진폭 중 적어도 하나에 기반하여 진동을 야기하기 위하여 표면 햅틱 제어 신호를 수정함으로써 워터마크를 표면 햅틱 제어 신호에 인코딩하는 단계를 더 포함하는 예시 9의 방법을 포함한다.
예시 14는 표면 햅틱 제어 신호와 워터마킹된 표면 햅틱 제어 신호에 의해 야기되는 진동의 차이는 인간의 촉각으로 인식 불가능한 예시 9의 방법을 포함한다.
예시 15는 워터마크는 터치스크린의 진동에 의하여 생성된 청각 신호를 모니터링하는 센서를 사용하여 검출 가능한 예시 9의 방법을 포함한다.
예시 16은 명령어를 포함하는 비일시적 컴퓨터 판독 가능한 매체로서, 명령어는 실행될 때, 프로세서로 하여금 적어도: 터치스크린과 상호작용하는 사용자를 위한 질감의 감지를 생성하기 위하여 터치스크린이 진동하도록 야기하기 위한 것인 표면 햅틱 제어 신호를 생성하고; 및 워터마킹된 표면 햅틱 제어 신호를 생성하기 위하여 워터마크를 표면 햅틱 제어 신호에 인코딩하도록 야기하고, 질감은 터치스크린 상에 디스플레이되는 컨텐츠에 대응하고, 워터마크는 식별 정보를 포함하는 비일시적 컴퓨터 판독 가능한 매체를 포함한다.
예시 17은 명령어는 프로세서로 하여금 컴퓨팅 장치로 워터마킹된 표면 햅틱 제어 신호를 전송하도록 더 야기하고, 컴퓨팅 장치는 터치스크린을 포함하는 예시 16의 비일시적 컴퓨터 판독 가능한 매체를 포함한다.
예시 18은 프로세서 및 터치스크린은 단일 장치의 일부인 예시 16의 비일시적 컴퓨터 판독 가능한 매체를 포함한다.
예시 19는 명령어는 프로세서로 하여금 워터마킹된 표면 햅틱 제어 신호에 기반하여 터치스크린을 진동시키도록 더 야기하는 예시 18의 비일시적 컴퓨터 판독 가능한 매체를 포함한다.
예시 20은 명령어는 프로세서로 하여금 정의된 기간에 대해 상이한 주파수로 진동을 야기하기 위하여 표면 햅틱 제어 신호를 수정함으로써 워터마크를 표면 햅틱 제어 신호에 인코딩하도록 더 야기하는 예시 16의 비일시적 컴퓨터 판독 가능한 매체를 포함한다.
예시 21은 표면 햅틱 제어 신호와 워터마킹된 표면 햅틱 제어 신호에 의해 야기되는 진동의 차이는 인간의 촉각으로 인식 불가능한 예시 16의 비일시적 컴퓨터 판독 가능한 매체를 포함한다.
예시 22는 워터마크는 터치스크린의 진동에 의하여 생성된 청각 신호를 모니터링하는 센서를 사용하여 검출 가능한 예시 16의 비일시적 컴퓨터 판독 가능한 매체를 포함한다.
예시 23은 터치스크린의 햅틱 진동에 의해 생성되는 청각 신호를 검출하는 센서; 청각 신호로부터 측정 데이터를 추출하는 신호 프로세서; 및 데이터 수집 시설로 측정 데이터를 전송하는 통신 인터페이스를 포함하는 장치를 포함한다.
예시 24는 햅틱 진동은 표면 햅틱 제어 신호에 기반하여 생성되고, 표면 햅틱 제어 신호는 터치스크린과 상호작용하는 사용자를 위한 질감의 인지를 생성하는 예시 23의 장치를 포함한다.
예시 25는 측정 데이터는 청각 신호에 인코딩된 워터마크를 포함하고, 워터마크는 질감을 인식하기 위한 식별 정보를 포함하는 예시 24의 장치를 포함한다.
예시 26은 청각 신호에 워터마크를 인코딩하기 위하여 표면 햅틱 제어 신호를 수정하는 햅틱 신호 생성기를 더 포함하는 예시 25의 장치를 포함한다.
예시 27은 측정 데이터는 청각 신호로부터 샘플링된 서명을 포함하는 예시 23의 장치를 포함한다.
예시 28은 센서는 터치스크린에 고정된 버튼 마이크인 예시 23의 장치를 포함한다.
예시 29는 터치스크린을 더 포함하는 예시 23의 장치를 포함한다.
예시 30은 터치스크린은 상기 장치가 아닌 컴퓨팅 장치에 대응하는 예시 23의 장치를 포함한다.
예시 31은 센서는 초음파 센서인 예시 23의 장치를 포함한다.
예시 32는 센서로, 터치스크린의 햅틱 진동에 의해 생성되는 청각 신호를 검출하는 단계; 프로세서로 명령어를 실행함으로써, 청각 신호로부터 측정 데이터를 추출하는 단계; 및 데이터 수집 시설로 측정 데이터를 전송하는 단계를 포함하는 방법을 포함한다.
예시 33은 햅틱 진동은 표면 햅틱 제어 신호에 기반하여 생성되고, 표면 햅틱 제어 신호는 터치스크린과 상호작용하는 사용자를 위한 질감의 인지를 생성하는 예시 32의 방법을 포함한다.
예시 34는 측정 데이터는 청각 신호에 인코딩된 워터마크를 포함하고, 워터마크는 질감을 인식하기 위한 식별 정보를 포함하는 예시 33의 방법을 포함한다.
예시 35는 청각 신호에 워터마크를 인코딩하기 위하여 표면 햅틱 제어 신호를 수정하는 단계를 더 포함하는 예시 34의 방법을 포함한다.
예시 36은 측정 데이터는 청각 신호로부터 샘플링된 서명을 포함하는 예시 32의 방법을 포함한다.
예시 37은 센서는 터치스크린에 고정된 버튼 마이크인 예시 32의 방법을 포함한다.
예시 38은 센서는 컴퓨팅 장치의 마이크이고, 컴퓨팅 장치는 터치스크린을 포함하는 예시 32의 방법을 포함한다.
예시 39는 센서는 제2 컴퓨팅 장치가 아닌 제1 컴퓨팅 장치의 마이크이고, 제2 컴퓨팅 장치는 터치스크린을 포함하는 예시 32의 방법을 포함한다.
예시 40은 센서는 초음파 센서인 예시 32의 방법을 포함한다.
예시 41은 명령어를 포함하는 비일시적 컴퓨터 판독 가능한 매체로서, 명령어는 실행될 때, 프로세서로 하여금 적어도: 터치스크린의 햅틱 진동에 의해 생성되는 청각 신호를 검출하고; 청각 신호로부터 측정 데이터를 추출하고; 및 데이터 수집 시설로 측정 데이터를 전송하도록 야기하는 비일시적 컴퓨터 판독 가능한 매체를 포함한다.
예시 42는 햅틱 진동은 표면 햅틱 제어 신호에 기반하여 생성되고, 표면 햅틱 제어 신호는 터치스크린과 상호작용하는 사용자를 위한 질감의 인지를 생성하는 예시 41의 비일시적 컴퓨터 판독 가능한 매체를 포함한다.
예시 43은 측정 데이터는 청각 신호에 인코딩된 워터마크를 포함하고, 워터마크는 질감을 인식하기 위한 식별 정보를 포함하는 예시 42의 비일시적 컴퓨터 판독 가능한 매체를 포함한다.
예시 44는 명령어는 프로세서로 하여금 청각 신호에 워터마크를 인코딩하기 위하여 표면 햅틱 제어 신호를 수정하도록 더 야기하는 예시 43의 비일시적 컴퓨터 판독 가능한 매체를 포함한다.
예시 45는 측정 데이터는 청각 신호로부터 샘플링된 서명인 예시 41의 비일시적 컴퓨터 판독 가능한 매체를 포함한다.
예시 46은 센서는 터치스크린에 고정된 버튼 마이크인 예시 41의 비일시적 컴퓨터 판독 가능한 매체를 포함한다.
예시 47은 센서는 컴퓨팅 장치의 마이크이고, 컴퓨팅 장치는 터치스크린을 포함하는 예시 41의 비일시적 컴퓨터 판독 가능한 매체를 포함한다.
예시 48은 센서는 제2 컴퓨팅 장치가 아닌 제1 컴퓨팅 장치의 마이크이고, 제2 컴퓨팅 장치는 터치스크린을 포함하는 예시 41의 비일시적 컴퓨터 판독 가능한 매체를 포함한다.
예시 49는 센서는 초음파 센서인 예시 41의 비일시적 컴퓨터 판독 가능한 매체를 포함한다.
특정 방법, 장치 및 제조 물품의 예시가 본 명세서에 개시되었지만, 이 특허의 범위는 이에 제한되지 않는다. 반면, 이 특허는 이 특허의 청구항의 범위에 정당하게 속하는 모든 방법, 장치 및 제조 물품을 포함한다.

Claims (49)

  1. 터치스크린과 상호작용하는 사용자를 위한 질감의 인지를 생성하기 위하여 터치스크린이 진동하도록 야기하기 위한 것인 표면 햅틱 제어 신호를 획득하는 햅틱 신호 생성기; 및
    워터마킹된 표면 햅틱 제어 신호를 생성하기 위하여 워터마크를 표면 햅틱 제어 신호에 인코딩하는 워터마크 인코더를 포함하고,
    질감은 터치스크린 상에 디스플레이되는 컨텐츠에 대응하고, 터치스크린의 진동은 청각적으로 검출 가능한 신호를 생성하고, 워터마크는 청각적으로 검출 가능한 신호를 수정하고,
    워터마크는 컨텐츠를 식별하기 위한 식별 정보를 포함하는 장치.
  2. 청구항 1에 있어서,
    컴퓨팅 장치로 워터마킹된 표면 햅틱 제어 신호를 전송하는 통신 인터페이스를 더 포함하고,
    컴퓨팅 장치는 터치스크린을 포함하는 장치.
  3. 청구항 1에 있어서,
    터치스크린을 더 포함하는 장치.
  4. 청구항 3에 있어서,
    워터마킹된 표면 햅틱 제어 신호에 기반하여 터치스크린을 진동시키는 표면 햅틱 컨트롤러를 더 포함하는 장치.
  5. 청구항 1 내지 청구항 4 중 어느 하나의 항에 있어서,
    워터마크 인코더는 정의된 기간에 대해 상이한 주파수 또는 상이한 진폭 중 적어도 하나에 기반하여 진동을 야기하기 위하여 표면 햅틱 제어 신호를 수정함으로써 워터마크를 표면 햅틱 제어 신호에 인코딩하기 위한 것인 장치.
  6. 청구항 1 내지 청구항 4 중 어느 하나의 항에 있어서,
    워터마크 인코더는 시간의 함수인 진폭으로 변조된 신호를 사용하여 워터마크를 표면 햅틱 제어 신호에 인코딩하기 위한 것인 장치.
  7. 청구항 1 내지 청구항 4 중 어느 하나의 항에 있어서,
    표면 햅틱 제어 신호와 워터마킹된 표면 햅틱 제어 신호에 의해 야기되는 진동의 차이는 인간의 촉각으로 인식 불가능한 장치.
  8. 청구항 1 내지 청구항 4 중 어느 하나의 항에 있어서,
    워터마크는 터치스크린의 진동에 의하여 생성된 청각적으로 검출 가능한 신호를 모니터링하는 센서를 사용하여 검출 가능한 장치.
  9. 청구항 1 내지 청구항 4 중 어느 하나의 항에 있어서,
    워터마킹된 표면 햅틱 제어 신호는 터치스크린이 초음파 진동으로 진동하도록 야기하고, 워터마크는 터치스크린의 초음파 진동에 의하여 생성된 청각적으로 검출 가능한 신호를 모니터링하는 초음파 센서를 사용하여 검출 가능한 장치.
  10. 프로세서로, 터치스크린과 상호작용하는 사용자를 위한 질감의 감지를 생성하기 위하여 터치스크린이 진동하도록 야기하기 위한 것인 표면 햅틱 제어 신호를 생성하는 단계; 및
    프로세서로, 워터마킹된 표면 햅틱 제어 신호를 생성하기 위하여 워터마크를 표면 햅틱 제어 신호에 인코딩하는 단계를 포함하고,
    질감은 터치스크린 상에 디스플레이되는 컨텐츠에 대응하고, 터치스크린의 진동은 청각적으로 검출 가능한 신호를 생성하고,
    워터마크는 컨텐츠를 식별하기 위한 식별 정보를 포함하고, 워터마크는 청각적으로 검출 가능한 신호를 수정하는 방법.
  11. 청구항 10에 있어서,
    컴퓨팅 장치로 워터마킹된 표면 햅틱 제어 신호를 전송하는 단계를 더 포함하고,
    컴퓨팅 장치는 터치스크린을 포함하는 방법.
  12. 청구항 10에 있어서,
    프로세서 및 터치스크린은 동일한 컴퓨팅 장치에 대응하는 방법.
  13. 청구항 12에 있어서,
    워터마킹된 표면 햅틱 제어 신호에 기반하여 터치스크린을 진동시키는 단계를 더 포함하는 방법.
  14. 청구항 10 내지 청구항 13 중 어느 하나의 항에 있어서,
    워터마크는 터치스크린의 진동에 의하여 생성된 청각적으로 검출 가능한 신호를 모니터링하는 센서를 사용하여 검출 가능한 방법.
  15. 명령어를 포함하는 비일시적 컴퓨터 판독 가능한 매체로서, 명령어는 실행될 때, 프로세서로 하여금 적어도:
    터치스크린과 상호작용하는 사용자를 위한 질감의 감지를 생성하기 위하여 터치스크린이 진동하도록 야기하기 위한 것인 표면 햅틱 제어 신호를 생성하고; 및
    워터마킹된 표면 햅틱 제어 신호를 생성하기 위하여 워터마크를 표면 햅틱 제어 신호에 인코딩하도록 야기하고,
    질감은 터치스크린 상에 디스플레이되는 컨텐츠에 대응하고, 터치스크린의 진동은 청각적으로 검출 가능한 신호를 생성하고,
    워터마크는 컨텐츠에 대한 식별 정보에 매핑되는 식별자를 포함하고, 워터마크는 청각적으로 검출 가능한 신호를 수정하는 비일시적 컴퓨터 판독 가능한 매체.
  16. 청구항 15에 있어서,
    명령어는 프로세서로 하여금 컴퓨팅 장치로 워터마킹된 표면 햅틱 제어 신호를 전송하도록 더 야기하고,
    컴퓨팅 장치는 터치스크린을 포함하는 비일시적 컴퓨터 판독 가능한 매체.
  17. 청구항 15에 있어서,
    프로세서 및 터치스크린은 단일 장치의 일부인 비일시적 컴퓨터 판독 가능한 매체.
  18. 청구항 17에 있어서,
    명령어는 프로세서로 하여금 워터마킹된 표면 햅틱 제어 신호에 기반하여 터치스크린을 진동시키도록 더 야기하는 비일시적 컴퓨터 판독 가능한 매체.
  19. 청구항 15 내지 청구항 18 중 어느 하나의 항에 있어서,
    명령어는 프로세서로 하여금 정의된 기간에 대해 상이한 주파수로 진동을 야기하기 위하여 표면 햅틱 제어 신호를 수정함으로써 워터마크를 표면 햅틱 제어 신호에 인코딩하도록 더 야기하는 비일시적 컴퓨터 판독 가능한 매체.
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
  45. 삭제
  46. 삭제
  47. 삭제
  48. 삭제
  49. 삭제
KR1020217004848A 2018-07-24 2019-07-17 터치스크린의 햅틱 진동을 모니터링하는 방법 및 장치 KR102478361B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020227043510A KR102585704B1 (ko) 2018-07-24 2019-07-17 터치스크린의 햅틱 진동을 모니터링하는 방법 및 장치

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/044,253 US11016568B2 (en) 2018-07-24 2018-07-24 Methods and apparatus to monitor haptic vibrations of touchscreens
US16/044,253 2018-07-24
PCT/US2019/042174 WO2020023262A1 (en) 2018-07-24 2019-07-17 Methods and apparatus to monitor haptic vibrations of touchscreens

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020227043510A Division KR102585704B1 (ko) 2018-07-24 2019-07-17 터치스크린의 햅틱 진동을 모니터링하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210024653A KR20210024653A (ko) 2021-03-05
KR102478361B1 true KR102478361B1 (ko) 2022-12-16

Family

ID=69179241

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020227043510A KR102585704B1 (ko) 2018-07-24 2019-07-17 터치스크린의 햅틱 진동을 모니터링하는 방법 및 장치
KR1020217004848A KR102478361B1 (ko) 2018-07-24 2019-07-17 터치스크린의 햅틱 진동을 모니터링하는 방법 및 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020227043510A KR102585704B1 (ko) 2018-07-24 2019-07-17 터치스크린의 햅틱 진동을 모니터링하는 방법 및 장치

Country Status (5)

Country Link
US (3) US11016568B2 (ko)
EP (1) EP3827327A4 (ko)
KR (2) KR102585704B1 (ko)
CN (1) CN112740145A (ko)
WO (1) WO2020023262A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11016568B2 (en) 2018-07-24 2021-05-25 The Nielsen Company (Us), Llc Methods and apparatus to monitor haptic vibrations of touchscreens
US11734784B2 (en) * 2019-11-14 2023-08-22 Sony Interactive Entertainment Inc. Metadata watermarking for ‘nested spectating’

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100231550A1 (en) 2009-03-12 2010-09-16 Immersion Corporation Systems and Methods for Friction Displays and Additional Haptic Effects
US20140071117A1 (en) 2012-09-11 2014-03-13 Dell Products Lp. Method for Using the GPU to Create Haptic Friction Maps

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080031277A1 (en) 2006-08-04 2008-02-07 Edward Walter Methods and apparatus to determine communication carrier capabilities
US20120327006A1 (en) * 2010-05-21 2012-12-27 Disney Enterprises, Inc. Using tactile feedback to provide spatial awareness
WO2011147015A1 (en) 2010-05-26 2011-12-01 Maria Karam System and method for displaying sound as vibrations
US8798534B2 (en) 2010-07-09 2014-08-05 Digimarc Corporation Mobile devices and methods employing haptics
US9372979B2 (en) 2011-01-07 2016-06-21 Geoff Klein Methods, devices, and systems for unobtrusive mobile device user recognition
US8725443B2 (en) 2011-01-24 2014-05-13 Microsoft Corporation Latency measurement
CN103218075B (zh) 2013-03-26 2016-12-28 深圳市金立通信设备有限公司 一种触控屏幕的触控监测方法及终端
US20140306903A1 (en) 2013-04-15 2014-10-16 Qualcomm Incorporated Methods of evaluating touch procesing
US20140331313A1 (en) * 2013-05-03 2014-11-06 Vialab, Inc. Authentication of signature using acoustic wave analysis
EP2835917A1 (en) 2013-08-09 2015-02-11 Thomson Licensing Second screen device and system for displaying a playload of a watermark
US9705676B2 (en) 2013-12-12 2017-07-11 International Business Machines Corporation Continuous monitoring of fingerprint signature on a mobile touchscreen for identity management
KR102399842B1 (ko) 2014-02-21 2022-05-19 탄바스, 아이엔씨. 감응 및 작동이 동시에 가능한 햅틱 장치
US10197434B2 (en) 2014-05-15 2019-02-05 Ncr Corporation Adaptive filtering of a load cell of a point-of-sale (POS) device
US10410643B2 (en) * 2014-07-15 2019-09-10 The Nielson Company (Us), Llc Audio watermarking for people monitoring
US10712858B2 (en) * 2014-09-25 2020-07-14 Qeexo, Co. Method and apparatus for classifying contacts with a touch sensitive device
US10269392B2 (en) * 2015-02-11 2019-04-23 Immersion Corporation Automated haptic effect accompaniment
WO2016153936A1 (en) 2015-03-20 2016-09-29 Digimarc Corporation Digital watermarking and data hiding with narrow-band absorption materials
US9847000B2 (en) * 2015-10-29 2017-12-19 Immersion Corporation Ambient triggered notifications for rendering haptic effects
JP2019521423A (ja) 2016-05-27 2019-07-25 ノースウェスタン ユニバーシティ ハプティックタッチスクリーン及びそれを動作させる方法
US11016568B2 (en) 2018-07-24 2021-05-25 The Nielsen Company (Us), Llc Methods and apparatus to monitor haptic vibrations of touchscreens

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100231550A1 (en) 2009-03-12 2010-09-16 Immersion Corporation Systems and Methods for Friction Displays and Additional Haptic Effects
US20140071117A1 (en) 2012-09-11 2014-03-13 Dell Products Lp. Method for Using the GPU to Create Haptic Friction Maps

Also Published As

Publication number Publication date
CN112740145A (zh) 2021-04-30
US11573637B2 (en) 2023-02-07
US20210271327A1 (en) 2021-09-02
US11016568B2 (en) 2021-05-25
EP3827327A1 (en) 2021-06-02
KR20210024653A (ko) 2021-03-05
US20200033945A1 (en) 2020-01-30
US20230176656A1 (en) 2023-06-08
EP3827327A4 (en) 2022-04-06
KR20230003599A (ko) 2023-01-06
KR102585704B1 (ko) 2023-10-06
WO2020023262A1 (en) 2020-01-30

Similar Documents

Publication Publication Date Title
US20230176656A1 (en) Methods and apparatus to monitor haptic vibrations of touchscreens
US20200128236A1 (en) Method and apparatus for encoding and decoding haptic information in multi-media files
CN104053065B (zh) 用于增强的电视交互的系统和方法
US11175698B2 (en) Methods and systems for processing touch inputs based on touch type and touch intensity
CN106537495B (zh) 用于人员监控的音频水印
JP2017534132A (ja) ユーザー相互作用を共有するための装置
US10048936B2 (en) Audio command interface for a multimedia device
EP2757799A1 (en) Display apparatus and method for providing customer-built information using the same
US11310301B2 (en) Detecting sensor-based interactions with client device in conjunction with presentation of content
JP2016149121A (ja) 触覚効果の自動付随
CN112514408A (zh) 动态地生成适用于与正被监测的媒体相关联的状况的音频签名的方法和装置
CN104111791A (zh) 用于使用触摸输入来输入听力图的设备和方法
KR101675911B1 (ko) 외부음향에 따른 맞춤 정보를 표시하는 전자책
CN105074608B (zh) 一种用于在协作模式中的设备、装置、服务器以及方法
WO2006126116A3 (en) Processing a user input signal for determining a content selection criterion
JP2016517107A5 (ko)
Liu et al. Systems and Methods for User Feedback
JP2017021677A (ja) 入力処理装置、入力処理方法、およびプログラム
TW201530352A (zh) 震動控制系統及方法，及相關電腦程式產品

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant