KR20180098166A - 가상 감성 터치를 위한 시스템들 및 방법들 - Google Patents

가상 감성 터치를 위한 시스템들 및 방법들 Download PDF

Info

Publication number
KR20180098166A
KR20180098166A KR1020180021812A KR20180021812A KR20180098166A KR 20180098166 A KR20180098166 A KR 20180098166A KR 1020180021812 A KR1020180021812 A KR 1020180021812A KR 20180021812 A KR20180021812 A KR 20180021812A KR 20180098166 A KR20180098166 A KR 20180098166A
Authority
KR
South Korea
Prior art keywords
haptic
haptic effect
gesture
processor
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020180021812A
Other languages
English (en)
Inventor
루이 양
진훙 위
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20180098166A publication Critical patent/KR20180098166A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

가상 감성 터치를 위한 시스템들 및 방법들이 개시된다. 본원에 기술되는 하나의 예시적인 시스템은: 터치 스크린 디스플레이; 햅틱 출력 디바이스; 및 터치 스크린 디스플레이 상에 수신 사용자의 시각적 표현을 디스플레이하고; 송신 사용자에 의한 제스처와 연관된 센서 신호를 터치 스크린 디스플레이로부터 수신하고; 제스처 및 시각적 표현과 연관된 신호를 수신 디바이스에 전송하고; 제스처 및 수신 사용자의 시각적 표현에 부분적으로 기초하여 햅틱 효과를 결정하고; 햅틱 효과를 출력하도록 구성되는 햅틱 출력 디바이스에 햅틱 효과와 연관된 햅틱 신호를 전송하도록 구성되는 프로세서를 포함한다.

Description

가상 감성 터치를 위한 시스템들 및 방법들{SYSTEMS AND METHODS FOR VIRTUAL AFFECTIVE TOUCH}
이 출원은, 2017년 2월 24일에 중국 국가지식산권국(China Intellectual Property Office)에 출원되었으며 발명의 명칭이 "Virtual Affective Touch"이고 그 전체가 본원에 참조로 포함되는, 국제 출원 제PCT/CN2017/074784호에 대한 우선권을 주장하고, 그것의 부분-계속-출원이다.
이 출원은 공유된 소셜 미디어 애플리케이션/인터페이스에서의 사용자-상호작용들 및 통신들에 관한 것이며, 더 특별하게는, 하나 이상의 사용자들 사이의 햅틱 상호작용을 위한 시스템들 및 방법들에 관한 것이다.
햅틱-인에이블형 디바이스들은 햅틱-인에이블형 환경들에 있음에 따라 더욱 인기 있어지고 있다. 예를 들어, 모바일 및 다른 디바이스들은 사용자가 터치-감지형 디스플레이의 일부분들을 터치함으로써 입력을 제공할 수 있도록 터치-감지형 표면들을 가지고 구성될 수 있다. 대안적으로, 햅틱 인에이블형 디바이스들 또는 환경들에 대한 제스처 입력 및 다른 입력은 또한, 웨어러블들, VR 또는 AR 디바이스들, 자동차, 게임, 라이브 이벤트들, 그룹 이벤트들 및 다른 환경들에 대해 인기 있어지고 있다. 이들 디바이스들은 햅틱 피드백을 제공하기 위한 능력을 또한 포함한다. 비디오, 메시지들, 스티커들, 이모티콘들이 햅틱 인에이블형 디바이스들 상에서 생성되고, 편집되고, 송신되고, 수신되고, 느껴지고, 디스플레이될 수 있다. 이러한 액티비티들은 종래의 텍스트 또는 메시징 컨벤션들, 공유된 소셜 미디어 컨벤션들, 그룹 이벤트들, 게임 또는 사용자들 사이의 다른 상호작용 애플리케이션들을 사용할 수 있다. 많은 디바이스들에 햅틱 능력이 구비되어 있으며, 사용자 역시 디바이스와의 이들의 상호작용 또는 이들의 디바이스와 다른 사용자의 상호작용의 결과로서 햅틱 효과들을 느낄 수 있다.
일 실시예에서, 본 개시내용에 따른 시스템은: 터치 스크린 디스플레이; 햅틱 출력 디바이스; 및 터치 스크린 디스플레이 상에 수신 사용자의 시각적 표현을 디스플레이하고; 송신 사용자에 의한 제스처와 연관된 센서 신호를 터치 스크린 디스플레이로부터 수신하고; 제스처 및 시각적 표현과 연관된 신호를 수신 디바이스에 전송하고; 사용자의 제스처 및 시각적 표현에 부분적으로 기초하여 햅틱 효과를 결정하고; 그리고 햅틱 효과와 연관된 햅틱 신호를 햅틱 효과를 출력하도록 구성되는 햅틱 출력 디바이스에 전송하도록 구성되는 프로세서를 포함한다.
또다른 실시예에서, 본 개시내용에 따른 방법은: 터치 스크린 디스플레이 상에 수신 사용자의 시각적 표현을 디스플레이하는 단계; 송신 사용자에 의한 제스처와 연관된 센서 신호를 터치 스크린 디스플레이로부터 수신하는 단계; 제스처 및 시각적 표현과 연관된 신호를 수신 디바이스에 전송하는 단계; 제스처 및 수신 사용자의 시각적 표현에 부분적으로 기초하여 햅틱 효과를 결정하는 단계; 및 햅틱 효과를 출력하도록 구성되는 햅틱 출력 디바이스에 햅틱 효과와 연관된 햅틱 신호를 전송하는 단계를 포함한다.
또다른 실시예에서, 컴퓨터 판독가능한 매체는 프로그램 코드를 포함할 수 있는데, 이는 프로세서에 의해 실행될 때, 프로세서가: 터치 스크린 디스플레이 상에 수신 사용자의 시각적 표현을 디스플레이하고; 송신 사용자에 의한 제스처와 연관된 센서 신호를 터치 스크린 디스플레이로부터 수신하고; 제스처 및 시각적 표현과 연관된 신호를 수신 디바이스에 전송하고; 제스처 및 수신 사용자의 시각적 표현에 부분적으로 기초하여 햅틱 효과를 결정하고; 그리고 햅틱 효과와 연관된 햅틱 신호를 햅틱 효과를 출력하도록 구성되는 햅틱 출력 디바이스에 전송하게 하도록 구성된다.
이러한 예시적인 실시예들은 본 발명 대상을 제한하거나 본 발명 대상의 제한들을 정의하는 것이 아니라, 그것의 이해를 돕기 위한 예들을 제공하도록 언급된다. 예시적인 실시예는 상세한 설명에서 논의되며, 추가적인 설명이 거기서 제공된다. 다양한 실시예들에 의해 제공되는 장점들은 이 명세서를 검토함으로써 그리고/또는 청구되는 발명 대상의 하나 이상의 실시예들을 구현함으로써 추가로 이해될 수 있다.
전체의 그리고 가능한 개시내용이 명세서의 나머지에서 더 구체적으로 설명된다. 명세서는 다음의 첨부도면들을 참조한다.
도 1a는 본 개시내용의 일 실시예에 따른 가상 감성 터치에 대한 예시적인 시스템을 도시한다.
도 1b는 도 1a에 도시된 시스템의 일 실시예의 외부 뷰를 도시한다.
도 1c는 도 1a에 도시된 시스템의 또다른 실시예의 외부 뷰를 예시한다.
도 2a는 본 개시내용의 일 실시예에 따른 가상 감성 터치에 대한 예시적인 실시예를 예시한다.
도 2b는 본 개시내용의 일 실시예에 따른 가상 감성 터치에 대한 또다른 예시적인 실시예를 예시한다.
도 3a는 본 개시내용의 일 실시예에 따른 가상 감성 터치에 대한 또다른 예시적인 실시예를 예시한다.
도 3b는 본 개시내용의 일 실시예에 따른 가상 감성 터치에 대한 또다른 예시적인 실시예를 예시한다.
도 3c는 본 개시내용의 일 실시예에 따른 가상 감성 터치에 대한 또다른 예시적인 실시예를 예시한다.
도 4는 본 개시내용의 일 실시예에 따른 가상 감성 터치에 대한 또다른 예시적인 실시예를 예시한다.
도 5는 본 개시내용의 일 실시예에 따른 가상 감성 터치에 대한 방법 단계들의 플로우 차트이다.
다양한 그리고 대안적인 예시적인 실시예들 및 첨부 도면들에 대한 참조가 이제 상세히 이루어질 것이다. 각각의 예는 제한으로서가 아니라, 설명으로써 제공된다. 수정들 및 변형들이 이루어질 수 있다는 것이 본 기술분야의 통상의 기술자에게 명백할 것이다. 예를 들어, 일 실시예의 일부로서 예시되거나 기술되는 특징들이 또다른 실시예에서 사용되어 추가적인 실시예를 산출할 수 있다. 따라서, 이 개시내용이 첨부된 청구항들 및 이들의 등가물들의 범위 내에 드는 수정들 및 변형들을 포함한다는 것이 의도된다.
가상 감성 터치를 위한 시스템의 예시적인 예
본 개시내용의 일 예시적인 실시예는 태블릿, e-리더기, 모바일 폰과 같은 전자 디바이스, 또는 랩톱 또는 데스크톱 컴퓨터와 같은 컴퓨터, 또는 웨어러블 디바이스를 포함한다. 전자 디바이스는 디스플레이(예컨대, 터치-스크린 디스플레이), 메모리, 이러한 엘리먼트들 각각과 통신하는 프로세서를 포함한다. 예시적인 실시예에서, 전자 디바이스는 햅틱 효과들을 출력하도록 구성되는 햅틱 출력 디바이스를 포함한다. 또한, 예시적인 전자 디바이스는 종래의 인터페이스 디바이스들, 예를 들어, 마우스, 조이스틱, 다기능 제어기, 터치 스크린 등 중 하나 이상과의 사용자 상호작용을 수신하도록 구성된다.
예시적인 실시예에서, 전자 디바이스는 네트워크 접속을 통해(예를 들어, Wi-Fi, 셀룰러 데이터, 또는 본 기술분야에 공지된 또다른 네트워크를 통해) 하나 이상의 원격 전자 디바이스들에 데이터를 송신하고 이들로부터 데이터를 수신하도록 구성된다. 예시적인 실시예에서, 전자 디바이스는 메시징 애플리케이션을 포함한다. 메시징 애플리케이션은 메시징 애플리케이션의 다른 사용자들의 시각적 표현을 디스플레이하기 위한 기능성을 포함한다. 따라서, 예시적인 실시예에서, 제1 사용자는 제2 사용자와의 메시징 세션에 참여할 수 있다. 메시징 세션 동안, 각각의 사용자의 전자 디바이스는 다른 사용자와 연관된 시각적 표현을 디스플레이할 것이다. 또한, 일부 실시예들에서, 메시징 세션은 증강 현실(Augmented Reality)(AR) 또는 가상 현실(Virtual Reality)(VR)에서 수행될 수 있다.
일부 실시예들에서, 시각적 표현은 수신 사용자의 아바타를 포함할 수 있다. 예를 들어, 아바타는 수신 사용자에 의해 선택된 이미지, 수신 사용자의 이미지, 또는 수신 사용자의 모습에 가까운 이미지를 포함할 수 있다. 예를 들어, 일 실시예에서, 아바타는 사용자의 모습에 가까운(예를 들어, 비슷한 높이, 체구, 모색 등) 움직이는(animated) 캐릭터를 포함할 수 있다. 따라서, 메시징 세션 동안, 사용자들은 이들의 메시지들을 교환하는 다른 사용자의 시각적 표현들을 볼 것이다.
예시적인 실시예에서, 전자 디바이스는 터치 스크린 디스플레이를 더 포함한다. 예시적인 실시예에서, 사용자는 (예를 들어, 터치 스크린 디스플레이 상의 아바타를 터치함으로써) 또다른 사용자의 아바타와 상호작용할 수 있다. 사용자가 아바타를 터치할 때, 아바타는 터치에 반응할 것이다. 예를 들어, 아바타는, 제스처에 응답하여, 앉고, 서고, 눕는 것 등을 수행할 수 있다. 또한, 예시적인 실시예에서, 전자 디바이스는 원격 전자 디바이스에 제스처와 연관된 데이터를 송신하도록 구성된다.
예시적인 실시예에서, 전자 디바이스는 햅틱 신호들을 수신하고 햅틱 효과들(예를 들어, 진동들, 텍스처들, 변형들 또는 다른 터치-기반 효과들)을 출력하도록 구성되는 하나 이상의 햅틱 출력 디바이스들을 더 포함한다. 예를 들어, 예시적인 메시징 디바이스는 아바타와의 상호작용들과 연관된 햅틱 효과들을 결정하고, 그 햅틱 효과들과 연관된 햅틱 신호들을 햅틱 출력 디바이스에 출력할 수 있다. 따라서, 하나의 사용자가 또다른 사용자의 아바타와 상호작용할 때, 그 사용자는 상호작용과 연관된 햅틱 효과를 수신할 수 있다. 이들 햅틱 효과들은 메시징 애플리케이션을 통해 상호작용들의 현실감을 향상시킬 수 있다.
또한, 일부 실시예들에서, 햅틱 효과들은 제스처에 관해 검출된 데이터에 부분적으로 기초하여 결정될 수 있다. 예를 들어, 일부 실시예들에서, 터치 스크린 디스플레이는 아바타와의 사용자 상호작용의 압력을 결정하도록, 예를 들어, 압력이 큰지, 중간인지, 또는 적은지를 결정하도록 구성될 수 있다. 이러한 실시예에서, 전자 디바이스는 이 정보에 기초하여 햅틱 효과를 결정하도록 구성될 수 있다. 예를 들어, 햅틱 효과는 큰 압력에 대한 강한 햅틱 효과, 중간 압력에 대한 중간 강도의 효과, 및 적은 압력에 대한 약한 햅틱 효과를 포함할 수 있다. 다른 실시예들에서, 햅틱 효과는 사용자 상호작용의 다른 특성들, 예를 들어, 속도, 영역, 방향, 또는 사용자 상호작용의 일부 다른 특성에 기초하여 결정될 수 있다.
이 예시적인 실시예는 본원에서 논의되는 일반적인 발명 대상을 독자에게 소개하기 위해 주어지며, 개시내용은 이 예에 제한되지 않는다. 후속하는 섹션은 본 개시내용의 다양한 추가적인 비-제한적인 예들을 기술한다.
가상 감성 터치를 위한 예시적인 시스템들
도 1a는 가상 감성 터치를 위한 예시적인 시스템(100)을 도시한다. 특히, 이 실시예에서, 시스템(100)은 버스(106)를 통해 다른 하드웨어와 인터페이싱되는 프로세서(102)를 가지는 컴퓨팅 디바이스(101)를 포함한다. RAM, ROM, EEPROM, 등과 같은 임의의 적절한 유형적(및 비-일시적) 컴퓨터-판독가능한 매체를 포함할 수 있는 메모리(104)는, 컴퓨팅 디바이스(101)의 동작을 구성하는 프로그램 컴포넌트들을 내장한다. 이 예에서, 컴퓨팅 디바이스(101)는 하나 이상의 네트워크 인터페이스 디바이스들(110), 입력/출력(I/O) 인터페이스 컴포넌트들(112), 및 추가적인 저장소(114)를 더 포함한다.
네트워크 디바이스(110)는 네트워크 접속을 용이하게 하는 임의의 컴포넌트들 중 하나 이상을 나타낼 수 있다. 예들은, 이더넷, USB, IEEE 1394와 같은 유선 인터페이스들, 및/또는 IEEE 802.11, 블루투스, 또는 셀룰러 전화 네트워크들에 액세스하기 위한 라디오 인터페이스들과 같은 무선 인터페이스들(예를 들어, CDMA, GSM, UMTS, 또는 다른 모바일 통신 네트워크에 액세스하기 위한 트랜시버/안테나)을 포함하지만, 이에 제한되지 않는다.
I/O 컴포넌트들(112)은 하나 이상의 디스플레이들, 디스플레이들을 포함하는 헤드셋들, 곡면 디스플레이들(예를 들어, 디스플레이는 이미지들이 디스플레이될 수 있는 컴퓨팅 디바이스(101)의 하나 이상의 측면들 상으로 확장되는 경사면들을 포함함), 키보드들, 마우스들, 스피커들, 마이크로폰들, 카메라들(예를 들어, 모바일 디바이스 상의 전면 및/또는 후면 카메라) 및/또는 데이터를 입력하거나 데이터를 출력하기 위해 사용되는 다른 하드웨어와 같은 디바이스들에 대한 접속을 용이하게 하도록 사용될 수 있다. 저장소(114)는 디바이스(101)에 포함되는 자기, 광학, 또는 다른 저장 매체와 같은 비휘발성 저장소를 나타낸다.
오디오/시각적 출력 디바이스(들)(115)은 프로세서(들)(102)로부터 신호들을 수신하고, 오디오 또는 시각적 출력을 사용자에게 제공하도록 구성되는 하나 이상의 디바이스들을 포함한다. 예를 들어, 일부 실시예들에서, 오디오/시각적 출력 디바이스(들)(115)는 터치-스크린 디스플레이, LCD 디스플레이, 플라즈마 디스플레이, CRT 디스플레이, 프로젝션 디스플레이, 각각의 눈에 대한(예를 들어, 혼합 현실 또는 가상 현실에서 사용하기 위한) 디스플레이를 포함하는 헤드셋, 또는 본 기술분야에 공지된 일부 다른 디스플레이와 같은 디스플레이를 포함할 수 있다. 또한, 오디오/시각적 출력 디바이스들은 사용자에게 오디오를 출력하도록 구성되는 하나 이상의 스피커들을 포함할 수 있다.
시스템(100)은 이 예에서 디바이스(101)에 통합되는 터치 표면(116)을 더 포함한다. 터치 표면(116)은 사용자의 터치 입력을 감지하도록 구성되는 임의의 표면을 나타낸다. 일부 실시예들에서, 터치 표면(116)은 터치 입력과 연관된 추가적인 정보, 예를 들어, 압력, 움직임 속도, 움직임 가속도, 사용자의 피부 온도, 또는 터치 입력과 연관된 일부 다른 정보를 검출하도록 구성될 수 있다. 하나 이상의 센서들(108)은 오브젝트가 터치 표면에 접촉할 때 터치 영역 내의 터치를 검출하고, 프로세서(102)에 의한 사용을 위한 적절한 데이터를 제공하도록 구성될 수 있다. 센서들의 임의의 적절한 개수, 타입 또는 배열이 사용될 수 있다. 예를 들어, 저항성 및/또는 용량성 센서들은 터치 표면(116)에 내장되고, 터치의 위치 및 압력과 같은 다른 정보를 결정하도록 사용될 수 있다. 또다른 예로서, 터치 표면의 뷰를 가지는 광학 센서들은 터치 위치를 결정하도록 사용될 수 있다.
또한, 일부 실시예들에서, 터치 표면(116) 및 또는 센서(들)(108)는 터치 센서에 의존하지 않고 사용자 상호작용을 검출하는 센서를 포함할 수 있다. 예를 들어, 일 실시예에서, 센서는 근전도 검사(EMG) 신호들을 사용하여 표면 상에 사용자에 의해 가해지는 압력을 검출하도록 구성되는 센서를 포함할 수 있다. 또한, 일부 실시예들에서, 센서는 RGB 또는 열 카메라들을 포함하고, 이러한 카메라들에 의해 캡처되는 이미지들을 사용하여 사용자가 표면에 가하고 있는 압력의 양을 추정할 수 있다.
일부 실시예들에서, 센서(108) 및 터치 표면(116)은 터치-스크린 디스플레이 또는 터치-패드를 사용할 수 있다. 예를 들어, 일부 실시예들에서, 터치 표면(116) 및 센서(108)는 디스플레이 신호를 수신하고 이미지를 사용자에게 출력하도록 구성되는 디스플레이의 최상부에 장착되는 터치-스크린을 포함할 수 있다. 다른 실시예들에서, 센서(108)는 LED 검출기를 포함할 수 있다. 예를 들어, 일 실시예에서, 터치 표면(116)은 디스플레이의 측면 상에 장착되는 LED 손가락 검출기를 포함할 수 있다. 일부 실시예들에서, 프로세서는 단일 센서(108)와 통신하고, 다른 실시예들에서, 프로세서는 복수의 센서들(108), 예를 들어, 제1 터치 스크린 및 제2 터치 스크린과 통신한다.
일부 실시예들에서, 하나 이상의 센서(들)(108)는 모바일 디바이스의 움직임을 검출하도록 구성되는 하나 이상의 센서들(예를 들어, 가속계들, 자이로스코프들, 카메라들, GPS, 또는 다른 센서들)을 더 포함한다. 이러한 센서들은 X, Y 또는 Z 면에서 디바이스를 이동시키는 사용자 상호작용을 검출하도록 구성될 수 있다. 센서(108)는 사용자 상호작용을 검출하고, 사용자 상호작용에 기초하여, 신호들을 프로세서(102)에 전송하도록 구성된다. 일부 실시예들에서, 센서(108)는 사용자 상호작용의 다수의 양태들을 검출하도록 구성될 수 있다. 예를 들어, 센서(108)는 사용자 상호작용의 속도 및 압력을 검출하고, 이 정보를 인터페이스 신호 내에 포함시킬 수 있다. 또한, 일부 실시예들에서, 사용자 상호작용은 디바이스로부터 떨어진 다차원 사용자 상호작용을 포함한다. 예를 들어, 일부 실시예들에서, 디바이스와 연관된 카메라는 사용자 움직임들, 예를 들어, 손, 손가락, 몸, 머리, 눈 또는 발 모션들, 또는 또다른 사람 또는 오브젝트와의 상호작용들을 검출하도록 구성될 수 있다.
일부 실시예들에서, 입력은 제스처를 포함할 수 있다. 제스처는 의미 또는 사용자 의도를 전달하는 몸의 임의의 움직임이다. 하나 이상의 센서들(108)은 사용자 상호작용을 검출하고 이 상호작용과 연관된 센서 신호를, 사용자 상호작용이 하나 이상의 제스처들을 포함하는지를 결정하고 하나 이상의 제스처들에 관한 정보를 결정하도록 구성되는, 프로세서(102)에 전송하도록 구성된다. 또한, 일부 실시예들에서, 프로세서(102)는 제스터의 타입 또는 압력, 속도, 영역, 방향, 또는 하나 이상의 제스처들의 일부 다른 특성과 같은 인자들을 결정할 수 있다.
단순한 제스처들이 조합되어 더 복잡한 제스처들을 형성할 수 있다는 것이 인지될 것이다. 예를 들어, 손가락을 터치 감지형 표면과 접촉시키는 것은 "핑거 온(finger on)" 제스처라 지칭될 수 있는 반면, 터치 감지형 표면으로부터 손가락을 제거하는 것은 별도의 "핑거 오프(finger off)" 제스처라 지칭될 수 있다. "핑거 온" 제스처와 "핑거 오프" 제스처 사이의 시간이 상대적으로 짧은 경우, 조합된 제스처는 "두드리기(tapping)"라 지칭될 수 있고; "핑거 온" 제스처와 "핑거 오프" 제스처 사이의 시간이 상대적으로 긴 경우, 조합된 제스처는 "긴 두드리기"라 지칭될 수 있고; "핑거 온" 제스처와 "핑거 오프" 제스처의 2차원 (x, y) 위치들 사이의 거리가 상대적으로 큰 경우, 조합된 제스처는 "스와핑(swiping)"이라 지칭될 수 있고; "핑거 온" 제스처와 "핑거 오프" 제스처의 2차원 (x, y) 위치들 사이의 거리가 상대적으로 작은 경우, 조합된 제스처는 "스미어링(smearing)", "스머징(smudging)", 또는 "튕기기(flicking)"라 지칭될 수 있다. 임의의 개수의 2차원 또는 3차원의 단순한 또는 복잡한 제스처들은 임의의 방식으로 조합되어, 디바이스에 대한 다수의 손가락 접촉들, 손바닥 또는 제1 접촉, 또는 근접도를 포함하지만 이에 제한되지 않는, 임의의 개수의 다른 제스처들을 형성할 수 있다. 제스처는 또한 가속계, 자이로스코프, 또는 다른 모션 센서를 가지는 디바이스에 의해 인지되는, 그리고 전자 신호들로 전환되는 임의의 형태의 손 움직임일 수 있다. 이러한 전자 신호들은 가상 주사위 흔들기와 같은 동적 효과를 활성화시킬 수 있고, 여기서 센서는 동적 효과를 생성하는 사용자 의도를 캡처한다.
이 예에서, 프로세서(102)와 통신하는 햅틱 출력 디바이스(118)는 터치 표면(116)에 커플링된다. 일부 실시예들에서, 햅틱 출력 디바이스(118)는, 햅틱 신호에 응답하여, 터치 표면의 컴플라이언스를 시뮬레이트하는 햅틱 효과를 출력하도록 구성된다. 추가로 또는 대안적으로, 햅틱 출력 디바이스(118)는 제어된 방식으로 터치 표면을 움직이는 진동촉각 햅틱 효과들을 제공할 수 있다. 일부 햅틱 효과들은 디바이스의 하우징에 커플링되는 액추에이터를 이용할 수 있고, 일부 햅틱 효과들은 순차적으로 그리고/또는 동시에 다수의 액추에이터들을 사용할 수 있다. 예를 들어, 일부 실시예들에서, 표면 텍스처는 상이한 주파수들에서 표면을 진동시킴으로써 시뮬레이트될 수 있다. 이러한 실시예에서, 햅틱 출력 디바이스(118)는, 예를 들어, 압전 액추에이터, 전기 모터, 전자기 액추에이터, 보이스 코일, 형상 기억 합금, 전기활성 폴리머, 솔레노이드, 이심 회전 질량 모터(ERM), 또는 선형 공진 액추에이터(LRA) 중 하나 이상을 포함할 수 있다. 일부 실시예들에서, 햅틱 출력 디바이스(118)는 복수의 액추에이터들, 예를 들어, ERM 및 LRA를 포함할 수 있다. 또다른 실시예들에서, 햅틱 출력 디바이스(118)는 더 거친 표면들을 전달하기 위한 수단으로서 저항을 제공하는 비-활성화된 햅틱들(예를 들어, 공기, 액체, 또는 초음파 출력)을 사용할 수 있다.
일부 실시예들에서, 햅틱 효과는 사용자 상호작용에 관한 다른 감지된 정보, 예를 들어, 가상 환경에서의 손들의 상대적 위치, VR/AR 환경에서의 오브젝트 위치, 오브젝트 변형, GUI, UI, AR, VR 등에서의 상대적 오브젝트 상호작용에 기초하여 변조될 수 있다. 또다른 실시예들에서, 햅틱 효과들을 생성하기 위한 방법들은, 짧은 듀레이션의 효과의 변형을 포함하고, 여기서 효과의 크기는 감지된 신호 값(예를 들어, 사용자 상호작용과 연관된 신호 값)의 함수로서 달라진다. 일부 실시예들에서, 효과의 주파수가 변화될 수 있을 때, 고정된 인지된 크기가 선택될 수 있고, 효과의 주파수는 감지된 신호 값의 함수로서 달라질 수 있다.
예를 들어, 일 실시예에서, 사용자는 실제 공간에서 제스처, 예를 들어, 손 움직임을 만들 수 있다. 움직임 동안, 사용자의 손은, 그것이 제1 위치로부터 제2 위치로 움직임에 따라 추적될 수 있다. 햅틱 효과는 이 제스처에 기초하여 결정될 수 있다. 추가로, 햅틱 효과는 사용자의 위치의 함수(예를 들어, 2개 포인트들 간의 거리 또는 2개 포인트들 간의 사용자의 위치의 함수)로서 변화될 수 있다. 예를 들어, 일 실시예에서, 프로세서(101)는 제스처에 부분적으로 기초하여(예를 들어, 2개 포인트들 사이의 거리 및/또는 사용자의 손과 포인트들 중 하나 사이의 거리에 기초하여) 햅틱 효과의 주파수, 진폭, 입자 사이즈, 입자 크기, 또는 입자 밀도 중 하나 이상을 수정할 수 있다. 또한, 일부 실시예들에서, 제스처는 혼합 현실에서의 제스처를 포함할 수 있다. 따라서, 일부 실시예들에서, 제스처는 가상 현실에서의 제스처를 포함할 수 있고, 가상 현실에서 2개 포인트들 사이의 움직임을 포함할 수 있다.
단일의 햅틱 출력 디바이스(118)가 여기서 도시되지만, 실시예들은 햅틱 효과들을 출력하기 위해 동일한 또는 상이한 타입의 다수의 햅틱 출력 디바이스들을 사용할 수 있다. 예를 들어, 일 실시예에서, 압전 액추에이터가 사용되어, 예컨대 일부 실시예들에서 20 - 25 kHz보다 더 큰 주파수들에서 움직이는 액추에이터들을 사용함으로써, 초음파 주파수들에서 수직으로 그리고/또는 수평으로 터치 표면(116) 중 일부 또는 전부를 변위시킬 수 있다. 일부 실시예들에서, 이심 회전 질량 모터들 및 선형 공진 액추에이터들과 같은 다수의 액추에이터들은 단독으로 또는 동시에 사용되어 상이한 텍스처들 및 다른 햅틱 효과들을 제공할 수 있다.
또다른 실시예들에서, 햅틱 출력 디바이스(118)는 예를 들어, 정전기 표면 액추에이터의 사용에 의해, 정전기력을 사용하여, 터치 표면(116)의 표면 상의 텍스처를 시뮬레이트할 수 있다. 유사하게, 일부 실시예들에서, 햅틱 출력 디바이스(118)는 정전기력을 사용하여 사용자가 터치 표면(116)의 표면 상에서 느끼는 마찰을 변화시킬 수 있다. 예를 들어, 일 실시예에서, 햅틱 출력 디바이스(118)는 정전기 디스플레이 또는 햅틱 효과를 생성하기 위해 기계적 모션 대신 전압 및 전류를 인가하는 임의의 다른 디바이스를 포함할 수 있다. 이러한 실시예에서, 정전기 액추에이터는 전도층 및 절연층을 포함할 수 있다. 이러한 실시예에서, 전도층은 임의의 반도체 또는 다른 전도성 재료, 예컨대, 구리, 알루미늄, 금, 또는 은일 수 있다. 그리고 절연층은 유리, 플라스틱, 폴리머, 또는 임의의 다른 절연 재료일 수 있다.
프로세서(102)는 전도층에 전기 신호를 인가함으로써 정전기 액추에이터를 동작시킬 수 있다. 전기 신호는, 일부 실시예들에서 전도층을 터치 표면(116) 근처의 또는 터치 표면(116)에 접촉하는 오브젝트와 용량적으로 커플링시키는 AC 신호일 수 있다. 일부 실시예들에서, AC 신호는 고전압 증폭기에 의해 생성될 수 있다. 다른 실시예들에서, 용량성 커플링은 터치 표면(116)의 표면 상의 마찰 계수 또는 텍스처를 시뮬레이트할 수 있다. 예를 들어, 일 실시예에서, 터치 표면(116)의 표면은 매끄러울 수 있지만, 용량성 커플링은 터치 표면(116)의 표면 근처의 오브젝트 사이에 인력을 생성할 수 있다. 일부 실시예들에서, 오브젝트와 전도층 간의 끌림의 레벨들을 변화시키는 것은 터치 표면(116)의 표면에 걸쳐 움직이는 오브젝트에 대한 시뮬레이트되는 텍스처를 변화시키거나, 또는 오브젝트가 터치 표면(116)의 표면에 걸쳐 움직임에 따라 느껴지는 마찰 계수를 변화시킬 수 있다. 또한, 일부 실시예들에서, 정전기 액추에이터는 전통적인 액추에이터들과 함께 사용되어 터치 표면(116)의 표면 상의 시뮬레이트되는 텍스처를 변화시킬 수 있다. 예를 들어, 액추에이터들이 진동하여 터치 표면(116)의 표면의 텍스처에서의 변화를 시뮬레이트할 수 있는 반면, 동시에, 정전기 액추에이터는 터치 표면(116)의 표면 상에 또는 컴퓨팅 디바이스(101)의 또다른 부분(예를 들어, 그것의 하우징 또는 또다른 입력 디바이스) 상에 상이한 텍스처 또는 다른 효과들을 시뮬레이트할 수 있다.
일부 실시예들에서, 정전기 액추에이터가 사용되어 터치 표면(116) 근처의 또는 터치 표면(116)과 접촉하는 몸의 일부분들을 자극함으로써 햅틱 효과를 생성할 수 있다. 예를 들어, 일부 실시예들에서, 정전기 액추에이터는 정전기 액추에이터에 응답할 수 있는 사용자의 손가락의 피부 내의 신경 말단들 또는 스타일러스 내의 컴포넌트들을 자극할 수 있다. 피부 내 신경 말단들이, 예를 들어, 자극되어 진동 또는 일부 더 많은 특정 감각으로서 정전기 액추에이터(예를 들어, 용량성 커플링)를 감지할 수 있다. 예를 들어, 일 실시예에서, 정전기 액추에이터의 전도층은 사용자의 손가락의 전도성 부분들과 커플링하는 AC 전압 신호를 수신할 수 있다. 사용자가 터치 표면(116)을 터치하여 자신의 손가락을 터치 표면 상에서 움직임에 따라, 사용자는 따끔거림, 입자성, 돌출성, 거칠기, 점착성의 텍스처, 또는 일부 다른 텍스처를 감지할 수 있다.
메모리(104)로 돌아가면, 예시적인 프로그램 컴포넌트들(124, 126 및 128)이 도시되어 디바이스가 일부 실시예들에서 가상 감성 터치를 제공하도록 어떻게 구성될 수 있는지를 예시한다. 이 예에서, 검출 모듈(124)은 터치, 예를 들어, 터치의 위치 및/또는 압력을 결정하기 위해 센서(108)를 통해 터치 표면(116)을 모니터링하도록 프로세서(102)를 구성한다. 예를 들어, 모듈(124)은 터치의 존재 또는 부재를 추적하고, 터치가 존재하는 경우, 시간에 따라 터치의 위치, 경로, 속도, 가속도, 압력, 및/또는 다른 특성들 중 하나 이상을 추적하기 위해 센서(108)를 샘플링할 수 있다.
햅틱 효과 결정 모듈(126)은 터치 특성들에 관련된 데이터를 분석하여 생성할 햅틱 효과를 선택하는 프로그램 컴포넌트를 나타낸다. 예를 들어, 일 실시예에서, 모듈(126)은 터치에 기초하여, 생성할 햅틱 효과를 결정하는 코드를 포함한다. 예를 들어, 모듈(126)은, 터치(예를 들어, 터치의 압력)에 부분적으로 기초하여, 햅틱 신호에 대한 입자 사이즈, 입자 밀도, 사이클 당 최대 입자, 및/또는 입자 크기를 결정하도록 구성되는 프로그램 코드를 포함할 수 있다. 대안적으로, 일부 실시예들에서, 햅틱 효과 결정 모듈(126)은 하나 이상의 사전로딩된 햅틱 효과들, 예를 들어, 혼합 현실 또는 가상 현실 환경에서의 특정 오브젝트들과 연관된 햅틱 효과들을 포함할 수 있다. 이러한 햅틱 효과들은 햅틱 출력 디바이스(들)(118)가 생성할 수 있는 임의의 타입의 햅틱 효과를 포함할 수 있다. 또한, 일부 실시예들에서, 모듈(126)은 햅틱 효과의 특성들, 예를 들어, 효과의 강도, 주파수, 듀레이션, 듀티 사이클, 또는 햅틱 효과와 연관된 임의의 다른 특성을 조작하도록 구성되는 프로그램 코드를 포함할 수 있다. 일부 실시예들에서, 모듈(126)은 사용자가, 예를 들어, 그래픽 사용자 인터페이스를 통해, 이러한 특성들을 조작하도록 하는 프로그램 코드를 포함할 수 있다.
또한, 일부 실시예들에서, 모듈(126)은 사용자 상호작용들에 기초하여 햅틱 효과들을 결정하도록 구성되는 프로그램 코드를 포함할 수 있다. 예를 들어, 모듈(126)은 터치 표면(116) 또는 모바일 디바이스의 모션을 검출하도록 구성되는, 관성 센서들과 같은 다른 센서들 상의 사용자 입력을 모니터링하도록 구성될 수 있다. 모듈(126)은 이 입력을 검출하고, 입력에 기초하여 햅틱 효과를 생성할 수 있다. 예를 들어, 일부 실시예들에서, 모듈(126)은 사용자 상호작용을 시뮬레이트하도록 구성되는 햅틱 효과를 결정하도록 구성될 수 있다.
햅틱 효과 생성 모듈(128)은 프로세서(102)로 하여금 햅틱 신호를 생성하여 햅틱 출력 디바이스(118)에 전송하게 하는 프로그래밍을 나타내며, 이는 햅틱 출력 디바이스(118)가 선택된 햅틱 효과를 생성하도록 한다. 예를 들어, 생성 모듈(128)은 저장된 파형들 또는 코맨드들에 액세스하여 햅틱 출력 디바이스(118)에 송신할 수 있다. 또다른 예로서, 햅틱 효과 생성 모듈(128)은 원하는 타입의 효과를 수신하고, 신호 프로세싱 알고리즘을 이용하여 적절한 신호를 생성하여 햅틱 출력 디바이스(118)에 송신할 수 있다. 또다른 예로서, 원하는 효과는 햅틱 효과에 대한 타겟 좌표들 및 햅틱 효과를 제공하기 위해 표면의 적절한 변위를 생성하도록 하나 이상의 액추에이터들(및/또는 다른 디바이스 컴포넌트)에 송신되는 적절한 파형과 함께 표시될 수 있다. 일부 실시예들에서, 다수의 햅틱 출력 디바이스들을 동시에 이용하여 햅틱 효과를 출력할 수 있다.
터치 표면은 컴퓨팅 시스템의 특정 구성에 따라, 디스플레이에 오버레이(또는 다른 방식으로 대응)할 수 있다. 도 1b에서, 컴퓨팅 시스템(100B)의 외부 뷰가 도시된다. 컴퓨팅 디바이스(101)는 디바이스의 터치 표면과 디스플레이를 조합시키는 터치 인에이블형 디스플레이(116)를 포함한다. 터치 표면은 실제 디스플레이 컴포넌트들 위의 하나 이상의 재료층들 또는 디스플레이 외부에 대응할 수 있다.
도 1c는 터치 표면이 디스플레이에 오버레이하지 않는 터치 인에이블형 컴퓨팅 시스템(100C)의 또다른 예를 예시한다. 이 예에서, 컴퓨팅 디바이스(101)는 디바이스(101)에 인터페이싱되는 컴퓨팅 시스템(120)에 포함되는 디스플레이(122) 내에 제공되는 그래픽 사용자 인터페이스에 매핑될 수 있는 터치 표면(116)을 특징으로 한다. 예를 들어, 컴퓨팅 디바이스(101)는 마우스, 트랙패드, 또는 다른 디바이스를 포함할 수 있는 반면, 컴퓨팅 시스템(120)은 데스크톱 또는 랩톱 컴퓨터, 셋톱 박스(예를 들어, DVD 플레이어, DVR, 케이블 텔레비전 박스), 또는 또다른 컴퓨팅 시스템을 포함할 수 있다. 또다른 예로서, 터치 표면(116) 및 디스플레이(122)는 디스플레이(122)를 특징으로 하는 랩톱 컴퓨터 내의 터치 인에이블형 트랙패드와 같이, 동일한 디바이스 내에 배치될 수 있다. 디스플레이와 통합되든 또는 다른 방식으로든, 본원의 예들에서의 평면 터치 표면들의 도시는 제한적인 것으로 의도되지 않는다. 다른 실시예들은 햅틱 효과들을 제공하도록 추가로 구성되는 곡면 또는 불규칙 터치 인에이블형 표면들을 포함한다.
도 2a-2b는 가상 감성 터치를 위한 디바이스의 예시적인 실시예를 예시한다. 도 2a는 터치-인에이블형 디스플레이(202)를 특징으로 하는 컴퓨팅 디바이스(201)를 포함하는 시스템(200)의 외부 뷰를 예시하는 다이어그램이다. 도 2b는 디바이스(201)의 단면도를 도시한다. 디바이스(201)는 도 1a의 디바이스(101)와 유사하게 구성될 수 있지만, 프로세서, 메모리, 센서들 등과 같은 컴포넌트들은 명료함을 위해 이 도면에 도시되지 않는다.
도 2b에서 알 수 있는 바와 같이, 디바이스(201)는 복수의 햅틱 출력 디바이스들(218) 및 추가적인 햅틱 출력 디바이스(222)를 특징으로 한다. 햅틱 출력 디바이스(218-1)는 디스플레이(202)에 수직력을 전하도록 구성되는 액추에이터를 포함할 수 있는 반면, 218-2는 디스플레이(202)를 측방으로 움직일 수 있다. 이 예에서, 햅틱 출력 디바이스들(218, 222)이 디스플레이에 직접 커플링되지만, 햅틱 출력 디바이스들(218, 222)이 디스플레이(202)의 최상부 상의 재료층과 같은, 또다른 터치 표면에 커플링될 수 있다는 것이 이해되어야 한다. 또한, 위에서 논의된 바와 같이, 햅틱 출력 디바이스들(218 또는 222) 중 하나 이상이 정전기 액추에이터를 포함할 수 있다는 것이 이해되어야 한다. 또한, 햅틱 출력 디바이스(222)는 디바이스(201)의 컴포넌트들을 포함하는 하우징에 커플링될 수 있다. 도 2a-2b의 예들에서, 디스플레이(202)의 영역이 터치 영역에 대응하지만, 원리들은 디스플레이로부터 완전히 분리된 터치 표면에 적용될 수 있다.
일 실시예에서, 햅틱 출력 디바이스들(218) 각각은 압전 액추에이터를 포함하는 반면, 추가적인 햅틱 출력 디바이스(222)는 이심 회전 질량 모터, 선형 공진 액추에이터, 또는 다른 압전 액추에이터를 포함한다. 햅틱 출력 디바이스(222)는 프로세서로부터의 햅틱 신호에 응답하여 진동촉각 햅틱 효과를 제공하도록 구성될 수 있다. 진동촉각 햅틱 효과는 표면-기반 햅틱 효과와 함께 그리고/또는 다른 목적들로 이용될 수 있다.
일부 실시예들에서, 햅틱 출력 디바이스들(218-1 및 218-2) 중 어느 하나 또는 둘 모두가 압전 액추에이터가 아닌 액추에이터를 포함할 수 있다. 액추에이터들 중 임의의 것은 예를 들어, 압전 액추에이터, 전자기 액추에이터, 전기활성 폴리머, 형상 기억 합금, 플렉시블 복합 피에조 액추에이터(예를 들어, 플렉시블 재료를 포함하는 액추에이터), 정전기 및/또는 자왜식 액추에이터들을 포함할 수 있다. 추가로, 햅틱 출력 디바이스(222)가 도시되지만, 다수의 다른 햅틱 출력 디바이스들이 디바이스(201)의 하우징에 커플링될 수 있고 그리고/또는 햅틱 출력 디바이스들(222)이 다른 어느 곳에나 커플링될 수 있다. 또한, 디바이스(201)는 상이한 위치들에서의 터치 표면에 커플링되는 다수의 햅틱 출력 디바이스들(218-1/218-2)을 특징으로 할 수 있다.
이제 도 3a를 참조하면, 도 3a는 본 개시내용의 일 실시예에 따른 가상 감성 터치를 위한 또다른 예시적인 실시예를 예시한다. 도 3a는 시스템(300)을 도시한다. 시스템(300)은 모바일 디바이스(302), 디스플레이(304), 및 디스플레이(304) 내에 보여지는 시각적 표현(306)을 포함한다. 도 3a에 도시된 바와 같이, 시스템(300)은 사용자 상호작용을 검출하도록 추가로 구성된다. 사용자 상호작용은 디스플레이(304) 상에서 제스처를 만드는 손가락(308)으로서 도시된다. 모바일 디바이스(302)는 본 기술분야에 공지된 임의의 타입의 모바일 디바이스, 예를 들어, 스마트폰, 태블릿, 랩톱, 또는 다른 타입의 디바이스를 포함한다. 디스플레이(304)는 터치-감지형 입력 디바이스, 예를 들어, 터치-스크린을 더 포함할 수 있다.
도 3a에 도시된 바와 같이, 디스플레이(304)는 시각적 표현(306)을 포함한다. 시각적 표현(306)은 모바일 디바이스(302)의 사용자와의 메시징 세션에 참여하는, 모바일 디바이스(302)로부터 원격의 사용자("원격 사용자")를 나타낸다. 일부 실시예들에서, 시각적 표현(306)은 원격 사용자와 연관된 아바타를 포함할 수 있다. 일부 실시예들에서, 아바타는 원격 사용자의 모습에 가까운 움직이는 캐릭터를 포함할 수 있는데, 예를 들어, 아바타는 원격 사용자의, 비슷한 높이, 체구, 헤어 스타일, 모색 등을 포함할 수 있다. 다른 실시예들에서, 아바타는 원격 사용자의 이미지 및/또는 원격 사용자에 의해 선택된 이미지를 포함할 수 있다.
도 3a에 도시된 실시예에서, 모바일 디바이스(302)의 사용자는 시각적 표현(306)과 상호작용할 수 있다. 모바일 디바이스(302)의 사용자가 시각적 표현(306)과 상호작용함에 따라, 시각적 표현(306)은 상호작용에 응답할 수 있다. 예를 들어, 모바일 디바이스(302)의 사용자에 의한 제스처는 하나 이상의 센서들에 의해 검출될 수 있다. 모바일 디바이스(302)의 프로세서는 이러한 하나 이상의 센서들로부터 신호들을 수신하고, 시각적 표현(306)에 의한 동작을 결정한다. 예를 들어, 제스처는 아바타가 앉고, 서고, 눕고, 흔들고, 돌고, 점프하고, 공중제비를 하거나, 또는 일부 다른 동작을 취하게 할 수 있다.
일부 실시예들에서, 하나 이상의 센서들 또는 디스플레이(304)는 사용자 상호작용과 연관된 인자들, 예를 들어, 압력, 속도, 영역, 방향, 또는 사용자 상호작용의 일부 다른 특성을 결정하도록 구성될 수 있다. 이러한 실시예에서, 모바일 디바이스(302)는 사용자 상호작용과 연관된 인자들에 기초하여 시각적 표현(306)의 상이한 동작들을 결정할 수 있다. 예를 들어, 높은 압력의 사용자 상호작용은 시각적 표현(306)을 앉거나 뒤로 넘어가도록 할 수 있다. 유사하게, 빠른 사용자 상호작용은 시각적 표현(306)이 그것의 머리를 신속하게 돌리도록 할 수 있다.
또한, 프로세서는 제스처와 연관된 신호를 원격 디바이스에 전송할 수 있다. 원격 디바이스는 제스처에 기초하여 햅틱 효과를 결정할 수 있다. 따라서, 모바일 디바이스(302)의 사용자가 원격 사용자의 시각적 표현(306)과 상호작용할 때, 원격 사용자의 모바일 디바이스는 대응하는 햅틱 효과를 출력할 수 있다. 이 햅틱 효과는 모바일 디바이스(302)의 사용자와 원격 사용자 사이의 상호작용의 현실감을 향상시킬 수 있다.
일부 실시예들에서, 모바일 디바이스(302)는 또한 햅틱 효과를 결정하고 햅틱 효과를 출력하도록 구성되는 하나 이상의 햅틱 출력 디바이스들에 햅틱 신호를 출력할 수 있다. 따라서, 모바일 디바이스(302)의 사용자는 원격 디바이스의 사용자와 동시에 햅틱 효과를 느낄 수 있다. 일부 실시예들에서, 모바일 디바이스(302)의 프로세서는 햅틱 효과를 결정할 수 있고, 햅틱 효과와 연관된 신호를 원격 디바이스에 전송할 수 있다. 또한, 일부 실시예들에서, 원격 사용자는 원격 디바이스 상에 디스플레이되는 모바일 디바이스(302)의 사용자의 시각적 표현(306)과 상호작용할 수 있다. 원격 디바이스는 상호작용과 연관된 신호들을 모바일 디바이스(302)에 전송할 수 있고, 이는 이후 상호작용과 연관된 햅틱 효과를 출력한다.
위에서 논의된 바와 같이, 일부 실시예들에서, 하나 이상의 센서들 또는 디스플레이(304)는 사용자 상호작용과 연관된 인자들, 예를 들어, 압력, 속도, 영역, 방향, 또는 사용자 상호작용의 일부 다른 특성을 결정하도록 구성될 수 있다. 이러한 실시예에서, 모바일 디바이스(302)는 인자들에 기초하여 햅틱 효과들을 결정할 수 있다. 예를 들어, 햅틱 효과는 큰 압력에 대한 강한 햅틱 효과, 중간 압력에 대한 중간 강도 효과, 및 적은 압력에 대한 약한 햅틱 효과를 포함할 수 있다. 다른 실시예들에서, 햅틱 효과는 사용자 상호작용의 다른 특성들, 예를 들어, 속도, 영역, 방향, 또는 사용자 상호작용의 일부 다른 특성에 기초하여 결정될 수 있다.
이제 도 3b를 참조하면, 도 3b는 본 개시내용의 하나의 실시예에 따른 가상 감성 터치를 위한 또다른 예시적인 실시예를 예시한다. 도 3b는 시스템(300)의 또다른 뷰를 도시한다. 도 3b에 도시된 바와 같이, 손가락(308)은 시각적 표현(306)의 머리와 연관된 제스처를 만든다. 일부 실시예들에서, 시각적 표현(306)은 제스처에 응답할 수 있다. 예를 들어, 도 3b에 도시된 실시예에서, 시각적 표현(306)은 그것의 머리를 돌린다. 다른 실시예들에서, 제스처는 시각적 표현(306)이 앉고, 서고, 눕고, 흔들고, 돌고, 점프하고, 공중제비를 하거나, 또는 일부 다른 동작을 취하게 할 수 있다.
이제 도 3c를 참조하면, 도 3c는 본 개시내용의 실시예에 따른 가상 감성 터치를 위한 또다른 예시적인 실시예를 예시한다. 도 3c는 시스템(300)의 또다른 뷰를 도시한다. 도 3c에서, 시각적 표현(306)은 손가락(308)에 의한 제스처에 응답하여 앉는다. 일부 실시예들에서, 손가락(308)에 의한 추가적인 제스처들은 시각적 표현(306)에 의한 추가적인 움직임을 초래할 수 있다.
이제 도 4를 참조하면, 도 4는 본 개시내용의 일 실시예에 따른 가상 감성 터치에 대한 또다른 예시적인 실시예를 예시한다. 도 4는 시각적 표현(400)을 도시한다. 도 4에 도시된 바와 같이, 시각적 표현(400)은 복수의 영역들인, 01 머리/얼굴, 02 복부, 03 다리, 및 04 발을 포함한다. 일부 실시예들에서, 이러한 영역들 각각과 연관된 제스처는 시각적 표현(400)에 의해 상이한 움직임을 트리거링할 것이며, 상이한 햅틱 효과를 출력하도록 시각적 표현(400)과 연관된 모바일 디바이스를 트리거링할 것이다.
일 예시적인 실시예에서, 사용자는 04 발과 상호작용할 수 있다. 이러한 상호작용에 기초하여, 시각적 표현(400)은 점프할 수 있다. 또한, 대응하는 햅틱 효과, 예를 들어, 시각적 표현(400) 점프 및 착지와 연관된 노크 효과가 결정될 수 있다. 또한, 또다른 예시적인 실시예에서, 사용자는 01 머리/얼굴과 상호작용할 수 있다. 이러한 상호작용에 기초하여, 아바타(400)는 그것의 머리를 좌우로 돌릴 수 있다. 또한, 이 상호작용과 연관된 햅틱 효과, 예를 들어, 시각적 표현(400)의 머리카락의 움직임을 시뮬레이트하기 위한 소프트 진동이 결정될 수 있다.
가상 감성 터치를 위한 예시적인 방법들
도 5는 일 실시예에 따른 가상 감성 터치를 위한 방법을 수행하기 위한 단계들의 플로우차트이다. 일부 실시예들에서, 도 5의 단계들은 프로세서, 예를 들어, 범용 컴퓨터, 모바일 디바이스, 가상 현실 제어 시스템, 또는 서버 내의 프로세서에 의해 실행되는 프로그램 코드에서 구현될 수 있다. 일부 실시예들에서, 이러한 단계들은 프로세서들의 그룹에 의해 구현될 수 있다. 일부 실시예들에서, 도 5에 도시된 하나 이상의 단계들은 생략되거나 상이한 순서로 수행될 수 있다. 유사하게, 일부 실시예들에서, 도 5에 도시되지 않은 추가적인 단계들이 또한 수행될 수 있다. 하기의 단계들은 도 1a에 도시된 컴퓨팅 디바이스(101)에 관해 전술된 컴포넌트들에 관해 기술된다.
방법(500)은 프로세서(102)가 시각적 표현을 디스플레이할 때 단계(502)에서 시작한다. 시각적 표현은 원격 디바이스의 사용자와 연관된 이미지를 포함한다. 일부 실시예들에서, 시각적 표현은 위에서 논의된 바와 같이, 원격 사용자의 아바타를 포함할 수 있다.
다음으로, 단계(504)에서, 프로세서(102)는 하나 이상의 센서들(108)로부터 센서 신호를 수신한다. 위에서 설명된 바와 같이, 하나 이상의 센서들(108)은 사용자 상호작용을 검출하고, 이 상호작용과 연관된 센서 신호를 프로세서(102)에 전송하고, 프로세서(102)는 사용자 상호작용이 하나 이상의 제스처들을 포함하는지를 결정하고, 하나 이상의 제스처들에 대한 정보를 결정하도록 구성될 수 있다. 일부 실시예들에서, 제스처는 시각적 표현과 연관된 제스처를 포함한다. 예를 들어, 제스처는 아바타의 하나 이상의 영역들(예를 들어, 도 4에 관해 위에서 논의된 영역들 중 하나 이상)과의 상호작용을 포함할 수 있다. 또한, 일부 실시예들에서, 프로세서(102)는 제스처의 타입, 압력, 속도, 영역, 방향, 또는 제스처의 일부 다른 특성과 같은 인자들을 결정할 수 있다.
이후, 단계(506)에서, 프로세서(102)는 햅틱 효과를 결정한다. 일부 실시예들에서, 햅틱 효과는 시각적 표현의 움직임을 시뮬레이트하도록 구성될 수 있다. 또한, 일부 실시예들에서, 햅틱 효과는, 혼합 현실 또는 가상 현실 인터페이스와 연관된 특징들을 향상시키도록 구성될 수 있다. 일부 실시예들에서, 프로세서(102)는 하나 이상의 햅틱 출력 디바이스들(118)의 동작의 주파수, 진폭, 변조, 또는 듀티 사이클을 결정 및/또는 수정함으로써 햅틱 효과를 결정할 수 있다. 일부 실시예들에서, 프로세서(102)는 제스처에 관해 결정된 특징들, 예를 들어, 제스처의 타입, 압력, 속도, 영역, 방향, 또는 제스처의 일부 다른 특성에 적어도 부분적으로 기초하여 햅틱 효과를 결정할 수 있다.
다른 실시예들에서, 프로세서(102)는 사용자 선택에 기초하여 햅틱 효과를 결정할 수 있다. 예를 들어, 사용자는 이용가능한 햅틱 효과를 선택할 수 있다. 예를 들어, 컴퓨팅 디바이스(101)의 데이터 저장소는, 햅틱 설계자 또는 사용자가 선택할 수 있는, 다수의 햅틱 효과들과 연관된 데이터를 포함할 수 있다. 또한, 햅틱 설계자 또는 사용자는 햅틱 효과와 연관된 특성들을 조정할 수 있다. 예를 들어, 햅틱 설계자는 햅틱 효과와 연관된 듀레이션, 주파수, 강도, 또는 일부 다른 특성을 수정할 수 있다. 일부 실시예들에서, 프로세서(102)는 햅틱 효과를 자동으로 선택할 수 있다. 예를 들어, 일부 실시예들에서, 프로세서(102)는 컴퓨팅 디바이스(101)의 디스플레이의 면 상에 디스플레이되는 비디오 내에서 발생하는 이벤트들과 연관된 햅틱 효과를 선택할 수 있다. 또한, 일부 실시예들에서, 프로세서(102)는 사전 설계된 알고리즘을 실행하여 햅틱 효과들의 파라미터들을 수정할 수 있다.
단계(508)에서, 프로세서(102)는 햅틱 신호를 전송한다. 일부 실시예들에서, 프로세서는 햅틱 신호를 하나 이상의 햅틱 출력 디바이스들(118)에 전송하고, 이는 햅틱 효과를 출력한다. 대안적으로 또는 추가로, 일부 실시예들에서, 프로세서는 햅틱 신호를 원격 디바이스에 전송한다. 이러한 실시예에서, 원격 디바이스는 햅틱 효과를 출력할 수 있고, 따라서, 원격 디바이스의 사용자가 시각적 표현과 연관된 제스처와 연관된 햅틱 효과를 수신할 수 있게 한다. 또한, 일부 실시예들에서, 프로세서(102)는 제스처와 연관된 신호를 원격 디바이스에 전송할 수 있고, 원격 디바이스는 햅틱 효과를 결정할 수 있다.
단계(510)에서, 프로세서(102)는 시각적 표현을 수정한다. 예를 들어, 프로세서(102)는 시각적 표현이 사용자 상호작용에 응답하여 앉고, 서고, 눕고, 흔들고, 돌리고, 점프하고, 공중제비를 하거나, 또는 일부 다른 움직임을 수행하도록 할 수 있다. 프로세서(102)는 디스플레이를 포함할 수 있는 오디오 시각적 출력 디바이스(들)(115)에 디스플레이 신호를 출력한다. 일부 실시예들에서, 디스플레이 신호는 혼합 현실 또는 가상 현실 인터페이스에서 캐릭터들 및 또는 오브젝트들을 포함할 수 있다. 오브젝트 또는 캐릭터는 햅틱 효과가 출력되는 동시에 사용자 상호작용에 반응할 수 있고, 따라서 혼합 현실 또는 가상 현실 경험의 현실감을 더 증가시킬 수 있다.
가상 감성 터치의 다수의 장점들이 존재한다. 여기서 논의되는 실시예들은 더 현실적인 혼합 현실 또는 가상 현실 경험들을 초래한다. 따라서, 사용자들은 본원에 기술되는 특징들이 구비된 디바이스들 및 소프트웨어와 상호작용할 때 더 큰 즐거움 및 경험을 가질 수 있다. 따라서, 위의 예들 각각은 사용자 만족을 증가시키고 따라서 본원에 기술된 기술의 더 많은 사용자 채택을 이끌어낸다.
일반적 고려사항들
위에서 논의된 방법들, 시스템들 및 디바이스들은 예들이다. 다양한 구성들은 생략되고, 치환되거나, 또는 적절한 경우, 다양한 절차들 또는 컴포넌트들을 추가할 수 있다. 예를 들어, 대안적인 구성들에서, 방법들은 기술된 것과는 상이한 순서로 수행될 수 있고, 그리고/또는 다양한 스테이지들이 추가되고, 생략되고, 그리고/또는 조합될 수 있다. 또한, 특정 구성들에 대해 기술되는 특징들은 다양한 다른 구성들에서 조합될 수 있다. 구성들의 상이한 양태들 및 엘리먼트들이 유사한 방식으로 조합될 수 있다. 또한, 기술은 진화하고, 따라서 엘리먼트들 중 다수가 예들이며, 개시내용 또는 청구항들의 범위를 제한하지 않는다.
특정 상세항목들이 (구현예들을 포함하는) 예시적인 구성들의 철저한 이해를 제공하도록 설명에 주어진다. 그러나, 구성들은 이러한 특정 상세항목들 없이도 구현될 수 있다. 예를 들어, 널리-알려진 회로들, 프로세스들, 알고리즘들, 구조들, 및 기법들은 구성들을 모호하게 하는 것을 회피하기 위해 불필요한 상세항목 없이 도시되었다. 이 설명은 단지 예시적인 구성들을 제공하며, 청구항들의 범위, 응용가능성, 또는 구성들을 제한하지 않는다. 오히려, 구성들의 이전 설명은, 기술된 기법들을 구현하게 할 수 있는 설명을 본 기술분야의 통상의 기술자에게 제공할 것이다. 개시내용의 사상 또는 범위로부터 벗어나지 않고 엘리먼트들의 기능 및 배열에서 다양한 변화들이 이루어질 수 있다.
또한, 구성들은 흐름도 또는 블록도로서 도시되는 프로세스로서 기술될 수 있다. 각각이 순차적 프로세스로서 동작들을 기술하지만, 동작들 중 다수는 병렬로 또는 동시에 수행될 수 있다. 추가로, 동작들의 순서가 재배열될 수 있다. 프로세스는 도면에 포함되지 않은 추가적인 단계들을 가질 수 있다. 또한, 방법들의 예들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어들, 또는 이들의 임의의 조합에 의해 구현될 수 있다. 소프트웨어, 펌웨어, 미들웨어, 또는 마이크로코드에서 구현될 때, 필요한 작업들을 수행하기 위한 프로그램 코드 또는 코드 세그먼트들은 저장 매체와 같은 비-일시적 컴퓨터-판독가능한 매체에 저장될 수 있다. 프로세서들은 기술된 작업들을 수행할 수 있다.
몇몇 예시적인 구성들을 기술하였지만, 다양한 수정들, 대안적 구성들, 및 등가물들이 개시내용의 사상으로부터 벗어나지 않고 사용될 수 있다. 예를 들어, 위의 엘리먼트들은 더 큰 시스템의 컴포넌트들일 수 있고, 여기서 다른 규정들이 발명의 응용예보다 우선할 수 있거나 또는 그렇지 않은 경우 본 개시내용의 응용예를 수정할 수 있다. 또한, 다수의 단계들이, 위의 엘리먼트들이 고려되기 이전에, 고려되는 동안, 또는 고려된 이후 착수될 수 있다. 따라서, 위의 설명은 청구항들의 범위를 제한하지 않는다.
본원에서 "~하도록 적응되는" 또는 "~하도록 구성되는"의 사용은 추가적인 작업들 또는 단계들을 수행하도록 적응되거나 구성되는 디바이스들을 배제하지 않는 개방적이고 포괄적인 언어로서 의도된다. 추가로, "~에 기초하는"의 사용은, 하나 이상의 인용된 조건들 또는 값들"에 기초하는" 프로세스, 단계, 계산 또는 다른 동작이, 실제로, 인용된 것들을 넘어 추가적인 조건들 또는 값들에 기초할 수 있다는 점에서, 개방적이고 포괄적인 것으로 의도된다. 본원에 포함되는 소제목들, 목록들, 및 넘버링들은 단지 설명의 용이함을 위한 것이며, 제한적인 것으로 의도되지 않는다.
본 발명 대상의 양태들에 따른 실시예들은 디지털 전자 회로에서, 컴퓨터 하드웨어, 펌웨어, 소프트웨어에서, 또는 이전항목의 조합들에서 구현될 수 있다. 일 실시예에서, 컴퓨터는 프로세서 또는 프로세서들을 포함할 수 있다. 프로세서는 프로세서에 커플링되는 랜덤 액세스 메모리(RAM)와 같은, 컴퓨터-판독가능한 매체를 포함하거나 이에 대한 액세스를 가진다. 프로세서는 메모리에 저장된 컴퓨터-실행가능한 프로그램을 실행하는데, 예컨대, 센서 샘플링 루틴, 선택 루틴, 및 전술된 방법을 수행하기 위한 다른 루틴들을 포함하는 하나 이상의 컴퓨터 프로그램들을 실행한다.
이러한 프로세서들은 마이크로프로세서, 디지털 신호 프로세서(DSP), 응용-특정적 집적 회로(ASIC), 필드 프로그래밍가능 게이트 어레이(FPGA)들, 및 상태 머신들을 포함할 수 있다. 이러한 프로세서들은 PLC들, 프로그래밍가능한 인터럽트 제어기(PIC)들, 프로그래밍가능한 논리 디바이스(PLD)들, 프로그래밍가능한 판독-전용 메모리(PROM)들, 전기적 프로그래밍가능한 판독-전용 메모리(EPROM 또는 EEPROM)들과 같은 프로그래밍가능한 전자 디바이스들, 또는 다른 유사한 디바이스들을 더 포함할 수 있다.
이러한 프로세서들은, 프로세서에 의해 실행될 때, 프로세서에 의해 수행되거나 보조되는 것으로서 프로세서가 본원에 기술된 단계들을 수행하게 할 수 있는, 명령들을 저장할 수 있는 매체, 예를 들어, 유형적 컴퓨터-판독가능한 매체를 포함하거나, 또는 이와 통신할 수 있다. 컴퓨터-판독가능한 매체의 실시예들은, 컴퓨터-판독가능한 명령들을 가지는, 웹 서버 내의 프로세서와 같은, 프로세서를 제공할 수 있는 모든 전자, 광학, 자기 또는 다른 저장 디바이스들을 포함할 수 있지만, 이에 제한되지 않는다. 매체의 다른 예들은, 플로피 디스크, CD-ROM, 자기 디스크, 메모리 칩, ROM, RAM, ASIC, 구성된 프로세서, 모든 광학 매체, 모든 자기 테이프 또는 다른 자기 매체, 또는 컴퓨터 프로세서가 판독할 수 있는 임의의 다른 매체를 포함하지만, 이에 제한되지 않는다. 또한, 다양한 다른 디바이스들은, 라우터, 개인 또는 공중 네트워크, 또는 다른 전송 디바이스와 같은, 컴퓨터-판독가능한 매체를 포함할 수 있다. 기술된 프로세서, 및 프로세싱은 하나 이상의 구조들 내에 있을 수 있고, 하나 이상의 구조들을 통해 분산될 수 있다. 프로세서는 본원에 기술된 방법들(또는 방법들의 일부들) 중 하나 이상을 수행하기 위한 코드를 포함할 수 있다.
본 발명 대상이 그것의 특정 실시예들에 관해 상세히 기술되지 않지만, 본 기술분야의 통상의 기술자가, 전술한 내용의 이해를 획득할 시에, 이러한 실시예들에 대한 변형들, 실시예들의 변형들, 및 실시예들에 대한 등가물들을 용이하게 생성할 수 있다는 것이 인지될 것이다. 따라서, 본 개시내용이 제한보다는 예시의 목적으로 제시되며, 본 기술분야의 통상의 기술자에 대해 자명할 바와 같이, 본 발명 대상에 대한 이러한 수정들, 변형들 및/또는 추가들의 포함을 배제하지 않는다는 것이 이해되어야 한다.

Claims (20)

  1. 시스템으로서,
    터치 스크린 디스플레이;
    햅틱 출력 디바이스; 및
    프로세서
    를 포함하고, 상기 프로세서는:
    상기 터치 스크린 디스플레이 상에 수신 사용자의 시각적 표현을 디스플레이하고;
    송신 사용자에 의한 제스처와 연관된 센서 신호를 상기 터치 스크린 디스플레이로부터 수신하고;
    상기 제스처 및 상기 시각적 표현과 연관된 신호를 수신 디바이스에 전송하고;
    상기 제스처 및 상기 수신 사용자의 시각적 표현에 부분적으로 기초하여 햅틱 효과를 결정하고;
    상기 햅틱 효과와 연관된 햅틱 신호를 상기 햅틱 효과를 출력하도록 구성되는 햅틱 출력 디바이스에 전송하도록 구성되는, 시스템.
  2. 제1항에 있어서,
    상기 프로세서는:
    상기 햅틱 신호를 상기 수신 디바이스에 전송하도록 추가로 구성되고, 상기 수신 디바이스는 상기 햅틱 효과를 출력하도록 구성되는 제2 햅틱 출력 디바이스를 포함하는, 시스템.
  3. 제1항에 있어서,
    상기 프로세서는:
    상기 수신 디바이스로부터 제2 센서 신호를 수신하고, 상기 제2 센서 신호에 부분적으로 기초하여 상기 햅틱 효과를 결정하도록 추가로 구성되는, 시스템.
  4. 제1항에 있어서,
    상기 프로세서는 상기 수신 디바이스로부터 제2 햅틱 신호를 수신하고, 상기 제2 햅틱 신호에 부분적으로 기초하여 햅틱 효과를 출력하도록 추가로 구성되는, 시스템.
  5. 제1항에 있어서,
    수신 사용자의 시각적 표현은 아바타를 포함하는, 시스템.
  6. 제5항에 있어서,
    상기 아바타는 상기 수신 사용자에 의해 선택되는, 시스템.
  7. 제1항에 있어서,
    햅틱 효과를 결정하는 것은 상기 제스처와 연관된 압력을 결정하는 것 및 상기 제스처의 압력에 대응하는 강도를 가지는 햅틱 효과를 결정하는 것을 포함하는, 시스템.
  8. 제1항에 있어서,
    상기 터치 스크린 디스플레이, 상기 햅틱 출력 디바이스, 및 상기 프로세서는 핸드헬드 디바이스 또는 웨어러블 디바이스 중 하나의 디바이스의 모든 컴포넌트들인, 시스템.
  9. 제1항에 있어서,
    상기 햅틱 출력 디바이스는: 압전 액추에이터, 전기 모터, 전기-자기 액추에이터, 보이스 코일, 형상 기억 합금, 전기-활성 폴리머, 솔레노이드, 이심 회전 질량 모터, 선형 공진 액추에이터, 또는 정전기 출력 디바이스 중 하나 이상을 포함하는, 시스템.
  10. 방법으로서,
    터치 스크린 디스플레이 상에 수신 사용자의 시각적 표현을 디스플레이하는 단계;
    송신 사용자에 의한 제스처와 연관된 센서 신호를 상기 터치 스크린 디스플레이로부터 수신하는 단계;
    상기 제스처 및 상기 시각적 표현과 연관된 신호를 수신 디바이스에 전송하는 단계;
    상기 제스처 및 상기 수신 사용자의 시각적 표현에 부분적으로 기초하여 햅틱 효과를 결정하는 단계; 및
    상기 햅틱 효과를 출력하도록 구성되는 햅틱 출력 디바이스에 상기 햅틱 효과와 연관된 햅틱 신호를 전송하는 단계
    를 포함하는, 방법.
  11. 제10항에 있어서,
    상기 햅틱 신호를 상기 수신 디바이스에 전송하는 단계를 더 포함하고, 상기 수신 디바이스는 상기 햅틱 효과를 출력하도록 구성되는 제2 햅틱 출력 디바이스를 포함하는, 방법.
  12. 제10항에 있어서,
    상기 수신 디바이스로부터 제2 센서 신호를 수신하는 단계, 및 상기 제2 센서 신호에 부분적으로 기초하여 상기 햅틱 효과를 출력하는 단계
    를 더 포함하는, 방법.
  13. 제10항에 있어서,
    상기 수신 디바이스로부터 제2 햅틱 신호를 수신하는 단계, 및 상기 제2 햅틱 신호에 부분적으로 기초하여 햅틱 효과를 출력하는 단계
    를 더 포함하는, 방법.
  14. 제10항에 있어서,
    수신 사용자의 시각적 표현은 아바타를 포함하는, 방법.
  15. 제14항에 있어서,
    상기 아바타는 상기 수신 사용자에 의해 선택되는, 방법.
  16. 제10항에 있어서,
    햅틱 효과를 결정하는 단계는 상기 제스처와 연관된 압력을 결정하는 단계, 및 상기 제스처의 압력에 대응하는 강도를 가지는 햅틱 효과를 결정하는 단계를 포함하는, 방법.
  17. 비-일시적 컴퓨터 판독가능한 기록 매체로서,
    프로그램 코드
    를 포함하고, 상기 프로그램 코드는, 프로세서에 의해 실행될 때 상기 프로세서로 하여금:
    터치 스크린 디스플레이 상에 수신 사용자의 시각적 표현을 디스플레이하게 하고;
    송신 사용자에 의한 제스처와 연관된 센서 신호를 터치 스크린 디스플레이로부터 수신하게 하고;
    상기 제스처 및 상기 시각적 표현과 연관된 신호를 수신 디바이스에 전송하게 하고;
    상기 제스처 및 상기 수신 사용자의 시각적 표현에 부분적으로 기초하여 햅틱 효과를 결정하게 하고;
    상기 햅틱 효과와 연관된 햅틱 신호를 상기 햅틱 효과를 출력하도록 구성되는 햅틱 출력 디바이스에 전송하게 하도록
    구성되는, 비-일시적 컴퓨터 판독가능한 기록 매체.
  18. 제17항에 있어서, 프로그램 코드를 추가로 포함하고, 이 프로그램 코드는 상기 프로세서에 의해 실행될 때 상기 프로세서로 하여금:
    상기 햅틱 신호를 상기 수신 디바이스에 전송하게 하도록 구성되고, 상기 수신 디바이스는 상기 햅틱 효과를 출력하도록 구성되는 제2 햅틱 출력 디바이스를 포함하는, 비-일시적 컴퓨터 판독가능한 기록 매체.
  19. 제17항에 있어서, 프로그램 코드를 추가로 포함하고, 이 프로그램 코드는 상기 프로세서에 의해 실행될 때 상기 프로세서로 하여금:
    상기 수신 디바이스로부터 제2 센서 신호를 수신하게 하고, 상기 제2 센서 신호에 부분적으로 기초하여 상기 햅틱 효과를 출력하게 하도록 구성되는, 비-일시적 컴퓨터 판독가능한 기록 매체.
  20. 제17항에 있어서, 프로그램 코드를 추가로 포함하고, 이 프로그램 코드는 상기 프로세서에 의해 실행될 때 상기 프로세서로 하여금:
    상기 수신 디바이스로부터 제2 햅틱 신호를 수신하게 하고, 상기 제2 햅틱 신호에 부분적으로 기초하여 햅틱 효과를 출력하게 하도록 구성되는, 비-일시적 컴퓨터 판독가능한 기록 매체.
KR1020180021812A 2017-02-24 2018-02-23 가상 감성 터치를 위한 시스템들 및 방법들 Ceased KR20180098166A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
PCT/CN2017/074784 WO2018152778A1 (en) 2017-02-24 2017-02-24 Virtual affective touch
CNPCT/CN2017/074784 2017-02-24
US15/874,192 2018-01-18
US15/874,192 US10474238B2 (en) 2017-02-24 2018-01-18 Systems and methods for virtual affective touch

Publications (1)

Publication Number Publication Date
KR20180098166A true KR20180098166A (ko) 2018-09-03

Family

ID=63245714

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180021812A Ceased KR20180098166A (ko) 2017-02-24 2018-02-23 가상 감성 터치를 위한 시스템들 및 방법들

Country Status (5)

Country Link
US (1) US10474238B2 (ko)
JP (1) JP2018142313A (ko)
KR (1) KR20180098166A (ko)
CN (1) CN108509028A (ko)
WO (1) WO2018152778A1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020046714A (ja) * 2018-09-14 2020-03-26 コニカミノルタ株式会社 表示装置および表示装置の制御プログラム
US20200192480A1 (en) * 2018-12-18 2020-06-18 Immersion Corporation Systems and methods for providing haptic effects based on a user's motion or environment
USD900831S1 (en) * 2019-03-12 2020-11-03 AIRCAP Inc. Display screen or portion thereof with graphical user interface
USD900128S1 (en) * 2019-03-12 2020-10-27 AIRCAP Inc. Display screen or portion thereof with graphical user interface
EP3832608A1 (en) * 2019-12-02 2021-06-09 KONE Corporation A solution for providing visual output representing maintenance related information of a people transport system or an access control system
CN111158474B (zh) * 2019-12-19 2021-10-22 维沃移动通信有限公司 交互方法和电子设备
US11789542B2 (en) * 2020-10-21 2023-10-17 International Business Machines Corporation Sensor agnostic gesture detection
CN116745743A (zh) 2020-12-31 2023-09-12 斯纳普公司 具有触觉反馈响应的通信界面
EP4272060A1 (en) 2020-12-31 2023-11-08 Snap Inc. Real-time video communication interface with haptic feedback
CN116685941A (zh) 2020-12-31 2023-09-01 斯纳普公司 具有触觉反馈增强的媒体内容项
WO2022147449A1 (en) 2020-12-31 2022-07-07 Snap Inc. Electronic communication interface with haptic feedback response
WO2022147450A1 (en) 2020-12-31 2022-07-07 Snap Inc. Communication interface with haptic feedback response
US12164689B2 (en) 2021-03-31 2024-12-10 Snap Inc. Virtual reality communication interface with haptic feedback response
KR102884385B1 (ko) 2021-03-31 2025-11-12 스냅 인코포레이티드 햅틱 피드백 응답을 갖는 가상 현실 인터페이스
US12050729B2 (en) 2021-03-31 2024-07-30 Snap Inc. Real-time communication interface with haptic and audio feedback response
US12314472B2 (en) 2021-03-31 2025-05-27 Snap Inc. Real-time communication interface with haptic and audio feedback response
WO2024026638A1 (en) * 2022-08-01 2024-02-08 Huawei Technologies Co., Ltd. Haptic interaction with 3d object on naked eye 3d display
USD1036492S1 (en) * 2022-12-29 2024-07-23 Lg Electronics Inc. Display panel with animated graphical user interface
US12254135B2 (en) * 2023-03-28 2025-03-18 Sensel, Inc. Simulation of a physical interface utilizing touch tracking, force sensing, and haptic feedback
USD1088045S1 (en) * 2023-05-02 2025-08-12 Giantstep Inc. Display screen or portion thereof with graphical user interface

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8933891B2 (en) * 2007-03-02 2015-01-13 Lg Electronics Inc. Terminal and method of controlling terminal
KR20110052629A (ko) * 2008-07-15 2011-05-18 임머숀 코퍼레이션 물리 기반 촉각 메시징을 위한 시스템 및 방법
US8294557B1 (en) 2009-06-09 2012-10-23 University Of Ottawa Synchronous interpersonal haptic communication system
US20120223880A1 (en) * 2012-02-15 2012-09-06 Immersion Corporation Method and apparatus for producing a dynamic haptic effect
JP6192899B2 (ja) * 2012-05-24 2017-09-06 京セラ株式会社 通信システム、通信端末、及び通信方法
US10410180B2 (en) 2012-11-19 2019-09-10 Oath Inc. System and method for touch-based communications
CN104780093B (zh) * 2014-01-15 2018-05-01 阿里巴巴集团控股有限公司 即时通讯过程中的表情信息处理方法及装置
CN104301202A (zh) * 2014-02-25 2015-01-21 王石强 一种即时通讯的振动信息表达方法和系统
US10031583B2 (en) * 2014-03-21 2018-07-24 Immersion Corporation Systems and methods for force-based object manipulation and haptic sensations
US9658693B2 (en) * 2014-12-19 2017-05-23 Immersion Corporation Systems and methods for haptically-enabled interactions with objects
CN104579919B (zh) * 2014-12-24 2019-07-16 腾讯科技（深圳）有限公司 消息交互方法以及相关装置和通信系统
CN104932691A (zh) * 2015-06-19 2015-09-23 中国航天员科研训练中心 带有触觉感知反馈的手势实时交互系统
CN106371573B (zh) * 2015-12-04 2020-06-02 北京智谷睿拓技术服务有限公司 触觉反馈的方法、装置和虚拟现实交互系统

Also Published As

Publication number Publication date
WO2018152778A1 (en) 2018-08-30
US10474238B2 (en) 2019-11-12
JP2018142313A (ja) 2018-09-13
CN108509028A (zh) 2018-09-07
US20180246572A1 (en) 2018-08-30

Similar Documents

Publication Publication Date Title
US10474238B2 (en) Systems and methods for virtual affective touch
CN108334190B (zh) 使用视场的触觉反馈
US10514761B2 (en) Dynamic rendering of etching input
EP3367216A1 (en) Systems and methods for virtual affective touch
CN104122996B (zh) 用于支持触觉的紧贴式和多面显示器的系统和方法
US20200057506A1 (en) Systems and Methods for User Generated Content Authoring
US9639158B2 (en) Systems and methods for generating friction and vibrotactile effects
JP5833601B2 (ja) モバイルデバイス上での共有されたフィードバックのための双方向性モデル
US10572017B2 (en) Systems and methods for providing dynamic haptic playback for an augmented or virtual reality environments
KR20170069936A (ko) 위치 기반 햅틱 효과를 위한 시스템 및 방법
US20120223880A1 (en) Method and apparatus for producing a dynamic haptic effect
KR20180066865A (ko) 햅틱들을 가지는 컴플라이언스 착시들을 위한 시스템들 및 방법
US20180011538A1 (en) Multimodal haptic effects
WO2020181071A1 (en) Systems and methods for a user interaction proxy

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180223

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210127

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20180223

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220315

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20230130

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20220315

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I