KR20210095833A - 시야를 이용하는 햅틱 피드백 - Google Patents

시야를 이용하는 햅틱 피드백 Download PDF

Info

Publication number
KR20210095833A
KR20210095833A KR1020210098029A KR20210098029A KR20210095833A KR 20210095833 A KR20210095833 A KR 20210095833A KR 1020210098029 A KR1020210098029 A KR 1020210098029A KR 20210098029 A KR20210098029 A KR 20210098029A KR 20210095833 A KR20210095833 A KR 20210095833A
Authority
KR
South Korea
Prior art keywords
user
haptic
display device
processor
haptic effect
Prior art date
Application number
KR1020210098029A
Other languages
English (en)
Inventor
대니 에이. 그랜트
윌리엄 에스. 린
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20210095833A publication Critical patent/KR20210095833A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G06K9/00604—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 명세서에서 개시된 하나의 예시적인 시스템은 디스플레이 디바이스 및 센서와 통신하는 컴퓨팅 디바이스를 포함한다. 디스플레이 디바이스는 복수의 콘텐츠를 표시하도록 구성되고, 센서는 디스플레이 디바이스에 대한 컴퓨팅 디바이스의 사용자의 시야를 검출하도록 구성된다. 센서는 시야와 연관된 신호를 센서와 통신하는 프로세서에 송신할 수 있다. 프로세서는 신호에 기초하여 사용자의 시야의 방향을 결정하도록 구성된다. 프로세서는 또한 디스플레이 디바이스에 의해 표시되고 햅틱 효과와 연관된 콘텐츠가 사용자의 시야 내에 있는 것으로 결정하도록 구성된다. 프로세서는 또한 콘텐츠와 연관된 햅틱 효과를 결정하고 햅틱 효과와 연관된 햅틱 신호를 송신하도록 구성된다. 예시적인 시스템은 또한 햅틱 신호를 수신하고 햅틱 효과를 출력하도록 구성된 햅틱 출력 디바이스를 포함한다.

Description

시야를 이용하는 햅틱 피드백{HAPTIC FEEDBACK USING A FIELD OF VIEW}
본 개시내용은 일반적으로 사용자 인터페이스 디바이스들에 관한 것이다. 보다 구체적으로, 그러나 비제한적으로, 이 개시내용은 시야를 이용하는 햅틱 피드백에 관한 것이다.
디스플레이 디바이스들은 디스플레이 디바이스의 사용자에게 다양한 콘텐츠(예를 들어, 이미지들, 비디오들 등)를 제공하기 위해 이용될 수 있다. 디스플레이 디바이스는 또한 사용자의 물리적 존재 및 환경을 시뮬레이팅하고 시뮬레이팅된 환경에서 사용자가 가상 객체들과 상호작용하게 할 수 있는 가상 현실 환경을 생성하기 위해 이용될 수 있다. 사용자는 (예를 들어, 콘텐츠 또는 가상 객체들의 방향을 터치하거나 보는 것에 의해) 디스플레이 디바이스들을 통해 표시된 콘텐츠 또는 가상 객체들을 보거나 이와 상호작용할 수 있다. 그러나, 일부 디스플레이 디바이스는 햅틱 피드백 능력들이 결여될 수 있다. 또한, 일부 디스플레이 디바이스 및 가상 현실 디바이스는 디스플레이 디바이스들을 통해 표시된 콘텐츠 또는 가상 객체들과 관련되거나 콘텐츠 또는 가상 객체들과의 사용자의 상호작용과 관련된 햅틱 피드백을 제공하지 않을 수 있다.
본 개시내용의 다양한 실시예들은 시야를 이용하는 햅틱 피드백을 위한 시스템들 및 방법들을 제공한다.
일 실시예에서, 본 개시내용의 시스템은 디스플레이 디바이스에 통신 가능하게 결합된 컴퓨팅 디바이스를 포함할 수 있다. 디스플레이 디바이스는 복수의 콘텐츠를 표시하도록 구성될 수 있다. 시스템은 또한 컴퓨팅 디바이스에 통신 가능하게 결합되고, 디스플레이 디바이스에 대한 컴퓨팅 디바이스의 사용자의 시야를 검출하고 시야와 연관된 신호를 송신하도록 구성된 센서를 포함할 수 있다. 시스템은 또한 신호를 수신하기 위해 센서에 통신 가능하게 결합된 프로세서를 포함한다. 프로세서는 신호에 적어도 부분적으로 기초하여 사용자의 시야의 방향을 결정하도록 구성될 수 있다. 프로세서는 또한 디스플레이 디바이스를 통해 표시되고 사용자의 시야의 방향 내에서의 콘텐츠가 햅틱 효과와 연관되는 것으로 결정하도록 구성될 수 있다. 프로세서는 콘텐츠와 연관된 햅틱 효과를 결정하고 콘텐츠와 연관된 햅틱 효과와 연관된 햅틱 신호를 송신하도록 더 구성될 수 있다. 시스템은 햅틱 신호를 수신하고 햅틱 효과를 출력하도록 구성되는 햅틱 출력 디바이스를 더 포함할 수 있다.
다른 실시예에서, 본 개시내용의 방법은 다음을 포함할 수 있다: 센서에 의해, 컴퓨팅 디바이스에 통신 가능하게 결합된 디스플레이 디바이스에 대한 컴퓨팅 디바이스의 사용자의 시야를 검출하는 단계- 디스플레이 디바이스는 복수의 콘텐츠를 표시하도록 구성됨 -; 센서에 의해, 시야와 연관된 센서 신호를 프로세서에 송신하는 단계; 프로세서에 의해, 센서 신호에 적어도 부분적으로 기초하여 시야의 방향을 결정하는 단계; 프로세서에 의해, 디스플레이 디바이스를 통해 표시된 콘텐츠가 시야의 방향에 기초하여 사용자의 시야 내에 있는 것으로 결정하는 단계; 프로세서에 의해, 콘텐츠와 연관된 햅틱 효과를 결정하는 단계; 프로세서에 의해, 햅틱 효과와 연관된 햅틱 신호를 햅틱 출력 디바이스에 송신하는 단계; 및 햅틱 출력 디바이스에 의해 햅틱 효과를 출력하는 단계.
이 예시적인 실시예는 본 발명 대상의 범위를 제한하거나 한정하기 위한 것이 아니라 오히려 본 발명 대상의 이해를 돕기 위한 예들을 제공하기 위해 언급되어 있다. 예시적인 실시예들이 상세한 설명에서 논의되고 있으며, 추가의 설명이 제공되어 있다. 다양한 실시예들에 의해 제공되는 이점들은 본 명세서를 검토함으로써 및/또는 특허청구범위 대상의 하나 이상의 실시예들을 실시함으로써 더욱 이해될 수 있다.
상세하고 실시가능한 개시 내용이 명세서의 나머지 부분에 더 구체적으로 기술되어 있다. 명세서에서는 이하의 첨부 도면을 참조한다
도 1은 일 실시예에 따른 시야를 이용하는 햅틱 피드백을 위한 시스템을 나타내는 블록도이다.
도 2는 일 실시예에 따른 시야를 이용하는 햅틱 피드백을 위한 시스템의 실시예를 도시한다.
도 3은 다른 실시예에 따른 시야를 이용하는 햅틱 피드백을 위한 시스템의 다른 실시예를 도시한다.
도 4는 다른 실시예에 따른 시야를 이용하는 햅틱 피드백을 위한 시스템의 실시예를 도시한다.
도 5는 일 실시예에 따른 시야를 이용하는 햅틱 피드백을 제공하는 방법을 수행하기 위한 단계들의 흐름도이다.
도 6은 일 실시예에 따른 시야를 이용하는 햅틱 피드백을 제공하는 다른 방법을 수행하기 위한 단계들의 흐름도이다.
도 7은 일 실시예에 따른 시야를 이용하는 햅틱 피드백을 제공하는 다른 방법을 수행하기 위한 단계들의 흐름도이다.
다양한 그리고 대안적인 예시적인 실시예들 및 첨부 도면들에 대한 참조가 이제 상세히 이루어질 것이다. 각각의 예는 설명으로써 제공되며 제한으로써 제공되는 것이 아니다. 본 기술분야의 통상의 기술자들은 수정들 및 변형들이 이루어질 수 있다는 것을 잘 알 것이다. 예를 들어, 일 실시예의 일부로서 예시되거나 기술되는 특징들이 다른 실시예에서 사용되어 또한 추가의 실시예를 산출할 수 있다. 따라서, 본 개시내용은 첨부된 청구항들의 범위 내에 있는 수정들 및 변형들 및 그들의 균등물들을 포함하도록 의도된다.
시야를 이용하는 햅틱 피드백의 예시적인 예들
본 개시내용의 일 예시적인 실시예는 비디오 스크린, 컴퓨터 또는 가상 현실 헤드셋과 같은 디스플레이 디바이스를 포함한다. 디스플레이 디바이스는 센서, 메모리 및 이들 요소들 각각과 통신하는 프로세서를 포함한다.
예시적인 실시예에서, 센서는 디스플레이 디바이스의 사용자(예를 들어, 디스플레이 디바이스를 보는 사용자 또는 디스플레이 디바이스를 향한 사용자)의 시야 또는 시선의 방향을 검출할 수 있다. 예를 들어, 디스플레이 디바이스는 콘텐츠(예를 들어, 텍스트들, 이미지들, 사운드들, 비디오들, 캐릭터들, 가상 객체들, 가상 애니메이션들 등)에 대한 사용자의 시야를 검출하기 위한 내장형 또는 근접 센서를 갖는 비디오 스크린을 포함할 수 있다. 센서는, 비디오 스크린 상에 표시되고 햅틱 효과와 연관된 콘텐츠가 사용자의 시야 내에 있는지를 결정하는 프로세서에 신호를 송신할 수 있다.
예시적인 실시예에서, 프로세서는 햅틱 효과와 연관된 콘텐츠가 사용자의 시야 내에 있는 것으로 결정한 것에 응답하여, 햅틱 효과와 연관된 햅틱 신호를 사용자와 연관된 햅틱 출력 디바이스(예를 들어, 햅틱 출력 디바이스를 포함하는, 사용자에 의해 착용되는 스마트와치)에 송신할 수 있다. 햅틱 출력 디바이스는 프로세서로부터 햅틱 신호를 수신하고 사용자의 시야에서의 콘텐츠와 연관된 하나 이상의 햅틱 효과를 출력하도록 구성된다. 예시적인 실시예에서, 햅틱 출력 효과는 사용자의 시야(예를 들어, 상호작용, 액션, 충돌, 또는 콘텐츠와 연관된 다른 이벤트)에서 콘텐츠와 관련된 하나 이상의 이벤트에 대응할 수 있다. 따라서, 예를 들어, 사용자는 사용자가 보고 있는 특정 가상 캐릭터와 연관된 햅틱 효과들을 인지할 수 있다.
예시적인 실시예에서, 센서는 또한 디스플레이 디바이스와 사용자 사이의 거리를 검출하고, 거리에 대응하는 센서 신호를 프로세서에 송신할 수 있고, 프로세서는 사용자와 디스플레이 디바이스 사이의 거리에 적어도 부분적으로 기초하여 햅틱 효과의 특성을 결정한다. 예를 들어, 프로세서는 거리에 기초하여 햅틱 효과의 크기, 지속기간, 빈도 등을 결정할 수 있다. 이 예시적인 실시예에서, 프로세서는 사용자와 컴퓨팅 디바이스 사이의 거리에 기초하여 햅틱 효과의 하나 이상의 특성을 변경 또는 조정할 수 있고 햅틱 효과를 출력하는 햅틱 출력 디바이스로 햅틱 신호를 송신할 수 있다. 따라서, 예를 들어, 사용자는 디스플레이 디바이스에 가까울 때 강한 햅틱 효과를, 또는 사용자가 디스플레이 디바이스로부터 멀리 있을 때 약한 햅틱 효과를 인지할 수 있다.
예시적인 실시예에서, 프로세서는 또한 사용자의 시야 내에서의 콘텐츠와 사용자 사이의 가상 또는 인지된 거리에 적어도 부분적으로 기초하여 햅틱 효과의 특성을 결정할 수 있다. 예를 들어, 디스플레이 디바이스를 통해 표시된 콘텐츠의 크기, 위치, 각도 또는 다른 특성은 (예를 들어, 프로세서에 의해) 콘텐츠가 사용자에 가까이 있거나 사용자로부터 멀리 있는 것으로서 사용자에 의해 인지되게 할 수 있다. 예로서, 디스플레이 디바이스를 통해 표시된 장면 내의 작은 가상 캐릭터는 사용자로부터 멀리 있는 것으로서 사용자에 의해 인지될 수 있다. 예시적인 실시예에서, 프로세서는 가상 또는 인지된 거리에 기초하여 햅틱 효과의 크기, 지속기간, 빈도(frequency) 등을 결정할 수 있다. 예로서, 프로세서는 사용자가 사용자와 가까이 있는 것으로서 인지하는 사용자의 시야 내에서의 콘텐츠에 대해 강한 햅틱 효과를 결정한다.
이러한 예시적인 예들은 독자들에게 본원에서 논의되는 일반적 발명을 소개하기 위하여 주어지며, 개시된 개념들의 범주를 제한하려는 의도는 아니다. 후속하는 섹션들은, 동일한 번호들이 동일한 요소들을 나타내는 도면들에 관해 다양한 추가적인 특징들 및 예들을 기술하며, 지향적 기재들은 예시적인 예들을 기술하기 위해 사용되지만, 예시적인 예들과 마찬가지로, 본 개시내용을 제한하도록 사용되지 않아야 한다.
시야에 기초한 햅틱 피드백을 위한 예시적인 시스템들
도 1은 일 실시예에 따른 시야에 기초한 햅틱 피드백을 위한 시스템(100)을 나타내는 블록도이다. 도 1에 도시된 실시예에서, 시스템(100)은 버스(106)를 통해 다른 하드웨어와 통신하는 프로세서(102)를 갖는 컴퓨팅 디바이스(101)를 포함한다. 컴퓨팅 디바이스(101)는 예를 들어, 모바일 디바이스(예를 들어, 스마트폰), 태블릿, e-리더, 스마트와치, 헤드-장착형 디스플레이, 안경, 착용 디바이스, 가상 현실 컴퓨팅 디바이스 등을 포함할 수 있다.
RAM, ROM, EEPROM 등과 같은 임의의 적합한 유형의(tangible)(그리고 비일시적인) 컴퓨터 판독가능한 매체를 포함할 수 있는 메모리(104)는 컴퓨팅 디바이스(101)의 동작을 구성하는 프로그램 컴포넌트들을 구현한다. 도시된 실시예에서, 컴퓨팅 디바이스(101)는 하나 이상의 네트워크 인터페이스 디바이스(110), 입/출력(I/O) 인터페이스 컴포넌트들(112) 및 스토리지(114)를 더 포함한다.
네트워크 인터페이스 디바이스(110)는 네트워크 접속을 용이하게 하는 임의의 컴포넌트들 중 하나 이상을 나타낼 수 있다. 예들은 이더넷, USB, IEEE 1394와 같은 유선 인터페이스들, 및/또는 IEEE 802.11, 블루투스, 또는 셀룰러 전화 네트워크에 액세스하기 위한 라디오 인터페이스들(예를 들어, CDMA, GSM, UMTS, 또는 다른 모바일 통신 네트워크에 액세스하기 위한 송수신기/안테나)과 같은 무선 인터페이스들을 포함하지만 이들에 제한되지 않는다.
I/O 컴포넌트들(112)은 하나 이상의 디스플레이(134), 게임 제어기, 키보드, 마우스, 조이스틱, 카메라, 버튼, 스피커, 마이크로폰 및/또는 데이터를 입력 또는 출력하기 위해 사용되는 다른 하드웨어와 같은 디바이스들에 대한 유선 또는 무선 접속을 용이하게 하도록 사용될 수 있다. 스토리지(114)는 컴퓨팅 디바이스(101)에 포함되거나 프로세서(102)에 결합된 자기, 광학 또는 다른 저장 매체와 같은 비휘발성 스토리지를 나타낸다.
일부 실시예들에서, 컴퓨팅 디바이스(101)는 터치 감응 표면(116)을 포함한다. 터치 감응 표면(116)은 사용자의 촉각 입력을 감지하도록 구성된 임의의 표면을 나타낸다. 하나 이상의 터치 센서(108)는 (예를 들어, 객체가 터치 감응 표면(116)에 접촉할 때) 터치 영역에서의 터치를 검출하고 터치와 연관된 신호들을 프로세서(102)에 송신하도록 구성된다. 터치 센서(108)의 임의의 적절한 수, 유형, 또는 배열이 사용될 수 있다. 예를 들어, 저항성 및/또는 용량성 센서들은 터치 감응 표면(116)에 내장되고 터치의 위치 및 다른 정보, 예컨대 압력, 스피드, 및/또는 방향을 결정하기 위해 사용될 수 있다.
터치 센서(108)는, 부가적으로 또는 대안적으로, 다른 유형의 센서들을 포함할 수 있다. 예를 들어, 터치 감응 표면(116)의 뷰를 가지는 광학 센서들이 사용되어 터치 위치를 결정할 수 있다. 다른 예로서, 터치 센서(108)는 디스플레이의 측면에 장착되는 LED(Light Emitting Diode)(발광 다이오드) 손가락 검출기를 포함할 수 있다. 일부 실시예들에서, 터치 센서(108)는 사용자 상호작용의 다수의 양태들을 검출하도록 구성될 수 있다. 예를 들어, 터치 센서(108)는 사용자 상호작용의 속도, 압력 및 방향을 검출하고, 이 정보를 프로세서(102)에 송신되는 신호에 포함시킬 수 있다. 따라서, 예를 들어, 컴퓨팅 디바이스(101)는 터치 감응 표면(116)(예를 들어, 터치 감응 스크린) 및 스마트폰 사용자가 터치 감응 표면(116)을 터치할 때 사용자 입력을 검출하기 위한 터치 센서(108)를 포함하는 스마트폰일 수 있다.
일부 실시예들에서, 컴퓨팅 디바이스(101)는 터치 감응 표면(116)과 컴퓨팅 디바이스(101)의 디스플레이(134)를 조합하는 터치 인에이블형 디스플레이를 포함한다. 터치 감응 표면(116)은 디스플레이(134) 상에 오버레이될 수 있거나, 디스플레이(134) 외부에 있을 수 있거나, 디스플레이(134)의 컴포넌트들 위의 하나 이상의 재료 층일 수 있다. 다른 실시예들에서, 컴퓨팅 디바이스(101)는 터치 인에이블형 디스플레이 상에 하나 이상의 가상 사용자 인터페이스 컴포넌트(예를 들어, 버튼들)를 포함하는 그래픽 사용자 인터페이스(“GUI”)를 표시할 수 있고 터치 감응 표면(116)은 가상 사용자 인터페이스 컴포넌트들과의 상호작용을 허용할 수 있다.
일부 실시예들에서, 컴퓨팅 디바이스(101)는 카메라(130)를 포함한다. 카메라(130)가 컴퓨팅 디바이스(101) 내부에 있는 것으로서 도 1에 도시되지만, 일부 실시예들에서, 카메라(130)는 컴퓨팅 디바이스(101) 외부에 있고 이와 통신할 수 있다. 예로서, 카메라(130)는 컴퓨팅 디바이스(101) 외부에 있고 예를 들어 이더넷, USB, IEEE 1394와 같은 유선 인터페이스들, 및/또는 IEEE1 802.11, 블루투스, 또는 라디오 인터페이스들과 같은 무선 인터페이스들을 통해 컴퓨팅 디바이스(101)와 통신할 수 있다.
일부 실시예들에서, 컴퓨팅 디바이스(101)는 하나 이상의 센서(132)를 포함한다. 일부 실시예들에서, 센서(132)는 예를 들어, 자이로스코프, 가속도계, GPS(global positioning system) 유닛, 거리 센서(range sensor), 깊이 센서, 블루투스 디바이스, 카메라, 적외선 센서, QR(quick response) 코드 센서 등을 포함할 수 있다. 일부 실시예들에서, 센서(132)는 컴퓨팅 디바이스(101) 외부에 있고, 컴퓨팅 디바이스(101)와 유선 또는 무선 통신한다.
일부 실시예들에서, 컴퓨팅 디바이스(101)는 웨어러블 디바이스(예를 들어, 안경, 헤드셋 등)를 포함할 수 있고 센서(132)는 컴퓨팅 디바이스(101)의 사용자의 시선, 가시선(line-of-sight) 또는 시야를 검출하기 위한 임의의 디바이스를 포함할 수 있다. 예를 들어, 센서(132)는 디스플레이(134) 또는 다른 디스플레이 디바이스(예를 들어, 디스플레이 디바이스(136)) 상에 표시된 콘텐츠(예를 들어, 텍스트들, 이미지들, 사운드들, 비디오들, 캐릭터들, 가상 객체들, 가상 애니메이션들 등)에 대한 사용자의 시야의 방향을 검출할 수 있다.
예로서, 센서(132)는 카메라를 포함하거나 카메라(130)에 통합될 수 있다. 이러한 센서는 컴퓨팅 디바이스(101)의 사용자의 눈의 이미지를 캡처하도록 구성될 수 있고, 프로세서(102)는 다양한 이미지 처리 방법들 및 기술들을 이용하는 것에 의해 이미지에 적어도 부분적으로 기초하여 디스플레이(134) 또는 디스플레이 디바이스(136) 상에 표시된 콘텐츠에 대해 컴퓨팅 디바이스(101)의 사용자의 시야의 방향을 결정할 수 있다. 다른 실시예에서, 센서(132)는 컴퓨팅 디바이스(101)의 사용자의 눈 근처의 근육들 또는 사용자의 눈의 움직임을 모니터링하도록 구성되고 프로세서(102)는 모니터링된 움직임에 적어도 부분적으로 기초하여 디스플레이(134) 또는 디스플레이 디바이스(136) 상의 콘텐츠에 대해 사용자의 시야의 방향을 결정하도록 구성된다. 또 다른 실시예에서, 센서(132)는 컴퓨팅 디바이스(101)의 사용자의 눈을 움직이는 근육들의 전기적 활동을 모니터링 또는 측정하도록 구성될 수 있고 프로세서(102)는 디스플레이(134) 또는 디스플레이 디바이스(136) 상의 콘텐츠에 대해 사용자의 시야의 방향을 결정하도록 구성될 수 있다. 일부 실시예들에서, 센서(132)는 예를 들어, 기능적 자기 공명 영상(“fMRI”) 또는 뇌전도(“EEG”)와 연관된 센서들을 포함하는 사용자의 의도 또는 자유 의지를 결정하기 위해 이용되는 다른 센서들을 포함할 수 있다. 또 다른 실시예에서, 센서(132)는 예를 들어 사용자의 신체 또는 머리 자세를 분석하는 것을 포함하는 다양한 방법들 및 기술들을 통해 사용자의 시선, 가시선 또는 시야를 검출할 수 있다. 예로서, 센서(132)는 사용자의 머리의 움직임을 검출하거나 사용자의 머리 자세를 검출하고 프로세서(102)에 대한 사용자의 머리의 움직임에 관한 데이터 또는 사용자의 머리 자세에 관한 데이터를 송신하기 위한 헤드-장착형 디스플레이 또는 헤드-장착형 센서를 포함할 수 있고, 프로세서는 이 데이터에 기초하여 컴퓨팅 디바이스(101)의 사용자의 시야의 방향을 결정할 수 있다.
일부 실시예들에서, 센서(132)는 디스플레이 디바이스(136)의 위치를 검출할 수 있다. 예로서, 센서(132)는 센서(132)와 디스플레이 디바이스 사이의 신호 세기를 분석하는 것에 의해 다른 블루투스 디스플레이 디바이스(예를 들어, 디스플레이 디바이스(136)는 블루투스 디스플레이 디바이스일 수 있음)의 위치를 검출하도록 구성된 블루투스 디바이스 또는 다른 네트워크 디바이스일 수 있다. 일부 실시예들에서, 센서(132)는 (예를 들어, 센서(132)와 디스플레이 디바이스(136) 사이의 블루투스 신호의 세기에 기초하여) 센서(132), 컴퓨팅 디바이스(101), 또는 컴퓨팅 디바이스(101)의 사용자와 디스플레이 디바이스(136) 사이의 거리를 검출할 수 있다. 일부 실시예들에서, 센서(132)는 임의의 적합한 방법 또는 기술을 통해 디스플레이 디바이스(136)의 위치, 또는 센서(132), 컴퓨팅 디바이스(101) 또는 컴퓨팅 디바이스(101)의 사용자와 디스플레이 디바이스(136) 사이의 거리를 검출할 수 있다.
일부 실시예들에서, 프로세서(102)는 단일 센서(132)와 통신할 수 있고, 다른 실시예들에서, 프로세서(102)는 복수의 센서(132), 예를 들어, 카메라, 적외선 센서, 및 블루투스 디바이스와 통신할 수 있다. 센서(132)는 센서 신호들을 프로세서(102)에 송신하도록 구성된다.
일부 실시예들에서, 시스템(100)은 프로세서(102)와 통신하는 햅틱 출력 디바이스(118)를 더 포함한다. 햅틱 출력 디바이스(118)는 햅틱 신호에 응답하여 햅틱 효과를 출력하도록 구성된다. 예를 들어, 햅틱 출력 디바이스(118)는 프로세서(102)로부터의 햅틱 신호에 응답하여 햅틱 효과를 출력할 수 있다. 일부 실시예들에서, 햅틱 출력 디바이스(118)는 예를 들어, 진동, 스퀴즈(squeeze), 포크(poke), 인지된 마찰 계수의 변화, 시뮬레이팅된 텍스처, 스트로킹 센세이션, 전기 촉각 효과, 또는 표면 변형(예를 들어, 컴퓨팅 디바이스(101)와 연관된 표면의 변형), 및/또는 고체, 액체 또는 가스의 퍼프(puff)를 포함하는 햅틱 효과를 출력하도록 구성된다. 또한, 일부 햅틱 효과는 동일하거나 상이한 유형들의 다수의 햅틱 출력 디바이스(118)를 순차적으로 및/또는 일제히 이용할 수 있다.
단일 햅틱 출력 디바이스(118)가 도 1에 도시되어 있지만, 일부 실시예는 햅틱 효과들을 생성하기 위해 동일하거나 상이한 유형의 다수의 햅틱 출력 디바이스(118)를 이용할 수 있다. 또한, 일부 실시예들에서, 햅틱 출력 디바이스(118)는 프로세서(102)와 통신하며 컴퓨팅 디바이스(101) 내부에 있다. 일부 실시예들에서, 햅틱 출력 디바이스(118)는 컴퓨팅 디바이스(101)의 외부에 있고 (예를 들어, 이더넷, USB, IEEE 1394와 같은 유선 인터페이스들 및/또는 IEEE 802.11, 블루투스 또는 라디오 인터페이스들과 같은 무선 인터페이스들을 통해) 컴퓨팅 디바이스(101)와 통신한다. 예를 들어, 햅틱 출력 디바이스(118)는 웨어러블 디바이스(예를 들어, 손목밴드, 팔찌, 모자, 헤드셋, 머리띠 등)과 연관되고(예를 들어, 결합되고) 프로세서(102)로부터 햅틱 신호들을 수신하도록 구성될 수 있다.
일부 실시예들에서, 햅틱 출력 디바이스(118)는 진동을 포함하는 햅틱 효과를 출력하도록 구성된다. 햅틱 출력 디바이스(118)는, 예를 들어 압전 액추에이터, 전기 모터, 전자기 액추에이터, 보이스 코일, 형상 기억 합금, 전기 활성 폴리머(electro-active polymer), 솔레노이드, 편심 회전 질량 모터(ERM)(eccentric rotating mass motor) 또는 선형 공진 액추에이터(LRA)(linear resonant actuator) 중 하나 이상을 포함할 수 있다.
일부 실시예들에서, 햅틱 출력 디바이스(118)는 햅틱 출력 디바이스(118)와 연관되는 표면의 인지된 마찰 계수를 조절하는 햅틱 효과를 출력하도록 구성된다. 일 실시예에서, 햅틱 출력 디바이스(118)는 초음파 액추에이터를 포함한다. 초음파 액추에이터는 햅틱 출력 디바이스(118)와 연관된 표면의 인식된 마찰 계수를 증가 또는 감소시키는 초음파 주파수, 예를 들어 20kHz로 진동할 수 있다. 일부 실시예들에서, 초음파 액추에이터는 압전 재료를 포함할 수 있다.
일부 실시예들에서, 햅틱 출력 디바이스(118)는, 정전기 인력을 이용하여, 예를 들어, 정전기 액추에이터의 이용에 의해, 햅틱 효과를 출력한다. 햅틱 효과는 시뮬레이팅된 텍스처, 시뮬레이팅된 진동, 스트로킹 센세이션, 또는 컴퓨팅 디바이스(101)와 연관된 표면(예를 들어, 터치 감응 표면(116)) 상의 마찰 계수의 인지된 변화를 포함할 수 있다. 일부 실시예들에서, 정전 액추에이터는 도전층 및 절연층을 포함할 수 있다. 도전층은 임의의 반도체, 또는 구리, 알루미늄, 금 또는 은과 같은 다른 도전성 재료일 수 있다. 절연층은 유리, 플라스틱, 폴리머, 또는 임의의 다른 절연 재료일 수 있다. 또한, 프로세서(102)는 도전층에 전기 신호, 예를 들어 AC 신호를 인가함으로써 정전 액추에이터를 동작시킬 수 있다. 일부 실시예들에서, 고전압 증폭기는 AC 신호를 생성할 수 있다. 전기 신호는 터치 감응 표면(116) 근처에 있거나 이것을 터치하는 객체(예를 들어, 사용자의 손가락 또는 다른 신체 부위, 또는 스타일러스)와 도전층 사이에 용량성 결합을 생성할 수 있다. 객체와 도전층 사이의 인력 레벨들을 변화시키는 것은 사용자에 의해 인지되는 햅틱 효과를 변화시킬 수 있다.
일부 실시예들에서, 햅틱 출력 디바이스(118)는 변형 햅틱 효과(deformation haptic effect)를 출력하도록 구성되는 변형 디바이스를 포함한다. 변형 햅틱 효과는 컴퓨팅 디바이스(101)와 연관되는 표면의 부분들을 높이거나 낮추는 것을 포함할 수 있다. 예를 들어, 변형 햅틱 효과는 터치 감응 표면(116)의 부분들을 높이는 것을 포함할 수 있다. 일부 실시예들에서, 변형 햅틱 효과는 컴퓨팅 디바이스(101)와 연관된 표면을 구부리기(bending), 접기(folding), 말기(rolling), 비틀기(twisting), 스퀴징(squeezing), 플렉싱(flexing), 형상을 변경, 또는 다른 방식으로 변형하는 것을 포함할 수 있다. 예를 들어, 변형 햅틱 효과는 컴퓨팅 디바이스(101) 또는 컴퓨팅 디바이스(101)와 연관된 표면(예를 들어, 터치 감응 표면(116)) 상에 힘을 가할 수 있어, 이것이 구부러지거나, 접히거나, 말리거나, 비틀리거나, 스퀴징되거나, 플렉싱되거나, 형상을 변경하거나, 또는 다른 방식으로 변형되게 한다.
일부 실시예들에서, 햅틱 출력 디바이스(118)는 변형 햅틱 효과를 출력하기 위해 (예를 들어, 컴퓨팅 디바이스(101)와 연관되는 표면을 구부리거나 변형시키기 위해) 구성되는 유체(fluid)를 포함한다. 예를 들어, 유체는 스마트 겔을 포함할 수 있다. 스마트 겔은 자극 또는 자극들(예를 들어, 전기장, 자기장, 온도, 자외선 광, 흔들기, 또는 pH 변경)에 응답하여 변경하는 기계적 또는 구조적 특징들을 가지는 유체를 포함한다. 예를 들어, 자극에 응답하여, 스마트 겔은 강성, 부피, 투명도, 및/또는 색을 변경할 수 있다. 일부 실시예들에서, 강성은 변형에 대한, 컴퓨팅 디바이스(101)와 연관된 표면(예를 들어, 터치 감응 표면(116))의 저항을 포함할 수 있다. 일부 실시예들에서, 하나 이상의 와이어가 스마트 겔에 내장되거나 이에 결합될 수 있다. 전류가 와이어들을 통해 흐름에 따라, 열이 방출되어 스마트 겔이 팽창하거나 수축하도록 하는데, 이는 컴퓨팅 디바이스(101) 또는 컴퓨팅 디바이스(101)와 연관된 표면이 변형하도록 할 수 있다.
다른 예로서, 유체는 유변(rheological)(예를 들어, 자기-유변 또는 전기-유변) 유체를 포함할 수 있다. 유변 유체는 유체(예를 들어, 기름 또는 물) 내에 떠 있는 금속 입자들(예를 들어, 철 입자들)을 포함한다. 전기장 또는 자기장에 응답하여, 유체 내의 분자들의 순서가 재정렬되어, 유체의 전체적인 감쇠 및/또는 점도를 변경시킬 수 있다. 이는 컴퓨팅 디바이스(101) 또는 컴퓨팅 디바이스(101)와 연관된 표면이 변형되도록 할 수 있다.
일부 실시예들에서, 햅틱 출력 디바이스(118)는 기계적 변형 디바이스를 포함한다. 예를 들어, 일부 실시예들에서, 햅틱 출력 디바이스(118)는 변형 컴포넌트를 회전시키는 암(arm)에 결합되는 액추에이터를 포함할 수 있다. 변형 컴포넌트는, 예를 들어, 타원, 스타버스트(starburst), 또는 주름 형상을 포함할 수 있다. 변형 컴포넌트는 일부 회전각들에서 컴퓨팅 디바이스(101)와 연관된 표면을 이동시키도록 구성될 수 있지만, 다른 회전 각들에서는 그렇지 않을 수 있다. 액추에이터는 압전 엑추에이터, 회전/선형 액추에이터, 솔레노이드, 전기 활성 폴리머 액추에이터, 매크로 섬유 복합재(macro fiber composite)(MFC) 액추에이터, 형상 기억 합금(shape memory alloy)(SMA) 액추에이터, 및/또는 기타 액추에이터를 포함할 수 있다. 액추에이터가 변형 컴포넌트를 회전시킬 때, 변형 컴포넌트는 표면을 움직여서, 표면이 변형되게 할 수 있다. 이러한 실시예에서, 변형 컴포넌트는 표면이 평탄한 위치에서 시작할 수 있다. 프로세서(102)로부터 신호를 수신하는 것에 응답하여, 액추에이터는 변형 컴포넌트를 회전시킬 수 있다. 변형 컴포넌트를 회전시키는 것은 표면의 하나 이상의 부분이 높아지거나 낮아지도록 할 수 있다. 일부 실시예들에서, 변형 컴포넌트는 프로세서(102)가 액추에이터에게 변형 컴포넌트를 회전시켜 그 최초 위치로 돌아가도록 시그널링할 때까지 이 회전된 상태로 남아 있을 수 있다.
또한, 다른 기술들 또는 방법들이 컴퓨팅 디바이스(101)와 연관된 표면을 변형시키기 위해 이용될 수 있다. 예를 들어, 햅틱 출력 디바이스(118)는 표면 재구성 가능 햅틱 기판(예를 들어, 섬유들, 나노 튜브들, 전기 활성 폴리머들, 압전 요소들, 또는 형상 기억 합금들을 포함하지만 이에 제한되지 않음)으로부터의 접촉에 기초하여 그 표면을 변형시키거나 또는 그 텍스처를 변경하도록 구성되는 가요성 표면층(flexible surface layer)을 포함할 수 있다. 일부 실시예들에서, 햅틱 출력 디바이스(118)는, 예를 들어, 변형 메커니즘(예를 들어, 와이어들에 결합된 모터), 공기 또는 유체 포켓들, 재료들의 국부적 변형, 공진 기계식 요소들, 압전 재료들, 마이크로-전기기계 시스템("MEMS") 요소들 또는 펌프들, 열 유체 포켓들, 가변 다공성 막들(variable porosity membranes), 또는 층류 변조(laminar flow modulation)에 의해 변형된다.
메모리(104)로 되돌아 가면, 일부 실시예들에서 시야를 이용하는 햅틱 피드백을 제공하기 위해 디바이스가 어떻게 구성될 수 있는지를 나타내는 모듈들(124, 126, 128 및 129)이 도시되어 있다. 일부 실시예들에서, 모듈들(124, 126, 128 및 129)은 하나 이상의 동작을 수행하도록 프로세서(102)를 구성할 수 있는 프로세서 실행 가능 명령어들을 포함할 수 있다.
이 예에서, 검출 모듈(124)은 터치의 위치를 결정하기 위해서 터치 센서(108)를 통해 터치 감응 표면(116)을 모니터링하도록 프로세서(102)를 구성할 수 있다. 예로서, 검출 모듈(124)은, 터치의 존재 또는 부재를 추적하기 위해, 터치가 존재하면, 터치의 위치, 경로, 속도, 가속도, 압력 및/또는 다른 특성들 중 하나 이상을 시간에 대해 추적하기 위해, 터치 센서(108)를 샘플링할 수 있다.
일부 실시예들에서, 콘텐츠 제공 모듈(129)은 콘텐츠(예를 들어, 텍스트들, 이미지들, 사운드들, 비디오들, 캐릭터들, 가상 객체들, 가상 애니메이션들 등)를 사용자(예를 들어, 컴퓨팅 디바이스(101)의 사용자 또는 다른 사용자)에게 제공하도록 프로세서(102)를 구성한다. 콘텐츠가 컴퓨터 생성 이미지들을 포함하는 경우, 콘텐츠 제공 모듈(129)은 디스플레이 디바이스(예를 들어, 컴퓨팅 디바이스(101)의 디스플레이(134), 디스플레이 디바이스(136) 또는 프로세서(102)에 통신 가능하게 결합된 다른 디스플레이) 상에 표시하기 위한 이미지들을 생성하도록 구성된다. 콘텐츠가 비디오 및/또는 정지 이미지들을 포함하는 경우, 콘텐츠 제공 모듈(129)은 비디오 및/또는 정지 이미지들에 액세스하고, 디스플레이 디바이스 상에 표시하기 위한 비디오 및/또는 정지 이미지들의 뷰들을 생성하도록 구성된다. 콘텐츠가 오디오 콘텐츠를 포함하는 경우, 콘텐츠 제공 모듈(129)은 대응하는 사운드들을 출력하기 위해, 디스플레이(134) 또는 디스플레이 디바이스(136)의 일부일 수 있는, 스피커를 구동할 전자 신호들을 생성하도록 구성된다. 일부 실시예들에서, 콘텐츠 또는 콘텐츠가 유도되는 정보는 도 1에 도시된 바와 같이 컴퓨팅 디바이스(101)의 일부일 수 있거나 컴퓨팅 디바이스(101)와 분리되고 컴퓨팅 디바이스(101)에 통신 가능하게 결합될 수 있는 스토리지(114)로부터 콘텐츠 제공 모듈(129)에 의해 획득될 수 있다. 일부 실시예들에서, 콘텐츠 제공 모듈(129)은 프로세서(102)가 콘텐츠를 다른 디바이스에 송신하게 할 수 있다. 예로서, 콘텐츠 제공 모듈(129)은 콘텐츠를 생성하거나 이에 액세스하고 프로세서로 하여금 디스플레이 디바이스(136)에 콘텐츠를 송신하게 할 수 있다.
예로서, 콘텐츠 제공 모듈(129)은 프로세서(102)로 하여금 디스플레이(134) 또는 디스플레이 디바이스(136) 상에 표시하기 위한 가상 환경을 생성하게 할 수 있다. 가상 환경은 부분적으로 또는 전체적으로 가상인 환경을 포함할 수 있다. 예를 들어, 가상 환경은 증강 현실 환경, 가상 현실 환경, 비디오 게임 환경 등을 포함할 수 있다. 예시적인 예로서, 프로세서(102)는 디스플레이(134) 또는 디스플레이 디바이스(136) 상의 비디오 게임과 연관된 가상 현실 환경을 생성할 수 있다. 가상 현실 환경은 컴퓨팅 디바이스(101)의 사용자가 상호작용할 수 있는 가상 객체들(예를 들어, 캐릭터들, 차량들, 버튼들, 슬라이더들, 노브들, 아이콘들 또는 다른 사용자 인터페이스 컴포넌트들)을 포함할 수 있다. 예를 들어, 사용자는 I/O 컴포넌트들(112)을 통해 컴퓨팅 디바이스(101)에 통신 가능하게 결합될 수 있는 게임 제어기, 키보드, 마우스, 조이스틱 등을 이용하여 가상 현실 환경과 상호작용할 수 있다. 프로세서(102)는 I/O 컴포넌트들(112)을 통해 신호들을 수신하고 I/O 컴포넌트들(112)로부터의 신호들에 기초하여 가상 현실 환경 내의 가상 객체와의 상호작용 및/또는 가상 객체의 조작을 결정할 수 있다. 프로세서(102)는 상호작용 및/또는 조작이 가상 환경 내에서 발생하게 할 수 있다. 따라서, 사용자는 가상 현실 환경에서 가상 객체들과 상호작용하거나 가상 객체를 조작할 수 있다.
일부 실시예들에서, 햅틱 효과 결정 모듈(126)은 생성할 햅틱 효과를 결정하기 위해 데이터를 분석하는 프로그램 컴포넌트를 나타낸다. 햅틱 효과 결정 모듈(126)은 하나 이상의 알고리즘 또는 룩업 테이블들을 이용하여 출력할 하나 이상의 햅틱 효과를 선택하는 코드를 포함할 수 있다. 일부 실시예들에서, 햅틱 효과 결정 모듈(126)은 햅틱 효과를 결정하기 위해 프로세서(102)에 의해 이용가능한 하나 이상의 알고리즘 또는 룩업 테이블을 포함한다.
특히, 일부 실시예들에서, 햅틱 효과 결정 모듈(126)은 센서(132)로부터 수신된 센서 신호들에 적어도 부분적으로 기초하여 햅틱 효과를 결정할 수 있다. 예를 들어, 센서(132)는 컴퓨팅 디바이스(101)의 사용자의 시선, 가시선 또는 시야의 방향을 검출하고 센서 신호를 프로세서(102)에 송신할 수 있다. 프로세서(102)는 센서 신호를 수신하고 사용자의 시선 또는 시야의 방향을 결정할 수 있다. 햅틱 효과 결정 모듈(126)은 사용자의 시선 또는 시야의 결정된 방향에 적어도 부분적으로 기초하여 햅틱 효과를 결정할 수 있다.
예를 들어, 일 실시예에서, 햅틱 효과 결정 모듈(126)은 프로세서(102)가 컴퓨팅 디바이스(101)에 의해(예를 들어, 콘텐츠 제공 모듈(129)을 이용하여) 제공될 수 있는 다양한 콘텐츠와 연관된 다양한 햅틱 효과들에 대응하는 데이터를 포함하는 하나 이상의 룩업 테이블 또는 데이터베이스에 액세스하게 할 수 있다. 햅틱 효과 결정 모듈(126)은 또한 프로세서(102)로 하여금 컴퓨팅 디바이스(101)에 의해 표시되는 다양한 콘텐츠의 포지션(position) 또는 위치(location)(예를 들어, 디스플레이(134) 또는 디스플레이 디바이스(136)를 통해 표시될 수 있는 다양한 콘텐츠의 포지션 또는 위치)에 대응하는 데이터를 포함하는 하나 이상의 룩업 테이블 또는 데이터베이스에 액세스하게 할 수 있다. 이 실시예에서, 프로세서(102)는 하나 이상의 룩업 테이블 또는 데이터베이스에 액세스하고 사용자의 시선 또는 시야의 결정된 방향에 기초하여 사용자가 보고 있는 콘텐츠와 연관된 하나 이상의 햅틱 효과를 선택할 수 있다. 예로서, 프로세서(102)는 사용자가 디스플레이(134)를 통해 컴퓨팅 디바이스(101)에 의해 제공되는 특정 가상 객체 또는 캐릭터를 보고 있거나 또는 그 방향으로 보고 있는 것으로 결정할 수 있다. 이 결정에 기초하여, 프로세서(102)는 특정 가상 객체 또는 캐릭터와 연관된 햅틱 효과를 선택할 수 있다. 일부 예들에서, 햅틱 효과는 사용자가 사용자가 보고 있는 콘텐츠와 관련된 햅틱 효과들을 인지하거나 경험하게 할 수 있다. 예를 들어, 사용자가 그 엔진 회전 속도를 올리고 있는 차량을 보고 있는 경우, 햅틱 효과는 사용자가 엔진의 속도를 올리는 것을 인지하게 할 수 있는 진동 또는 일련의 진동들을 포함할 수 있다.
프로세서(102)는 또한 사용자가 하나 이상의 햅틱 효과와 연관된 콘텐츠를 보고 있거나 또는 그 방향으로 보고 있는 것으로 결정하고, 사용자와 콘텐츠 사이의 가상 또는 인지된 거리에 기초하여 햅틱 효과의 특성(예를 들어, 크기, 지속기간, 위치, 유형, 빈도 등)을 결정할 수 있다. 예를 들어, 일 실시예에서, 햅틱 효과 결정 모듈(126)은 프로세서(102)가 사용자와 콘텐츠 사이의 인지가능한 또는 가상 거리(예를 들어, 사용자가 콘텐츠를 사용자 근처에 있는 것으로서 인지할 것인지 또는 사용자로부터 멀리 있는 것으로서 인지할 것인지)에 대응하는 데이터 및/또는 사용자와 콘텐츠 사이의 인지가능 또는 가상 거리를 조정하거나 수정하기 위해 이용될 수 있는 콘텐츠의 다양한 파라미터들(예를 들어, 크기, 디스플레이 디바이스 상의 위치, 콘텐츠의 디스플레이 앵글 등)에 대응하는 데이터를 포함하는 하나 이상의 룩업 테이블 또는 데이터베이스에 액세스하게 할 수 있다. 예로서, 가상 캐릭터는 작은 가상 캐릭터로서 디스플레이(134)를 통해 표시되어 사용자가 가상 캐릭터를 사용자로부터 멀리 있는 것으로서 인지하게 할 수 있다. 이 예시적인 실시예에서, 프로세서(102)는 하나 이상의 룩업 테이블 또는 데이터베이스에 액세스하여 사용자와 콘텐츠 사이의 가상 또는 인지가능한 거리를 결정하고 인지된 가상 또는 인지된 거리에 기초하여 햅틱 효과의 특성을 결정할 수 있다. 예로서, 프로세서(102)는, 사용자가 가상 객체를 사용자로부터 멀리 있는 것으로서 인지하도록 작은 가상 객체로서 디스플레이(134)를 통해 표시되고 있는 가상 객체를 사용자가 보고 있거나, 그 방향으로 보고 있는 것으로 결정할 수 있다. 프로세서(102)는 가상 객체를 멀리 있는 것으로서 인지하는 사용자에 기초하여 가상 객체와 연관된 약한 햅틱 효과를 결정할 수 있다. 따라서, 예를 들어, 사용자가 장면의 배경에서 위 아래로 점프하는 작은 캐릭터를 보고 있는 경우(예를 들어, 캐릭터가 사용자로부터 멀리 있다고 사용자가 인지하는 경우), 햅틱 효과는 약한 진동일 수 있다.
다른 실시예에서, 프로세서(102)는 사용자가 하나 이상의 햅틱 효과와 연관된 다수의 콘텐츠를 보고 있거나, 그 방향으로 보고 있는 것으로 결정할 수 있다. 이 실시예에서, 햅틱 효과 결정 모듈(126)은 프로세서(102)가 사용자가 보고 있는 각각의 콘텐츠에 기초하여 햅틱 효과를 결정하게 할 수 있다. 예로서, 프로세서(102)는 사용자가 디스플레이(134)를 통해 컴퓨팅 디바이스(101)에 의해 제공되는 제1 가상 캐릭터를 보고 있거나 또는 그 방향으로 보고 있는 것으로 결정할 수 있다. 이 결정에 기초하여, 프로세서(102)는 제1 가상 캐릭터와 연관된 제1 햅틱 효과(예를 들어, 진동)를 선택할 수 있다. 프로세서(102)는 또한 디스플레이(134)를 통해 컴퓨팅 디바이스(101)에 의해 제공되는 제2 가상 캐릭터를 사용자가 보고 있거나 또는 그 방향으로 보고 있는 것으로 결정할 수 있다(예를 들어, 제1 가상 캐릭터가 제2 가상 캐릭터 근처에 위치하는 경우, 예를 들어, 사용자는 제1 및 제2 가상 캐릭터들을 동시에 보고 있을 수 있음). 이 결정에 기초하여, 프로세서는 제2 가상 캐릭터와 연관된 제2 햅틱 효과를 선택할 수 있다. 일부 실시예들에서, 제1 가상 캐릭터와 연관된 제1 햅틱 효과는 제2 가상 캐릭터와 연관된 제2 햅틱 효과와 상이할 수 있다. 일부 실시예들에서, 프로세서(102)는 보고 있는 사용자, 또는 제1 및 제2 가상 캐릭터들의 방향으로 보고 있는 사용자에 기초하여 제1 가상 캐릭터와 연관된 제1 햅틱 효과의 부분과 제2 가상 캐릭터와 연관된 제2 햅틱 효과의 부분의 조합을 포함하는 제3 햅틱 효과를 선택하고 결정할 수 있다.
일부 실시예들에서, 프로세서(102)는 또한 사용자가 하나 이상의 햅틱 효과와 연관된 다양한 콘텐츠를 보고 있거나 그 방향으로 보고 있는 것으로 결정하는 것에 응답하여 제1, 제2 또는 제3 햅틱 효과의 특성을 선택하거나 결정할 수 있다. 예를 들어, 프로세서(102)는 제1 가상 캐릭터 또는 제2 가상 캐릭터를 향해 지향되는 사용자의 시야의 비율에 기초하여 제1, 제2 또는 제3 햅틱 효과의 크기를 결정할 수 있다. 예로서, 프로세서(102)는 사용자의 시야의 절반이 제1 가상 캐릭터를 향해 지향되고, 사용자의 시야의 절반이 제2 가상 캐릭터를 향해 지향되는 것으로 결정할 수 있다. 이러한 결정에 기초하여, 프로세서(102)는 제1 가상 캐릭터와 연관된 제1 햅틱 효과의 크기를 크기의 절반으로 조정할 수 있고, 제2 가상 캐릭터와 연관된 제2 햅틱 효과의 크기를 크기의 절반으로 조정할 수 있다. 따라서, 일부 예들에서, 컴퓨팅 디바이스(101)의 사용자에 의해 인지되는 햅틱 효과의 특성은 디스플레이(134) 또는 디스플레이 디바이스(136)에 의해 표시된 콘텐츠를 향해 지향되는 사용자의 시선, 가시선 또는 사용자의 시야의 부분에 비례하거나 그에 의존하여 변할 수 있다.
다른 실시예에서, 프로세서(102)는 센서 신호들에 기초하여 사용자가 디스플레이 디바이스(136) 또는 디스플레이(134)의 부분을 보고 있거나 그 방향으로 보고 있는 것으로 결정할 수 있다. 예를 들어, 센서(132)는 사용자의 시선 또는 시야 방향이 디스플레이 디바이스(136) 또는 디스플레이(134)의 제1 부분을 향하는 것을 검출하고 사용자의 시선 또는 시야 방향을 지시하는 센서 신호를 프로세서(102)에 송신할 수 있다. 프로세서(102)는 센서 신호를 수신하고 사용자의 시선 또는 시야의 방향을 결정할 수 있다. 햅틱 효과 결정 모듈(126)은 프로세서(102)가 디스플레이 디바이스(136) 또는 디스플레이(134)의 다양한 부분들, 또는 그 상에서의 위치들과 연관된 다양한 햅틱 효과들에 대응하는 데이터를 포함하는 하나 이상의 룩업 테이블 또는 데이터베이스에 액세스하게 할 수 있다. 프로세서(102)는 하나 이상의 룩업 테이블 또는 데이터베이스에 액세스하고 사용자가 그를 또는 그를 향해 보고 있는 디스플레이 디바이스(136) 또는 디스플레이(134)의 제1 부분과 연관된 하나 이상의 햅틱 효과를 선택할 수 있다. 예로서, 프로세서(102)는 사용자가 디스플레이(134)의 좌측 부분을 보거나 그 방향으로 보고 있는 것으로 결정할 수 있다. 이 결정에 기초하여, 프로세서(102)는 디스플레이(134)의 좌측 부분과 연관된 햅틱 효과를 선택할 수 있다. 일부 예들에서, 햅틱 효과는 컴퓨팅 디바이스(101)의 사용자가 사용자가 보고 있는 디스플레이(134) 또는 디스플레이 디바이스(136)의 부분 상에 표시되고 있는 콘텐츠와 관련된 햅틱 효과들을 인지하거나 경험하게 할 수 있다. 예를 들어, 사용자가 충돌 또는 일련의 충돌들이 표시되고 있는 디스플레이(134)의 부분을 보고 있는 경우, 햅틱 효과는 사용자가 하나 이상의 충돌과 연관된 햅틱 효과들을 경험하게 할 수 있는 각각의 충돌에 대응하는 진동 또는 일련의 진동들을 포함할 수 있다.
일부 실시예들에서, 프로세서(102)는 사용자가 디스플레이(134) 또는 디스플레이 디바이스(136)의 다수의 부분을 보고 있거나 그 방향으로 보고 있는 것으로 결정할 수 있다. 이 실시예에서, 햅틱 효과 결정 모듈(126)은 프로세서(102)가 디스플레이(134) 또는 디스플레이 디바이스(136)의 다수의 부분을 보고 있는 사용자에 기초하여 햅틱 효과를 결정하게 할 수 있다. 프로세서(102)는 또한 사용자가 디스플레이(134) 또는 디스플레이 디바이스(136)의 다수의 부분을 보고 있거나 그 방향으로 보고 있는 것으로 결정한 것에 응답하여 햅틱 효과의 특성(예를 들어, 크기, 지속기간, 위치, 유형, 빈도 등)을 선택하거나 결정할 수 있다.
예로서, 프로세서(102)는 사용자가 디스플레이(134)의 제1 부분을 보고 있거나 그 방향으로 보고 있는 것으로 결정할 수 있다. 프로세서(102)는 또한 사용자가 디스플레이(134)의 제2 부분을 보고 있거나 그 방향으로 보고 있는 것으로 결정할 수 있다. 예를 들어, 제1 부분은 디스플레이(134)의 상부 부분일 수 있고, 제2 부분은 디스플레이(134)의 좌측 부분일 수 있고, 사용자는 제1 및 제2 부분들을 동시에 볼 수 있다(예를 들어, 디스플레이(134)의 좌상 부분을 볼 수 있음). 프로세서(102)는 디스플레이(134)의 제1 및 제2 부분들을 보고 있는 사용자에 기초하여 하나 이상의 햅틱 효과를 포함할 수 있는 햅틱 효과(예를 들어, 진동)를 결정할 수 있다. 예를 들어, 프로세서(102)는 디스플레이(134)의 상부 부분, 좌측 부분 또는 좌상 부분과 연관된 햅틱 효과를 선택할 수 있다. 일부 예들에서, 프로세서(102)는 상부 부분과 연관된 제1 햅틱 효과 및 좌측 부분과 연관된 제2 햅틱 효과를 선택할 수 있다. 일부 예들에서, 디스플레이(134)의 상부 부분과 연관된 햅틱 효과는 디스플레이(134)의 좌측 부분과 연관된 햅틱 효과와 상이할 수 있다.
일부 실시예들에서, 프로세서(102)는 디스플레이(134)의 상부 부분 또는 좌측 부분을 향해 지향된 사용자의 시야의 비율에 기초하여 햅틱 효과의 크기를 결정할 수 있다. 예로서, 프로세서(102)는 사용자의 시야의 1/3이 디스플레이(134)의 상부 부분을 향해 지향되고 사용자의 시야의 2/3가 디스플레이(134)의 좌측 부분을 향해 지향되는 것으로 결정할 수 있다. 이러한 결정에 기초하여, 프로세서(102)는 상부 부분과 연관된 햅틱 효과의 크기를 크기의 1/3로 조정할 수 있고 좌측 부분과 연관된 햅틱 효과의 크기를 크기의 2/3로 조정할 수 있다. 따라서, 일부 예들에서, 컴퓨팅 디바이스(101)의 사용자에 의해 인지되는 햅틱 효과 또는 햅틱 효과의 특성은 디스플레이(134) 또는 디스플레이 디바이스(136)의 부분을 향해 지향되는 사용자의 시선, 가시선, 또는 시야의 비율에 비례하거나 그에 의존하여 변할 수 있다.
이러한 방식으로, 시야에 기초한 햅틱 피드백을 위한 시스템(100)은, 사용자가 보고 있는 특정 콘텐츠에 관련된, 또는 사용자가 보고 있는 디스플레이 디바이스의 특정 부분 상에 표시된 콘텐츠와 관련된 하나 이상의 햅틱 효과를 사용자에게 제공할 수 있고, 이 햅틱 효과는 사용자가 디스플레이 디바이스 상에서 콘텐츠를 볼 때 보다 실감나는 경험을 사용자에게 제공할 수 있다. 따라서, 예를 들어, 사용자는 사용자가 보고 있지도 않고 그를 향해 보고 있지도 않은 콘텐츠와 연관된 햅틱 효과들에 압도되지 않도록 사용자가 보고 있는 콘텐츠와 관련된 햅틱 효과들을 인지할 수 있다.
다른 실시예에서, 프로세서(102)는 센서(132)로부터 센서 신호들을 수신하고 (예를 들어, 센서(132)와 디스플레이(134) 또는 디스플레이 디바이스(136) 사이의 블루투스 신호의 강도에 기초하여) 센서(132), 컴퓨팅 디바이스(101) 또는 컴퓨팅 디바이스(101)의 사용자와 디스플레이(134) 또는 디스플레이 디바이스(136) 사이의 거리를 결정할 수 있다. 이 실시예에서, 햅틱 효과 결정 모듈(126)은 프로세서(102)가 결정된 거리에 적어도 부분적으로 기초하여 햅틱 효과를 결정하게 할 수 있다. 햅틱 효과 결정 모듈(126)은 또한 프로세서(102)로 하여금 결정된 거리에 적어도 부분적으로 기초하여 햅틱 효과의 특성(예를 들어, 크기, 지속기간, 위치, 유형, 빈도 등)을 선택하거나 결정하게 할 수 있다.
예로서, 프로세서(102)는 사용자가 디스플레이 디바이스(136) 또는 디스플레이 디바이스(136) 상에 표시된 콘텐츠 근처에 있는 것으로 결정할 수 있다. 프로세서(102)는 디스플레이 디바이스(136) 또는 디스플레이 디바이스(136) 상에 표시된 콘텐츠 근처에 있는 사용자에 기초하여 햅틱 효과를 결정할 수 있다. 예를 들어, 햅틱 효과는 사용자가 디스플레이 디바이스(136) 근처에 있으면 강하거나 긴 햅틱 효과일 수 있다. 다른 예로서, 프로세서(102)는 사용자가 디스플레이 디바이스(136) 또는 디스플레이 디바이스(136) 상에 표시된 콘텐츠로부터 멀리 있는 것으로 결정할 수 있고, 이러한 결정에 기초하여 약하거나 짧은 햅틱 효과를 결정할 수 있다.
다른 실시예에서, 햅틱 효과 결정 모듈(126)은 콘텐츠 제공 모듈(129)에 의해 제공된 콘텐츠에 기초하여 햅틱 효과를 결정하는 코드를 포함할 수 있다. 예를 들어, 콘텐츠 제공 모듈(129)은 디스플레이 디바이스(136) 또는 디스플레이(134) 상에 출력될 시각적 콘텐츠를 제공할 수 있다. 일 실시예에서, 햅틱 효과 결정 모듈(126)은 시각적 콘텐츠와 연관된 햅틱 효과를 결정할 수 있다. 예를 들어, 그러한 일 실시예에서, 햅틱 효과 결정 모듈(126)은 디스플레이 디바이스(136)에 의해 제공되는 비디오와 연관된 햅틱 트랙을 제공하기 위한 햅틱 효과를 결정할 수 있다. 햅틱 트랙은 제공되는 비디오에서 발생하는 이벤트들에 대응하는 햅틱 효과(예를 들어, 진동) 또는 일련의 햅틱 효과들을 포함할 수 있다. 예를 들어, 비디오에 일련의 폭발들이 포함된 경우, 햅틱 트랙은 각각의 폭발에 대응하는 일련의 진동들일 수 있다. 따라서, 사용자가 비디오를 볼 때, 사용자는 비디오와 연관된 햅틱 효과들을 인지할 수 있다.
일부 실시예들에서, 햅틱 효과 결정 모듈(126)은 터치 감응 표면(116) 상의 터치의 위치에 기초하여, 출력할 햅틱 효과를 결정하는 코드, 및 이러한 효과를 시뮬레이팅하기 위해 제공할 하나 이상의 햅틱 효과를 선택하는 코드를 포함할 수 있다. 예를 들어, 디스플레이(134) 상에 가상 객체(예를 들어, 가상 가구, 자동차, 동물, 만화 캐릭터, 버튼, 레버, 로고 또는 사람)의 존재를 시뮬레이팅하기 위해 터치의 위치에 기초하여 상이한 햅틱 효과들이 선택될 수 있다. 또한, 일부 실시예들에서, 햅틱 효과 결정 모듈(126)은 가상 객체의 크기, 컬러, 위치, 움직임 및/또는 다른 특성들에 기초하여, 출력할 햅틱 효과를 결정하는 코드 및 그 효과를 시뮬레이팅하기 위해 제공할 하나 이상의 햅틱 효과를 선택하는 코드를 포함할 수 있다. 예를 들어, 가상 객체의 컬러에 기초하여 햅틱 효과들이 선택될 수 있다(예를 들어, 가상 객체가 적색인 경우 강한 진동, 그리고 가상 객체가 녹색인 경우 보다 약한 진동).
일부 실시예들에서, 햅틱 효과 결정 모듈(126)은 이벤트에 기초하여 햅틱 효과를 결정하는 코드를 포함한다. 이벤트는, 본원에서 사용되는 바와 같이, 컴퓨팅 디바이스(101)의 동작 동안 발생하는 임의의 상호작용, 동작, 충돌 또는 다른 이벤트이고, 이는 연관된 햅틱 효과를 잠재적으로 포함할 수 있다. 일부 실시예들에서, 이벤트는 사용자 입력(예를 들어, 버튼 누름, 조이스틱 조작, 터치 감응 표면(116)과의 상호 작용, 디바이스를 비틀거나 배향시키는 것), 시스템 상태(예를 들어, 저 배터리, 저 메모리, 또는 시스템이 메시지, 착신 전화 호출, 통지 또는 업데이트를 수신한 것에 기초하여 생성되는 통지와 같은 시스템 통지), 데이터를 전송하는 것, 데이터를 수신하는 것, 또는 프로그램 이벤트(예를 들어, 프로그램이 게임이면, 프로그램 이벤트는 폭발들, 사격들, 충돌들, 게임 캐릭터들 사이의 상호작용들, 새로운 레벨로 전진하는 것, 또는 울퉁불퉁한 지형에 걸쳐서 운전하는 것을 포함할 수 있음)를 포함할 수 있다.
일부 실시예들에서 햅틱 효과 결정 모듈(126)은 햅틱 효과를 생성 또는 출력하기 위해 프로세서(102)가 제공할 하나 이상의 햅틱 효과, 및/또는 액추에이팅할 하나 이상의 햅틱 출력 디바이스(118)를 선택하게 할 수 있다.
일부 실시예들에서, 햅틱 효과 생성 모듈(128)은 프로세서(102)가 햅틱 신호들을 생성하고 햅틱 출력 디바이스(118, 159)에 송신하여 선택된 햅틱 효과를 생성하게 하는 프로그래밍을 나타낸다. 일부 예들에서, 햅틱 효과 생성 모듈(128)은 햅틱 출력 디바이스(118)가 햅틱 효과 결정 모듈(126)에 의해 결정된 햅틱 효과를 생성하게 한다. 예를 들어, 햅틱 효과 생성 모듈(128)은 햅틱 출력 디바이스(118)에 전송할 저장된 파형들 또는 커맨드들에 액세스하여 선택된 햅틱 효과를 생성할 수 있다. 예를 들어, 햅틱 효과 생성 모듈(128)은 프로세서(102) 하나 이상의 햅틱 효과와 연관되는 하나 이상의 햅틱 신호를 지시하는 데이터를 포함하는 룩업 테이블에 액세스하게 하고 특정 햅틱 효과를 생성하기 위해 햅틱 출력 디바이스(118)에 송신하기 위한 파형을 결정하게 할 수 있다. 일부 실시예들에서, 햅틱 효과 생성 모듈(128)은 햅틱 신호를 결정하기 위한 알고리즘들을 포함할 수 있다. 햅틱 효과 생성 모듈(128)은 햅틱 효과를 위한 타겟 좌표들(예를 들어, 햅틱 효과를 출력할 컴퓨팅 디바이스(101) 상의, 예컨대, 터치 감응 표면(116) 상의 위치에 대한 좌표들)을 결정하기 위한 알고리즘들을 포함할 수 있다. 예를 들어, 햅틱 효과 생성 모듈(128)은 프로세서(102)가 햅틱 효과를 위한 타겟 좌표들을 결정하기 위해 터치 감응 표면(116) 상에 객체의 터치의 위치를 지시하는 센서 신호를 사용하게 할 수 있으며, 타겟 좌표들은 터치의 위치에 대응할 수 있다. 일부 실시예들에서, 햅틱 출력 디바이스(118)는 하나 이상의 햅틱 출력 디바이스를 포함할 수 있다. 이러한 실시예에서, 햅틱 효과 생성 모듈(128)은 프로세서(102)로 하여금 하나 이상의 햅틱 출력 디바이스(118)에 햅틱 신호들을 송신하게 하여 선택된 햅틱 효과들을 생성할 수 있다.
일부 실시예들에서, 디스플레이 디바이스(136)는 예를 들어, 모바일 디바이스(예를 들어, 스마트폰), 태블릿, e-리더, 스마트와치, 헤드-장착형 디스플레이, 웨어러블 디바이스, 비디오 스크린, 헤드셋, 가상 현실 디스플레이 디바이스, 또는 콘텐츠를 제공하기 위한 디스플레이를 포함하는 임의의 다른 디바이스를 포함한다.
디스플레이 디바이스(136)는 프로세서(138), 메모리(140), 버스(142), I/O 컴포넌트들(144), 스토리지(146), 네트워크 인터페이스 디바이스(148), 디스플레이(150), 터치 감응 표면(152), 터치 센서들(154), 카메라(156), 센서(158), 및 햅틱 출력 디바이스(159)를 포함할 수 있으며, 이들 각각은 그것들이 필요하지 않다고 할지라도, 프로세서(102), 메모리(104), 버스(106), I/O 컴포넌트들(112), 스토리지(114), 네트워크 인터페이스 디바이스(110), 디스플레이(134), 터치 감응 표면(116), 터치 센서들(108), 카메라(130), 센서들(132), 및 컴퓨팅 디바이스(101)의 햅틱 출력 디바이스(118)와 실질적으로 동일한 방식으로 구성될 수 있다. 일부 실시예들에서, 컴퓨팅 디바이스(101) 또는 디스플레이 디바이스(136)는 도 1에 도시된 컴포넌트들의 전부 또는 일부를 포함할 수 있다. 예로서, 컴퓨팅 디바이스(101)는 스마트폰일 수 있고, 디스플레이 디바이스(136)는 컴퓨팅 디바이스(101)의 사용자가 그를 또는 그를 향해 보고 있는 태블릿일 수 있다. 이러한 예에서, 컴퓨팅 디바이스(101) 또는 디스플레이 디바이스(136)는 도 1에 도시된 컴포넌트들 전부 또는 일부를 포함할 수 있다.
컴퓨팅 디바이스(101)는 디스플레이 디바이스(136)에 통신 가능하게 결합될 수 있다. 예를 들어, 컴퓨팅 디바이스(101) 및 디스플레이 디바이스(136)는 네트워크 인터페이스 디바이스들(110 및 148)을 사용하여 통신할 수 있다(예를 들어, 데이터 또는 신호들(172, 174)을 송신 또는 수신할 수 있다). 예로서, 컴퓨팅 디바이스(101) 및 디스플레이 디바이스(136)는 각각 공통 무선 네트워크에 접속될 수 있고 무선 네트워크를 통해 통신할 수 있다. 다른 예로서, 컴퓨팅 디바이스(101) 및 디스플레이 디바이스(136)는 블루투스 접속을 통해 통신 가능하게 결합될 수 있다.
일부 실시예들에서, 디스플레이 디바이스(136)는 컴퓨팅 디바이스(101) 또는 디스플레이 디바이스(136)의 사용자에게 콘텐츠를 제공하기 위해 이용될 수 있는 디스플레이 디바이스일 수 있다. 예를 들어, 디스플레이 디바이스(136)는 텍스트들, 이미지들, 사운드들, 비디오들, 캐릭터들, 가상 객체들, 가상 애니메이션들 등을 제공하기 위해 이용될 수 있다. 예로서, 디스플레이 디바이스(136)는 사용자에게 가상 환경(예를 들어, 증강 현실 환경, 가상 현실 환경, 비디오 게임 환경 등)을 제공하기 위해 이용될 수 있다. 예시적인 예로서, 디스플레이 디바이스(136)는 사용자가 상호작용할 수 있는 가상 객체들(예를 들어, 캐릭터들, 차량들, 버튼들, 슬라이더들, 노브들, 아이콘들 또는 다른 사용자 인터페이스 컴포넌트들)을 포함하는 가상 현실 환경을 제공할 수 있다. 예를 들어, 사용자는 I/O 컴포넌트들(112, 144)을 통해 컴퓨팅 디바이스(101) 또는 디스플레이 디바이스(136)에 통신 가능하게 결합된 컴퓨팅 디바이스(101) 또는 하나 이상의 게임 제어기들을 이용하여 가상 현실 환경과 상호작용할 수 있다. 프로세서들(102, 138)은 I/O 컴포넌트들(112, 144)을 통해 게임 제어기들로부터 신호들을 수신하고 I/O 컴포넌트들(112, 144)로부터의 신호들에 기초하여 가상 현실 환경 내에서 가상 객체와의 상호작용 및/또는 조작을 결정할 수 있다. 프로세서(102, 138)는 상호작용 및/또는 조작이 가상 환경 내에서 발생하게 할 수 있다. 예시적인 예로서, 컴퓨팅 디바이스(101)는 스마트폰일 수 있고, 디스플레이 디바이스(136)는 하나 이상의 가상 객체를 표시하는 가상 현실 디스플레이 디바이스일 수 있다. 스마트폰의 사용자는 가상 현실 디스플레이 디바이스에 의해 표시된 가상 객체들을 보고 있거나 그를 향해 볼 수 있고, 사용자는 스마트폰에 의해 가상 현실 디스플레이 디바이스에 전달될 수 있는 하나 이상의 사용자 입력을 스마트폰에 제공하는 것에 의해 사용자가 보고 있는 가상 객체들과 상호작용하거나 이를 제어할 수 있다. 따라서, 사용자는 가상 현실 환경에서 가상 객체들과 상호작용하거나 이를 조작할 수 있다.
일부 실시예들에서, 디스플레이 디바이스(136)의 센서(158)는 컴퓨팅 디바이스(101) 또는 디스플레이 디바이스(136)의 사용자의 시선, 가시선 또는 시야를 검출할 수 있다. 예를 들어, 센서(158)는 컴퓨팅 디바이스(101) 또는 디스플레이 디바이스(136)의 사용자의 시선, 가시선 또는 시야를 검출하기 위한 센서(132)와 실질적으로 동일한 방식으로 구성될 수 있다.
일부 실시예들에서, 메모리(140)는 모듈들(160, 162, 164, 166)을 포함한다. 일부 실시예들에서, 메모리(140)는 모듈들(160, 162, 164, 166) 전부 또는 일부를 포함한다. 모듈들(160, 162, 164, 166)은 컴퓨팅 디바이스(101)의 각자의 모듈들(124, 126, 128 및 129)과 실질적으로 동일한 방식으로 각각 구성될 수 있다.
일부 실시예들에서, 콘텐츠 제공 모듈(166)은 컨텐츠 제공 모듈(129)과 실질적으로 동일한 방식으로 구성될 수 있고 콘텐츠(예를 들어, 텍스트들, 이미지들, 사운드들, 비디오들, 애니메이션 그래픽들, 가상 객체들, 가상 애니메이션들 등)를 사용자(예를 들어, 컴퓨팅 디바이스(101)의 사용자 또는 다른 사용자)에게 제공하도록 프로세서(138)를 구성할 수 있다. 일부 실시예들에서, 콘텐츠 또는 콘텐츠가 유도되는 정보는 다른 디바이스(예를 들어, 컴퓨팅 디바이스(101))로부터 획득될 수 있다. 예를 들어, 콘텐츠 제공 모듈(166)은 프로세서(138)로 하여금 컴퓨팅 디바이스(101)로부터 콘텐츠를 포함하는 데이터를 수신하게 하도록 구성될 수 있다. 콘텐츠는 (예를 들어, 디스플레이(150)를 통해) 디스플레이 디바이스(136)에 의해 표시될 수 있다.
일부 실시예들에서, 햅틱 효과 결정 모듈(162)은 프로세서(138)로 하여금 햅틱 효과 결정 모듈(126) 및 프로세서(102)에 대해 전술한 것과 실질적으로 동일한 방식으로 센서(158)로부터 수신된 센서 신호들에 적어도 부분적으로 기초하여 햅틱 효과를 결정하게 할 수 있다. 예를 들어, 햅틱 효과 결정 모듈(162)은 프로세서(138)로 하여금 컴퓨팅 디바이스(101)의 사용자의 시선 또는 시야의 방향에 기초하여 하나 이상의 햅틱 효과를 결정하게 할 수 있다. 예로서, 햅틱 효과 결정 모듈(162)은 프로세서(138)로 하여금 사용자가 디스플레이 디바이스(136) 상에 표시되고 햅틱 효과와 연관된 콘텐츠를 보고 있거나 그 방향으로 보고 있는 것으로 결정하는 것에 응답하여 하나 이상의 햅틱 효과를 결정하게 할 수 있다. 다른 예로서, 햅틱 효과 결정 모듈(162)은 프로세서(138)로 하여금 사용자가 디스플레이 디바이스(136)의 부분을 보고 있거나 그 방향으로 보고 있는 것으로 결정하는 것에 응답하여 하나 이상의 햅틱 효과를 결정하게 할 수 있다. 다른 예로서, 햅틱 효과 결정 모듈(162)은 프로세서(138)로 하여금 컴퓨팅 디바이스(101) 또는 디스플레이 디바이스(136)의 사용자의 시선 또는 시야의 방향에 기초하여 햅틱 효과의 특성을 결정하게할 수 있다. 다른 실시예에서, 햅틱 효과 결정 모듈(162)은 프로세서(138)로 하여금 사용자와 콘텐츠 사이의 가상 또는 인지된 거리에 기초하여 햅틱 효과의 특성을 결정하게 할 수 있다. 다른 실시예에서, 햅틱 효과 결정 모듈(162)은 프로세서(138)로 하여금 컴퓨팅 디바이스(101) 또는 디스플레이 디바이스(136)의 사용자와 디스플레이 디바이스(136) 또는 센서(158) 사이의 거리에 기초하여 햅틱 효과의 특성을 결정하게 할 수 있다. 또한, 일부 실시예들에서 햅틱 효과 결정 모듈(162)은 햅틱 효과를 생성 또는 출력하기 위해 프로세서(102)로 하여금 제공할 하나 이상의 햅틱 효과 및/또는 액추에이팅할 하나 이상의 햅틱 출력 디바이스(118)를 선택하게 할 수 있다.
일부 실시예들에서, 햅틱 효과 생성 모듈(164)은 프로세서(138)가 햅틱 신호들을 생성하고 햅틱 출력 디바이스(118 또는 159)에 송신하여 선택된 햅틱 효과를 생성하게 하는 프로그래밍을 나타낸다. 일부 예들에서, 햅틱 효과 생성 모듈(164)은 햅틱 출력 디바이스(118, 159)가 햅틱 효과 결정 모듈(162)에 의해 결정된 햅틱 효과를 생성하게 한다.
예시적인 예로서, 컴퓨팅 디바이스(101)는 스마트와치일 수 있고 디스플레이 디바이스(136)는 스마트와치를 착용하는 사용자가 보고 있는 태블릿일 수 있다. 그러한 일 예에서, 태블릿은 (예를 들어, 디스플레이(150)를 통해 콘텐츠를 제공하기 위해 콘텐츠 제공 모듈(166)을 이용하여) 태블릿의 디스플레이를 통해 사용자에게 콘텐츠를 표시할 수 있고 센서(158)는 사용자의 시선의 방향을 결정할 수 있다. 태블릿의 프로세서(예를 들어, 프로세서(138))는 사용자가 태블릿에 의해 표시되고 햅틱 효과와 연관된 콘텐츠를 보고 있는 것으로 결정한 것에 응답하여 햅틱 효과를 결정할 수 있다. 태블릿의 프로세서는 햅틱 신호를 생성하고 스마트와치의 햅틱 디바이스(예를 들어, 햅틱 디바이스(118)) 또는 태블릿의 햅틱 디바이스(예를 들어, 햅틱 출력 디바이스(159))에 송신하여 사용자에 의해 인지될 햅틱 효과를 생성할 수 있다. 예를 들어, 햅틱 효과는 스마트와치 또는 태블릿에 의해 출력될 수 있고, 사용자는 사용자가 스마트와치를 착용할 때 또는 사용자가 태블릿과 접촉(예를 들어, 태블릿을 터치하거나 쥐는 것)하는 경우, 햅틱 효과를 인지할 수 있다.
도 2는 시야를 이용하는 햅틱 피드백을 위한 시스템(200)의 실시예를 도시한다. 시스템(200)은 컴퓨팅 디바이스들(101a-b)(예를 들어, 도 1의 컴퓨팅 디바이스(101)) 및 디스플레이 디바이스(136)를 포함한다.
도 2에 도시된 예에서, 디스플레이 디바이스(136)는 컴퓨팅 디바이스들(101a-b)의 사용자들(202a-b)에게 콘텐츠를 표시하도록 구성된 임의의 디스플레이 디바이스(예를 들어, 비디오 스크린)일 수 있다. 예를 들어, 디스플레이 디바이스(136)의 프로세서는 디스플레이 디바이스(136)에 의해 표시될 콘텐츠를 생성할 수 있다. 다른 예에서, 컴퓨팅 디바이스(101)의 프로세서(예를 들어, 도 1의 프로세서(102))는 콘텐츠를 생성하고 콘텐츠를 포함하는 데이터를 디스플레이 디바이스(136)에 송신할 수 있고, 디스플레이 디바이스(136)는 콘텐츠를 표시하도록 구성될 수 있다.
일부 실시예들에서, 디스플레이 디바이스(136) 또는 컴퓨팅 디바이스들(101a-b)은 디스플레이 디바이스(136) 상에 표시된 콘텐츠와 연관된 하나 이상의 햅틱 효과를 결정할 수 있다. 예를 들어, 콘텐츠는 비디오 또는 비디오 게임을 포함할 수 있고, 컴퓨팅 디바이스들(101a-b)은 디스플레이 디바이스(136) 상에 표시된 비디오 콘텐츠 또는 비디오 게임에 대응하는 하나 이상의 햅틱 효과를 (예를 들어, 도 1의 햅틱 출력 디바이스(118)를 통해) 출력할 수 있다. 예로서, 비디오 콘텐츠는 하나 이상의 액션 또는 상호작용(예를 들어, 디스플레이 디바이스(136)에 의해 표시되는 비디오에서의 캐릭터들 또는 객체들 사이의 상호작용)을 포함할 수 있다. 컴퓨팅 디바이스들(101a-b)은 액션들 또는 상호작용과 연관된 하나 이상의 진동을 출력하여, 사용자들(202a-b)이 액션들 및/또는 상호작용들이 디스플레이 디바이스(136) 상에 표시될 때 액션들 및/또는 상호작용들을 인지할 수 있다.
일부 실시예들에서, 디스플레이 디바이스(136)는 도 1의 카메라(156) 또는 센서(158)와 실질적으로 동일한 방식으로 구성될 수 있는 센서(203)를 포함한다. 일부 실시예들에서, 센서(203)는 디스플레이 디바이스(136)의 내부에 있거나 디스플레이 디바이스(136)의 외부에 있을 수 있고 (예를 들어, 유선 또는 무선 통신 링크를 통해) 디스플레이 디바이스(136)에 통신 가능하게 결합될 수 있다. 센서(203)는 사용자(202a)의 가시선 또는 시야(210) 또는 사용자(202a)의 시선(212a-b)의 방향을 검출하도록 구성될 수 있다. 센서(158)는 또한 사용자(202b)의 가시선 또는 시야(214)를 검출할 수 있다.
일부 실시예들에서, 센서(203)는 사용자(202a)의 검출된 가시선 또는 시야(210), 사용자(202a)의 시선(212a-b)의 방향, 또는 사용자(202b)의 가시선 또는 시야(214)를 지시하는 데이터를 송신할 수 있다. 예를 들어, 센서(203)는 사용자(202a)의 시야(210) 또는 사용자(202a)의 시선(212a-b)의 방향을 검출할 수 있다. 센서(203)는 사용자(202a)의 시야(210) 또는 시선(212a-b)의 방향을 지시하는 센서 신호를 디스플레이 디바이스(136)의 프로세서(예를 들어, 도 1의 프로세서(138))에 송신할 수 있고, 이 프로세서는 데이터에 기초하여 사용자(202a)의 시야(210) 또는 시선(212a-b)의 방향을 결정할 수 있다.
일부 실시예들에서, 디스플레이 디바이스(136)는 센서(203)로부터의 센서 신호에 적어도 부분적으로 기초하여 하나 이상의 햅틱 효과를 결정할 수 있다. 햅틱 효과들은 각각 진동 또는 임의의 다른 햅틱 효과를 포함할 수 있다. 예를 들어, 일부 실시예들에서, 디스플레이 디바이스(136)는 사용자(202a)의 시야(210) 또는 사용자(202a)의 시선(212a-b)의 방향에 기초하여 햅틱 효과를 결정할 수 있다. 그러한 일 실시예에서, 디스플레이 디바이스(136)는 센서(203)로부터의 데이터에 기초하여 사용자(202a)가 디스플레이 디바이스(136)를 통해 표시된 가상 객체들(204, 206)을 보고 있거나 그 방향으로 보고 있는 것으로 결정하고 가상 객체(204)와 연관된 제1 햅틱 효과(예를 들어, 진동) 및 가상 객체(206)와 연관된 제2 햅틱 효과(예를 들어, 다른 진동)를 결정할 수 있다. 일부 실시예들에서, 제1 햅틱 효과는 제2 햅틱 효과와 상이할 수 있다. 디스플레이 디바이스(136)는 제1 햅틱 효과에 대응하는 제1 햅틱 신호 및/또는 제2 햅틱 효과에 대응하는 제2 햅틱 신호를 사용자(202a)와 연관된 햅틱 출력 디바이스에 송신할 수 있다. 예를 들어, 디스플레이 디바이스(136)는 제1 또는 제2 햅틱 신호를, 햅틱 출력 디바이스(예를 들어, 도 1의 햅틱 출력 디바이스(118))를 포함하는, 사용자와 연관된 컴퓨팅 디바이스(101a)에 송신할 수 있다. 햅틱 출력 디바이스는 제1 및 제2 햅틱 효과들을 사용자(202a)에(예를 들어, 사용자(202a)의 손목, 손, 팔, 다리, 또는 손에) 출력할 수 있다. 제1 또는 제2 햅틱 효과는 사용자가 가상 객체들(204, 206)과 관련된 햅틱 효과들을 인지하거나 경험하게 할 수 있다. 예를 들어, 가상 객체(204)가 위 아래로 점프하는 가상 캐릭터이면, 가상 객체(204)와 연관된 제1 햅틱 효과는 사용자(202a)가 위 아래로 점프하는 가상 객체(204)의 효과들을 인지하게 하는 하나 이상의 진동을 포함할 수 있다.
디스플레이 디바이스(136)는 또한 가상 객체들(204, 206, 208)의 크기, 색, 위치, 움직임, 및/또는 다른 특성에 적어도 부분적으로 기초하여 하나 이상의 햅틱 효과의 특성(예를 들어, 크기, 지속기간, 위치, 유형, 빈도 등)을 결정할 수 있다. 예를 들어, 도 2에 도시된 예에서, 가상 객체들(204, 206)은 사용자(202a)의 시야(210) 내에 있다. 가상 객체(206)는 디스플레이 디바이스(136) 상에 3차원(“3D”) 가상 객체로서 표시될 수 있다. 이 예에서, 디스플레이 디바이스(136)는 가상 객체(206)가 3D 가상 객체로서 표시되는 것에 기초하여 가상 객체(206)와 연관된 강한 또는 긴 제1 햅틱 효과(예를 들어, 강한 또는 긴 진동)을 결정할 수 있다. 디스플레이 디바이스(136)는 제1 햅틱 효과와 연관된 제1 햅틱 신호를 컴퓨팅 디바이스(101a)에 송신할 수 있고 컴퓨팅 디바이스(101a)의 햅틱 출력 디바이스는 햅틱 효과를 사용자(202a)에 출력할 수 있다. 따라서, 일부 예들에서, 사용자(202a)에 의해 인지되는 햅틱 효과의 특성은 사용자(202a)의 시야(210) 내의 가상 객체들(204, 206)의 특성에 비례하거나, 그에 의존하여 달라질 수 있다.
일부 실시예들에서, 디스플레이 디바이스(136)는 사용자(202a-b)의 시선(212a-b)에 기초하여 하나 이상의 햅틱 효과의 특성을 결정할 수 있다. 예를 들어, 디스플레이 디바이스(136)는 사용자들(202a-b)의 시선(212a-b)의 변화에 기초하여 햅틱 효과들의 특성을 결정할 수 있다.
예를 들어, 도 2에 도시된 예에서, 가상 객체들(204, 206)은 사용자(202a)의 시야(210) 내에 있고, 사용자(202a)의 시선은 가상 객체들(204, 206) 사이에 팬(pan)하거나 이동할 수 있다. 이 예에서, 컴퓨팅 디바이스(101a)는 제1 햅틱 출력 디바이스 및 제2 햅틱 출력 디바이스를 포함할 수 있다. 일부 예들에서, 제1 및 제2 햅틱 출력 디바이스들은 결합되어 단일 햅틱 출력 디바이스를 형성할 수 있다. 제1 햅틱 출력 디바이스는 햅틱 효과를 사용자의 제1 부분(예를 들어, 사용자(202a)의 우측 손목, 우측 손, 우측 팔, 또는 머리의 우측)에 출력하도록 구성될 수 있다. 그리고 제2 햅틱 출력 디바이스는 햅틱 효과를 사용자의 제2 부분(예를 들어, 사용자(202a)의 좌측 손목, 좌측 손, 좌측 팔, 또는 머리의 좌측)에 출력하도록 구성될 수 있다. 사용자(202a)의 시선(212a)은 처음에는, 디스플레이 디바이스(136) 상에 사용자(202a)의 우측을 향해 표시될 수 있는, 가상 객체(206)를 지향될 수 있다. 디스플레이 디바이스(136)는 사용자(202a)의 시선(212a)이 가상 객체(206)를 향해 지향되는 것에 응답하여 제1 햅틱 효과에 대응하는 제1 햅틱 신호를 컴퓨팅 디바이스(101a)의 제1 햅틱 출력 디바이스로 송신할 수 있다. 제1 햅틱 출력 디바이스는 제1 햅틱 효과를 사용자(202a)의 우측(예를 들어, 사용자(202a)의 우측 팔)에 출력할 수 있다. 일부 예들에서, 제1 햅틱 효과는 사용자(202a)의 시선(212a)이 가상 객체(206)를 향해 지향되는 것에 응답하여 강한 햅틱 효과(예를 들어, 강한 진동)일 수 있다.
그 후, 사용자(202a)의 시선은, 사용자(202a)의 시선(212b)이, 디스플레이 디바이스(136) 상에 사용자(202a)의 좌측을 향해 표시될 수 있는, 가상 객체(204)를 향해 지향될 수 있도록 이동할 수 있다. 사용자(202a)의 시선이 가상 객체(206)에서 가상 객체(204)로(예를 들어, 시선(212a)에서 (212b)로) 이동함에 따라, 디스플레이 디바이스(136)는 제2 햅틱 효과에 대응하는 제2 햅틱 신호를 컴퓨팅 디바이스(101)의 제2 햅틱 출력 디바이스로 송신할 수 있다. 제2 햅틱 출력 디바이스는 제2 햅틱 효과를 사용자(202a)의 좌측(예를 들어, 사용자(202a)의 좌측 팔)에 출력할 수 있다.
이 예에서, 디스플레이 디바이스(136)는 사용자(202a)의 시선이 시선(212a)에서 시선(212b)으로 이동함에 따라 제1 햅틱 효과의 특성을 조정할 수 있다. 예를 들어, 디스플레이 디바이스(136)는 사용자의 시선이 가상 객체(206)에서 가상 객체(204)로(예를 들어, 시선(212a)에서 (212b)로) 이동함에 따라 제1 햅틱 효과의 크기를 감소시키고 및/또는 제2 햅틱 효과의 크기를 증가시킬 수 있다. 일부 예들에서, 제1 햅틱 효과는 단일 햅틱 트랙을 포함할 수 있다. 예를 들어, 햅틱 트랙은 제1 햅틱 효과 및 제2 햅틱 효과를 포함하는 일련의 햅틱 효과들(예를 들어, 일련의 진동들)일 수 있다. 이 예에서, 디스플레이 디바이스(136)는 전술한 바와 같이 사용자(202a)의 시선이 시선(212a)에서 시선(212b)으로 이동함에 따라 햅틱 트랙의 특성(예를 들어, 크기)을 조정할 수 있다.
따라서, 일부 예들에서, 사용자(202a-b)에 의해 인지되는 햅틱 효과의 특성은 사용자(202a-b)의 시선이 변화함에 따라 달라질 수 있다. 다른 예에서, 사용자(202a-b)는 사용자(202a-b)가 디스플레이 디바이스(136) 상에서 보고 있는 콘텐츠의 수평 및/또는 수직 포지션에 대응하는 다양한 햅틱 효과들을 인지할 수 있다. 예를 들어, 전술한 바와 같이, 사용자(202a)는 사용자(202a)가 디스플레이 디바이스(136) 상에 사용자(202a)의 좌측에 표시된 콘텐츠를 보고 있다면 사용자(202a)의 좌측에서 햅틱 효과를 인지할 수 있다.
일부 실시예들에서, 디스플레이 디바이스(136)는 사용자가 그를, 그 방향으로, 또는 그를 향해 보고 있는 콘텐츠와 사용자 사이의 가상 또는 인지된 거리에 기초하여 하나 이상의 햅틱 효과의 특성을 결정할 수 있다. 예를 들어, 도 2에 도시된 예에서, 가상 객체들(204, 206)은 사용자(202a)의 시야(210) 내에 있다. 가상 객체(206)는 디스플레이 디바이스(136) 상에 가상 객체(204)보다 더 작은 가상 객체로서 표시될 수 있고, 이에 따라 사용자(202a)는 가상 객체(206)는 멀리 있는 것으로 인지하고 가상 객체(204)는 가까이 있는 것으로 인지할 수 있다. 이 예에서, 디스플레이 디바이스(136)는 가상 객체(204)와 연관된 강한 또는 긴 제1 햅틱 효과(예를 들어, 강한 또는 긴 진동)를 결정할 수 있다. 다른 예로서, 디스플레이 디바이스(136)는 가상 객체(206)와 연관된 약한 또는 짧은 제2 햅틱 효과(예를 들어, 약한 또는 짧은 진동)를 결정할 수 있다. 디스플레이 디바이스(136)는 제1 햅틱 효과와 연관된 제1 햅틱 신호 또는 제2 햅틱 효과와 연관된 제2 햅틱 신호를 컴퓨팅 디바이스(101a)로 송신할 수 있고 컴퓨팅 디바이스(101a)의 햅틱 출력 디바이스는 햅틱 효과들을 사용자(202a)에 출력할 수 있다. 따라서, 일부 예들에서, 사용자(202a)에 의해 인지되는 햅틱 효과의 특성은 사용자(202a)와 사용자(202a)의 시야(210) 내의 가상 객체들(204, 206) 사이의 가상 또는 인지된 거리에 비례하거나, 그에 의존하여 달라질 수 있다.
다른 실시예에서, 센서(203)로부터의 센서 신호는 사용자(202a)가 다수의 가상 객체들(204, 206)을, 또는 그 방향으로 보고 있는 것을 지시할 수 있다. 예를 들어, 도 2에 도시된 예에서, 센서(203)로부터의 데이터는 사용자(202a)의 시선(212a)의 방향이 가상 객체(206)를 향하거나, 그 방향인 것을 그리고 사용자(202a)의 시선(212b)의 방향이 가상 객체(204)를 향하거나, 그 방향인 것을 지시할 수 있다. 예를 들어, 가상 객체(204)는 가상 객체(206)의 근처에 있을 수 있고 사용자(202a)는 가상 객체들(204, 206)을 동시에 보고 있을 수 있다. 하나의 그러한 실시예에서, 디스플레이 디바이스(136)는 제3 햅틱 효과를 결정할 수 있다. 일부 실시예들에서, 제3 햅틱 효과는 제1 및 제2 햅틱 효과들과 상이할 수 있다. 다른 실시예에서, 제3 햅틱 효과는 제1 및 제2 햅틱 효과들의 조합을 포함할 수 있다. 예를 들어, 제3 햅틱 효과는 가상 객체(204)와 연관된 제1 햅틱 효과의 부분 및 가상 객체(206)와 연관된 제2 햅틱 효과의 부분을 포함할 수 있다.
일부 실시예들에서, 디스플레이 디바이스(136)는 사용자(202a)의 시선(212a-b)의 방향에 기초하여 가상 객체(204)와 연관된 제1 햅틱 효과의 특성 및 가상 객체(206)와 연관된 제2 햅틱 효과의 특성을 결정할 수 있다. 예를 들어, 디스플레이 디바이스(136)는 사용자(202a)의 시선(212a)의 방향에 대응하는 사용자의 시야(210)의 부분이 사용자(202a)의 시선(212b)의 방향에 대응하는 사용자의 시야(210)의 부분보다 더 큰 것으로 결정할 수 있다. 예를 들어, 디스플레이 디바이스(136)는 사용자(202a)의 시선(212a)의 방향에 기초하여 사용자의 시야(210)의 3/4이 가상 객체(206)를 향해 지향되는 것으로 결정할 수 있다. 디스플레이 디바이스(136)는 또한 사용자(202a)의 시선(212b)의 방향에 기초하여 사용자의 시야(210)의 1/4이 가상 객체(204)를 향해 지향되는 것으로 결정할 수 있다. 이 결정에 기초하여, 디스플레이 디바이스(136)는 가상 객체(204)와 연관된 제1 햅틱 효과의 크기를 그 크기의 1/4로 조정할 수 있다. 디스플레이 디바이스(136)는 또한 가상 객체(206)와 연관된 제2 햅틱 효과의 크기를 그 크기의 3/4로 조정할 수 있다. 이러한 방식으로, 사용자(202a)가 가상 객체(204)보다 가상 객체(206)에 더 집중한다면 사용자(202a)는 제1 햅틱 효과보다 더 제2 햅틱 효과를 인지할 수 있다. 따라서, 일부 예들에서, 사용자(202a)에 의해 인지되는 햅틱 효과의 특성은 가상 객체들(204, 206)을 향해 지향되는 사용자의 시야(210)의 부분 또는 사용자(202a)의 시선(212a-b)에 비례하거나, 그에 의존하여 달라질 수 있다.
일부 실시예들에서, 센서(203)로부터의 센서 신호는 사용자(202a)와 사용자(202a)의 시야(210) 내의 가상 객체들(204, 206) 또는 디스플레이 디바이스(136) 사이의 거리를 지시할 수 있다. 하나의 그러한 실시예에서, 디스플레이 디바이스(136)는 사용자(202a)와 가상 객체들(204, 206) 또는 디스플레이 디바이스(136) 사이의 거리에 기초하여 햅틱 효과 또는 햅틱 효과의 특성을 결정할 수 있다. 예로서, 디스플레이 디바이스(136)는 사용자(202a)가 가상 객체(204)의 근처에 있다면 가상 객체(204)와 연관된 강한 또는 긴 제1 햅틱 효과(예를 들어, 강한 또는 긴 진동)를 결정할 수 있다. 다른 예로서, 디스플레이 디바이스(136)는 사용자(202a)가 가상 객체(206)로부터 멀리 있다면 가상 객체(206)와 연관된 약한 또는 짧은 제2 햅틱 효과를 결정할 수 있다. 디스플레이 디바이스(136)는 햅틱 효과와 연관된 햅틱 신호를 사용자(202a)와 연관된 햅틱 출력 디바이스로 송신할 수 있고, 이는 햅틱 효과를 사용자(202a)에 출력할 수 있다.
도 2에 도시된 예에서, 사용자(202b)의 시야(214)는 가상 객체(208)를 향해 지향된다. 센서(203)는 시야(214)의 방향을 지시하는 센서 신호들을 송신할 수 있고 디스플레이 디바이스(136)는 가상 객체(208)와 연관된 햅틱 효과를 결정할 수 있다. 디스플레이 디바이스(136)는 햅틱 효과와 연관된 햅틱 신호를 사용자(202b)와 연관된 햅틱 출력 디바이스로 송신할 수 있고, 이는 햅틱 효과를 사용자(202b)에 출력할 수 있다.
일부 실시예들에서, 사용자들(202a-b)은 사용자들(202a-b)의 시야(210, 214) 밖에 있는 가상 객체(204, 206, 208)와 연관된 햅틱 효과를 인지하지 않을 수 있다. 예를 들어, 센서(203)로부터의 데이터는 가상 객체들(204, 206)이 사용자(202b)의 시야(214) 밖에 있는 것을 지시할 수 있다(예를 들어, 사용자(202b)는 가상 객체들(204, 206)을, 그를 향해, 또는 그 방향으로 보고 있지 않다). 하나의 그러한 실시예에서, 가상 객체들(204, 206)와 연관된 햅틱 효과가 사용자(202b)에 출력되지 않을 수 있다. 이러한 방식으로, 센서(203)로부터의 센서 신호들은 사용자들(202a-b)의 시야(210, 214)에 기초하여 햅틱 효과들을 사용자들(202a-b)에 제공하는 데 이용될 수 있고, 이는 사용자들(202a-b)이 그를 또는 그를 향해 보고 있는 특정 콘텐트와 관련된 햅틱 효과들을 사용자들(202a-b)이 인지하거나 경험하게 함으로써 사용자들(202a-b)이 보고 있는 콘텐츠에 대해 더 실감나는 경험을 사용자들(202a-b)에 제공할 수 있다.
일부 실시예들에서, 디스플레이 디바이스(136)는 전술한 바와 같이 센서(203)로부터의 센서 신호들에 기초하여 하나 이상의 햅틱 효과를 결정할 수 있다. 다른 실시예에서, 센서(203)는 센서 신호들을 컴퓨팅 디바이스들(101a-b)로 송신할 수 있고, 그 각각은 디스플레이 디바이스(136)에 관하여 전술한 것과 실질적으로 동일한 방식으로 센서 신호들에 기초하여 하나 이상의 햅틱 효과를 결정할 수 있다. 예를 들어, 센서(203)는 사용자들(202a-b)의 시야(210, 214) 또는 사용자(202a)의 시선(212a-b)의 방향을 지시하는 센서 신호를 각 컴퓨팅 디바이스(101a-b)의 프로세서(예를 들어, 도 1의 프로세서(102))로 송신할 수 있고 컴퓨팅 디바이스들(101a-b)은 센서 신호에 기초하여 하나 이상의 햅틱 효과를 결정할 수 있다. 그러한 실시예들에서, 컴퓨팅 디바이스들(101a-b)은 센서(203)로부터의 센서 신호에 기초하여 햅틱 효과를 결정하고 햅틱 효과와 연관된 햅틱 신호를 사용자들(202a-b)과 연관된 햅틱 출력 디바이스(예를 들어, 도 1의 햅틱 출력 디바이스(118))로 송신할 수 있고, 이 햅틱 출력 디바이스는 햅틱 출력 효과를 사용자들(202a-b)에 출력할 수 있다.
이 예에서, 사용자들(202a-b)은 사용자들(202a-b)의 시야(210, 214) 밖에 있는 가상 객체(204, 206, 208)와 연관된 햅틱 효과들을 인지하지 않을 수 있지만, 본 개시내용은 그러한 구성들로 한정되지 않는다. 오히려, 예를 들어, 아래에 더 상세히 설명되는 실시예들과 같은 다른 예들에서, 디스플레이 디바이스(136) 또는 컴퓨팅 디바이스(101a-b)는 사용자들(202a-b)의 시야(210, 214) 밖에 있는 콘텐츠에 기초하여 하나 이상의 햅틱 효과를 결정하고 출력할 수 있다.
도 3은 다른 실시예에 따른 시야를 이용한 햅틱 피드백을 위한 시스템(300)의 다른 실시예를 도시한다. 도 3에 도시된 예에서, 시스템(300)은 스마트폰, 태블릿, 또는 게임 제어기와 같은 컴퓨팅 디바이스(302), 및 디스플레이 디바이스(304)를 포함한다. 도 3에 도시된 디스플레이 디바이스(304)는 웨어러블 디바이스(예를 들어, 가상 현실 헤드셋)일 수 있다.
이 실시예에서, 디스플레이 디바이스(304)는 가상 환경(예를 들어, 비디오 게임과 연관된 가상 현실 환경)을 생성하여 디스플레이 디바이스(304)의 사용자(306)에 제공한다. 가상 환경은 사용자(306)가 컴퓨팅 디바이스(302)를 이용하여 상호작용할 수 있는 하나 이상의 가상 객체(예를 들어, 캐릭터들, 차량들, 버튼들, 슬라이더들, 노브들, 아이콘들, 또는 다른 사용자 인터페이스 컴포넌트들)를 포함한다. 예로서, 컴퓨팅 디바이스(302)는 하나 이상의 I/O 컴포넌트(예를 들어, 도 1의 I/O 컴포넌트(112))를 통해 컴퓨팅 디바이스(302)에 통신 가능하게 결합된 하나 이상의 버튼, 조이스틱 등을 포함할 수 있다. 컴퓨팅 디바이스(302)는 사용자(306)가 컴퓨팅 디바이스(302)에 포함된 I/O 컴포넌트들을 통해 가상 환경들과 상호작용할 수 있도록 디스플레이 디바이스(304)에 통신 가능하게 결합될 수 있다.
일부 실시예들에서, 디스플레이 디바이스(304)는 센서(도시되지 않음)를 포함하고, 이는 사용자(306)의 시야, 또는 사용자(306)의 시선의 방향을 검출할 수 있다(예를 들어, 사용자(306)가 디스플레이 디바이스(304)의 특정한 부분 또는 디스플레이 디바이스(304)에 의해 표시된 특정한 가상 객체를 보고 있을 때). 예를 들어, 센서는 도 1의 센서(132 또는 158)와 실질적으로 동일한 방식으로 구성된 다른 센서 또는 카메라일 수 있다. 다른 예로서, 센서는 사용자(306)의 시야, 또는 사용자(306)의 시선의 방향을 결정하기 위해 사용자(306)의 머리의 움직임 또는 사용자(306)의 머리 자세를 검출할 수 있다. 센서는 can 송신 센서 신호들을 디스플레이 디바이스(304)의 프로세서(도시되지 않음) 또는 컴퓨팅 디바이스(302)의 프로세서(도시되지 않음)로 송신할 수 있고, 프로세서는 사용자(306)의 시선의 방향 또는 시야가 디스플레이 디바이스(304)를 통해 표시된 가상 객체의 위치 또는 포지션과 대응하는 것으로 결정할 수 있다. 일부 실시예들에서, 디스플레이 디바이스(304) 또는 컴퓨팅 디바이스(302)는 가상 객체와 연관된 하나 이상의 햅틱 효과(예를 들어, 진동, 스퀴즈, 또는 포크)를 결정하고 햅틱 효과를 사용자(306)의 신체 부분(예를 들어, 사용자의 머리, 손, 또는 다른 신체 부분)에 출력할 수 있다. 일부 실시예들에서, 사용자(306)의 시선의 방향 또는 시야 내의 가상 객체와 연관된 햅틱 효과를 출력하는 것은 사용자가 사용자(306)가 보고 있는 가상 객체와 관련된 햅틱 효과들을 인지하게 할 수 있다. 예로서, 디스플레이 디바이스(304)는 다수의 가상 캐릭터를 표시하고 있고 사용자(306)는 전투에 관여하는 특정한 가상 캐릭터를 보고 있다. 센서 신호들은 사용자가 특정한 가상 캐릭터를 보고 있는 것을 지시할 수 있고 디스플레이 디바이스(304)는 전투에 관여하고 있는 가상 캐릭터와 연관된 햅틱 효과를 출력할 수 있다(예를 들어, 도 1의 햅틱 출력 디바이스(159)를 통해). 햅틱 효과는 사용자(306)가 사용자(306)가 보고 있는 특정한 가상 캐릭터와 연관된 햅틱 효과들을 인지하게 하는 진동 또는 일련의 진동들을 포함할 수 있다.
일부 실시예들에서, 디스플레이 디바이스(304)는 사용자가 디스플레이 디바이스(304) 상에 표시된 다수의 가상 객체를 보고 있는 것으로 결정할 수 있고 디스플레이 디바이스(304)는 이 결정에 기초하여 각 가상 객체와 연관된 햅틱 효과 또는 각 가상 객체와 연관된 햅틱 효과의 특성을 결정할 수 있다. 예로서, 사용자(306)는 제1 가상 캐릭터 및 제2 가상 캐릭터를 동시에 보고 있다. 센서 신호들은 사용자(306)의 시선이 제1 가상 캐릭터로 지향되고 제2 가상 캐릭터가 사용자(306)의 시야 내에 있는 것을 지시한다. 디스플레이 디바이스(304)는 제1 가상 캐릭터와 연관된 제1 햅틱 효과의 부분 및 제2 가상 캐릭터와 연관된 제2 햅틱 효과의 부분을 포함하는 하나 이상의 햅틱 효과를 결정하고 출력할 수 있다. 이러한 방식으로, 사용자(306)는 사용자(306)가 보고 있는 제1 및 제2 가상 캐릭터들 둘 다와 연관된 햅틱 효과들을 경험할 수 있다.
디스플레이 디바이스(304)는 또한 사용자(306)가 그를 또는 그를 향해 보고 있는 특정한 가상 객체와 사용자(306) 사이의 가상 또는 인지된 거리에 기초하여 햅틱 효과의 특성을 결정할 수 있다. 예로서, 디스플레이 디바이스(304)는 전투에 관여하는 다수의 가상 캐릭터를 포함하는 전쟁 장면을 표시하고 있다. 이 예에서, 제1 가상 캐릭터는 전투에 관여하고 디스플레이 디바이스(304) 상에 표시되어 사용자(306)는 제1 가상 캐릭터가 사용자(306) 근처에 있는 것으로 인지한다(예를 들어, 제1 가상 캐릭터는 큰 가상 캐릭터로서 표시되어 사용자(306)는 제1 가상 캐릭터가 사용자(306)에 가까이 있는 것으로 인지한다). 제2 가상 캐릭터는 전쟁 장면의 배경에서 전투에 관여하고 디스플레이 디바이스(304) 상에 표시되어 사용자(306)는 제2 가상 캐릭터가 사용자(306)로부터 멀리 있는 것으로 인지한다(예를 들어, 제2 가상 캐릭터는 작은 가상 캐릭터로서 표시되어 사용자(306)는 제2 가상 캐릭터가 사용자(306)로부터 멀리 있는 것으로 인지한다). 디스플레이 디바이스(304)는 사용자(306)가 제1 가상 캐릭터가 사용자(306) 근처에 있는 것으로 인지하는 것에 기초하여 제1 가상 캐릭터와 연관된 제1 햅틱 효과(예를 들어, 강한 진동)를 결정할 수 있다. 디스플레이 디바이스(304)는 또한 사용자(306)가 제2 가상 캐릭터가 사용자(306)로부터 멀리 있는 것으로 인지하는 것에 기초하여 제2 가상 캐릭터와 연관된 제2 햅틱 효과(예를 들어, 약한 진동)를 결정할 수 있다.
일부 실시예들에서, 디스플레이 디바이스(304)는 센서 데이터(예를 들어, 디스플레이 디바이스(304)의 센서로부터의 데이터)에 기초하여 사용자(306)가 디스플레이 디바이스(304)의 부분을 보고 있는 것으로 결정할 수 있다. 디스플레이 디바이스(304)는 사용자(306)가 보고 있는 디스플레이 디바이스(304)의 부분과 연관된 하나 이상의 햅틱 효과를 결정할 수 있다. 예로서, 디스플레이 디바이스(304)는 좌측 부분, 중간 부분, 및 우측 부분으로 분할된다(도시되지 않음). 센서 데이터는 사용자(306)가, 일련의 충돌들을 수반하는 장면을 포함하는, 디스플레이 디바이스(304)의 우측 부분을 보고 있는 것을 지시한다. 디스플레이 디바이스(304)는 디스플레이 디바이스(304)의 우측 부분 및 우측 부분 상에 표시된 일련의 충돌들과 연관된 햅틱 효과(예를 들어, 일련의 진동들)을 출력하여 사용자(306)가 디스플레이 디바이스(304)의 우측 부분 상에 표시된 충돌들과 연관된 햅틱 효과들을 경험하게 할 수 있다. 도 3에 도시된 실시예에서, 디스플레이 디바이스(304)는 웨어러블 디바이스(예를 들어, 가상 현실 헤드셋)를 포함하고 하나 이상의 햅틱 출력 디바이스를 포함할 수 있다. 디스플레이 디바이스(304)는 사용자(306)가 디스플레이 디바이스(304)의 우측 부분을 보고 있는 것으로 결정하는 것에 응답하여 햅틱 효과를 디스플레이 디바이스(304)의 우측으로 또는 사용자(306)의 신체의 우측으로(예를 들어, 사용자(306)의 머리의 우측으로) 출력하도록 구성될 수 있다.
일부 예들에서, 디스플레이 디바이스(304)는 도 2의 센서(203)와 실질적으로 동일한 방식으로 각각 구성될 수 있는 하나 이상의 센서 또는 방사체를 포함할 수 있다. 다양한 센서들 또는 방사체들이 디스플레이 디바이스(304) 내에 또는 그 상에 다양한 위치들에 위치할 수 있고 센서들의 위치들은 디스플레이 디바이스(304)의 다양한 부분들에 대응할 수 있다. 예로서, 제1 센서가 디스플레이 디바이스(304)의 좌측 부분 근처에 위치할 수 있고, 제2 센서가 디스플레이 디바이스(304)의 중간 부분 근처에 위치할 수 있고, 제3 센서가 디스플레이 디바이스(304)의 우측 부분 근처에 위치할 수 있다. 각 센서는 사용자(306)의 머리의 움직임, 사용자(306)의 머리 자세, 사용자(306)의 시야, 또는 사용자(306)의 시선의 방향을 검출할 수 있다. 일부 그러한 실시예들에서, 각 센서는 센서 신호들을 디스플레이 디바이스(304)의 프로세서(도시되지 않음) 또는 컴퓨팅 디바이스(302)의 프로세서(도시되지 않음)로 송신할 수 있고, 프로세서는 사용자(306)의 시선의 방향 또는 시야가 센서의 위치 또는 포지션 및 센서와 연관된 디스플레이 디바이스(304)의 부분(예를 들어, 센서 근처의 디스플레이 디바이스(304)의 부분)과 대응하는 것으로 결정할 수 있다. 디스플레이 디바이스(304) 또는 컴퓨팅 디바이스(302)는 센서와 연관된 디스플레이 디바이스(304)의 부분과 연관된 하나 이상의 햅틱 효과(예를 들어, 진동, 스퀴즈, 또는 포크)를 결정하고 햅틱 효과를 사용자(306)의 신체 부분에 출력할 수 있다. 이러한 방식으로, 디스플레이 디바이스(304)는, 예를 들어, 디스플레이 디바이스(304)의 부분에 대한 센서의 위치, 및 센서의 위치에 대응하는 사용자(306)의 시야 또는 시선의 방향과 같은, 공간적 데이터에 기초하여 햅틱 효과들을 결정하고 출력할 수 있다.
예로서, 디스플레이 디바이스(304)는 좌측 부분, 중간 부분, 및 우측 부분으로 분할된다. 좌측 부분 근처에 위치하는 센서는 사용자(306)의 시선의 방향을 검출하고 사용자(306)가 일련의 폭발들을 묘사하는 장면을 포함하는, 디스플레이 디바이스(304)의 좌측 부분을 또는 그를 향해 보고 있는 것을 지시하는 센서 데이터를 송신한다. 디스플레이 디바이스(304)는 디스플레이 디바이스(304)의 좌측 부분 및 좌측 부분 상에 표시된 일련의 폭발들과 연관된 햅틱 효과(예를 들어, 일련의 진동들)을 출력하여 사용자(306)가 디스플레이 디바이스(304)의 좌측 부분 상에 표시된 폭발들과 연관된 햅틱 효과들을 경험하게 할 수 있다. 이러한 방식으로, 디스플레이 디바이스(306)는 센서를 이용하여 사용자(306)의 시야의 방향 또는 시선을 검출하고 센서에 관한 공간적 데이터(예를 들어, 센서의 위치의 좌표들 또는 디스플레이 디바이스(304)의 부분에 대한 센서의 위치)를 이용하여 사용자(306)가 그를 또는 그를 향해 보고 있는 디스플레이 디바이스의 부분과 관련되는 하나 이상의 햅틱 효과를 결정할 수 있다.
일부 실시예들에서, 디스플레이 디바이스(304)는 사용자가 디스플레이 디바이스(304)의 둘 이상의 부분을 동시에 보고 있는 것으로 결정할 수 있고 디스플레이 디바이스(304)는 이 결정에 기초하여 디스플레이 디바이스(304)의 각 부분과 연관된 햅틱 효과 또는 각 햅틱 효과의 특성을 결정할 수 있다. 예로서, 사용자(306)는 전투에 관여에 관여하는 가상 캐릭터를 수반하는 장면을 포함하는, 디스플레이 디바이스(304)의 좌측 부분을 보고 있다. 사용자(306)는 그 엔진 회전 속도를 올리는 자동차를 수반하는 장면을 포함하는, 디스플레이 디바이스(304)의 중간 부분을 동시에 보고 있다. 센서 신호들은 사용자(306)의 시야가 좌측 및 중간 부분들을 향해 지향되는 것을 지시한다. 디스플레이 디바이스(304)는 센서 신호에 기초하여 하나 이상의 햅틱 효과를 결정하고 출력할 수 있다. 예를 들어, 디스플레이 디바이스(304)는 좌측 부분과 연관된 제1 햅틱 효과(예를 들어, 전투에 관여하고 있는 가상 캐릭터에 대응하는 진동)를 출력할 수 있다. 디스플레이 디바이스(304)는 중간 부분과 연관된 제2 햅틱 효과(예를 들어, 그 엔진 회전 속도를 올리는 자동차에 대응하는 일련의 진동들)를 출력할 수 있다. 일부 실시예들에서, 단일 햅틱 효과가 제1 및 제2 햅틱 효과들을 포함할 수 있다. 이러한 방식으로, 사용자(306)는 사용자(306)가 보고 있는 디스플레이 디바이스(304)의 좌측 및 중간 부분들 둘 다와 연관된 햅틱 효과들을 경험할 수 있다.
도 3에 도시된 예에서, 디스플레이 디바이스(304)는 전술한 바와 같이 센서 데이터에 기초하여 하나 이상의 햅틱 효과를 결정하고 출력할 수 있다. 다른 실시예에서, 디스플레이 디바이스(304)는 하나 이상의 햅틱 효과를 결정하고 햅틱 효과들과 연관된 햅틱 신호를 컴퓨팅 디바이스(302)로 송신할 수 있고, 컴퓨팅 디바이스는 햅틱 효과를 사용자(306)에 출력하도록 구성된 햅틱 출력 디바이스를 포함할 수 있다. 또 다른 실시예에서, 디스플레이 디바이스(304)의 센서는 센서 신호들을 컴퓨팅 디바이스(302)로 송신할 수 있고, 컴퓨팅 디바이스는 센서 신호들에 기초하여 하나 이상의 햅틱 효과를 결정하고 디스플레이 디바이스(304)에 관하여 전술한 것과 실질적으로 동일한 방식으로 햅틱 효과들을 사용자(306)에 출력할 수 있다.
도 3에 설명된 예에서, 디스플레이 디바이스(304)는 사용자(306)의 시야 또는 사용자(306)의 시선의 방향에 기초하여 하나 이상의 햅틱 효과를 결정할 수 있지만, 본 개시내용은 그러한 구성들로 한정되지 않는다. 오히려, 다른 예들에서, 디스플레이 디바이스(304)는 하나 이상의 이벤트(예를 들어, 디스플레이 디바이스(304)에 의해 제공된 콘텐츠와 연관된 상호작용, 액션, 충돌, 또는 다른 이벤트)에 기초하여 하나 이상의 햅틱 효과를 결정할 수 있다.
예를 들어, 디스플레이 디바이스(304)는 사용자(306)가 전술한 바와 같이 상호작용할 수 있는 하나 이상의 가상 객체를 포함하는 가상 환경을 생성하여 제공할 수 있다. 일부 예들에서, 가상 객체들 중 하나 이상이 사용자(306)의 시야 밖에(예를 들어, 사용자(306)의 후방에 또는 사용자(306)의 전방에 있지만, 사용자(306)의 시야 밖에) 표시될 수 있다. 이 예에서, 디스플레이 디바이스(304)는 사용자(306)의 시야 밖에 표시된 콘텐츠(예를 들어, 가상 객체들)에 기초하여 하나 이상의 햅틱 효과를 결정할 수 있다. 예로서, 디스플레이 디바이스(304)는 전투에 관여하는 다양한 가상 캐릭터들을 수반하는 장면을 표시하고 있고 사용자(306)는 전투에 관여하는 특정한 가상 캐릭터를 보고 있다. 디스플레이 디바이스(304)는 전투에 관여하고 있는 특정한 가상 캐릭터와 연관된 제1 햅틱 효과를 출력할 수 있고 사용자(306)는 제1 햅틱 효과를 인지할 수 있다. 제1 햅틱 효과는 사용자(306)가 사용자(306)가 보고 있는 특정한 가상 캐릭터와 연관된 햅틱 효과들을 인지하게 하는 강한 진동일 수 있다. 디스플레이 디바이스(304)는 또한 사용자(306)의 시야 밖에서 전투에 관여하는 다른 가상 캐릭터들(예를 들어, 사용자(306) 후방의 장면의 부분에서 전투에 관여하는 가상 캐릭터들 또는 사용자(306)의 전방의 그리고 사용자(306)의 시야 밖의 장면의 부분에서 전투에 관여하는 가상 캐릭터들)과 연관된 제2 햅틱 효과를 결정하여 출력할 수 있다. 제2 햅틱 효과는 사용자(306)가 사용자(306)의 후방에서 전투에 관여하는 가상 캐릭터들 또는 사용자의 전방에 있지만, 사용자(306)의 시야 밖에서 전투에 관여하는 가상 캐릭터들과 연관된 햅틱 효과들을 인지하게 할 수 있는 약한 진동일 수 있다. 이러한 방식으로, 사용자(306)는 사용자가 보고 있는 특정한 가상 캐릭터 및 사용자의 시야 밖의 다른 가상 캐릭터들과 연관된 햅틱 효과들을 경험할 수 있다.
도 4는 다른 실시예에 따른 시야를 이용한 햅틱 피드백을 위한 시스템의 실시예를 도시한다.
전술한 바와 같이, 일부 예들에서, 하나 이상의 햅틱 효과는 사용자가 디스플레이 디바이스(예를 들어, 도 1 및 도 2의 디스플레이 디바이스(136) 또는 도 3의 디스플레이 디바이스(304))의 부분을 보고 있는 것을 지시하는 센서 데이터에 적어도 부분적으로 기초하여 결정될 수 있다. 도 4에 도시된 예에서, 디스플레이 디바이스(400)는 제1 부분(402)(예를 들어, 디스플레이 디바이스(400)의 상부 부분), 제2 부분(404)(예를 들어, 디스플레이 디바이스(400)의 좌측 부분), 제3 부분(406)(예를 들어, 디스플레이 디바이스(400)의 중간 부분), 및 제4 부분(408)(예를 들어, 디스플레이 디바이스(400)의 우측 부분)으로 분할된 것으로 도시되어 있다. 이 예에서, 디스플레이 디바이스(400)는 도 1의 디스플레이 디바이스(136)와 실질적으로 동일한 방식으로 구성될 수 있고 디스플레이 디바이스(400)의 프로세서는 센서 데이터(예를 들어, 디스플레이 디바이스(400)의 센서로부터의 데이터)에 기초하여 사용자(도시되지 않음)가 제1 부분(402), 제2 부분(404), 제3 부분(406), 또는 제4 부분(408)을 보고 있는 것으로 결정할 수 있다. 디스플레이 디바이스(400)는 사용자가 보고 있는 디스플레이 디바이스(304)의 부분과 연관된 하나 이상의 햅틱 효과 또는 햅틱 트랙을 결정할 수 있다.
예로서, 디스플레이 디바이스(400)는 디스플레이 디바이스(400)의 사용자의 머리의 움직임을 검출하기 위한 또는 디스플레이 디바이스(400)의 사용자의 머리 자세를 검출하기 위한 센서를 포함하는 헤드 마운트 디스플레이 디바이스일 수 있다. 센서는 사용자의 머리의 움직임에 관한 데이터 또는 사용자의 머리 자세에 관한 데이터를 디스플레이 디바이스(400)의 프로세서로 송신할 수 있고, 프로세서는 센서 데이터에 기초하여 사용자의 시야의 방향을 결정할 수 있고, 이는 사용자가 제1 부분(402)을 보고 있는지, 제2 부분(404)을 보고 있는지, 제3 부분(406)을 보고 있는지, 또는 제4 부분(408)을 보고 있는지를 결정하는 데 이용될 수 있다. 그 후 디스플레이 디바이스(400)는 사용자가 보고 있는 디스플레이 디바이스(400)의 부분과 연관된 하나 이상의 햅틱 효과 또는 햅틱 트랙을 결정할 수 있고 이 햅틱 효과들 또는 햅틱 트랙들은 디스플레이 디바이스(400)의 햅틱 출력 디바이스(예를 들어, 도 1의 햅틱 출력 디바이스(159)) 또는 사용자와 연관된 컴퓨팅 디바이스(예를 들어, 도 2의 컴퓨팅 디바이스(101a))의 햅틱 출력 디바이스에 의해 출력될 수 있다.
예를 들어, 센서 데이터는 사용자가 하나 이상의 가상 캐릭터 간의 전투를 수반하는 장면을 포함하는, 디스플레이 디바이스(400)의 제1 부분(402)을 보고 있는 것을 지시한다. 디스플레이 디바이스(400)는 디스플레이 디바이스(400)의 제1 부분(402)과 연관된 햅틱 트랙(예를 들어, 예를 들어, 진동들과 같은, 일련의 햅틱 효과들)을 결정하고, 햅틱 출력 디바이스를 통해 출력하여 디스플레이 디바이스(400)의 사용자가 디스플레이 디바이스(400)의 제1 부분(402) 상에 표시된 장면과 연관된 햅틱 효과들을 경험하게 할 수 있다. 다른 예로서, 센서 데이터는 사용자가 일련의 자동차 충돌들을 수반하는 장면을 포함하는, 디스플레이 디바이스(400)의 제2 부분(404)을 보고 있는 것을 지시하고 디스플레이 디바이스(400)는 일련의 자동차 충돌들과 연관된 다른 햅틱 트랙을 결정하고 출력하여 사용자가 일련의 자동차 충돌들과 연관된 햅틱 효과들을 인지하게 할 수 있다.
일부 실시예들에서, 디스플레이 디바이스(400)는 사용자가 디스플레이 디바이스(400)의 둘 이상의 부분을 동시에 보고 있는 것으로 결정할 수 있고 디스플레이 디바이스(400)는 이 결정에 기초하여 디스플레이 디바이스(400)의 각 부분과 연관된 햅틱 트랙 또는 햅틱 효과 또는 각 햅틱 트랙 또는 햅틱 효과의 특성을 결정할 수 있다. 예로서, 사용자는 전투에 관여에 관여하는 가상 캐릭터를 수반하는 장면을 포함하는, 디스플레이 디바이스(400)의 제3 부분(406)을 보고 있다. 사용자는 또한 그 엔진 회전 속도를 올리는 자동차를 수반하는 장면을 포함하는, 디스플레이 디바이스(400)의 제4 부분(408)을 동시에 보고 있다. 디스플레이 디바이스(400)는 사용자가 디스플레이 디바이스(400)의 제3 부분(406) 및 제4 부분(408) 둘 다를 동시에 보고 있는 것에 기초하여 하나 이상의 햅틱 트랙을 결정하여 출력할 수 있다.
예를 들어, 디스플레이 디바이스(400)는 제3 부분(406)과 연관된 제1 햅틱 트랙(예를 들어, 전투에 관여하고 있는 가상 캐릭터에 대응하는 일련의 진동들)을 결정할 수 있다. 디스플레이 디바이스(400)는 또한 제4 부분(408)과 연관된 제2 햅틱 트랙(예를 들어, 그 엔진 회전 속도를 올리는 자동차에 대응하는 일련의 진동들)을 결정할 수 있다. 디스플레이 디바이스(400)는 햅틱 출력 디바이스를 통해 제1 및 제2 햅틱 트랙들 둘 다를 사용자에 출력할 수 있다. 일부 실시예들에서, 단일 햅틱 트랙이 제1 및 제2 햅틱 트랙들을 포함할 수 있다. 일부 예들에서, 디스플레이 디바이스(400)는 사용자의 시선의 방향 또는 시야에 기초하여 제1 또는 제2 햅틱 트랙의 특성을 조정할 수 있다. 예를 들어, 사용자의 머리 자세는 변하지 않을 수 있지만, 사용자의 시선의 방향 또는 시야는 사용자가 제3 부분(406)보다 제4 부분(408)에 더 집중하도록 이동할 수 있다. 그러한 예들에서, 디스플레이 디바이스(400)는 사용자의 시선의 방향 또는 시야에 기초하여 제1 또는 제2 햅틱 트랙의 특성을 조정할 수 있다. 예로서, 디스플레이 디바이스(400)는 사용자의 시선의 방향 또는 시야가 제3 부분(406)보다 제4 부분(408)을 더 향해 지향되는 것으로 결정하는 것에 응답하여 제2 햅틱 트랙의 크기를 증가시킬 수 있다. 이 예에서, 디스플레이 디바이스(400)는 또한 사용자의 시선의 방향 또는 시야가 제3 부분(406)보다 제4 부분을 더 향해 지향되는 것으로 결정하는 것에 응답하여 제1 햅틱 트랙의 크기를 감소시킬 수 있다. 이러한 방식으로, 디스플레이 디바이스(400)의 사용자는 사용자가 보고 있는 디스플레이 디바이스(400)의 제3 부분(406) 및 제4 부분(408) 둘 다와 연관된 햅틱 효과들을 경험할 수 있다.
일부 실시예들에서, 디스플레이 디바이스(400)는 부분들(402, 404, 406, 408)과 연관된 단일 햅틱 트랙을 출력하도록 구성될 수 있다. 햅틱 트랙은 디스플레이 디바이스(400) 상에(예를 들어, 부분들(402, 404, 406, 408)을 통해) 표시되고 있는 콘텐츠(예를 들어, 비디오)에 대응하는 햅틱 효과(예를 들어, 진동) 또는 일련의 햅틱 효과들을 포함할 수 있다. 예로서, 디스플레이 디바이스(400)는 일련의 자동차 충돌들 및 다양한 폭발들을 포함하는 비디오를 표시하고 있다. 햅틱 트랙은 자동차 충돌들 또는 폭발들에 대응하는 하나 이상의 진동을 포함할 수 있다.
일부 예들에서, 디스플레이 디바이스(400)의 센서는 사용자의 머리의 움직임을 검출하거나 사용자의 머리 자세를 검출할 수 있고 디스플레이 디바이스(400)는 사용자의 머리의 움직임 또는 사용자의 머리 자세에 적어도 부분적으로 기초하여 햅틱 트랙의 특성을 결정할 수 있다(예를 들어, 햅틱 트랙에서 하나 이상의 진동의 크기를 결정할 수 있다). 예로서, 사용자의 머리 자세는 사용자가 제2 부분(404)을 또는 그를 향해 보고 있도록 위치할 수 있다. 사용자의 머리 자세는 그 후 사용자가 제3 부분(406)을 또는 그를 향해 보고 있도록 이동할 수 있다. 그러한 예들에서, 디스플레이 디바이스(400)는 사용자의 머리 자세의 변화에 기초하여 햅틱 트랙의 특성을 조정할 수 있다. 예를 들어, 디스플레이 디바이스(400)는 사용자의 머리 자세가 제2 부분(404)을 향해 지향되는 것에서 제3 부분(406)을 향해 지향되는 것으로 변화함에 따라 제2 부분(404)과 연관되는 햅틱 트랙에서의 햅틱 효과(예를 들어, 제2 부분(404) 상에 표시된 폭발과 연관된 진동)의 크기를 감소시키고 제3 부분(406)과 연관되는 햅틱 트랙에서의 다른 햅틱 효과(예를 들어, 제3 부분(406) 상에 전투에 관여에 관여하는 가상 캐릭터와 연관된 진동)의 크기를 증가시킬 수 있다. 이러한 방식으로, 디스플레이 디바이스(400)는 단일 햅틱 트랙을 출력하고 사용자의 머리의 움직임 또는 사용자의 머리 자세에 기초하여 햅틱 트랙에 포함된 햅틱 효과들을 수정하여 사용자가 햅틱 트랙을 다수의 햅틱 트랙들인 것으로 인지할 수 있도록 할 수 있다. 이 예에서, 디스플레이 디바이스(400)는 사용자의 머리의 움직임 또는 사용자의 머리 자세에 적어도 부분적으로 기초하여 햅틱 트랙의 특성(예를 들어, 크기)을 결정할 수 있지만, 본 개시내용은 그러한 구성들로 한정되지 않는다. 오히려, 다른 예들에서, 디스플레이 디바이스는 전술한 것과 실질적으로 동일한 방식으로 사용자의 시선 또는 시야의 방향에 적어도 부분적으로 기초하여 햅틱 트랙의 특성을 결정할 수 있다. 일부 예들에서, 전술한 바와 같이 단일 햅틱 트랙에 포함된 햅틱 효과를 수정하는 것은 단일 햅틱 트랙을 이용하여 공간적 다중-햅틱 트랙을 시뮬레이팅할 수 있다.
일부 예들에서, 디스플레이 디바이스(400)는, 대응하는 사운드를 출력하도록 스피커를 구동할 전자 신호들을 생성하도록 구성될 수 있는, 하나 이상의 오디오 디바이스 또는 시스템(도시되지 않음)을 포함하거나 또는 이에 통신 가능하게 결합될 수 있다. 오디오 디바이스 또는 시스템은 사용자의 머리의 움직임 또는 사용자의 머리 자세, 시야의 방향, 또는 사용자의 시선의 방향에 기초하여 오디오 또는 사운드들을 출력하도록 구성될 수 있다. 예로서, 사용자의 머리 자세는 사용자가 그 엔진 회전 속도를 올리는 자동차를 묘사하는 장면을 포함하는, 제2 부분(404)을 또는 그를 향해 보고 있도록 위치할 수 있다. 디스플레이 디바이스(400)는 사용자가 제2 부분(404)을 또는 그를 향해 보고 있는 것으로 결정하는 것에 응답하여 하나 이상의 신호를 오디오 디바이스로 송신하여 오디오 디바이스로 하여금 그 엔진 회전 속도를 올리는 자동차에 대응하는 사운드를 출력하게 할 수 있다. 디스플레이 디바이스(400)는 또한 사용자가 제2 부분(404)을 또는 그를 향해 보고 있는 것에 기초하여 오디오 디바이스로 하여금 사운드의 강도 또는 볼륨을 증폭하게 할 수 있다. 일부 그러한 예들에서, 디스플레이 디바이스(400)는 또한 사용자가 제2 부분(404)을 또는 그를 향해 보고 있는 것으로 결정하는 것에 응답하여 제2 부분(404) 상에 묘사된 장면과 연관된 햅틱 효과 또는 햅틱 트랙의 특성을 결정할 수 있다. 예를 들어, 디스플레이 디바이스(400)는 사용자가 제2 부분(404)을 또는 그를 향해 보고 있는 것으로 결정하는 것에 응답하여 그 엔진 회전 속도를 올리는 자동차에 대응하는 진동의 크기를 증가시킬 수 있다. 이러한 방식으로, 디스플레이 디바이스(400)는 전술한 바와 같이 단일 햅틱 트랙을 이용하여 공간적 다중-햅틱 트랙을 제공할 수 있고, 햅틱 트랙 또는 햅틱 트랙 내의 햅틱 효과들은 오디오 디바이스 또는 시스템(예를 들어, 공간적 오디오 시스템)에 의해 제공된 사운드들에 대응할 수 있다.
일부 예들에서, 디스플레이 디바이스(400)는 디스플레이 디바이스(400)의 하나 이상의 부분 상에 콘텐츠를 표시하도록 구성될 수 있다. 예로서, 디스플레이 디바이스(400)는 제1 부분(402) 상에만 콘텐츠를 표시할 수 있고 제2 부분(404), 제3 부분(406), 또는 제4 부분(408) 상에는 콘텐츠를 표시하지 않을 수 있다. 예를 들어, 디스플레이 디바이스(400)는 가상 현실 헤드셋일 수 있고 디스플레이 디바이스(400)는 제1 부분(402) 상에만 장면을 표시할 수 있다. 그러한 예들에서, 디스플레이 디바이스(400)는 사용자가 디스플레이 디바이스(400)의 제1 부분(402) 상에 표시된 장면을 보고 있는 것으로 결정할 수 있고 디스플레이 디바이스(400)는 제1 부분(402)과 연관된 햅틱 트랙을 사용자에 출력하거나 제1 부분(402) 상에 표시된 장면과 연관된 햅틱 트랙을 사용자에 출력할 수 있다. 사용자는 그 후 디스플레이 디바이스(400)의 다른 부분을, 또는 그 방향으로 볼 수 있다. 예를 들어, 사용자의 머리 자세는 사용자가 제2 부분(404)을 보고 있고 제1 부분(402)은 더 이상 보고 있지 않도록 조정될 수 있다. 그러한 예들에서, 디스플레이 디바이스(400)는 사용자가 제2 부분(404)을 보고 있는 것으로 결정할 수 있고 사용자가 제2 부분을 보고 있고 제1 부분(402)은 더 이상 보고 있지 않은 것으로 결정하는 것에 응답하여 제2 부분(404)과 연관된 다른 햅틱 트랙 또는 제2 부분(404) 상에 표시된 콘텐츠와 연관된 다른 햅틱 트랙을 사용자에 출력할 수 있다. 일부 예들에서, 디스플레이 디바이스(400)는 또한 사용자가 제2 부분(404)을 보고 있고 제1 부분(402)은 더 이상 보고 있지 않은 것으로 결정하는 것에 응답하여 제1 부분(402) 상에 콘텐츠를 표시하는 것을 중단할 수 있다. 따라서, 일부 예들에서, 디스플레이 디바이스(400)는 디스플레이 디바이스(400)의 특정한 부분을 통해 콘텐츠를 사용자에 제공할 수 있고, 이는 사용자로 하여금 그 특정한 부분을 또는 그를 향해 보고 디스플레이 디바이스(400)의 그 특정한 부분과 연관된 햅틱 효과들을 인지하게 할 수 있다. 다른 예에서, 디스플레이 디바이스(400)는 사용자가 그를 또는 그를 향해 보고 있는 디스플레이 디바이스(400)의 특정한 부분을 통해 콘텐츠를 사용자에 제공할 수 있고 사용자는 사용자가 그를 또는 그를 향해 보고 있는 디스플레이 디바이스(400)의 그 특정한 부분과 연관된 햅틱 효과들을 인지할 수 있다.
전술한 예에서, 디스플레이 디바이스(400)는 사용자의 머리 자세가 디스플레이 디바이스(400)의 특정한 부분을 향해 지향되는 것에 기초하여 그 특정한 부분 상에 콘텐츠를 표시할 수 있지만, 본 개시내용은 그러한 구성들로 한정되지 않는다. 오히려, 다른 예들에서, 디스플레이 디바이스는 디스플레이 디바이스(400)의 사용자의 시선의 방향 또는 시야에 기초하여 디스플레이 디바이스(400)의 하나 이상의 부분을 통해 콘텐츠를 표시할 수 있다(예를 들어, 전술한 것과 실질적으로 동일한 방식으로). 또한, 전술한 예에서, 디스플레이 디바이스(400)는 디스플레이 디바이스(400)의 하나의 부분 상에만 콘텐츠를 표시할 수 있지만, 본 개시내용은 그러한 구성들로 한정되지 않는다. 오히려, 다른 예들에서, 디스플레이 디바이스(400)는 디스플레이 디바이스(400)의 하나 이상의 부분을 통해 개별적으로 또는 동시에 콘텐츠를 표시할 수 있다.
시야를 이용하는 햅틱 피드백을 제공하기 위한 햅틱 피드백의 예시적인 방법들
도 5는 일 실시예에 따른 시야를 이용하는 햅틱 피드백을 제공하는 방법(500)을 수행하기 위한 단계들의 흐름도이다.
일부 실시예들에서, 도 5에서의 단계들은 프로세서, 예를 들어, 범용 컴퓨터, 모바일 디바이스, 또는 서버 내의 프로세서에 의해 실행될 수 있는 프로그램 코드로 구현될 수 있다. 일부 실시예들에서, 이런 단계들은 프로세서들의 그룹에 의해 구현될 수 있다. 일부 실시예들에서, 도 5에 도시된 하나 이상의 단계는 생략되거나 다른 순서로 수행될 수 있다. 유사하게, 일부 실시예들에서, 도 5에 도시되지 않은 추가적인 단계들이 또한 수행될 수 있다. 후술되는 단계들은 도 1 및 도 2에 도시된 시스템들에 관하여 전술된 컴포넌트들을 참조하여 설명된다.
방법(500)은 디스플레이 디바이스(136)의 센서(203)가 디스플레이 디바이스(136)에 대해 컴퓨팅 디바이스(101)의 사용자(202a)의 시야(210)를 검출할 때 단계 502에서 시작한다. 일부 실시예들에서, 센서(203)는 카메라, 사용자(202a)의 머리 움직임 또는 머리 자세를 검출하기 위한 센서, 또는 사용자(202a)의 시야(210) 또는 시선(212a-b)의 방향을 검출하고 사용자(202a)의 시야(210) 또는 시선(212a-b)의 방향을 결정하기 위한 데이터를 제공할 수 있는 다른 적절한 디바이스를 포함할 수 있다.
방법(500)은 사용자(202a)의 시야(210) 또는 시선(212a-b)의 방향에 관한 신호가 디스플레이 디바이스(136)의 프로세서(138) 또는 컴퓨팅 디바이스(101)의 프로세서(102)에 송신될 때 단계 504에서 계속된다. 일부 실시예들에서, 센서(203)는 사용자(202a)의 시야(210) 또는 시선(212a-b)의 방향에 관한 신호를 프로세서(138 또는 102)로 송신한다.
방법(500)은 프로세서(102 또는 138)가 디스플레이 디바이스(136) 상에 표시되고 사용자(202a)의 시야(210)의 방향 내에 표시된 콘텐츠가 햅틱 효과와 연관되어 있다고 결정할 때 단계 506에서 계속된다. 일부 실시예들에서, 컴퓨팅 디바이스(101)의 햅틱 효과 결정 모듈(126)은 프로세서(102)가 디스플레이 디바이스(136) 상에 표시되고 사용자(202a)의 시야(210) 내에서의 콘텐츠가 햅틱 효과와 연관되는 것으로 결정하게 한다. 다른 실시예들에서, 디스플레이 디바이스(136)의 햅틱 효과 결정 모듈(162)은 프로세서(138)가 디스플레이 디바이스(136) 상에 표시되고 사용자(202a)의 시야(210) 내에서의 콘텐츠가 햅틱 효과와 연관되는 것으로 결정하게 한다.
예를 들어, 프로세서(102 또는 138)는, 사용자(202a)가 사용자(202a)의 시야(210) 또는 시선(212a-b)의 방향에 기초하여 디스플레이 디바이스(136)를 통해 제공되는 콘텐츠(예를 들어, 텍스트들, 이미지들, 사운드들, 비디오들, 캐릭터들, 가상 객체들, 가상 애니메이션들 등)를 보고 있거나 그 방향으로 보고 있는 것으로 결정할 수 있다. 예로서, 센서(203)는 사용자(202a)의 눈의 움직임들 또는 사용자(202a)의 눈 근처의 근육들을 모니터링하기 위한 카메라를 포함할 수 있고 프로세서(102 또는 138)는 모니터링된 움직임들에 기초하여 시야(210) 또는 시선(212a-b)의 방향을 결정할 수 있다. 다른 예로서, 센서(203)는 사용자(202a)의 눈을 움직이는 근육들의 전기적 활동을 모니터링 또는 측정하고 프로세서(102 또는 138)는 근육들의 전기적 활동에 기초하여 시야(210) 또는 시선(212a-b)의 방향을 결정할 수 있다. 프로세서(102 또는 138)는 사용자(202a)가 사용자(202a)의 시야(210) 또는 시선(212a-b)의 방향에 기초하여 디스플레이 디바이스(136) 상의 콘텐츠를 보고 있거나 그 방향으로 보고 있는 것으로 결정할 수 있다. 이 결정에 기초하여, 프로세서(102 또는 138)는 디스플레이 디바이스(136) 상에 표시되고 사용자(202a)의 시야(210) 내에서의 콘텐츠가 햅틱 효과와 연관되는 것으로 결정할 수 있다.
예로서, 프로세서(138)는 디스플레이 디바이스(136) 상에 표시된 가상 객체들(204, 206)이 사용자(202a)의 시야(210) 내에 있는 것으로 결정할 수 있다. 프로세서(138)는 디스플레이 디바이스(136)에 의해 표시될 수 있는 다양한 콘텐츠와 연관된 다양한 햅틱 효과들에 대응하는 데이터를 포함하는 하나 이상의 룩업 테이블 또는 데이터베이스에 액세스할 수 있다. 프로세서(138)는 하나 이상의 룩업 테이블 또는 데이터베이스에 액세스하고 사용자(202a)의 시야(210) 내에서의 가상 객체들(204, 206)이 하나 이상의 햅틱 효과와 연관되는 것으로 결정할 수 있다.
방법(500)은 프로세서(102 또는 138)가 콘텐츠와 연관된 햅틱 효과를 결정할 때 단계 508에서 계속된다. 일부 실시예들에서, 컴퓨팅 디바이스(101)의 햅틱 효과 결정 모듈(126)은 프로세서(102)가 콘텐츠와 연관된 햅틱 효과를 결정하게 한다. 다른 실시예들에서, 디스플레이 디바이스(136)의 햅틱 효과 결정 모듈(162)은 프로세서(138)가 콘텐츠와 연관된 햅틱 효과를 결정하게 한다.
예를 들어, 프로세서(138)는 (예를 들어, 단계 506에서) 디스플레이 디바이스(136) 상에 표시된 콘텐츠(예를 들어, 가상 객체(204))가 사용자(202a)의 시야(210) 내에 있고 햅틱 효과와 연관되어 있는 것으로 결정할 수 있다. 이 결정에 기초하여, 프로세서(138)는 콘텐츠와 연관된 햅틱 효과(예를 들어, 가상 객체(204)와 연관된 햅틱 효과)를 결정하거나 선택할 수 있다. 예로서, 프로세서(138)는 하나 이상의 룩업 테이블 또는 데이터베이스에 액세스하고 콘텐츠와 연관된 햅틱 효과를 선택할 수 있다.
일부 실시예들에서, 햅틱 효과는 사용자(202a)가 보고 있는 콘텐츠와 관련되는 햅틱 효과들을 사용자(202a)가 인지하거나 경험하게 할 수 있는 하나 이상의 햅틱 효과를 포함할 수 있다. 예로서, 사용자(202a)는 전투에 관여하는 가상 캐릭터일 수 있는 가상 객체(204)를 보고 있을 수 있다. 햅틱 효과는 사용자(202a)가 전투를 인지할 수 있게 하기 위한 하나 이상의 진동을 포함할 수 있다.
일부 실시예들에서, 단계 508에서, 프로세서(102 또는 138)는 디스플레이 디바이스(136) 상에 표시된 다양한 콘텐츠를 보고 있거나 그 방향으로 보고 있는 사용자(202a)에 기초하여 하나 이상의 햅틱 효과를 결정할 수 있다. 예로서, 프로세서(138)는 사용자(202a)의 시야(210)의 방향 또는 시선(212a)의 방향이 디스플레이 디바이스(136)에 의해 표시된 가상 객체(204)의 포지션 또는 위치와 대응하는 것으로 결정할 수 있다. 프로세서(138)는 또한 사용자(202a)의 시야(210)의 방향 또는 시선(212b)의 방향이 디스플레이 디바이스(136)에 의해 표시된 다른 가상 객체(206)의 포지션 또는 위치와 대응하는 것으로 결정할 수 있다. 이 결정에 기초하여, 프로세서(138)는 하나 이상의 룩업 테이블 또는 데이터베이스에 액세스하여 가상 객체(204)와 연관된 제1 햅틱 효과 및 가상 객체(206)와 연관된 제2 햅틱 효과를 결정할 수 있다.
방법(500)은 프로세서(102 또는 138)가 사용자(202a)와 디스플레이 디바이스(136) 사이의 거리를 결정할 때 단계 510에서 계속된다. 일부 실시예들에서, 센서(203)는 센서(203)와 블루투스 디바이스 사이의 신호 세기를 분석하는 것에 의해 다른 블루투스 디바이스의 위치를 검출하도록 구성된 블루투스 디바이스 또는 다른 네트워크 디바이스일 수 있다. 일부 실시예들에서, 센서(203)는 (예를 들어, 센서(203)와 컴퓨팅 디바이스(101) 사이의 블루투스 신호의 강도에 기초하여) 센서(203) 또는 디스플레이 디바이스(136)와 컴퓨팅 디바이스(101) 또는 컴퓨팅 디바이스(101)의 사용자(202a) 사이의 거리를 검출할 수 있다. 센서(203)는 센서 신호들을 프로세서(102 또는 138)에 송신할 수 있고, 프로세서(102 또는 138)는 센서 신호들에 기초하여 센서(203) 또는 디스플레이 디바이스(136)와 컴퓨팅 디바이스(101) 또는 컴퓨팅 디바이스(101)의 사용자(202a) 사이의 거리를 결정할 수 있다. 일부 실시예들에서, 센서(203)는 임의의 적절한 방법 또는 기술을 통해 컴퓨팅 디바이스(101)의 위치, 또는 센서(203) 또는 디스플레이 디바이스(136)와 컴퓨팅 디바이스(101) 또는 컴퓨팅 디바이스(101)의 사용자(202a) 사이의 거리를 검출할 수 있다.
방법(500)은, 프로세서(102 또는 138)가 센서(203) 또는 디스플레이 디바이스(136)와 컴퓨팅 디바이스(101) 또는 컴퓨팅 디바이스(101)의 사용자(202a) 사이의 거리에 적어도 부분적으로 기초하여 햅틱 효과의 특성(예를 들어, 크기, 지속기간, 위치, 유형, 빈도 등)을 결정할 때 단계 512에서 계속된다. 일부 실시예들에서, 컴퓨팅 디바이스(101)의 햅틱 효과 결정 모듈(126)은 프로세서(102)가 센서(203) 또는 디스플레이 디바이스(136)와 컴퓨팅 디바이스(101) 또는 컴퓨팅 디바이스(101)의 사용자(202a) 사이의 거리에 적어도 부분적으로 기초하여 햅틱 효과의 특성을 결정하게 한다. 다른 실시예들에서, 디스플레이 디바이스(136)의 햅틱 효과 결정 모듈(162)은 프로세서(138)가 센서(203) 또는 디스플레이 디바이스(136)와 컴퓨팅 디바이스(101) 또는 컴퓨팅 디바이스(101)의 사용자(202a) 사이의 거리에 적어도 부분적으로 기초하여 햅틱 효과의 특성을 결정하게 한다.
예를 들어, 프로세서(138)는 사용자(202a)가 디스플레이 디바이스(136) 상에 표시된 디스플레이 디바이스(136) 또는 가상 객체(204) 근처에 있는 것으로 결정할 수 있다. 프로세서(138)는 디스플레이 디바이스(136) 또는 가상 객체(204) 근처에 있는 사용자(202a)에 기초하여 가상 객체(204)와 연관된 햅틱 효과의 크기를 결정할 수 있다. 예로서, 가상 객체(204)와 연관된 햅틱 효과는 사용자(202a)가 디스플레이 디바이스(136) 근처에 있다면 강하거나 긴 햅틱 효과일 수 있다. 다른 예로서, 프로세서(138)는 사용자가 디스플레이 디바이스(136) 또는 디스플레이 디바이스(136) 상에 표시된 가상 객체(204)로부터 멀리 있는 것으로 결정하고 이 결정에 기초하여 가상 객체(204)와 연관된 약하거나 짧은 햅틱 효과를 결정할 수 있다.
방법(500)은 프로세서(102 또는 138)가 햅틱 효과와 연관된 햅틱 신호를 햅틱 출력 디바이스(118)에 송신할 때 단계 514에서 계속된다. 일부 실시예들에서, 햅틱 효과 생성 모듈(128)은 프로세서(102)가 햅틱 신호를 생성하고 햅틱 출력 디바이스(118)에 송신하게 한다. 다른 실시예에서, 햅틱 효과 생성 모듈(164)은 프로세서(138)가 햅틱 신호를 생성하고 햅틱 출력 디바이스(118)에 송신하게 한다.
방법(500)은 햅틱 출력 디바이스(118)가 디스플레이 디바이스(136) 상에 표시되고 햅틱 효과와 연관된 콘텐츠(예를 들어, 가상 객체들(204, 206))를 보고 있거나, 그를 향해 보고 있거나, 그 방향으로 보고 있는 사용자(202a)에 기초하여 햅틱 효과를 출력할 때 단계 516에서 계속된다. 일부 실시예들에서, 햅틱 효과는 사용자(202a)가 사용자가 보고 있는 콘텐츠(예를 들어, 가상 객체들(204, 206))와 관련된 햅틱 효과들을 인지하거나 경험하게 할 수 있다.
도 6은 일 실시예에 따라 시야를 이용하는 햅틱 피드백을 제공하기 위한 다른 방법(600)을 수행하기 위한 단계들의 흐름도이다. 일부 실시예들에서, 도 6의 단계들은 프로세서, 예를 들어 범용 컴퓨터, 모바일 디바이스 또는 서버의 프로세서에 의해 실행가능한 프로그램 코드로 구현될 수 있다. 일부 실시예들에서, 이런 단계들은 프로세서들의 그룹에 의해 구현될 수 있다. 일부 실시예들에서, 도 6에 도시된 하나 이상의 단계는 생략되거나 다른 순서로 수행될 수 있다. 유사하게, 일부 실시예들에서, 도 6에 도시되지 않은 추가적인 단계들이 또한 수행될 수 있다. 후술되는 단계들은 도 1 및 도 2에 도시된 시스템들에 관하여 전술된 컴포넌트들을 참조하여 설명된다.
방법(600)은 디스플레이 디바이스(136)의 센서(203)가 디스플레이 디바이스(136)에 대해 컴퓨팅 디바이스(101)의 사용자(202a)의 시야(210)를 검출할 때 단계 602에서 시작된다. 일부 실시예들에서, 센서(203)는 카메라, 사용자(202a)의 머리 움직임 또는 머리 자세를 검출하기 위한 센서, 또는 디스플레이 디바이스(136)에 대한 사용자(202a)의 시야(210) 또는 시선(212a-b)의 방향을 검출하고 디스플레이 디바이스(136)에 대한 사용자(202a)의 시야(210) 또는 시선(212a-b)의 방향을 결정하기 위한 데이터를 제공할 수 있는 적절한 디바이스를 포함할 수 있다.
방법(600)은 사용자(202a)의 시야(210) 또는 시선(212a-b)의 방향에 관한 신호가 디스플레이 디바이스(136)의 프로세서(138) 또는 컴퓨팅 디바이스(101)의 프로세서(102)에 송신될 때 단계 604에서 계속된다. 일부 실시예들에서, 사용자(202a)의 시야(210) 또는 시선(212a-b)의 방향에 관한 신호는 도 5의 단계 504에 대해 전술한 것과 실질적으로 동일한 방식으로 프로세서(138) 또는 프로세서(102)에 송신될 수 있다.
방법(600)은 프로세서(102 또는 138)가 사용자(202a)의 시야(210) 내에서의 제1 콘텐츠와 연관된 제1 햅틱 효과를 결정할 때 단계 606에서 계속된다. 일부 실시예들에서, 컴퓨팅 디바이스(101)의 햅틱 효과 결정 모듈(126)은 프로세서(102)로 하여금 사용자(202a)의 시야(210) 내에서의 제1 콘텐츠와 연관된 제1 햅틱 효과를 결정하게 한다. 다른 실시예들에서, 디스플레이 디바이스(136)의 햅틱 효과 결정 모듈(162)은 프로세서(138)로 하여금 사용자(202a)의 시야(210) 내에서의 제1 콘텐츠와 연관된 제1 햅틱 효과를 결정하게 한다.
예를 들어, 프로세서(138)는 (예를 들어, 단계 604에서) 센서(203)로부터 센서 신호들을 수신하고 센서 신호들에 기초하여 사용자(202a)의 시야(210) 또는 시선(212a-b)의 방향을 결정할 수 있다. 프로세서(138)는 이 결정에 기초하여 사용자(202a)가 가상 객체(204)를 보고 있거나 그 방향으로 보고 있는 것으로 결정할 수 있다. 프로세서(138)는 디스플레이 디바이스(136)에 의해 표시될 수 있는 다양한 콘텐츠와 연관된 다양한 햅틱 효과들에 대응하는 데이터를 포함하는 하나 이상의 룩업 테이블 또는 데이터베이스에 액세스할 수 있다. 프로세서(138)는 하나 이상의 룩업 테이블 또는 데이터베이스에 액세스하고 사용자(202a)의 시야(210) 내에서의 가상 객체(204)와 연관된 제1 햅틱 효과를 결정할 수 있다.
방법(600)은 프로세서(102 또는 138)가 사용자(202a)의 시야(210) 내에서의 제2 콘텐츠와 연관된 제2 햅틱 효과를 결정할 때 단계 608에서 계속된다. 일부 실시예들에서, 컴퓨팅 디바이스(101)의 햅틱 효과 결정 모듈(126)은 프로세서(102)가 사용자(202a)의 시야(210) 내에서의 제2 콘텐츠와 연관된 제2 햅틱 효과를 결정하게 한다. 다른 실시예들에서, 디스플레이 디바이스(136)의 햅틱 효과 결정 모듈(162)은 프로세서(138)로 하여금 사용자(202a)의 시야(210) 내에서의 제2 콘텐츠와 연관된 제2 햅틱 효과를 결정하게 한다.
예를 들어, 프로세서(138)는 (예를 들어, 단계 604에서) 센서(203)로부터 센서 신호들을 수신하고 센서 신호들에 기초하여 사용자(202a)의 시야(210) 또는 시선(212a-b)의 방향을 결정할 수 있다. 이 결정에 기초하여, 프로세서(138)는 사용자(202a)가 가상 객체(206)를 보고 있거나 그 방향으로 보고 있는 것으로 결정할 수 있다. 프로세서(138)는 디스플레이 디바이스(136)에 의해 표시될 수 있는 다양한 콘텐츠와 연관된 다양한 햅틱 효과들에 대응하는 데이터를 포함하는 하나 이상의 룩업 테이블 또는 데이터베이스에 액세스할 수 있다. 프로세서(138)는 하나 이상의 룩업 테이블 또는 데이터베이스에 액세스하고 사용자(202a)의 시야(210) 내에서의 가상 객체(206)와 연관된 제2 햅틱 효과를 결정할 수 있다.
방법(600)은 프로세서(102 또는 138)가 제1 콘텐츠 또는 제2 콘텐츠를 향해 지향되는 사용자(202a)의 시야(210)의 비율을 결정할 때 단계 610에서 계속된다. 일부 실시예들에서, 컴퓨팅 디바이스(101)의 햅틱 효과 결정 모듈(126)은 프로세서(102)가 제1 콘텐츠 또는 제2 콘텐츠를 향해 지향되는 사용자(202a)의 시야(210)의 비율을 결정하게 한다. 다른 실시예들에서, 디스플레이 디바이스(136)의 햅틱 효과 결정 모듈(162)은 프로세서(138)가 제1 콘텐츠 또는 제2 콘텐츠를 향해 지향되는 사용자(202a)의 시야(210)의 비율을 결정하게 한다.
예로서, 프로세서(138)는 (예를 들어, 단계 604에서) 센서(203)로부터 센서 신호들을 수신하고, 센서 신호들에 기초하여 사용자의 시야(210)의 절반이 가상 객체(204)를 향해 지향되거나 사용자의 시야(210)의 절반이 가상 객체(206)를 향해 지향되는 것으로 결정할 수 있다.
방법(600)은 프로세서(102 또는 138)가 제1 콘텐츠 또는 제2 콘텐츠를 향해 지향되는 사용자(202a)의 시야(210)의 비율에 적어도 부분적으로 기초하여 제1 햅틱 효과 또는 제2 햅틱 효과의 특성을 결정할 때 단계 612에서 계속된다. 일부 실시예들에서, 컴퓨팅 디바이스(101)의 햅틱 효과 결정 모듈(126)은 프로세서(102)가 제1 콘텐츠 또는 제2 콘텐츠를 향해 지향되는 사용자(202a)의 시야(210)의 비율에 적어도 부분적으로 기초하여 제1 햅틱 효과 또는 제2 햅틱 효과의 특성을 결정하게 한다. 다른 실시예들에서, 디스플레이 디바이스(136)의 햅틱 효과 결정 모듈(162)은 프로세서(138)가 제1 콘텐츠 또는 제2 콘텐츠를 향해 지향되는 사용자(202a)의 시야(210)의 비율에 적어도 부분적으로 기초하여 제1 햅틱 효과 또는 제2 햅틱 효과의 특성을 결정하게 한다.
예로서, 프로세서(138)는 (예를 들어, 단계 610에서) 사용자의 시야(210)의 절반이 가상 객체(204)를 향해 지향되고, 사용자의 시야(210)의 절반이 가상 객체(206)를 향해 지향되는 것으로 결정할 수 있다. 이 결정에 기초하여, 프로세서(138)는 가상 객체(204)와 연관된 제1 햅틱 효과의 제1 크기를 조정할 수 있고 가상 객체(206)와 연관된 제2 햅틱 효과의 제2 크기를 제2 크기의 절반으로 조정할 수 있다. 따라서, 일부 예들에서, 사용자(202a)에 의해 인지되는 햅틱 효과의 특성은 특정 콘텐츠를 향해 지향되는 사용자의 시선, 가시선, 또는 사용자의 시야의 부분에 비례하거나 그에 의존하여 변할 수 있다.
방법(600)은 프로세서(102 또는 138)가 제1 햅틱 효과와 연관된 제1 햅틱 신호 및 제2 햅틱 효과와 연관된 제2 햅틱 신호를 햅틱 출력 디바이스(118)에 송신할 때 단계 614에서 계속된다. 일부 실시예들에서, 햅틱 효과 생성 모듈(128)은 프로세서(102)가 제1 및 제2 햅틱 신호들을 생성하고 햅틱 출력 디바이스(118)에 송신하게 한다. 다른 실시예에서, 햅틱 효과 생성 모듈(164)은 프로세서(138)가 제1 및 제2 햅틱 신호들을 생성하고 햅틱 출력 디바이스(118)에 송신하게 한다.
방법(600)은 햅틱 출력 디바이스(118)가 제1 햅틱 효과와 연관된 제1 콘텐츠(예를 들어, 가상 객체(204))를 보고 있거나, 그를 향해 보고 있거나, 그 방향으로 보고 있는 사용자(202a)에 기초하여 제1 햅틱 효과를 출력하고, 제2 햅틱 효과와 연관된 제2 콘텐츠(예를 들어, 가상 객체(206))를 보고 있거나, 그를 향해 보고 있거나, 그 방향으로 보고 있는 사용자(202a)에 기초하여 제2 햅틱 효과를 출력할 때 단계 616에서 계속된다. 일부 실시예들에서, 제1 또는 제2 햅틱 효과는 진동, 표면 변형, 스퀴즈, 포크, 및/또는 고체, 액체, 가스 또는 플라즈마의 퍼프(puff)를 포함한다.
도 7은 일 실시예에 따라 시야를 이용하는 햅틱 피드백을 제공하기 위한 다른 방법(600)을 수행하기 위한 단계들의 흐름도이다. 일부 실시예들에서, 도 7에서의 단계들은 프로세서, 예를 들어 범용 컴퓨터, 모바일 디바이스, 또는 서버 내의 프로세서에 의해 실행가능한 프로그램 코드로 구현될 수 있다. 일부 실시예들에서, 이런 단계들은 프로세서들의 그룹에 의해 구현될 수 있다. 일부 실시예들에서, 도 7에 도시된 하나 이상의 단계는 생략되거나 다른 순서로 수행될 수 있다. 유사하게, 일부 실시예들에서, 도 7에 도시되지 않은 추가적인 단계들이 또한 수행될 수 있다. 후술되는 단계들은 도 1 및 도 2에 도시된 시스템들에 관하여 전술된 컴포넌트들을 참조하여 설명된다.
방법(700)은 디스플레이 디바이스(136)의 센서(203)가 디스플레이 디바이스(136)에 대해 컴퓨팅 디바이스(101)의 사용자(202a)의 시야(210)를 검출할 때 단계 702에서 시작된다. 일부 실시예들에서, 센서(203)는 카메라, 사용자(202a)의 머리 움직임 또는 머리 자세를 검출하기 위한 센서, 또는 디스플레이 디바이스(136)에 대한 사용자(202a)의 시야(210) 또는 시선(212a-b)의 방향을 검출하고 디스플레이 디바이스(136)에 대한 사용자(202a)의 시야(210) 또는 시선(212a-b)의 방향을 결정하기 위한 데이터를 제공할 수 있는 적절한 디바이스를 포함할 수 있다.
방법(700)은 사용자(202a)의 시야(210) 또는 시선(212a-b)의 방향에 관한 신호가 디스플레이 디바이스(136)의 프로세서(138) 또는 컴퓨팅 디바이스(101)의 프로세서(102)에 송신될 때 단계 704에서 계속된다. 일부 실시예들에서, 사용자(202a)의 시야(210) 또는 시선(212a-b)의 방향에 관한 신호는 도 5의 단계 504에 대해 전술한 것과 실질적으로 동일한 방식으로 프로세서(138) 또는 프로세서(102)에 송신될 수 있다.
방법(700)은 프로세서(102 또는 138)가 사용자(202a)의 시야(210) 내에서의 디스플레이 디바이스(136)의 제1 부분과 연관된 제1 햅틱 효과를 결정할 때 단계 706에서 계속된다. 일부 실시예들에서, 컴퓨팅 디바이스(101)의 햅틱 효과 결정 모듈(126)은 프로세서(102)가 사용자(202a)의 시야(210) 내에서의 디스플레이 디바이스(136)의 제1 부분과 연관된 제1 햅틱 효과를 결정하게 한다. 다른 실시예들에서, 디스플레이 디바이스(136)의 햅틱 효과 결정 모듈(162)은 프로세서(138)가 사용자(202a)의 시야(210) 내에서의 디스플레이 디바이스(136)의 제1 부분과 연관된 제1 햅틱 효과를 결정하게 한다.
예를 들어, 프로세서(138)는 (예를 들어, 단계 704에서) 센서(203)로부터 센서 신호들을 수신하고 센서 신호들에 기초하여 사용자(202a)의 시야(210) 또는 시선(212a-b)의 방향을 결정할 수 있다. 프로세서(138)는 이 결정에 기초하여 사용자(202a)가 디스플레이 디바이스(136)의 좌측 부분을 보고 있거나 그 방향으로 보고 있는 것으로 결정할 수 있다. 프로세서(138)는 디스플레이 디바이스(136)의 다양한 부분들, 또는 그 상에서의 위치들과 연관된 다양한 햅틱 효과들에 대응하는 데이터를 포함하는 하나 이상의 룩업 테이블 또는 데이터베이스에 액세스할 수 있다. 프로세서(138)는 하나 이상의 룩업 테이블 또는 데이터베이스에 액세스하고 사용자(202a)가 보고 있거나 그를 향해 보고 있는 디스플레이 디바이스(136)의 좌측 부분과 연관된 햅틱 효과를 결정할 수 있다. 일부 실시예들에서, 디스플레이 디바이스(136)의 제1 부분과 연관된 제1 햅틱 효과는 사용자(202a)가 디스플레이 디바이스(136)의 제1 부분에 관련된 하나 이상의 햅틱 효과를 인지하게 할 수 있다. 예를 들어, 디스플레이 디바이스(136)의 좌측 부분은 일련의 충돌들을 묘사하는 장면을 포함할 수 있고 좌측 부분과 연관된 햅틱 효과는 사용자(202a)가 일련의 충돌들을 인지하거나 경험할 수 있게 하기 위한 하나 이상의 진동을 포함할 수 있다.
방법(700)은 프로세서(102 또는 138)가 사용자(202a)의 시야(210) 내에서의 디스플레이 디바이스(136)의 제2 부분과 연관된 제2 햅틱 효과를 결정할 때 단계 708에서 계속된다. 일부 실시예들에서, 컴퓨팅 디바이스(101)의 햅틱 효과 결정 모듈(126)은 프로세서(102)가 사용자(202a)의 시야(210) 내에서의 디스플레이 디바이스(136)의 제2 부분과 연관된 제2 햅틱 효과를 결정하게 한다. 다른 실시예들에서, 디스플레이 디바이스(136)의 햅틱 효과 결정 모듈(162)은 프로세서(138)가 사용자(202a)의 시야(210) 내에서의 디스플레이 디바이스(136)의 제2 부분과 연관된 제2 햅틱 효과를 결정하게 한다.
예를 들어, 프로세서(138)는 (예를 들어, 단계 704에서) 센서(203)로부터 센서 신호들을 수신하고 센서 신호들에 기초하여 사용자(202a)의 시야(210) 또는 시선(212a-b)의 방향을 결정할 수 있다. 프로세서(138)는 이 결정에 기초하여 사용자(202a)가 디스플레이 디바이스(136)의 상부 부분을 보고 있거나 그 방향으로 보고 있는 것으로 결정할 수 있다. 예를 들어, 사용자(202a)는 디스플레이 디바이스(136)의 (예를 들어, 단계 706에서의) 좌측 부분 및 상부 부분을 동시에 보고 있을 수 있다. 프로세서(138)는 디스플레이 디바이스(136)의 다양한 부분들, 또는 그 상에서의 위치들과 연관된 다양한 햅틱 효과들에 대응하는 데이터를 포함하는 하나 이상의 룩업 테이블 또는 데이터베이스에 액세스할 수 있다. 프로세서(138)는 하나 이상의 룩업 테이블 또는 데이터베이스에 액세스하고 디스플레이 디바이스(136)의 상부 부분과 연관된 햅틱 효과를 결정할 수 있다. 일부 실시예들에서, 디스플레이 디바이스(136)의 제2 부분과 연관된 제2 햅틱 효과는 사용자(202a)가 디스플레이 디바이스(136)의 제2 부분에 관련된 하나 이상의 햅틱 효과를 인지하게 할 수 있다. 예를 들어, 디스플레이 디바이스(136)의 상부 부분은 그 엔진 회전 속도를 올리는 자동차를 묘사하는 장면을 포함할 수 있고, 상부 부분과 연관된 햅틱 효과는 사용자(202a)가 엔진 회전 속도를 올리는 것을 인지하거나 경험할 수 있게 하기 위한 하나 이상의 진동을 포함할 수 있다.
방법(700)은 프로세서(102 또는 138)가 디스플레이 디바이스(136)의 제1 부분 또는 디스플레이 디바이스(136)의 제2 부분을 향해 지향되는 사용자(202a)의 시야(210)의 비율을 결정할 때 단계 710에서 계속된다. 일부 실시예들에서, 컴퓨팅 디바이스(101)의 햅틱 효과 결정 모듈(126)은 프로세서(102)가 디스플레이 디바이스(136)의 제1 또는 제2 부분을 향해 지향되는 사용자(202a)의 시야(210)의 비율을 결정하게 한다. 다른 실시예들에서, 디스플레이 디바이스(136)의 햅틱 효과 결정 모듈(162)은 프로세서(138)가 디스플레이 디바이스(136)의 제1 또는 제2 부분을 향해 지향되는 사용자(202a)의 시야(210)의 비율을 결정하게 한다.
예로서, 프로세서(138)는 (예를 들어, 단계 704에서) 센서(203)로부터 센서 신호들을 수신하고, 센서 신호들에 기초하여 사용자의 시야(210)의 1/4이 디스플레이 디바이스(136)의 좌측 부분(제1 부분)을 향해 지향되고 사용자의 시야(210)의 3/4이 디스플레이 디바이스(136)의 상부 부분(예를 들어, 제2 부분)을 향해 지향되는 것으로 결정할 수 있다.
방법(700)은 프로세서(102 또는 138)가 디스플레이 디바이스(136)의 제1 부분 또는 제2 부분을 향해 지향되는 사용자(202a)의 시야(210)의 비율에 적어도 부분적으로 기초하여 제1 햅틱 효과 또는 제2 햅틱 효과의 특성을 결정할 때 단계 712에서 계속된다. 일부 실시예들에서, 컴퓨팅 디바이스(101)의 햅틱 효과 결정 모듈(126)은 프로세서(102)가 디스플레이 디바이스(136)의 제1 부분 또는 제2 부분을 향해 지향되는 사용자(202a)의 시야(210)의 비율에 적어도 부분적으로 기초하여 제1 햅틱 효과 또는 제2 햅틱 효과의 특성을 결정하게 한다. 다른 실시예들에서, 디스플레이 디바이스(136)의 햅틱 효과 결정 모듈(162)은 프로세서(138)가 디스플레이 디바이스(136)의 제1 부분 또는 제2 부분을 향해 지향되는 사용자(202a)의 시야(210)의 비율에 적어도 부분적으로 기초하여 제1 햅틱 효과 또는 제2 햅틱 효과의 특성을 결정하게 한다.
예로서, 프로세서(138)는 (예를 들어, 단계 710에서) 사용자의 시야(210)의 1/4이 디스플레이 디바이스(136)의 좌측 부분을 향해 지향되고, 사용자의 시야(210)의 3/4이 디스플레이 디바이스(136)의 상부 부분을 향해 지향되는 것으로 결정할 수 있다. 이 결정에 기초하여, 프로세서(138)는 디스플레이 디바이스(136)의 좌측 부분과 연관된 제1 햅틱 효과의 제1 크기를 제1 크기의 1/4로 조정할 수 있고, 디스플레이 디바이스(136)의 상부 부분과 연관된 제2 햅틱 효과의 제2 크기를 제2 크기의 3/4로 조정할 수 있다. 따라서, 일부 예들에서, 사용자(202a)에 의해 인지되는 햅틱 효과의 특성은 햅틱 효과와 연관되는 디스플레이 디바이스(136)의 특정 부분을 향해 지향되는 사용자의 시선(212a-b), 가시선, 또는 사용자의 시야(210)의 부분에 비례하거나 그에 의존하여 변할 수 있다.
방법(700)은 프로세서(102 또는 138)가 제1 햅틱 효과와 연관된 제1 햅틱 신호 및 제2 햅틱 효과와 연관된 제2 햅틱 신호를 햅틱 출력 디바이스(118)에 송신할 때 단계 714에서 계속된다. 일부 실시예들에서, 햅틱 효과 생성 모듈(128)은 프로세서(102)가 제1 및 제2 햅틱 신호들을 생성하고 햅틱 출력 디바이스(118)에 송신하게 한다. 다른 실시예에서, 햅틱 효과 생성 모듈(164)은 프로세서(138)가 제1 및 제2 햅틱 신호들을 생성하고 햅틱 출력 디바이스(118)에 송신하게 한다.
방법(700)은 햅틱 출력 디바이스(118)가 제1 햅틱 효과와 연관된 디스플레이 디바이스(136)의 제1 부분(예를 들어, 디스플레이 디바이스(136)의 좌측)을 보고 있거나, 그를 향해 보고 있거나, 그 방향으로 보고 있는 사용자(202a)에 기초하여 제1 햅틱 효과를 출력하고, 제2 햅틱 효과와 연관된 디스플레이 디바이스(136)의 제2 부분(예를 들어, 디스플레이 디바이스(136)의 상부 부분)을 보고 있거나, 그를 향해 보고 있거나, 그 방향으로 보고 있는 사용자(202a)에 기초하여 제2 햅틱 효과를 출력할 때 단계 716에서 계속된다. 일부 실시예들에서, 제1 또는 제2 햅틱 효과는 진동, 표면 변형, 스퀴즈, 포크, 및/또는 고체, 액체, 가스 또는 플라즈마의 퍼프를 포함한다.
이러한 방식으로, 본 명세서에 기술된 시야에 기초한 햅틱 피드백을 위한 시스템들은 사용자가 보고 있는 특정 콘텐츠에 관련되거나, 사용자가 보고 있는 디스플레이 디바이스의 특정 부분에 관련된 하나 이상의 햅틱 효과를 제공하는 것에 의해 사용자가 디스플레이 디바이스 상의 콘텐츠를 볼 때 보다 실감나는 경험을 사용자에게 제공할 수 있다. 따라서, 예를 들어, 사용자는 사용자가 보고 있지도 않고 그를 향해 보고 있지도 않은 콘텐츠와 연관된 햅틱 효과들에 압도되지 않도록 사용자가 보고 있는 콘텐츠에 대한 햅틱 효과들을 인지할 수 있다.
일반적인 고려사항들
위에서 논의된 방법들, 시스템들 및 디바이스들은 예들이다. 다양한 구성들은 생략되고, 치환되거나, 또는 적절한 경우, 다양한 절차들 또는 컴포넌트들을 더할 수 있다. 예를 들어, 대안적인 구성들에서, 방법들은 기술된 것과는 상이한 순서로 수행될 수 있고, 그리고/또는 다양한 스테이지들이 추가되고, 생략되고, 그리고/또는 조합될 수 있다. 또한, 특정 구성들에 대해 기술되는 특징들은 다양한 다른 구성들에서 조합될 수 있다. 구성들의 상이한 양태들 및 요소들이 유사한 방식으로 조합될 수 있다. 또한, 기술은 진화하고, 따라서 요소들 중 다수가 예들이며, 개시내용 또는 청구항들의 범위를 제한하지 않는다.
특정 상세항목들이 (구현예들을 포함하는) 예시적인 구성들의 철저한 이해를 제공하도록 기재에 주어진다. 그러나, 구성들은 이러한 특정 상세항목들 없이도 실시될 수 있다. 예를 들어, 널리-공지된 회로들, 프로세스들, 알고리즘들, 구조들, 및 기법들은 구성들을 모호하게 하는 것을 회피하기 위해 불필요한 상세항목 없이 도시되었다. 이 기재는 단지 예시적인 구성들을 제공하며, 청구항들의 범위, 응용가능성, 또는 구성들을 제한하지 않는다. 오히려, 구성들의 이전 기재는, 기술된 기법들을 구현하게 할 수 있는 기재를 본 기술분야의 통상의 기술자에게 제공할 것이다. 개시내용의 사상 또는 범위로부터 벗어나지 않고 요소들의 기능 및 배열에서 다양한 변경들이 이루어질 수 있다.
또한, 구성들은 흐름도 또는 블록도로서 도시되는 프로세스로서 기술될 수 있다. 이들 각각은 동작들을 순차적인 프로세스로서 설명할 수 있지만, 동작들 중 다수는 병렬로 또는 동시에 수행될 수 있다. 또한, 동작들의 순서가 재배열될 수 있다. 프로세스는 도면에 포함되지 않은 추가적인 단계들을 가질 수 있다. 또한, 방법들의 예들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어들, 또는 이들의 임의의 조합에 의해 구현될 수 있다. 소프트웨어, 펌웨어, 미들웨어, 또는 마이크로코드에서 구현될 때, 필요한 작업들을 수행하기 위한 프로그램 코드 또는 코드 세그먼트들은 저장 매체와 같은 비-일시적 컴퓨터 판독가능한 매체에 저장될 수 있다. 프로세서들은 기술된 작업들을 수행할 수 있다.
몇몇 예시적인 구성들을 기술하였지만, 다양한 수정들, 대안적 구성들, 및 등가물들이 개시내용의 사상으로부터 벗어나지 않고 사용될 수 있다. 예를 들어, 위의 요소들은 더 큰 시스템의 컴포넌트들일 수 있고, 여기서 다른 규정들이 발명의 응용예보다 우선할 수 있거나 또는 그렇지 않은 경우 발명의 응용예를 수정할 수 있다. 또한, 다수의 단계들이, 위의 요소들이 고려되기 이전에, 고려되는 동안, 또는 고려된 이후 착수될 수 있다. 따라서, 위의 기재는 청구항들의 범위를 제한하지 않는다.
본 명세서에서 “하도록 적응된” 또는 “하도록 구성된”의 사용은 추가적인 작업들 또는 단계들을 수행하도록 적응된 또는 구성된 디바이스들을 배제하지 않는 개방적이고 포괄적인 표현으로 의도된 것이다. 추가로, “에 기초한”의 사용은 하나 이상의 열거된 조건들 또는 값들”에 기초한” 프로세스, 단계, 계산, 또는 다른 액션은, 실제로는, 열거된 것들 이외에 추가적인 조건들 또는 값들에 기초할 수 있다는 점에서, 개방적이고 포괄적인 것으로 의도된 것이다. 본 명세서에 포함되는 주제들, 리스트들, 및 번호화는 설명의 용이성만을 위한 것이고 제한되도록 의도되지 않는다.
본 발명 대상의 양태들에 따른 실시예들은, 디지털 전자 회로, 컴퓨터 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합으로 구현될 수 있다. 일 실시예에서, 컴퓨터는 하나의 프로세서 또는 프로세서들을 포함할 수 있다. 프로세서는 프로세서에 결합되는 랜덤 액세스 메모리(RAM)와 같은 컴퓨터 판독가능한 매체로의 액세스를 포함하거나 갖는다. 프로세서는 메모리에 저장된 컴퓨터 실행가능한 프로그램 명령어들을 실행하는데, 예컨대, 센서 샘플링 루틴, 선택 루틴들, 및 전술된 방법들을 수행하기 위한 다른 루틴들을 포함하는 하나 이상의 컴퓨터 프로그램을 실행한다.
이러한 프로세서들은 마이크로프로세서, 디지털 신호 프로세서(DSP), ASIC(application-specific integrated circuit), FPGA들(field programmable gate arrays), 및 상태 머신들을 포함할 수 있다. 이러한 프로세서들은 PLC들, PIC들(programmable interrupt controllers), PLD들(programmable logic devices), PROM들(programmable read-only memories), EPROM들(electronically programmable read-only memories), 또는 EEPROM들, 또는 다른 유사한 디바이스들과 같은 프로그램가능 전자 디바이스들을 더 포함할 수 있다.
그러한 프로세서들은 매체, 예를 들어, 프로세서에 의해 실행될 때, 프로세서로 하여금, 프로세서에 의해 수행되거나 도움을 받아 여기에 설명된 단계들을 수행하게 할 수 있는 명령어들을 저장할 수 있는 유형의(tangible) 컴퓨터 판독가능한 매체를 포함할 수 있거나, 또는 이와 통신할 수 있다. 컴퓨터 판독가능한 매체의 실시예들은 웹 서버 내의 프로세서와 같은 프로세서에 컴퓨터 판독가능한 명령어들을 제공할 수 있는 모든 전자, 광학, 자기, 또는 다른 저장 디바이스들을 포함할 수 있지만, 이에 제한되지는 않는다. 매체의 다른 예들은 플로피 디스크, CD-ROM, 자기 디스크, 메모리 칩, ROM, RAM, ASIC, 구성된 프로세서, 모든 광학 매체, 모든 자기 테이프 또는 다른 자기 매체, 또는 컴퓨터 프로세서가 판독할 수 있는 임의의 다른 매체를 포함하지만, 이에 제한되는 것은 아니다. 또한, 다양한 다른 디바이스들은, 라우터, 개인 또는 공중 네트워크, 또는 다른 송신 디바이스와 같은, 컴퓨터 판독가능한 매체를 포함할 수 있다. 설명된 프로세서 및 처리는 하나 이상의 구조로 이루어질 수 있고, 하나 이상의 구조를 통해 분산될 수 있다. 프로세서는 본 명세서에 설명된 방법들(또는 방법들의 부분들) 중 하나 이상을 수행하기 위한 코드를 포함할 수 있다.
본 발명 대상은 그의 특정 실시예들에 관련하여 상세히 설명되었지만, 본 기술분야의 통상의 기술자들은, 전술한 내용을 이해하게 되면, 그러한 실시예들의 변경들, 변형들, 및 동등물들을 용이하게 만들어 낼 수 있음을 알 것이다. 따라서, 본 개시내용은 제한적인 목적보다는 오히려 예시적인 목적으로 제시되는 것이며, 본 기술분야의 통상의 기술자에게 용이하게 명백하게 되는 바와 같은 본 발명 대상에 대한 이러한 수정들, 변경들 및/또는 추가사항들의 포함을 배제하는 것이 아니라는 점을 이해해야 한다.

Claims (24)

  1. 디스플레이 디바이스에 통신가능하게 결합된 컴퓨팅 디바이스로서, 상기 디스플레이 디바이스는 제 1 콘텐츠 및 제 2 콘텐츠를 표시하도록 구성되는, 상기 컴퓨팅 디바이스;
    상기 컴퓨팅 디바이스에 통신가능하게 결합되고 상기 디스플레이 디바이스에 대한 상기 컴퓨팅 디바이스의 사용자의 시야를 검출하고 상기 시야와 연관된 신호를 송신하도록 구성된 센서;
    상기 신호를 수신하기 위해 상기 센서에 통신가능하게 결합된 프로세서로서, 상기 프로세서는,
    상기 신호에 적어도 부분적으로 기초하여 상기 사용자의 상기 시야의 방향을 결정하고;
    상기 디스플레이 디바이스를 통해 표시되고 상기 사용자의 상기 시야의 상기 방향 내에서의 상기 제 1 콘텐츠 및 상기 제 2 콘텐츠가 적어도 하나의 햅틱 효과를 포함하는 햅틱 트랙과 연관됨을 결정하고;
    상기 제 1 콘텐츠 및 상기 제 2 콘텐츠와 연관된 상기 햅틱 트랙을 결정하고;
    상기 신호에 적어도 부분적으로 기초하여 상기 사용자의 시선의 변화를 결정하고;
    상기 사용자의 상기 시선의 상기 변화에 적어도 부분적으로 기초하여 상기 햅틱 트랙의 특성을 결정하고;
    상기 햅틱 트랙과 연관된 햅틱 신호를 송신하도록
    구성되는, 상기 프로세서; 및
    상기 햅틱 신호를 수신하고 상기 햅틱 트랙을 출력하도록 구성된 햅틱 출력 디바이스를 포함하는, 시스템.
  2. 제 1 항에 있어서,
    상기 센서는 추가로, 상기 사용자와 상기 디스플레이 디바이스 사이의 거리를 검출하고 상기 거리와 연관된 거리 센서 신호를 상기 프로세서에 송신하도록 구성되고, 상기 프로세서는 추가로, 상기 거리에 적어도 부분적으로 기초하여 상기 햅틱 트랙의 특성을 결정하도록 구성되는, 시스템.
  3. 제 2 항에 있어서,
    상기 햅틱 트랙의 상기 특성은 상기 햅틱 효과의 크기, 지속기간, 위치, 유형 또는 빈도(frequency)를 포함하는, 시스템.
  4. 제 1 항에 있어서,
    상기 프로세서는 추가로,
    상기 사용자의 상기 시야 내에서의 상기 제 1 콘텐츠와 연관된 제 1 햅틱 효과를 결정하고;
    상기 사용자의 상기 시야 내에서의 상기 제 2 콘텐츠와 연관된 제 2 햅틱 효과를 결정하고;
    상기 제 1 햅틱 효과와 연관된 제 1 햅틱 신호를 송신하고; 그리고
    상기 제 2 햅틱 효과와 연관된 제 2 햅틱 신호를 송신하도록
    구성되고,
    상기 햅틱 출력 디바이스는 상기 제 1 햅틱 신호 및 상기 제 2 햅틱 신호를 수신하고 상기 제 1 햅틱 효과 및 제 2 햅틱 효과를 출력하도록 구성되는, 시스템.
  5. 제 4 항에 있어서,
    상기 프로세서는 추가로,
    상기 제 1 콘텐츠 또는 상기 제 2 콘텐츠를 향해 지향되는 상기 사용자의 상기 시야의 비율을 결정하고; 그리고
    상기 제 1 콘텐츠 또는 상기 제 2 콘텐츠를 향해 지향되는 상기 사용자의 상기 시야의 상기 비율에 적어도 부분적으로 기초하여 상기 제 1 햅틱 효과 또는 상기 제 2 햅틱 효과의 특성을 결정하도록
    구성되는, 시스템.
  6. 제 4 항에 있어서,
    상기 프로세서는 추가로,
    상기 제 1 콘텐츠를 향해 지향되는 상기 사용자의 시선의 제 1 방향을 결정하고;
    상기 제 2 콘텐츠를 향해 지향되는 상기 사용자의 시선의 제 2 방향을 결정하고;
    상기 제 1 방향 및 상기 제 2 방향에 기초하여 상기 사용자의 상기 시선의 상기 변화를 결정하고;
    상기 사용자의 상기 시선의 상기 변화에 적어도 부분적으로 기초하여 상기 제 1 햅틱 효과 또는 상기 제 2 햅틱 효과의 특성을 결정하도록
    구성되는, 시스템.
  7. 제 1 항에 있어서,
    상기 프로세서는 추가로,
    상기 사용자의 상기 시야 내에서 상기 디스플레이 디바이스의 제 1 부분과 연관된 제 1 햅틱 효과를 결정하고;
    상기 사용자의 상기 시야 내에서 상기 디스플레이 디바이스의 제 2 부분과 연관된 제 2 햅틱 효과를 결정하고;
    상기 제 1 햅틱 효과와 연관된 제 1 햅틱 신호를 송신하고; 그리고
    상기 제 2 햅틱 효과와 연관된 제 2 햅틱 신호를 송신하도록
    구성되고,
    상기 햅틱 출력 디바이스는 상기 제 1 햅틱 신호 및 상기 제 2 햅틱 신호를 수신하고 상기 제 1 햅틱 효과 및 제 2 햅틱 효과를 출력하도록 구성되는, 시스템.
  8. 제 7 항에 있어서,
    상기 프로세서는 추가로,
    상기 디스플레이 디바이스의 상기 제 1 부분 또는 상기 디스플레이 디바이스의 상기 제 2 부분을 향해 지향되는 상기 사용자의 상기 시야의 비율을 결정하고; 그리고
    상기 디스플레이 디바이스의 상기 제 1 부분 또는 상기 디스플레이 디바이스의 상기 제 2 부분을 향해 지향되는 상기 사용자의 상기 시야의 상기 비율에 적어도 부분적으로 기초하여 상기 제 1 햅틱 효과 또는 상기 제 2 햅틱 효과의 특성을 결정하도록
    구성되는, 시스템.
  9. 제 1 항에 있어서,
    상기 센서는 상기 사용자의 눈과 연관된 이미지를 포착하도록 구성된 카메라를 포함하고, 상기 프로세서는 상기 이미지에 기초하여 상기 사용자의 상기 시야의 상기 방향을 결정하도록 구성되는, 시스템.
  10. 제 1 항에 있어서,
    상기 센서는 상기 사용자의 눈에서 근육의 움직임을 모니터링하도록 구성되고, 상기 프로세서는 모니터링된 상기 움직임에 기초하여 상기 사용자의 상기 시야의 상기 방향을 결정하도록 구성되는, 시스템.
  11. 제 1 항에 있어서,
    상기 컴퓨팅 디바이스는 가상 현실 헤드셋을 포함하고,
    상기 프로세서는 추가로,
    가상 현실 환경을 생성하고; 그리고
    복수의 콘텐츠 및 상기 가상 현실 환경을 포함하는 데이터를 상기 디스플레이 디바이스에 송신하도록
    구성되고,
    상기 디스플레이 디바이스는, 복수의 가상 객체들을 포함하는 상기 복수의 콘텐츠를 표시하도록 구성되는, 시스템.
  12. 제 1 항에 있어서,
    상기 프로세서는 추가로, 상기 사용자와 상기 제 1 콘텐츠 또는 상기 제 2 콘텐츠 사이의 가상 거리에 적어도 부분적으로 기초하여 상기 햅틱 트랙의 특성을 결정하도록 구성되는, 시스템.
  13. 센서에 의해, 컴퓨팅 디바이스에 통신가능하게 결합된 디스플레이 디바이스에 대한 상기 컴퓨팅 디바이스의 사용자의 시야를 검출하는 단계로서, 상기 디스플레이 디바이스는 제 1 콘텐츠 및 제 2 콘텐츠를 표시하도록 구성되는, 상기 컴퓨팅 디바이스의 사용자의 시야를 검출하는 단계;
    상기 센서에 의해, 상기 시야와 연관된 센서 신호를 프로세서에 송신하는 단계;
    상기 프로세서에 의해, 상기 센서 신호에 적어도 부분적으로 기초하여 상기 시야의 방향을 결정하는 단계;
    상기 프로세서에 의해, 상기 디스플레이 디바이스를 통해 표시된 상기 제 1 콘텐츠 및 상기 제 2 콘텐츠가 상기 시야의 상기 방향에 기초하여 상기 사용자의 상기 시야 내에 있음을 결정하는 단계;
    상기 프로세서에 의해, 상기 제 1 콘텐츠 및 상기 제 2 콘텐츠와 연관된 햅틱 트랙을 결정하는 단계;
    상기 센서 신호에 적어도 부분적으로 기초하여 상기 사용자의 시선의 변화를 결정하는 단계;
    상기 사용자의 상기 시선의 상기 변화에 적어도 부분적으로 기초하여 상기 햅틱 트랙의 특성을 결정하는 단계;
    상기 프로세서에 의해, 상기 햅틱 트랙과 연관된 햅틱 신호를 햅틱 출력 디바이스에 송신하는 단계; 및
    상기 햅틱 출력 디바이스에 의해, 상기 햅틱 트랙을 출력하는 단계를 포함하는, 방법.
  14. 제 13 항에 있어서,
    상기 센서에 의해, 상기 사용자와 상기 디스플레이 디바이스 사이의 거리를 검출하는 단계;
    상기 센서에 의해, 상기 거리와 연관된 거리 신호를 상기 프로세서에 송신하는 단계; 및
    상기 프로세서에 의해, 상기 거리에 적어도 부분적으로 기초하여 상기 햅틱 트랙의 특성을 결정하는 단계를 더 포함하는, 방법.
  15. 제 14 항에 있어서,
    상기 햅틱 트랙의 상기 특성은 햅틱 효과의 크기, 지속기간, 위치, 유형 또는 빈도를 포함하는, 방법.
  16. 제 13 항에 있어서,
    상기 프로세서에 의해, 상기 사용자의 상기 시야 내에서의 상기 제 1 콘텐츠와 연관된 제 1 햅틱 효과를 결정하는 단계;
    상기 프로세서에 의해, 상기 사용자의 상기 시야 내에서의 상기 제 2 콘텐츠와 연관된 제 2 햅틱 효과를 결정하는 단계;
    상기 프로세서에 의해, 상기 제 1 햅틱 효과와 연관된 제 1 햅틱 신호를 송신하는 단계;
    상기 프로세서에 의해, 상기 제 2 햅틱 효과와 연관된 제 2 햅틱 신호를 송신하는 단계; 및
    상기 햅틱 출력 디바이스에 의해, 상기 제 1 햅틱 효과 및 상기 제 2 햅틱 효과를 출력하는 단계를 더 포함하고,
    상기 제 1 햅틱 효과는 상기 제 2 햅틱 효과와 상이한, 방법.
  17. 제 16 항에 있어서,
    상기 프로세서에 의해, 상기 제 1 콘텐츠 또는 상기 제 2 콘텐츠를 향해 지향되는 상기 사용자의 상기 시야의 비율을 결정하는 단계; 및
    상기 프로세서에 의해, 상기 제 1 콘텐츠 또는 상기 제 2 콘텐츠를 향해 지향되는 상기 사용자의 상기 시야의 상기 비율에 적어도 부분적으로 기초하여 상기 제 1 햅틱 효과 또는 상기 제 2 햅틱 효과의 특성을 결정하는 단계를 더 포함하고,
    상기 특성은 상기 제 1 햅틱 효과 또는 상기 제 2 햅틱 효과의 크기, 지속기간, 위치, 유형 또는 빈도를 포함하는, 방법.
  18. 제 16 항에 있어서,
    상기 프로세서에 의해, 상기 제 1 콘텐츠를 향해 지향되는 상기 사용자의 시선의 제 1 방향을 결정하는 단계;
    상기 프로세서에 의해, 상기 제 2 콘텐츠를 향해 지향되는 상기 사용자의 시선의 제 2 방향을 결정하는 단계;
    상기 프로세서에 의해, 상기 제 1 방향 및 상기 제 2 방향에 기초하여 상기 사용자의 상기 시선의 상기 변화를 결정하는 단계; 및
    상기 프로세서에 의해, 상기 사용자의 상기 시선의 상기 변화에 적어도 부분적으로 기초하여 상기 제 1 햅틱 효과 또는 상기 제 2 햅틱 효과의 특성을 결정하는 단계를 더 포함하고,
    상기 특성은 상기 제 1 햅틱 효과 또는 상기 제 2 햅틱 효과의 크기, 지속기간, 위치, 유형 또는 빈도를 포함하는, 방법.
  19. 제 13 항에 있어서,
    상기 프로세서에 의해, 상기 사용자의 상기 시야 내에서 상기 디스플레이 디바이스의 제 1 부분과 연관된 제 1 햅틱 효과를 결정하는 단계;
    상기 프로세서에 의해, 상기 사용자의 상기 시야 내에서 상기 디스플레이 디바이스의 제 2 부분과 연관된 제 2 햅틱 효과를 결정하는 단계;
    상기 프로세서에 의해, 상기 제 1 햅틱 효과와 연관된 제 1 햅틱 신호를 송신하는 단계;
    상기 프로세서에 의해, 상기 제 2 햅틱 효과와 연관된 제 2 햅틱 신호를 송신하는 단계; 및
    상기 햅틱 출력 디바이스에 의해, 상기 제 1 햅틱 효과 및 상기 제 2 햅틱 효과를 출력하는 단계를 더 포함하고,
    상기 제 1 햅틱 효과는 상기 제 2 햅틱 효과와 상이한, 방법.
  20. 제 19 항에 있어서,
    상기 프로세서에 의해, 상기 디스플레이 디바이스의 상기 제 1 부분 또는 상기 디스플레이 디바이스의 상기 제 2 부분을 향해 지향되는 상기 사용자의 상기 시야의 비율을 결정하는 단계; 및
    상기 프로세서에 의해, 상기 디스플레이 디바이스의 상기 제 1 부분 또는 상기 디스플레이 디바이스의 상기 제 2 부분을 향해 지향되는 상기 사용자의 상기 시야의 상기 비율에 적어도 부분적으로 기초하여 상기 제 1 햅틱 효과 또는 상기 제 2 햅틱 효과의 특성을 결정하는 단계를 더 포함하고,
    상기 특성은 상기 제 1 햅틱 효과 또는 상기 제 2 햅틱 효과의 크기, 지속기간, 위치, 유형 또는 빈도를 포함하는, 방법.
  21. 제 13 항에 있어서,
    상기 센서는 상기 사용자의 눈의 움직임을 모니터링하도록 구성되고, 상기 프로세서는 모니터링된 상기 움직임에 기초하여 상기 사용자의 상기 시야의 상기 방향을 결정하도록 구성되는, 방법.
  22. 제 13 항에 있어서,
    상기 센서는 상기 사용자의 눈에서 근육의 움직임을 모니터링하도록 구성되고, 상기 프로세서는 모니터링된 상기 움직임에 기초하여 상기 사용자의 상기 시야의 상기 방향을 결정하도록 구성되는, 방법.
  23. 제 13 항에 있어서,
    상기 프로세서에 의해, 가상 현실 환경을 생성하는 단계;
    상기 프로세서에 의해, 복수의 콘텐츠 및 상기 가상 현실 환경을 포함하는 데이터를 상기 디스플레이 디바이스에 송신하는 단계; 및
    상기 디스플레이 디바이스에 의해, 상기 복수의 콘텐츠를 표시하는 단계를 더 포함하고,
    상기 복수의 콘텐츠는 복수의 가상 객체들을 포함하는, 방법.
  24. 제 13 항에 있어서,
    상기 프로세서에 의해, 상기 사용자와 상기 제 1 콘텐츠 또는 상기 제 2 콘텐츠 사이의 가상 거리에 적어도 부분적으로 기초하여 상기 햅틱 트랙의 특성을 결정하는 단계를 더 포함하는, 방법.
KR1020210098029A 2016-12-27 2021-07-26 시야를 이용하는 햅틱 피드백 KR20210095833A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/390,868 2016-12-27
US15/390,868 US10324531B2 (en) 2016-12-27 2016-12-27 Haptic feedback using a field of view
KR1020170179685A KR102285180B1 (ko) 2016-12-27 2017-12-26 시야를 이용하는 햅틱 피드백

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020170179685A Division KR102285180B1 (ko) 2016-12-27 2017-12-26 시야를 이용하는 햅틱 피드백

Publications (1)

Publication Number Publication Date
KR20210095833A true KR20210095833A (ko) 2021-08-03

Family

ID=60782063

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020170179685A KR102285180B1 (ko) 2016-12-27 2017-12-26 시야를 이용하는 햅틱 피드백
KR1020210098029A KR20210095833A (ko) 2016-12-27 2021-07-26 시야를 이용하는 햅틱 피드백

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020170179685A KR102285180B1 (ko) 2016-12-27 2017-12-26 시야를 이용하는 햅틱 피드백

Country Status (5)

Country Link
US (2) US10324531B2 (ko)
EP (1) EP3343326B1 (ko)
JP (1) JP6985134B2 (ko)
KR (2) KR102285180B1 (ko)
CN (1) CN108334190B (ko)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11068128B2 (en) 2013-09-03 2021-07-20 Apple Inc. User interface object manipulations in a user interface
KR20180128091A (ko) 2013-09-03 2018-11-30 애플 인크. 자기 특성을 갖는 사용자 인터페이스 객체를 조작하는 사용자 인터페이스
US9588586B2 (en) * 2014-06-09 2017-03-07 Immersion Corporation Programmable haptic devices and methods for modifying haptic strength based on perspective and/or proximity
WO2015200889A1 (en) 2014-06-27 2015-12-30 Apple Inc. Electronic device with rotatable input mechanism for navigating calendar application
US20160062571A1 (en) 2014-09-02 2016-03-03 Apple Inc. Reduced size user interface
TWI582641B (zh) 2014-09-02 2017-05-11 蘋果公司 按鈕功能性
CN113824998A (zh) 2014-09-02 2021-12-21 苹果公司 音乐用户界面
WO2016036509A1 (en) 2014-09-02 2016-03-10 Apple Inc. Electronic mail user interface
DK179978B1 (en) * 2016-09-23 2019-11-27 Apple Inc. IMAGE DATA FOR ENHANCED USER INTERACTIONS
US10401954B2 (en) * 2017-04-17 2019-09-03 Intel Corporation Sensory enhanced augmented reality and virtual reality device
WO2018200993A1 (en) 2017-04-28 2018-11-01 Zermatt Technologies Llc Video pipeline
US10979685B1 (en) 2017-04-28 2021-04-13 Apple Inc. Focusing for virtual and augmented reality systems
JP6613267B2 (ja) 2017-06-02 2019-11-27 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および、情報処理方法
JP6837921B2 (ja) * 2017-06-02 2021-03-03 任天堂株式会社 ゲームプログラム、情報処理装置、情報処理システム、および、情報処理方法
JP6653293B2 (ja) 2017-06-05 2020-02-26 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および、情報処理方法
US10861142B2 (en) * 2017-07-21 2020-12-08 Apple Inc. Gaze direction-based adaptive pre-filtering of video data
CA3037657C (en) * 2018-03-22 2023-03-14 Jennifer Hendrix Route guidance and obstacle avoidance system
US11725958B2 (en) 2018-03-22 2023-08-15 Jennifer Hendrix Route guidance and proximity awareness system
US11435830B2 (en) 2018-09-11 2022-09-06 Apple Inc. Content-based tactile outputs
CN110096157B (zh) * 2018-09-11 2021-05-11 苹果公司 基于内容的触觉输出
DK179896B1 (en) 2018-09-11 2019-08-30 Apple Inc. CONTENT-BASED TACTILE OUTPUTS
US10775894B2 (en) * 2018-11-02 2020-09-15 Immersion Corporation Systems and methods for providing customizable haptic playback
US10860101B1 (en) * 2018-11-21 2020-12-08 Facebook Technologies, Llc Systems and methods using patterned nanovoids for actuation and deformation sensing
EP3938867A4 (en) * 2019-04-26 2022-10-26 Hewlett-Packard Development Company, L.P. SPATIAL AUDIO AND HAPTICS
US10996761B2 (en) 2019-06-01 2021-05-04 Apple Inc. User interfaces for non-visual output of time
US11086398B2 (en) * 2019-06-07 2021-08-10 Microsoft Technology Licensing, Llc Haptic rendering
US11347312B1 (en) * 2019-09-23 2022-05-31 Apple Inc. Ultrasonic haptic output devices
US11429155B2 (en) * 2019-10-01 2022-08-30 Dell Products L.P. Information handling system including dynamic configuration of piezoelectric transducers for multi-functionality
JP2021067877A (ja) * 2019-10-25 2021-04-30 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、ヘッドマウントディスプレイ、および画像表示方法
US11093005B1 (en) * 2020-05-05 2021-08-17 International Business Machines Corporation Virtual reality rollable display device
DE112021005923T5 (de) * 2020-11-10 2023-09-28 Sony Group Corporation Signalverarbeitungsvorrichtung, signalverarbeitungsverfahren und signalverarbeitungssystem
US11461991B2 (en) * 2020-12-30 2022-10-04 Imagine Technologies, Inc. Method of developing a database of controllable objects in an environment

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2422265A1 (en) * 2003-03-14 2004-09-14 Handshake Interactive Technologies Inc. A method and system for providing haptic effects
WO2006100645A2 (en) 2005-03-24 2006-09-28 Koninklijke Philips Electronics, N.V. Immersive reading experience using eye tracking
US8243970B2 (en) * 2008-08-11 2012-08-14 Telefonaktiebolaget L M Ericsson (Publ) Virtual reality sound for advanced multi-media applications
KR101618590B1 (ko) * 2008-12-09 2016-05-09 코닌클리케 필립스 엔.브이. 몰입 효과들을 제공하기 위한 방법 및 시스템
WO2014006799A1 (ja) 2012-07-05 2014-01-09 日本電気株式会社 電子機器、その制御方法及び制御プログラムが格納された非一時的なコンピュータ可読媒体
US9202350B2 (en) * 2012-12-19 2015-12-01 Nokia Technologies Oy User interfaces and associated methods
US9466187B2 (en) 2013-02-04 2016-10-11 Immersion Corporation Management of multiple wearable haptic devices
US9833697B2 (en) * 2013-03-11 2017-12-05 Immersion Corporation Haptic sensations as a function of eye gaze
JP2014197338A (ja) * 2013-03-29 2014-10-16 株式会社東芝 プログラムの疎行列演算化装置
US9946348B2 (en) * 2014-03-21 2018-04-17 Immersion Corporation Automatic tuning of haptic effects
US9690370B2 (en) * 2014-05-05 2017-06-27 Immersion Corporation Systems and methods for viewport-based augmented reality haptic effects
US10613627B2 (en) * 2014-05-12 2020-04-07 Immersion Corporation Systems and methods for providing haptic feedback for remote interactions
US9588586B2 (en) * 2014-06-09 2017-03-07 Immersion Corporation Programmable haptic devices and methods for modifying haptic strength based on perspective and/or proximity
US20160187976A1 (en) 2014-12-29 2016-06-30 Immersion Corporation Systems and methods for generating haptic effects based on eye tracking
US9711015B2 (en) 2015-09-16 2017-07-18 Immersion Corporation Customizing haptic feedback in live events

Also Published As

Publication number Publication date
CN108334190A (zh) 2018-07-27
JP6985134B2 (ja) 2021-12-22
EP3343326A2 (en) 2018-07-04
CN108334190B (zh) 2022-08-26
EP3343326A3 (en) 2018-11-21
US20180181201A1 (en) 2018-06-28
US10564729B2 (en) 2020-02-18
US10324531B2 (en) 2019-06-18
JP2018109974A (ja) 2018-07-12
EP3343326B1 (en) 2021-11-17
KR20180076344A (ko) 2018-07-05
KR102285180B1 (ko) 2021-08-03
US20190272036A1 (en) 2019-09-05

Similar Documents

Publication Publication Date Title
KR102285180B1 (ko) 시야를 이용하는 햅틱 피드백
JP6906580B6 (ja) ビューポートベースの拡張現実触覚効果のシステム、方法及び非一時的コンピュータ可読媒体
US10551964B2 (en) Systems and methods for manipulating a graphical user interface through gestures in real space and providing associated haptic effects
CN108170262B (zh) 触觉环绕功能
US10248210B2 (en) Systems and methods for haptically-enabled conformed and multifaceted displays
JP6591805B2 (ja) 静電触覚効果を提供する表面要素のためのシステム及び方法
CN110633006A (zh) 用于虚拟现实用户的真实世界触觉交互
US20150268724A1 (en) Systems and Methods for Haptically-Enabled Curved Devices
US20180164885A1 (en) Systems and Methods For Compliance Illusions With Haptics
KR20180098166A (ko) 가상 감성 터치를 위한 시스템들 및 방법들
US20190265794A1 (en) Haptic feedback for opportunistic displays
KR20200075773A (ko) 사용자의 모션 또는 환경에 기초하여 햅틱 효과들을 제공하는 시스템들 및 방법들
CN110609615A (zh) 用于在增强现实中集成触觉覆盖的系统和方法

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E601 Decision to refuse application