KR20160080083A - 아이-트래킹을 기반으로 햅틱 효과를 생성하기 위한 시스템 및 방법 - Google Patents

Abstract

시스템은 이미지를 포함하는 미디어 콘텐츠를 보는 동안 사용자의 시선을 트래킹하도록 구성된 아이-트래킹 장치; 및 하나 이상의 컴퓨터 프로그램 모듈들을 실행하도록 구성된 프로세서를 포함하고, 상기 하나 이상의 컴퓨터 프로그램 모듈들은, 상기 프로세서에 의해 실행될 때, 상기 이미지를 식별하기 위해 상기 미디어 콘텐츠를 분석하는 콘텐츠 결정 모듈, 상기 프로세서에 의해 실행될 때, 상기 이미지를 보는 동안 상기 사용자의 시선의 응시 위치를 결정하는 시선 결정 모듈, 및 프로세서에 의해 실행될 때, 상기 이미지의 식별과 상기 응시 위치에 기초하여 트리거하기 위한 이벤트를 결정하는 이벤트 결정 모듈을 포함한다.

Description

아이-트래킹을 기반으로 햅틱 효과를 생성하기 위한 시스템 및 방법{SYSTEMS AND METHODS FOR GENERATING HAPTIC EFFECTS BASED ON EYE TRACKING}

본 발명은 아이-트래킹을 기반으로 햅틱 효과들을 생성하기 위한 시스템들과 방법들에 관한 것이다.

햅틱 콘텐츠는 현재 예를 들어, 비디오를 보는 것 또는 비디오 게임을 하는 것의 경험을 개선하는데 사용된다. 많은 다른 유형의 경험들은 책, 신문, 매거진, 등을 읽는 것과 같은, 경험의 가시적 양태들로 제한된다. 일부 인쇄된 미디어는 주의를 끌고 더 흥미로운 그래픽들과 폰트의 비주얼 디자인을 이용한다. 일부 인쇄된 미디어는 또한 오디오 콘텐츠와 같은, 추가적 멀티미디어 콘텐츠가 더 쉽게 추가될 수 있는 디지털 미디어로 이동했다. 읽거나 시청하는 경험을 개선하고 청중에게 더 몰입형 경험을 제공하는 것이 바람직하다. 사용자들이 멀티미디어 콘텐츠의 시각적인 콘텐츠와 상호작용할 때 인간-컴퓨터 상호작용을 용이하게 하는 것이 또한 바람직하다.

본 발명의 한 양태에 따르면, 이미지를 포함하는 미디어 콘텐츠를 보는 동안 사용자의 시선을 트래킹하도록 구성된 아이-트래킹 장치, 및 프로세서에 의해 실행될 때, 이미지를 식별하기 위해 미디어 콘텐츠를 분석하는 콘텐츠 결정 모듈, 프로세서에 의해 실행될 때, 이미지를 보는 동안 사용자의 시선의 응시 위치를 결정하는 시선 결정 모듈, 및 프로세서에 의해 실행될 때, 이미지의 식별과 응시 위치를 기반으로 트리거하기 위한 이벤트를 결정하는 이벤트 결정 모듈을 포함하는, 하나 이상의 컴퓨터 프로그램 모듈들을 실행하도록 구성된 프로세서를 포함하는 시스템이 제공된다.

한 실시 형태에서, 시스템은 이미지를 포함하는 미디어 콘텐츠를 표시하도록 구성된 디스플레이를 포함한다.

한 실시 형태에서, 시스템은 사용자 인터페이스를 포함하고, 디스플레이는 사용자 인터페이스의 일부이다.

한 실시 형태에서, 시스템은 응시 위치, 이미지의 식별, 및/또는 이벤트의 트리거링을 기반으로 사용자에 햅틱 효과를 생성하도록 구성된 햅틱 출력 장치를 포함한다.

한 실시 형태에서, 디스플레이, 아이-트래킹 장치, 프로세서, 및 햅틱 출력 장치는 단일 통합 장치의 일부이다. 한 실시 형태에서, 단일 통합 장치는 스마트폰, 태블릿, 및 e-리더기로 구성되는 그룹에서 선택된다.

한 실시 형태에서, 햅틱 출력 장치는 이벤트의 트리거링을 기반으로 햅틱 효과를 생성하도록 구성된다.

한 실시 형태에서, 미디어 콘텐츠는 멀티미디어 콘텐츠이고, 이미지는 멀티미디어 콘텐츠의 일부로서 제공된다.

한 실시 형태에서, 이벤트는 멀티미디어 콘텐츠 위에 디스플레이에 의해 디스플레이된 윈도의 열림 또는 닫힘이다.

한 실시 형태에서, 윈도는 광고를 포함한다.

한 실시 형태에서, 시스템은 웨어러블 전자 장치를 포함하고 햅틱 출력 장치는 웨어러블 전자 장치 위에 위치한다.

한 실시 형태에서, 웨어러블 전자 장치는 스마트 워치를 포함한다.

본 발명의 한 양태에 따르면, 사용자가 이미지를 포함하는 미디어 콘텐츠를 보고 있는 동안 사용자의 시선을 트래킹하는 단계, 이미지를 식별하기 위해 미디어 콘텐츠를 분석하는 단계, 사용자의 시선의 응시 위치를 결정하는 단계, 식별된 이미지와 응시 위치를 기반으로 트리거하기 위한 이벤트를 결정하는 단계를 포함하는 방법을 제공받는다.

한 실시 형태에서, 방법은 이미지의 식별, 사용자의 시선의 응시 위치 및/또는 이벤트의 트리거링을 기반으로 사용자에게 햅틱 효과를 생성하는 단계를 포함한다.

한 실시 형태에서, 방법은 사용자가 보고 있는 이미지의 변화를 기반으로 햅틱 효과를 조절하는 단계를 포함한다.

한 실시 형태에서, 방법은 사용자의 시선의 응시 위치의 변화를 기반으로 햅틱 효과를 조절하는 단계를 포함한다.

한 실시 형태에서, 방법은 이벤트를 트리거링하는 단계를 포함하고, 햅틱 효과를 생성하는 단계는 이벤트의 트리거링을 기반으로 한다.

한 실시 형태에서, 이벤트는 광고를 디스플레이하기 위한 윈도를 여는 단계를 포함한다.

한 실시 형태에서, 방법은 디스플레이를 이용하여 미디어 콘텐츠를 디스플레이하는 단계를 포함한다.

한 실시 형태에서, 방법은 디스플레이를 이용하여 광고를 디스플레이하는 단계, 광고 내의 위치로의 사용자의 시선을 트래킹하는 단계, 및 광고와 관련된 적어도 하나의 햅틱 효과를 생성하는 단계를 포함한다.

한 실시 형태에서, 제1 햅틱 효과가 사용자가 광고에서 제1 이미지를 보고 있을 때 생성되고, 제1 햅틱 효과와는 다른, 제2 햅틱 효과가 사용자가 광고에서, 제1 이미지와는 다른 제2 이미지를 보고 있을 때 생성된다.

본 발명의 이러한 및 다른 양태들, 특징들 및 특성들뿐만 아니라, 구조의 관련 요소들의 동작 방법들과 기능들, 및 부품들의 조합과 제조의 경제성은, 첨부 도면을 참조하여 다음의 설명 및 첨부된 청구항들을 고려할 때 더 명백해질 것이며, 이들 모두는 이 명세서의 일부를 형성한다. 그러나, 도면들은 단지 예시 및 설명의 목적을 위한 것이며, 발명의 제한들의 정의로서 의도되지는 않는다는 점이 명백하게 이해되어야 한다. 본 명세서 및 청구항들에서 사용되는 바와 같이, 단수 표현("a", "an", 및 "the")은 문맥이 명확히 달리 지시하지 않는 한 복수의 지시 대상을 포함한다.

다음의 도면들의 구성 요소들은 본 개시 내용의 일반적인 원리들을 강조하도록 예시되며, 반드시 축척에 맞게 도시되지는 않는다. 대응하는 구성 요소들을 지정하는 참조 부호들은 일관성 및 명료성을 위해 도면들 전반에 걸쳐 필요한 경우 반복된다.
도 1은 본 발명의 실시 형태들에 따른 시스템의 개략적 예시이다.
도 2는 본 발명의 실시 형태들에 따른, 도 1의 시스템의 프로세서의 개략적 예시이다.
도 3은 도 1의 시스템의 한 실시 형태의 개략적 예시이다;
도 4는 도 1의 시스템의 한 실시 형태의 개략적 예시이다;
도 5a-5d는 도 1의 시스템의 한 실시 형태의 개략적 예시이다;
도 6은 본 발명의 실시 형태들에 따른, 방법의 흐름도이다;
도 7은 본 발명의 실시 형태들에 따른, 방법의 흐름도이다.

도 1은 발명의 실시 형태에 따른 시스템(100)의 개략적 예시이다. 시스템(100) 또는 시스템(100)의 일부들은 데스크톱 컴퓨터, 랩톱 컴퓨터, 전자 워크북, 전자 핸드헬드 장치(예를 들어, 모바일 폰, 스마트 폰, 게임 장치, 개인용 디지털 보조 단말기("PDA"), 휴대용 이-메일 장치, 휴대용 인터넷 액세스 장치, e-리더기, 계산기 등), 판매 시점(point-of-sale) 장치, 게임 제어기, 웨어러블 전자 장치, 또는 다른 전자 장치일 수 있다. 예시된 바와 같이, 시스템(100)은 프로세서(110), 메모리 장치(120), 및 입출력 장치들(130)을 포함하고, 이들은 버스(140)를 통해 상호 접속된다. 한 실시 형태에서, 입출력 장치들(130)은 아이-트래킹 장치(150), 햅틱 출력 장치(160), 디스플레이(170), 터치 스크린 장치(180), 및/또는 시스템(100)의 사용자로부터의 입력을 수신하도록 구성되는 다른 입력 장치들, 및 시스템(100)의 사용자에게 정보를 출력하도록 구성되는 출력 장치들을 포함할 수 있다. 한 실시 형태에서, 시스템(100)은 도 1에 설명된 모든 구성 요소들을 포함하는 싱글 집적 전자 장치일 수 있다. 한 실시 형태에서, 아래 추가적 세부에서 설명된 바와 같이, 도 1에 설명된 다양한 구성 요소들이 배치될 수 있지만, 다른 구성 요소들은 하나 이상의 개별 장치들의 일부일 수 있다.

입출력 장비 장치들(130)은 또한 특정한 입력 장치들과 출력 장치들을 포함할 수 있다. 예를 들어, 입력 장치들은 키보드, 키패드, 커서 컨트롤 장치(예컨대, 컴퓨터 마우스), 다른 데이터 입력 장치, 또는 마이크로폰 등의 오디오 수신기와 같은 장치들을 포함할 수 있다. 출력 장치들은 컴퓨터 모니터, 가상 현실 디스플레이 장치, 스피커 등의 오디오 출력 장치, 프린터, 또는 다른 주변 장치들을 포함할 수 있다. 입출력 장치들(130)은, 터치 스크린 장치들의 많은 예들과 같이, 사용자로부터의 입력을 수신할 뿐만 아니라, 사용자에게 피드백을 제공하도록 설계된 장치들을 포함할 수 있다.

아이-트래킹 장치(150)는 시스템(100)의 사용자의 시선을 탐지하고 트래킹하는데 사용된 임의의 탐지 수단을 포함할 수 있다. 예컨대, 한 실시 형태에서, 아이-트래킹 장치(150)는 시스템(100)의 사용자의 눈의 이미지를 캡처하도록 구성된 카메라, 및 이미지에 기초하여 시선의 방향을 판단하도록 구성된 프로세서를 포함할 수 있다. 카메라는 적외선 광원을 포함할 수 있다. 한 실시 형태에서, 프로세서는 도 1에 설명된 프로세서(110)일 수 있다. 시선의 방향을 결정하기 위한 이미지 처리 기술은 문헌에 잘 알려져 있으며, 따라서 본 명세서에서는 설명하지 않는다.

한 실시 형태에서, 아이-트래킹 장치(150)는 사용자의 눈 부근의 근육의 움직임을 모니터링하도록 구성된 센서, 및 모니터링된 움직임에 기초하여 시선의 방향을 결정하도록 구성된 프로세서를 포함할 수 있다. 한 실시 형태에서, 센서는 눈을 움직이는 근육의 전기적 활성을 측정하도록 구성될 수 있다. 한 실시 형태에서, 프로세서는 도 1에 설명된 프로세서(110)일 수 있다. 사용자의 시선의 방향의 결정을 제공하기 위한 다른 탐지 수단은 본 발명의 실시 형태들에 따라 이용될 수 있다. 예컨대, 한 실시 형태에서, 사용자의 시선 방향은 사용자의 몸통 또는 머리의 자세를 분석함으로써 추정될 수 있다.

아이-트래킹 장치(150)는 디스플레이(170)에서와 같이, 시스템(100)의 사용자의 환경에 장착된 개별 장치일 수 있거나, 아이-트래킹 장치(150)는 한 쌍의 안경에서와 같이, 사용자가 착용할 수 있다. 아이-트래킹은 또한 콘택 렌즈들을 통해 실행될 수 있다. 한 실시 형태에서, 아이-트래킹 장치(150)는 e-북 리더기, 태블릿 또는 스마트폰과 같은, 핸드헬드 전자 장치의 일부일 수 있다. 한 실시 형태에서, 아이-트래킹 장치(150)는 구글 안경, 콘택 렌즈들과 같이, 헤드 장착형 디스플레이와 같은, 웨어러블 장치의 일부일 수 있다. 한 실시 형태에서, 아이-트래킹 장치(150)는 햅틱 효과들을 생성할 것으로 예상되는 대상에 내장되거나 근방에 있을 수 있다.

전형적인 아이-트래킹 장치들은 안구 움직임들을 감지하지만, 눈들이 어떤 특정 콘텐츠 또는 대상을 보고 있는 지를 알지 못한다. 그와 같은 정보는 아이-트래킹 장치(150)를 교정함으로써, 예를 들어, 사용자가 특정 위치들에 시선 고정하게 함으로써 획득될 수 있다. 예를 들어, 사용자가 그래픽 소설들 또는 인쇄된 텍스트를 읽고 있다면, 사용자가 볼 가능성이 높은 곳에 대한 가정을 하고, 그리고 점차로 안구 움직임들과 응시 위치 사이의 관계성을 학습함으로써 교정이 행해질 수 있다. 한 실시 형태에서, 아이-트래킹 장치(150)는 응시 위치에 무엇이 있는 지는 알 수 없지만, 그러한 결정을 하기 위해 카메라와 컴퓨터 비전을 이용할 수 있다. 헤드 장착형 카메라와 광학-문자 인식(OCR) 소프트웨어는, 예를 들어, 사용자가 텍스트를 보고 있을 때 어느 단어가 보이고 있는지를 결정한다.

한 실시 형태에서, 아이-트래킹 장치(150)는 예를 들어, 사용자가 어느 화소를 보고 있는지 결정하도록 구성될 수 있는 태블릿의 일부일 수 있다. 그 다음, 시스템(100)은 단어 또는 픽처와 같이, 어떠한 콘텐츠 또는 대상이 그 화소에 위치하는지를 결정할 수 있다. 유사하게, 아이-트래킹 장치(150)가 더 큰 아이-트래킹 시스템의 일부일 때, 아이-트래킹은 어떠한 실제 대상이 응시 위치에 있는지 결정할 수 있다. 아이-트래킹 장치(150)에 관련된 대상들의 위치에 대한 지식이 필요할 수 있고, 따라서 해당 대상들이 움직이지 않거나, 또는 그들의 위치가 RFID와 같은 또 다른 트래킹 시스템을 이용하여 결정될 수 있을 때 가장 잘 일할 수 있다.

한 실시 형태에서, 아이-트래킹 장치(150)는 사용자의 현재 시선 방향이 초점을 맞추고 있는 곳을 결정하도록 구성될 수도 있다. 이것은, 사용자의 눈의 홍채의 위치 및 형상을, 홍채의 이상적인(model) 또는 저장된 참조 이미지와 조합하여 결정하기 위한 이미지 처리 기술을 사용함으로써 달성될 수 있다. 한 실시 형태에서, 사용자의 시선 방향은 각각의 눈에 대한 피치(pitch) 및 요우 각(yaw angle)으로서 저장될 수도 있다. 이러한 정보로, 사용자의 현재 시선의 피사계 심도(depth of field) 또한 판단될 수도 있다. 한 실시 형태에서, 아이-트래킹 장치(150) 외에도, 전형적으로 기능적 자기 공명 이미징("fMRI") 또는 뇌전도("EEG")와 관련된 센서와 같이, 사용자의 의도 또는 의지를 더 양호하게 판단하는데 사용될 수 있다.

다양한 실시 형태들에서, 햅틱 출력 장치(160)는 사용자가 시스템(100)의 적어도 일부분과 접촉하는 동안 시스템(100)의 사용자에게 햅틱 피드백을 제공하도록 구성된다. 예를 들어, 햅틱 출력 장치(160)는 사용자가 터치 스크린 장치(180)와 접촉할 때 햅틱 효과를 부여하기 위해 터치 스크린 장치(180) 자체에 및/또는 입출력 장치들(130)을 포함하는 하우징과 같은 시스템(100)의 또 다른 부분에 햅틱 피드백을 제공할 수 있다. 하기에 더 상세하게 논의되는 바와 같이, 햅틱 효과들은 시스템(100)과 상호작용할 때 사용자 경험을 향상시키기 위해 사용될 수 있다.

햅틱 출력 장치(160)에 의해 제공된 햅틱 피드백은 진동(vibration), 변형(deformation), 운동 감각(kinesthetic sensation), 정전기 또는 초음파 마찰(ultrasonic friction) 등과 같은 햅틱 효과들을 생성하는 임의의 방법들을 이용하여 생성될 수 있다. 한 실시 형태에서, 햅틱 출력 장치(160)는 액츄에이터, 예를 들어, 편심 질량이 모터에 의해 이동되는 편심 회전 질량("ERM"), 스프링에 부가된 질량이 앞뒤로 구동되는 선형 공진 액츄에이터("LRA")와 같은 전자기 액츄에이터, 또는 압전 물질, 전자-활성 고분자 또는 형상 기억 합금과 같은 "스마트 물질", 매크로-복합 섬유 액츄에이터, 정전기 액츄에이터, 전자-촉각 액츄에이터, 및/또는 진동촉각 피드백과 같은 물리적 피드백을 제공하는 또 다른 타입의 액츄에이터를 포함할 수 있다. 햅틱 출력 장치(160)는, 정전기 마찰(ESF), 초음파 마찰(USF)을 이용하거나, 초음파 햅틱 변환기(ultrasonic haptic transducer)를 이용하여 음향 방사 압력(acoustic radiation pressure)을 유도하거나, 햅틱 기판 및 연성 또는 변형가능 표면을 이용하거나, 열적 효과를 제공하거나, 에어 제트(air jet)를 이용하여 공기의 퍼프 등과 같은 투사형 햅틱 출력(projected haptic output)을 제공하는 것 등과 같은 비-기계적 또는 비-진동 장치들을 포함할 수 있다. 하기에서 추가로 상세히 논의되는 대로, 다수의 햅틱 출력 장치(160)가 사용되어 상이한 햅틱 효과들을 발생시킬 수 있다.

디스플레이(170)는 이미지를 포함한 미디어 콘텐츠를 디스플레이하도록 구성된다. 한 실시 형태에서, 디스플레이(170)는 고해상도로 이미지들을 디스플레이하도록 구성된 고해상도("HD") 디스플레이일 수 있다. 한 실시 형태에서, 디스플레이(170)는 특히, 디스플레이(170)가 e-북 또는 온라인 신문 등의 형태로 제시된 미디어 콘텐츠와 같이, 전통적으로 프린트에서 발견될 수 있는 미디어 콘텐츠를 디스플레이하는 e-리더기 또는 다른 핸드헬드 장치의 일부일 때 단어들 또는 픽처들과 같은, 정적 화상들을 포함한 미디어 콘텐츠를 디스플레이할 수 있다. 한 실시 형태에서, 디스플레이(170)는 스포츠 이벤트와 같은, 이벤트, 또는 텔레비전 쇼 또는 영화와 같은, 미리 기록된 이벤트의 생방송과 같이, 동화상들, 즉, 비디오들을 포함한 미디어 콘텐츠를 디스플레이할 수 있다. 여기에서 이용된 미디어 콘텐츠는 또한, 디스플레이를 포함하지 않는 실시 형태들에서 단어들, 픽처들, 그래픽들 등과 같이, 인쇄된 이미지들을 포함한다.

터치 스크린 장치(180)는 임의의 적절한 사용자 인터페이스 또는 터치/접촉 표면 어셈블리로서 구성될 수 있다. 터치 스크린 장치(180)는 임의의 터치 스크린, 터치 패드, 터치 감지 구조, 컴퓨터 모니터, 랩톱 디스플레이 장치, 워크북 디스플레이 장치, 키오스크 스크린, 휴대형 전자 장치 스크린, 또는 그 외의 적절한 터치 감지 장치일 수 있다. 터치 스크린 장치(180)는, 스타일러스, 손가락 등과 같은 사용자-제어형 장치와의 물리적 상호작용을 위해 구성될 수 있다. 일부 실시 형태들에서, 터치 스크린 장치(180)는 적어도 하나의 출력 장치 및 적어도 하나의 입력 장치를 포함할 수 있다. 예를 들어, 터치 스크린 장치(180)는, 디스플레이(170), 및 디스플레이 위에 겹쳐지는 적어도 하나의 센서를 포함하며 사용자의 손가락 또는 사용자에 의해 제어되는 스타일러스로부터 입력들을 수신하도록 구성된 터치 감지 스크린을 포함할 수 있다.

프로세서(110)는 시스템(100)의 동작들 및 기능들을 관리 또는 제어하기 위한 범용 또는 특수-목적 프로세서 또는 마이크로컨트롤러일 수 있다. 예를 들어, 프로세서(110)는 햅틱 효과들을 제공하기 위해 햅틱 출력 장치(160)에의 출력 신호들을 제어하기 위한 주문형 집적 회로("ASIC")로서 특별하게 설계될 수 있다. 프로세서(110)는, 미리 정의된 인자들에 기초하여, 어떤 햅틱 효과들이 프로세서(110)에 의해 수신 또는 결정된 햅틱 신호에 기초하여 발생되어야 하는지, 햅틱 효과들이 발생되는 순서, 및 햅틱 효과들의 크기, 주파수, 지속시간, 및/또는 다른 파라미터들을 결정하도록 구성될 수 있다. 프로세서(110)는 또한 특별한 햅틱 효과를 제공하기 위한 햅틱 출력 장치(160)를 구동하는데 사용될 수 있는 스트리밍 명령들을 제공하도록 구성될 수 있다. 일부 실시 형태들에서, 프로세서(110)는 실제로 다수의 프로세서들일 수 있고, 시스템(100) 내에서 일정한 기능들을 수행하도록 각각 구성된다. 프로세서(110)는 하기에서 더 상세히 설명된다.

메모리 장치(120)는 하나 이상의 내부에 고정된 저장 유닛들, 착탈식 저장 유닛들, 및/또는 원격으로 액세스가능한 저장 유닛들을 포함할 수 있다. 다양한 저장 유닛들은 휘발성 메모리와 비휘발성 메모리의 임의의 조합을 포함할 수 있다. 저장 유닛들은 정보, 데이터, 명령어들, 소프트웨어 코드 등의 임의의 조합을 저장하도록 구성될 수 있다. 특히, 저장 유닛들은 햅틱 효과 프로필들, 햅틱 출력 장치(160)를 어떻게 구동시킬지에 대한 명령어들, 또는 햅틱 효과들을 발생하기 위한 다른 정보를 포함할 수 있다.

도 2는 프로세서(110)의 실시 형태를 더 상세히 예시한다. 프로세서(110)는 하나 이상의 컴퓨터 프로그램 모듈들을 실행하도록 구성될 수 있다. 하나 이상의 컴퓨터 프로그램 모듈들은 콘텐츠 결정 모듈(112), 응시 결정 모듈(114), 이벤트 결정 모듈(116), 햅틱 출력 장치 제어 모듈(118), 및/또는 다른 모듈들 중 하나 이상을 포함할 수 있다. 프로세서(110)는 또한 메모리 장치(120)와 동일할 수 있거나, 메모리 장치(120) 이외의 것일 수 있는 전자 스토리지(119)를 포함할 수 있다. 프로세서(110)는 모듈들(112, 114, 116 및/또는 118)을 소프트웨어, 하드웨어, 펌웨어, 소프트웨어, 하드웨어 및/또는 펌웨어의 일부 결합, 및/또는 프로세서(110) 상에서 프로세싱 능력들을 구성하기 위한 다른 메커니즘에 의해 실행하도록 구성될 수 있다.

모듈들(112, 114, 116 및 118)이 싱글 프로세싱 유닛 내에 공동-위치하는 것으로 도 2에 예시되어 있지만, 프로세서(110)가 다수의 프로세싱 유닛들을 포함하는 실시 형태들에서, 모듈들(112, 114, 116 및/또는 118) 중 하나 이상이 다른 모듈들로부터 원격 위치할 수 있다는 점이 이해되어야 한다. 하기에 기술되어 있는 상이한 모듈들(112, 114, 116 및/또는 118)에 의해 제공되는 기능성의 설명은 예시의 목적을 위한 것이며, 모듈들(112, 114, 116 및/또는 118) 중 임의의 것이 설명된 것보다 더 많거나 더 적은 기능성을 제공할 수 있음에 따라, 제한적인 것으로서 의도되지 않는다. 예를 들어, 모듈들(112, 114, 116 및/또는 118) 중 하나 이상이 제거될 수 있으며, 그 기능성의 일부 또는 전부가 모듈들(112, 114, 116 및/또는 118) 중 다른 것들에 의해 제공될 수 있다. 또 다른 예로서, 프로세서(110)는 모듈들(112, 114, 116 및/또는 118) 중 하나에 대해 아래에 기인한 기능성의 일부 또는 전부를 수행할 수 있는 하나 이상의 추가적인 모듈들을 실행하도록 구성될 수 있다.

콘텐츠 결정 모듈(112)는 사용자가 보고 또는 보고 있는 미디어 콘텐츠와 관련된 입력 신호를 수신하도록 구성된다. 입력 신호는 콘텐츠를 포함한 미디어 스트림에 의해 제공될 수 있고, 또는 입력 신호는 아이-트래킹 장치(150)가 카메라를 포함하는 경우에 아이-트래킹 장치(150)에 의해 제공될 수 있으며 카메라는 사용자가 보고 또는 보고 있는 콘텐츠의 적어도 일부의 이미지를 캡처하도록 구성된다. 콘텐츠 결정 모듈(112)은 실시간의 또는 오프라인에서 그와 같은 미디어 콘텐츠를 분석하도록 구성되고, 추가적 처리를 위해 이벤트 결정 모듈(118)에 신호를 보낸다.

시선 결정 모듈(114)은 탐지기(110)에 의해 생성된 출력 신호로부터의 정보에 기초하여 사용자의 시선의 방향을 판단하도록 구성된다. 시선 방향 결정 모듈(114)에 의해 결정된 사용자의 시선의 방향에 관한 정보는 다른 대상에 대하여, 및/또는 다른 컨텍스트에서, 절대 좌표계 내의 벡터로서 방향을 설명할 수 있다. 이러한 정보는, 비제한적으로, 상술한 바와 같이, 피치 및 요우 각과 같은 좌표 및/또는 각도 관계를 포함할 수 있다. 아이-트래킹 장치(150)에 의해 생성된 주시 경로는 매우 시끄러울 수 있다. 안구 움직임은 빠른 안구 단속 운동들이 이어지는 일부 위치에서의 고정을 통해 일반적으로 발생한다. 아이-트래킹 장치(150)에 의해 출력된 신호는 어떤 대상 또는 이미지가 사용자에 의해 주목되고 있는 지를 결정하기 위해 필터링될 수 있다. 고정은 예를 들어, 햅틱 효과를 트리거링하기 위한 일정한 시간량을 지속할 필요가 있을 수 있다. 시선 결정 모듈(114)은 이벤트 결정 모듈(116)과 햅틱 출력 장치 제어 모듈(118)에 신호를 출력할 수 있다.

이벤트 결정 모듈(116)은 콘텐츠 결정 모듈(112)와 시선 결정 모듈(114)로부터 출력 신호를 수신하고 이 수신된 신호들을 기반으로 트리거하기 위한 이벤트를 결정하도록 구성된다. 아래 추가적 세부에서 설명된 바와 같이, 이벤트는, 예를 들어, 그래픽 사용자 인터페이스에서 프로세스 또는 윈도의 열림 또는 닫힘 및/또는 응시 위치 및/또는 분석된 미디어 콘텐츠를 기반으로 햅틱 효과(들) 또는 햅틱 트랙의 재생을 포함할 수 있다.

햅틱 출력 장치 제어 모듈(118)은 콘텐츠 결정 모듈(112), 시선 결정 모듈(114) 및 이벤트 결정 모듈(116)로부터 출력 신호를 수신하고, 햅틱 출력 장치(160)에 의해 생성될 햅틱 효과를 결정하도록 구성된다. 사용자의 시각적인 주의가 응시 위치로부터 추론되었고 사용자가 보고 있는 것의 콘텐츠가 결정되었다면, 햅틱 출력 장치 제어 모듈(118)은 어떤 햅틱 효과가 생성되는지를 결정하고 햅틱 출력 장치(160)에 신호를 출력할 수 있다.

햅틱 출력 장치(160)에 의해 생성된 햅틱 효과는 진동, 마찰, 변형, 힘 피드백, 돌출형 햅틱 또는 위에서 설명된 기술과 같은, 임의의 다른 햅틱 기술을 포함할 수 있다. 햅틱 피드백은 스마트폰 또는 태블릿과 같은, 핸드헬드 장치, 또는 스마트 워치, 링, 헤드 장착형 디스플레이, 등과 같은, 웨어러블 장치, 또는 마우스 또는 다른 잡을 수 있는(graspable) 장치, 키보드와 같은, 임의의 다른 이용가능 장치를 통해, 또는 공기의 퍼프들과 같은, 터치리스(touchless) 햅틱 인터페이스들을 통해 전달될 수 있다.

미디어 콘텐츠가 책 또는 그래픽 소설의 형태로 되어 있는 실시 형태에서, 시스템(100)은 첫째로 어떤 인쇄된 콘텐츠가 읽히고 있는지 결정하고 콘텐츠로부터 햅틱 효과들까지 매핑을 검색할 필요가 있을 수 있다. 결정은 사용자에 의해 명확하게 행해지거나 RFID 태그들과 같은, 다른 식별자들을 이용하여, 제목 또는 콘텐츠를 식별하기 위해 내재적으로 컴퓨터 비전을 이용한다. 시스템(100)은 그리고 나서 해당 대상(예를 들어 증강 책) 또는 클라우드 서비스와 통신함으로써, 또는 시스템(100)에 저장된 정보를 이용함으로써 매핑을 획득할 수 있다. 예를 들어, 매핑은 메모리 장치(120) 또는 전자 저장 장치(119)에 저장되고 프로세서(110)에 의해 실행될 때 햅틱 출력 장치 제어 모듈(118)에 의해 검색될 수 있다.

사용자가 보고 있는 콘텐츠 또는 이미지는 특정한 효과들, 또는 효과들의 변화들을 트리거시킬 수 있다. 예를 들어, 폭발에 관해 읽은 것은 강한 진동을 일으킬 수 있다. 대안적으로, 햅틱 트랙은 단락이 콘텐츠에 분위기를 제공하도록 읽히는 것처럼 점차로 진행될 수 있다 (영화에서의 음악과 매우 유사). 시스템(100)은 또한 어떤 콘텐츠(즉, 어느 책)가 보이는지 알수 없지만, 대신에 그것이 단어들 "폭발" 또는 "당신이 여기에 있다"와 같이, 인지할 수 있는 특정한 단어들 또는 이미지들을 위한 매핑들을 가질 수 있다.

실제 대상들의 경우에, 시스템(100)은 어떤 매핑들이 현재 활동적인지 결정할 수 있다. 이것은 사용자에 의해(예를 들면, 트래블 애플리케이션을 로딩하는 것에 의해) 명시적으로 행해질 수 있거나 또는 위치 정보(geolocation), 활동적 비컨들, 또는 어떤 햅틱 콘텐츠가 환경에 이용가능한 지를 나타내는 다른 수단을 기반으로 하여 내재적으로 행해질 수 있다. 시스템(100)은 또한 특정한 대상들을 시각적으로 인지하거나, RFID 태그들을 사용하고, 대상들이 사용자에 의해 보여질 때 특별한 햅틱 효과들을 생성하도록 프로그램될 수 있다.

한 실시 형태에서, 햅틱 효과들은 아이-트래킹 장치(150)에 의해 결정된 것처럼, 사용자가 보고 있는 대상들, 단어들 또는 그래픽 콘텐츠(즉, 시각적인 콘텐츠 또는 이미지)와 관련될 수 있다. 한 실시 형태에서, 햅틱 효과들은, 예를 들어, 특정 단어들이 인쇄된 책에서 읽히거나, 이미지들이 그래픽 소설에서 보여지는 것처럼 트리거될 수 있다. 햅틱 효과들은 사용자가 그의/그녀의 환경에서 상이한 대상들을 보고 있는 동안 유사하게 트리거될 수 있다.

한 실시 형태에서, 특정한 단어들이 책 또는 다른 인쇄된 텍스트에서 시스템(100)의 사용자에 의해 읽히는 것처럼, 또는 그래픽들이 그래픽 소설에서 보여지는 것처럼, 또는 대상들이 환경에서 보여지는 것처럼 상이한 햅틱 효과들이 생성될 수 있고 또는 햅틱 트랙이 변경될 수 있다.

오디오-비디오 콘텐츠를 가진 햅틱 트랙의 사용과는 달리, 본 발명의 실시 형태에 따른 햅틱 트랙의 진행은 시간과 시청각 콘텐츠에의 동기화에 간단하게 기초하는 것 대신에 사용자가 보는 곳에 의해 결정된다. 상기에 기재된 바와 같이, 특정한 효과들은 특정 단어들, 그래픽 콘텐츠 또는 대상들이 보여질 때 트리거될 수 있다. 시스템(100)은 또한 사용자가 보고 있는 곳을 기반으로 햅틱 효과들의 트랙에서 진행할 수 있다. 예를 들어, 우르르 소리내는 효과는 사용자가 문장을 읽기 시작할 때 개시되고 단락의 끝까지 계속될 수 있으며, 그 지점에서 폭발 효과는 이벤트를 표시하기 위해 생성될 수 있다.

콘텐츠가 종이 위에 인쇄되는 실시 형태들에서, 결정은 독자가 집중하고 있는 것의 이미지를 캡처하고 분석함으로써 만들어질 수 있다. 콘텐츠는 그리고 나서 데이터베이스(예를 들면, 단어들과 햅틱 효과들의 연계), 또는 읽고 있는 특별한 콘텐츠(예를 들면, 특정한 단어들에 대한 햅틱 트리거들을 가진 소설의 디지털 버전)와 관련된 인덱스와 비교될 수 있다. 콘텐츠가 디지털인 실시 형태들에서, 아이-트래킹 장치(150)는 사용자의 시선의 위치를 결정할 수 있고 보고 있는 단어 또는 그래픽은 위에서 설명된 영상 분석을 이용하지 않고도 추출될 수 있다.

한 실시 형태에서, 이벤트 결정 모듈(116)은 단어들 또는 문장들이 다시 읽힐 때 반복적 햅틱 피드백을 회피하기 위해 스마트 알고리즘들로 프로그래밍될 수 있거나, 사용자는 빠른 안구 단속 운동들이 문장에서 다음 단어들을 미리 보게 만들어준다. 그와 같은 알고리즘들은 콘텐츠가 다시 읽히고 있거나 사용자가 앞으로 스킵했다는 것을 결정하기 위해서 콘텐츠 결정 모듈(112)과 시선 결정 모듈(114)에 의해 출력된 신호들을 처리할 수 있다. 그러한 결정이 만들어지면, 신호는 햅틱 출력 장치 제어 모듈(118)로 출력될 수 있다. 햅틱 출력 장치 제어 모듈(118)은 단어들 또는 문장들이 다시 읽히고 있다는 것이 결정되면 햅틱 출력 장치(160)에 신호를 출력하지 않을 수 있고, 또는 사용자가 앞으로 스킵하여 중요한 단어들 또는 문장들을 놓치고 있다는 것이 결정되면 햅틱 효과를 생성하기 위해 햅틱 출력 장치(160)에 신호를 출력할 수 있다.

한 실시 형태에서, 콘텐츠는 지도를 포함할 수 있다. 시스템(100)의 사용자가 지도에서 상이한 요소들을 보면, 상이한 햅틱 효과들이 트리거될 수 있다. 예를 들어, 상이한 햅틱 효과들은 도시들, 도로들, 현재 위치, 및/또는 의도된 목적지에 대하여 제공될 수 있다. 한 실시 형태에서, 콘텐츠는 인쇄된 광고를 포함할 수 있다. 특정한 브랜딩 햅틱 효과는 예를 들어, 사용자가 브랜드의 로고를 볼 때 트리거될 수 있다.

한 실시 형태에서, 콘텐츠는 사용자의 환경에서 임의의 대상을 포함할 수 있다. 예를 들어, 트래블 애플리케이션은 사용자가 관심 지점을 보고 있을 때마다 햅틱 효과들을 트리거할 수 있다. 추천 시스템은 마찬가지로, 사용자가 좋은 또는 나쁜 식당들 또는 메뉴 항목들을 보고 있을 때 햅틱 효과들을 트리거할 수 있다. 사용자는 또한 시스템(100)이 관련 대상들을 위한 햅틱 효과들을 트리거시킬 수 있게 프로그래밍할 수 있다. 예를 들어, 긍정적 효과는 사용자가 그/그녀가 찾고 있던 누군가를 볼 때 사용자가 느낄 수 있고, 또는 부정적 효과는 사용자가 그/그녀가 먹으면 안 되는 케이크 한 조각을 볼 때 사용자가 느낄 수 있다.

한 실시 형태에서, 아이-트래킹은 또한 인쇄된 콘텐츠와 관련될 햅틱 효과들 또는 햅틱 트랙을 저술하는데 사용될 수 있다. 저자는, 예를 들어 선택할 단어를 본 다음 선택한 단어에 햅틱 효과를 연계시킬 수 있다. 이는 예를 들어, 저자가 재생될 효과의 명칭을 크게 말하거나 보지 않고도 상응하는 키를 키보드에서 누르도록 허용되면, 대안들보다 더 빠를 수 있다. 한 실시 형태에서, 햅틱 효과들은 오디오북 또는 팟캐스트 의 콘텐츠에 동기화될 수 있고, 햅틱 효과들은 독자가 디지털 그래픽 소설에서 타일들 사이에서 플립할 때 생성될 수 있다.

도 3은 본 발명의 한 실시 형태의 구현을 설명한다. 예시된 실시 형태에서, 시스템(100)의 사용자는 이러한 실시 형태에서 태블릿(300)인 핸드헬드 전자 장치에서 책을 읽는다. 위에서 설명된 아이-트래킹 장치(150)와 같은, 아이-트래킹 장치(350)는 태블릿(300) 위에 장착되거나 그의 일부이다. 사용자가 특별한 단어(310), 예를 들어 단어 "폭발"을 읽으면, 아이-트래킹 장치(350)는 사용자의 시선 위치를 탐지하고 위에서 설명된 프로세서(110)와 같은, 태블릿(300) 내의 프로세서는 폭발 효과가 책에서 그 특별한 위치와 관련되어 있다고 결정한다. 태블릿(300)에서, 위에서 설명된 햅틱 출력 장치(160)와 같은, 햅틱 출력 장치는 읽기를 좀 더 몰입되게 하는 진동의 형태로 햅틱 효과 HE를 생성한다.

도 4는 본 발명의 한 실시 형태의 구현을 설명한다. 예시된 실시 형태에서, 시스템(100)의 사용자는 헤드 장착형 디스플레이(400)를 착용하는 동안 그래픽 소설을 읽는다. 헤드 장착형 디스플레이(400)는 사용자의 주시 방향의 트랙을 유지하고, 언제 사용자가 폭발을 가진 타일(410)에 도달했는지를 결정한다. 헤드 장착형 디스플레이(400)은 그래픽 소설을 더 몰입되게 하기 위해 바로 정확한 시간에 헤드 장착형 디스플레이(400)에 폭발을 흉내낸 진동의 형태로 햅틱 효과 HE를 생성한다.

한 구현에서, 시스템(100)의 사용자는 그의/그녀의 태블릿에서 재미있는 공상 과학 소설을 읽을 수 있다. 소설에서, 주인공은 복잡한 시장에서 추적 당하고 있고 사용자는 사용자가 소설을 읽을 때 시스템(100)에 의해 생성된 햅틱 효과들을 통해 행동을 느낄 수 있다. 사용자는 주인공이 도어를 부수고 들이닥쳤다고 읽으면, 사용자는 충돌이 사용자의 손들에서 발생한 것처럼 햅틱 효과를 느낄 수 있다. 다른 햅틱 효과들은 사용자가 예를 들어, 주인공이 물의 풀에 빠지고, 공격자를 펀칭하고, 바닥으로 떨어지는 이야기의 일부를 읽고 있다고 결정될 때 생성될 수 있다.

한 구현에서, 시스템(100)의 사용자는 훨씬 더 몰입되게 하는 또 다른 책을 읽고 있을 수 있다. 사용자가 특별한 전경들을 읽을 때 생성되는 개별적 햅틱 효과들 대신에, 책은 사용자가 책을 읽고 상이한 부분들에 도달할 때 연속적으로 변하는 복합적 햅틱 트랙으로 분위기를 만든다.

한 구현에서, 시스템(100)의 사용자는 구글 안경과 같은, 헤드 장착형 디스플레이를 착용하는 동안 그래픽 소설을 읽고 있을 수 있다. 헤드 장착형 디스플레이는 사용자가 보고 있고 소설을 훨씬 더 몰입을 느끼게 하기 위해 정확한 시간에 진동시키는 것을 탐지하기 위해 상기 설명된 아이-트래킹 장치(150)를 포함한다. 사용자는 폭발들, 펀치들, 등을, 사용자가 소설에서 그들에 대해 읽을 때 느낄 수 있다.

한 구현에서, 시스템(100)의 사용자는 파리의 지하철 지도를 이해하려고 할 수 있다. 사용자가 지도의 상이한 부분들을 보고 있을 때, 사용자는 그의/그녀의 구글 안경 유닛이 권고하고 있는 경로와 마찬가지로, 그의/그녀의 현재 위치, 그의 목적지를 위한 상이한 효과들을 느낄 수 있다.

한 구현에서, 시스템(100)의 사용자는 그의/그녀의 스마트폰을 이용하여 바르셀로나의 도보 여행을 할 수 있다. 사용자는 그/그녀가 그/그녀에게 특별한 중요성을 가지고 있는 빌딩들 또는 위치들을 볼 때 뚜렷한 효과들을 느낄 수 있다. 사용자는 또한 그/그녀가 보고 있는 것과 일치하는 좀 더 분위기적인 효과들을 갖도록 선택할 수 있다. 오래된 공장이 햅틱 트랙을 통해 거기서 행해지는 작업의 리듬처럼 느껴질 수 있는 동안, 역사적 전투의 현장은, 예를 들어 전쟁 유사 햅틱 트랙(war-like haptic track)을 생성할 수 있다.

한 실시 형태에서, 시스템(100)의 사용자가 읽거나 보고 있는 텍스트 또는 그림이 움직일 수 있다. 햅틱 트랙은, 예를 들어, 디스플레이(170) 상에서 텍스트가 스크롤될 때 디스플레이될 수 있다. 일부 웹 브라우저들과 e-북 리더기들은, 예를 들어 자동적으로 텍스트를 스크롤하거나 페이지를 넘기도록 설정될 수 있다. 접근법은 아이-트래킹이 이용 가능하면 정적 텍스트를 위한 것과 동일할 수 있다. 아이-트래킹이 이용 가능하지 않으면, 생성된 햅틱 효과들은 현재 디스플레이(170) 상에서 보여진 콘텐츠를 기반으로 할 수 있다. 일부 구현들에서, 햅틱 효과들은 페이지의 전체적 분위기 또는 보여지는 극단적 이벤트(예를 들면, 대단히 감성적 콘텐츠)들을 기반으로 할 수 있다. 일부 구현들에서, 디스플레이(170)는 동시에 단지 몇 단어만을 보여줄 수 있고, 그런 경우에 햅틱 연합은 더 쉽게 만들어질 수 있다.

한 실시 형태에서, 아이-트래킹 장치(150)는 사용자가 단어 또는 문장을 읽는 것을 건너 뛸 때를 탐지할 수 있다. 이것은, 예를 들어, 사용자가 매우 빠르게 읽으려고 하고 있을 때(예를 들면, 대각선으로) 또는 텍스트가 읽기에 너무 빨리 움직이고 있을 때(예를 들면, 움직이는 버스의 광고) 발생할 수 있다. 그와 같은 경우들에 있어서, 시스템(100)은 사용자가 건너 뛰어지지 말아야 할 일부 콘텐츠, 예를 들면, 독자의 관심을 끌 수 있는 소설 또는 뭔가의 결정적인 이벤트를 건너 뛰었는지를 결정할 수 있다. 시스템(100)은 그 다음 사용자에게 경고하고 및/또는 시각적으로 건너 뛴 단어들을 강조하기 위해 햅틱 통지를 생성할 수 있다. 특정 단어 또는 명칭에 대한 리스트를 볼 때 동일하게 행해질 수 있다.

한 실시 형태에서, 시스템(100)은 사용된 폰트들을 기반으로 책에 사용된 햅틱 효과들을 조절할 수 있다. 시스템(100)은, 예를 들어, 사용된 폰트가 곡선이거나 좀 더 둥글어서 눈에 편안할 때 더 평활하거나 더 낮은 강도의 햅틱 효과들을 선택할 수 있다. 시스템(100)은 사용된 폰트가 타이프라이터 서체와 같은, 좀 더 "뭉툭한" 폰트일 때 더 선명한 햅틱 효과들을 선택할 수 있다. 햅틱 효과들은 또한, 펜 대 타이프라이터로 기입한 것과 같이, 상상된 소스의 텍스트에 연계될 수 있다. 시스템(100)은 세리프들(serifs)의 존재 또는 결여, 볼드 또는 이탤릭 폰트, 텍스트의 사이즈, 강조 등과 같은 인자들을 고려하여 구성될 수 있다. 분석은 책의 디지털 콘텐츠(예를 들면, 폰트의 명칭 및 속성들)를 기반으로 할 수 있거나, 이미지 프로세싱(예를 들면, 스트로크들의 선명도 또는 연속성, 등)을 통하여 행해질 수 있다. 한 실시 형태에서, 분석은 프로세서(110)에 의해 실행될 때 콘텐츠 결정 모듈(114)에 의해 완성될 수 있다.

한 실시 형태에서, 햅틱 피드백은 책 또는 새로운 논문의 구조를 보강할 수 있다. 예를 들어, 헤더들은 텍스트의 본문과는 다르게 느낄 수 있다. 한 실시 형태에서, 햅틱 피드백은 상이한 섹션들 또는 챕터들의 문맥을 설정하는데 사용될 수 있다. 햅틱 피드백은, 예를 들어, 캐릭터가 현재 챕터를 이야기하고 있는 독자를 상기시킬 수 있다. 햅틱 피드백은 또한, 어느 캐릭터가 현재 말하고 있는 지를 나타낼 수 있다.

한 실시 형태에서, 책을 위한 햅틱 트랙은 소설의 오디오북 버전으로부터 적어도 부분적으로 파생될 수 있다. 아마존의 킨들은, 예를 들어 오디오북의 위치에 책의 위치를 연관시키는 방법을 안다. 한 실시 형태에서, 시스템(100)은 오디오북에서의 음악과 음향 효과들, 리더기의 톤, 및 음성(실제 또는 가짜)에서의 어떤 변화들을 분석할 수 있다. 사용자가 오디오북의 인쇄된 종이 또는 e-북 버전을 읽고 있을 때, 이러한 정보는 예를 들어, 챕터의 분위기 또는 말하고 있는 캐릭터의 아이덴티티와 일치하는 햅틱 효과들을 생성하는데 사용될 수 있다.

한 실시 형태에서, 햅틱 트랙에 사용된 햅틱 주제는 또한 책의 콘텐츠 또는 독자에 관한 정보에 적합할 수 있다. 햅틱 트랙은 예를 들어, 독자의 연령 및 성별, 그리고 그 또는 그녀가 처음 책을 읽고 있을지에 따라 좌우될 수 있다. 주제는 또한 책의 언어, 그리고 책 또는 섹션에서 논의된 요약 주제(예를 들면, 낭만 소설에서의 사랑)들에 좌우될 수 있다. 햅틱 효과들은 또한 읽고 있는 콘텐츠의 타입에 적합할 수 있다. 예를 들어, 폭발은 스릴러 소설과는 대조적으로 뉴스 항목과 관련하여 읽을 경우에는 상이함을 느껴야 한다.

한 실시 형태에서, 아이-트래킹은 독자가 콘텐츠에 주목하고 있는지를 모니터링하는데 사용될 수 있다. 그것은, 예를 들어, 사용자가 눈들의 움직임으로부터 생각하거나 산만하거나 자고 있을 때를 탐지하는 것이 가능하다. 햅틱 피드백은 독자를 "깨우는"데 사용될 수 있고, 그리고 공부할 때와 같이, 원할 때 책으로 그의/그녀의 주의를 되돌리게 하는데 사용될 수 있다. 한 실시 형태에서, 시스템(100)은 사용자가 페이지로부터 시선이 멀어질 때 자동적으로 북마크를 페이지에 배치할 수 있고, 이것이 행해졌음을 햅틱 효과를 통해 사용자에게 통보한다. 한 실시 형태에서, 시스템은 그/그녀가 너무 오랫동안 읽고 있을 때 사용자에게 경고하기 위해 햅틱 효과를 생성할 수 있다.

한 실시 형태에서, 아이-트래킹은 사용자 입력에 사용될 수 있다. 예를 들어, 햅틱 피드백은 선택하고, 강조하고, 사전에 질문하고 페이지 넘김을 트리거하기 위해 시선을 이용하는 동안 생성될 수 있다. 한 실시 형태에서, 눈 제스처는 패스워드를 입력하는데 사용될 수 있고, 또는 스마트 워치는 단지 봄으로써 깨우게 할 수 있다. 한 실시 형태에서, 멀티-아이 제스처들은 입력으로서 사용될 수 있는데, 예를 들어 사용자는 보고 있는 이미지를 주밍시키기 위해서 그의/그녀의 눈들을 교차시킬 수 있다.

한 실시 형태에서, 아이-트래킹은 내비게이션 문맥에 사용될 수 있다. 예를 들어, 내비게이션 신호들은 사용자의 주시로부터 드라이버의 의도를 추론함으로써 햅틱 효과들을 제공받을 수 있다. 드라이버는 회전하기 위한 다음 도로를 결정하기 위해 GPS를 볼 수 있다. 아이-트래킹을 이용함으로써, 시스템(100)은 드라이버가 보고 있는 도로가 회전하기 위한 정확한 도로라는 것을 햅틱 효과를 통해 드라이버에게 확인시켜 줄 수 있다.

도 5a-5d에 설명된 실시 형태에서, 아이-트래킹은 사용자가 예를 들어, 모바일 장치를 통해 비디오를 보고 있을 때 갑자기 나타나는 광고들을 닫는데 사용될 수 있다. 예를 들어, 도 5a는 일몰의 비디오를 재생하고 있는 스마트폰과 같은, 모바일 장치(500)를 예시한다. 상기 설명된 아이-트래킹 장치(150)와 같은, 아이-트래킹 장치는 도 5a에서 사용자가 스폿(510)으로 표시된 태양을 보고 있는 것을 감지한다. 사용자가 일몰을 보고 있을 때, 광고 AD는, 도 5b에 예시된 것과 같이, 모바일 장치의 디스플레이(570) 위에서 실행되고, 도 5c에 예시된 것과 같이, 일몰의 비디오를 덮어씌운다. 예시된 실시 형태에서, 광고는 자동차 광고이다. 도 5c의 스폿(510)의 위치에 의해 보여지듯이, 사용자는 광고를 보고 있다. 광고는 광고의 시각적 효과들을 개선하고 및/또는 광고와 관련된 햅틱 브랜드를 재생하기 위해 햅틱 효과들을 포함할 수 있다. 사용자가 충분히 봤거나, 또는 예를 들어 1-2 초와 같이, 미리 결정된 시간 동안 광고를 볼 때, 사용자는 도 5d에 예시된 것과 같이, 광고 AD를 닫기 위해 디스플레이(570)의 좌하단 코너의 윈도에서 X를 볼 수 있다. 특히, 광고가 스마트폰에서처럼 작은 디스플레이에서 보여지면, 광고를 닫기 위해 아이-트래킹을 입력으로서 사용하는 것은 핑거를 이용하는 것보다 더 쉬울 수 있다. 햅틱 효과들은 광고 윈도가 뷰에 나타날 때, 사용자의 눈들이 광고에 초점을 맞출 때, 및/또는 광고가 사용자가 일정한 기간 동안 광고를 본 후 닫힐 때 햅틱 출력 장치(160)에 의해 생성될 수 있다. 사용자의 시선을 트래킹하는 것은 사용자가 광고를 보지 않고 광고를 닫는 것 대신에, 실제로 광고를 본다는 것을 보장할 수 있다.

한 실시 형태에서, 아이-트래킹은 사용자가 비디오가 재생되는 동안 비디오 내의 광고에 초점을 맞출 때 오디오, 비디오, 및 햅틱 콘텐츠를 포함한 광고들을 재생하는데 사용될 수 있다. 예를 들어, 한 실시 형태에서, 시스템(100)의 사용자는 생방송 동안 디스플레이(170)를 통해 축구 게임을 볼 수 있다. 카메라가 경기장을 가로질러 보여주면, 경기장의 광고 배너는 사용자의 눈을 끌 수 있다. 아이-트래킹 장치(150)는 광고 배너의 위치로의 사용자의 주시를 트래킹하는데 사용될 수 있고 프로세서(110)는 광고의 콘텐츠를 결정하고 짧은 기간 동안 비디오 위에 덮여질 광고 제품의 이미지를 트리거할 수 있다. 광고는 햅틱 효과들로 개선되고 오디오, 비디오 및 최초 멀티미디어 스트림의 햅틱 효과들을 덮어 씌울 수 있다.

한 실시 형태에서, 아이-트래킹은 사용자의 시선의 위치에 따라 좌우되는 햅틱 콘텐츠를 재생하는데 사용될 수 있다. 예를 들어, 비디오가 재생되는 동안, 사용자가 비싼 스포차카에 초점을 맞추는 경우에, 비싼 스포차카의 햅틱 시그니처가 생성될 수 있고, 사용자가 경제적인 차에 초점을 맞추는 경우, 상이한 햅틱 시그니처가 경제적인 차를 위해 발생할 수 있다. 한 실시 형태에서, 시스템(100)의 사용자가 사용자의 시력으로 가상/증강 환경을 탐사할 때, 가상/증강 환경에서 대상들과 관련된 상기 발생된 햅틱 효과(들)는 사용자가 그의/그녀의 관심을 집중하고 있는 위치에 따라 좌우될 수 있다.

한 실시 형태에서, 시스템(100)의 사용자는 비디오-콘솔-게임 플레이의 라이브 비디오 스트림을 볼 수 있고, 게임 내의 상이한 플레이어들의 모든 행동을 볼 수 있다. 관찰자로서의 사용자를 위해 발생되는 햅틱 효과들은 그/그녀가 플레이어-1 또는 플레이어-N을 보고 있는지에 따라 좌우될 수 있다. 예를 들어, 플레이어-1이 기관총을 가지고 있다면, 사용자는 기관총과 관련된 햅틱 효과들을 느낄 수 있고, 사용자가 부상을 당해 손으로 싸우고 있는 플레이어-N을 보고 있다면, 사용자는 손과 몸에 느껴진 펀치들과 같이, 이러한 캐릭터와 관련된 모든 햅틱 상호작용들을 느낄 수 있다.

한 실시 형태에서, 아이-트래킹은 한 전자 장치로부터 또 다른 전자 장치로 콘텐츠를 전송하는데 사용될 수 있다. 예를 들어, 시스템(100)의 사용자는 하나의 방에서 텔레비전의 형태의 디스플레이(170)에 의해 디스플레이되는 비디오를 볼 수 있고 계속 비디오를 보기를 원하는 동안 또 다른 방으로 가기로 결정할 수 있다. 사용자는 사용자가 계속 스마트 워치를 통해 비디오를 볼 수 있도록 비디오 콘텐츠를 스마트 워치로 전송하기 위해 그의/그녀의 스마트 워치를 볼 수 있다.

컴퓨터들과 모바일 장치들에 있어서, 사용자들은 기계적 움직임을 요구하는 키보드들, 마우스들 및/또는 터치 스크린들을 통하여 그와 같은 장치들에 입력을 일반적으로 제공하고, 작은 영역들과의 상호작용들에 있어서, 입력은 충분히 정확하지 않으며 입력 권한을 얻기에 너무 오래 걸릴 수 있는데, 이는 사용자를 방해할 수 있다. 본 발명의 한 실시 형태에서, 아이-트래킹은 사용자의 주시를 탐지하고 탐지된 주시를 컴퓨터에의 입력으로서 사용하는데 이용될 수 있다. 예를 들어, 사용자는 일정한 기간 동안 그러한 프로그램/애플리케이션들을 단지 봄으로써 컴퓨터 프로그램/애플리케이션들을 닫을 수 있어, 손/핑거 모션의 기계적 특성 때문에 추가적 시간이 걸릴 수 있게 하는 그의/그녀의 핑거를 사용자가 이용할 필요가 없게 한다.

한 실시 형태에서, 새로운 콘텐츠는 사용자가 그의/그녀의 주시를 멀티미디어 콘텐츠의 특정 영역에 집중시킬 때 디스플레이될 수 있다. 예를 들어, 새로운 프로그램들 또는 애플리케이션들은 대화형 미디어 내에서 열리거나 실행될 수 있고, 햅틱 시그니처들 또는 브랜드들은 사용자에게 다른 유용한 정보를 포함하여, 재생될 수 있다.

도 6은 본 발명의 실시 형태에 따른 방법(600)을 예시한다. 610에서, 사용자의 시선의 방향은 위에서 설명된 아이-트래킹 장치(150)로 탐지된다. 620에서, 탐지된 응시 위치에서의 이미지는 콘텐츠 결정 모듈(112)가 프로세서(110)에 의해 실행될 때 콘텐츠 결정 모듈(112)에 의해 식별된다. 630에서, 식별된 이미지를 기반으로 햅틱 효과는 햅틱 출력 장치 제어 모듈(118)이 프로세서(110)에 의해 실행될 때 햅틱 출력 장치 제어 모듈(118)에 의해 결정된다. 640에서, 상기 결정된 햅틱 효과는 햅틱 출력 장치(160)에 의해 생성된다.

도 7은 본 발명의 실시 형태에 따른 방법(700)을 예시한다. 710에서, 사용자의 시선은 사용자가 이미지를 포함하는 미디어 콘텐츠를 보고 있는 동안 트래킹된다. 사용자의 시선은 위에서 설명된 아이-트래킹 장치(150)으로 트래킹될 수 있다. 720에서, 미디어 콘텐츠는 이미지를 식별하기 위해 분석된다. 미디어 콘텐츠는 콘텐츠 결정 모듈(112)이 프로세서(110)에 의해 실행될 때 콘텐츠 결정 모듈(112)에 의해 분석될 수 있다. 730에서, 사용자의 시선의 응시 위치가 결정된다. 응시 위치는 시선 결정 모듈(114)이 프로세서(110)에 의해 실행될 때 시선 결정 모듈(114)에 의해 결정될 수 있다. 740에서, 트리거하기 위한 이벤트는 식별된 이미지와 응시 위치를 근거로 결정된다. 이벤트는 이벤트 결정 모듈이 프로세서(110)에 의해 실행될 때 이벤트 결정 모듈(116)에 의해 결정될 수 있다. 750에서, 햅틱 효과는 또한 이미지의 식별, 응시 위치, 및/또는 이벤트의 트리거링을 기반으로 사용자에게 발생될 수 있다. 햅틱 효과는 햅틱 출력 장치 제어 모듈(118)이 프로세서(110)에 의해 실행될 때 햅틱 출력 장치 제어 모듈(118)에 의해 결정될 수 있고, 햅틱 효과는 햅틱 출력 장치(160)에 의해 생성될 수 있다.

위에서 설명된 본 발명의 실시 형태들은, 심지어 종이로 읽는 경우에도, 책들과 그래픽들 소설들과 같은, 다른 유형의 미디어로 햅틱 콘텐츠의 흥분을 옮길 수 있고, 따라서 이런 종류의 미디어가, 종종 더 자극적이고 흥분되는, 비디오 게임들과 텔레비전과 같은, 멀티미디어 경험들과 더 경쟁하게 할 수 있다. 위에서 설명된 본 발명의 실시 형태들은 또한 그러한 경험들을 더 재미있고 매력적이게 할 수 있는, 도시의 안내 여행에서 빌딩을 보는 것과 같이, 다른 실제 경험들에 햅틱 콘텐츠를 연관시킨다.

여기서 설명된 실시 형태들은 다수의 가능한 구현예들 및 예시들을 나타내며 본 개시 내용을 반드시 임의의 특정 실시 형태들로 제한하도록 의도되지 않는다. 대신에, 이들 실시 형태에 대하여 본 기술분야의 통상의 기술자에 의해서 이해될 수 있는 다양한 수정들이 이루어질 수 있다. 임의의 이러한 수정들은 본 개시 내용의 사상 및 범위 내에 포함되며 후속하는 청구항들에 의해 보호되도록 의도된다.

Claims (21)

1. 시스템으로서,
   이미지를 포함하는 미디어 콘텐츠를 보는 동안 사용자의 시선을 트래킹하도록 구성된 아이-트래킹 장치; 및
   하나 이상의 컴퓨터 프로그램 모듈들을 실행하도록 구성된 프로세서를 포함하고, 상기 하나 이상의 컴퓨터 프로그램 모듈들은,
   상기 프로세서에 의해 실행될 때, 상기 이미지를 식별하기 위해 상기 미디어 콘텐츠를 분석하는 콘텐츠 결정 모듈,
   상기 프로세서에 의해 실행될 때, 상기 이미지를 보는 동안 상기 사용자의 시선의 응시 위치를 결정하는 시선 결정 모듈, 및
   프로세서에 의해 실행될 때, 상기 이미지의 식별과 상기 응시 위치에 기초하여 트리거하기 위한 이벤트를 결정하는 이벤트 결정 모듈을 포함하는, 시스템.
2. 제1항에 있어서, 상기 이미지를 포함하는 상기 미디어 콘텐츠를 디스플레이하도록 구성된 디스플레이를 더 포함하는, 시스템.
3. 제2항에 있어서, 사용자 인터페이스를 더 포함하고, 상기 디스플레이는 상기 사용자 인터페이스의 일부인, 시스템.
4. 제2항에 있어서, 상기 응시 위치, 상기 이미지의 식별, 및/또는 상기 이벤트의 트리거링을 기반으로 상기 사용자에게 햅틱 효과를 생성하도록 구성된 햅틱 출력 장치를 더 포함하는, 시스템.
5. 제4항에 있어서, 상기 디스플레이, 상기 아이-트래킹 장치, 상기 프로세서, 및 상기 햅틱 출력 장치는 단일 통합 장치의 일부인, 시스템.
6. 제5항에 있어서, 상기 단일 통합 장치는 스마트폰, 태블릿, 및 e-리더기로 구성되는 그룹에서 선택되는, 시스템.
7. 제4항에 있어서, 상기 햅틱 출력 장치는 상기 이벤트의 트리거링을 기반으로 상기 햅틱 효과를 생성하도록 구성되는, 시스템.
8. 제7항에 있어서, 상기 미디어 콘텐츠는 멀티미디어 콘텐츠이고, 상기 이미지는 상기 멀티미디어 콘텐츠의 일부로서 제공되는, 시스템.
9. 제8항에 있어서, 상기 이벤트는 상기 멀티미디어 콘텐츠 위에 상기 디스플레이에 의해 디스플레이된 윈도의 열림 또는 닫힘인, 시스템.
10. 제9항에 있어서, 상기 윈도는 광고를 포함하는, 시스템.
11. 제4항에 있어서, 웨어러블 전자 장치를 더 포함하고, 상기 햅틱 출력 장치는 상기 웨어러블 전자 장치 위에 위치하는, 시스템.
12. 제11항에 있어서, 상기 웨어러블 전자 장치는 스마트 워치를 포함하는, 시스템.
13. 방법으로서,
    사용자가 이미지를 포함하는 미디어 콘텐츠를 보고 있는 동안 사용자의 시선을 트래킹하는 단계;
    상기 이미지를 식별하기 위해 상기 미디어 콘텐츠를 분석하는 단계;
    상기 사용자의 시선의 응시 위치를 결정하는 단계; 및
    상기 식별된 이미지와 상기 응시 위치를 기반으로 트리거하기 위한 이벤트를 결정하는 단계를 포함하는, 방법.
14. 제13항에 있어서, 상기 이미지의 식별, 상기 사용자의 시선의 응시 위치 및/또는 상기 이벤트의 트리거링을 기반으로 상기 사용자에게 햅틱 효과를 생성하는 단계를 더 포함하는, 방법.
15. 제14항에 있어서, 상기 사용자가 보고 있는 상기 이미지의 변화를 기반으로 상기 햅틱 효과를 조절하는 단계를 더 포함하는, 방법.
16. 제14항에 있어서, 상기 사용자의 시선의 상기 응시 위치의 변화를 기반으로 상기 햅틱 효과를 조절하는 단계를 더 포함하는, 방법.
17. 제14항에 있어서, 상기 이벤트를 트리거링하는 단계를 더 포함하고, 상기 햅틱 효과를 생성하는 단계는 상기 이벤트의 트리거링을 기반으로 하는, 방법.
18. 제17항에 있어서, 상기 이벤트는 광고를 디스플레이하기 위한 윈도를 열거나 상기 윈도를 닫는 단계를 포함하는, 방법.
19. 제13항에 있어서, 디스플레이를 이용하여 상기 미디어 콘텐츠를 디스플레이하는 단계를 더 포함하는, 방법.
20. 제19항에 있어서, 상기 디스플레이를 이용하여 광고를 디스플레이하는 단계, 상기 광고 내의 위치로의 상기 사용자의 시선을 트래킹하는 단계, 및 상기 광고와 관련된 적어도 하나의 햅틱 효과를 생성하는 단계를 더 포함하는, 방법.
21. 제20항에 있어서, 제1 햅틱 효과가 상기 사용자가 상기 광고에서 제1 이미지를 보고 있을 때 생성되고, 상기 제1 햅틱 효과와는 다른, 제2 햅틱 효과가 상기 사용자가 상기 광고에서, 상기 제1 이미지와는 다른 제2 이미지를 보고 있을 때 생성되는, 방법.

Images