KR20170139508A - 에칭 입력의 동적 렌더링 - Google Patents

에칭 입력의 동적 렌더링 Download PDF

Info

Publication number
KR20170139508A
KR20170139508A KR1020177025805A KR20177025805A KR20170139508A KR 20170139508 A KR20170139508 A KR 20170139508A KR 1020177025805 A KR1020177025805 A KR 1020177025805A KR 20177025805 A KR20177025805 A KR 20177025805A KR 20170139508 A KR20170139508 A KR 20170139508A
Authority
KR
South Korea
Prior art keywords
etch
input
user
modified
haptic
Prior art date
Application number
KR1020177025805A
Other languages
English (en)
Inventor
윌리엄 에스. 린
데이비드 엠. 번바움
샘파네즈 앤써니 채드
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20170139508A publication Critical patent/KR20170139508A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)

Abstract

에칭 입력들을 동적으로 렌더링하는 시스템들 및 방법들이 제공되고, 센서를 갖고 사용자 입력을 검출하도록 구성되는 터치 표면, 및 비일시적 메모리를 포함하며, 비일시적 메모리는 이미지 또는 비디오 파일에 적용되는 에칭 입력을 캡처하는 명령어, 에칭 입력에 대응하는 햅틱 효과를 결정하는 명령어 - 햅틱 효과는 에칭 입력의 타입에 의존함 -, 및 에칭 입력 및 햅틱 효과를 포함하는 수정된 이미지 또는 수정된 비디오 파일을 송신하는 명령어를 포함한다.

Description

에칭 입력의 동적 렌더링
우선권 출원
본 출원은 2015년 4월 21일에 출원된 미국 임시 특허 출원 제62/150,499호의 이득들을 주장하고, 전체적으로 참조로 이로써 포함한다.
발명의 분야
본 발명의 실시예들은 일반적으로 전자 디바이스들에 관한 것으로, 더욱 구체적으로는, 햅틱 효과들을 생성하고 및/또는 교환하는 전자 디바이스들 및 애플리케이션들에 관한 것이다.
전자 디바이스 제조자들은 사용자들을 위한 풍부한 인터페이스를 생성하기 위해 노력한다. 종래의 디바이스들은 피드백을 사용자에게 제공하기 위해 시각 및 청각 큐들을 사용한다. 일부 인터페이스 디바이스들에서, "햅틱 피드백" 또는 "햅틱 효과들"로 더 일반적으로 그리고 집합적으로 공지된 운동 감각 피드백(예를 들어, 활성 및 저항성 힘 피드백) 및/또는 촉각 피드백(예를 들어, 진동, 텍스처, 및 열)은 또한 사용자에게 제공된다. 햅틱 피드백은 사용자 인터페이스들을 향상시키고 단순화하는 부가 큐들을 제공할 수 있다. 구체적으로, 진동 효과들, 또는 진동촉각 햅틱 효과들은 사용자를 특정 이벤트들에 경보하기 위해 큐들을 전자 디바이스들의 사용자들에게 제공하거나, 더 큰 감각 몰입을 시뮬레이션 또는 가상 환경 내에서 실제 피드백을 제공할 시에 유용할 수 있다.
스마트폰들 및 태블릿들과 같은 증가하는 수의 디바이스들은 햅틱 효과들을 발생시키는 액추에이터들과 같은 하드웨어를 포함한다. 햅틱 효과들은 특히, 이러한 예시적 디바이스들 상에서 오디오/비디오 경험을 향상시킬 수 있다. 예를 들어, 오디오/비디오 트랙에 대한 햅틱 효과 수반은 엔진이 승용차에서 굉음을 내는 것, 폭발들, 충돌들, 및 햇빛의 희미한 느낌을 "느끼게 하는" 것을 시청자가 허용할 수 있다. 사용자가 액션을 야기하기 위해 사용자 입력 요소와 상호작용하는 다른 디바이스들은 또한 햅틱 피드백 또는 햅틱 효과들로부터 이익을 얻을 수 있다. 예를 들어, 그러한 디바이스들은 의료 디바이스들, 자동차 컨트롤들, 리모트 컨트롤들, 트랙패드들, 및 다른 유사한 디바이스들을 포함할 수 있다.
본 발명의 실시예들은 일반적으로 관련 기술에 비해 실질적으로 개선하는 에칭 입력들을 동적으로 렌더링하도록 구성되는 전자 디바이스들에 관한 것이다.
일 예에서, 에칭 입력들을 동적으로 렌더링하는 시스템들 및 방법들은 센서를 포함하고 사용자 입력을 검출하도록 구성되는 터치 표면, 및 비일시적 메모리를 포함하며, 비일시적 메모리는 이미지 또는 비디오 파일에 적용되는 에칭 입력을 캡처하는 명령어, 에칭 입력에 대응하는 햅틱 효과를 결정하는 명령어 - 햅틱 효과는 에칭 입력의 타입에 의존함 -, 및 에칭 입력 및 햅틱 효과를 포함하는 수정된 이미지 또는 수정된 비디오 파일을 송신하는 명령어를 포함한다.
본 발명의 부가 특징들 및 장점들은 이하의 설명에 제시될 것이고, 부분적으로 설명으로부터 분명할 것이거나, 본 발명의 실시에 의해 습득될 수 있다. 본 발명의 실시예들의 장점들은 첨부 도면들뿐만 아니라 서면 설명 및 이것의 청구항들에 특히 지적되는 구조에 의해 실현되고 달성될 것이다. 상술한 일반적 설명 및 이하의 상세한 설명 둘 다는 예시적이고 설명적이며 본 발명을 설명된 예들에 제한하도록 의도되지 않는다는 점이 이해되어야 한다.
추가 실시예들, 상세들, 장점들, 및 수정들은 첨부 도면들과 함께 해석되는 바람직한 실시예들의 이하의 상세한 설명으로부터 분명해질 것이다.
도 1은 본 발명의 예시적 실시예에 따른 햅틱 이용가능 터치 표면의 블록도를 예시한다.
도 2는 본 발명의 예시적 실시예에 따른 터치 표면의 단면도를 예시한다.
도 3은 본 발명의 예시적 실시예에 따른 에칭된 입력을 동적으로 렌더링하는 기능성의 흐름도를 예시한다.
도 4는 본 발명의 예시적 실시예에 따른 가상 현실에서 햅틱 효과들을 렌더링하는 기능성의 흐름도를 예시한다.
도 5는 본 발명의 예시적 실시예에 따라 사용자가 에칭 입력과 상호작용하고 있을 때 햅틱 효과들을 렌더링하는 기능성의 흐름도를 예시한다.
도 6은 본 발명의 예시적 실시예에 따른 햅틱 이용가능 에칭 및 메시징 애플리케이션에 대한 사용자 인터페이스를 예시한다.
도 7은 본 발명의 예시적 실시예들에 따른 복수의 에칭들을 예시한다.
도 8은 본 발명의 예시적 실시예에 따른 가상 현실 공간 내에 배치되는 3차원 브러시를 예시한다.
다양한 실시예들에서, 에칭 입력을 동적으로 렌더링하는 시스템들 및 방법들이 제공된다. 본원에 설명되는 바와 같이, 에칭은 하나 이상의 햅틱 효과들 내에 사용자의 제스처들을 캡슐화하는 촉각 향상 드로잉 경험이다. 예를 들어, 에칭은 하나 이상의 브러시 타입들, 예컨대, 페인트 브러시들, 마커들, 이레이저들(erasures), 레이저들 등을 모방하는 전자 드로잉(electronic drawing)일 수 있다. 다른 예에서, 호스트 전자 디바이스의 물리적 이동, 예컨대, 디바이스를 셰이킹하는 것 및/또는 디바이스에 의해 3차원 공간들에서 디자인(예를 들어, 하트, 정사각형, 또는 다른 형상들)을 드로잉하는 것은 에칭 입력을 발생시키기 위해 사용될 수 있다. 일부 사례들에서, 에칭 입력은 촉각적 채팅(tactile chat) 또는 메시징 애플리케이션을 통해 대화형 미디어 메시지들의 교환을 향상시키기 위해 적용될 수 있다. 예를 들어, 실시예들은 에칭 입력을 캡처하고 햅틱 효과들과 함께 캡처된 에칭 입력의 동적 렌더링을 가능하게 하는 기술들을 제공한다. 부가적으로, 또는 대안적으로, 캡처된 에칭 입력의 속도, 압력, 및/또는 다른 파라미터들은 플레이백을 렌더링하기 전에 그리고 사용자의 햅틱 경험을 더 향상시키기 위해 수정될 수 있다.
이제 실시예들이 상세히 참조될 것이며, 그것의 예들은 첨부 도면들에 예시된다. 이하의 상세한 설명에서, 다수의 특정 상세들은 본 발명의 철저한 이해를 제공하기 위해 제시된다. 그러나, 본 발명은 이러한 특정 상세들 없이 실시될 수 있는 것이 본 기술분야의 통상의 기술자에게 분명할 것이다. 다른 사례들에서, 널리 공지된 방법들, 절차들, 구성요소들, 및 회로들은 실시예들의 양태들을 불필요하게 모호하지 않도록 상세히 설명되지 않았다. 가능한 경우, 유사한 참조 번호들은 유사한 요소들을 위해 사용될 것이다.
다양한 실시예들에서, 전자 디바이스를 사용하는 다양한 사용자 인터페이스들 및 방법들이 설명된다. 일부 실시예들에서, 전자 디바이스는 휴대용 디바이스(예를 들어, 게임 컨트롤러, 콘솔, 이동 전화, 스마트폰, 태블릿, 웨어러블 시계, 스마트 안경, 및/또는 다른 주변 장치)이다. 그러나, 사용자 인터페이스들 및 연관된 방법들은 키보드, 마우스, 트랙볼 등과 같은 하나 이상의 다른 물리 사용자-인터페이스 디바이스들을 포함할 수 있는 개인용 컴퓨터들, 의료 디바이스들, 랩톱들 등과 같은 다수의 다른 디바이스들에 적용될 수 있다는 점이 이해되어야 한다.
도 1은 본 발명의 예시적 실시예에 따른 햅틱 이용가능 터치 감지 표면에 대한 시스템(100)의 블록도를 예시한다. 도 1에 도시된 바와 같이, 시스템(100)은 버스(106)를 통해, 메모리(104)와 같은 다른 하드웨어와 인터페이스되는 프로세서(102)를 갖는 컴퓨팅 디바이스(101)를 포함한다. 이러한 예시적 구성에서, 컴퓨팅 디바이스(101)는 하나 이상의 네트워크 인터페이스 디바이스들(110), 입력/출력(input/output)("I/O") 인터페이스 구성요소들(112), 부가 스토리지(114), 및 터치 표면(116)을 더 포함한다.
터치 표면(116) 또는 베이스 디바이스(예를 들어, 태블릿 또는 트랙패드)는 컴퓨팅 디바이스(101)와 통합되거나 컴퓨팅 디바이스에 결합될 수 있다. 터치 표면(116)은 사용자의 입력을 감지하도록 구성되는 임의의 표면(예를 들어, 터치패드, 터치스크린 등)을 포함한다. 하나 이상의 센서들(108)은 하나 이상의 객체들(예를 들어, 손가락, 손, 스타일러스, 브러시 등)이 터치 표면(116)과 접촉하고 프로세서(102)에 의한 사용을 위해 적절한 데이터를 제공할 때 압력 감지 영역들에서 터치를 검출하도록 구성된다. 센서들(108)은 터치 표면(116) 상에서 단일 터치 및/또는 다수의 동시 터치들을 감지하도록 구성될 수 있다.
센서들(108)의 임의의 적절한 수, 타입, 및/또는 배열이 사용될 수 있다. 예를 들어, 저항성 및/또는 용량성 센서들은 터치 표면(116)에 내장되고 터치의 위치 및 다른 정보, 예컨대 압력을 결정하기 위해 사용될 수 있다. 다른 예에서, 센서들(108)은 터치 위치들을 결정하도록 구성되는 광 센서들을 포함할 수 있다. 일부 실시예들에서, 센서들(108)은 사용자 상호작용의 다수의 양태들을 검출하도록 구성될 수 있다. 예를 들어, 센서들(108)은 사용자 상호작용의 속도 및 압력을 검출할 수 있다.
프로세서(102)와 통신하는 햅틱 출력 디바이스들(118)에는 터치 표면(116)이 제공될 수 있다. 부가 햅틱 출력 디바이스들(118)은 컴퓨팅 디바이스(101)의 터치 표면(116) 및/또는 다른 구성요소들에 배치될 수 있다. 일부 실시예들에서, 햅틱 출력 디바이스(118)는 터치 표면(116) 상에서 다양한 텍스처들을 시뮬레이션하는 햅틱 효과를 출력하도록 구성된다. 예를 들어, 다양한 브러시들, 캔버스들, 이레이저들, 마커들, 레이저들, 및 다른 텍스처들은 시뮬레이션될 수 있다. 다른 예에서, 인지된 마찰 계수는 상이한 주파수들에서 터치 표면(116)을 진동시킴으로써 변화될 수 있다. 부가적으로, 또는 대안적으로, 햅틱 출력 디바이스(118)는 터치 표면(116)을 따라 진동촉각 햅틱 효과들, 정전기 마찰 햅틱 효과들, 온도 변화, 및/또는 변형 햅틱 효과들을 제공할 수 있다. 일부 햅틱 효과들은 컴퓨팅 디바이스(101)의 하우징(도시되지 않음)에 결합되는 액추에이터를 이용할 수 있고, 일부 햅틱 효과들은 다수의 액추에이터들을 순차적으로 또는 일제히 사용할 수 있다.
햅틱 출력 디바이스들(118)은 예를 들어 정전기 표면 액추에이터의 사용에 의해, 터치 표면(116)의 표면 상에서 텍스처를 시뮬레이션하기 위해 또는 터치 표면(116)에 걸쳐 그 또는 그녀의 손가락을 이동시킬 때 사용자가 느끼는 마찰 계수를 변화시키기 위해 정전기 인력을 사용할 수 있다. 예를 들어, 햅틱 출력 디바이스들(118)은 햅틱 효과를 발생시키기 위해 기계적 모션 대신에 전압들 및 전류들을 인가하는 전자진동촉각 디바이스일 수 있다. 그러한 실시예에서, 정전기 액추에이터는 전도 층 및 절연 층을 포함할 수 있다. 그러한 실시예에서, 전도 층은 임의의 반도체 또는 다른 전도 재료, 예컨대, 구리, 알루미늄, 금, 또는 은일 수 있다. 절연 층은 유리, 플라스틱, 폴리머, 또는 임의의 다른 절연 재료일 수 있다. 더욱이, 프로세서(102)는 전기 신호를 전도 층에 인가함으로써 정전기 액추에이터를 동작시킬 수 있다. 전기 신호는 일부 실시예들에서, 전도 층을 터치 표면(116) 근방의 또는 터치 표면을 터치하는 객체와 용량성 결합하는 AC 신호일 수 있다.
일부 실시예들에서, 용량성 결합은 터치 표면(116)의 표면 상에서 마찰 계수 또는 텍스처를 시뮬레이션할 수 있다. 예를 들어, 터치 표면(116)의 표면은 부드러울 수 있지만, 용량성 결합은 터치 표면(116)의 표면 근방의 객체 사이에 인력을 생성할 수 있다. 일부 실시예들에서, 객체와 전도 층 사이에서 인력의 레벨들을 변화시키는 것은 객체가 터치 표면(116)의 표면에 걸쳐 이동할 시에 시뮬레이션된 텍스처를 변화시킬 수 있다. 더욱이, 일부 실시예들에서, 정전기 액추에이터는 터치 표면(116)의 표면 상에서 시뮬레이션된 텍스처를 변화시키거나 다른 효과들을 출력하기 위해 종래의 액추에이터들과 함께 사용될 수 있다. 예를 들어, 액추에이터들은 터치 표면(116)의 표면의 텍스처의 변화를 시뮬레이션하기 위해 진동될 수 있는 반면에, 정전기 액추에이터는 터치 표면(116)의 표면 상에서 상이한 텍스처를 시뮬레이션할 수 있다.
일부 실시예들에서, 정전기 액추에이터는 터치 표면(116) 근방의 또는 터치 표면을 터치하는 신체 또는 객체들의 일부들을 자극함으로써 햅틱 효과를 발생시키기 위해 사용될 수 있다. 예를 들어, 일부 실시예들에서, 정전기 액추에이터는 정전기 액추에이터에 응답할 수 있는 스타일러스에서 사용자의 손가락의 스킨 내의 신경 종말들 또는 구성요소들을 자극할 수 있다. 스킨 내의 신경 종말들은 예를 들어 자극되고 정전기 액추에이터(예를 들어, 용량성 결합)를 진동 또는 일부 더 구체적 감각으로서 감지할 수 있다. 예를 들어, 일 실시예에서, 정전기 액추에이터의 전도 층은 사용자의 손가락의 전도 부분들과 결합하는 AC 전압 신호를 수신할 수 있다. 사용자가 터치 표면(116)을 터치하고 표면을 따라 그 또는 그녀의 손가락을 이동시킴에 따라, 사용자는 따끔따끔함, 오돌토돌함, 울퉁불퉁함, 거?s, 끈적거림의 텍스처, 또는 일부 다른 텍스처를 감지할 수 있다.
다양한 액추에이터들은 햅틱 출력 디바이스들(118)로 사용될 수 있고, 다른 디바이스들이 사용될 수 있다. 햅틱 출력 디바이스들(118)은 예를 들어 전기 모터, 전자기 액추에이터, 보이스 코일, 형상 메모리 합금, 전기 활성 폴리머, 솔레노이드, 편심 회전 질량(eccentric rotating mass)("ERM") 모터, 하모닉 ERM(harmonic ERM)("HERM") 모터, 선형 공진 액추에이터(linear resonant actuator)("LRA"), 압전 액추에이터, 고대역폭 액추에이터, 전기 활성 폴리머(electroactive polymer)("EAP") 액추에이터, 정전기 마찰 디스플레이, 또는 초음파 진동 발생기일 수 있다. 일부 사례들에서, 햅틱 출력 디바이스는 햅틱 출력 구동 회로를 포함할 수 있다. 일부 실시예들에서, 햅틱 출력 디바이스는 단방향 또는 양방향일 수 있다.
프로세서(102)는 시스템(100)의 계산 및 제어 기능들을 수행하기 위해 하나 이상의 일반 또는 특수 목적 프로세서들일 수 있다. 프로세서(102)는 단일 집적 회로, 예컨대 마이크로프로세싱 디바이스를 포함할 수 있거나, 프로세서(102)의 기능들을 달성하기 위해 협력하여 동작하는 다수의 집적 회로 디바이스들 및/또는 회로 보드들을 포함할 수 있다. 게다가, 프로세서(102)는 메모리(104) 내에 저장되는 운영 시스템 애플리케이션들과 같은 컴퓨터 프로그램들을 실행할 수 있다.
일부 사례들에서, 프로세서(102)는 햅틱 효과들이 렌더링되는지 및 효과들이 고레벨 파라미터들에 기초하여 플레이되는 순서를 결정할 수 있다. 일반적으로, 특정 햅틱 효과를 정의하는 고레벨 파라미터들은 크기, 주파수, 및 지속을 포함한다. 저레벨 파라미터들 예컨대 스트리밍 모터 커맨드들은 또한 특정 햅틱 효과를 결정하기 위해 사용될 수 있다. 햅틱 효과는 햅틱 효과가 발생될 때 이러한 파라미터들의 일부 변화 또는 사용자의 상호작용에 기초한 이러한 파라미터들의 변화를 포함하면 "동적"인 것으로 간주될 수 있다. 햅틱 피드백 시스템은 일 실시예에서 시스템(100) 상에 진동들 또는 다른 타입들의 햅틱 효과들을 발생시킨다.
비일시적 메모리(104)는 프로세서(102)에 의해 액세스될 수 있는 다양한 컴퓨터 판독가능 매체들을 포함할 수 있다. 다양한 실시예들에서, 메모리(102)는 휘발성 및 비휘발성 매체, 제거식 및 비제거식 매체를 포함할 수 있다. 예를 들어, 메모리(104)는 랜덤 액세스 메모리(random access memory)("RAM"), 동적 RAM(dynamic RAM)("DRAM"), 정적 RAM(static RAM)("SRAM"), 판독 전용 메모리(read only memory)("ROM"), 플래시 메모리, 캐시 메모리, 및/또는 임의의 다른 타입의 비일시적 컴퓨터 판독가능 매체의 임의의 조합을 포함할 수 있다.
네트워크 디바이스(110)는 리모트 소스들에 의해 데이터를 송신하고 및/또는 수신하도록 구성된다. 네트워크 디바이스(110)는 프로세서(102)로부터 네트워크(도시되지 않음)를 통해 다른 디바이스로 송신되는 데이터를 인코딩하고 프로세서(102)를 위해 다른 시스템으로부터 네트워크를 통해 수신되는 데이터를 디코딩함으로써 프로세서(102)와 다른 디바이스들 사이의 연결성을 가능하게 할 수 있다. 예를 들어, 네트워크 디바이스(110)는 무선 네트워크 통신들을 제공하도록 구성되는 네트워크 인터페이스 카드를 포함할 수 있다. 적외선, 무선, 블루투스, Wi-Fi, 및/또는 셀룰러 통신들을 포함하는 다양한 무선 통신 기술들이 사용될 수 있다. 대안적으로, 네트워크 디바이스(110)는 유선 네트워크 연결(들), 예컨대 이더넷/인터넷 연결을 제공하도록 구성될 수 있다.
I/O 구성요소들(112)은 데이터를 입력하거나 데이터를 출력하기 위해 사용되는 하나 이상의 디스플레이들, 키보드들, 마우스들, 스피커들, 마이크로폰들, 및/또는 다른 하드웨어, 예컨대 스타일러스와 같은 주변 디바이스들에 연결을 용이하게 하기 위해 사용될 수 있다. 스토리지(114)는 컴퓨팅 디바이스(101)에 포함되는 자기, 광, 또는 다른 저장 매체들과 같은 비휘발성 스토리지를 표현한다.
메모리(104)로 돌아가면, 예시적 프로그램 구성요소들(124, 126, 및 128)은 디바이스가 에칭 입력들과 함께 햅틱 효과들, 및 본원에 설명되는 모든 다른 기능성을 제공하기 위해 일부 실시예들에서 어떻게 구성될 수 있는지를 예시하도록 도시된다. 이러한 예에서, 검출 모듈(124)은 하나 이상의 터치들의 위치를 결정하기 위해 센서들(108)을 통해 터치 표면(116)을 감시하도록 프로세서(102)를 구성한다. 예를 들어, 모듈(124)은 터치들의 존재 또는 부재를 추적하기 위해 센서들(108)을 샘플링할 수 있다. 터치들이 존재하면, 센서들(108)은 터치들의 위치, 경로, 속도, 가속도, 압력 및/또는 다른 특성들 중 하나 이상을 추적할 수 있다.
햅틱 효과 결정 모듈(126)은 렌더링을 위한 햅틱 효과들을 선택하기 위해 터치 또는 접촉 특성들에 관한 데이터를 분석한다. 예를 들어, 햅틱 효과들은 터치 표면(116)의 특성들에 의해 결정될 수 있다. 대안적으로, 또는 부가적으로, 이러한 결정은 터치들의 특성들, 예컨대 접촉의 위치, 접촉들의 수, 접촉의 시간, 접촉의 압력, 접촉의 활동, 또는 햅틱 효과들과 연관되는 특징들에 기초하여 이루어질 수 있다. 상이한 햅틱 효과들은 터치 표면(116)의 표면 상의 텍스처 또는 일반적으로 다른 타입의 햅틱 효과를 시뮬레이션함으로써 특징의 존재를 시뮬레이션하기 위해 각각의 터치의 위치에 기초하여 선택될 수 있다.
햅틱 효과 발생 모듈(128)은 프로세서(102)가 햅틱 신호들을 발생시켜 햅틱 출력 디바이스들(118)에 송신하게 하도록 구성된다. 예를 들어, 발생 모듈(128)은 햅틱 출력 디바이스들(118)에 송신하기 위해 저장된 파형들 또는 커맨드들에 액세스할 수 있다. 다른 예로서, 햅틱 효과 발생 모듈(128)은 햅틱 출력 디바이스들(118)에 송신하기 위해 적절한 신호를 발생시키도록 원하는 타입의 텍스처를 수신하고 신호 처리 알고리즘들을 이용할 수 있다. 또 다른 예로서, 원하는 텍스처는 터치 표면(116)(및/또는 다른 디바이스 구성요소들)의 적절한 변위를 발생시키기 위해 텍스처에 대한 타겟 좌표들 및 하나 이상의 액추에이터들에 송신되는 적절한 파형과 함께 표시될 수 있다.
단일 시스템에 도시되지만, 시스템(100)의 기능성은 분산 시스템으로 구현될 수 있다. 예를 들어, 시스템(100)은 디바이스(예를 들어, 개인용 컴퓨터, 콘솔, 비디오 게임 콘솔 등)의 일부일 수 있고, 시스템(100)은 디바이스를 위해 햅틱 효과 기능성을 제공할 수 있다. 다른 예에서, 시스템(100)은 디바이스로부터 분리될 수 있고, 디바이스를 위해 상술한 기능성을 원격으로 제공할 수 있다.
도 2는 본 발명의 예시적 실시예에 따른 터치 표면(216)의 단면도(200)를 예시한다. 도 2에 도시된 바와 같이, 터치 표면(216)은 센서들(208), 복수의 햅틱 출력 디바이스들(218.1 내지 218.4), 및 기판(230)을 포함한다. 햅틱 출력 디바이스들(218.1 내지 218.4)은 기판(230)의 일부로서 일체로 형성될 수 있다. 부가적으로, 또는 대안적으로, 대응하는 호스트 디바이스의 햅틱 출력 디바이스들이 사용될 수 있다. 센서들(208) 및 햅틱 출력 디바이스들(218.1 내지 218.4)의 다수의 구성들이 실현가능하다는 점, 및 도 2에 도시된 구성이 일 예만인 점이 이해되어야 한다. 더욱이, 햅틱 출력 디바이스들 각각은 상기 설명된 액추에이터 또는 다른 햅틱 출력 디바이스들 중 어느 것을 포함할 수 있다는 점이 이해되어야 한다.
도 3은 본 발명의 예시적 실시예에 따른 에칭 입력을 동적으로 렌더링하는 기능성(300)의 흐름도를 예시한다. 일부 사례들에서, 도 3(및 아래의 도 4 및 도 5)의 흐름도의 기능성은 메모리 또는 다른 컴퓨터 판독가능 또는 유형의 매체들에 저장되는 소프트웨어에 의해 구현되고, 프로세서에 의해 실행된다. 다른 사례들에서, 기능성은 하드웨어에 의해(예를 들어, 주문형 집적 회로(application specific integrated circuit)("ASIC"), 프로그램가능 게이트 어레이(programmable gate array)("PGA"), 필드 프로그램가능 게이트 어레이(field programmable gate array)("FPGA") 등의 사용을 통해), 또는 하드웨어 및 소프트웨어의 임의의 조합에 의해 수행될 수 있다.
처음에, 기능성(300)은 301에서, 사용자가 에칭 편집기(etching editor)의 모듈들을 열고 실행할 수 있게 한다. 에칭 편집기는 독립형 애플리케이션일 수 있거나, 대안적으로, 미디어 편집 애플리케이션의 일부로 구현될 수 있다. 예를 들어, 에칭 편집기는 메시징 또는 촉각적 채팅 애플리케이션(도 6에 도시된 바와 같음)의 일부로 포함될 수 있다. 다음에, 302에서, 기능성(300)은 에칭 입력이 적용될 수 있는 보드 또는 캔버스를 사용자가 선택할 수 있게 한다. 예를 들어, 보드는 다양한 미디어 아이템들, 예컨대, 정적 이미지들, 비디오들 등을 포함할 수 있다. 게다가, 기능성(300)은 303에서, 사용자가 하나 이상의 전기 "브러시들"(예를 들어, 페인트 브러시, 마커, 이레이저, 레이저 등)을 선택할 수 있게 한다. 각각의 브러시 타입은 선택 시에 햅틱 라이브러리(도시되지 않음)로부터 검색될 수 있는 대응하는 햅틱 프로파일을 포함할 수 있다. 게다가, 보드는 선택된 브러시들과의 상호작용을 변화시키고 향상시키는 상이한 텍스처형 배경들(textured backgrounds)(예를 들어, 페이퍼, 캔버스, 블랙보드, 블러 등)을 포함할 수 있다. 도 6에 도시된 예에서, 사용자는 하나 이상의 선택된 브러시들 및 선택된 보드 또는 배경(616)을 사용하여 에칭 입력(611)을 발생시킬 수 있다.
도 3으로 돌아가면, 사용자는 304에서, 선택된 보드 상에 하나 이상의 에칭들 또는 드로잉들을 입력하고 하나 이상의 선택된 브러시들을 사용할 수 있다. 브러시들은 예를 들어 손가락들 또는 스타일러스를 사용하여 보드에 적용될 수 있다. 여기서, 에칭 입력은 추가 및/또는 축소 편집들(additive and/or reductive edits)을 선택된 보드에 적용할 수 있다. 게다가, 사용자는 에칭 입력의 플레이백을 임의로 렌더링할 수 있다. 다시 말하면, 사용자는 305에서, 에칭 입력을 미리보기할 수 있다. 에칭 입력의 초기 플레이백은 사용자에 의해 원래 입력되는 바와 같이(즉, 에칭 입력의 파라미터들을 변경하는 것 없이) 렌더링될 수 있다.
다음에, 기능성(300)은 306에서, 사용자가 에칭 입력을 수정하는 하나 이상의 포스트 입력 옵션들을 선택할 수 있게 한다. 예를 들어, 사용자는 307에서, 속도, 압력, 방향, 강도, 반복, 브러시, 알고리즘 필터들 등 중 하나 이상을 변경하기 위해 선택할 수 있다. 수정된 에칭 입력은 308에서, 렌더링되거나 미리보기될 수 있다. 예를 들어, 예시적 브러시 알고리즘 필터는 햅틱 효과들 사이의 지속 및/또는 햅틱 효과들 자체의 길이 또는 지속을 단축함으로써 속도의 증가가 햅틱 효과들의 주파수(예를 들어, 피치)를 증가시키게 할 수 있다. 역으로, 속도를 감소시키는 것은 상술한 신호를 연장하고 및/또는 햅틱 효과들 사이의 지속을 증가시킬 수 있다.
309에서, 에칭 편집기는 원래의 및/또는 수정된 에칭 입력(집합적으로, "에칭 입력")을 저장하고, 에칭 입력을 원격 디바이스에 송신할 수 있다. 에칭 입력은 독립형 햅틱 파일로 저장될 수 있거나, 대안적으로, 이미지 또는 비디오 파일의 일부로 저장될 수 있다. 그 후, 에칭 입력은 다른 최종 사용자 디바이스들과 교환될 수 있거나, 대안적으로, 에칭 입력이 다른 최종 사용자 디바이스들에 의해 검출될 수 있도록 원격 서버와 교환될 수 있다. 어느 하나의 경우에, 다른 최종 사용자 디바이스들은 310에서, 에칭 입력을 검색하도록 구성될 수 있다. 예를 들어, 에칭 입력은 메시징 또는 비디오 공유 애플리케이션의 일부로 교환될 수 있다. 다른 최종 사용자 디바이스들은 311 및 312에서, 에칭 입력 및 대응하는 보드 또는 캔버스를 렌더링하고 검색할 수 있다. 게다가, 다른 사용자들은 에칭 입력을 추가하거나, 삭제하거나, 다른 방법으로 수정할 수 있다.
도 4는 본 발명의 예시적 실시예에 따른 3차원 가상 현실 공간들에서 햅틱 이용가능 드로잉 브러시를 사용하여 햅틱 효과들을 렌더링하는 기능성(400)의 흐름도를 예시한다. 도 4(및 도 5)의 실시예들은 가상 현실 공간을 달성하기 위해 하나 이상의 전자 디바이스들, 예컨대 가상 현실 안경 및/또는 3차원 브러시를 사용하여 구현될 수 있다. 예시적 3차원 브러시(821) 및 가상 현실 공간(820)은 도 8에 도시된다.
기능성(400) 내에서, 사용자는 401에서, 하나 이상의 브러시들(예를 들어, 페인트 브러시, 마커, 이레이저, 레이저 등으로 구성되는 3차원 브러시)을 선택한다. 선택된 브러시에 기초하여, 베이스 햅틱 효과 또는 햅틱 효과 프로파일은 402에서, 선택된 브러시들에 대해 결정될 수 있다. 상기 설명된 바와 같이, 각각의 브러시 타입은 선택 시에 햅틱 라이브러리(도시되지 않음)로부터 검색될 수 있는 대응하는 햅틱 프로파일을 포함할 수 있다.
다음에, 403에서, 기능성(400)은 입력 디바이스(예를 들어, 3차원 브러시 또는 스타일러스)에 기초하여, 선택된 브러시 입력의 하나 이상의 이동 특성들을 결정한다. 예를 들어, 기능성(400)은 선택된 브러시의 사용자에 대한 속도, 각도, 거리, 높이 등을 실시간으로 추적할 수 있다. 이동 특성들은 2차원들 또는 자유도들보다 더 크게 결정될 수 있다. 선택된 브러시의 이동 특성들에 기초하여, 기능성(400)은 404에서, 선택된 브러시의 햅틱 렌더링 특성들을 더 결정한다. 예를 들어, 베이스 햅틱 효과 또는 햅틱 효과 프로파일은 사용자로부터의 선택된 브러시의 속도, 가속도, 각도, 및 거리에 따라 변조될 수 있다.
게다가, 기능성(400)은 405에서, 브러시 스트로크들이 브러시들 사이에 오버랩되는지를 판단할 수 있다. 브러시 스트로크들 사이에 충돌들이 없으면, 에칭 입력들과 연관되는 햅틱 효과들은 406에서, 수정되지 않을 수 있다. 그러나, 브러시 스트로크들 사이에 충돌들이 있으면, 기능성(400)은 407에서, 충돌 특성들에 따라 햅틱 효과들을 변조하거나 다른 방법으로 수정할 수 있다. 예를 들어, 충돌 특성들은 충돌들의 수, 충돌 영역, 브러시 속도, 브러시 스트로크의 타입 등을 포함할 수 있다. 그 후, 408에서, 기능성(400)은 브러시 스트로크들이 접촉할 때 충돌 효과들을 수정하거나 트리거하는지를 결정한다. 유사하게, 409에서, 기능성(400)은 브러시 스트로크들이 오버랩될 때 부가 효과들을 수정하거나 트리거하는지를 결정한다.
도 5는 본 발명의 예시적 실시예에 따라 사용자가 준비된 에칭 입력과 상호작용하고 있을 때 햅틱 효과들을 렌더링하거나 플레이백하는 기능성(500)의 흐름도를 예시한다. 사용자는 송신된 메시지를 통해 에칭 입력을 수신할 수 있었다. 처음에, 기능성(500)은 501에서, 사용자가 에칭 입력과 접촉하고 있는지를 판단한다. 사용자가 에칭 입력과 접촉하고 있지 않으면, 502에서, 에칭 입력과 연관되는 햅틱 효과들은 렌더링되지 않는다. 그러나, 사용자가 에칭 입력과 접촉하고 있으면, 504에서, 에칭 입력과 연관되는 햅틱 효과들은 렌더링된다. 예를 들어, 햅틱 효과들은 베이스 햅틱 효과, 햅틱 효과 프로파일, 캡처 데이터 변조, 플레이백 속도, 및/또는 접촉 속도 포인트(point of contact velocity)에 기초하여 렌더링될 수 있다.
일부 예시적 실시예들에서, 기능성(500)은 에칭 입력 및 대응하는 햅틱 효과들이 실제의 또는 변경된 시간 스케일로 렌더링되고 있는지에 따라 변화될 수 있다. 다른 예시적 실시예들에서, 기능성(500)은 가상 현실 공간 내의 사용자의 손들(또는 컨트롤러들)의 위치에 따라 변화될 수 있다. 또 다른 예에서, 사용자는 사용자가 브러시 스트로크들을 걸음(또는 다른 제스처들 또는 모션들)에 따라 전체 신체 햅틱 슈트를 착용할 수 있다(예를 들어, 다리 상의 액추에이터는 다리가 브러시 스트로크를 통과하면 활성화될 것임). 또 다른 예시적 실시예들에서, 사용자가 브러시와 접촉하는 시간의 지속 또는 기간, 및 입력된 에칭과 접촉할 때의 사용자 손의 속도는 햅틱 출력을 결정할 수 있다. 예를 들어, 사용자는 드로잉된 때의 횟수로 효과들을 느끼기 위해 에칭 입력을 통해 그 또는 그녀의 손을 문지를 수 있다. 이러한 예에서, 햅틱 효과들은 사용자의 손이 에칭 입력을 통해 얼마나 빠르게 이동하고 있는지에 기초하여 수정될 수 있다. 다른 예에서, 사용자의 손은 3차원 형상들을 통과할 수 있어, 그것은 전적으로 새로운 효과들인 감각들을 야기한다.
도 6은 본 발명의 예시적 실시예에 따른 햅틱 이용가능 에칭 및 메시징 애플리케이션(예를 들어, 촉각적 채팅)에 대한 사용자 인터페이스를 예시한다.
도 6에 도시된 바와 같이, 제1 사용자(610)는 도 1의 표면(116)에 의해 구현되는 사용자 선택 보드(616) 상에서 에칭 입력(611)을 발생시킬 수 있다. 상기 설명된 바와 같이, 보드(616)는 정적 이미지들, 비디오들 등을 포함하는 다양한 미디어 아이템들을 포함할 수 있다. 게다가, 제1 사용자(616)는 하나 이상의 선택된 브러시들(예를 들어, 페인트 브러시, 마커, 이레이저, 레이저 등) 및 입력 디바이스(예를 들어, 스타일러스, 손가락 등)를 사용하여 에칭 입력(611)을 발생시킬 수 있다. 브러시 타입들 각각은 선택 시에 햅틱 라이브러리(도시되지 않음)로부터 검색될 수 있는 대응하는 햅틱 프로파일을 포함할 수 있다. 유사하게, 제2 사용자(620)는 또한 사용자 선택 보드(626) 상에서 에칭 입력을 발생시킬 수 있다. 대안적으로, 제2 사용자(620)는 제1 사용자(610)로부터 수신된 후에 보드(616) 상에서 에칭 입력을 더 수정할 수 있다.
에칭 입력(611)의 엔트리 시에, 에칭 입력(611), 대응하는 햅틱 효과들, 및 기본 보드(616)의 합성(예를 들어, 이미지 또는 비디오 파일)은 제1 사용자(610)와 제2 사용자(620) 사이에서 교환될 수 있다. 대안적으로, 에칭 입력(611), 대응하는 햅틱 효과들, 및 기본 보드(616)의 합성은 다른 최종 사용자들에 의한 검색을 위해 서버에 업로딩될 수 있다. 상기 예들이 2명의 사용자 사이의 에칭 경험을 도시하지만, 본 발명의 실시예들은 그렇게 제한되지 않는다. 실시예들은 다수의 사용자들, 다수의 액추에이터들, 및 다수의 입력 및 플레이백 디바이스들을 고려한다. 멀티 터치 제스처 입력들은 텍스처, 강도, 비주얼들의 변경들을 허용할 수 있고, 및/또는 다수의 브러시들은 상이한 손가락들/입력 주변 장치들에 매핑될 수 있다.
에칭 입력들은 사용자의 손 또는 손가락에 의해 입력될 수 있다. 대안적으로, 스타일러스 또는 다른 입력 메커니즘이 사용될 수 있다. 예를 들어, 디바이스의 물리적 이동, 예컨대 디바이스를 셰이킹하는 것 및/또는 디바이스에 의해 디자인(예를 들어, 하트, 정사각형, 또는 다른 형상들)을 드로잉하는 것은 에칭 입력을 발생시키기 위해 사용될 수 있다. 다른 예에서, 에칭 브러시들 또는 도구들은 에칭 또는 드로잉을 입력하기 위해 사용될 수 있다. 일부 사례들에서, 선택된 브러시들은 선택된 보드(616, 626)의 전부 또는 일부를 소거하거나 다른 방법으로 차단하도록 구성될 수 있다.
에칭이 입력됨에 따라, 프로세서(예를 들어, 도 1의 프로세서(102))는 입력된 에칭의 다양한 파라미터들에 따라 시각 및/또는 햅틱 효과들을 렌더링하도록 구성된다. 일부 실시예들에서, 캡처된 에칭 입력의 속도, 압력, 및/또는 다른 파라미터들이 사용될 수 있다. 에칭의 완료 시에, 플레이백 미리보기가 사용자에게 제공될 수 있다. 게다가, 포스트 생성 파라미터들은 수정될 수 있으며, 예컨대 반전하고, 반복하고, 브러시 변경을 포스트 입력하고, 속도를 변경하고, 압력을 변경하는 옵션들, 및 다른 유사한 옵션들은 편집 모드 내에 제공될 수 있다. 여기서, 사용자는 부가 포스트 입력 필터들에 의해 완료된 입력 에칭들을 미리보기하는 능력, 생성자에 의해 의도되는 바와 같이 완료된 에칭을 송신하고 수신하는 능력, 입력된 에칭을 일시적으로 지정하는 능력 및 제1 사용자(610) 또는 제2 사용자(620)가 동일한 또는 상이한 필터들을 추가하고, 수정하고, 제거하고, 재적용할 수 있도록 입력된 에칭을 저장하는 능력을 갖는다.
캡처된 입력 에칭은 플레이백을 렌더링하기 전에 수정될 수 있다. 예를 들어, 캡처된 에칭은 원래의 입력과 동일한 속도로 렌더링될 수 있다. 다른 예에서, 캡처된 에칭의 플레이백은 사용자 선호도들에 따라 변화될 수 있다. 여기서, 사용자는 입력된 속도의 상대성을 유지하거나 무시하는 옵션을 선택할 수 있다. 따라서, 에칭들은 입력에 관계없이 동일한 속도로 항상 렌더링되는 것은 아니다. 또 다른 예에서, 터치 이용가능 디바이스들, 예컨대 압력 감지 멀티 터치 입력 디바이스들은 캡처된 에칭을 가변 압력 값들로 추적하고 렌더링하기 위해 사용될 수 있다.
다른 예시적 실시예, 예컨대, 메시징 애플리케이션(601)에서, 제1 사용자(610)는 보드(616)를 선택하고, 하나 이상의 브러시들을 더 선택한다. 제1 사용자(610)는 원하는 에칭(예를 들어, 미소 짓는 얼굴, 하트, 틱-택-토(tic-tac-toe) 엔트리 등)을 드로잉하기 위해 터치 제스처들을 사용함으로써 시작할 수 있다. 선택된 브러시의 햅틱 효과들 및 다른 시각 효과들은 에칭의 브러시 스타일, 배경, 속도 등에 따라 동적으로 결정될 수 있다. 입력된 에칭의 완료 시에, 제1 사용자(610)는 "송신" 기능을 선택하고 입력된 에칭은 입력과 동일한 속도로(그리고 동일한 비주얼들/햅틱들에 의해), 제1 사용자(610) 및 제2 사용자(620) 둘 다를 위해 채팅 윈도우들(612, 622) 내에 저장되고 송신된다. 일부 사례들에서, 제1 사용자(610)는 또한 입력된 에칭을 제2 사용자(620)에게 송신하기 전에 입력된 에칭의 플레이백 속도 및/또는 다른 특성들을 변경할 수 있다.
또 다른 예시적 실시예에서, 메시징 애플리케이션(601)은 소셜 미디어 애플리케이션(예를 들어, 페이스북 또는 인스타그램)의 일부로 사용될 수 있다. 이러한 예에서, 사용자는 다른 사용자의 이미지들 또는 비디오들을 볼 수 있다. 게다가, 사용자는 코멘트보다 더 많이 수행하기를 원할 수 있고, 이미지 또는 비디오 상에 에칭을 입력하는 것을 선택할 수 있다. 고유 시각 및 햅틱 스타일의 많은 브러시들을 선택할 수 있으면, 사용자는 선택된 이미지 또는 비디오의 하나 이상의 부분들을 서클링할 수 있다. 대안적으로, 사용자는 선택된 이미지 또는 비디오의 일 부분을 지시하는 화살표를 드로잉할 수 있다. 제스처 입력의 끝에서, 사용자는 플레이백을 속도 향상시키는 옵션을 (예를 들어, 슬라이더 사용자 입력 요소에 의해) 선택할 수 있다. 그 후, 입력된 에칭은 원하는 플레이백 속도에 따라 렌더링될 수 있다. 플레이백이 진행됨에 따라, 이미지 또는 비디오를 보는 임의의 사용자들은 입력된 에칭의 속도를 더 수정할 수 있다. 사용자는 선택을 형성하기 위해 그것 주위에 서클링함으로써 입력된 에칭(예를 들어, 화살표)의 일부를 더 선택하고, 에칭 또는 애니메이션의 일부를 여러 번 반복하는 옵션을 선택할 수 있다. 이러한 예에서, 플레이백 시에, 입력된 에칭은 렌더링되지만, 화살표는 한 번 대신에 원하는 수의 횟수로 렌더링될 수 있다.
도 7은 본 발명의 예시적 실시예들에 따른 복수의 에칭들(701.1 내지 701.8)을 예시한다. 무수한 에칭 입력들이 실현가능하지만, 예시적 에칭들(701.1 내지 701.8)은 사랑, 지각, 게임, 선물, 놀라움, 인사, 초대, 및 직유(similes) 각각을 시각적으로 그리고 햅틱적으로 렌더링한다.
도 8은 본 발명의 예시적 실시예에 따른 가상 현실 공간(820) 내에 배치되는 3차원 브러시(821)를 예시한다. 3차원 브러시(821)는 가상 현실 또는 틸트 브러시를 포함할 수 있다. 도 8의 예시적 렌더링에서, 현실 공간(810) 및 대응하는 가상 현실 공간(820)이 도시된다. 유사하게, 3차원 브러시(811)는 현실 공간(810) 내에 도시되고, 대응하는 3차원 브러시(821)는 가상 현실 공간(820) 내에 도시된다.
상기 설명된 바와 같이, 본원에 설명되는 실시예들은 에칭 입력을 동적으로 렌더링하는 시스템들 및 방법들을 제공한다. 에칭 입력들은 대화형 미디어 메시지들의 교환을 향상시키기 위해 적용될 수 있다. 게다가, 캡처된 에칭 입력의 속도, 압력, 및/또는 다른 파라미터들은 사용자의 햅틱 경험을 더 향상시키기 위해 플레이백을 렌더링하기 전에 수정될 수 있다.
본 기술분야의 통상의 기술자는 상기 논의된 바와 같은 본 발명이 상이한 순서로 단계들에 의해 실시되고, 개시되는 것들과 상이한 구성들 내의 요소들에 의해 실시될 수 있는 것을 용이하게 이해할 것이다. 따라서, 본 발명이 이러한 바람직한 실시예들에 기초하여 설명되었지만, 특정 수정들, 변형들, 및 대안 구성들은 본 발명의 사상 및 범위를 유지하는 동안 분명해진다는 점이 본 기술분야의 통상의 기술자들에게 명백할 것이다. 따라서, 본 발명의 경계 및 한계를 결정하기 위해, 첨부된 청구항들이 참조되어야 한다.

Claims (20)

  1. 시스템으로서,
    프로세서;
    센서를 포함하고 사용자 입력을 검출하도록 구성되는 터치 표면; 및
    비일시적 메모리(non-transitory memory)
    를 포함하며, 상기 비일시적 메모리는,
    이미지 또는 비디오 파일에 적용되는 에칭 입력(etching input)을 캡처하는 명령어;
    상기 에칭 입력에 대응하는 햅틱 효과를 결정하는 명령어 - 상기 햅틱 효과는 에칭 입력의 타입에 의존함 -; 및
    상기 에칭 입력 및 상기 햅틱 효과를 포함하는 수정된 이미지 또는 수정된 비디오 파일을 발생시키는 명령어
    를 포함하는 시스템.
  2. 제1항에 있어서, 상기 수정된 이미지 또는 수정된 이미지를 미리보기(preview)하는 명령어들을 더 포함하는 시스템.
  3. 제2항에 있어서, 상기 에칭 입력의 하나 이상의 파라미터들을 수정하는 명령어들을 더 포함하는 시스템.
  4. 제3항에 있어서, 상기 파라미터들은 속도, 압력, 및 방향 중 적어도 하나를 포함하는 시스템.
  5. 제1항에 있어서, 상기 에칭 입력은 가상 현실 공간에서 결정되는 시스템.
  6. 제1항에 있어서, 상기 터치 표면은 압력 감지 표면인 시스템.
  7. 제1항에 있어서, 상기 수정된 이미지 또는 수정된 이미지를 송신하는 명령어들을 더 포함하는 시스템.
  8. 이미지 또는 비디오 파일에 적용되는 에칭 입력을 캡처하는 단계;
    상기 에칭 입력에 대응하는 햅틱 효과를 결정하는 단계 - 상기 햅틱 효과는 에칭 입력의 타입에 의존함; 및
    상기 에칭 입력 및 상기 햅틱 효과를 포함하는 수정된 이미지 또는 수정된 비디오 파일을 발생시키는 단계
    를 포함하는 방법.
  9. 제8항에 있어서, 상기 수정된 이미지 또는 수정된 이미지를 미리보기하는 단계를 더 포함하는 방법.
  10. 제9항에 있어서, 상기 에칭 입력의 하나 이상의 파라미터들을 수정하는 단계를 더 포함하는 방법.
  11. 제10항에 있어서, 상기 파라미터들은 속도, 압력, 및 방향 중 적어도 하나를 포함하는 방법.
  12. 제8항에 있어서, 상기 에칭 입력은 가상 현실 공간에서 결정되는 방법.
  13. 제8항에 있어서, 상기 터치 표면은 압력 감지 표면인 방법.
  14. 제8항에 있어서, 상기 수정된 이미지 또는 수정된 이미지를 송신하는 단계를 더 포함하는 방법.
  15. 프로세서에 의해 실행되도록 구성되는 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은,
    이미지 또는 비디오 파일에 적용되는 에칭 입력을 캡처하는 명령어;
    상기 에칭 입력에 대응하는 햅틱 효과를 결정하는 명령어 - 상기 햅틱 효과는 에칭 입력의 타입에 의존함 -; 및
    상기 에칭 입력 및 상기 햅틱 효과를 포함하는 수정된 이미지 또는 수정된 비디오 파일을 발생시키는 명령어
    를 포함하는 비일시적 컴퓨터 판독가능 저장 매체.
  16. 제15항에 있어서, 상기 수정된 이미지 또는 수정된 이미지를 미리보기하는 명령어들을 더 포함하는 비일시적 컴퓨터 판독가능 저장 매체.
  17. 제16항에 있어서, 상기 에칭 입력의 하나 이상의 파라미터들을 수정하는 명령어들을 더 포함하는 비일시적 컴퓨터 판독가능 저장 매체.
  18. 제17항에 있어서, 상기 파라미터들은 속도, 압력, 및 방향 중 적어도 하나를 포함하는 비일시적 컴퓨터 판독가능 저장 매체.
  19. 제15항에 있어서, 상기 에칭 입력은 가상 현실 공간에서 결정되는 비일시적 컴퓨터 판독가능 저장 매체.
  20. 제15항에 있어서, 상기 터치 표면은 압력 감지 표면인 비일시적 컴퓨터 판독가능 저장 매체.
KR1020177025805A 2015-04-21 2016-04-20 에칭 입력의 동적 렌더링 KR20170139508A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562150499P 2015-04-21 2015-04-21
US62/150,499 2015-04-21
PCT/US2016/028438 WO2016172209A1 (en) 2015-04-21 2016-04-20 Dynamic rendering of etching input

Publications (1)

Publication Number Publication Date
KR20170139508A true KR20170139508A (ko) 2017-12-19

Family

ID=57143409

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177025805A KR20170139508A (ko) 2015-04-21 2016-04-20 에칭 입력의 동적 렌더링

Country Status (6)

Country Link
US (2) US9952669B2 (ko)
EP (1) EP3286621A4 (ko)
JP (1) JP2018513455A (ko)
KR (1) KR20170139508A (ko)
CN (1) CN107615213A (ko)
WO (1) WO2016172209A1 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8487759B2 (en) 2009-09-30 2013-07-16 Apple Inc. Self adapting haptic device
US10120446B2 (en) 2010-11-19 2018-11-06 Apple Inc. Haptic input device
US10126817B2 (en) 2013-09-29 2018-11-13 Apple Inc. Devices and methods for creating haptic effects
WO2015047372A1 (en) 2013-09-30 2015-04-02 Pearl Capital Developments Llc Magnetic actuators for haptic response
US9317118B2 (en) 2013-10-22 2016-04-19 Apple Inc. Touch surface for simulating materials
CN105814510B (zh) 2013-12-10 2019-06-07 苹果公司 具有触觉响应的带体附接机构
CN106489116B (zh) 2014-04-21 2019-08-16 苹果公司 用于电子设备的多触摸输入设备的力的分配
EP3195088A2 (en) 2014-09-02 2017-07-26 Apple Inc. Haptic notifications
US10353467B2 (en) 2015-03-06 2019-07-16 Apple Inc. Calibration of haptic devices
AU2016100399B4 (en) 2015-04-17 2017-02-02 Apple Inc. Contracting and elongating materials for providing input and output for an electronic device
US10566888B2 (en) 2015-09-08 2020-02-18 Apple Inc. Linear actuators for use in electronic devices
US10039080B2 (en) 2016-03-04 2018-07-31 Apple Inc. Situationally-aware alerts
US10268272B2 (en) 2016-03-31 2019-04-23 Apple Inc. Dampening mechanical modes of a haptic actuator using a delay
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
US10599223B1 (en) 2018-09-28 2020-03-24 Apple Inc. Button providing force sensing and/or haptic output
US10691211B2 (en) 2018-09-28 2020-06-23 Apple Inc. Button providing force sensing and/or haptic output
US11380470B2 (en) 2019-09-24 2022-07-05 Apple Inc. Methods to control force in reluctance actuators based on flux related parameters
WO2022147449A1 (en) 2020-12-31 2022-07-07 Snap Inc. Electronic communication interface with haptic feedback response
WO2022147151A1 (en) 2020-12-31 2022-07-07 Snap Inc. Real-time video communication interface with haptic feedback
EP4272063A1 (en) 2020-12-31 2023-11-08 Snap Inc. Media content items with haptic feedback augmentations
US11977683B2 (en) 2021-03-12 2024-05-07 Apple Inc. Modular systems configured to provide localized haptic feedback using inertial actuators
US11809631B2 (en) 2021-09-21 2023-11-07 Apple Inc. Reluctance haptic engine for an electronic device

Family Cites Families (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6822635B2 (en) * 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
US9948885B2 (en) 2003-12-12 2018-04-17 Kurzweil Technologies, Inc. Virtual encounters
US7301528B2 (en) * 2004-03-23 2007-11-27 Fujitsu Limited Distinguishing tilt and translation motion components in handheld devices
US7653883B2 (en) * 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
US20070043725A1 (en) * 2005-08-16 2007-02-22 Steve Hotelling Feedback responsive input arrangements
US20070146314A1 (en) * 2005-12-27 2007-06-28 Motorola, Inc. Method and apparatus for a user interface
US9370704B2 (en) 2006-08-21 2016-06-21 Pillar Vision, Inc. Trajectory detection and feedback system for tennis
WO2008078523A1 (ja) * 2006-12-25 2008-07-03 Konica Minolta Holdings, Inc. 手書き電子入力システム
KR100860547B1 (ko) 2007-03-02 2008-09-26 광주과학기술원 촉감 정보 저작 방법과 장치, 및 컴퓨터로 판독가능한 기록매체
US8621348B2 (en) 2007-05-25 2013-12-31 Immersion Corporation Customizing haptic effects on an end user device
US9857872B2 (en) * 2007-12-31 2018-01-02 Apple Inc. Multi-touch display screen with localized tactile feedback
GB2468811B (en) 2008-01-17 2012-12-19 Articulate Technologies Inc Methods and devices for intraoral tactile feedback
BRPI0804355A2 (pt) * 2008-03-10 2009-11-03 Lg Electronics Inc terminal e método de controle do mesmo
US8952888B2 (en) 2008-05-09 2015-02-10 Koninklijke Philips N.V. Method and system for conveying an emotion
CN102099766B (zh) 2008-07-15 2015-01-14 意美森公司 用于在无源和有源模式之间变换触觉反馈功能的系统和方法
CA2741580C (en) * 2008-11-26 2016-10-18 Research In Motion Limited Touch-sensitive display method and apparatus
KR102086980B1 (ko) * 2009-03-12 2020-03-09 임머숀 코퍼레이션 그래픽 사용자 인터페이스 위젯에서 텍스처를 사용하는 시스템 및 방법
US9696803B2 (en) * 2009-03-12 2017-07-04 Immersion Corporation Systems and methods for friction displays and additional haptic effects
US9330476B2 (en) * 2009-05-21 2016-05-03 Adobe Systems Incorporated Generating a modified image with additional content provided for a region thereof
US20130069954A1 (en) * 2009-05-29 2013-03-21 David Tristram Method of Transforming Time-Based Drawings and Apparatus for Performing the Same
US8294557B1 (en) 2009-06-09 2012-10-23 University Of Ottawa Synchronous interpersonal haptic communication system
US9370459B2 (en) 2009-06-19 2016-06-21 Andrew Mahoney System and method for alerting visually impaired users of nearby objects
KR101755051B1 (ko) * 2009-07-22 2017-07-06 임머숀 코퍼레이션 플랫폼에 걸쳐 햅틱 피드백을 갖는 상호작용 터치 스크린 게임 메타포
US8633916B2 (en) * 2009-12-10 2014-01-21 Apple, Inc. Touch pad with force sensors and actuator feedback
US9880621B2 (en) * 2010-04-08 2018-01-30 Disney Enterprises, Inc. Generating virtual stimulation devices and illusory sensations using tactile display technology
WO2011127379A2 (en) 2010-04-09 2011-10-13 University Of Florida Research Foundation Inc. Interactive mixed reality system and uses thereof
CN102906667B (zh) * 2010-04-23 2016-11-23 意美森公司 用于提供触觉效果的系统和方法
WO2012028884A1 (en) * 2010-09-02 2012-03-08 Elliptic Laboratories As Motion feedback
US8352643B2 (en) * 2010-09-30 2013-01-08 Immersion Corporation Haptically enhanced interactivity with interactive content
US10120446B2 (en) 2010-11-19 2018-11-06 Apple Inc. Haptic input device
US8674961B2 (en) 2011-01-31 2014-03-18 National Semiconductor Corporation Haptic interface for touch screen in mobile device or other device
US8954115B2 (en) * 2011-04-28 2015-02-10 Fujitsu Limited Method and apparatus for informing a user through haptic signals
US9462262B1 (en) 2011-08-29 2016-10-04 Amazon Technologies, Inc. Augmented reality environment with environmental condition control
US9746945B2 (en) 2011-12-19 2017-08-29 Qualcomm Incorporated Integrating sensation functionalities into a mobile device using a haptic sleeve
WO2013114792A1 (ja) 2012-01-31 2013-08-08 パナソニック株式会社 触感呈示装置および触感呈示方法
US8493354B1 (en) * 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices
US8711118B2 (en) * 2012-02-15 2014-04-29 Immersion Corporation Interactivity model for shared feedback on mobile devices
US9582165B2 (en) * 2012-05-09 2017-02-28 Apple Inc. Context-specific user interfaces
US10852093B2 (en) 2012-05-22 2020-12-01 Haptech, Inc. Methods and apparatuses for haptic systems
EP2856282A4 (en) * 2012-05-31 2015-12-02 Nokia Technologies Oy DISPLAY APPARATUS
US9196134B2 (en) * 2012-10-31 2015-11-24 Immersion Corporation Method and apparatus for simulating surface features on a user interface with haptic effects
US9330544B2 (en) * 2012-11-20 2016-05-03 Immersion Corporation System and method for simulated physical interactions with haptic effects
FR2999741B1 (fr) 2012-12-17 2015-02-06 Centre Nat Rech Scient Systeme haptique pour faire interagir sans contact au moins une partie du corps d'un utilisateur avec un environnement virtuel
KR102035305B1 (ko) * 2013-01-15 2019-11-18 삼성전자주식회사 휴대 단말에서 햅틱 효과를 제공하는 방법 및 기계로 읽을 수 있는 저장 매체 및 휴대 단말
US9949890B2 (en) * 2013-03-15 2018-04-24 Sambhu Choudhury Garment with remote controlled vibration array
US9367136B2 (en) 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
US9908048B2 (en) 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
KR102191965B1 (ko) * 2013-07-01 2020-12-16 삼성전자주식회사 이동 단말기 및 그 동작 방법
US9811854B2 (en) 2013-07-02 2017-11-07 John A. Lucido 3-D immersion technology in a virtual store
DK3014394T3 (da) 2013-07-05 2022-07-11 Jacob A Rubin Helkrops-menneske-computer-grænseflade
US9401079B2 (en) * 2013-09-06 2016-07-26 Immersion Corporation Method and apparatus of converting control tracks for providing haptic feedback
US9630105B2 (en) 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
US9349378B2 (en) * 2013-11-19 2016-05-24 Dolby Laboratories Licensing Corporation Haptic signal synthesis and transport in a bit stream
US9639158B2 (en) * 2013-11-26 2017-05-02 Immersion Corporation Systems and methods for generating friction and vibrotactile effects
CN103714565A (zh) * 2013-12-31 2014-04-09 广州市久邦数码科技有限公司 一种搭载音频的动态图像生成方法及系统
EP3095023A1 (en) 2014-01-15 2016-11-23 Sony Corporation Haptic notification on wearables
EP2946266B1 (en) * 2014-03-21 2023-06-21 Samsung Electronics Co., Ltd. Method and wearable device for providing a virtual input interface
US9946348B2 (en) * 2014-03-21 2018-04-17 Immersion Corporation Automatic tuning of haptic effects
US9551873B2 (en) 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
EP3176676B1 (en) 2014-07-28 2020-01-08 CK Materials Lab Co., Ltd. Haptic information providing module
US20160042172A1 (en) * 2014-08-06 2016-02-11 Samsung Electronics Co., Ltd. Method and apparatus for unlocking devices
US9645646B2 (en) 2014-09-04 2017-05-09 Intel Corporation Three dimensional contextual feedback wristband device
US9799177B2 (en) 2014-09-23 2017-10-24 Intel Corporation Apparatus and methods for haptic covert communication
US9922518B2 (en) 2014-12-11 2018-03-20 Elwha Llc Notification of incoming projectiles
US9870718B2 (en) 2014-12-11 2018-01-16 Toyota Motor Engineering & Manufacturing North America, Inc. Imaging devices including spacing members and imaging devices including tactile feedback devices
US10166466B2 (en) 2014-12-11 2019-01-01 Elwha Llc Feedback for enhanced situational awareness
US20160170508A1 (en) 2014-12-11 2016-06-16 Toyota Motor Engineering & Manufacturing North America, Inc. Tactile display devices
US9919208B2 (en) * 2014-12-11 2018-03-20 Immersion Corporation Video gameplay haptics
EP3037918A1 (en) * 2014-12-23 2016-06-29 Thomson Licensing System and method for localizing haptic effects on a body
US10073516B2 (en) 2014-12-29 2018-09-11 Sony Interactive Entertainment Inc. Methods and systems for user interaction within virtual reality scene using head mounted display
US9746921B2 (en) 2014-12-31 2017-08-29 Sony Interactive Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
US9843744B2 (en) 2015-01-13 2017-12-12 Disney Enterprises, Inc. Audience interaction projection system
US10322203B2 (en) 2015-06-26 2019-06-18 Intel Corporation Air flow generation for scent output
US9851799B2 (en) 2015-09-25 2017-12-26 Oculus Vr, Llc Haptic surface with damping apparatus
US20170103574A1 (en) 2015-10-13 2017-04-13 Google Inc. System and method for providing continuity between real world movement and movement in a virtual/augmented reality experience
US20170131775A1 (en) 2015-11-10 2017-05-11 Castar, Inc. System and method of haptic feedback by referral of sensation
US10055948B2 (en) 2015-11-30 2018-08-21 Nike, Inc. Apparel with ultrasonic position sensing and haptic feedback for activities
US10310804B2 (en) 2015-12-11 2019-06-04 Facebook Technologies, Llc Modifying haptic feedback provided to a user to account for changes in user perception of haptic feedback
US10324530B2 (en) 2015-12-14 2019-06-18 Facebook Technologies, Llc Haptic devices that simulate rigidity of virtual objects
US10096163B2 (en) 2015-12-22 2018-10-09 Intel Corporation Haptic augmented reality to reduce noxious stimuli
US10065124B2 (en) 2016-01-15 2018-09-04 Disney Enterprises, Inc. Interacting with a remote participant through control of the voice of a toy device
US9846971B2 (en) 2016-01-19 2017-12-19 Disney Enterprises, Inc. Systems and methods for augmenting an appearance of a hilt to simulate a bladed weapon
US11351472B2 (en) 2016-01-19 2022-06-07 Disney Enterprises, Inc. Systems and methods for using a gyroscope to change the resistance of moving a virtual weapon
TWI688879B (zh) 2016-01-22 2020-03-21 宏達國際電子股份有限公司 虛擬實境環境中與真實世界互動的方法、系統與記錄媒體
US9933851B2 (en) 2016-02-22 2018-04-03 Disney Enterprises, Inc. Systems and methods for interacting with virtual objects using sensory feedback
US10555153B2 (en) 2016-03-01 2020-02-04 Disney Enterprises, Inc. Systems and methods for making non-smart objects smart for internet of things
US20170352185A1 (en) 2016-06-02 2017-12-07 Dennis Rommel BONILLA ACEVEDO System and method for facilitating a vehicle-related virtual reality and/or augmented reality presentation
US10155159B2 (en) 2016-08-18 2018-12-18 Activision Publishing, Inc. Tactile feedback systems and methods for augmented reality and virtual reality systems
US20180053351A1 (en) 2016-08-19 2018-02-22 Intel Corporation Augmented reality experience enhancement method and apparatus
US10779583B2 (en) 2016-09-20 2020-09-22 Facebook Technologies, Llc Actuated tendon pairs in a virtual reality device
US10372213B2 (en) 2016-09-20 2019-08-06 Facebook Technologies, Llc Composite ribbon in a virtual reality device
US10300372B2 (en) 2016-09-30 2019-05-28 Disney Enterprises, Inc. Virtual blaster
US10281982B2 (en) 2016-10-17 2019-05-07 Facebook Technologies, Llc Inflatable actuators in virtual reality
US10088902B2 (en) 2016-11-01 2018-10-02 Oculus Vr, Llc Fiducial rings in virtual reality
US20170102771A1 (en) 2016-12-12 2017-04-13 Leibs Technology Limited Wearable ultrasonic haptic feedback system

Also Published As

Publication number Publication date
EP3286621A4 (en) 2018-12-12
US20180203513A1 (en) 2018-07-19
CN107615213A (zh) 2018-01-19
WO2016172209A1 (en) 2016-10-27
US9952669B2 (en) 2018-04-24
EP3286621A1 (en) 2018-02-28
JP2018513455A (ja) 2018-05-24
US10514761B2 (en) 2019-12-24
US20160313840A1 (en) 2016-10-27

Similar Documents

Publication Publication Date Title
US10514761B2 (en) Dynamic rendering of etching input
US10466791B2 (en) Interactivity model for shared feedback on mobile devices
US9639158B2 (en) Systems and methods for generating friction and vibrotactile effects
JP5833601B2 (ja) モバイルデバイス上での共有されたフィードバックのための双方向性モデル
US10474238B2 (en) Systems and methods for virtual affective touch
CN108431734B (zh) 用于非触摸式表面交互的触觉反馈
US20160246375A1 (en) Systems And Methods For User Interaction With A Curved Display
JP2018113025A (ja) 触覚によるコンプライアンス錯覚のためのシステム及び方法
EP3367216A1 (en) Systems and methods for virtual affective touch