KR20180029995A - 물리적 모델에 기초한 동작 인식 - Google Patents

물리적 모델에 기초한 동작 인식 Download PDF

Info

Publication number
KR20180029995A
KR20180029995A KR1020180028078A KR20180028078A KR20180029995A KR 20180029995 A KR20180029995 A KR 20180029995A KR 1020180028078 A KR1020180028078 A KR 1020180028078A KR 20180028078 A KR20180028078 A KR 20180028078A KR 20180029995 A KR20180029995 A KR 20180029995A
Authority
KR
South Korea
Prior art keywords
simulated physical
physical entity
state
simulated
force
Prior art date
Application number
KR1020180028078A
Other languages
English (en)
Inventor
크리스토퍼 제이. 율리히
로버트 라크루아
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20180029995A publication Critical patent/KR20180029995A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1636—Sensing arrangement for detection of a tap gesture on the housing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

모바일 장치에서 동작을 인식하기 위한 동작 인식 시스템은 모바일 장치에서 감지된 동작에 반응한 센서 데이터를 수신한다. 센서 데이터는 힘(force) 또는 충격(impulse)을 포함한다. 힘 또는 충격은 시뮬레이션된 물리적 개체에 가해지고, 그 후 시뮬레이션된(simulated) 물리적 개체의 상태가 관측된다. 적어도 시뮬레이션된 물리적 개체의 관측된 상태에 기초한 애플리케이션(application)에 대한 입력이 제공된다.

Description

물리적 모델에 기초한 동작 인식{PHYSICAL MODEL BASED GESTURE RECOGNITION}
일 구현예는 일반적으로 모바일 장치에 대한 것이고, 특히, 모바일 장치에 대한 동작 인식에 대한 것이다.
컴퓨터 시스템 및 기타 장치에 대한 동작 인식은, 일반적으로, 수학적 알고리즘을 통하여 인간의 동작을 해석하는 과정을 수반한다. 동작은 어떤 신체 동작 또는 상태뿐 아니라 얼굴 또는 손으로부터 흔히 비롯될 수 있다. 수화(sign language)를 해석하기 위하여 카메라 및 컴퓨터 비전(computer vision) 알고리즘을 사용한 많은 시도가 이루어져 왔다. 그러나, 자세, 걸음걸이, 및 인간의 행동에 대한 식별 및 인식 또한 동작 인식 기술의 주제이다.
동작 인식의 일 유형은, 콘트롤러 또는 핸드헬드/모바일 장치를 잡거나 아니면 조작하는 사용자에게 의존한다. 이러한 콘트롤러는 신체가 확장되는 역할을 하게 되므로, 동작이 이루어질 때, 이들 움직임의 일부는 소프트웨어에 의하여 편리하게 캡처(capture)될 수 있다. 마우스의 움직임이 사람의 손에 의하여 그려진 기호와 연관되어 있는, 마우스 동작은 그러한 일 예이다. 다른 예로서, 동작을 표현하기 위하여 시간이 경과함에 따른 가속도 변화를 학습할 수 있는, 닌텐도사(Nintendo Corp.)의 위 리모트(Wii Remote)가 있다. 일반적인 이러한 방법들은 동작을 인식하기 위하여 통계 분석 또는 가속도 센서(accelerometer)의 신호 처리를 수행한다. 그러나, 문제점은 통계 분석은 일반적으로, 비디오 골프 게임에서 상호 작용하기 위해 콘트롤러를 사용하여 골프 채를 스윙하는 때의 움직임과 같은, 단일 유형(single type)의 움직임에 특화되어 있다는 것이다.
본 발명의 목적은 상기의 문제점을 해결하기 위하여, 물리적 모델에 기초한 동작 인식 시스템을 제공하는 것이다.
일 구현예는 모바일 장치에서 동작을 인식하기 위한 동작 인식 시스템이다. 시스템은 모바일 장치에서 감지된 동작에 반응한 센서 데이터를 수신한다. 센서 데이터는 힘(force) 또는 충격(impulse)을 포함한다. 힘 또는 충격은 시뮬레이션된(simulated) 물리적 개체에 가해지고, 그 후 시뮬레이션된 물리적 개체의 상태가 관측된다. 적어도 시뮬레이션된 물리적 개체의 관측된 상태에 기초한 애플리케이션(application)에 대한 입력이 제공된다.
본 발명에 의하여, 복잡한 통계적 분석에 의존하지 않으며, 애플리케이션에 특별하게 맞추어지지 않은, 동작 인식을 위한 일반적인 프레임워크를 제공할 수 있다.
도 1은 본 발명의 일 구현예에 따른 모바일 장치의 투시도이다.
도 2는 본 발명의 일 구현예에 따른 동작 인식 시스템의 블록도이다.
도 3은 본 발명의 일 구현예에서 시뮬레이션된 예시적인 물리적 개체의 블록도이다.
도 4는 일 구현예에 따른 공의 시뮬레이션된 움직임을 도시한다.
도 5는 일 구현예에 따른, 예를 들면, 손 움직임/동작을 통해, 공간에서 움직이는 모바일 장치의 투시도이다.
도 6은 일 구현예에 따른 동작을 인식하기 위하여 시뮬레이션된 개체를 관측하는 유한상태머신(finite state machine) 또는 "관측부"의 블록도이다.
도 7은 일 구현예에 따른 두 임계값(threshold value)을 포함하는 용기 내의 시뮬레이션된 개체를 도시한다.
도 8은 애플리케이션(application)과 함께 동작을 인식할 때의 일 구현예에 따른 동작 인식 모듈의 기능에 대한 흐름도이다.
일 구현예는, 기능을 추가하고 애플리케이션에 대한 사용자 인터페이스를 제공하기 위하여 동작 인식을 포함하는 모바일 장치이다. 상기 장치는 시뮬레이션된 물리적 시스템 및 물리적 시스템 관측에 의하여 일어나는 상태 전이(state transition)를 수반하는 상태머신(state machine)을 포함한다. 각각의 상태는 인식된 동작에 반응할 수 있고, 인식된 동작에 기초하여 햅틱(haptic) 효과가 발생할 수 있다.
도 1은 본 발명의 일 구현예에 따른 모바일 장치(50)의 투시도이다. 모바일 장치(50)는, 도시한 바와 같이, 휴대폰(mobile telephone)이다. 그러나, 다른 구현예에서 장치(50)는, 개인 휴대 정보 단말기(portable digital assistant, PDA), 휴대용 미디어 플레이어, 휴대용 게임 장치 등을 포함하는, 임의의 유형의 핸드헬드 장치가 될 수 있다. 장치(50)는, 사용자가 장치(50)에서 실행되는 소프트웨어 애플리케이션과 상호작용할 수 있도록 하는 사용자 인터페이스(UI)(60)를 포함한다. 장치(50)는, 사용자가 손(55)을 사용하여 장치(50)를 조작하는 것과 같은 의미 있는 방법으로 장치(50) 및 UI(60)와 상호작용할 수 있도록 하는, 아래에 보다 상세하게 개시된, 동작 인식 시스템(도시되지 않음)을 더 포함한다.
도 2는 본 발명의 일 구현예에 따른 동작 인식 시스템(10)의 블록도이다. 시스템(10)은 도 1의 모바일 장치(50)의 일부이고, 그것은 동작 인식 기능을 제공한다. 단일 시스템으로 도시되어 있음에도 불구하고, 시스템(10)의 기능은 분산 시스템으로 구현될 수 있다. 시스템(10)은 정보 전달을 위한 버스(bus)(12) 또는 기타 통신 메커니즘, 및 정보 처리를 위한 버스(12)에 연결된 프로세서(22)를 포함한다. 프로세서(22)는 임의의 유형의 범용 또는 특정 목적의 프로세서가 될 수 있다. 시스템(10)은 프로세서(22)에 의하여 실행되는 명령어 및 정보를 저장하기 위한 메모리(14)를 더 포함한다. 메모리(14)는 RAM(random access memory), ROM(read only memory), 자기(magnetic) 또는 광학 디스크와 같은 정적 스토리지(static storage), 또는 임의의 기타 유형의 컴퓨터로 판독 가능한 매체를 포함할 수 있다.
컴퓨터로 판독 가능한 매체는, 프로세서(22)에 의하여 접근될 수 있고, 휘발성 및 비휘발성 매체와 탈착가능한 매체(removable media) 및 고정형 매체(non-removable media) 모두를 포함하는 임의의 사용 가능한 매체일 수 있다.
일 구현예에서, 메모리(14)는, 프로세서(22)에 의하여 실행되었을 때 기능을 제공하는 소프트웨어 모듈을 저장한다. 상기 모듈은, 시스템(10)뿐만 아니라, 일 구현예에서는 장치(50)의 나머지 부분까지에 대하여, 운영 체제 기능을 제공하는 운영 체제(15)를 포함한다. 상기 모듈은, 아래에 보다 상세히 개시된 바와 같이, 사용자 동작을 인식하는 동작 인식 모듈(16)을 더 포함한다. 시스템(10)은 햅틱 효과를 발생시키기 위한 애플리케이션, 및 모듈(16)과 상호작용하는 애플리케이션과 같은 추가 기능을 포함하기 위하여, 일반적으로 하나 이상의 추가 애플리케이션 모듈(18)을 포함하고, 인식된 동작은 상기 애플리케이션에 대한 입력으로 사용될 수 있다.
원격 소스(source)로부터 데이터를 수신 및/또는 전송하는 구현예에서, 시스템(10)은, 적외선, 라디오, 와이파이(Wi-Fi) 또는 셀룰러 네트워크 통신과 같은, 모바일무선 네트워크 통신을 제공하기 위하여, 네트워크 인터페이스 카드(network interface card)와 같은, 통신 장치(20)를 더 포함할 수 있다. 다른 구현예에서, 통신 장치(20)는, 이더넷(Ethernet) 연결 또는 모뎀과 같은, 유선 네트워크 연결을 제공한다.
프로세서(22)는, 버스(12)를 통하여, 그래픽 표현 또는 사용자 인터페이스를 사용자에게 표시하기 위한, 액정 디스플레이(Liquid Crystal Display, LCD)와 같은 디스플레이(24)에 추가적으로 연결되어 있다. 상기 디스플레이(24)는, 프로세서(22)로부터 신호를 수신하고 전송하도록 구성된, 터치 스크린과 같은 접촉 감지(touch-sensitive) 입력 장치일 수 있고, 멀티-터치(multi-touch) 터치 스크린일 수 있다.
시스템(10)은 하나 이상의 액츄에이터(26)를 더 포함한다. 프로세서(22)는 햅틱 효과와연관된 햅틱 신호를 액츄에이터(26)에 전송할 수 있고, 다음으로 그것은 햅틱 효과를 출력한다. 액츄에이터(26)는, 예를 들면, 전기 모터, 전자기적 액츄에이터(electro-magnetic actuator), 보이스 코일(voice coil), 선형 공진 액츄에이터(linear resonant actuator), 압전 액츄에이터(piezoelectric actuator), 형상 기억 합금, 전기적 능동 폴리머(electro-active polymer), 솔레노이드, 편심 회전 질량 모터(eccentric rotating mass motor, ERM) 또는 선형 공진 액츄에이터(linear resonant actuator, LRA)일 수 있다.
시스템(10)은 하나 이상의 센서(28)를 더 포함한다. 센서(28)은 가속도 센서, 자이로스코프(gyroscope), 위성 위치 확인 시스템(Global Positioning System, GPS) 센서, 접촉 감지 입력 장치(예컨대, 터치 스크린, 터치 패드), 텍스처 스타일러스(texture stylus), 이미징 센서(imaging sensor), 또는 기타 유형의 센서들을 포함할 수 있다. 센서(28)은 가속, 경사, 관성, 또는 위치 변화를 감지하도록 구성될 수 있다. 센서(28)은 또한 위치 센서, 회전 속도 센서, 광 센서, 압력 센서, 텍스처 센서(texture sensor), 카메라, 마이크로폰, 또는 기타 유형의 센서를 포함할 수 있다.
도 1의 모바일 장치(50)가 동작의 결과로서 사용자에 의하여 이동되면, 센서(28)은 이러한 이동을 감지할 것이고, 장치(50)의 이동에 적어도 일부 기초하여 센서 신호를 발생시킬 것이다. 상기 동작은 가속도 센서, 자이로스코프, 또는 기타 센서에 의하여 측정된 3차원 동작을 포함한다. 3차원 동작은 회전, 튕기기(flicking), 찌르기(jabbing), 또는 장치(50) 전체의 기타 이동을 포함할 수 있다.
일 구현예에서, 동작 인식 시스템(10)은 모바일 장치(50)의 물리적 움직임에 의하여 섭동된(perturbed) 물리적 개체를 시뮬레이션하고, 그 후 "관측부"는 동작을 식별(determine)하기 위하여 시뮬레이션된 물리적 개체의 상태를 추적한다. 식별된 동작은 관련된 소프트웨어 애플리케이션에 대한 입력으로 제공될 수 있고, 애플리케이션으로 하여금 동작에 반응하여 사용자에게 피드백을 제공하기 위한 햅틱 효과를 발생시키도록 할 수 있다. 물리적 시뮬레이션은 인식될 동작(들)의 유사체(analogue)일 수 있고, 1차원 세계에서 질량을 갖는 단일의 개체만큼 단순하거나, 또는 애플리케이션에 따라서 보다 복잡할 수 있다.
도 3은 본 발명의 일 구현예에서 시뮬레이션 된 예시적인 물리적 개체의 블록도이다. 본 예에서, 동작 인식 시스템(10)은, 벽 스위치와 같은, UI(60)에 그래픽으로 표시된 "스위치"가 업(up)/켜짐(on)인지 다운(down)/꺼짐(off)인지 판단하기 위하여 동작을 인식한다. 도 3에 도시된 구현예에서, 시뮬레이션된 물리적 개체는 튜브 또는 용기(106)에 들어있는 공(102)이다. 공(102)은, 마치 공(102)이 슬라이드에 들어있는 것처럼, 화살표(104)에 의하여 표시되는 상하 움직임에 제한된다. 공(102)은 x축에 대한 그것의 위치(x), 및 그것의 속도(v), 즉 (x,v)에 의하여 임의의 시점에 특징지어질 수 있다.
도 4는 일 구현예에 따른 공(102)의 시뮬레이션된 움직임을 도시한다. 아무런 힘이 가해지지 않을 때, 공(102)은 선(105)에 의하여 표시되는 용기(106)의 중앙에 남아있다. 포텐셜 함수 U(x)의 공간 미분(spatial derivative)에 의하여 표현되는 것과 같은, 일정한 배경 힘(background force)이 공(102)에 가해진다. 도 4에 도시된 포텐셜에서, 용기(106)의 중앙에서의 순수(net) 배경 힘은 0이다. 시뮬레이션된 물리적 시스템에서, 아래쪽 방향으로 가해진 섭동 힘(perturbation force)은 공(102)가, 포텐셜 U(x)의 기울기를 따라서, 용기(106)의 바닥을 향해 미끄러지게 한다. 마찬가지로, 힘이 위쪽 방향으로 가해지는 때에는, 공(102)은 용기(106)의 맨 위를 향해 미끄러진다. 가해진 힘은, 각각의 x(x는 개체의 공간 위치)에서 개체(102)에 가해진 힘인, 포텐셜 함수 U(x)의 미분 d/dx로 특징지어질 수 있다. 힘은, 도 4의 예에서와 같이 선형이거나, 주기 매니폴드(periodic manifold)(예컨대, x가 각도인 경우), 임의의 기타 함수 U(x) 또는 파라미터화된 함수의 집합 U(x,p)(여기에서, p는 파라미터)일 수 있다. 배경 힘의 명세는 알고리즘이 캡쳐할 동작의 유형을 판단하는 데 중요하다.
도 5는 일 구현예에 따른, 예를 들면, 손 움직임/동작을 통해, 공간에서 움직이는 모바일 장치(50)의 투시도이다. 도 3 및 도 4의 예를 들면, 가속도 센서는 y축(축(110))을 따라 가속도를 측정하는데, 이것은 UI(60)에 표시된 스위치를 켜거나 끄는 튕기기(flick) 동작을 사용하는 것과 관련된 방향이기 때문이다. 가속도는 "ay"로 표시된다.
도 6은 일 구현예에 따른 동작을 인식하기 위하여 시뮬레이션된 개체(102)를 관측하는 유한상태머신(finite state machine)(600) 또는 "관측부"의 블록도이다. 일 구현예에서, 도 6의 유한상태머신(600)의 기능, 및 아래 도 8의 흐름도는, 메모리 또는 기타 컴퓨터로 판독 또는 감지 가능한 매체에 저장된 소프트웨어에 의하여 구현되고, 프로세서에 의하여 실행된다. 다른 구현예에서, 상기 기능은 하드웨어(예컨대, 주문형 반도체(application specific integrated circuit, ASIC), 프로그래머블 게이트 어레이(programmable gate array, PGA), 현장 프로그래머블 게이트 어레이(field programmable gate array, FPGA) 등의 사용을 통하여), 또는 하드웨어와 소프트웨어의 임의의 조합에 의하여 수행될 수 있다. 도 7은, 일 구현예에 따라 두 임계 x 값: xup 및 xdown을 포함하는, 용기(106) 안의 시뮬레이션된 개체(102)를 도시한다. 임계 x 값은, 시뮬레이션된 스위치가 켜짐인지 꺼짐인지를 판단하기 위하여, 상태머신(600)에 의하여 사용된다.
602 에서, 개체(102)는 위치 x=0 및 속도 v=0으로 초기화된다.
604에서, 개체(102)의 위치 x 및 속도 v가 관측된다. 일 구현예에서, 다음의 의사코드는 604의 관측 상태를 구현한다:
get sensor data ( )
convert sensors to forces ( )
apply forces to object ( )
time step physics ( )
if (collision), play haptic effect
observe physical state()
상기의 의사 코드는 센서(28)로부터 센서 데이터를 얻고, 그 후 센서 데이터를 시뮬레이션된 개체(102)의 힘 또는 충격에 매핑하고, 그것은 그 후 상기 개체의 위치 및 속도 궤적을 계산하기 위하여 수치 적분기(numerical integrator)(time step physics)를 사용하여 시뮬레이션된다. 만약, 힘에 기초하여, 개체(102)가 용기(106)의 말단과 충돌한다면, 일 구현예에서는 진동과 같은 햅틱 효과가 발생하여, 충돌을 표시할 것이다. 다음은 상기 의사 코드의 기능에 대한 몇몇의 예시적인 구현이다:
Convert sensors to forces(): 일 구현예에서, 가속도 값 ay는, 그 값을 일련의 증가하는 임계값들과 비교하여, 속도 임펄스(impulse)에 매핑된다. 특정한 임계값보다 높지만, 그 다음으로 높은 임계값보다는 낮은 가속도는 시뮬레이션된 개체(102)의 임펄스(속도의 불연속적인 변화)를 발생시킬 것이다.
Apply forces to object(): 일 구현예에서, 뉴턴(Newton)의 운동 법칙에 따른 합력에 힘이 부가된다:
Figure pat00001
추가적으로, 시뮬레이션된 개체에 일정한 힘을 가하는, 중력과 같은, 역장(force field)이 선택적으로 있을 수 있다. 이 역장은 센서와 관련이 있거나, 또는 시뮬레이션이 연관된 UI 요소와 어떠한 방식으로 관련된 개체에 포텐셜 장벽을 제공하도록 디자인되었을 수 있다.
Time step physics(): 일 구현예에서, 시뮬레이션된 개체의 위치 및 속도를 계산하기 위하여, 전진 오일러(forward Euler), 룽게-쿠타(Runge-Kutta) 또는 역방향 미분 공식(Backward Differentiation Formulas, BDF)과 같은 표준적인 수치 적분법이 사용될 수 있다.
Collisions: 개체의 충돌은, 시뮬레이션 용기(106) 크기에 대한 개체의 상대적인 위치를 관측함으로써 계산된다. 개체의 x값이 시뮬레이션된 용기의 말단에서부터 시뮬레이션된 원의 1 반지름보다 작은 때에, 상기 개체는 경계에서 충돌하였다고 한다. 이 충돌은, 개체가 시뮬레이션된 용기의 물리적 한계를 초과하여 이동하는 것을 방지하는 데 필요한 만큼의 추가적인 힘 또는 충격을 발생시킨다. 몇몇의 구현예에서, 경계에서의 충돌, 또는 기타 위치 또는 관심 속도에서의 충돌은, 사용자에게 모바일 장치 안에 물리적 개체가 들어있다는 인상을 주는, 햅틱 피드백을 발생시킬 수 있다.
추가적으로, 햅틱 피드백은, 목재 경사, 금속 경사, 또는 기타 재질에서의 공의 구름(rolling)을 시뮬레이션하는 것처럼, 개체가 이동함에 따라 발생될 수 있다. 시뮬레이션된 경사의 기하학적 특성은 포텐셜 함수 U(x)의 변형으로 생각될 수 있고, 상기 공이 포텐셜을 통하여 이동함에 따라 촉감(tactile) 피드백을 야기할 수 있다.
만약 604에서, 개체(102)의 위치가 xdown보다 작다면, 606에서 다운(down) 상태로 들어가고 스위치는 아래로 눌려진 것으로 여겨진다. "다운(down)" 이벤트는 도 2의 프로세서(22)로 전송되며, 그것은 애플리케이션에 대한 입력으로 제공되고 UI(60)로 하여금 스위치가 아래로 내려진 것으로 표시하도록 만든다. 또한, 일 구현예에서 프로세서(22)는 액츄에이터(26)으로 하여금, 스위치가 다운 상태로 바뀌었음을 표시하는, 진동과 같은 햅틱 효과를 발생시키도록 한다. 그 후 흐름은 604로 되돌아온다.
만약 604에서, 개체(102)의 위치가 xup보다 크다면, 608에서 업(up) 상태로 들어가고 스위치는 위로 눌려진 것으로 여겨진다. "업(up)" 이벤트는 도 2의 프로세서(22)로 전송되며, 그것은 애플리케이션에 대한 입력으로 제공되고 UI(60)로 하여금 스위치가 위로 올려진 것으로 표시하도록 만든다. 또한, 일 구현예에서 프로세서(22)는 액츄에이터(26)으로 하여금, 스위치가 업 상태로 바뀌었음을 표시하는, 진동과 같은 햅틱 효과를 발생시키도록 한다. 그 후 흐름은 604로 되돌아온다.
나타난 바와 같이, 상기 예에서 햅틱 효과의 2 이상의 유형이 발생될 수 있다. 햅틱 효과의 일 유형은 스위치가 업 상태에서 다운 상태로, 또는 그 반대의 경우로 바뀌었음을 표시한다. 햅틱 효과의 다른 유형은, 공(102)이 용기(106)의 말단과 충돌하였는지 여부와 같은, 관측된 상태보다는 개체/공(102)의 물리적 상태를 표시한다.
다른 구현예에서, 시뮬레이션된 물리적 개체는 UI(60)에서 시뮬레이션된 개체에 대응하거나 그것과 대체로 유사하다. 예를 들면, UI(60) 및 그것의 하위 애플리케이션은, 사용자가 플립(flip) 동작에 의하여 페이지를 넘기도록 할 수 있는 플립북(flipbook)을 표시할 수 있다. 이 예에서, 시뮬레이션된 물리적 개체(102)는 플립북일 것이며, 관측부(600)는 모바일 장치(50)에 가해진 힘에 반응한 시뮬레이션된 플립북의 상태를 관측할 것이다. 만약 움직임이 시뮬레이션된 플립북에서 페이지가 플립되도록 한다면, UI(60)에 표시된 플립북은 페이지가 플립되었음을 표시할 것이며, 페이지가 플립되었음을 표시하기 위하여 햅틱 효과가 발생될 것이다.
다른 구현예에서, UI(60)은 사용자 동작을 통하여 상하로 스크롤될 수 있는 연락처 목록을 표시한다. 한 번에 연락처 목록의 일부만이 표시되고, 사용자는 목록의 스크롤을 시작하기 위하여 모바일 장치(50)을 상하로 튕길 수 있다. 사용자가 모바일 장치(50)를 멈추게 하면 스크롤은 느려지고 결국에는 멈출 것이다.
이 구현예에서, 시뮬레이션된 물리적 장치는, 개체가 래치팅(ratcheting)부를 따라 움직이다가 결국에는 속도를 잃고 슬롯으로 떨어지게 되는, 래치팅 장치일 수 있다. 이 시뮬레이션된 물리적 장치는 공을 개체로 하는 룰렛 휠(roulette wheel)과 유사할 수 있다. 관측부는 회전 상태 및 어떻게 스크롤 속도를 느리게 할 것인지와 연락처의 어느 지점에서 결국 스크롤을 멈출 것인지 판단하는 때에 개체/공이 결국 들어가는 상태를 볼 수 있다. 래치팅을 반영하는 햅틱 효과가 발생될 수 있다. 연락처 목록의 말단에 도달하게 되면, 목록이 반대 방향으로 스크롤되기 시작하도록 하는, 바운스(bounce)가 시뮬레이션될 수 있다.
다른 구현예에서, 포텐셜 함수 U(x)는, 장치가 특정한 임시 주파수로 상하로 움직이는 것을 요하는 반복되는 동작에 대응하는, sin(x)와 같은 주기 함수일 수 있다. 또한, 시스템은 2차원일수 있고, 두 개의 가속도센서 신호(즉, ax 및 ay)로부터 센서 입력을 받을 수 있다. 이러한 시스템은, 특정한 상태에 도달하기 위하여, 2차원에서 보다 복잡한 공간 움직임을 필요로 할 수 있다. 이것은 흔들기(shaking), 기울이기(tilting) 및 주기적인 공간 움직임에 반응할 수 있는 미디어 플레이어와 같은, 더 많은 수의 주된 컨트롤을 사용한 애플리케이션의 동작 제어에 유용할 수 있다.
또 다른 구현예에서, 시스템은, 힘 매핑에 대한 다차원 센서를 가지는, 다수의 포텐셜 함수의 카티션 곱(Cartesian product)일 수 있다. 상술한 구현예에서와 같이, 이 시스템은 다양한 복잡한 공간 움직임 또는 기타 감지된 동작을 가능하게 하고, 게임, 생산성 애플리케이션, 전화 다이얼러 등을 포함하는, 복잡한 UI의 제어를 제공한다.
도 8은 애플리케이션과 함께 동작을 인식할 때의 일 구현예에 따른 동작 인식 모듈(16)의 기능에 대한 흐름도이다.
802에서, 시뮬레이션된 물리적 개체가 발생된다. 일 구현예에서, 시뮬레이션되는 물리적 개체는 애플리케이션에 의하여 구현되는 물리적 개체와 관련되어 있다. 예를 들면, 만약 애플리케이션이 UI에서 플립북의 표시라면, 시뮬레이션된 물리적 개체는 플립북일 수 있다.
804에서, 모바일 장치를 이동시키는 손과 같은, 동작에 반응하여 시뮬레이션된 물리적 개체에 힘 또는 충격이 가해진다. 상기 힘 또는 충격은 모바일 장치의 센서에 의하여 센서 데이터의 형태로 발생된다.
806에서, 힘에 대하여 반응한 시뮬레이션된 물리적 개체의 상태가 관측된다. 일 구현예에서, 관측부는 유한상태머신이다.
808에서, 시뮬레이션된 물리적 개체의 상태의 변화에 기초하는 애플리케이션에 대한 입력이 제공된다. 상기 애플리케이션은 기능을 제공하기 위하여 이 입력을 사용할 수 있고, 이에 반응하여 하나 이상의 햅틱 효과를 생성할 수 있다.
개시된 바와 같이, 일 구현예는 두 개의 주요 요소: 물리적 시뮬레이션 및 상태머신을 사용한 동작 인식을 제공한다. 물리적 시물레이션은 인식될 동작(들)의 유사체일 수 있고, 1차원 세계에서 질량을 갖는 단일의 개체만큼 단순하거나, 또는 애플리케이션에 따라서 보다 복잡할 수 있다. 시스템의 상태머신부부는 유한상태머신 인트라스트럭처 및 관측부로 구성된다. 관측부는 물리적 시뮬레이션의 하나 이상의 물리적 파라미터를 모니터하고, UI 요소, 애플리케이션 상태 또는 기타 동작 반응에 변화를 야기하는 상태 전이를 일으키기 위하여 이들을 사용한다. 추가적으로, 상태 전이는 이산적이거나 하나 이상의 관측된 물리적 파라미터의 함수인 다중양식(multimodal) 햅틱-오디오 피드백을 발생시킬 수 있다. 결국, 각각의 상태는, 개체에 대한 힘인 함수 U(x)를 변형시킬 수 있거나, 또는 물리적 시스템에 기타 변화를 초래할 수 있다. 예를 들면, 장치를 기울이는 각도는 파라미터화된 U(x) 함수의 집합 사이에서 선택될 수 있다. 그 결과는 복잡한 통계적 분석에 의존하지 않으며, 애플리케이션에 특별하게 맞추어지지 않은, 동작 인식을 위한 일반적인 프레임워크이다.
수 개의 구현예가 여기에 특별히 도시 및/또는 설명되었다. 그러나, 개시된 구현예의 변경 및 변형은 본 발명의 사상과 의도한 범위를 벗어나지 않고, 상술한 교시에 의하여 포함되고, 첨부한 청구 범위 내에 있음이 이해될 수 있을 것이다.
10: 동작 인식 시스템 12: 버스(bus)
14: 메모리 15: 운영체제
16: 동작 인식 모듈 18: 추가 애플리케이션 모듈
20: 통신 장치 22: 프로세서
24: 디스플레이 26: 액츄에이터(actuator)
28: 센서 50: 모바일 장치
55: 손 60: 사용자 인터페이스
102: 공 104: 화살표
105: 선 106: 용기
110: 축 600: 유한상태머신(finite state machine)

Claims (19)

  1. 프로세서에 의하여 실행될 때, 상기 프로세서가 모바일 장치에서 동작 인식을 수행하도록 하는 명령어들이 저장된 컴퓨터 판독가능 기록 매체로서,
    상기 동작 인식은,
    상기 모바일 장치의 사용자에 의해 수행되는 동작을 검출하는 것에 응답하여 센서 데이터를 수신하는 단계 - 상기 센서 데이터는 힘 또는 충격을 포함함 -;
    시뮬레이션된 물리적 시스템에서 상기 힘 또는 충격을 시뮬레이션된 물리적 개체에 가하는 단계;
    상기 힘 또는 충격을 상기 시뮬레이션된 물리적 개체에 가한 후, 상기 시뮬레이션된 물리적 개체의 상태에서의 변화를 관측하는 단계; 및
    상기 프로세서에서 실행되는 애플리케이션에 입력을 제공하는 단계
    를 포함하고,
    상기 입력은 상기 시뮬레이션된 물리적 개체의 상태에서의 변화를 포함하고,
    상기 애플리케이션은 상기 시뮬레이션된 물리적 개체의 상태에서의 변화를 상기 사용자에 의해 수행되는 동작으로 해석하는, 컴퓨터 판독가능 기록 매체.
  2. 제1항에 있어서,
    상기 애플리케이션으로의 입력은 사용자 인터페이스와의 상호작용을 포함하는, 컴퓨터 판독가능 기록 매체.
  3. 제2항에 있어서,
    상기 시뮬레이션된 물리적 개체와 실질적으로 유사한 그래픽을 상기 사용자 인터페이스에 표시하는 단계를 더 포함하는 컴퓨터 판독가능 기록 매체.
  4. 제2항에 있어서,
    상기 상호작용에 응답하여 변형되는 그래픽을 상기 사용자 인터페이스에 표시하는 단계를 더 포함하고,
    상기 그래픽은 푸시 버튼, 슬라이더 또는 스크롤링 리스트 중 적어도 하나를 포함하는, 컴퓨터 판독가능 기록 매체.
  5. 제1항에 있어서,
    상기 애플리케이션은 햅틱 액츄에이터로 하여금 상기 시뮬레이션된 물리적 개체의 상태에서의 변화에 기초하여 햅틱 효과를 발생시키도록 하는, 컴퓨터 판독가능 기록 매체.
  6. 제5항에 있어서,
    상기 햅틱 효과는 상기 시뮬레이션된 물리적 개체의 복수의 관측된 상태를 나타내는 피드백인, 컴퓨터 판독가능 기록 매체.
  7. 제5항에 있어서,
    상기 햅틱 효과는 상기 시뮬레이션된 물리적 개체의 복수의 물리적 상태를 나타내는 피드백인, 컴퓨터 판독가능 기록 매체.
  8. 제5항에 있어서,
    상기 햅틱 액츄에이터는 상기 모바일 장치에 진동을 발생시키는, 컴퓨터 판독가능 기록 매체.
  9. 제1항에 있어서,
    상기 시뮬레이션된 물리적 개체는, 용기 내에 배치되고, 상기 시뮬레이션된 물리적 시스템에서 하나의 이동 축을 따라 움직이도록 제한된 공인, 컴퓨터 판독가능 기록 매체.
  10. 제1항에 있어서,
    상기 힘 또는 충격은 가속도 센서에 의해 감지되는, 컴퓨터 판독가능 기록 매체.
  11. 제1항에 있어서,
    유한상태머신(finite state machine)이 상기 시뮬레이션된 물리적 시스템에서 상기 시뮬레이션된 물리적 개체의 상태에서의 변화를 관측하는, 컴퓨터 판독가능 기록 매체.
  12. 모바일 장치에서 동작 인식을 수행하기 위해 컴퓨터로 구현되는 방법으로서,
    상기 모바일 장치의 사용자에 의해 수행되는 동작을 검출하는 것에 응답하여 센서 데이터를 수신하는 단계 - 상기 센서 데이터는 힘 또는 충격을 포함함 -;
    시뮬레이션된 물리적 시스템에서 상기 힘 또는 충격을 시뮬레이션된 물리적 개체에 가하는 단계;
    상기 힘 또는 충격을 상기 시뮬레이션된 물리적 개체에 가한 후, 상기 시뮬레이션된 물리적 개체의 상태에서의 변화를 관측하는 단계; 및
    상기 프로세서에서 실행되는 애플리케이션에 입력을 제공하는 단계
    를 포함하고,
    상기 입력은 상기 시뮬레이션된 물리적 개체의 상태에서의 변화를 포함하고,
    상기 애플리케이션은 상기 시뮬레이션된 물리적 개체의 상태에서의 변화를 상기 사용자에 의해 수행되는 동작으로 해석하는, 방법.
  13. 제12항에 있어서,
    상기 애플리케이션은 햅틱 액츄에이터로 하여금 상기 시뮬레이션된 물리적 개체의 상태에서의 변화에 기초하여 햅틱 효과를 발생시키도록 하는, 방법.
  14. 제12항에 있어서,
    상기 시뮬레이션된 물리적 개체는, 용기 내에 배치되고, 상기 시뮬레이션된 물리적 시스템에서 하나의 이동 축을 따라 움직이도록 제한된 공인, 방법.
  15. 제12항에 있어서,
    유한상태머신이 상기 시뮬레이션된 물리적 시스템에서 상기 시뮬레이션된 물리적 개체의 상태에서의 변화를 관측하는, 방법.
  16. 모바일 장치로서,
    상기 모바일 장치의 사용자에 의해 수행되는 동작들을 검출하기 위한 센서;
    메모리; 및
    상기 센서 및 상기 메모리에 연결되는 프로세서를 포함하고,
    상기 프로세서는,
    상기 사용자에 의해 수행되는 동작을 검출하는 것에 응답하여 센서 데이터를 수신하고 - 상기 센서 데이터는 힘 또는 충격을 포함함 -,
    시뮬레이션된 물리적 시스템에서 상기 힘 또는 충격을 시뮬레이션된 물리적 개체에 가하고,
    상기 힘 또는 충격을 상기 시뮬레이션된 물리적 개체에 가한 후, 상기 시뮬레이션된 물리적 개체의 상태에서의 변화를 관측하고,
    상기 프로세서에서 실행되는 애플리케이션에 입력을 제공
    하도록 구성되고,
    상기 입력은 상기 시뮬레이션된 물리적 개체의 상태에서의 변화를 포함하고,
    상기 애플리케이션은 상기 시뮬레이션된 물리적 개체의 상태에서의 변화를 상기 사용자에 의해 수행되는 동작으로 해석하는, 모바일 장치.
  17. 제16항에 있어서,
    상기 프로세서에 연결되는 햅틱 액츄에이터를 더 포함하고,
    상기 애플리케이션은 상기 햅틱 액츄에이터로 하여금 상기 시뮬레이션된 물리적 개체의 상태에서의 변화에 기초하여 햅틱 효과를 발생시키도록 하는, 모바일 장치.
  18. 제16항에 있어서,
    상기 시뮬레이션된 물리적 개체는, 용기 내에 배치되고, 상기 시뮬레이션된 물리적 시스템에서 하나의 이동 축을 따라 움직이도록 제한된 공인, 모바일 장치.
  19. 제16항에 있어서,
    유한상태머신이 상기 시뮬레이션된 물리적 시스템에서 상기 시뮬레이션된 물리적 개체의 상태에서의 변화를 관측하는, 모바일 장치.
KR1020180028078A 2010-10-05 2018-03-09 물리적 모델에 기초한 동작 인식 KR20180029995A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/898,032 US8564535B2 (en) 2010-10-05 2010-10-05 Physical model based gesture recognition
US12/898,032 2010-10-05

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020110101478A Division KR20120035895A (ko) 2010-10-05 2011-10-05 물리적 모델에 기초한 동작 인식

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020190027323A Division KR20190029546A (ko) 2010-10-05 2019-03-11 물리적 모델에 기초한 동작 인식

Publications (1)

Publication Number Publication Date
KR20180029995A true KR20180029995A (ko) 2018-03-21

Family

ID=44772864

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020110101478A KR20120035895A (ko) 2010-10-05 2011-10-05 물리적 모델에 기초한 동작 인식
KR1020180028078A KR20180029995A (ko) 2010-10-05 2018-03-09 물리적 모델에 기초한 동작 인식
KR1020190027323A KR20190029546A (ko) 2010-10-05 2019-03-11 물리적 모델에 기초한 동작 인식

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020110101478A KR20120035895A (ko) 2010-10-05 2011-10-05 물리적 모델에 기초한 동작 인식

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020190027323A KR20190029546A (ko) 2010-10-05 2019-03-11 물리적 모델에 기초한 동작 인식

Country Status (5)

Country Link
US (1) US8564535B2 (ko)
EP (2) EP3567458A1 (ko)
JP (1) JP6062621B2 (ko)
KR (3) KR20120035895A (ko)
CN (1) CN102446025B (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120120017A1 (en) * 2010-11-17 2012-05-17 Synaptics Incorporated System and method for determining object information using an estimated deflection response
US8618428B2 (en) 2010-12-14 2013-12-31 Synaptics Incorporated System and method for determining object information using an estimated rigid motion response
EP2726835A4 (en) * 2011-06-28 2015-09-09 Ibm VIBRATION MONITORING SYSTEM
KR102054370B1 (ko) * 2011-11-23 2019-12-12 삼성전자주식회사 햅틱 피드백 방법 및 장치, 기계로 읽을 수 있는 저장 매체 및 휴대용 통신 단말
US8493354B1 (en) 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices
US8711118B2 (en) 2012-02-15 2014-04-29 Immersion Corporation Interactivity model for shared feedback on mobile devices
US9665214B2 (en) 2012-03-29 2017-05-30 Synaptics Incorporated System and methods for determining object information using selectively floated electrodes
US8570296B2 (en) 2012-05-16 2013-10-29 Immersion Corporation System and method for display of multiple data channels on a single haptic display
US9864428B2 (en) 2013-06-28 2018-01-09 Verizon Patent And Licensing Inc. Human computer interaction using wearable device
US11229239B2 (en) * 2013-07-19 2022-01-25 Rai Strategic Holdings, Inc. Electronic smoking article with haptic feedback
US9841783B2 (en) * 2013-09-12 2017-12-12 Intel Corporation System to account for irregular display surface physics
WO2015042536A1 (en) 2013-09-20 2015-03-26 Namesforlife Llc Systems and methods for establishing semantic equivalence between concepts
US9721411B2 (en) 2014-03-18 2017-08-01 Google Inc. Proximity-initiated physical mobile device gestures
US10579786B2 (en) * 2014-04-02 2020-03-03 Sony Corporation Information processing system
US10613629B2 (en) 2015-03-27 2020-04-07 Chad Laurendeau System and method for force feedback interface devices
US9943066B2 (en) 2015-04-20 2018-04-17 Samsung Electronics Co., Ltd. Gesture control and directional force on remote object based on smart wearable
CN107015631A (zh) * 2016-01-28 2017-08-04 珠海格力电器股份有限公司 一种手势模拟方法、装置及系统
KR20180033822A (ko) * 2016-09-26 2018-04-04 포항공과대학교 산학협력단 물리적 시뮬레이션으로부터 진동 효과를 발생시키는 방법 및 장치
US11182957B2 (en) * 2017-10-26 2021-11-23 Sony Interactive Entertainment Inc. Image processing device, image processing method, and program for suppressing movement of an object in virtual space

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5999168A (en) * 1995-09-27 1999-12-07 Immersion Corporation Haptic accelerator for force feedback computer peripherals
US6252583B1 (en) * 1997-11-14 2001-06-26 Immersion Corporation Memory and force output management for a force feedback system
JP3909994B2 (ja) * 2000-02-29 2007-04-25 アルプス電気株式会社 入力装置
SE523636C2 (sv) * 2001-07-22 2004-05-04 Tomer Shalit Ab Portabelt datoriserat handhållet organ och förfarande för hantering av ett på en skärm visat objekt
JP3838173B2 (ja) * 2002-07-31 2006-10-25 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
US7432908B2 (en) * 2003-11-25 2008-10-07 International Business Machines Corporation Controller, system and method for controlling a cursor
US20070002018A1 (en) * 2005-06-30 2007-01-04 Eigo Mori Control of user interface of electronic device
US7657849B2 (en) * 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
JP2008033739A (ja) * 2006-07-31 2008-02-14 Sony Corp 力覚フィードバックおよび圧力測定に基づくタッチスクリーンインターラクション方法および装置
US8098235B2 (en) * 2007-09-28 2012-01-17 Immersion Corporation Multi-touch device having dynamic haptic effects
US8154524B2 (en) * 2008-06-24 2012-04-10 Microsoft Corporation Physics simulation-based interaction for surface computing
KR101690469B1 (ko) * 2008-07-15 2016-12-27 임머숀 코퍼레이션 메시지 콘텐츠를 진동촉각 메시징을 위한 가상 물리적 속성들로 맵핑하기 위한 시스템 및 방법, 및 비일시적인 컴퓨터 판독가능 매체
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism

Also Published As

Publication number Publication date
CN102446025A (zh) 2012-05-09
JP6062621B2 (ja) 2017-01-18
KR20190029546A (ko) 2019-03-20
US20120081276A1 (en) 2012-04-05
CN102446025B (zh) 2017-05-10
JP2012108885A (ja) 2012-06-07
EP2439612A3 (en) 2014-05-21
KR20120035895A (ko) 2012-04-16
EP3567458A1 (en) 2019-11-13
EP2439612A2 (en) 2012-04-11
US8564535B2 (en) 2013-10-22

Similar Documents

Publication Publication Date Title
KR20190029546A (ko) 물리적 모델에 기초한 동작 인식
CN107533373B (zh) 虚拟现实中经由手与对象的场境敏感碰撞的输入
EP2717120B1 (en) Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
CN108431734B (zh) 用于非触摸式表面交互的触觉反馈
CN105683882B (zh) 等待时间测量与测试系统和方法
JP5675627B2 (ja) 身振り認識を伴うモバイルデバイス
CN102197377B (zh) 多触摸对象惯性模拟
JP2019050003A (ja) 触覚セルのアレイを用いた有形のユーザ・インターフェース・インタラクション及びジェスチャのシミュレーション
KR20170139508A (ko) 에칭 입력의 동적 렌더링
US10001914B2 (en) Method and apparatus for causing a deformation representation
JP2019519856A (ja) マルチモーダルハプティック効果
WO2011127646A1 (en) An apparatus, method, computer program and user interface
CN104407696A (zh) 移动设备的虚拟球模拟及控制的方法
JP6018474B2 (ja) プログラム、情報処理装置、情報処理方法および情報処理システム
US20150138162A1 (en) Latency measuring and testing system and method
KR20200075773A (ko) 사용자의 모션 또는 환경에 기초하여 햅틱 효과들을 제공하는 시스템들 및 방법들
KR100682579B1 (ko) 3차원 공간상에서의 위치 결정 장치 및 방법
KR101605740B1 (ko) 스마트폰 사용자의 개인화된 동작인식 방법 및 이를 이용한 게임방법
EP2600221B1 (en) Input gestures using device movement
CN114377385A (zh) 一种增强现实的骰子投掷方法、装置、电子设备和介质
JP2005216248A (ja) 物理的接触に応じた形状変形表示装置
CN106802761A (zh) 一种基于重力感应的广告投放方法和系统

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
A107 Divisional application of patent
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2019101000804; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20190311

Effective date: 20200218