KR101720655B1 - 사용자 동작 인식 기반의 햅틱 피드백 제공 장치 및 그 동작 방법 - Google Patents

사용자 동작 인식 기반의 햅틱 피드백 제공 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR101720655B1
KR101720655B1 KR1020130155717A KR20130155717A KR101720655B1 KR 101720655 B1 KR101720655 B1 KR 101720655B1 KR 1020130155717 A KR1020130155717 A KR 1020130155717A KR 20130155717 A KR20130155717 A KR 20130155717A KR 101720655 B1 KR101720655 B1 KR 101720655B1
Authority
KR
South Korea
Prior art keywords
user
information
haptic feedback
portable terminal
terminal device
Prior art date
Application number
KR1020130155717A
Other languages
English (en)
Other versions
KR20150069615A (ko
Inventor
박순찬
박지영
심광현
김희권
장주용
유문욱
정혁
남승우
구본기
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020130155717A priority Critical patent/KR101720655B1/ko
Priority to US14/550,835 priority patent/US20150169062A1/en
Publication of KR20150069615A publication Critical patent/KR20150069615A/ko
Application granted granted Critical
Publication of KR101720655B1 publication Critical patent/KR101720655B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Abstract

본 발명은 사용자가 취하는 동작을 감지하는 감지부, 상기 감지부에 의해 상기 사용자의 동작이 감지된 감지 정보를 처리하여 상기 사용자가 취한 특정 동작을을 인식하는 인식부, 및 상기 인식부에 의해 인식된 상기 사용자의 특정 동작을 고려하여 햅틱(haptic) 피드백 정보의 출력 여부를 판단하며, 상기 판단 결과에 따라 출력되는 상기 햅틱 피드백 정보를 휴대용 단말장치, 또는 스피커 장치 중 적어도 하나의 외부 장치로 전달하여 상기 사용자에게 햅틱 피드백을 제공하는 제어부를 포함하는 사용자 동작 인식 기반의 햅틱 피드백 제공 장치 및 그 동작 방법에 관한 것이다.

Description

사용자 동작 인식 기반의 햅틱 피드백 제공 장치 및 그 동작 방법{Device for provide the haptic feedback based on user behavior recognition and method thereof}
본 발명은 햅틱 피드백 제공 기술에 관한 것으로, 특히 사용자의 동작을 인식할 수 있는 동작 인식 기반 인터페이스에서 외부 장치로 햅틱 피드백을 제공하는 기술에 관한 것이다.
촉감으로 사용자에게 피드백을 주는 햅틱 피드백은 응용 프로그램을 이용하는 사용자의 몰입도를 향상시키는 효과를 가지는데, 이러한 효과는 허공에서 상호작용을 수행하는 동작인식 기반의 인터페이스에서 매우 중요하다. 특히, 동작인식 기반의 인터페이스 중에서도 컴퓨터 비전 기반의 사용자 동작 인식 기반 인터페이스에서는 센서에 의해 감지된 사용자의 동작 감지 정보를 바탕으로 사용자의 동작을 추정한다. 이때, 사용자의 동작을 추정하기 위해 3차원 깊이를 측정하는 뎁스 센서에 의해 측정된 깊이 정보, 또는 일반 RGB 센서에서 감지되고 있는 색 정보(RGB)를 바탕으로 사용자의 동작을 추정한다.
그러나, 이러한 사용자 동작 인식 기반의 인터페이스는 기본적으로 사용자에게 접촉하는 장치가 존재하지 않아 별도의 햅틱 장치를 사용하지 않으면 햅틱 피드벡 제공이 불가능하다.
최근 출시되고 있는 햅틱 피드백을 제공하는 사용자 동작인식 기반의 인터페이스는 해당 인터페이스에서만 사용할 수 있는 특정 장치(컨트롤러)에 진동 소자를 배치하고, 이를 진동시켜 이 햅틱 장치(햅틱 기능을 갖는 특정 장치)를 쥐고 있거나(예. 리모컨 컨트롤러) 입고 있는(예. 장갑 형태의 장치) 사용자에게 햅틱 피드백을 전달한다.
이러한 기존의 사용자 동작인식 기반의 인터페이스는 특정 장치가 항상 인터페이스와 함께 존재하여야 하고, 인터페이스 개발자 또는 사용자는 이를 항상 구매하여 비치해 두어야 하므로 비효율적이며, 구현하고 개발하는데 있어서 개발 비용이 증가하는 문제점이 있다.
또한, 사용자 동작인식 기반의 디지털 사이니지(Digital Signage) 시스템 같이 공공장소에 설치되는 인터페이스일 경우, 햅틱 장치의 파손/도난의 위험이 있어 범용적으로 적용되기에는 어려움이 있다. 나아가, 사용자로 하여금 햅틱 장치를 쥐거나 착용하게 하는 것은 사용자의 편의성을 떨어뜨린다.
본 발명은 사용자 동작인식 기반의 인터페이스 전용의 햅틱 장치를 이용하지 않고서도 햅틱 피드백을 제공할 수 있도록 하는 기술적 방안을 제공함을 목적으로 한다.
전술한 과제를 달성하기 위한 본 발명의 일 양상에 따른 사용자 동작 인식 기반의 햅틱 피드백 제공 장치는 사용자가 취하는 동작을 감지하는 감지부, 상기 감지부에 의해 상기 사용자의 동작이 감지된 감지 정보를 처리하여 상기 사용자가 취한 특정 동작을 인식하는 인식부, 및 상기 인식부에 의해 인식된 상기 사용자의 특정 동작을 고려하여 햅틱(haptic) 피드백 정보의 출력 여부를 판단하며, 상기 판단 결과에 따라 출력되는 상기 햅틱 피드백 정보를 휴대용 단말장치, 또는 스피커 장치 중 적어도 하나의 외부 장치로 전달하여 상기 사용자에게 햅틱 피드백을 제공하는 제어부를 포함한다.
여기서, 상기 햅틱 피드백 정보에는 햅틱 피드백 세기 정보 및 햅틱 피드백 시간 정보 정보가 포함되며, 상기 제어부는 상기 인식부에 의해 인식된 상기 사용자의 특정 동작에 따라 응용 프로그램을 제어하며, 상기 응용 프로그램의 제어에 따라 상기 햅틱 피드백 정보의 전달 여부를 판단한다.
일 예로서, 상기 외부 장치가 상기 휴대용 단말장치인 경우, 상기 휴대용 단말장치는 상기 사용자의 이동통신 단말기이며, 상기 휴대용 단말장치 내부에 진동 소자가 포함된다.
또한, 상기 제어부는 무선 통신을 통해 상기 휴대용 단말장치로부터 가속도 정보 및 사용자 입력 정보, 고유 식별자 정보 및 접속 정보 중 적어도 하나의 정보를 수신하여 상기 응용 프로그램 제어시 이용하며, 무선 통신을 통해 상기 휴대용 단말장치로 상기 사용자의 동작 정보 및 상기 사용자의 신체 부위의 위치 정보 중 적어도 하나의 정보를 전송한다.
다른 예로서, 상기 외부 장치가 상기 스피커 장치인 경우, 상기 스피커 장치는 상기 사용자와 함께 상기 감지부의 감지 영역에 포함되도록 상기 사용자 주변의 소정 위치에 설치된 하나 이상의 저음파용 스피커(woofer, 우퍼)이다.
나아가, 상기 감지부는 구조광 방식의 깊이(depth) 센서, ToF(Time of Flight) 방식의 깊이 센서, 스테레오 방식의 깊이 센서, RGB 센서 중 적어도 하나의 센서를 포함한다.
한편, 전술한 과제를 달성하기 위한 본 발명의 다른 양상에 따른 사용자 동작 인식 기반의 햅틱 피드백 제공 장치에 의한 햅틱 피드백 제공 방법은 사용자가 취하는 동작을 감지하는 단계, 감지된 감지 정보를 처리하여 상기 사용자의 동작을 인식하는 단계, 인식된 상기 사용자의 동작에 따라 햅틱 피드백 정보의 전달 여부를 판단하는 단계, 및 상기 판단 결과에 따라 상기 햅틱 피드백 정보를 외부 장치로 전달하는 단계를 포함하며, 인식된 상기 사용자의 동작에 따라 응용 프로그램을 제어하는 단계를 더 포함한다.
일 예로, 상기 전달하는 단계는 상기 햅틱 피드백 정보를 내부에 진동 소자를 포함하는 상기 사용자의 휴대용 단말장치로 전달하는 단계를 포함하고, 상기 제어하는 단계는 무선 통신을 통해 상기 휴대용 단말장치로부터 가속도 정보 및 사용자 입력 정보, 고유 식별자 정보 및 접속 정보 중 적어도 하나의 정보를 수신하여 상기 응용 프로그램 제어시 이용하는 단계를 포함하며, 무선 통신을 통해 상기 휴대용 단말장치로 상기 사용자의 동작 정보 및 상기 사용자의 신체 부위의 위치 정보 중 적어도 하나의 정보를 전송하는 단계를 더 포함한다.
다른 예로, 상기 전달하는 단계는 상기 햅틱 피드백 정보를 상기 사용자와 함께 감지되도록 상기 사용자 주변의 소정 위치에 설치된 하나 이상의 저음파용 스피커로 전달하는 단계를 포함한다.
또한, 상기 감지하는 단계는 구조광 방식의 깊이 센서, ToF 방식의 깊이 센서, 스테레오 방식의 깊이 센서, RGB 센서 중 적어도 하나의 센서를 이용하여 상기 사용자가 취하는 동작을 감지하는 단계를 포함하며, 햅틱 피드백 세기 정보 및 햅틱 피드백 시간 정보 중 적어도 하나의 정보를 포함하는 상기 햅틱 피드백 정보를 전송하는 단계를 포함한다.
본 발명에 일 실시예에 따르면, 사용자는 부가적인 햅틱 장치를 별도 착용하지 않고 자신의 휴대용 단말장치를 이용하여 햅틱 피드백(햅틱 인터페이스)을 제공받을 수 있으며, 개발자의 입장에서 동작 인식 기반의 컴퓨터 프로그램 개발 외에도 특정 햅틱 장치를 부가적으로 연동하여 개발하지 않아도 된다.
또한, 본 발명에 다른 실시예에 따르면, 사용자는 부가적인 햅틱 장치를 손에쥐거나 별도로 착용/부착하지 않고 사용자 주변에 위치한 스피커를 통해 햅틱 피드백을 제공받을 수 있어 사용자의 편의성 및 몰입도가 향상될 수 있다.
도 1은 본 발명의 실시예에 따른 사용자 동작 인식 기반의 햅틱 피드백 제공 장치 블록도.
도 2는 본 발명에 따라 외부장치가 휴대용 단말장치인 경우를 나타내는 예시도.
도 3은 본 발명에 따라 외부장치가 스피커 장치인 경우를 나타내는 예시도.
도 4는 본 발명의 실시예에 따른 사용자 동작 인식 기반의 햅틱 피드백 제공 장치에 의한 햅틱 피드백 제공 방법 흐름도.
전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명을 이러한 실시예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 사용자 동작 인식 기반의 햅틱 피드백 제공 장치를 포함한 전체 시스템 블록도이다.
도시된 바와 같이, 사용자 동작 인식 기반의 햅틱 피드백 제공 장치(10)는 사용자의 동작을 인식하는 동작 인식 인터페이스(100) 및 햅틱 피드백을 제공하는 외부 장치(200)를 포함한다.
동작 인식 인터페이스(100)는 사용자의 동작을 인식하여 햅틱 피드백 정보 전달 여부를 결정 및 전달하기 위한 구성으로서, 컴퓨터 장치일 수 있다. 구체적으로, 동작 인식 인터페이스(100)는 감지부(110), 인식부(120) 및 제어부(130)를 포함한다.
감지부(110)는 사용자 동작 인식에 활용할 감지 정보를 획득하는 구성으로서, 사용자가 취하는 동작을 감지하기 위해 소정의 위치에 장착된 센서이다. 또한, 사용자는 감지부(110)가 감지하는 감지 영역에 포함될 수 있도록, 감지부(110)를 마주보고 소정 영역에 위치하여 응용 프로그램을 제어하기 위한 특정 동작을 취할 수 있다.
감지부(110)는 깊이(depth) 센서 또는 RGB 센서 중 적어도 하나의 센서로서, 사용자가 취하는 동작을 감지한다. 여기서, 깊이 센서에는 능동형 방식의 깊이 센서와 수동형 방식의 깊이 센서가 이용될 수 있다. 예컨대, 능동형 방식의 깊이 센서는 구조광 방식의 깊이 센서 또는 ToF 방식의 깊이 센서일 수 있으며, 수동형 방식의 깊이 센서는 스테레오 방식의 깊이 센서일 수 있다.
감지부(110)는 다른 구성 요소(인식부(120) 및 제어부(130))와는 달리 동작 인식 인터페이스(100)와 물리적으로 이격되어 구현될 수 있다. 또는, 감지부(110)는 다른 구성 요소들과 함께 동작 인식 인터페이스(100) 내부에 하나의 모듈로 구현될 수도 있다. 바람직하게, 감지부(110)는 동작 인식 인터페이스(100)에 장착되어 사용자의 동작을 촬영하는 카메라 장치에 포함되어 구현될 수 있으며, 카메라에 의해 촬영된 촬영 영상에 감지 정보가 포함될 수 있다.
인식부(120)는 사용자의 동작을 인식하는 구성으로서, 감지부(110)에 의해 감지된 감지 정보에서 사용자의 동작을 인식하기 위한 정보 처리 알고리즘을 포함한다. 구체적으로, 인식부(120)는 감지부(110)에 의해 사용자가 감지된 감지 정보를 수신 및 정보 처리하여 실시간으로 사용자가 특정 동작을 취하는지 여부를 확인한다. 예컨대, 감지부(110)가 카메라 장치에 포함되어 구현된 경우, 인식부(120)는 카메라 장치로부터 수신되는 촬영 영상을 영상 처리 알고리즘을 이용하여 영상 처리하여 감지 정보를 추출하며, 추출된 감지 정보를 이용하여 사용자의 동작을 인식한다.
여기서 특정 동작이라 함은, 이후 제어부(130)가 응용 프로그램을 제어할 때 이용되는 동작으로서, 기설정된 동작이다. 예를 들어, 특정 동작은 사용자가 얼굴을 어느 한 방향으로 기울이거나 돌리는 동작, 팔(왼팔, 오른팔 및 양팔)을 들어올리는 동작, 몸을 어느 한 방향으로 돌리는 동작 등과 같이 사용자가 취할 수 있는 동작이다. 이러한 특정 동작은 인식부(120)의 정보 처리 및 영상 처리 알고리즘을 통해 인식될 수 있으며, 특정 동작의 정보는 메모리에 다수 저장될 수 있다. 또한, 다수의 특정 동작 각각에 대응하여 응용 프로그램을 제어하기 위한 제어 정보가 메모리에 저장될 수 있다.
사용자가 특정 동작을 취한 것으로 확인되면, 인식부(120)는 사용자가 취한 특정 동작에 대한 동작 정보를 제어부(130)에 전달한다.
제어부(130)는 동작 인식 인터페이스(100)를 전반적으로 제어하기 위한 구성으로서, 사용자가 취한 동작에 따라 응용 프로그램(애플리케이션)을 제어하며, 햅틱 피드백 정보를 출력하여 외부 장치(200)에 전달한다.
구체적으로, 제어부(130)는 인식부(120)에 의해 사용자가 특정 동작을 취한 것으로 확인되어, 그에 대한 동작 정보가 수신되면, 수신된 동작 정보에 따라 응용 프로그램을 제어한다. 이때, 제어부(130)는 수신된 동작 정보에 대응하여 메모리에 저장된 제어 정보를 이용하여 응용 프로그램을 제어할 수 있다. 여기서, 응용 프로그램은 사용자의 동작에 따라 제어되는 동작 인식 기반의 프로그램이다. 예를 들어, 응용 프로그램은 동작 인식 기반의 게임 프로그램, 윈도우 탐색기와 같은 파일 탐색 프로그램, 구글 어스와 같은 지도 탐색 프로그램일 수 있다.
나아가, 제어부(130)는 햅틱 피드백 정보의 출력 여부를 판단하여 판단 결과에 따라 햅틱 피드백 정보를 외부 장치(200)에 전달하여 사용자에게 햅틱 피드백을 제공한다. 햅틱 피드백 정보에는 햅틱 피드백 세기 정보, 햅틱 피드백 시간 정보가 포함될 수 있으며, 외부 장치(200)의 종류에 따라 제어부(130)에서 출력되는 햅틱 피드백 정보에 포함된 정보는 달라질 수 있다. 여기서, 외부 장치(200)의 종류는 휴대용 단말장치(210) 또는 스피커 장치(220) 중 적어도 하나의 장치일 수 있으며, 만약 외부 장치(200)가 스피커 장치(220)인 경우, 햅틱 피드백 정보에는 햅틱 피드백 발생 위치 정보가 더 포함될 수 있다.
일 예로서, 외부 장치(200)는 휴대용 단말장치(210)일 수 있다. 여기서, 휴대용 단말장치(210)는 사용자가 휴대하기 용이한 크기의 단말기이며, 진동 발생을 위한 진동 소자를 내장한다. 휴대용 단말장치(210)는 동작 인식 인터페이스(100)로부터 햅틱 피드백 정보를 수신하며, 수신된 햅틱 피드백 정보에 따라 진동 소자를 동작하여 사용자에게 햅틱 피드백을 제공한다. 바람직하게, 휴대용 단말장치(210)는 도 2에 예시된 바와 같이 사용자가 소지/소유한 이동통신 단말기(예를 들어, 스마트폰)일 수 있다. 예컨대, 동작 인식 인터페이스(100)는 사용자가 소지한 휴대용 단말장치(210)의 정보(예를 들어, 고유 식별자 정보)가 저장되어 있을 수 있으며, 기저장된 휴대용 단말장치(210)와의 연결 동작을 통해 서로 연결될 수 있다. 또는, 사용자에 의한 별도의 연결 조작에 의해 동작 인식 인터페이스(100)와 사용자가 소지한 휴대용 단말장치(210)가 연결될 수 있다.
동작 인식 인터페이스(100)의 제어부(130)와 정보 송수신을 위해 휴대용 단말장치(210)에는 통신 모듈이 포함될 수 있다. 예컨대, 휴대용 단말장치(210)는 정보 송수신을 위해 설치된 정보 송수신 응용 프로그램(애플리케이션)을 이용하여 동작 인식 인터페이스(100)와 정보를 송수신할 수 있다. 이때, 휴대용 단말장치(210)는 데이터 통신망, WiFi, Bluetooth, NFC 등과 같은 무선 통신을 통해 동작 인식 인터페이스(100)의 제어부(130)와 정보를 송수신할 수 있다. 이를 위해, 동작 인식 인터페이스(100)에도 무선 통신을 위한 통신 모듈이 내장된다.
바람직하게, 제어부(130)의 햅틱 피드백 정보의 출력 여부 판단 결과에 따라, 무선 통신을 통해 햅틱 피드백 정보가 휴대용 단말장치(210)에 전달되며, 휴대용 단말장치(210)는 수신된 햅틱 피드백 정보에 따라 진동을 발생하여 사용자에게 햅틱 피드백을 제공할 수 있다.
한편, 제어부(130)는 햅틱 피드백 정보뿐만 아니라, 인식부(120)에서 인식된 사용자의 특정 동작 정보, 사용자의 신체 부위(예를 들어, 머리, 손, 발 등)의 위치 정보 등을 휴대용 단말장치(210)에 전달할 수 있다. 이러한 정보는 휴대용 단말장치(210)에서 동작하는 응용프로그램에 이용될 수도 있다.
다른 한편, 제어부(130)는 휴대용 단말장치(210)에서 획득되는 정보를 수신하여 응용 프로그램 제어시 이용할 수도 있다. 예를 들어, 제어부(130)는 휴대용 단말장치(210)로부터 가속도 정보 및 사용자 입력 정보를 수신할 수 있다. 여기서, 가속도 정보는 휴대용 단말장치(210)에 내장된 가속도 센서에 의한 가속도 센싱값일 수 있으며, 사용자 입력 정보는 터치스크린과 같은 휴대용 단말장치(210)의 사용자 입력 수단에 사용자에 의해 입력되는 정보(예를 들어, 버튼 누르기, 동그라미 그리기 등의 상호작용 결과값)일 수 있다. 덧붙여, 제어부(130)는 휴대용 단말장치(210)를 소지한 사용자와 휴대용 단말장치(210)의 고유 식별자 정보(ID 정보) 및 현재 접속 상황 정보 등 응용 프로그램을 제어하기 위해 필요한 정보를 휴대용 단말장치(210)로부터 수신할 수도 있다.
이와 같이, 제어부(130)는 인식부(120)에 의해 인식된 사용자의 동작 정보를 이용하여 응용 프로그램을 제어하며, 응용 프로그램의 제어에 따라 햅틱 피드백이 필요한 경우, 통신 모듈을 통해 휴대용 단말장치(210)에 햅틱 피드백 정보를 전송한다. 경우에 따라서, 제어부(130)는 인식부(120)에 의해 인식된 사용자의 동작 정보뿐만 아니라, 휴대용 단말장치(210)로부터 수신되는 정보들을 이용하여 응용 프로그램을 제어하며, 응용 프로그램의 제어에 따라 햅틱 피드백이 필요한 경우, 통신 모듈을 통해 휴대용 단말장치(210)에 햅틱 피드백 정보를 전송한다.
이때, 휴대용 단말장치(210)로 전달되는 햅틱 피드백 정보에는 햅틱 피드백 세기 정보 및 햅틱 피드백 시간 정보가 포함된다. 예를 들어, 햅틱 피드백 세기 정보는 진동의 강도에 따라 기설정된 소정 개수로 구분된 단계일 수 있으며, 햅틱 피드백 시간 정보는 진동을 발생하고자하는 소정 시간(초)일 수 있다.
햅틱 피드백 정보를 수신한 휴대용 단말장치(210)는 내장된 진동 소자를 활성화하여, 햅틱 피드백 정보에 포함된 햅틱 피드백 세기 정보 및 햅틱 피드백 시간 정보에 따라 진동를 발생할 수 있으며, 사용자의 신체에 접촉된(사용자가 손으로 쥐고 있는) 휴대용 단말장치(210)를 통해 사용자는 햅틱 피드백, 즉 진동을 전달받을 수 있다.
이와 같이 본 발명에 일 실시예에 따르면, 사용자는 부가적인 햅틱 장치를 별도 착용하지 않고 자신의 휴대용 단말장치를 이용하여 햅틱 피드백(햅틱 인터페이스)을 제공받을 수 있으며, 개발자의 입장에서 동작 인식 기반의 컴퓨터 프로그램 개발 외에도 특정 햅틱 장치를 부가적으로 연동하여 개발하지 않아도 된다.
다른 예로서, 외부 장치(200)는 스피커 장치(220)일 수 있다. 여기서, 스피커 장치(220)는 도 3에 예시된 바와 같이 사용자 주변의 소정 위치에 설치된 하나 이상의 스피커이며, 감지부(110)에 의해 감지되는 감지 영역에 포함되도록 설치될 수 있다. 또한, 스피커 장치(220)는 동작 인식 인터페이스(100)와 유선으로 연결되어 정보를 송수신할 수 있으며, 무선으로 연결되어 정보를 송수신할 수도 있다.
제어부(130)의 햅틱 피드백 정보의 출력 여부 판단 결과에 따라, 무선 통신을 통해 햅틱 피드백 정보가 스피커 장치(220)에 전달되며, 스피커 장치(220)는 수신된 햅틱 피드백 정보에 따라 동작하여 사용자에게 햅틱 피드백을 제공할 수 있다. 바람직하게, 스피커 장치(220)는 저음파용 스피커(woofer, 우퍼)로서, 저음파용 스피커에서 저음이 발생하면, 해당 저음을 사용자가 촉각으로 느껴 햅틱 피드백을 전달받을 수 있다.
스피커 장치(220)가 하나의 스피커인 경우, 햅틱 피드백 정보에는 햅틱 피드백 세기 정보 및 햅틱 피드백 시간 정보가 포함된다. 만약, 스피커 장치(220)가 다수(두 개 이상)의 스피커인 경우, 햅틱 피드백 정보에는 햅틱 피드백 발생 위치 정보가 더 포함되며, 진동 발생 위치에 대응하여 햅틱 피드백 세기 정보 및 햅틱 피드백 시간 정보가 포함된다. 또는, 다수의 스피커인 경우 햅틱 피드백 정보에는 각각의 스피커에 대응하여 햅틱 피드백 세기 정보 및 햅틱 피드백 시간 정보가 포함된다.
이하, 스피커 장치(220)가 사용자를 기준으로 오른쪽 및 왼쪽(사용자와 함께 감지되는 위치)에 스피커가 위치하는 경우를 예를 들어 설명한다.
일 예로서, 제어부(130)로부터 수신된 햅틱 피드백 정보의 햅틱 피드백 발생 위치 정보가 오른쪽 스피커, 햅틱 피드백 세기 정보가 단계 10, 및 햅틱 피드백 시간 정보가 5초이면, 스피커 장치(220)는 오른쪽의 스피커만을 5초 동안 단계 10 만큼의 크기로 동작(저음파 발생)시켜, 사용자가 오른쪽에서 진동을 느낄 수 있도록 하여, 스피커를 통해 햅틱 피드백이 전달될 수 있다.
다른 예로서, 제어부(130)로부터 수신된 햅틱 피드백 정보 중 햅틱 피드백 발생 위치 정보가 오른쪽 및 왼쪽 스피커이고, 오른쪽 스피커에 대응하여 햅틱 피드백 세기 정보가 단계 10, 및 햅틱 피드백 시간 정보가 5초이고, 왼쪽 스피커에 대응하여 햅틱 피드백 세기 정보가 단계 3, 및 햅틱 피드백 시간 정보가 5초이면, 스피커 장치(220)는 5초 동안 오른쪽 스피커를 단계 10 만큼, 왼쪽 스피커를 단계 3 만큼 동작시켜, 사용자가 오른쪽에서 더 큰 진동을 느낄 수 있도록 하여, 방향성이 있는 햅틱 피드백이 전달될 수 있다.
이와 같이 동작 인식 인터페이스(100)는 햅틱 피드백 정보를 이용하여 스피커 장치(220)의 스피커 개수 및 배치 위치 등에 따라 다양한 햅틱 피드백 제공이 가능하다.
이와 같이 본 발명에 다른 실시예에 따르면, 사용자는 부가적인 햅틱 장치를 손에쥐거나 별도로 착용/부착하지 않고 사용자 주변에 위치한 스피커를 통해 햅틱 피드백을 제공받을 수 있어 사용자의 편의성 및 몰입도가 향상될 수 있다.
도 4는 본 발명의 실시예에 따른 사용자 동작 인식 기반의 햅틱 피드백 제공 장치에 의한 햅틱 피드백 제공 방법 흐름도이다.
먼저, 동작 인식 인터페이스(100)는 센서로 사용자가 취하는 동작을 감지한다(S100).
여기서, 센서는 사용자가 취하는 동작을 감지하기 위해 소정의 위치에 장착된 센서로서, 깊이 센서 또는 RGB 센서 중 적어도 하나의 센서이다. 또한, 사용자는 센서가 감지하는 감지 영역에 포함될 수 있도록 센서를 마주보는 소정 영역에 위치하여 응용 프로그램을 제어하기 위한 동작(특정 동작)을 취할 수 있다. 예컨대, 센서가 사용자를 촬영하는 카메라 장치에 포함되어 구현된 경우, 카메라 장치는 사용자가 취하는 동작을 촬영하여 촬영 영상을 획득하며, 획득된 촬영 영상에는 센서에 의해 감지된 감지 정보가 포함될 수 있다. 즉, 동작 인식 인터페이스(100)는 센서로부터 사용자가 취하는 동작을 감지한 감지 정보를 획득할 수 있다.
동작 인식 인터페이스(100)는 센서에 의해 사용자가 감지된 감지 정보를 통해 사용자가 취하는 특정 동작을 인식한다(S200).
구체적으로, 동작 인식 인터페이스(100)는 센서로부터 수신되는 감지 정보를 정보 처리 알고리즘을 이용하여 정보 처리하여 실시간으로 사용자가 특정 동작을 취하는지 여부를 확인한다. 예컨대, 센서를 포함한 카메라 장치로부터 촬영 영상을 획득하는 경우, 동작 인식 인터페이스(100)는 촬영 영상을 영상 처리 알고리즘을 이용하여 영상 처리하여 촬영 영상에 포함된 감지 정보를 추출할 수 있다.
여기서 특정 동작이라 함은, 이후 응용 프로그램을 제어할 때 이용되는 동작으로서, 기설정된 동작이다. 예를 들어, 특정 동작은 사용자가 얼굴을 어느 한 방향으로 기울이거나 돌리는 동작, 팔(왼팔, 오른팔 및 양팔)을 들어올리는 동작, 몸을 어느 한 방향으로 돌리는 동작 등과 같이 사용자가 취할 수 있는 동작이다. 이러한 특정 동작은 영상 처리 알고리즘을 통해 인식될 수 있으며, 특정 동작의 정보는 메모리에 다수 저장될 수 있다.
동작 인식 인터페이스(100)는 인식된 사용자의 특정 동작을 이용하여 응용 프로그램을 제어한다(S300).
구체적으로, 동작 인식 인터페이스(100)는 사용자가 취한 특정 동작에 대한 제어 정보를 메모리로부터 획득하여, 응용프로그램(애플리케이션)을 제어할 수 있다. 여기서, 응용 프로그램은 사용자의 동작에 따라 제어되는 동작 인식 기반의 프로그램이다. 예를 들어, 응용 프로그램은 동작 인식 기반의 게임 프로그램, 윈도우 탐색기와 같은 파일 탐색 프로그램, 구글 어스와 같은 지도 탐색 프로그램일 수 있다.
나아가, 동작 인식 인터페이스(100)는 햅틱 피드백 정보를 외부 장치(200)에 전달한다(S400).
구체적으로, 동작 인식 인터페이스(100)는 햅틱 피드백 정보의 출력 여부를 판단하여 판단 결과에 따라 햅틱 피드백 정보를 외부 장치(200)에 전달한다.
일 예로서, 동작 인식 인터페이스(100)는 인식된 사용자의 특정 동작에 따라 제어되는 응용프로그램의 동작과 상관없이 사용자가 취한 특정 동작에 따라 햅틱 피드백 정보를 출력할 수 있다. 이때, 메모리에는 다수의 특정 동작에 대응하여 햅틱 피드백 정보가 저장될 수 있다. 동작 인식 인터페이스(100)는 인식된 사용자의 특정 동작에 대응한 햅틱 피드백 정보를 메모리로부터 획득하여 외부 장치(200)에 전달할 수 있다.
다른 예로서, 동작 인식 인터페이스(100)는 사용자의 특정 동작에 따른 응용프로그램의 제어 동작에 따라 햅틱 피드백 정보를 출력할 수 있다. 이때, 다수의 응용프로그램의 다수의 제어 동작 각각에 따라 햅틱 피드백 정보가 메모리에 저장될 수 있다. 동작 인식 인터페이스(100)는 응용프로그램의 제어 동작에 대응한 햅틱 피드백 정보를 메모리로부터 획득하여 외부 장치(200)에 전달할 수 있다.
여기서, 햅틱 피드백 정보에는 햅틱 피드백 세기 정보, 햅틱 피드백 시간 정보가 포함될 수 있으며, 외부 장치(200)의 종류에 따라 출력되는 햅틱 피드백 정보에 포함된 정보는 달라질 수 있다. 햅틱 피드백 세기 정보는 진동의 강도에 따라 기설정된 소정 개수로 구분된 단계일 수 있으며, 햅틱 피드백 시간 정보는 진동을 발생하고자하는 소정 시간(초)일 수 있다.
나아가, 외부 장치(200)의 종류는 휴대용 단말장치(210) 또는 스피커 장치(220) 중 적어도 하나의 장치일 수 있으며, 만약 외부 장치(200)가 스피커 장치(220)인 경우, 햅틱 피드백 정보에는 햅틱 피드백 발생 위치 정보가 더 포함될 수 있다. 외부 장치(200)는 동작 인식 인터페이스(100)로부터 수신된 햅틱 피드백 정보를 이용하여 햅틱 피드백을 사용자에게 제공할 수 있다.
일 예로서, 외부 장치(200)는 휴대용 단말장치(210)일 수 있다. 여기서, 휴대용 단말장치(210)는 사용자가 소지/소유한 이동통신 단말기(예를 들어, 스마트폰)이며, 바람직하게 사용자가 손에 쥐고 있는 이동통신 단말기일 수 있다. 또한, 휴대용 단말장치(210)는 진동 발생을 위한 진동 소자를 내장한다.
동작 인식 인터페이스(100)는 데이터 통신망, WiFi, Bluetooth, NFC 등과 같은 무선 통신을 통해 휴대용 단말장치(210)에 햅틱 피드백 정보를 전달할 수 있다. 이때, 전달되는 햅틱 피드백 정보에는 햅틱 피드백 세기 정보 및 햅틱 피드백 시간 정보가 포함된다.
햅틱 피드백 정보를 수신한 휴대용 단말장치(210)는 내장된 진동 소자를 활성화하여, 햅틱 피드백 정보에 포함된 햅틱 피드백 세기 정보 및 햅틱 피드백 시간 정보에 따라 진동을 발생할 수 있으며, 사용자의 신체에 접촉된(사용자가 손으로 쥐고 있는) 휴대용 단말장치(210)를 통해 사용자는 햅틱 피드백, 즉 진동을 전달받을 수 있다.
예컨대, 햅틱 피드백 정보에 포함된 햅틱 피드백 세기 정보가 단계 10, 및 햅틱 피드백 시간 정보가 5초이면, 휴대용 단말장치(210)는 진동 소자를 5초 동안 단계 10 만큼의 크기(강도)로 동작(진동 소자 활성화)시킴으로써, 휴대용 단말장치(210)를 손에 쥐고 있는 사용자는 진동을 느낄 수 있어, 햅틱 피드백을 전달받을 수 있다.
다른 예로서, 외부 장치(200)는 스피커 장치(220)일 수 있다. 여기서, 스피커 장치(220)는 센서에 의해 사용자와 함께 감지되도록 사용자 주변의 소정 위치에 설치된 하나 이상의 스피커이다. 바람직하게, 스피커 장치(220)는 저음파용 스피커로서, 저음파용 스피커에서 저음이 발생하면, 해당 저음을 사용자가 촉각으로 느껴 햅틱 피드백을 전달받을 수 있다.
스피커 장치(220)가 사용자를 기준으로 오른쪽 및 왼쪽(사용자와 함께 감지되는 위치)에 스피커가 위치하는 경우를 예를 들어, 설명한다.
동작 인식 인터페이스(100)로부터 수신된 햅틱 피드백 정보의 햅틱 피드백 발생 위치 정보가 오른쪽 및 왼쪽 스피커이고, 오른쪽 스피커에 대응하여 햅틱 피드백 세기 정보가 단계 10, 및 햅틱 피드백 시간 정보가 5초이고, 왼쪽 스피커에 대응하여 햅틱 피드백 세기 정보가 단계 3, 및 햅틱 피드백 시간 정보가 5초인 햅틱 피드백 정보가 수신될 수 있다. 이러한 경우, 스피커 장치(220)는 5초 동안 오른쪽 스피커를 단계 10 만큼, 왼쪽 스피커를 단계 3 만큼 동작시켜, 사용자가 오른쪽에서 더 큰 진동을 느낄 수 있도록 하여, 방향성이 있는 햅틱 피드백이 전달될 수 있다.
이와 같이 본 발명에 일 실시예에 따르면, 사용자는 부가적인 햅틱 장치를 별도 착용하지 않고 자신의 휴대용 단말장치를 이용하여 햅틱 피드백(햅틱 인터페이스)을 제공받을 수 있으며, 개발자의 입장에서 동작 인식 기반의 컴퓨터 프로그램 개발 외에도 특정 햅틱 장치를 부가적으로 연동하여 개발하지 않아도 된다.
또한 본 발명에 다른 실시예에 따르면, 사용자는 부가적인 햅틱 장치를 손에쥐거나 별도로 착용/부착하지 않고 사용자 주변에 위치한 스피커를 통해 햅틱 피드백을 제공받을 수 있어 사용자의 편의성 및 몰입도가 향상될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
10 : 햅틱 피드백 제공 장치 100 : 동작 인식 인터페이스
110 : 감지부 120 : 인식부
130 : 제어부 200 : 외부 장치
210 : 휴대용 단말장치 220 : 스피커 장치

Claims (16)

  1. 사용자가 취하는 동작을 감지하는 감지부;
    상기 감지부에 의해 상기 사용자의 동작이 감지된 감지 정보를 처리하여 상기 사용자가 취한 특정 동작을 인식하는 인식부; 및
    상기 인식부에 의해 인식된 상기 사용자의 특정 동작을 고려하여 햅틱 피드백 정보의 출력 여부를 판단하며, 상기 판단 결과에 따라 출력되는 상기 햅틱 피드백 정보를 휴대용 단말장치, 또는 스피커 장치 중 적어도 하나의 외부 장치로 전달하여 상기 사용자에게 햅틱 피드백을 제공하는 제어부;
    를 포함하되,
    상기 휴대용 단말장치는 내부에 진동 소자가 포함된 상기 사용자의 이동통신 단말기이며,
    상기 스피커 장치는 상기 사용자와 함께 상기 감지부의 감지 영역에 포함되도록 상기 사용자 주변의 소정 위치에 설치된 하나 이상의 저음파용 스피커(woofer, 우퍼)인 것
    인 사용자 동작 인식 기반의 햅틱 피드백 제공 장치.
  2. 제1항에 있어서,
    상기 햅틱 피드백 정보에는 햅틱 피드백 세기 정보 및 햅틱 피드백 시간 정보가 포함되는 것인 사용자 동작 인식 기반의 햅틱 피드백 제공 장치.
  3. 제1항에 있어서,
    상기 제어부는 상기 인식부에 의해 인식된 상기 사용자의 특정 동작에 따라 응용 프로그램을 제어하며, 상기 응용 프로그램의 제어에 따라 상기 햅틱 피드백 정보의 전달 여부를 판단하는 것인 사용자 동작 인식 기반의 햅틱 피드백 제공 장치.
  4. 삭제
  5. 제1항에 있어서,
    상기 제어부는 무선 통신을 통해 상기 휴대용 단말장치로부터 가속도 정보 및 사용자 입력 정보, 고유 식별자 정보 및 접속 정보 중 적어도 하나의 정보를 수신하여 응용 프로그램 제어시 이용하는 것인 사용자 동작 인식 기반의 햅틱 피드백 제공 장치.
  6. 제1항에 있어서,
    상기 제어부는 무선 통신을 통해 상기 휴대용 단말장치로 상기 사용자의 동작 정보 및 상기 사용자의 신체 부위의 위치 정보 중 적어도 하나의 정보를 전송하는 것인 사용자 동작 인식 기반의 햅틱 피드백 제공 장치.
  7. 삭제
  8. 제1항에 있어서,
    상기 감지부는 구조광 방식의 깊이(depth) 센서, ToF(Time of Flight) 방식의 깊이 센서, 스테레오 방식의 깊이 센서, RGB 센서 중 적어도 하나의 센서를 포함하는 것인 사용자 동작 인식 기반의 햅틱 피드백 제공 장치.
  9. 사용자 동작 인식 기반의 햅틱 피드백 제공 장치에 의한 햅틱 피드백 제공 방법으로서,
    사용자가 취하는 동작을 감지하는 단계;
    감지된 감지 정보를 처리하여 상기 사용자의 동작을 인식하는 단계;
    인식된 상기 사용자의 동작에 따라 햅틱 피드백 정보의 전달 여부를 판단하는 단계; 및
    상기 판단 결과에 따라 상기 햅틱 피드백 정보를 휴대용 단말장치, 또는 스피커 장치 중 적어도 하나의 외부 장치로 전달하는 단계;
    를 포함하되,
    상기 휴대용 단말장치는 내부에 진동 소자가 포함된 상기 사용자의 이동통신 단말기이며, 상기 스피커 장치는 상기 사용자와 함께 감지부의 감지 영역에 포함되도록 상기 사용자 주변의 소정 위치에 설치된 하나 이상의 저음파용 스피커(woofer, 우퍼)인 것
    인 사용자 동작 인식 기반의 햅틱 피드백 제공 방법.
  10. 제9항에 있어서, 상기 전달하는 단계는 :
    햅틱 피드백 세기 정보 및 햅틱 피드백 시간 정보 중 적어도 하나의 정보를 포함하는 상기 햅틱 피드백 정보를 전송하는 단계를 포함하는 것인 사용자 동작 인식 기반의 햅틱 피드백 제공 방법.
  11. 제9항에 있어서,
    인식된 상기 사용자의 동작에 따라 응용 프로그램을 제어하는 단계;
    를 더 포함하는 사용자 동작 인식 기반의 햅틱 피드백 제공 방법.
  12. 삭제
  13. 제11항에 있어서, 상기 제어하는 단계는 :
    무선 통신을 통해 상기 휴대용 단말장치로부터 가속도 정보 및 사용자 입력 정보, 고유 식별자 정보 및 접속 정보 중 적어도 하나의 정보를 수신하여 상기 응용 프로그램 제어시 이용하는 단계를 포함하는 것인 사용자 동작 인식 기반의 햅틱 피드백 제공 방법.
  14. 제11항에 있어서,
    무선 통신을 통해 상기 휴대용 단말장치로 상기 사용자의 동작 정보 및 상기 사용자의 신체 부위의 위치 정보 중 적어도 하나의 정보를 전송하는 단계;
    를 더 포함하는 것인 사용자 동작 인식 기반의 햅틱 피드백 제공 방법.
  15. 삭제
  16. 제9항에 있어서, 상기 감지하는 단계는 :
    구조광 방식의 깊이 센서, ToF 방식의 깊이 센서, 스테레오 방식의 깊이 센서, RGB 센서 중 적어도 하나의 센서를 이용하여 상기 사용자가 취하는 동작을 감지하는 단계를 포함하는 것인 사용자 동작 인식 기반의 햅틱 피드백 제공 방법.
KR1020130155717A 2013-12-13 2013-12-13 사용자 동작 인식 기반의 햅틱 피드백 제공 장치 및 그 동작 방법 KR101720655B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130155717A KR101720655B1 (ko) 2013-12-13 2013-12-13 사용자 동작 인식 기반의 햅틱 피드백 제공 장치 및 그 동작 방법
US14/550,835 US20150169062A1 (en) 2013-12-13 2014-11-21 Device for providing haptic feedback based on user gesture recognition and method of operating the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130155717A KR101720655B1 (ko) 2013-12-13 2013-12-13 사용자 동작 인식 기반의 햅틱 피드백 제공 장치 및 그 동작 방법

Publications (2)

Publication Number Publication Date
KR20150069615A KR20150069615A (ko) 2015-06-24
KR101720655B1 true KR101720655B1 (ko) 2017-04-11

Family

ID=53368385

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130155717A KR101720655B1 (ko) 2013-12-13 2013-12-13 사용자 동작 인식 기반의 햅틱 피드백 제공 장치 및 그 동작 방법

Country Status (2)

Country Link
US (1) US20150169062A1 (ko)
KR (1) KR101720655B1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110850705B (zh) 2013-09-03 2021-06-29 苹果公司 用于可穿戴电子设备的表冠输入
CN104463152B (zh) * 2015-01-09 2017-12-08 京东方科技集团股份有限公司 一种手势识别方法、系统、终端设备及穿戴式设备
DE102015009031A1 (de) * 2015-07-11 2017-01-12 Man Truck & Bus Ag Funktionsauswahl über Gestik-Steuerung mit haptischer Rückmeldung
US9891711B1 (en) 2016-07-26 2018-02-13 Toyota Motor Engineering & Manufacturing North America, Inc. Human machine interface with haptic response based on phased array LIDAR
WO2018155296A1 (ja) * 2017-02-23 2018-08-30 パナソニックＩｐマネジメント株式会社 光学装置
US10433630B2 (en) * 2018-01-05 2019-10-08 L'oreal Cosmetic applicator system including trackable cosmetic device, and client device to assist users in makeup application
US10810902B2 (en) * 2018-01-05 2020-10-20 L'oreal Trackable cosmetic device to assist users in makeup application
US11435830B2 (en) 2018-09-11 2022-09-06 Apple Inc. Content-based tactile outputs
US20200192480A1 (en) * 2018-12-18 2020-06-18 Immersion Corporation Systems and methods for providing haptic effects based on a user's motion or environment
US10996761B2 (en) * 2019-06-01 2021-05-04 Apple Inc. User interfaces for non-visual output of time
JP6947205B2 (ja) * 2019-08-26 2021-10-13 ダイキン工業株式会社 空気調和システム、および、空気調和システムを用いた情報提供方法
WO2023149782A1 (ko) * 2022-02-07 2023-08-10 삼성전자 주식회사 햅틱 기능을 제공하기 위한 전자 장치 및 그 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101350776B1 (ko) * 2012-03-05 2014-01-16 연세대학교 산학협력단 장갑 기반의 인터페이스 장치, 그리고 이를 이용한 햅틱 시스템 및 방법
KR20140090318A (ko) * 2013-01-07 2014-07-17 삼성전자주식회사 햅틱 기반 카메라 운용 지원 방법 및 이를 지원하는 단말기
US20140258880A1 (en) * 2013-03-07 2014-09-11 Nokia Corporation Method and apparatus for gesture-based interaction with devices and transferring of contents
US9645652B2 (en) * 2013-05-28 2017-05-09 The Boeing Company Ubiquitous natural user system for human-machine interaction

Also Published As

Publication number Publication date
KR20150069615A (ko) 2015-06-24
US20150169062A1 (en) 2015-06-18

Similar Documents

Publication Publication Date Title
KR101720655B1 (ko) 사용자 동작 인식 기반의 햅틱 피드백 제공 장치 및 그 동작 방법
KR102535720B1 (ko) 전자 기기
JP6131270B2 (ja) 触力覚スリーブを使用した感知機能のモバイルデバイスへの統合
KR102041984B1 (ko) 추가 구성 요소를 이용한 얼굴 인식 기능을 가지는 모바일 장치 및 그 제어 방법
KR102371212B1 (ko) 전자 장치 및 그의 지오펜스 관리 방법
KR20160071887A (ko) 이동단말기 및 그것의 제어방법
KR102055677B1 (ko) 이동 로봇 및 그 제어방법
KR20190103878A (ko) 전자 기기
KR20140142778A (ko) 전자 펜 좌표 보정 방법 및 이를 지원하는 휴대형 전자장치
KR102060712B1 (ko) 이동 단말기, 및 그 동작방법
US10523859B2 (en) Portable camera and controlling method thereof
KR20200028771A (ko) 사용자 의도 기반 제스처 인식 방법 및 장치
KR20150146295A (ko) 헤드 마운티드 디스플레이 및 그것의 제어방법
US11601806B2 (en) Device, computer program and method
KR20200067593A (ko) 증강 현실 이모지를 생성하기 위한 전자 장치 및 그에 관한 방법
KR20190134863A (ko) 외부 전자 장치를 제어하는 전자 장치 및 방법
CN111062725A (zh) 人脸支付方法、装置及系统、计算机可读存储介质
KR20190058979A (ko) 진동을 제공하는 방법 및 이를 지원하는 전자 장치
KR102336982B1 (ko) 이동 단말기 및 그 제어 방법
US11262845B2 (en) Device and method for providing vibration
CN109124647B (zh) 一种激光模组、激光模组的探测方法和终端
KR20160016397A (ko) 이동 단말기 및 그 제어방법
KR102130801B1 (ko) 손목 스탭 검출 장치 및 그 방법
CN111176606B (zh) 电子设备及其音量调节方法
KR102118434B1 (ko) 모바일 디바이스 및 그 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200224

Year of fee payment: 4