KR20150017974A - 원격 피드백 제공 장치 및 그 방법 - Google Patents

원격 피드백 제공 장치 및 그 방법 Download PDF

Info

Publication number
KR20150017974A
KR20150017974A KR1020130094298A KR20130094298A KR20150017974A KR 20150017974 A KR20150017974 A KR 20150017974A KR 1020130094298 A KR1020130094298 A KR 1020130094298A KR 20130094298 A KR20130094298 A KR 20130094298A KR 20150017974 A KR20150017974 A KR 20150017974A
Authority
KR
South Korea
Prior art keywords
input means
feature point
feedback
region
input
Prior art date
Application number
KR1020130094298A
Other languages
English (en)
Inventor
그레제고즈 그레제시악
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130094298A priority Critical patent/KR20150017974A/ko
Publication of KR20150017974A publication Critical patent/KR20150017974A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

원격 피드백 제공 장치 및 그 방법이 제공된다. 본 발명의 일 실시예에 따른 원격 피드백 제공 방법은, 사용자 장치에 디스플레이 되는 UI 객체를 조작하는 입력 수단의 이미지를 획득하는 단계, 상기 획득한 이미지에서 상기 GUI 객체의 조작에 이용되는 적어도 하나의 유효 특징점을 결정하는 단계 및 상기 유효 특징점의 움직임을 추적하여 상기 GUI 객체의 조작과 관련되는 입력 이벤트를 감지한 경우, 상기 입력 이벤트의 감지에 따른 원격 피드백을 상기 입력 수단에 제공하는 단계를 포함한다.

Description

원격 피드백 제공 장치 및 그 방법{DEVICE FOR PROVIDING DISTANT FEEDBACK AND METHOD THEREOF}
본 발명은, 원격 피드백 제공 장치 및 그 방법에 관한 것이다. 보다 상세하게는, 디스플레이 되는 GUI(Graphic User Interface) 객체를 근접 범위에서 제어하는 경우에, 입력 수단에 대해서 원격 피드백을 제공할 수 있는 장치 및 그 방법에 관한 것이다.
사용자 장치에 관한 기술이 급속도로 발전하고 있다. 특히, 사용자가 휴대할 수 있는 사용자 장치, 예를 들면, 스마트 폰 에는 다양한 GUI 객체가 사용자에게 제공되고 있으며, GUI 객체를 통하여 사용자에게 유익한 서비스를 제공하고 있다.
GUI 객체를 통한 서비스 제공에 있어서, 사용자 편의성을 증대시키기 위한 노력들이 지속적으로 이루어지고 있다. 이러한 노력은 사용자 장치를 형성하는 구조적인 구성요소의 변화 또는 개량뿐만 아니라, 소프트웨어나 하드웨어의 개량도 포함한다. 그 중에서 사용자 장치의 터치 기능은 터치 스크린을 이용하여 버튼 내지는 키 입력이 익숙하지 아니한 사용자도 편리하게 사용자 장치를 조작할 수 있도록 한 것으로서, 최근에는 단순한 입력뿐만 아니라 사용자 인터페이스(UI)와 함께 사용자 장치의 중요한 기능으로서 자리 잡아가고 있다.
사용자 편의성을 향상시키기 위한 일례로, GUI 객체를 조작하기 위한 입력 수단(예를 들면, 사용자의 손, 스타일러스 펜 등)의 움직임을 감지하여 입력 이벤트가 입력되면 입력 수단에 대해서 피드백(예를 들면, 햅틱 피드백)을 제공하는 것이 일반적이다.
그러나, 이러한 종래의 발명은 원격으로 GUI 객체를 조작하는 경우에 대해서는 사용자에게 피드백 효과를 제공할 수 없으며, 원격으로 피드백을 제공하는 경우에는, 진동 장치가 내장된 패드 또는 특수한 글러브 등과 같은 부가적인 기기를 이용하여야 원격으로 피드백을 제공받을 수 있다는 문제점이 있다.
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 본 발명이 해결하고자 하는 기술적 과제는, 근접 범위 내에서 GUI 객체를 조작하는 경우에도 사용자에게 소정의 원격 피드백 효과를 발생시킬 수 있는 원격 피드백 제공 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 근접 범위 내에서 GUI 객체를 조작하는 경우에도 사용자에게 소정의 원격 피드백 효과를 발생시킬 수 있는 원격 피드백 제공 장치를 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제안되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 원격 피드백 제공 방법은, 사용자 장치에 디스플레이 되는 UI 객체를 조작하는 입력 수단의 이미지를 획득하는 단계, 상기 획득한 이미지에서 상기 GUI 객체의 조작에 이용되는 적어도 하나의 유효 특징점을 결정하는 단계 및 상기 유효 특징점의 움직임을 추적하여 상기 GUI 객체의 조작과 관련되는 입력 이벤트를 감지한 경우, 상기 입력 이벤트의 감지에 따른 원격 피드백을 상기 입력 수단에 제공하는 단계를 포함하는 것일 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 원격 피드백 제공 장치는, 사용자 장치에 디스플레이 되는 UI 객체를 조작하는 입력 수단의 이미지를 촬영하는 카메라 모듈 및 상기 획득한 이미지에서 상기 GUI 객체의 조작에 이용되는 적어도 하나의 유효 특징점을 결정하고, 상기 유효 특징점의 움직임을 추적하여 상기 GUI 객체의 조작과 관련되는 입력 이벤트를 감지하는 제어부 및 상기 입력 이벤트의 감지에 따른 원격 피드백을 상기 입력 수단에 제공하는 피드백 제공부를 포함하는 것일 수 있다.
상기와 같은 본 발명에 따르면, 사용자 장치에 디스플레이 되는 GUI 객체에 대하여 원격으로 조작하는 경우에도 사용자 장치를 조작하는 사용자에게 GUI 객체의 조작에 따른 피드백을 제공할 수 있어, 사용자 편의성을 향상시킬 수 있는 효과가 있다.
본 발명의 효과는 상기 기술된 효과로 제한되지 아니하며, 다양한 효과가 본 명세서 상에 내재되어 있다.
도 1은 본 발명의 일 실시예에 따른 사용자 장치의 개략도이다.
도 2는 본 발명의 일 실시예에 따른 원격 피드백 제공 방법에 관한 순서도이다.
도 3은 본 발명의 다른 실시예에 따른 원격 피드백 제공 방법에 관한 순서도이다.
도 4는 입력 수단의 특징점 및 유효 특징점이 결정되는 제1 실시예를 도시한 것이다.
도 5는 입력 수단의 특징점 및 유효 특징점이 결정되는 제2 실시예를 도시한 것이다.
도 6은 본 발명의 일 실시예에 따른 입력 수단이 근접 범위 내에 위치하는 경우를 도시한 것이다.
도 7은 본 발명의 일 실시예에 따른 입력 수단이 근접 범위 내에 위치하지 아니하는 경우를 도시한 것이다.
도 8은 본 발명의 일 실시예에 따른 제1 영역과 제2 영역에 입력 수단이 위치한 경우에 원격 피드백을 제공하는 방법에 관한 순서도이다.
도 9는 본 발명의 일 실시예에 따른 입력 수단이 근접 범위 중 제1 영역에 위치하는 경우를 도시한 것이다.
도 10은 본 발명의 일 실시예에 따른 입력 수단이 근접 범위 중 제2 영역에 위치하는 경우를 도시한 것이다.
도 11은 본 발명의 일 실시예에 따른 입력 수단의 움직임에 따라 유효 특징점이 사용자 장치 상에서 이동하는 것을 도시한 것이다.
도 12는 본 발명의 일 실시예에 따른 입력 수단이 제1 영역에 위치한 경우에 입력 수단이 촉각적 피드백을 제공받는 것을 도시한 것이다.
도 13은 본 발명의 일 실시예에 따른 입력 수단이 제2 영역에 위치한 경우에 입력 수단이 시각적 피드백을 제공받는 것을 도시한 것이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하여 상세하게 설명한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명의 일 실시예에 따른 사용자 장치는 스마트 폰이 바람직할 것이나, 이에 의하여 제한되는 것은 아니다. 즉, 사용자 장치는, 퍼스널 컴퓨터 또는 스마트 TV와 같은 장치를 포함할 수 있다. 이하에서는 사용자 장치가 스마트 폰인 경우를 예를 들어 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 사용자 장치의 개략도이다.
도 1을 참조하면, 사용자 장치(100)는, 제어부(110), 카메라 모듈(120), 센서 모듈(130), 디스플레이부(140), 디스플레이부 컨트롤러(145), 저장부(150), 피드백 제공부(160)를 포함할 수 있다. 멀티미디어 모듈(160)은, 오디오 재생 모듈(162) 및 동영상 재생 모듈(163)을 포함할 수 있다.
제어부(110)는 CPU(111), 사용자 장치(100)의 제어를 위한 제어프로그램이 저장된 롬(ROM, 112) 및 장치(100)의 외부로부터 입력되는 신호 또는 데이터를 기억하거나, 장치(100)에서 수행되는 작업을 위한 기억영역으로 사용되는 램(RAM, 113)을 포함할 수 있다. CPU(111)는 싱글 코어, 듀얼 코어, 트리플 코어, 또는 쿼드 코어를 포함할 수 있다. CPU(111), 롬(112) 및 램(113)은 내부버스(bus)를 통해 상호 연결될 수 있다.
제어부(110)는, 카메라 모듈(120), 센서 모듈(130), 디스플레이부 컨트롤러(145), 저장부(150) 및 멀티미디어 모듈(160)을 제어할 수 있다. 제어부(110)는, 카메라 모듈(120)이 촬영한 이미지에서 입력 수단(200)에 포함되는 적어도 하나의 특징점(210)을 검출하고, 검출된 특징점(210) 중에서 GUI 객체(600a, 600b, 600c, 600d)에 대한 조작에 이용되는 적어도 하나의 유효 특징점(210c)을 결정하고, 유효 특징점(210c)의 움직임을 추적하여 GUI 객체(300a, 300b, 300c)의 조작과 관련되는 입력 이벤트를 감지할 수 있다.
카메라 모듈(120)은 제어부(110)의 제어에 따라 정지 이미지 또는 동영상을 촬영하는 카메라를 포함할 수 있다. 또한, 카메라 모듈(120)은 촬영에 필요한 광량을 제공하는 보조 광원(예, 플래시(미도시))을 포함할 수 있다.
카메라 모듈(120)은, 하나의 카메라로 구성될 수 있고, 복수의 카메라로 구성될 수도 있다. 본 발명의 일 실시예로서의 카메라 모듈(120)은, ToF(Time of Flight) 방식을 이용하여 이미지를 촬영하는 카메라(이하, 필요에 따라, "ToF 카메라" 라고 지칭하기로 한다) 또는 스테레오스코픽(stereoscopic) 방식을 이용하여 이미지를 촬영하는 카메라(이하, 필요에 따라 "스테레오스코픽 카메라"라고 지칭하기로 한다)로 구성될 수 있다. 그러나 이에 의하여 카메라 모듈(120)의 실시예가 제한되는 것은 아니다.
센서 모듈(130)은 사용자 장치(100)의 상태를 검출하는 적어도 하나의 센서를 포함한다. 예를 들어, 센서 모듈(130)은 사용자 장치(100)에 대한 접근여부를 검출하는 근접센서와 사용자 장치(100) 주변의 빛의 양을 검출하는 조도센서를 포함할 수 있다. 또한, 센서 모듈(130)은 자이로 센서(Gyro Sensor)를 포함할 수 있다. 상기 자이로 센서는 사용자 장치(100)의 동작(예, 사용자 장치(100)의 회전, 사용자 장치(100)에 가해지는 가속도 또는 진동)을 검출할 수 있고, 지구 자기장을 이용해 방위(point of the compass)를 검출할 수도 있으며, 중력의 작용 방향을 검출할 수도 있다. 센서 모듈(130)은 대기의 압력을 측정하여 고도를 검출하는 고도계(Altimeter)를 포함할 수 있다. 상기 적어도 하나의 센서는 상태를 검출하고, 검출에 대응되는 신호를 생성하여 제어부(110)로 전송할 수 있다. 센서 모듈(130)의 상기 적어도 하나의 센서는 사용자 장치(100)의 성능에 따라 추가되거나 삭제될 수 있다.
센서 모듈(130)은 입력 수단(200)과 사용자 장치(100)와의 거리를 측정하는 센서를 구비할 수 있다. 센서 모듈(130)이 획득한 입력 수단(200)과 사용자 장치(100)와의 거리를 기초로 하여 제어부(110)는 원격 피드백을 제공하거나 제공하지 아니할 수 있다. 예를 들어, 제어부(110)는 센서 모듈(130)이 측정한 거리를 기초로 하여 사용자 장치(100)와 입력 수단(200)과의 거리가 소정의 근접 범위(close range, 300)에 포함되는지 여부를 판단하고, 제어부(110)는, 입력 수단(200)의 유효 특징점(210c)이 근접 범위(300) 내에 포함되는지 여부에 따라서, 피드백을 제공하거나 제공하니 아니하도록 제어할 수 있다. 이를 위하여 센서 모듈(130)은, 바람직하게는 적어도 하나의 초음파 센서를 포함할 수 있으나, 초음파 센서는 예시적인 것으로서, 거리를 측정할 수 있는 다른 종류의 센서를 배제하는 의미는 아니다.
디스플레이부(140)는 사용자에게 다양한 서비스(예, 통화, 데이터 전송, 방송, 사진촬영)에 대응되는 유저 인터페이스를 제공할 수 있다. 디스플레이부(140)가 터치 스크린으로 구성되는 경우, 디스플레이부(140)는 유저 인터페이스에 입력되는 적어도 하나의 터치에 대응되는 아날로그 신호를 디스플레이부 컨트롤러(145)로 전송할 수 있다. 디스플레이부(190)은 사용자의 신체(예, 엄지를 포함하는 손가락) 또는 터치가능한 입력 수단(예, 스타일러스 펜)을 통해 적어도 하나의 터치를 입력받을 수 있다. 본 명세서에서는 디스플레이부(140)의 바람직한 실시예로서, 디스플레이부(140)가 터치 스크린인 경우를 예를 들어 설명하기로 한다. 다만, 이에 의하여 디스플레이부(140)의 종류가 제한되는 것은 아니다.
디스플레이부(140)는 적어도 하나의 터치 중에서, 하나의 터치의 연속적인 움직임을 입력받을 수 있다. 디스플레이부(140)는 입력되는 터치의 연속적인 움직임에 대응되는 아날로그 신호를 디스플레이부 컨트롤러(145)로 전송할 수 있다. 본 발명에서 터치는 디스플레이부(140)과 사용자의 신체 또는 터치 가능한 입력 수단과의 접촉에 한정되지 않고, 원격을 포함할 수 있다. 디스플레이부(140)에서 검출 가능한 간격은 센서 모듈(130)의 성능 또는 구조에 따라 변경될 수 있다.
디스플레이부(140)는 예를 들어, 저항막 (resistive) 방식, 정전용량 (capacitive) 방식, 적외선(infrared) 방식 또는 초음파(acoustic wave) 방식으로 구현될 수 있다.
디스플레이부 컨트롤러(145)는 디스플레이부(140)에서부터 수신된 아날로그 신호를 디지털 신호(예, X와 Y좌표)로 변환하여 제어부(110)로 전송한다. 제어부(110)는 디스플레이부 컨트롤러(145)로부터 수신된 디지털 신호를 이용하여 디스플레이부(140)를 제어할 수 있다. 예를 들어, 제어부(110)는 터치에 응답하여 디스플레이부(140)에 디스플레이된 단축 아이콘(미도시)이 선택되게 하거나 또는 단축 아이콘(미도시)을 실행할 수 있다. 또한, 디스플레이부 컨트롤러(145)는 제어부(110)에 포함될 수도 있다.
저장부(150)는, 제어부(110)의 제어에 따라 카메라 모듈(120), 센서 모듈(130), 디스플레이부 컨트롤러(145), 저장부(150) 및 멀티미디어 모듈(160)의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(150)는 사용자 장치(100) 또는 제어부(110)의 제어를 위한 제어 프로그램 및 GUI 객체들을 저장할 수 있다.
"저장부"라는 용어는 저장부(150), 제어부(110)내 롬(112), 램(113) 또는 사용자 장치(100)에 장착되는 메모리 카드(미도시)(예, SD 카드, 메모리 스틱)를 포함한다. 저장부(150)는 비휘발성 메모리, 휘발성메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.
피드백 제공부(160)는, 입력 수단(200)의 유효 특징점(210c)이 근접 영역(300)에 포함되는 경우에는, 소정의 피드백을 입력 수단(200)에 대하여 제공할 수 있다. 본 명세서에서는 입력 수단(200)의 바람직한 실시예로서 사용자의 손을 들어 설명하고 있으나, 이에 의하여 입력 수단(200)의 실시예가 제한되지 아니함은 통상의 기술자에게 명확하다. 후술하는 바와 같이, 본 발명의 일 실시예는, 입력 수단(200)의 유효 특징점(210c)이 근접 범위(300) 중 제1 영역(300a)에 포함된 경우에는 촉각적 피드백을 제공하도록 구성될 수 있고, 입력 수단(200)의 유효 특징점(210c)이 근접 범위(300) 중 제2 영역(300b)에 포함된 경우에는 시각적 피드백을 제공하도록 구성될 수 있다. 다만, 이는 본 발명의 바람직한 실시예에 불과한 것으로서, 유효 특징점(210c)이 근접 범위(300) 중 제1 영역(300a)에 포함된 경우에 시각적 피드백을 제공하도록 구성될 수 있고, 유효 특징점(210c)이 근접 범위(300) 중 제2 영역(300b)에 포함된 경우에는 촉각적 피드백을 제공하도록 구성될 수도 있음은 물론이다. 본 명세서에서 언급되는 제1 영역(300a) 및 제2 영역(300b)은 사용자 장치(100)와 유효 특징점(210c)과의 거리를 기준으로 결정되는 것일 수 있다.
본 명세서에서 언급되는 "근접 범위(300)"라는 용어는, 일반적으로 사용자가 사용자 장치(100)와 상호 작용 할 수 있는 개인화된 공간 또는 영역을 말한다. 다시 말하면, 사용자 장치(100)가 입력 수단(200)의 이미지를 획득할 수 있고, 입력 수단(200)에 대해서 원격 피드백을 제공할 수 있는 범위를 의미하는 것일 수 있다. 따라서, 근접 범위(300)는 예를 들어, 20cm 내지 60cm의 범위 내에서 정의될 수 있다. 또한, 다른 실시예로서, 근접 범위(300)는 0m 내지 3.0m의 범위 내에서 정의될 수 있다. 몇몇 실시예에서, 근접 범위(300)는, 촬영 환경, 디스플레이부(140)의 크기, 사용자 장치(100)의 크기, 카메라 모듈(120) 또는 센서 모듈(130)의 해상도, 카메라 모듈(120) 또는 센서 모듈(130)의 정확도 등에 따라, 3.0m를 넘어서는 범위까지도 정의될 수 있다는 것은 통상의 기술자에게 자명하다고 할 것이다. 또한, 제1 영역(300a)은 바람직하게는 사용자 장치(100)와 2cm 이격된 사이의 공간으로 정의될 수 있을 것이지만, 이에 의하여 제한되는 것은 아니며, 사용자 장치(100)로부터 더 멀어질 수도 있다.
본 발명의 일 실시예로서 피드백 제공부(160)는 촉각적 피드백을 제공하기 위하여 초음파 발생 모듈을 포함할 수 있다. 즉, 본 발명의 일 실시예에 의한 촉각적 피드백은 초음파를 발생시켜 사용자 장치(100)에 일종의 펄스(pulse)를 통한 원격 햅틱 피드백을 제공하는 것일 수 있다. 촉각적 피드백을 제공하기 위하여, 초음파의 음파 방사 압력(Acoustic Radiation Pressure) 현상을 이용하는 것일 수 있다. 음파 방사 압력 현상이란, 초음파가 공기를 매질로 하여 전파되는 경우에 물체와 접촉하게 되면 초음파의 에너지가 소정의 압력으로 변하는 현상을 말한다. 따라서, 이러한 초음파의 음파 방사 압력 현상을 이용하면 사용자의 손을 포함하는 입력 수단(200)에 대하여 압력을 가할 수 있으며, 일종의 햅틱 피드백 효과를 발생시킬 수 있다. 본 발명의 일 실시예에 의한 촉각적 피드백은, 제1 영역(300a)이 예를 들어 사용자 장치(100)로부터 20mm 이격된 범위를 포함하는 경우에 제공되도록 구성될 수 있다. 다만, 초음파는 본 발명의 바람직한 실시예에 불과한 것으로서, 상기 음파 방사 압력 현상을 발생시킬 수 있는 다른 전자기파(electromagnetic wave)가 사용되는 것을 배제하는 것은 아니다.
본 발명의 다른 실시예로서 피드백 제공부(160)는 시각적 피드백을 제공하기 위하여 광을 조사하는 발광 소자를 포함할 수 있다. 즉, 유효 특징점(210c)이 제2 영역(300b)에 위치하는 경우에는, 전달 과정에서의 에너지의 손실 등으로 인하여 초음파를 이용하여 입력 수단(200)에 대하여 촉각적 피드백을 제공하지 못하는 경우가 있을 수 있다. 따라서, 예를 들면 LED 소자를 이용하여 입력 수단(200)에 대하여 LED 광을 조사하도록 구성될 수도 있으나, 이에 의하여 발광 소자의 종류가 제한되는 것은 아니다.
상술한 본 발명의 일 실시예 및 다른 실시예에 의한 피드백 제공 방법은, 입력 수단(200) 전체에 대하여 상기 초음파를 발생시키거나 상기 광을 조사하는 것일 수 있다. 또는, 특정한 유효 특징점(210c)에 대해서만 피드백을 제공할 수 있다. 상술한 "입력 수단(200) 전체"라는 말의 의미는, 유효 특징점(210c)을 고려하지 아니하고, 단지 사용자 장치(100)를 기준으로 입력 수단(200)이 위치하는 방향으로 상기 초음파를 발생하거나 상기 광을 조사한다는 의미이다. 이에 대해서는 후술하기로 한다.
도 2는 본 발명의 일 실시예에 따른 원격 피드백 제공 방법에 관한 순서도이고, 도 3은 본 발명의 다른 실시예에 따른 원격 피드백 제공 방법에 관한 순서도이다.
도 2 및 도 3을 참조하면, 입력 수단(200)의 이미지를 획득하고(S100), 입력 수단(200)에 포함되는 유효 특징점(210c)을 검출하여 디스플레이할 수 있다(S110). 제어부(110)는 입력 이벤트를 감지하고(S120) 입력 이벤트가 입력된 경우, 촉각적 피드백 또는 시각적 피드백을 제공할 수 있다(S130, S200) 제어부(110)는 입력 이벤트가 종료되었는지 여부를 판단하고(S140) 입력 이벤트가 종료되었으면 피드백 제공을 종료할 수 있다(S150)
도 4는 입력 수단의 특징점 및 유효 특징점이 결정되는 제1 실시예를 도시한 것이고, 도 5는 입력 수단의 특징점 및 유효 특징점이 결정되는 제2 실시예를 도시한 것이다.
도 4 (a)를 참조하면, 제어부(110)는 입력 수단(200)의 특징점(210)을 검출하고, 검출된 특징점(210)은 디스플레이부(140)에 인디케이터(210a)로 디스플레이 될 수 있다. 입력 수단(200)으로서의 사용자의 손은 다양한 복수의 특징점(210)을 포함할 수 있다. 사용자의 손에 대한 특징점은, 예를 들어, 손의 주름, 손가락 끝 부분 등이 될 수 있다. 제어부(110)는 획득된 사용자의 손의 이미지로부터 상기 특징들을 기초로 특징점(210)을 검출할 수 있다. 도 4 (b)를 참조하면, 유효 특징점(210c)이 결정되는 제1 실시예로서, 복수의 특징점(210) 중에서 입력 수단(200)의 형태에 따라 유효 특징점(210c)이 결정되는 실시예가 도시되어 있다. 도 4 (b)에 도시된 바와 같이, 사용자 장치(100)는 사용자의 손가락 끝부분을 유효 특징점(210c)으로 결정할 수 있다. 이는, 다양한 입력 수단(200)의 형태에 따라 입력 수단(200)의 어떤 부분을 유효 특징점(210c)으로 결정할 것인지 저장부(150)에 미리 설정 및 저장되어 있는 것일 수 있고, 또는, 입력 수단(200)의 형태를 실시간으로 분석하여 예를 들면, 입력 수단(200)의 말단 부분을 제어부(110)가 임의로 유효 특징점(210c)으로서 결정하는 것일 수 있다. 즉, 본 발명은 다수의 특징점(210) 중에서 입력 수단(200)의 형상 또는 사용자의 의도를 반영하여 유효 특징점(210c)이 설정되는 일종의 "필터링"과정을 거침으로써, 종래의 발명에 비하여 사용자 편의성을 보다 향상시킬 수 있는 효과가 있다.
도 5 (a)를 참조하면, 도 4 (a)와 마찬가지로 입력 수단(200)에 대한 특징점(210)이 사용자 장치(100)의 디스플레이부(140)에 인디케이터(210a)를 통하여 디스플레이 될 수 있다. 그러나, 도 3(a) 및 (b)와 다른 실시예로서, 유효 특징점(210c)을 사용자가 결정할 수 있도록 구성될 수도 있다. 즉, 도 4 (a)를 참조하면, 복수의 특징점(210)에 대한 인디케이터(210a) 중에서 사용자는 유효 특징점(210c)으로서 사용하고자 하는 특징점을 포함하는 영역(400)을 선택할 수 있다. 디스플레이부(140)가 터치 스크린으로 구성된다면, 사용자는 디스플레이부(140)에 영역(400)을 드로우(draw)하여 특징점을 포함하는 영역(400)을 선택할 수 있다. 터치 스크린이 아닌 경우에는 다른 입출력 인터페이스(예를 들어, 마우스 등)를 통하여 특징점을 포함하는 영역(400)을 선택할 수 있다. 사용자에 의하여 특징점을 포함하는 영역(400)이 결정되면, 영역(400) 내에 포함되는 특징점이 유효 특징점(210c)으로서 설정될 수 있다. 도 4(b)에 도시된 바에 따라, 선택된 유효 특징점(210c)만이 디스플레이부(140)에 디스플레이 될 수 있다. 디스플레이부(140)에 디스플레이 되는 인디케이터(210a, 210b)는 도면에서 원형으로 도시되어 있으나, 이는 예시적인 것으로서, 인디케이터(210a, 210b)의 형상이 이에 의하여 제한되는 것이 아님은 당연하다. 본 발명의 일 실시예에 의한 인디케이터(210a, 210b)는, 근접 범위(300)내에 포함되는 입력 수단(200)의 특징점(210) 및 유효 특징점(210c)만이 디스플레이 되는 것일 수 있다.
도 6은 본 발명의 일 실시예에 따른 입력 수단이 근접 범위 내에 위치하는 경우를 도시한 것이고, 도 7은 본 발명의 일 실시예에 따른 입력 수단이 근접 범위 내에 위치하지 아니하는 경우를 도시한 것이다.
도 6 및 도 7을 참조하면, 센서 모듈(130)은 사용자 장치(100)와 입력 수단의 유효 특징점(210c)과의 거리(500)를 감지할 수 있다. 제어부(110)는 감지한 거리(500)를 기초로 하여 유효 특징점이 근접 영역(300)에 포함되는지 여부를 판단할 수 있다. 도 6의 경우에는 GUI 객체(600a, 600b, 600c, 600d)를 조작하는데에 직접적으로 이용되는 유효 특징점(210c)이 근접 영역(300) 내에 위치하고 있는 경우이므로, 제어부(110)는 소정의 경우에 피드백을 제공하도록 제어할 수 있다. 반대로, 도 7을 참조하면, 근접 영역(300) 내에 유효 특징점(210c)이 위치하지 아니하는 경우이므로, 제어부(110)는 피드백을 제공하지 아니하도록 제어할 수 있다.
도 8은 본 발명의 일 실시예에 따른 제1 영역과 제2 영역에 입력 수단이 위치한 경우에 원격 피드백을 제공하는 방법에 관한 순서도이다.
도 8을 참조하면, 제어부(110)는 입력 이벤트를 감지할 수 있다(S300). 본 발명의 일 실시예로서의 입력 이벤트는, GUI 객체(600A, 600B, 600C, 600D)를 조작하는 모든 행위를 포함하는 것을 의미할 수 있다, 예를 들면, GUI 객체(600A, 600B, 600C, 600D)에 대한 터치(touch), 탭(tap), 스와이프(swipe), 플릭(flick), 핀치(pinch) 중 어느 하나 이상을 포함할 수 있다. 참고적으로, 본 명세서에서 언급되는 "터치"는, 디스플레이부(140)에 입력 수단(200)이 직접 접촉하는 물리적인 의미의 터치를 포함하는 것일 뿐만 아니라, 원격(예를 들면, 터치 스크린 사이에서 비접촉식으로)으로 GUI 객체(600A, 600B, 600C, 600D)객체를 조작하는 경우, GUI 객체(600A, 600B, 600C, 600D)가 디스플레이 되는 페이지 상에서 유효 특징점(210c)에 의해 이루어지는 비접촉 터치 또한 포함하는 개념으로 이해되어야 할 것이다. 또한, 상기 "탭", "스와이프", "플릭", "핀치" 또한 상술한 "터치"와 동일한 개념으로 이해되어야 할 것이다.
입력 이벤트를 감지하면, 유효 특징점(210c)과 사용자 장치(100)와의 거리를 감지할 수 있다(S310). 제어부(110)는 감지된 거리를 기초로 하여 유효 특징점(210c)이 제1 영역(300a)에 위치하는지 여부를 판단할 수 있으며(S320), 제1 영역(300a)에 위치하는 경우에는 촉각적 피드백을 제공하도록 제어할 수 있고, 제2 영역(300b)에 위치하는 경우에는 시각적 피드백을 제공하도록 제어할 수 있다(S340).
도 9는 본 발명의 일 실시예에 따른 입력 수단이 근접 범위 중 제1 영역에 위치하는 경우를 도시한 것이고, 도 10은 본 발명의 일 실시예에 따른 입력 수단이 근접 범위 중 제2 영역에 위치하는 경우를 도시한 것이다.
도 9를 참조하면, 입력 수단(200)의 유효 특징점(210c)은 제1 영역(300a)에 위치해 있는 바, 이 경우에는 상술한 촉각적 피드백이 제공될 수 있다. 도 10을 참조하면, 입력 수단(200)의 유효 특징점(210c)은 제2 영역(300b)에 위치해 있는 바, 이 경우에는 상술한 시각적 피드백이 제공될 수 있다. 다만, 도시된 제1 영역(300a)과 제2 영역(300b)의 크기 내지 범위는 예시적인 것으로 이해되어야 한다.
도 11은 본 발명의 일 실시예에 따른 입력 수단의 움직임에 따라 유효 특징점이 사용자 장치 상에서 이동하는 것을 도시한 것이다.
도 11을 참조하면, 유효 특징점(210c)에 대한 인디케이터(210b)가 디스플레이 된 상태에서, 인디케이터(210b)를 조작하기 위하여 입력 수단(200) 즉, 사용자의 손을 움직이면, 제어부(110)는 사용자의 손의 움직임을 추적하여 그에 대응하게 유효 특징점(210c)의 인디케이터(210b)를 이동하도록 제어할 수 있다. 유효 특징점(210c)의 인디케이터(210b))를 이용하여 사용자는 GUI 객체(600A, 600B, 600C, 600D)를 비접촉 터치 방식으로 조작할 수 있다.
도 12는 본 발명의 일 실시예에 따른 입력 수단이 제1 영역에 위치한 경우에 입력 수단이 촉각적 피드백을 제공받는 것을 도시한 것이다.
도 12 (a)를 참조하면, 디스플레이부(140)에 디스플레이 되는 GUI 객체(600A, 600B, 600C, 600D)는 가상의 객체 영역(610a, 610b, 610c, 610d)을 포함할 수 있다. 객체 영역(610a, 610b, 610c, 610d)은, 피드백 제공부(160)가 피드백 제공을 위한 판단 기준이 되는 영역으로서, 유효 특징점(210c)이 GUI 객체(600A, 600B, 600C, 600D)를 직접적으로 선택하고 있지 아니한 경우라고 하더라도, 유효 특징점(210c)이 객체 영역(610a, 610b, 610c, 610d)에 위치하고 있는 경우에는 해당 GUI 객체(600a)를 선택할 가능성이 높은 경우이므로 피드백을 제공하도록 구성될 수 있다. 본 발명의 일 실시예로서, 디스플레이부(140)는 피드백을 제공하기 위하여 가상의 영역으로 분할되는 것일 수 있다. 즉, 디스플레이부(140)는 제1 디스플레이 영역(140a)과 제2 디스플레이 영역(140b)으로 분할되어 구성될 수 있으며, 선택된 또는 선택 예정인(객체 영역(610a, 610b, 610c, 610d)에 유효 특징점(210c)이 위치하는 경우를 의미한다) GUI 객체가 위치하는 디스플레이 영역에 따라 제1 피드백 제공부(160) 또는 제2 피드백 제공부(160)가 동작할 수 있다. 예를 들어, 도 12(a)를 참조하면, 유효 특징점(210c) 중 하나의 유효 특징점이 객체 영역(610a)에 위치하고 있고, 이는 제2 디스플레이 영역(140b)에 위치하고 있는 것이므로, 이에 대응하여 제1 피드백 제공부(160)보다 상대적으로 하부에 위치하는 제2 피드백 제공부(160)가 동작하도록 구성될 수 있다. 반대로, 도 12(b)를 참조하면, 유효 특징점(210c) 중 하나의 유효 특징점이 객체 영역(610b)에 위치하고 있고, 이는 제1 디스플레이 영역(140a)에 위치하고 있는 것이므로, 이에 대응하여 제2 피드백 제공부(160)보다 상대적으로 상부에 위치하는 제1 피드백 제공부(160)가 동작하도록 구성될 수 있다. 다만, 이는 본 발명의 바람직한 실시예에 불과한 것이므로, 유효 특징점(210c)이 디스플레이부(140)의 어느 지점에 위치하는지 여부에 관계없이 제1 피드백 제공부(160) 및 제2 피드백 제공부(160) 모두가 동작하도록 구성될 수 있음은 물론이다.
도 13은 본 발명의 일 실시예에 따른 입력 수단이 제2 영역에 위치한 경우에 입력 수단이 시각적 피드백을 제공받는 것을 도시한 것이다.
도 13을 참조하면, 본 발명의 일 실시예에 따른 입력 수단이 제2 영역에 위치한 경우에 입력 수단이 시각적 피드백를 제공하는 원리는 상술한 도 12에 대한 촉각적 피드백 제공에 관한 설명이 동일하게 적용될 수 있다. 시각적 피드백을 제공하기 위하여 피드백 제공부는 발광 소자를 포함할 수 있으며, 바람직하게는 LED 모듈을 포함할 수 있으나, 이에 의하여 발광 소자의 종류가 제한되지 아니함은 상술한 바와 같다.
본 발명의 일 실시예에 의한 촉각적 피드백 또는 시각적 피드백은 상술한 바와 같이, 입력 수단(200) 전제에 대하여 제공될 수 있으며, 유효 특징점(210c)을 추적하여 유효 특징점(210c)에 대응되는 부분에만 피드백을 제공하도록 구성될 수 있다. 바람직한 실시예로서, 촉각적 피드백을 제공하는 경우에는 입력 수단(200) 전체에 대하여, 즉, 유효 특징점(210c)에 대응되는 입력 수단(200)의 부분을 고려함이 없이 입력 수단(200)이 위치하는 방향 쪽으로 피드백을 제공하도록 구성될 수 있고, 시각적 피드백을 제공하는 경우에는, 유효 특징점(210c)을 추적하여 해당 GUI 객체(600a) 또는 해당 객체 영역(610a)에 위치하는 유효 특징점에 대응되는 부분에 대해서만 피드백이 제공되도록 구성될 수 있다. 이에 대한 실시예는 도 12 및 도 13을 참조할 수 있다. 이를 위하여, 사용자 장치(100)는 입력 수단(200)의 움직임을 추적하고, 유효 특징점(210c)의 움직임을 판단하는 위치 추적 모듈(미도시)을 포함할 수 있으며, 상기 위치 추적 모듈은 입력 수단(200)의 움직임을 감지하여 유효 특징점(210c)에 대응되는 입력 수단(200)의 부분에 피드백을 제공하도록 구성될 수 있다. 다만, 별도의 위치 추적 모듈 없이 제어부가 상기 기능을 수행하도록 구성될 수도 있다. 아울러, 시각적 피드백을 제공하는 경우에, 유효 특징점(210c)에 대응되는 입력 수단(200)의 부분(예를 들면, 손가락의 끝 부분)에 시각적 피드백을 제공하기 위하여 발광 소자에 의하여 발생되는 광의 조사 방향을 조절하는 구동부(미도시)를 포함하도록 구성될 수 있다. 다만, 이는 본 발명의 바람직한 일 실시예에 불과한 것으로서, 시각적 피드백 또한 촉각적 피드백을 제공하는 경우와 마찬가지로 유효 특징점(210c)을 추적하지 아니하고 단지 입력 수단(200)이 위치하는 방향으로만 광을 조사하여 제공될 수도 있음은 물론이며, 촉각적 피드백 또한 해당 GUI 객체(600a) 또는 해당 객체 영역(610a)에 위치하는 유효 특징점에 대응하는 입력 수단(200)의 부분에만 촉각적 피드백을 제공하도록 구성될 수도 있다. 이를 위해, 상기 구동부 및 위치 추적 모듈이 사용자 장치(100)에 포함될 수 있다.
본 명세서에서 언급되는 "GUI 객체(600a, 600b, 600c, 600d)"는, 이미지, 위젯, 아이콘, 텍스트 및 도형 중 어느 하나 이상을 포함할 수 있으나, 이는 예시적인 것이며, UI 형태로 사용자 장치(100)에 디스플레이 될 수 있는 것이라면 어떠한 것이든 포함할 수 있는 넓은 개념으로 이해되어야 할 것이다.
본 발명의 실시예들은 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 또한 본 발명의 실시예들은 제어부 및 메모리를 포함하는 컴퓨터 또는 휴대 단말에 의해 구현될 수 있고, 상기 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계(컴퓨터 등)로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.
또한, 상기 사용자 장치는 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 상기 프로그램 제공 장치는 본 발명의 실시예들을 수행하도록 하는 지시들을 포함하는 프로그램, 본 발명의 실시예들에 필요한 정보 등을 저장하기 위한 메모리와, 상기 사용자 장치와의 유선 또는 무선 통신을 수행하기 위한 통신부와, 상기 사용자 장치의 요청 또는 자동으로 해당 프로그램을 상기 송수신 장치로 전송하는 제어부를 포함할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100 : 사용자 장치 110 : 제어부
120 : 카메라 모듈 130 : 센서 모듈
140 : 디스플레이부 150 : 저장부
160 : 피드백 제공부 200 : 입력 수단
210 : 특징점 210c : 유효 특징점
300 : 근접 영역 500 : 사용자 장치와 유효 특징점과의 거리

Claims (25)

  1. 사용자 장치에 디스플레이 되는 UI 객체를 조작하는 입력 수단의 이미지를 획득하는 단계;
    상기 획득한 이미지에서 상기 GUI 객체의 조작에 이용되는 적어도 하나의 유효 특징점을 결정하는 단계; 및
    상기 유효 특징점의 움직임을 추적하여 상기 GUI 객체의 조작과 관련되는 입력 이벤트를 감지한 경우, 상기 입력 이벤트의 감지에 따른 원격 피드백을 상기 입력 수단에 제공하는 단계를 포함하는, 원격 피드백 제공 방법.
  2. 제1항에 있어서,
    상기 사용자 장치와 상기 입력 수단과의 거리를 감지하는 단계를 더 포함하는, 원격 피드백 제공 방법.
  3. 제2항에 있어서,
    상기 감지된 거리에 따라 상기 입력 수단의 상기 유효 특징점이 근접 영역 내에 위치하는지 여부를 판단하는 단계를 더 포함하는, 원격 피드백 제공 방법.
  4. 제3항에 있어서,
    상기 입력 수단의 상기 유효 특징점이 상기 근접 영역의 제1 영역 또는 상기 근접 영역의 제2 영역에 포함되는지 여부를 판단하는 단계를 더 포함하는, 원격 피드백 제공 방법.
  5. 제4항에 있어서,
    상기 원격 피드백을 상기 입력 수단에 제공하는 단계는, 상기 입력 수단이 상기 제1 영역에 위치하는 경우에 상기 입력 수단에 대한 촉각적 피드백을 제공하는 것을 포함하는, 원격 피드백 제공 방법.
  6. 제5항에 있어서,
    상기 촉각적 피드백은, 상기 유효 특징점에 대응하는 상기 입력 수단의 소정 부분에 대하여 제공되는 초음파 또는 전자기파에 의하여 발생하는 펄스 피드백인 것을 포함하는, 원격 피드백 제공 방법.
  7. 제4항에 있어서,
    상기 원격 피드백을 상기 입력 수단에 제공하는 단계는, 상기 입력 수단이 상기 제2 영역에 위치하는 경우에 상기 입력 수단에 대한 시각적 피드백을 제공하는 것을 포함하는, 원격 피드백 제공 방법.
  8. 제7항에 있어서,
    상기 시각적 피드백은, 상기 유효 특징점에 대응하는 상기 입력 수단의 소정 부분에 대하여 조사되는 LED 광에 의하여 이루어지는 것을 포함하는, 원격 피드백 제공 방법.
  9. 제1항에 있어서,
    상기 입력 이벤트는, 상기 GUI 객체에 대한 터치(touch), 탭(tap), 스와이프(swipe), 플릭(flick) 및 핀치(pinch) 중 어느 하나 이상을 포함하는, 원격 피드백 제공 방법.
  10. 제1항에 있어서,
    상기 원격 피드백은, 상기 GUI 객체 또는 상기 GUI 객체의 주변에 정의되는 객체 영역에 상기 유효 특징점이 위치하는 경우에 제공되는 것을 포함하는, 원격 피드백 제공 방법.
  11. 제1항에 있어서,
    적어도 하나의 유효 특징점을 결정하는 단계는,
    상기 입력 수단의 적어도 하나의 특징점을 검출하여 디스플레이하고,
    상기 적어도 하나의 특징점 중에서 상기 입력 수단의 형상에 기초하여 상기 적어도 하나의 유효 특징점을 결정하는 것을 포함하는, 원격 피드백 제공 방법.
  12. 제1항에 있어서,
    적어도 하나의 유효 특징점을 결정하는 단계는,
    상기 입력 수단의 적어도 하나의 특징점을 검출하여 디스플레이하고,
    상기 디스플레이된 적어도 하나의 특징점 중에서 상기 유효 특징점에 대한 사용자의 선택 입력을 수신하여 상기 적어도 하나의 유효 특징점을 결정하는 것을 포함하는, 원격 피드백 제공 방법.
  13. 사용자 장치에 디스플레이 되는 UI 객체를 조작하는 입력 수단의 이미지를 촬영하는 카메라 모듈; 및
    상기 획득한 이미지에서 상기 GUI 객체의 조작에 이용되는 적어도 하나의 유효 특징점을 결정하고, 상기 유효 특징점의 움직임을 추적하여 상기 GUI 객체의 조작과 관련되는 입력 이벤트를 감지하는 제어부;
    상기 입력 이벤트의 감지에 따른 원격 피드백을 상기 입력 수단에 제공하는 피드백 제공부를 포함하는, 원격 피드백 제공 장치.
  14. 제13항에 있어서,
    상기 사용자 장치와 상기 입력 수단과의 거리를 감지하는 센서 모듈을 더 포함하는, 원격 피드백 제공 장치.
  15. 제14항에 있어서,
    상기 제어부는, 상기 감지된 거리에 따라 상기 입력 수단의 상기 유효 특징점이 근접 영역 내에 위치하는지 여부를 판단하는 것을 포함하는, 원격 피드백 제공 장치.
  16. 제15항에 있어서,
    상기 제어부는, 상기 입력 수단의 상기 유효 특징점이 상기 근접 영역의 제1 영역 또는 상기 근접 영역의 제2 영역에 포함되는지 여부를 판단하는 것을 포함하는, 원격 피드백 제공 장치.
  17. 제16항에 있어서,
    상기 피드백 제공부는, 상기 입력 수단이 상기 제1 영역에 위치하는 경우에 상기 입력 수단에 대한 촉각적 피드백을 제공하는 것을 포함하는, 원격 피드백 제공 장치.
  18. 제17항에 있어서,
    상기 촉각적 피드백은, 상기 유효 특징점에 대응하는 상기 입력 수단의 소정 부분에 대하여 제공되는 초음파 또는 전자기파에 의하여 발생하는 펄스 피드백인 것을 포함하는, 원격 피드백 제공 장치.
  19. 제16항에 있어서,
    상기 피드백 제공부는, 상기 입력 수단이 상기 제2 영역에 위치하는 경우에 상기 입력 수단에 대한 시각적 피드백을 제공하는 것을 포함하는, 원격 피드백 제공 장치.
  20. 제19항에 있어서,
    상기 시각적 피드백은, 상기 유효 특징점에 대응하는 상기 입력 수단의 소정 부분에 대하여 조사되는 LED 광에 의하여 이루어지는 것을 포함하는, 원격 피드백 제공 장치.
  21. 제13항에 있어서,
    상기 입력 이벤트는, 상기 GUI 객체에 대한 터치(touch), 탭(tap), 스와이프(swipe), 플릭(flick), 핀치(pinch) 중 어느 하나 이상을 포함하는, 원격 피드백 제공 장치.
  22. 제13항에 있어서,
    상기 원격 피드백은, 상기 GUI 객체 또는 상기 GUI 객체의 주변에 정의되는 객체 영역에 상기 유효 특징점이 위치하는 경우에 제공되는 것을 포함하는, 원격 피드백 제공 장치.
  23. 제13항에 있어서,
    상기 제어부는, 상기 입력 수단의 적어도 하나의 특징점을 검출하고,
    상기 검출된 적어도 하나의 특징점을 디스플레이하는 디스플레이부를 더 포함하는, 원격 피드백 제공 장치.
  24. 제23항에 있어서,
    상기 제어부는, 상기 디스플레이된 적어도 하나의 특징점 중에서 상기 입력 수단의 형상에 기초하여 상기 적어도 하나의 유효 특징점을 결정하는 것을 포함하는, 원격 피드백 제공 장치.
  25. 제23항에 있어서,
    상기 제어부는, 상기 디스플레이된 적어도 하나의 특징점 중에서 상기 유효 특징점에 대한 사용자의 선택 입력을 수신하여 상기 적어도 하나의 유효 특징점을 결정하는 것을 포함하는, 원격 피드백 제공 장치.
KR1020130094298A 2013-08-08 2013-08-08 원격 피드백 제공 장치 및 그 방법 KR20150017974A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130094298A KR20150017974A (ko) 2013-08-08 2013-08-08 원격 피드백 제공 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130094298A KR20150017974A (ko) 2013-08-08 2013-08-08 원격 피드백 제공 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20150017974A true KR20150017974A (ko) 2015-02-23

Family

ID=53046569

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130094298A KR20150017974A (ko) 2013-08-08 2013-08-08 원격 피드백 제공 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20150017974A (ko)

Similar Documents

Publication Publication Date Title
US10511778B2 (en) Method and apparatus for push interaction
KR101872426B1 (ko) 깊이 기반 사용자 인터페이스 제스처 제어
CN102362243B (zh) 多远程指向器、虚拟对象显示装置和虚拟对象控制方法
KR102051418B1 (ko) 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치
KR102080183B1 (ko) 전자 장치 및 전자 장치에서 잠금 해제 방법
US9489048B2 (en) Systems and methods for optical transmission of haptic display parameters
GB2498299B (en) Evaluating an input relative to a display
US10775901B2 (en) Techniques for identifying rolling gestures on a device
EP2840478B1 (en) Method and apparatus for providing user interface for medical diagnostic apparatus
US20130241832A1 (en) Method and device for controlling the behavior of virtual objects on a display
KR20140114913A (ko) 사용자 기기의 센서 운용 방법 및 장치
KR20130142824A (ko) 원격 제어 장치 및 그 제어 방법
US20110250929A1 (en) Cursor control device and apparatus having same
CN103929603A (zh) 图像投影设备、图像投影系统及控制方法
US11030980B2 (en) Information processing apparatus, information processing system, control method, and program
CN103403661A (zh) 手势基输入的缩放
KR20140109158A (ko) 거리 검출 및 생체 인증 방법, 저장 매체 및 단말
US20090201289A1 (en) Method and apparatus for inputting three-dimensional location
KR200477008Y1 (ko) 마우스 겸용 스마트폰
KR101019255B1 (ko) 깊이 센서 방식의 공간 터치 무선단말기, 이의 데이터 처리방법 및 스크린장치
CN108509127A (zh) 启动录屏任务的方法、装置及计算机设备
KR20150017974A (ko) 원격 피드백 제공 장치 및 그 방법
KR20150017832A (ko) 3d 객체 제어 방법 및 그 장치
KR102160954B1 (ko) 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치
KR20140133370A (ko) 카메라를 가지는 전자 장치

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination