KR101652027B1 - 가상 객체 또는 원격지 사용자와의 인터랙션에 대응한 역감을 전달하는 사용자 인터페이스 장치 - Google Patents

가상 객체 또는 원격지 사용자와의 인터랙션에 대응한 역감을 전달하는 사용자 인터페이스 장치 Download PDF

Info

Publication number
KR101652027B1
KR101652027B1 KR1020150114134A KR20150114134A KR101652027B1 KR 101652027 B1 KR101652027 B1 KR 101652027B1 KR 1020150114134 A KR1020150114134 A KR 1020150114134A KR 20150114134 A KR20150114134 A KR 20150114134A KR 101652027 B1 KR101652027 B1 KR 101652027B1
Authority
KR
South Korea
Prior art keywords
infrared ray
main body
longitudinal direction
virtual object
user
Prior art date
Application number
KR1020150114134A
Other languages
English (en)
Inventor
이광규
김신영
윤대근
유범재
Original Assignee
재단법인 실감교류인체감응솔루션연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 실감교류인체감응솔루션연구단 filed Critical 재단법인 실감교류인체감응솔루션연구단
Priority to KR1020150114134A priority Critical patent/KR101652027B1/ko
Priority to US15/233,571 priority patent/US10019064B2/en
Application granted granted Critical
Publication of KR101652027B1 publication Critical patent/KR101652027B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices

Abstract

본 발명은, Hand-held type으로 사용자의 움직임에 제한을 주지 않으면서도, 디바이스의 3차원의 위치 및 방향을 감지하여 디바이스를 쥔 사용자의 동작에 대응하여 사용자에게 전달되는 역감을 달리함으로써 가상의 물체와의 인터랙션에 있어서의 현실감을 현저히 증가시키기 위한 것으로, 본 발명에 의하면, 길이 방향을 가지도록 형성되어 있으며, 사용자의 손이 고정되도록 하기 위한 고정 수단을 구비하는 본체부; 상기 본체부의 제1 단에 위치하며, 상기 가상 객체의 임의의 지점을 포인팅하거나 상기 원격지 사용자와 인터랙션하기 위한 인터랙션용 적외선을 발생시키는 제1 적외선 발생부; 상기 본체부의 3차원 공간 상에서의 길이 방향을 감지하는 감지부; 상기 가상 객체의 임의의 지점 또는 상기 원격지 사용자에 대응되는 이미지의 소정의 영역이 상기 인터랙션용 적외선에 의해 포인팅된 상태에서, 상기 사용자가 상기 가상 객체 또는 상기 원격지 사용자에 대하여 가하는 힘의 방향에 대한 정보가 획득되고, 상기 감지부를 통해 상기 본체부의 길이 방향에 대한 정보가 획득되면, 상기 힘의 방향에 대응하는 동력 발생 신호를 상기 본체부의 길이 방향을 참조로 하여 획득하여 동력을 발생시키는 동력 발생부; 및 상기 동력 발생부에 의해 발생된 동력에 따라 상기 사용자에게 역감을 제공하기 위한 역감 전달부를 포함하는 것을 특징으로 하는 장치를 제공한다.

Description

가상 객체 또는 원격지 사용자와의 인터랙션에 대응한 역감을 전달하는 사용자 인터페이스 장치{APPARATUS FOR PROVIDING FORCE FEEDBACK BY ANALYZING INTERACTION WITH VIRTUAL OBJECT OR USER AT A REMOTE PLACE}
본 발명은 가상 객체 또는 원격지 사용자와의 인터랙션에 대응한 역감을 전달하는 사용자 인터페이스 장치에 관한 것으로, 보다 상세하게는 가상 객체 또는 원격지 사용자와의 인터랙션에 대응한 역감을 전달하기 위한 디바이스에 있어서, 디바이스가 가상 객체 또는 원격 사용자에 해당하는 이미지를 누르는 힘의 크기와 그 힘의 3차원의 방향에 대응하여 디바이스를 잡고 있는 사용자의 손에 역감이 발생되도록 하는 사용자 인터페이스 장치에 관한 것이다.
오늘날, 디바이스의 사용에 있어서, 사용자 인터페이스를 통하여 사용자에게 보다 높은 만족감을 제공하기 위해 다양한 기술들이 제시되고 있는데, 디바이스 상에서 다양한 형태로 제공되는 햅틱 피드백도 이러한 기술 중 하나이다.
이러한 햅틱 피드백은 주로 진동을 발생시키는 방식으로 사용자에게 촉감을 제공하게 되는데, 이러한 진동 방식의 햅틱 피드백은 휴대폰(Cellular Phone), 태플릿 컴퓨터(Tablet PC), PMP(Portable Multimedia Player), PDA(Personal Digital Assistants), MP3 플레이어 등의 모바일 기기에서 활발하게 사용되고 있다.
한편 최근에는 현실 세계에서의 역감 전달을 가상 현실에도 적용하고자 하는 연구가 진행되고 있는데, 가상 현실 내에 존재하는 가상 객체는 실체가 없는 것이기에 이와 같은 가상 객체에 접촉하고자 할 때 이를 실제의 물체처럼 느껴지게 하기가 여간 어려운 것이 아니었으며, 가상 객체와의 접촉점이 바뀌거나 가상 객체에 가상으로 가하는 사용자의 힘에 변화가 있더라도 이를 정교하게 사용자에게 피드백으로서 제공하기가 어려운 것이 현 실정이다. 또한, 원격지 사용자와의 인터랙션에 있어서도 실제의 사람과 인터랙션하는 듯한 느낌을 연출하는 것 역시 어려운 것이 현 실정이다.
이에 본 출원인은 가상 객체와의 인터랙션을 매우 간편하게 수행하고 이에 따른 느낌이 매우 실감나게 제공되도록 할 수 있는 기술을 개발하기에 이르렀다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은 디바이스를 사용하여 원격지 사용자 또는 가상 객체와의 인터랙션에 의해 발생하는 가상의 힘을 실감 있게 제공해 주는 것을 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 가상 객체 또는 원격지 사용자와의 인터랙션에 대응하여 역감을 사용자에게 전달하는 인터페이스 장치에 있어서, 길이 방향을 가지도록 형성되어 있으며, 사용자의 손이 고정되도록 하기 위한 고정 수단을 구비하는 본체부; 상기 본체부의 제1 단에 위치하며, 상기 가상 객체의 임의의 지점을 포인팅하거나 상기 원격지 사용자와 인터랙션하기 위한 인터랙션용 적외선을 발생시키는 제1 적외선 발생부; 상기 본체부의 3차원 공간 상에서의 길이 방향을 감지하는 감지부; 상기 가상 객체의 임의의 지점 또는 상기 원격지 사용자에 대응되는 이미지의 소정의 영역이 상기 인터랙션용 적외선에 의해 포인팅된 상태에서, 상기 사용자가 상기 가상 객체 또는 상기 원격지 사용자에 대하여 가하는 힘의 방향에 대한 정보가 획득되고, 상기 감지부를 통해 상기 본체부의 길이 방향에 대한 정보가 획득되면, 상기 힘의 방향에 대응하는 동력 발생 신호를 상기 본체부의 길이 방향을 참조로 하여 획득하여 동력을 발생시키는 동력 발생부; 및 상기 동력 발생부에 의해 발생된 동력에 따라 상기 사용자에게 역감을 제공하기 위한 역감 전달부를 포함하는 것을 특징으로 하는 장치가 제공된다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 장치, 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 따르면, 반력을 손등이나 손바닥 등으로 분산시키고 역감을 손가락 끝으로 전달함으로써 hand-held 방식의 역감 전달 구현을 가능하게 한다는 효과가 있는데 반해, 종래 기술의 경우 손에 직접 힘을 전달함에 있어서 외부고정(Ground fixed) 형의 역감재생장치는 반력의 분산을 위하여 크기가 커지는 단점이 있으며, 손에 들고 사용할 수 있는 Hand-held 방식의 경우에는 힘의 전달이 아닌 진동(Vibration)의 전달에 국한된다는 한계가 있다.
도 1은 본 발명의 실시예에 따른 가상 객체의 포인팅에 대응하여 역감을 전달하는 사용자 인터페이스 장치의 측단면도,
도 2는 본 발명의 가상 객체의 포인팅에 대응하여 역감을 전달하는 사용자 인터페이스 장치의 측면도,
도 3은 본 발명에 고정 수단을 장착한 상태의 측면도,
도 4a는 본 발명으로 가상 객체를 포인팅하기 위해 사용자가 힘을 가한 상태 예시도,
도 4b는 도 4a의 상태에 의한 동력에 따른 본 발명의 작동 상태 예시도.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 가상 객체에 대한 포인팅에 대응하여 사용자에게 역감을 전달하는 사용자 인터페이스 장치의 내부 구성도를 도시하고 있다.
도 1에서 보는 바와 같이, 사용자 인터페이스 장치(100)는 사용자가 손에 쥐고 객체를 포인팅 할 수 있도록 길이 방향을 가지는 펜의 형태를 가진다.
따라서 사용자가 사용자 인터페이스 장치(100)를 손에 쥔 상태에서 가상 객체가 점유하고 있는 공간 중 어느 지점을 포인팅하고 누르게 되면, 사용자 인터페이스 장치(100)에 의해 상기 포인팅되는 지점에서 발생되는 적외선이 소정의 적외선 카메라 등에 의해 감지되고 이와 같은 적외선이 감지되는 위치의 변화에 따른 이동 궤적에 대응한 힘의 방향과 크기에 따라 그에 해당하는 동력을 발생시켜 사용자 손이 역감을 느끼게 한다.
이를 위해 본 발명의 사용자 인터페이스 장치(100)는, 본체부(110), 제1 적외선 발생부(120), 제2 적외선 발생부(130), IMU 센서 등을 포함하는 감지부(미도시), 레이저 포인터 발생부(140), 동력 발생부(150), 역감 전달부(160)를 포함하여 구성된다. 다만, 제2 적외선 발생부(130), 레이저 포인터 발생부(140) 등이 반드시 포함되어 있어야 하는 것은 아니다. 또한, 본 발명의 사용자 인터페이스 장치(100)는 메인 보드(180), 배터리(190) 등을 더 포함할 수 있다.
본체부(110)는 통공형의 하우징으로 구성될 수 있으며, 그 내부에는 각 구성 요소가 되는 모듈들을 회로적으로 동작시키기 위한 메인 보드(180)가 설치되어 있을 수 있다.
본체부(110)는 앞서 언급된 바와 같이 길이 방향을 가지는 펜 형태를 가지는데(물론, 펜 형태에 한정되는 것은 아님), 본체부(110)의 제1 단(즉, 도 1에서 좌측 단부)에는, 마치 사용자가 가상의 표면 상에 필기구로 글씨를 쓰는 것과 같은 느낌이 들도록 하거나 가상 객체를 누르는 느낌이 들도록, 해당 가상 객체를 포인팅하기 위한 제1 적외선 발생부(120)가 위치할 수 있다. 참고로, 도 1 상으로는 본체부(110)의 제1 단에 역감 전달부(160)가 위치하고, 역감 전달부(160)의 일단에 제1 적외선 발생부(120)가 위치하는 것으로 보이지만, 역감 전달부(160)가 본체부(110) 상에서 이동할 수 있는 구성요소임을 감안하면, 본체부(110)의 제1 단에 제1 적외선 발생부(120)가 위치하는 것으로 설명해도 무방함을 밝혀둔다.
제1 적외선 발생부(120)는 적외선을 발생시키는 IR LED에 해당할 수 있으며, 본체부(110)에 포함된 배터리(190)로부터 전원을 공급 받아 작동하게 된다. 제1 적외선 발생부(120)에 의해 발생되는 적외선을 이하에서는 "인터랙션용 적외선"이라고도 언급할 수 있음을 밝혀둔다.
제1 적외선 발생부(120)는 캡(120a)으로 감싸여져 있을 수 있으며, 캡(120a)이 가상 객체의 임의의 지점에 접촉되면 접촉된 지점이 포인팅 대상으로 인식되도록 할 수 있다.
한편, 감지부(미도시)는 본체부(110)의 방향을 알아내기 위하여 내장될 수 있는데, IMU 센서 등을 포함하여 구현될 수 있으며, 이에 대한 드리프트(drift) 문제를 해결하기 위하여 보조적으로 제2 적외선 발생부(130)가 설치될 수도 있다.
제2 적외선 발생부(130)는 본체부(110)의 제2 단(즉, 도 1에서 우측 단부)에 위치할 수 있으며, 마찬가지로 본체부(110)에 포함된 배터리(190)로부터 전원을 공급 받아 작동하게 된다. 물론, 제2 적외선 발생부(130)가 반드시 제2 단에 위치해야 하는 것은 아니다. 또한, 배터리(190)를 복수 개로 분리하여 분리된 위치에 각각 배치할 수도 있을 것이나, 도 1에서는 동일한 배터리로 구현되는 것을 상정하였다. 한편, 제2 적외선 발생부(130)에 의해 발생되는 적외선을 이하에서는 "방향설정 지원용 적외선"이라고도 언급할 수 있음을 밝혀둔다. 참고로, 제2 적외선 발생부(130)에 의해 발생되는 적외선의 위치가 감지되면, 제1 적외선 발생부(120)에 의해 발생되는 적외선의 위치와 더불어 감지됨으로써, 상기 두 위치를 잇는 가상의 직선을 참조로 하여 사용자 인터페이스 장치(100)의 방향을 추정할 수 있는바, 제2 적외선 발생부(130)에 의해 발생되는 적외선을 "방향설정 지원용 적외선"이라고 일컬을 수 있는 것이다.
레이저 포인터 발생부(140)도 본체부(110)에 포함된 배터리(190)로부터 전원을 공급 받아 작동하며, 적외선을 사용하여 원격에서 가상 객체를 포인팅하기 위한 기능을 수행할 수 있다.
즉, 레이저 포인터 발생부(140)는 가상 객체로부터 소정 거리 이상 떨어진 상태에서 가상 객체의 임의의 지점으로 적외선이 인가되도록 원격 인터랙션용 적외선을 발생시킨다. 이때 레이저 포인터 발생부(140)가 작동하여 원격에서 가상 객체를 포인팅하는 동안, 제1 적외선 발생부(120) 및 제2 적외선 발생부(130)는 작동하지 않도록 스위치를 off시킬 수 있다. 참고로, 레이저 포인터 발생부(140)는 도 1에서와 같이 IR 레이저 포인터 렌즈(141) 및 IR 레이저 포인터 다이오드(142)를 포함할 수 있다. 이에 대한 자세한 설명은 생략한다.
동력 발생부(150)는 본체부(110)로 전송된 동력 발생 신호를 전달 받아 동력 발생 신호에 따른 크기와 방향으로 힘이 작용하도록 동력을 발생시킨다.
이때 동력 발생 신호의 힘의 방향은 본체부의 길이방향 및 길이 방향으로부터 수직한 3차원 방향으로 나뉠 수 있으며, 이에 대응한 동력을 발생시키기 위해 동력 발생부(150)는 3 자유도를 갖는 모터로 구성될 수 있다.
동력 발생부(150)에서 발생시킨 동력은 역감 전달부(160)를 동작시킨다.
역감 전달부(160)는 동력 발생부(150)에 의해 발생된 동력에 의해 이동하여, 본체부(110)를 쥔 사용자의 손에 역감을 제공한다.
보다 구체적으로 사용자의 손바닥 면은 본체부(110)에 닿고 손가락은 역감 전달부(160)를 감싸듯이 쥔 상태에서, 본체부(110)에 닿은 손바닥 면이 고정된 상태에서 역감 전달부(160)만 이동되도록 함으로써 손가락에 역감이 전달되도록 할 수 있는 것이다.
이때, 동력 발생부(150)가 발생한 동력은 본체부(110)의 길이 방향 및 길이 방향에 수직한 3차원 상의 방향으로 동시에 발생될 수도 있으므로, 역감 전달부(160)는 이에 대응하여 동작하도록 수평 이동부(160)와 수직 이동부(미도시)를 포함하여 구성할 수도 있다. 참고로, 도 1 등에서는 설명의 편의상 수평 이동부(160)만이 1차원적으로 이동하는 경우를 상정하여 설명하였음을 밝혀둔다.
수평 이동부(160)는, 본체부(110)의 길이 방향으로 발생되는 동력에 따른 역감을 제공하도록, 상기 본체부(110)의 길이 방향을 따라 이동 가능하게 결합되어 있을 수 있다. 따라서, 길이 방향으로 동력이 발생될 때 마다, 수평 이동부(160)는 동력에 대응하여 사용자가 객체에 힘을 가하는 방향의 반대 방향으로 소정 범위의 스트로크만큼 이동할 수 있다.
수직 이동부는, 본체부(110)의 길이 방향에 수직한 3차원 상의 방향으로 발생되는 동력에 따른 역감을 제공하도록, 상기 본체부의 길이 방향에 수직하여 이동 가능하게 결합된다.
특히 수직 이동부는, 수평 이동부 상에 위치할 수 있도록 하여 길이 방향과 동시에 길이 방향에 수직한 3차원 상의 방향으로 힘을 받도록 할 수도 있다.
따라서, 길이 방향에 수직한 3차원의 방향으로 동력이 발생될 때 마다, 수직 이동부는 동력에 대응하여 본체부의 길이 방향에 수직된 3차원 상의 특정 방향으로 이동하게 되는데, 수직 이동부는 수평 이동부에 비해 힘의 크기가 크지 않으므로, 손가락을 두드리는 정도의 역감이 전달되도록 버튼 형태를 가질 수도 있다.
또한, 본체부(110)는 도 2에서 보는 바와 같이, 그 외면의 소정 위치에 회로 전원, 제1 적외선 발생부(120) 및 제2 적외선 발생부(130), 레이저 포인터 발생부(140)를 각각 ON/OFF 시키기 위한 해당 스위치들(182, 183, 184, 187)이 구성될 수 있다. 물론, 이와 같은 스위치들의 위치가 바뀔 수 있을 것이다.
또한, 본체부(110)에는 회로의 전원 상태, 제1 적외선 발생부(120) 및 제2 적외선 발생부(130)의 작동 상태, 레이저 포인터 발생부(140) 및 그 밖의 모듈들의 작동 상태가 확인될 수 있도록, 본체부(110)의 외면 상에서 각 해당 모듈의 인접한 위치에서 램프의 on/off 상태로 작동 상태가 확인될 수 있도록 작동 상태 확인부(181, 185, 186)가 구성될 수 있다. 물론, 이와 같은 작동 상태 확인부의 위치가 바뀔 수 있을 것이다.
또한, 사용자 인터페이스 장치(100)의 본체부(110)에는 고정 수단(170)이 구비될 수 있는데, 사용자의 손과 본체부(110)가 고정되도록 하는 역할을 한다. 이에 대해서는 도 3을 참조로 하여 설명한다.
도 3을 참조하면, 고정 수단(170)이 본체부(110)에 결합된 상태를 도시하고 있다. 다만, 고정 수단(170)은 본체부(110)에 일체로 형성될 수도 있을 것이다.
고정 수단(170)은 본체부(110)의 길이 방향을 따라 본체부(110)에 면착되도록 통공형으로 형성된 본체 결합부(171)와, 손을 끼울 수 있도록 오링 형상으로 형성된 손 고정부(172)를 포함하여 구성된다.
이때 본체 결합부(171)와 손 고정부(172)는 앞서 설명된 형태에 한정되지 않고 본체부와 손이 각각 고정될 수 있으면 고리 형태를 가지는 것도 무방하다.
본체 결합부(171)와 손 고정부(172)는 일체로 형성될 수 있으나 분리되게도 형성될 수도 있으며, 본체부(110)와 손에 각각 견고하게 면착되면서 용이하게 탈착시킬 수 있도록 고무 또는 실리콘과 같은 탄성 재질로 구성될 수 있다.
이 밖에 고정 수단(170)은 본체 결합부(171)가 본체부(110)에 견고하게 고정되도록 본체부(110)와 일체형으로 구성될 수도 있는데, 이때 손 고정부(172)는 본체부(110)를 쥔 사용자의 손이 역감 전달부(160)로부터 전달되는 역감의 힘의 방향에 대항하여 고정되도록 권총 손잡이를 쥔 듯한 그립감을 가질 수 있는 방아쇠와 같은 고리 형상을 가질 수 있다.
따라서 사용자의 손이 본체부(110)에 부착된 고정 수단(170)의 본체 결합부(171)에 끼워진 상태로, 손가락은 역감 전달부(160)를 핀치 그립(Pinch grip)으로 잡게 된다.
다음으로, 도 4는 사용자 인터페이스 장치(100)를 사용하여 가상 객체(200)와 인터랙션하는 예를 나타내고 있다. 참고로, 사용자 인터페이스 장치(100)를 사용하여 원격지 사용자와의 인터랙션하는 것에 대한 예시는 도시하지는 않았지만, 이에 대해서도 도 4 등과 유사하게 적용될 수 있을 것이다.
도 4a에서 보는 바와 같이, 제1 적외선 발생부(120)를 가상 객체(200)에 접촉시킴으로써, 가상 객체(200)의 임의의 지점이 인터랙션용 적외선에 의해 포인팅되도록 한 상태에서, 제1 적외선 발생부(120)에 의해 발생되는 인터랙션용 적외선의 이동 궤적 등에 대한 감지 정보를 참조로 하여 사용자가 가상 객체(200)에 대하여 가하는 힘의 방향에 대한 정보가 획득될 수 있을 것이다. 물론, 이동 궤적 등에 대한 감지 정보 이외의 방법으로 힘의 방향에 대한 정보를 획득할 수도 있을 것이다. 또한, 감지부(미도시)를 통해 상기 본체부(110)의 길이 방향에 대한 정보가 획득되면(보충적으로, 상기 인터랙션용 적외선 및 상기 방향설정용 적외선에 대한 감지 정보를 참조로 하여 상기 본체부의 길이 방향에 대한 정보가 보다 정확히 보정하여 획득할 수도 있음), 상기 힘의 방향에 대응하는 동력 발생 신호를 본체부(110)의 길이 방향을 참조로 하여 획득하여 동력 발생부(150)로 하여금 동력을 발생시키도록 할 수도 있다. 물론, 제1 적외선 발생부(120)에 의해 발생되는 인터랙션용 적외선의 이동 궤적 등에 대한 감지 정보를 참조로 하여 사용자가 가상 객체(200)에 대하여 가하는 힘의 방향에 대한 정보뿐만 아니라 힘의 크기에 대한 정보도 추가로 더 획득될 수도 있으며, 이 경우에는 상기 본체부(110)의 길이 방향에 대한 정보가 획득되면, 동력 발생부(150)는, 상기 힘의 방향 및 상기 힘의 크기에 대응하는 동력 발생 신호를 본체부(110)의 길이 방향을 참조로 하여 획득할 수 있을 것이다.
참고로, 제1 적외선 발생부(120) 및/또는 제2 적외선 발생부(130)의 위치 및 이동 궤적은 적외선 카메라(300)에 의해 감지되고 적외선 카메라(300)의 감지에 의해 획득된 감지 정보를 통해 외부 장치(400)는 힘의 방향과 힘의 크기에 대한 정보를 획득하게 되는 것이다.
여기서, 적외선을 감지하는 적외선 카메라(300)는 제1 적외선 발생부(120)와 제2 적외선 발생부(130) 중 적어도 하나로부터 발생되는 적외선을 감지하기 위한 스테레오 IR 카메라에 해당되며, 획득한 감지 정보를 외부 장치(400)로 전달하기 위해 외부 장치(400)와는 유선 또는 무선으로 연결되어 있다.
구체적으로, 외부 장치(400)는 적외선 카메라(300)로부터 전달 받은 인터랙션용 적외선 및 방향설정 지원용 적외선에 대한 감지 정보를 참조로 하여 가상 객체에 가해진 힘의 방향을 보다 정확히 획득하고, 가상 객체에 가해진 힘의 방향에 반대되는 힘의 방향(즉, 사용자 인터페이스 장치(100)에 의해 사용자가 받게 되는 힘의 방향)을 본체부(110)의 길이 방향의 힘(f1) 및 길이 방향에 수직한 3차원의 방향의 힘(f2)으로 나누어 이에 대응하는 동력 발생 신호를 생성할 수 있다.
이때, 본체부(110)의 길이 방향은 본체부(110)에 위치하는 제1 적외선 발생부(120)와 제2 적외선 발생부(130)에 의해 발생되는 적외선이 감지되는 지점을 잇는 가상의 선의 방향과 본체부의 길이 방향이 이루는 각도 정보를 참조하여 획득될 수 있다. 이와 같은 각도 정보는 미리 저장되어 관리될 수 있을 것이다.
물론, 앞에서 말했듯이, 감지부(미도시)에 의한 센싱 정보를 통해 가상 객체에 가해진 힘의 방향에 반대되는 힘의 방향을 본체부(110)의 길이 방향의 힘(f1) 및 길이 방향에 수직한 3차원의 방향의 힘(f2)으로 나누어 이에 대응하는 동력 발생 신호를 기본적으로 생성할 수 있을 것이다.
한편, 외부 장치(400)가 생성한 동력 발생 신호는 사용자 인터페이스 장치(100)의 통신부(미도시)를 통해 메인 보드(180) 상의 CPU 로 전달될 수 있으며, CPU 는 이와 같은 동력 발생 신호를 참조로 하여 동력 발생부(150)가 동작하도록 할 수 있다.
이를 위해 사용자 인터페이스 장치(100) 및 외부 장치(400)가 블루투스 통신으로 페어링된 상태에서 사용자 인터페이스 장치(100)의 통신부는 동력 발생 신호를 수신할 수 있다.
동력 발생부(150)는 동력 발생 신호의 상기 길이 방향의 신호 성분에 따라 역감 전달부(160)의 수평 이동부에 동력을 전달함으로써 따라서 도 4b에서 보는 바와 같이, 수평 이동부가 본체부의 길이 방향을 따른 수평 거리(d1)의 스트로크만큼 이동하게 된다.
이와 동시에 동력 발생부(150)는 동력 발생 신호의 상기 길이 방향에 수직한 3차원 상의 방향의 신호 성분에 따라 역감 전달부(160)의 수직 이동부에 동력을 전달함으로써 수직 이동부가 본체부의 길이 방향에 수직된 방향으로 수직 거리(d2)를 이동하게 된다.
한편, 도면에는 도시되어 있지 않지만, 레이저 포인터 발생부(140)를 통한 원격 포인팅에 대해서도 힘의 크기 및 방향을 고려한 역감 전달이 가능하도록 할 수 있을 것이나, 반드시 이에 한정되는 것은 아닐 것이다.
또한, 레이저 포인터 발생부(140)로 가상 객체를 포인팅하게 되면, 본체부(110)의 제2 단이 앞서 설명되었던 필기구의 필기 부분이 되므로 사용자 손을 반대 방향으로 잡아 제2 단이 가상 객체를 향하도록 하여 사용되도록 할 수 있다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
110 : 본체부 120 : 제1 적외선 발생부
130 : 제2 적외선 발생부 140 : 레이저 포인터 발생부
150 : 동력 발생부 160 : 역감 전달부
170 : 고정 수단

Claims (15)

  1. 가상 객체 또는 원격지 사용자와의 인터랙션에 대응하여 역감을 사용자에게 전달하는 인터페이스 장치에 있어서,
    길이 방향을 가지도록 형성되어 있으며, 사용자의 손이 고정되도록 하기 위한 고정 수단을 구비하는 본체부;
    상기 본체부의 제1 단에 위치하며, 상기 가상 객체의 임의의 지점을 포인팅하거나 상기 원격지 사용자와 인터랙션하기 위한 인터랙션용 적외선을 발생시키는 제1 적외선 발생부;
    상기 본체부의 3차원 공간 상에서의 길이 방향을 감지하는 감지부; 상기 가상 객체의 임의의 지점 또는 상기 원격지 사용자에 대응되는 이미지의 소정의 영역이 상기 인터랙션용 적외선에 의해 포인팅된 상태에서, 상기 사용자가 상기 가상 객체 또는 상기 원격지 사용자에 대하여 가하는 힘의 방향에 대한 정보가 획득되고, 상기 감지부를 통해 상기 본체부의 길이 방향에 대한 정보가 획득되면, 상기 힘의 방향에 대응하는 동력 발생 신호를 상기 본체부의 길이 방향을 참조로 하여 획득하여 동력을 발생시키는 동력 발생부; 및
    상기 동력 발생부에 의해 발생된 동력에 따라 상기 사용자에게 역감을 제공하기 위한 역감 전달부;
    를 포함하는 것을 특징으로 하는 장치.
  2. 제1항에 있어서,
    상기 가상 객체의 임의의 지점 또는 상기 원격지 사용자에 대응되는 이미지의 소정의 영역이 상기 인터랙션용 적외선에 의해 포인팅된 상태에서, 상기 인터랙션용 적외선의 이동 궤적에 대한 감지 정보를 참조로 하여, 상기 사용자가 상기 가상 객체 또는 상기 원격지 사용자에 대하여 가하는 힘의 방향에 대한 정보가 획득되는 것을 특징으로 하는 장치.
  3. 제2항에 있어서,
    상기 감지부는, 상기 본체부에 내장된 IMU 센서를 포함하는 것을 특징으로 하는 장치.
  4. 제1항에 있어서,
    방향설정 지원용 적외선을 발생시키는 제2 적외선 발생부를 더 포함하되,
    상기 본체부의 길이 방향에 대한 정보는, 상기 인터랙션용 적외선 및 상기 방향설정 지원용 적외선에 대한 감지 정보를 참조로 하여 보정되는 것을 특징으로 하는 장치.
  5. 제4항에 있어서,
    상기 가상 객체의 임의의 지점 또는 상기 원격지 사용자에 대응되는 이미지의 소정의 영역이 상기 인터랙션용 적외선에 의해 포인팅된 상태에서 상기 인터랙션용 적외선의 이동 궤적에 대한 감지 정보를 참조로 하여, 상기 사용자가 상기 가상 객체 또는 상기 원격지 사용자에 대응되는 이미지에 대하여 가하는 힘의 크기에 대한 정보가 더 획득되고, 상기 인터랙션용 적외선 및 상기 방향설정 지원용 적외선에 대한 감지 정보를 참조로 하여 상기 본체부의 길이 방향에 대한 정보가 보정되어 획득되면, 상기 동력 발생부는, 상기 힘의 방향 및 상기 힘의 크기에 대응하는 동력 발생 신호를 상기 본체부의 길이 방향을 참조로 하여 획득하는 것을 특징으로 하는 장치.
  6. 제4항에 있어서,
    상기 제2 적외선 발생부는 상기 본체부의 제2 단에 위치하면서, 상기 제1 적외선 발생부의 반대 방향에서 상기 방향설정 지원용 적외선을 발생시키는 것을 특징으로 하는 장치.
  7. 제4항에 있어서,
    상기 인터랙션용 적외선 및 상기 방향설정 지원용 적외선의 각 감지 정보는 외부의 적외선 카메라를 통해 획득되는 것을 특징으로 하는 장치.
  8. 제7항에 있어서,
    상기 동력 발생 신호는 상기 적외선 카메라와 유선 또는 무선으로 연결된 외부 장치에 의해 획득되고, 상기 외부 장치와 페어링 된 상태에서 상기 동력 발생 신호를 전달 받는 통신부를 더 포함하는 장치.
  9. 제4항에 있어서,
    상기 제1 적외선 발생부의 지점과 상기 제2 적외선 발생부의 지점을 잇는 선의 방향과 상기 본체부의 길이 방향이 이루는 각도 정보를 참조로 하여, 상기 인터랙션용 적외선 및 상기 방향설정 지원용 적외선에 대한 감지 정보로부터 상기 본체부의 길이 방향을 획득하는 것을 특징으로 하는 장치.
  10. 제1항에 있어서,
    상기 본체부의 소정 위치에 결합되어 있으며, 상기 가상 객체의 임의의 지점 또는 상기 원격지 사용자에 대응되는 이미지의 소정의 영역으로 적외선이 인가되도록 원격 인터랙션용 적외선을 발생시키는 적외선 레이저 발생부를 더 포함하되,
    상기 적외선 레이저 발생부는, 상기 가상 객체 또는 상기 원격지 사용자에 대응되는 이미지로부터 이격된 상태에서 상기 원격 인터랙션용 적외선을 상기 가상 객체 또는 상기 원격지 사용자에 대응되는 이미지에 인가하는 것을 특징으로 하는 장치.
  11. 제1항에 있어서,
    상기 힘의 방향에 대응한 상기 동력 발생 신호는 상기 길이 방향의 신호와 상기 길이 방향에 수직한 3차원 상의 방향의 신호로 나뉘어지고, 상기 동력 발생부는, 상기 나뉘어진 동력 발생 신호에 따라 상기 길이 방향과 상기 길이 방향에 수직한 3차원 상의 방향으로 동력을 발생하는 것을 특징으로 하는 장치.
  12. 제11항에 있어서,
    상기 역감 전달부는,
    상기 길이 방향에 수직한 3차원 상의 방향으로 발생되는 동력에 따른 역감을 제공하도록, 상기 본체부의 길이 방향에 수직한 방향으로 이동 가능하게 결합된 수직 이동부를 포함하는 것을 특징으로 하는 장치.
  13. 제1항에 있어서,
    상기 역감 전달부는,
    상기 본체부의 길이 방향으로 발생되는 동력에 따른 역감을 제공하도록, 상기 본체부의 길이 방향을 따라 이동 가능하게 결합된 수평 이동부를 포함하는 것을 특징으로 하는 장치.
  14. 제1항에 있어서,
    상기 본체부는,
    상기 제1 적외선 발생부의 작동 유무가 확인되도록, 상기 본체부 외면의 소정 위치에서 램프를 on/off시키는 작동 상태 확인부를 더 포함하는 장치.
  15. 제1항에 있어서,
    상기 고정 수단은,
    상기 본체부에 일체로 형성되거나 탈착 가능하게 고정되는 본체 결합부와, 상기 본체부를 쥔 사용자의 손이 상기 역감 전달부로부터 전달되는 역감의 힘의 방향에 대항하여 고정되도록 형성되어 있는 손 고정부를 포함하는 장치.
KR1020150114134A 2015-08-12 2015-08-12 가상 객체 또는 원격지 사용자와의 인터랙션에 대응한 역감을 전달하는 사용자 인터페이스 장치 KR101652027B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150114134A KR101652027B1 (ko) 2015-08-12 2015-08-12 가상 객체 또는 원격지 사용자와의 인터랙션에 대응한 역감을 전달하는 사용자 인터페이스 장치
US15/233,571 US10019064B2 (en) 2015-08-12 2016-08-10 User interface device for providing force feedback according to interaction with virtual object or user at remote place

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150114134A KR101652027B1 (ko) 2015-08-12 2015-08-12 가상 객체 또는 원격지 사용자와의 인터랙션에 대응한 역감을 전달하는 사용자 인터페이스 장치

Publications (1)

Publication Number Publication Date
KR101652027B1 true KR101652027B1 (ko) 2016-08-29

Family

ID=56886079

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150114134A KR101652027B1 (ko) 2015-08-12 2015-08-12 가상 객체 또는 원격지 사용자와의 인터랙션에 대응한 역감을 전달하는 사용자 인터페이스 장치

Country Status (2)

Country Link
US (1) US10019064B2 (ko)
KR (1) KR101652027B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100107997A (ko) * 2009-03-27 2010-10-06 삼성전기주식회사 펜형태의 촉감 제시 장치와 그를 이용한 촉감 인터페이스 시스템
KR20100107996A (ko) * 2009-03-27 2010-10-06 삼성전기주식회사 터치면을 구비한 펜형 촉감 제시 장치와 그를 이용한 촉감 인터페이스 시스템
KR20140126216A (ko) * 2013-04-22 2014-10-30 한국기술교육대학교 산학협력단 스마트기기와의 사이에 이동 진동 감각을 제공하는 터치펜
KR20150049312A (ko) * 2013-10-30 2015-05-08 삼성전자주식회사 촉각 피드백을 제공하기 위한 전자 장치, 스타일러스 펜 및 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130328770A1 (en) * 2010-02-23 2013-12-12 Muv Interactive Ltd. System for projecting content to a display surface having user-controlled size, shape and location/direction and apparatus and methods useful in conjunction therewith
US20140118315A1 (en) * 2012-10-26 2014-05-01 Livescribe Inc. Interactive Digital Workbook Using Smart Pens
CN103995584B (zh) * 2014-04-29 2017-11-17 深圳超多维光电子有限公司 立体交互方法及其显示装置、操作棒和系统
KR101846256B1 (ko) * 2014-05-09 2018-05-18 삼성전자주식회사 필기감을 제공하는 촉각 피드백 장치 및 방법
GB2531324B (en) * 2014-10-16 2018-01-10 Scriba Stylus (Ip) Ltd A stylus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100107997A (ko) * 2009-03-27 2010-10-06 삼성전기주식회사 펜형태의 촉감 제시 장치와 그를 이용한 촉감 인터페이스 시스템
KR20100107996A (ko) * 2009-03-27 2010-10-06 삼성전기주식회사 터치면을 구비한 펜형 촉감 제시 장치와 그를 이용한 촉감 인터페이스 시스템
KR20140126216A (ko) * 2013-04-22 2014-10-30 한국기술교육대학교 산학협력단 스마트기기와의 사이에 이동 진동 감각을 제공하는 터치펜
KR20150049312A (ko) * 2013-10-30 2015-05-08 삼성전자주식회사 촉각 피드백을 제공하기 위한 전자 장치, 스타일러스 펜 및 방법

Also Published As

Publication number Publication date
US10019064B2 (en) 2018-07-10
US20170045943A1 (en) 2017-02-16

Similar Documents

Publication Publication Date Title
JP4751422B2 (ja) 多モード切り替え機能付き入力装置および電子システム
US8570273B1 (en) Input device configured to control a computing device
CN101983370B (zh) 用于交互式表面的指向装置
JP6275839B2 (ja) リモコン装置、情報処理方法およびシステム
KR102170321B1 (ko) 파지된 물체를 이용한 모션을 인식하는 장치 및 방법, 시스템
US10183217B2 (en) Hand-held controller using segmented capacitive touch trigger
US10168775B2 (en) Wearable motion sensing computing interface
US20080278443A1 (en) User input device
KR20170054423A (ko) 다-표면 컨트롤러
CN102955580B (zh) 鼠标及其模拟触控操作的方法
WO2014183351A1 (zh) 手写输入方法及装置
WO2004057454A3 (en) Contactless input device
US20080278444A1 (en) User input system
Tsai et al. ThumbRing: private interactions using one-handed thumb motion input on finger segments
IT201600097954A1 (it) Dispositivo aptico, particolarmente per l’interazione con sistemi di realtà virtuale o realtà aumentata
KR101360980B1 (ko) 필기구형 전자 입력장치
RU2670649C1 (ru) Способ изготовления перчатки виртуальной реальности (варианты)
KR101211808B1 (ko) 동작인식장치 및 동작인식방법
Bowers et al. Making it simple: Expanding access and lowering barriers to novel interaction devices for virtual and augmented reality
KR101652027B1 (ko) 가상 객체 또는 원격지 사용자와의 인터랙션에 대응한 역감을 전달하는 사용자 인터페이스 장치
KR20160039961A (ko) 사용자의 움직임을 인식하는 모션 인터페이스 디바이스
TW200839576A (en) Computer cursor control method and apparatus thereof
KR20130142571A (ko) 모션 입력장치
KR101313537B1 (ko) 한 손으로 컴퓨터를 조작하기 위한 장치
JP5196427B2 (ja) 操作入力装置及び操作入力方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant