KR101230950B1 - 햅틱 장치 및 햅틱 장치 제어 방법 - Google Patents

햅틱 장치 및 햅틱 장치 제어 방법 Download PDF

Info

Publication number
KR101230950B1
KR101230950B1 KR1020110024323A KR20110024323A KR101230950B1 KR 101230950 B1 KR101230950 B1 KR 101230950B1 KR 1020110024323 A KR1020110024323 A KR 1020110024323A KR 20110024323 A KR20110024323 A KR 20110024323A KR 101230950 B1 KR101230950 B1 KR 101230950B1
Authority
KR
South Korea
Prior art keywords
grip
marker
information
image
image information
Prior art date
Application number
KR1020110024323A
Other languages
English (en)
Other versions
KR20120106294A (ko
Inventor
이효상
허필원
김정
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020110024323A priority Critical patent/KR101230950B1/ko
Publication of KR20120106294A publication Critical patent/KR20120106294A/ko
Application granted granted Critical
Publication of KR101230950B1 publication Critical patent/KR101230950B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 햅틱 장치에 구비되는 그립의 위치를 측정하기 위한 다양한 방법들 및 이를 지원하는 햅틱 장치들에 대해서 개시한다.
본 발명의 일 양태로서 영상 정보를 이용하는 햅틱 장치는, 대상 물체에 외부 자극을 인가하기 위한 그립과 그립의 일단에 구비되는 마커와 그립을 대상 물체에 접근시키기 위한 다자유도 작동기와 그립과 다자유도 작동기를 결합하고 그립에 3자유도의 회전 운동을 제공하는 회전 관절부와 그립, 마커 및 회전 관절부 중 하나 이상을 촬영하여 영상 정보를 획득하는 영상 촬영부를 포함할 수 있다.

Description

햅틱 장치 및 햅틱 장치 제어 방법{An Haptic Apparatus and method of controlling thereof}
본 발명은 햅틱 장치에 관한 것으로서, 햅틱 장치에 구비되는 그립의 위치를 측정하기 위한 방법 및 이를 지원하는 햅틱 장치에 관한 것이다.
이하, 본 발명의 기술 분야와 관련하여 일반적으로 사용되는 기술에 대해서 간략히 설명한다.
기술이 발전함에 따라 사용자는 가상 현실을 통해 더욱 구체적이고 실감나는 정보를 원하고 있다. 이를 충족시키기 위해 최근 활발히 개발되고 있는 기술이 가상의 촉각과 힘에 대한 정보를 제공해주는 햅틱 기술이다.
햅틱 기술을 이용한 시뮬레이터를 만들려면 햅틱 장치와 햅틱 렌더링, 컴퓨터 그래픽스 기술이 필요하다. 햅틱 장치란 일종의 로봇 메니퓰레이터와 같은 기계적 장치로서 사람과 가상 환경과의 상호 작용을 위해 고안된 것이다. 사람은 햅틱 장치를 통해 가상 환경에 제어 명령을 내리고, 제어 명령에 따라 가상환경에서 오는 촉감이나 힘을 느낄 수 있다.
사용자는 주로 햅틱 장치의 끝 단에 달려있는 손잡이(stylus)를 조작하여 가상 환경에 6자유도 (예를 들어, X,Y,Z 위치, X,Y,Z 위상각)의 명령을 내리고, 동시에 가상 환경으로부터 상호작용을 통하여 발생하는 힘을 햅틱 장치를 통하여 느끼게 된다. 이러한 햅틱 기술은 수술 시뮬레이터, 가상환경을 이용한 게임, 원격 조종기술 등에 적용되고 있다.
햅틱 기술은 크게 '힘 피드백'과 '촉각 피드백'의 두 영역으로 나뉜다. 힘 피드백은 기계적 인터페이스를 이용해 사용자에게 힘과 운동감을 느끼도록 하는 기술이다. 예를 들어, 게임 기계에서 총을 쏘면 실제로 조이스틱이 떨리고, 웹에서 마우스 커서가 버튼을 건드리면 그것을 손끝으로 느끼게 하는 것이 힘 피드백이다. 촉각 피드백이 가장 많이 활용되는 곳은 의학 분야이다. 햅틱 기술을 이용하면, 사용자는 컴퓨터 화면에 3차원 해부학적 구조를 보면서 가상의 환자를 대상으로 환부를 직접 시술할 수 있다. 여기에 압축 공기나 전기 등으로 움직이는 작은 핀과 같은 기계 구동기를 이용하여, 실제로 피부 조직 등을 만지는 듯한 촉감이 전달되어 실제 상황과 거의 비슷한 환경을 구현할 수 있다.
햅틱 기술이 의료 분야에 적용되는 경우에는 햅틱 장치의 미세한 움직임에도 수술의 결과에 큰 영향을 미칠 수 있으므로 햅틱 장치의 움직임을 정확히 제어하는 것이 매우 중요하다.
일반적으로 햅틱 장치의 끝 단의 위상을 측정하기 위한 방법으로는, 회전의 정도에 따라서 그 정도를 구형파의 형태로 출력해주는 광학식 로터리 엔코더를 이용하거나, 그 정도를 전압의 형태로 출력해주는 회전식 가변저항을 이용하는 방법이 있다.
광학식 로터리 엔코더는 전원을 인가시 빛을 발산시키는 발광 다이오드와 수광 트렌지스터로 구성되고, 회전축에 광을 차단하는 판이 위치하여 발광 다이오드에서 나온 빛을 연속적으로 차단 및/또는 해제함으로써, 수광 트렌지스터로부터 정형파(square wave)형태의 신호가 출력되게 하는 장치를 의미한다. 이때, 광학식 로터리 엔코더는 정형파 신호를 카운트함으로써 회전 각도를 역으로 계산할 수가 있다. 또한, 광학식 로터리 엔코더에 발광 다이오드와 수광 트렌지스터를 2쌍을 교차하는 형태로 설치함으로써, 어느 신호가 먼저 나오는가에 따라서 햅틱 장치의 회전의 방향도 알 수 있다.
회전식 가변저항을 이용하는 햅틱 장치는 햅틱 장치의 회전 정도에 따라서 저항의 접촉부위가 변화하는 스위치 구조를 가지고 있는 장치를 의미한다. 이러한 햅틱 장치는 전원을 인가하고 회전을 증가시킴에 따라서 저항도 증가하고, 전압분배의 법칙(voltage divider rule)에 의하여 출력전압 값이 증가하게 된다. 따라서, 이러한 출력 전압 값을 검출하여 햅틱 장치의 회전 정도를 파악할 수 있다.
위의 두 가지 햅틱 장치는 기계식으로 인가된 회전치를 정량화된 출력 값으로 변환시켜주므로 흔히 기계식 센서(mechanical sensor)라고 불려진다. 이런 장치를 이용하면 햅틱 장치와 같은 다자유도의 구동기의 회전 각도를 정량적으로 측정할 수 있으므로 널리 사용되고 있다.
하지만 상기와 같은 기계식 센서를 이용하는 경우, 햅틱 장치의 이용이 거추장스러워질 수 있다. 예를 들어, 햅틱 장치에 들어가는 전원선과 신호선 들에 의하여 자유로운 회전이 구속되며, 햅틱 장치에 구비되는 여러 부분들에 연결되는 전원선 및/또는 신호선으로 인해 햅틱 장치의 거동이 제약될 수 있다.
또한, 햅틱 장치는 대상 물체에 다양한 외부 힘을 인가하기 위한 그립이 구비된다. 이때, 그립의 종류를 다양하게 변경해야 하는 수술 시뮬레이터 같은 경우에는, 각 그립의 위치 및 위상을 정확히 측정할 수 있어야 오차 없는 수술을 할 수 있다.
그러나, 기계식 센서를 이용하는 햅틱 장치의 경우에는 그립으로서 수술용 가위를 사용할 때에는 가위의 각도를 측정한다던가, 그립으로서 주사기를 사용하는 경우에는 주사기의 손잡이를 잡아당긴다던가 하는 행위를 수행할 때, 그립의 위치를 정확히 파악하지 못하는 문제점이 있다.
또한, 기계식 센서를 이용하는 경우, 매 동작마다 기계식 센서의 전원선과 신호선을 연결해주어야 한다는 단점이 있다.
이러한 경우, 햅틱 장치를 사용하는 사용자에게는 번거로운 작업이 되며, 기계식 센서를 이용하기 위한 전원선과 신호선으로 인해 햅틱 장치의 거동에 제약이 발생하므로 다양한 수술에 적용할 수 없는 단점이 있다.
본 발명은 상술한 일반적인 기술의 단점을 해결하고자 고안된 것으로서, 본 발명의 목적은 햅틱 장치의 그립의 위치를 정밀하게 측정하는 방법을 제공하는 것이다.
본 발명의 다른 목적은 비전 카메라를 이용하여 무선으로 그립의 동작을 정확하게 추적하기 위한 햅틱 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 다양한 형태의 그립을 교체 및 부착할 수 있는 햅틱 장치를 제공하는 것이다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명은 햅틱 장치에 구비되는 그립의 위치를 측정하기 위한 다양한 방법들 및 이를 지원하는 햅틱 장치들에 대해서 개시한다.
본 발명의 일 양태로서 영상 정보를 이용하는 햅틱 장치는, 대상 물체에 외부 자극을 인가하기 위한 그립과 그립의 일단에 구비되는 마커와 그립을 대상 물체에 접근시키기 위한 다자유도 작동기와 그립과 다자유도 작동기를 결합하고 그립에 3자유도의 회전 운동을 제공하는 회전 관절부와 그립, 마커 및 회전 관절부 중 하나 이상을 촬영하여 영상 정보를 획득하는 영상 촬영부를 포함할 수 있다.
이때, 상기 햅틱 장치는 다자유도 작동기, 회전 관절부, 그립 및 영상 촬영부를 제어하기 위한 프로세서를 더 포함할 수 있다. 또한, 프로세서는 대상 물체에 외부 자극이 인가될 때 영상 정보를 획득하도록 영상 촬영부를 제어하고, 영상 정보로부터 그립에 대한 위상 정보를 도출할 수 있다.
그립에 대한 위상 정보는, 마커의 좌표 정보, 회전 관절부의 좌표 정보 및 영상 정보에서 도출한 마커의 3 차원 회전각을 이용하여 도출될 수 있다.
또한, 마커는 적외선을 발광하는 발광다이오드(LED)를 포함하고, 영상 촬영부는 적외선을 검출할 수 있는 적외선 카메라 시스템을 포함할 수 있다.
본 발명의 다른 양태로서 영상 정보를 이용하는 햅틱 장치는, 대상 물체에 외부 자극을 인가하기 위한 그립과 그립의 일단에 구비되는 마커와 그립을 대상 물체에 접근시키기 위한 다자유도 작동기와 그립과 다자유도 작동기를 결합하고, 그립에 3자유도의 회전 운동을 제공하는 회전 관절부와 그립, 마커 및 회전 관절부 중 하나 이상을 촬영하여 영상 정보를 획득하는 영상 촬영부를 포함할 수 있다. 이때, 영상 촬영부는 영상 정보를 처리하여 그립의 위상 정보를 도출하는 영상 처리모듈을 더 포함할 수 있다.
그립에 대한 위상 정보는 마커의 좌표 정보, 회전 관절부의 좌표 정보 및 영상 정보에서 도출한 마커의 3 차원 회전각을 이용하여 도출될 수 있다.
마커는 적외선을 발광하는 발광다이오드(LED)를 포함하고, 영상 촬영부는 적외선을 검출할 수 있는 적외선 카메라 시스템을 포함할 수 있다.
본 발명의 또 다른 양태로서 영상 정보를 이용하는 햅틱 장치는, 대상 물체에 외부 자극을 인가하기 위한 그립과 그립의 일단에 구비되는 마커와 그립을 대상 물체에 접근시키기 위한 다자유도 작동기와 그립과 다자유도 작동기를 결합하고, 그립에 3자유도의 회전 운동을 제공하는 회전 관절부와 마커의 좌표 정보 및 회전 관절부의 좌표 정보를 획득하기 위한 하나 이상의 엔코더와 그립, 마커 및 회전 관절부 중 하나 이상을 촬영하여 영상 정보를 획득하는 영상 촬영부를 포함할 수 있다. 이때, 햅틱 장치는 다자유도 작동기, 회전 관절부, 그립 및 영상 촬영부를 제어하기 위한 프로세서를 더 포함할 수 있으며, 프로세서는 대상 물체에 외부 자극이 인가될 때 영상 정보를 획득하도록 영상 촬영부를 제어하고, 영상 정보로부터 그립에 대한 위상 정보를 도출할 수 있다.
그립에 대한 위상 정보는 마커의 좌표 정보, 회전 관절부의 좌표 정보 및 영상 정보에서 도출한 마커의 3 차원 회전각을 이용하여 도출될 수 있다.
본 발명의 또 다른 양태로서 영상 정보를 이용하는 햅틱 장치를 제어하는 방법은, 대상 물체에 외부 자극을 인가하기 위해 다자유도 작동기를 제어하는 단계와 다자유도 작동기에 구비된 회전 관절부 및 그립을 제어하여 대상 물체에 외부 자극을 인가하는 단계와 회전 관절부의 좌표 정보 및 마커의 좌표 정보를 획득하는 단계와 회전 관절부 및 그립에 구비된 마커에 대한 영상 정보를 획득하는 단계와 회전 관절부의 좌표 정보, 마커의 좌표 정보 및 영상 정보를 이용하여 그립의 위상 정보를 산출하는 단계를 포함할 수 있다.
이때, 그립의 위상 정보는 마커의 좌표정보, 회전 관절부의 좌표정보, 마커와 회전 관절부의 실제 거리 정보, 영상 정보에서 획득한 마커와 회전 관절부의 이미지상 거리 정보 및 마커의 위상정보 중 하나 이상을 이용하여 산출될 수 있다.
또한, 회전 관절부는 그립과 다자유도 작동기를 결합하고, 그립에 3자유도의 회전 운동을 제공할 수 있다.
본 발명의 또 다른 양태로서 영상 정보를 이용하는 햅틱 장치를 제어하는 방법은, 햅틱 장치에 구비된 마커의 좌표 정보를 획득하는 단계와 마커에 대한 영상 정보를 획득하는 단계와 좌표 정보 및 영상 정보를 이용하여 마커가 구비된 그립의 위상 정보를 산출하는 단계를 포함할 수 있다. 이때, 그립에 대한 위상 정보는 마커의 좌표 정보 및 영상 정보에서 도출한 마커의 3 차원 회전각을 이용하여 산출될 수 있다.
마커의 3 차원 회전각은 마커의 좌표 정보, 마커와 회전 관절부의 실제 거리 정보 및 영상 정보에서 획득된 마커와 회전 관절부의 이미지상 거리 정보 중 하나 이상을 이용하여 산출될 수 있다.
이때, 회전 관절부는 대상 물체에 외부 자극을 인가하는 그립과 대상 물체에 외부 자극을 인가하기 위해 그립을 제어하는 다자유도 작동기를 결합하고, 그립에 3자유도의 회전 운동을 제공할 수 있다.
본 발명의 또 다른 양태로서 영상 정보를 이용하는 햅틱 장치는, 대상 물체에 외부 자극을 인가하기 위한 그립과 그립의 일단에 구비되는 3차원 입체 마커와 그립을 대상 물체에 접근시키기 위한 다자유도 작동기와 그립과 다자유도 작동기를 결합하고, 그립에 3자유도의 회전 운동을 제공하는 회전 관절부와 3차원 입체 마커의 좌표 정보 및 회전 관절부의 좌표 정보를 획득하기 위한 엔코더와 그립, 마커 및 회전 관절부를 촬영하여 영상 정보를 획득하는 영상 촬영부 및 영상 정보를 처리하여 그립의 위상 정보를 도출하는 영상 처리모듈을 포함할 수 있다.
상기 본 발명의 양태들은 본 발명의 바람직한 실시예들 중 일부에 불과하다. 이하 상술하는 본 발명의 상세한 설명을 기반으로, 본원 발명의 기술적 특징들이 반영된 다양한 실시예들이 당해 기술분야의 통상적인 지식을 가진 자에 의해 도출되고 이해될 수 있다.
본 발명의 실시예들을 햅틱 장치에 적용함으로써 사용자는 다음과 같은 효과를 누릴 수 있다.
첫째, 그립의 위상을 측정하기 위해 기계식 센서를 이용하지 않으므로 햅틱 장치의 구조가 간단해지며, 경량화 및 소형화가 가능해진다.
둘째, 그립의 위상을 측정하기 위해 기계식 센서를 이용하지 않으므로 햅틱 장치에 구비된 그립의 회전이 전원선 및 신호선에 의하여 구속 받지 않는 장점이 있다.
셋째, 햅틱 장치의 목적에 따라 그립의 종류를 교체하는 경우, 전원선 및 신호선을 해제하고 재설치할 필요가 없다.
넷째, 영상 촬영부를 이용함으로써 사용자의 손 모양을 인식하여 의도를 파악하여 좀더 효과적인 햅틱을 제공하는 등의 다양한 어플리케이션이 가능하다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예로서 비젼(Vision)을 이용한 햅틱 장치 중 하나를 나타내는 블럭도이다.
도 2는 본 발명의 실시예로서 햅틱 장치의 일례를 나타내는 도면이다.
도 3은 본 발명의 실시예로서 햅틱 장치의 다른 일례를 나타내는 도면이다.
도 4는 본 발명 실시예로서 햅틱 장치의 또 다른 일례를 나타내는 도면이다.
도 5는 본 발명의 실시예로서 마커 및 특징점을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예로서 3차원 마커의 일례를 나타내는 도면이다.
도 7은 본 발명의 실시예로서 그립의 3차원 위상 정보를 산출하는 방법의 일례를 나타내는 도면이다.
도 8은 본 발명의 실시예로서 햅틱 장치를 제어하는 방법 중 하나를 나타내는 도면이다.
본 발명은 햅틱 장치에 관한 것으로서, 햅틱 장치에 구비되는 그립의 위치를 측정하기 위한 다양한 방법 및 이를 지원하는 햅틱 장치들을 개시한다.
이하의 실시예들은 본 발명의 구성요소들과 특징들을 소정 형태로 결합한 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려될 수 있다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시예를 구성할 수도 있다.
본 발명의 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다.
도면에서는 각 구성 요소의 특징을 명확히 나타내기 위해, 일부 구성 요소는 간략히 표시하였고, 주요 구성 요소를 중심으로 도면을 작성하였다. 이런 과정에서, 일부 구성 요소의 형상이 단순화하여 표시되었으며, 각 구성 요소는 그 주요 기능에 의해 특정됨을 명확히 한다. 따라서, 도면에서 본 발명의 요지를 나타내는데 필요한 단계 또는 구성요소를 위주로 표시했고, 본 발명의 요지를 흐릴 수 있는 단계 또는 구성요소는 표시하지 않았다.
또한, 명세서 전체를 통하여 동일한 부분 또는 유사한 부분에 대해서는 동일한 도면 부호를 붙였다. 층, 막, 영역 및 판 등의 부분이 다른 부분 '위에' 있다고 할 때, 이는 다른 부분 '바로 위에' 있는 경우뿐 아니라 그 중간에 또 다른 부분이 있는 경우도 포함한다. 반대로 어떤 부분이 다른 부분 '바로 위에' 있다고 할 때는 중간에 다른 부분이 없는 것을 뜻한다.
본 발명의 상세한 설명에서 사용되는 특정(特定) 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.
이하에서는 본 발명과 관련된 햅틱 장치에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
도 1은 본 발명의 실시예로서 비젼(Vision)을 이용한 햅틱 장치 중 하나를 나타내는 블럭도이다.
도 1을 참조하면, 햅틱 장치는 대상 물체에 외부의 힘을 인가하기 위한 그립(Grip, 100), 그립의 좌표 정보 및/또는 위상 정보 등을 포함하는 위치정보를 도출하는데 사용되는 마커(101), 그립(100)과 다자유도 작동기(300)를 연결하고 그립의 회전 운동을 지원하는 회전 관절부(102), 그립의 위상을 측정하기 위한 영상 촬영부(200) 및 그립과 회전 관절부의 움직임을 다 자유도로서 지원하는 다자유도 작동기(300)를 포함할 수 있다. 또한, 햅틱 장치는 사용자의 제어 정보에 따라 다자유도 작동기, 회전 관절부 및 그립의 동작을 제어하고, 영상측정부를 통해 획득한 영상정보로부터 그립의 위상 정보를 산출하는 프로세서(400)를 더 포함할 수 있다.
그립(100)은 햅틱 장치의 용도에 따라 변경될 수 있는 부분으로서, 사용자의 의사에 따라 대상 물체에 직접 접촉하여 집고, 누르고, 자르고, 당기는 등의 자극을 가하는 모든 수단이 될 수 있다. 물론, 그립은 햅틱 장치의 용례에 따라 직접 접촉하지 않고도 대상 물체에 외부 자극을 가하는 수단으로 구성될 수 있다. 본 발명의 실시예들에서 그립은 손잡이, 핸들(Handle) 또는 스타일러스(Stylus) 등의 용어와 혼용되어 사용될 수 있다.
마커(101)는 그립의 소정 부분에 위치하여, 그립의 위상 정보 및/또는 좌표 정보를 획득하는데 사용될 수 있다. 마커에 대한 자세한 설명은 후술 한다.
회전 관절부(102)는 그립의 일단에서 그립과 결합하여 그립에 3 자유도의 위상을 제공할 수 있다. 따라서, 회전 관절부는 3 자유도의 회전이 가능한 모든 구조를 포함할 수 있다. 또한, 회전 관절부는 그립과 다자유도 작동기와의 체결부로서 동작할 수 있다. 본 발명에서 회전 관절부로서 짐벌(Gimbal) 구조가 사용될 수 있다. 짐벌은 구조물의 동요에 관계없이 기기나 장비가 수평 및 연직으로 놓일 수 있도록 전후 방향축과 좌우 방향축에 대해서 회전을 허용하는 회전 허용 지지물을 의미한다.
영상 촬영부(200)는 햅틱 장치의 일단에 구비되어 그립에 대한 영상정보를 획득하는 수단을 의미한다. 이때, 영상 촬영부는 촬영한 영상에서 마커 또는 임의의 특징점의 추적이 가능한 모든 수단이 되는 장치를 의미한다. 본원 발명의 실시예에서, 영상 촬영부는 육안의 원리를 이용하여 2개의 렌즈를 사용하는 스테레오 카메라, 다자유도의 움직임이 가능한 카메라, 다수의 광원을 이용한 카메라 또는 TOF(Time of Flight)를 이용하여 거리 측정이 가능한 카메라 등이 사용될 수 있다.
또한, 영상 촬영부는 그립과 연결된 회전 관절부를 검출 할 수 있도록 자동적 혹은 수동적으로 동작할 수 있다. 자동적으로 회전 관절부를 검출 할 수 있는 방법의 일례로는 다자유도 회전 구동기가 설치된 팬틸트(Pan/Tilt) 형식의 카메라 시스템을 포함할 수 있으며, 수동적으로 손잡이의 관절부를 검출 할 수 있는 방법의 일례로는 영상 촬영부와 그립의 회전 관절부가 동일 링크부에 위치한 시스템을 포함할 수 있다. 또한, 영상 촬영부에는 촬영한 영상 정보를 처리하여 그립의 위상 정보 및/또는 좌표 정보 등의 위치정보를 산출할 수 있는 영상 처리부 또는 영상 처리장치가 포함될 수 있다.
다자유도 작동기(300)는 사용자에게 힘 피드백 및/또는 촉각 피드백을 줄 수 있도록 최소 둘 이상의 관절을 갖춘 장치이다. 사용자는 다자유도 작동기를 제어하여 그립을 대상 물체에 접촉시키거나 근처에 위치시킬 수 있다. 또한, 사용자는 다자유도 작동기를 제어하여 대상 물체에 물리적인 외력을 인가할 수 있다.
프로세서(400)는 사용자의 제어정보에 따라 햅틱 장치의 각 구성요소를 제어하는 기능을 수행함으로써 사용자가 햅틱 장치를 조작할 수 있도록 하는 부분이다. 프로세서는 미리 입력된 정보를 바탕으로 햅틱 장치를 자동 제어할 수 있으며, 영상 촬영부에서 촬영한 영상 정보를 분석 및 처리할 수 있는 영상 처리부를 포함할 수 있다. 또한, 프로세서는 대상 물체의 표면에 대한 그래픽 정보를 처리할 수 있는 그래픽 카드를 더 포함할 수 있다.
영상 처리부는 영상정보를 변환하거나 알고리즘 처리를 통하여 그립의 좌표 정보 및/또는 위상 정보를 획득할 수 있다. 다만, 영상 처리부는 사용자의 요구에 따라 제어부가 아닌 영상 촬영부에 포함될 수 있다.
도 2는 본 발명의 실시예로서 햅틱 장치의 일례를 나타내는 도면이다.
도 2에서 다자유도 작동기(300)는 두 개의 관절을 갖는 경우를 나타낸다. 다자유도의 일측에는 영상 촬영부(200)가 구비될 수 있으며, 다른 일측에는 회전 관절부(102)가 구비될 수 있다. 이때, 회전 관절부에는 그립(100)이 결합되어 대상 물체에 다 자유도의 외부 자극을 인가할 수 있다.
영상 촬영부는 다자유도 작동기의 일측에 고정 형식으로 구비될 수 있다. 예를 들어, 다자유도 작동기의 링크에 붙어서 수동적으로 회전 관절부를 계속 촬영하게 할 수 있다. 또한, 회전 관절부가 연결되는 다자유도 작동기의 링크에 영상 촬영부가 구비될 수 있다.
또는, 영상 촬영부는 다자유도 작동기의 일측에 구비되어 다자유도 작동기의 동작에 상응하여 움직임으로써 자동적으로 회전 관절부를 촬영할 수 있다. 예를 들어, 영상 촬영부는 팬-틸트 카메라와 같은 형식으로 다자유도 작동기에 구비되어 다자유도 작동기의 동작에 따라 다자유도 작동기의 말단에 구비된 회전 관절부의 움직임을 추적하여 특정 위치에서의 회전 관절부를 촬영할 수 있다.
본 발명의 실시예들에서, 영상 촬영부가 마커가 구비된 그립 또는 마커 자체를 촬영하지 않고 회전 관절부를 측정하는 이유는 다음과 같다. 그립 또는 마커의 움직임은 사용자의 제어에 따라 다양하게 변하므로 영상 촬영부에서 그립 또는 마커의 움직임을 추적하기 어렵다. 그러나, 그립 또는 마커는 회전 관절부에 결합하여 회전 관절부를 중심으로 움직이며, 그립의 활동 반경이 회전 관절부를 크게 벗어나지 않으므로, 영상 촬영부는 회전 관절부를 촬영함으로써 얻는 영상정보로서 마커의 위상 정보 또는 좌표 정보를 쉽게 획득할 수 있다. 즉, 회전 관절부는 하나의 기준 촬영 포인트로서 사용될 수 있다.
도 2에서 그립의 형상은 스타일러스 형태를 갖는다. 스타일러스는 펜 모양으로 대상 물체에 누르거나 찌르는 방식의 외부 자극을 인가할 수 있는 구조를 갖는다. 비록, 도 2에서 도시한 그립은 스타일러스 형태를 가지나, 햅틱 장치의 이용 목적에 따라 그립은 주사기, 집게, 가위, 인덴터 및/또는 프로브 등이 될 수 있다. 그립의 일측 말단에는 마커(101)가 구비되어 그립이 회전 관절부에 의해 3 자유도의 회전 운동을 하는 경우, 그립의 위상 정보를 측정하는데 사용될 수 있다.
도 3을 참조하면, 햅틱 장치는 하나의 관절을 갖는 다자유도 작동기(300)를 구비하고 있다. 다자유도 작동기의 일측 말단(310) 부분에는 회전 관절부가 결합될 수 있다.
도 3의 햅틱 장치는 와이어 드럼(Wire Drum, 320)을 포함하고 있으며, 와이어 드럼은 다자유도 작동기에 회전력을 전달하여 다자유도 작동기의 동작을 제어할 수 있다. 또한, 영상 촬영부(200, 미도시)는 와이어 드럼에 고정되어 그립 및 회전 관절부의 동작에 대한 특정 정지영상을 촬영함으로써, 그립 및 회전 관절부의 위상 정보 및/또는 좌표 정보를 획득할 수 있다. 물론, 도 3의 영상 촬영부도 도 3의 햅틱 장치의 움직임에 적응적으로 반응함으로써 그립에 대한 영상 정보를 획득할 수 있다.
도 4는 본 발명 실시예로서 햅틱 장치의 또 다른 일례를 나타내는 도면이다.
도 4를 참조하면, 햅틱 장치에 구비된 다자유도 작동기(300)의 일측에 회전 관절부(102)가 구비된 경우를 나타내며, 회전 관절부에는 스타일러스 형태의 그립(100)이 구비된 경우를 나타낸다. 또한, 햅틱 장치의 와이어 드럼의 하단에는 영상 촬영부(200)가 구비될 수 있다. 이때, 와이어 드럼에는 모터 엔코더가 포함될 수 있다. 모터 엔코더는 모터의 회전축에 결합함으로써 모터의 회전과 함께 동기화되어 모터의 회전 속도, 회전 방향 및/또는 회전각에 대한 정보를 획득할 수 있다. 사용자는 모터축의 초기 원점 및 현재 위치에 대한 좌표 정보를 획득할 수 있다. 따라서, 회전 관절부에 대한 좌표 정보는 모터 엔코더로서 추적할 수 있다. 이때, 모터 엔코더는 회전 관절부 및/또는 다자유도 작동기의 하나 이상의 관절에 하나 이상 구비될 수 있다.
도 5는 본 발명의 실시예로서 마커 및 특징점을 설명하기 위한 도면이다.
도 5(a)는 마커의 예시들을 나타내는 도면이다. 마커는 영상 처리시 명암이 뚜렷하게 표시되는 형태를 갖는다. 도 5(a)를 참조하면, 마커는 정사각형의 검정색 형태로서 내부에는 밝은 색의 형상을 포함하여 명암대비를 뚜렷하게 나타낸다. 즉, 사용자는 마커의 고유 모양을 토대로 마커가 부착된 특정 물체의 3차원 회전각을 측정할 수 있다. 도 5(a)에 도시된 마커들은 본 발명을 설명하기 위한 일례에 불과하며, 사각형이 아닌 원형, 삼각형 사각 이상의 다각형으로 표시될 수도 있다.
도 5(b)는 특징점(Feature)의 일례를 나타내는 도면이다. 특징점이란 인위적인 마커는 아니지만, 주변 형상과 특징적으로 다른 지점을 마커로서 이용하는 것을 의미한다. 도 5(b)의 경우에는, 특징점의 일례로서 사람의 눈, 코 및/또는 입의 좌우 끝 지점을 특징점으로서 사용하는 경우를 나타내고 있다.
도 6은 본 발명의 실시예로서 3차원 마커의 일례를 나타내는 도면이다.
도 6(a)를 참조하면, 마커는 정육면체의 형태로 구현될 수 있다. 각 면에는 마커들이 표기될 수 있으며, 서로 다른 모양의 마커들이 표시될 수 있다. 도 6(a)에서는 기본적인 정육면체의 형태를 나타내었으나, 사용자의 요구 사항에 따라 구형 또는 사면체 이상의 다면체 구조를 가질 수 있다.
도 6(b)를 참조하면, 육면체의 마커를 기준으로 3차원의 회전각을 구하기 위한 기준선을 확인할 수 있다. 즉, 사용자는 영상 촬영부에서 촬영한 마커의 영상 정보를 토대로, 마커가 기준점으로부터 얼마만큼 회전하였는지 여부를 알 수 있다. 따라서, 사용자는 마커가 구비된 그립의 위상 정보를 마커를 통해 획득할 수 있다.
그립 및/또는 마커의 3 자유도의 위상 정보는 각각 θ, Φ, г로 나타낼 수 있다. 3 자유도의 위상 정보는 회전 방향에 따라 롤(Roll), 피치(Pitch) 및 요(Yaw)로서 표현될 수 있다. 롤은 마커가 좌우 수평 방향으로 어느 정도 회전하였는지를 나타내며, 피치는 마커가 상하로 어느 정도 회전하였는지를 나타내며, 요는 마커가 수직축을 중심으로 어느 정도 회전하였는지를 나타낸다.
예를 들어, 도 6(b)를 참조하면, 육면체 마커를 기준으로 공간을 x, y, z 축으로 분할하는 경우, θ는 그립이 x 축을 중심으로 수평 방향으로의 회전각을 나타내고, Φ는 그립이 y 축을 중심으로의 회전각을 나타내며, г는 z 축을 중심으로의 회전각을 나타낸다. 본 발명의 실시예들에서 그립 및/또는 마커의 위상 정보는 롤-피치-요(RPY: Roll-Pitch-Yaw)로서 특정될 수 있다. 이하에서는 그립의 위상 정보를 산출하는 방법에 대해서 구체적으로 설명한다.
도 7은 본 발명의 실시예로서 그립의 3차원 위상 정보를 산출하는 방법의 일례를 나타내는 도면이다.
그립은 햅틱 장치의 제어에 따라 3 자유도의 위상을 가질 수 있다. 햅틱 장치에서는 그립의 위상 정보를 획득함으로써, 대상 물체에 사용자가 원하는 외부 자극을 정확히 인가할 수 있다. 그립의 위상 정보는 영상 촬영부(200)에서 마커 및/또는 회전 관절부(102)를 수동적 또는 자동적으로 촬영한 영상 정보를 기반으로 획득될 수 있다.
햅틱 장치에 내장된 프로세서는 햅틱 장치의 동작을 제어하며, 영상 촬영부를 제어하여 마커 및/또는 회전 관절부의 현재 모습을 촬영한 영상 정보를 획득할 수 있다. 프로세서는 촬영한 영상 정보에서 마커의 회전각을 산출함으로써 마커의 위상 정보를 산출할 수 있다.
이때, 영상 촬영부는 촬영한 영상 정보를 프로세서에 전달하기 전에, 미리 이미지 처리를 하여 전달 할 수 있다. 즉, 본 발명의 다른 실시예로서 영상 촬영부에 영상 처리모듈(또는, 영상 처리부)이 구비되어, 촬영한 영상 이미지에서 마커의 위치를 식별하여 프로세서에 전달할 수 있다. 또한, 영상 촬영부 자체에서 영상 정보를 기반으로 마커의 위상 정보를 계산하여 도출한 결과값만을 프로세서에 전달할 수도 있다. 이러한 경우에는, 프로세서에서 마커의 위상 정보 및 그립의 위상 정보를 획득할 수 있다. 이하에서는 마커의 위상 정보를 획득하기 위한 방법을 도 7(b)에서 설명한 롤-피치-요(RPY)의 회전각을 기반으로 자세히 설명한다.
그립 및/또는 마커의 3 자유도의 위상각은 각각 θ, Φ, г로 나타낼 수 있으며, 그립 및/또는 마커의 3 자유도의 위상 정보를 측정하는 방법을 θ, Φ, г 값을 획득하는 방법으로서 설명한다.
도 7(a) 및 도 7(b)를 참조하면, 그립(100)은 회전 관절부(102)를 중심으로, 회전 관절부에 의해 도 7(a) 및 도 7(b)의 점선으로 표시된 회전 반경 내에서 구형의 운동 범위를 가질 수 있다. 즉, 그립은 회전 관절부에 의해 3 자유도의 위상 변이를 할 수 있다. 이때, 마커(101)는 그립의 일측 말단 부분에 구비될 수 있으며, 회전 관절부로부터 L 거리상에 마커가 구비될 수 있다.
영상 촬영부(200)에서는 회전 관절부를 기준으로 그립을 촬영하고, 촬영된 영상 정보에는 그립의 구형의 운동 범위가 원형으로 나타날 수 있다. 이때, 영상 이미지에서 회전 관절부와 마커 사이의 거리를 측정하면 이미지 상의 거리인 L’을 산출할 수 있다.
θ 값은 회전 관절부의 중심 좌표와 마커의 중심 좌표를 사용자(또는, 햅틱 장치)가 알고 있다고 가정 할 때, 두 벡터 사이의 각도를 구하는 방법을 이용하면 쉽게 구할 수 있다. 예를 들어, 공간상에서 회전 관절부의 중심 좌표는 벡터 U로서 표현될 수 있으며, 마커의 중심 좌표는 벡터 V로서 표현될 수 있다. 이때, 두 벡터의 사이각(θ)은 다음 수학식 1로서 구할 수 있다.
Figure 112011019982331-pat00001
Φ 값은 회전 관절부의 중심과 마커와의 이미지 상의 거리인 L’을 구한 뒤, 기 설정된 실제 거리인 L을 이용하여 다음 수학식 2를 이용하여 구할 수 있다.
Figure 112011019982331-pat00002
г 값은 마커가 영상 촬영부의 초점의 정 중앙에 있을 때를 기준으로 마커의 위치가 변경된 경우, 도 7(c)와 같이 마커의 위상을 측정함으로써 구할 수 있다. 예를 들어, 영상 촬영부가 햅틱 장치의 특정 부분에 구비되어 수동적으로 동작하는 경우에는, 도 7(c)의 좌측 도면은 마커가 영상 촬영부의 초점과 일치하는 선상에 놓였을 때를 기준 축으로 하고 있음을 나타내고 있다. 이때, 도 7(c)의 우측 도면은 마커가 이동한 경우 기준 축으로부터 마커가 어느 정도 회전하였는지를 나타내는 도면이다.
만약, 영상 촬영부가 적응적으로 햅틱 장치의 동작에 맞추어 동작하는 경우(e.g. 팬틸트 카메라 등의 경우)에는, 마커의 한 점을 기준점으로 잡고, 다음 촬영 시 마커가 기준점을 기준으로 어느 정도 이동하였는지를 기반으로 г 값을 측정할 수 있다.
이와 같이, 사용자는 그립의 위상 정보를 영상 촬영부에서 촬영한 영상을 토대로 마커의 위상 정보를 이용하여 획득할 수 있다. 즉, 사용자는 마커의 중심이 수평 방향에서 얼마나 회전하였는가를 측정함으로써 θ 값을 얻을 수 있으며, 마커의 패턴이 얼마나 회전하였는가를 측정함으로써 г 값을 획득할 수 있으며, 마커와 회전 관절부의 실제 길이 L과 이미지 상에서 측정된 거리 L’의 관계로부터 Φ 값을 구할 수 있다.
도 8은 본 발명의 실시예로서 햅틱 장치를 제어하는 방법 중 하나를 나타내는 도면이다.
사용자는 본 발명의 실시예들에서 개시한 햅틱 장치를 조작하여 햅틱 장치의 다자유도 작동기(300)를 구동할 수 있다. 즉, 사용자는 햅틱 장치를 제어하여 대상 물체에 외부 자극을 가하기 위한 햅틱 장치의 다자유도 작동기를 위치시킬 수 있다(S810).
다자유도 작동기가 대상 물체에 소정의 외부 자극을 가할 수 있는 지점에 위치하게 되면, 사용자는 회전 관절부(102)를 구동하여 회전 관절부에 결합된 그립(100)에 3 자유도의 위상 변이를 인가할 수 있다(S820).
사용자는 S810 및 S820 단계를 이용하여 대상 물체에 그립을 이용하여 외부 자극을 인가할 수 있다. 햅틱 장치는 사용자의 제어에 따라 다자유도 작동기 및 회전 관절부를 움직이므로, 회전 관절부 및/또는 마커의 좌표 정보를 실시간으로 획득할 수 있다(S830).
이때, 회전 관절부의 좌표 정보는 모터 엔코더로서 추적이 가능하다.
영상 촬영부(200)는 주기적으로 또는 사용자의 제어에 따라 비주기적으로 회전 관절부를 촬영하여 영상 정보를 획득할 수 있다(S840).
또한, 햅틱 장치의 제어부는 S830 단계에서 획득한 좌표 정보와 S840에서 촬영한 영상 정보를 기반으로 그립의 위상 정보를 산출할 수 있다(S850). 그립의 3차원 위상 정보를 산출하는 방법은 도 7의 설명을 참조할 수 있다.
본 발명의 다른 실시예에서는 마커(101) 대신에 특징점이 사용될 수 있다. 도 5(b)에서는 사람의 얼굴을 예로 들어 특징점을 설명하였으나, 그립이 사용되는 경우에는 그립의 양 끝단 및 회전 관절부의 중심부가 특징점으로 사용될 수 있다.
본 발명의 또 다른 실시예로서, 마커(101)의 소재로서 적외선을 발광할 수 있는 발광다이오드(LED: Light Emitting Diode)가 사용될 수 있다. 이러한 경우, 영상 촬영부는 적외선을 검출할 수 있는 적외선 카메라 시스템을 구비하는 것이 바람직하며, 적외선 영상을 촬영할 수 있다. 즉, 영상 처리부에서는 촬영한 적외선 영상에서 해당 지점을 검출함으로써 그립의 위상 정보를 획득할 수 있다.
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함시킬 수 있다.
100: 그립
101: 마커
102: 회전 관절부
200: 영상 촬영부
300: 다자유도 작동기
400: 프로세서

Claims (17)

  1. 영상 정보를 이용하는 햅틱 장치에 있어서,
    대상 물체에 외부 자극을 인가하기 위한 그립;
    상기 그립의 일단에 구비되는 마커;
    상기 그립을 상기 대상 물체에 접근시키기 위한 다자유도 작동기;
    상기 그립과 상기 다자유도 작동기를 결합하고, 상기 그립에 3자유도의 회전 운동을 제공하는 회전 관절부;
    상기 그립, 상기 마커 및 상기 회전 관절부 중 하나 이상을 촬영하여 상기 영상 정보를 획득하는 영상 촬영부; 및
    상기 다자유도 작동기, 상기 회전 관절부, 상기 그립 및 상기 영상 촬영부를 제어하기 위한 프로세서를 더 포함하고,
    상기 프로세서는 상기 대상 물체에 상기 외부 자극이 인가될 때 상기 영상 정보를 획득하도록 상기 영상 촬영부를 제어하고, 상기 영상 정보로부터 상기 그립에 대한 위상 정보를 도출하되,
    상기 그립에 대한 위상 정보는 상기 마커의 좌표 정보, 상기 회전 관절부의 좌표 정보 및 상기 영상 정보에서 도출한 상기 마커의 3 차원 회전각을 이용하여 도출되는 것을 특징으로 하는, 햅틱 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 마커는 적외선을 발광하는 발광다이오드(LED)를 포함하고,
    상기 영상 촬영부는 상기 적외선을 검출할 수 있는 적외선 카메라 시스템을 포함하는, 햅틱 장치.
  5. 영상 정보를 이용하는 햅틱 장치에 있어서,
    대상 물체에 외부 자극을 인가하기 위한 그립;
    상기 그립의 일단에 구비되는 마커;
    상기 그립을 상기 대상 물체에 접근시키기 위한 다자유도 작동기;
    상기 그립과 상기 다자유도 작동기를 결합하고, 상기 그립에 3자유도의 회전 운동을 제공하는 회전 관절부; 및
    상기 그립, 상기 마커 및 상기 회전 관절부 중 하나 이상을 촬영하여 상기 영상 정보를 획득하는 영상 촬영부를 포함하고,
    상기 영상 촬영부는 상기 영상 정보를 처리하여 상기 그립의 위상 정보를 도출하는 영상 처리모듈을 포함하되,
    상기 그립에 대한 위상 정보는 상기 마커의 좌표 정보, 상기 회전 관절부의 좌표 정보 및 상기 영상 정보에서 도출한 상기 마커의 3 차원 회전각을 이용하여 도출되는, 햅틱 장치.
  6. 삭제
  7. 제 5항에 있어서,
    상기 마커는 적외선을 발광하는 발광다이오드(LED)를 포함하고,
    상기 영상 촬영부는 상기 적외선을 검출할 수 있는 적외선 카메라 시스템을 포함하는, 햅틱 장치.
  8. 영상 정보를 이용하는 햅틱 장치에 있어서,
    대상 물체에 외부 자극을 인가하기 위한 그립;
    상기 그립의 일단에 구비되는 마커;
    상기 그립을 상기 대상 물체에 접근시키기 위한 다자유도 작동기;
    상기 그립과 상기 다자유도 작동기를 결합하고, 상기 그립에 3자유도의 회전 운동을 제공하는 회전 관절부;
    상기 마커의 좌표 정보 및 상기 회전 관절부의 좌표 정보를 획득하기 위한 하나 이상의 엔코더;
    상기 그립, 상기 마커 및 상기 회전 관절부 중 하나 이상을 촬영하여 상기 영상 정보를 획득하는 영상 촬영부; 및
    상기 다자유도 작동기, 상기 회전 관절부, 상기 그립 및 상기 영상 촬영부를 제어하기 위한 프로세서를 포함하며,
    상기 프로세서는 상기 대상 물체에 상기 외부 자극이 인가될 때 상기 영상 정보를 획득하도록 상기 영상 촬영부를 제어하고, 상기 영상 정보로부터 상기 그립에 대한 위상 정보를 도출하되
    상기 그립에 대한 위상 정보는, 상기 마커의 좌표 정보, 상기 회전 관절부의 좌표 정보 및 상기 영상 정보에서 도출한 상기 마커의 3 차원 회전각을 이용하여 도출되는, 햅틱 장치.
  9. 삭제
  10. 삭제
  11. 영상 정보를 이용하는 햅틱 장치를 제어하는 방법에 있어서,
    대상 물체에 외부 자극을 인가하기 위해 다자유도 작동기를 제어하는 단계;
    상기 다자유도 작동기에 구비된 회전 관절부 및 그립을 제어하여 상기 대상 물체에 상기 외부 자극을 인가하는 단계;
    상기 회전 관절부의 좌표 정보 및 마커의 좌표 정보를 획득하는 단계;
    상기 회전 관절부 및 상기 그립에 구비된 마커에 대한 영상 정보를 획득하는 단계; 및
    상기 회전 관절부의 좌표 정보, 상기 마커의 좌표 정보 및 상기 영상 정보를 이용하여 상기 그립의 위상 정보를 산출하는 단계를 포함하되,
    상기 그립의 위상 정보는 상기 마커의 좌표 정보, 상기 회전 관절부의 좌표 정보 및 상기 영상 정보에서 도출한 상기 마커의 3 차원 회전각을 이용하여 도출되는, 햅틱 장치 제어방법.
  12. 제 11항에 있어서,
    상기 그립의 위상 정보는,
    상기 마커의 좌표정보, 상기 회전 관절부의 좌표정보, 상기 마커와 상기 회전 관절부의 실제 거리 정보, 상기 영상 정보에서 획득한 상기 마커와 상기 회전 관절부의 이미지상 거리 정보 및 상기 마커의 위상정보 중 하나 이상을 이용하여 산출되는, 햅틱 장치 제어방법.
  13. 제 12항에 있어서,
    상기 회전 관절부는,
    상기 그립과 상기 다자유도 작동기를 결합하고 상기 그립에 3자유도의 회전 운동을 제공하는, 햅틱 장치 제어방법.
  14. 영상 정보를 이용하는 햅틱 장치를 제어하는 방법에 있어서,
    상기 햅틱 장치에 구비된 마커의 좌표 정보를 획득하는 단계;
    상기 마커에 대한 영상 정보를 획득하는 단계; 및
    상기 좌표 정보 및 상기 영상 정보를 이용하여 상기 마커가 구비된 그립의 위상 정보를 산출하는 단계를 포함하되,
    상기 그립에 대한 위상 정보는 상기 마커의 좌표 정보 및 상기 영상 정보에서 도출한 상기 마커의 3 차원 회전각을 이용하여 산출되는, 햅틱 장치 제어방법.
  15. 제 14항에서,
    상기 마커의 3 차원 회전각은,
    상기 마커의 좌표 정보, 상기 마커와 회전 관절부의 실제 거리 정보 및 상기 영상 정보에서 획득된 상기 마커와 상기 회전 관절부의 이미지상 거리 정보 중 하나 이상을 이용하여 산출되는, 햅틱 장치 제어방법.
  16. 제 15항에 있어서,
    상기 회전 관절부는,
    대상 물체에 외부 자극을 인가하는 상기 그립과 상기 대상 물체에 상기 외부 자극을 인가하기 위해 상기 그립을 제어하는 다자유도 작동기를 결합하고,
    상기 그립에 3자유도의 회전 운동을 제공하는, 햅틱 장치 제어방법.
  17. 영상 정보를 이용하는 햅틱 장치에 있어서,
    대상 물체에 외부 자극을 인가하기 위한 그립;
    상기 그립의 일단에 구비되는 3차원 입체 마커;
    상기 그립을 상기 대상 물체에 접근시키기 위한 다자유도 작동기;
    상기 그립과 상기 다자유도 작동기를 결합하고, 상기 그립에 3자유도의 회전 운동을 제공하는 회전 관절부;
    상기 3차원 입체 마커의 좌표 정보 및 상기 회전 관절부의 좌표 정보를 획득하기 위한 엔코더;
    상기 그립, 상기 마커 및 상기 회전 관절부를 촬영하여 상기 영상 정보를 획득하는 영상 촬영부; 및
    상기 영상 정보를 처리하여 상기 그립의 위상 정보를 도출하는 영상 처리모듈을 포함하되
    상기 그립의 위상 정보는 상기 마커의 좌표 정보, 상기 회전 관절부의 좌표 정보 및 상기 영상 정보에서 도출한 상기 마커의 3 차원 회전각을 이용하여 도출되는, 햅틱 장치.
KR1020110024323A 2011-03-18 2011-03-18 햅틱 장치 및 햅틱 장치 제어 방법 KR101230950B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110024323A KR101230950B1 (ko) 2011-03-18 2011-03-18 햅틱 장치 및 햅틱 장치 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110024323A KR101230950B1 (ko) 2011-03-18 2011-03-18 햅틱 장치 및 햅틱 장치 제어 방법

Publications (2)

Publication Number Publication Date
KR20120106294A KR20120106294A (ko) 2012-09-26
KR101230950B1 true KR101230950B1 (ko) 2013-02-06

Family

ID=47113029

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110024323A KR101230950B1 (ko) 2011-03-18 2011-03-18 햅틱 장치 및 햅틱 장치 제어 방법

Country Status (1)

Country Link
KR (1) KR101230950B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101479144B1 (ko) * 2013-07-11 2015-01-05 한국과학기술원 햅틱 감응 조종 장치 및 이를 이용한 선박의 선저 청소 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100695468B1 (ko) * 2005-10-07 2007-03-16 한양대학교 산학협력단 수술도구 위치 설정용 다자유도 로봇
KR20070122271A (ko) * 2006-06-26 2007-12-31 한국산업기술대학교산학협력단 로봇 자세 제어 시스템 및 로봇 자세 제어 방법
KR100951681B1 (ko) * 2009-11-16 2010-04-07 (주)휴먼아이티솔루션 적외선 카메라를 이용한 사용자 인터페이스 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100695468B1 (ko) * 2005-10-07 2007-03-16 한양대학교 산학협력단 수술도구 위치 설정용 다자유도 로봇
KR20070122271A (ko) * 2006-06-26 2007-12-31 한국산업기술대학교산학협력단 로봇 자세 제어 시스템 및 로봇 자세 제어 방법
KR100951681B1 (ko) * 2009-11-16 2010-04-07 (주)휴먼아이티솔루션 적외선 카메라를 이용한 사용자 인터페이스 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101479144B1 (ko) * 2013-07-11 2015-01-05 한국과학기술원 햅틱 감응 조종 장치 및 이를 이용한 선박의 선저 청소 시스템

Also Published As

Publication number Publication date
KR20120106294A (ko) 2012-09-26

Similar Documents

Publication Publication Date Title
Vonach et al. VRRobot: Robot actuated props in an infinite virtual environment
JP5982542B2 (ja) 低侵襲外科システムにおいて手の存在を検出するための方法およびシステム
JP6000387B2 (ja) 低侵襲外科システムにおいて使用するマスターフィンガー追跡システム
EP2755194B1 (en) 3d virtual training system and method
JP5702797B2 (ja) 遠隔操作される低侵襲スレーブ手術器具の手による制御のための方法およびシステム
JP5974668B2 (ja) マニピュレーションシステム
KR20130027006A (ko) 최소 침습 수술 시스템에서 손 제스처 제어를 위한 방법 및 장치
KR20020025198A (ko) 타켓을 위치시키는 방법 및 장치, 이미지 처리기, 그리고타켓 및 타켓 포인트 식별 방법
JP2021194539A (ja) 外科手術中のコンピュータ支援ナビゲーション用のカメラ追跡バー
US11331805B2 (en) Motion restriction system and method
Tsai et al. Unity game engine: Interactive software design using digital glove for virtual reality baseball pitch training
KR20150040580A (ko) 가상 공간 멀티 터치 인터랙션 장치 및 방법
JP7428436B2 (ja) 随意のデュアルレンジ運動学を用いたプロキシコントローラスーツ
KR20150094680A (ko) 타겟팅 및 누르기 내추럴 사용자 입력
WO2018176773A1 (zh) 三维空间的交互系统及其操作方法
JPH1163927A (ja) 頭部位置・姿勢の計測装置および作業監視装置
JP2022184958A (ja) アニメーション制作システム
JP2009285737A (ja) 入力インタフェース
KR101230950B1 (ko) 햅틱 장치 및 햅틱 장치 제어 방법
CN109313483A (zh) 一种与虚拟现实环境进行交互的装置
KR101825929B1 (ko) 수술로봇 조종을 위한 무구속의 3차원 손동작 모션 인식 시스템, 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
Yu et al. Efficiency and learnability comparison of the gesture-based and the mouse-based telerobotic systems
TWM563585U (zh) 用於虛擬實境環境的動作捕捉系統
TWM484404U (zh) 成像投影系統設備應用
WO2021059363A1 (ja) アニメーション制作方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151229

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee