KR20110066895A - 데이터 포멧의 정의를 통한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템 - Google Patents
데이터 포멧의 정의를 통한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템 Download PDFInfo
- Publication number
- KR20110066895A KR20110066895A KR1020100127100A KR20100127100A KR20110066895A KR 20110066895 A KR20110066895 A KR 20110066895A KR 1020100127100 A KR1020100127100 A KR 1020100127100A KR 20100127100 A KR20100127100 A KR 20100127100A KR 20110066895 A KR20110066895 A KR 20110066895A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- tactile
- tactile information
- virtual environment
- actuator
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000014509 gene expression Effects 0.000 claims abstract description 11
- 230000001235 sensitizing effect Effects 0.000 claims description 16
- 230000035807 sensation Effects 0.000 claims description 9
- 206010070834 Sensitisation Diseases 0.000 claims description 2
- 230000008313 sensitization Effects 0.000 claims description 2
- 230000003993 interaction Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 15
- 230000005540 biological transmission Effects 0.000 description 14
- 230000033001 locomotion Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000000586 desensitisation Methods 0.000 description 6
- 241000282326 Felis catus Species 0.000 description 3
- 230000002411 adverse Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 241000282472 Canis lupus familiaris Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000004064 dysfunction Effects 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 230000015541 sensory perception of touch Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010013954 Dysphoria Diseases 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003155 kinesthetic effect Effects 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
- B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
- B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
- B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
- B06B1/06—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with piezoelectric effect or with electrostriction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Mechanical Engineering (AREA)
Abstract
데이터 포멧의 정의를 통한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템이 제공된다. 상기 데이터 포멧의 정의를 통한 촉각 정보 표현 방법은, 가상 환경 및 상기 가상 환경에 대응하는 촉감 및 역감 정보를 포함하는 촉각 정보를 전송하여, 촉감 장치 및 역감 장치를 포함하는 촉각 기기를 통한 촉각 정보 표현 방법에 있어서, 상기 가상 환경에 대한 터치 여부를 감지하는 단계, 상기 터치로부터 산출된 감지 정보 생성 단계, 상기 생성된 감지 정보를 이용하여 상기 가상 환경에 설정된 관계식으로부터 피드백 촉각 정보를 생성하는 단계, 상기 촉감 장치 및 상기 역감 장치를 포함하는 상기 촉각 기기의 특성, 상기 촉각 기기의 규격 및 사용자 선호도를 포함하는 컨트롤 정보를 저장하는 단계, 상기 컨트롤 정보를 참조하여, 상기 피드백 촉각 정보를 리사이징 하는 단계 및 상기 리사이징한 상기 피드백 촉각 정보를 이용하여 상기 촉각 기기에게 장치명령을 전달하는 단계를 포함한다.
Description
본 발명은 촉각 기술에 관한 것으로, 상세하게는 오디오-비디오 멀티미디어에 촉각을 부가하여 사용자로 하여금 현실감을 느끼게 하는 촉각 정보 표현 방법 및 전송 시스템에 관한 것이다.
종래의 MPEG와 같은 오디오-비디오 기반의 표준들이 진행된 바 있으나, 이는 어디까지나 시각적 청각적 감각을 전달하는 데에 불과하였으며, 사용자가 촉감에 의하여 몰입감을 느낄 수 있는 효과는 제공하지 못하였다. 또한, 햅틱 기술이 휴대폰, 의료 기기, 게임 등에 일부 채용되고 있기는 하지만, 이와 같이 오디오-비디오 스트림에 햅틱 기술을 적용하기 위하여는 많은 기술적인 문제점들이 해결되어야 하므로 햅틱 기술을 영화, TV 프로그램과 같은 오디오/ 비디오 스트림 및 다양한 가상환경에 적용하기에는 어려움이 있다.
본 발명이 해결하고자 하는 기술적 과제는 멀티 미디어를 구현하기 위한 인터렉션 기기의 데이터 포멧을 명확하게 정의함으로써, 사용자에게 보다 현실감 있는 멀티미디어를 제공하는 촉감 정보 표현 방법을 제공하는 것이다.
본 발명의 다른 기술적 과제는 멀티 미디어를 구현하기 위한 인터렉션 기기의 데이터 포멧을 명확하게 정의함으로써, 사용자에게 보다 현실감 있는 멀티미디어를 제공하는 촉감 정보 표현 시스템을 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해 될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 태양에 따른 데이터 포멧의 정의를 통한 촉각 정보 표현 방법은, 가상 환경 및 상기 가상 환경에 대응하는 촉감 및 역감 정보를 포함하는 촉각 정보를 전송하여, 촉감 장치 및 역감 장치를 포함하는 촉각 기기를 통한 촉각 정보 표현 방법에 있어서, 상기 촉감 장치 및 상기 역감 장치를 포함하는 상기 촉각 기기의 특성, 상기 촉각 기기의 규격 및 사용자 선호도를 포함하는 컨트롤 정보를 저장하는 단계, 상기 컨트롤 정보를 참조하여, 상기 촉각 정보를 리사이징 하는 단계 및 상기 리사이징한 상기 촉각 정보를 이용하여 상기 촉각 기기에게 장치명령을 전달하는 단계를 포함한다.
상기 다른 기술적 과제를 달성하기 위한 본 발명의 일 태양에 따른 데이터 포멧의 정의를 통한 촉각 정보 전송 시스템은, 가상 환경 및 상기 가상 환경에 대응하는 촉감 및 역감 정보를 포함하는 촉각 정보를 전송하는 수단, 촉감 장치 및 역감 장치를 포함하는 촉각 기기를 통한 촉각 정보 표현 시스템에 있어서, 상기 촉감 장치 및 상기 역감 장치를 포함하는 상기 촉각 기기의 특성, 상기 촉각 기기의 규격 및 사용자 선호도를 포함하는 컨트롤 정보를 저장하는 수단, 상기 컨트롤 정보를 참조하여, 상기 촉각 정보를 리사이징 하는 수단 및 상기 리사이징한 상기 촉각 정보를 이용하여 상기 촉각 기기에게 장치명령을 전달하는 수단을 포함한다.
상기 다른 기술적 과제를 달성하기 위한 본 발명의 일 태양에 따른 데이터 포멧의 정의를 통한 촉각 정보 전송 방법은, 가상 환경 및 상기 가상 환경에 대응하는 촉감 및 역감 정보를 포함하는 촉각 정보를 전송하여, 촉감 장치 및 역감 장치를 포함하는 촉각 기기를 통한 촉각 정보 표현 방법에 있어서, 상기 가상 환경에 대한 터치 여부를 감지하는 단계, 상기 터치로부터 산출된 감지 정보 생성 단계, 상기 생성된 감지 정보를 이용하여 상기 가상 환경에 설정된 관계식으로부터 피드백 촉각 정보를 생성하는 단계, 상기 촉감 장치 및 상기 역감 장치를 포함하는 상기 촉각 기기의 특성, 상기 촉각 기기의 규격 및 사용자 선호도를 포함하는 컨트롤 정보를 저장하는 단계, 상기 컨트롤 정보를 참조하여, 상기 피드백 촉각 정보를 리사이징 하는 단계 및 상기 리사이징한 상기 피드백 촉각 정보를 이용하여 상기 촉각 기기에게 장치명령을 전달하는 단계를 포함한다.
상기 다른 기술적 과제를 달성하기 위한 본 발명의 일 태양에 따른 데이터 포멧의 정의를 통한 촉각 정보 전송 시스템은, 가상 환경 및 상기 가상 환경에 대응하는 촉감 및 역감 정보를 포함하는 촉각 정보를 전송하는 수단, 촉감 장치 및 역감 장치를 포함하는 촉각 기기를 통한 촉각 정보 표현 시스템에 있어서, 상기 가상 환경에 대한 터치 여부를 감지하는 수단, 상기 터치로부터 산출된 감지 정보 생성 수단, 상기 생성된 감지 정보를 이용하여 상기 가상 환경에 설정된 관계식으로부터 피드백 촉각 정보를 생성하는 수단, 상기 촉감 장치 및 상기 역감 장치를 포함하는 상기 촉각 기기의 특성, 상기 촉각 기기의 규격 및 사용자 선호도를 포함하는 컨트롤 정보를 저장하는 수단, 상기 컨트롤 정보를 참조하여, 상기 피드백 촉각 정보를 리사이징 하는 수단 및 상기 리사이징한 상기 피드백 촉각 정보를 이용하여 상기 촉각 기기에게 장치명령을 전달하는 수단을 포함한다.
멀티 미디어를 구현하기 위한 인터렉션 기기의 데이터 포멧을 명확하게 정의함으로써, 사용자에게 보다 현실감 있는 멀티미디어를 제공하는 촉감 정보 표현 방법을 제공할 수 있다.
또 다른 효과는, 멀티 미디어를 구현하기 위한 인터렉션 기기의 데이터 포멧을 명확하게 정의함으로써, 사용자에게 보다 현실감 있는 멀티미디어를 제공하는 촉감 정보 표현 시스템을 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 구동자를 포함하는 촉감 장치를 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 역감 정보를 제공하는 역감 장치의 사시도이다.
도 3은 본 발명의 실시예에 따른 구동자 어레이 및 이에 대응하는 촉감 비디오를 도시한 도면이다.
도 4는 비디오를 바탕으로 하여 촉감 비디오를 생성한 일 예를 도시한 도면이다.
도 5는 MPEG-4에서 장면 기술자의 MovieTexture 노드의 일례를 나타낸 도면이다.
도 6은 촉감 정보 표현을 위한 TactileDisplay 노드를 나타낸 도면이다.
도 7은 TactileDisplay 노드를 MovieTexture 노드와 연결하여 촉감 비디오 객체를 정의하는 것을 나타낸 도면이다.
도 8은 촉감 정보 표현을 위한 TactileDisplayTexture 노드를 나타낸 도면이다.
도 9 및 도 10은 역감 정보 표현을 위한 Kinesthetic 노드를 나타낸 도면이다.
도 11은 본 발명의 실시예에 따른 촉각 정보 전송 시스템에 대한 블록도이다.
도 12는 본 발명의 실시예에 따른 리사이징된 촉각 정보가 장치 명령으로 촉각 기기에 전송되는 과정의 흐름도이다.
도 13은 피드백 촉각 정보가 장치명령으로 촉각 기기에 전송되는 과정의 흐름도이다.
도 2는 본 발명의 실시예에 따른 역감 정보를 제공하는 역감 장치의 사시도이다.
도 3은 본 발명의 실시예에 따른 구동자 어레이 및 이에 대응하는 촉감 비디오를 도시한 도면이다.
도 4는 비디오를 바탕으로 하여 촉감 비디오를 생성한 일 예를 도시한 도면이다.
도 5는 MPEG-4에서 장면 기술자의 MovieTexture 노드의 일례를 나타낸 도면이다.
도 6은 촉감 정보 표현을 위한 TactileDisplay 노드를 나타낸 도면이다.
도 7은 TactileDisplay 노드를 MovieTexture 노드와 연결하여 촉감 비디오 객체를 정의하는 것을 나타낸 도면이다.
도 8은 촉감 정보 표현을 위한 TactileDisplayTexture 노드를 나타낸 도면이다.
도 9 및 도 10은 역감 정보 표현을 위한 Kinesthetic 노드를 나타낸 도면이다.
도 11은 본 발명의 실시예에 따른 촉각 정보 전송 시스템에 대한 블록도이다.
도 12는 본 발명의 실시예에 따른 리사이징된 촉각 정보가 장치 명령으로 촉각 기기에 전송되는 과정의 흐름도이다.
도 13은 피드백 촉각 정보가 장치명령으로 촉각 기기에 전송되는 과정의 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
소자(elements) 또는 층이 다른 소자 또는 층"위(on)"로 지칭되는 것은 다른 소자 바로 위에 또는 중간에 다른 층 또는 다른 소자를 개재한 경우를 모두 포함한다. 반면, 소자가 "직접 위(directly on)"로 지칭되는 것은 중간에 다른 소자 또는 층을 개재하지 않은 것을 나타낸다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. "및/또는"는 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성 요소와 다른 구성 요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들면, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있고, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
도 1은 구동자를 포함하는 촉감 장치를 도시한 도면이다. 도 2는 역감 장치를 도시한 도면이다.
도 1 및 도 2를 참조하면, 촉감 장치(100)는 촉감 제시부(120,130), 구동자(200), 기기 송수신부(350) 및 기기 스펙 DB(400)를 포함한다. 또한, 역감 장치(150)는 역감 정보를 사용자에게 제시하는 다수의 엑츄에이터(미도시)로 구성될 수 있다.
촉각은 진동, 열, 전류를 포함하는 촉각 정보인 촉감과 힘, 토크, 강성을 포함하는 촉각 정보인 역감으로 대별될 수 있다. 이 촉감 정보 및 역감 정보를 포함하는 개념이 감각 정보(sensory information)이다. 또한, 촉감을 제시하는 장치가 촉감 장치이고, 역감을 제시하는 장치가 역감 장치이며, 이 촉감 장치와 역감 장치를 포함하여 촉각 기기라고 칭할 수 있다.
그리고, 역감은 수동 움직임의 효과에 관한 역감 데이터와 능동 움직임의 효과에 관한 역감 데이터로 구분할 수 있다. 이 구분은 사용자측면을 기준하여 정의한 것으로, 수동 움직임의 효과는 사용자가 촉각 기기를 장착하면, 기 생성된 촉각 정보가 촉각 기기를 통해 사용자에게 제공되는 것을 말한다. 반면에, 능동 움직임 효과란, 촉각 기기를 장착한 사용자가 자신의 의지로 객체를 터치하면, 객체에 설정된 촉각 정보가 촉각 기기를 통해 제공되는 것을 의미한다.
촉감 제시부(120,130)는 좌/우 촉감 제시부를 포함하며, 이 촉감 제시부에(120,130)는 다수의 구동자(200)가 배치될 수 있다. 촉감 제시부(120,130)는 장갑 형태로 구현하여 사용자가 손에 착용할 수 있는 것을 도시하였으나, 이에 한정되지 않고, 다양한 형태로 구비될 수 있음은 물론이다. 촉감 제시를 위한 형태에 따라 촉감 제시부(120,130)는 장갑 형태, 신발 형태 이외에도 모자 형태로 머리에 착용할 수 있도록 하거나 팔이나 다리또는 등이나 허리 등에 부착할 수 있도록 구현될 수 있다.
구동자(200)는 촉감 제시부(120,130)에 배치되며, 진동 촉감(vibrotactile stimulation) 방식 또는 공기 촉감(pneumatic tactile stimualation) 방식 등에 의해 이루어질 수 있다. 구동자는 진동 촉감 방식의 경우에는 편심된 모터나 선형모터, 보이스 코일, 초음파 모터, 압전(piezoelectric) 소자로 이루어질 수 있으며, 공기 촉감 방식의 경우에는 공기를 공급하는 노즐 형태나 공기막구조(pneumatic membrane) 형태로 이루어질 수 있다.
기기 제어부(300)는 구동자(200)를 제어하는 역할을 한다. 컴포지터(776) 내의 메인 제어부(미도시)에서 생성된 구동 신호를 수신받아, 그에 따라 구동자(200)의 작동을 제어한다.
또한, 능동 촉각상호작용 모드의 경우, 기기 제어부(300)는 촉각 기기를 착용한 사용자가 가상 환경 내의 객체를 터치 할 경우, 이 터치 여부를 터치 감지부(440)로부터 전달 받는다. 그 후, 기기 제어부(300)는 객체에 설정된 역학 관계식을 통해, 피드백 촉각 정보를 생성한다.
예를 들어, 관계식 F=kx를 이용하여 피드백 촉각 정보를 구한다고 가정하자. 이 관계식은 기기 제어부(300)에 저장되어 있고, 관계식의 계수는 객체마다 상이하게 기기 제어부(300)에 설정되어 있다. 고양이의 경우는 k=0.2이고, 강아지의 경우는 k=0.8이라고 하고, 사용자가 객체 내부로 x=3 만큼 들어왔다면, 고양이의 경우는 피드백 촉각 힘정보가 0.6이고, 강아지의 경우는 2.4이다.
물론, 상기 언급한 관계식인 F=kx이외에 기기 제어부에는 다른 햅틱 렌더링 방법 및 힘 계산 식이 적용되어, 피드백 촉각 정보를 생성하는 데 이용될 수 있다.
기기 송수신부(350)는 기기를 제어하는 제어 신호를 송수신하여 기기 제어부(300)로 전달하는 역할을 한다.
기기 스펙 DB(400)는 촉감/역감 장치(100,150)에 대한 정보를 저장하는 역할을 한다. 힘, 토크 등을 제시하는 역감 장치(150)와 진동, 열, 전류 등을 제시하는 촉감 장치(100)를 포함하여 촉각 기기라 한다. 즉, 기기 스펙 DB(400)는 이 촉각 기기(100,150)에 대한 정보를 저장한다.
이 기기 스펙 DB(400)는 촉감 장치(100)의 경우, 촉감 장치의 종류, 촉감 장치가 제시하는 촉감에 대응하는 단위, 촉감 장치가 제시하는 최대/최소 강도, 촉감 장치에 배치된 수평 방향의 구동자의 수, 촉감장치에 배치된 수직 방향의 구동자의 수, 구동자 사이의 수평 방향의 간격, 구동자 사이의 수직 방향의 간격 구동 최대 갱신률 및 촉감 장치가 제시하는 강도 레벨의 수를 포함한다.
역감 장치(150)의 경우, 역감 장치가 각각의 축에 제공하는 최대/최소 힘/토크/강성, 자유도, 힘/토크/강성에 대한 단위 및 작업공간을 포함하며, 여기서, 자유도의 형태는 X/Y/Z방향 독립 병진/회전운동 허용 여부를 의미하며, 작업공간의 형태는 역감 장치가 병진운동 및 회전운동을 할 수 있는 범위를 의미한다. 역감 장치가 병진운동 및 회전운동을 할 수 있는 범위는, 역감 장치가 X/Y/Z축으로 병진운동할 수 있는 최대 범위를 mm로 정의할 수 있으며, 또한, 역감 장치가 X/Y/Z축을 중심으로 회전운동할 수 있는 최대 범위를 롤/피치/요의 각도의 크기(degree)로 정의할 수 있다. 다만, 단위는 상기 언급한 단위에 국한되는 것은 아니다.
가상 환경은 가상환경 생성부(712)에서 생성되며, 가상 객체(예: 아바타), 비디오 및 오디오 정보를 포함한다. 가상 환경 중 미디어(비디오, 오디오) 정보에 대응하여 맵핑된 촉감 비디오(600), 역감 데이터 및 장면기술자 정보는 기기 스펙 DB(400)에 저장된 기기의 스펙을 고려하여 리사이징(resizing)하는 과정을 거쳐 촉감/역감을 제공하게 된다. 이와 관련된 자세한 내용은 추후 설명한다.
또한 컴포지터(776) 내에는 촉감 장치(100)의 구동자(200)를 제어하기 위한 신호를 생성하는 메인 제어부(미도시)와 상기 촉감 장치(100)의 기기 송수신부(350)로 메인 제어부의 제어 신호를 전송하는 메인 송수신부가 구비된다.
메인 제어부는 각각의 구동자(200)를 제어하기 위한 제어 신호를 생성하여 메인 송수신부와 기기 송수신부(350)를 통해 기기 제어부(300)로 전송하고, 기기 제어부(300)는 상기 제어 신호를 바탕으로 각각의 구동자(200)의 구동을 제어한다. 여기서 메인 송수신부와 기기 송수신부(350)는 유선 또는 무선 통신 방식으로 연결될 수 있다.
각 구동자(200)의 구동은 구동 강도를 특정함으로써 제어할 수 있다. 따라서 각 구동자(200)에 구동 강도에 대한 정보를 기기 제어부(300)로 전송함으로써 사용자에게 촉감 정보를 나타낼 수 있다. 메인 제어부에서는 기기 제어부로 각 구동자의 구동 강도에 대한 정보를 전송하는데 본 발명에 있어서 각 구동자(200)의 구동에 대한 강도 정보는 촉감 비디오 형태로 메인 제어부로 전달되는데 메인 제어부에서는 촉감 비디오의 각 프레임이 바뀔 때마다 각 픽셀 값을 구동 강도를 변환하여 기기 제어부(300)로 전송할 수 있다.
도 3은 구동자 어레이 및 이에 대응하는 촉감 비디오를 도시한 도면이다.
도 3을 참조하면, 도 1에서 좌측 촉감 제시부(120)와 우측 촉감 제시부에(130)는 각각 4×5의 구동자가 구비되는데, 이를 모두 합하면 4×10의 구동자 어레이(500)로 표현할 수 있다. 즉, 도 2에서와 같이 구동자들의 조합은 사각형의 어레이(rectangular array) 형태로 나타낼 수 있는데, 촉감 비디오(600)는 각 구동자에 대응하는 픽셀로 이루어진다.
촉감 비디오(600)의 각 픽셀에는 픽셀의 인텐시티 정보가 포함되고, 인텐시티 정보는 그 픽셀에 대응하는 구동자의 구동 강도에 대응한다. 촉감 비디오(600)를 그레이 스케일의 흑백 비디오로 나타낼 경우 각 픽셀은 0 내지 255의 인텐시티 정보를 갖게 되는데 이 정보를 바탕으로 구동자(200)를 구동시킨다. 예를 들어 하얀색 픽셀에 해당하는 구동자는 강하게 구동시키고, 검은색 픽셀에 해당하는 구동자는 약하게 진동시킨다.
촉감 장치(100)의 구동자 어레이(500)와 촉감 비디오(600)의 픽셀이 1:1로 대응하는 경우에는 각 픽셀의 인텐시티 정보와 각 구동자(200)의 구동 세기를 1:1 대응시킬 수 있다. 그런데, 촉감 비디오(600)의 디멘젼(dimension)이 구동자 어레이(500)의 디멘젼보다 큰 경우라면 그 비율에 따라 리사이징을 할 수 있다. 즉, 요구 촉감 정보와 제시 가능한 촉감 정보에 차이가 발생하는 경우에, 기기 제어부(300)에서 리사이징을 수행할 수 있다.
이 리사이징은 기기 스펙 DB(400)에 저장된 기기에 대한 스펙을 이용하여, 기기 제어부(300)가 수행한다. 이 기기의 스펙 및 사용자의 선호도를 포함하는 개념이 컨트롤 정보이다. 즉, 리사이징은 컨트롤 정보를 참조하여 촉각 정보를 조정/제공하는 것이다. 사용자 선호도는 기기 제어부에 설정될 수 있다.
예컨대 촉감 비디오(600)가 320×240의 디멘젼을 갖고, 촉감 장치(100)의 구동자 어레이(500)가 10×4의 디멘젼을 갖는 경우라면, 320×240 픽셀의 촉감 비디오(600)를 10×4 픽셀로 크기를 조정하여 구동자 어레이(500)와 1:1 대응시키도록 하며, 이 때 크기 조정된 촉감 비디오의 인텐시티 정보는 크기 조정 전 픽셀의 인텐시티 정보를 평균하여 나타내도록 할 수 있다.
이러한 촉감 비디오(600)는 일반적인 컬러 또는 흑백 비디오의 형식과 같으므로 일반적인 비디오 인코딩 및 디코딩 방법을 사용하여 전송할 수 있다. 또한 촉감 비디오(600)는 다수의 프레임으로 이루어지며 각각의 프레임에서의 픽셀의 인텐시티 정보는 촉감 제시 장치의 각각의 구동자(200)의 구동 강도에 대응한다.
역감의 경우, 숙련자가 작업공간에서 조작하는 도구의 3자유도 또는 6자유도의 움직임을 저장한다. 숙련자의 움직임과 힘을 저장하기 위해서, 끝단에 숙련자가 사용하는 도구가 달려있는 로봇팔을 이용하는데 로봇팔의 각 관절에는 엔코더가 달려 있어 도구의 위치 데어터를 얻을 수 있고, 도구에 부착된 힘/토크 센서를 통해 숙련자가 도구에 가하는 힘/토크 또한 구할 수 있다. 그러면 역감 재생을 위한 역감 데이터는 일련의 위치 데이터 및 힘 데이터가 되고 각 데이터가 샘플링되는 시간이 포함된다.
또한, 마찬가지로, 기기 제어부(300)는 기기 스펙 DB(400)에 저장된 역감 장치(150)의 정보를 사용하여, 리사이징 과정을 수행할 수 있다. 즉, 요구 역감 정보와 제시 가능한 역감 정보에 차이가 발생할 경우, 기기 제어부(300)에서 리사이징을 수행할 수 있다. 예를 들어, X축 방향으로 1미터를 이동하는 모션정보를 제공하려 하지만, 실제 사용자가 사용하는 장비가 요구된 장비의 작업 공간(workspace) 보다 1/2 배 일 때, 모든 모션 정보의 스케일이 각각 X, Y, Z 축 방향으로 반으로 리사이징 된 후 사용자에게 전달 될 수 있다. 또한, X축 방향으로 10N의 힘을 역감 장치(150)가 사용자에게 제공하기를 요구하나, 실제 역감 장치(150)는 X축 방향으로 5N의 힘밖에는 제공할 수 없을 경우에는, 비율에 따라 역감 장치(150)가 제공하는 힘의 크기가 조절될 수 있다.
그리고, 사용자 선호도의 경우를 살펴 보면, 예를 들어, 사용자는 30도 이상의 온도를 싫어할 수 있으며, 0.5mA이상으로 전류가 흐르는 것을 원하지 않을 수 있다. 또한, 제공되는 힘이 5N보다 큰 경우를 싫어할 수도 있다.
이 사용자 선호도는 기기 스펙 정보보다 우선순위를 갖는다. 따라서, 전송된 촉각 정보가 10N이고, 기기 스펙을 고려하여 5N으로 조정되었다고 할 지라도, 사용자 선호도가 3N이라면, 촉각 기기가 사용자에게 제공하는 힘은 3N이 될 수 있다. 결국, 10N의 촉각 정보가 3N으로 리사이징 된 것이다.
앞에서 살펴 보았듯이, 기기의 스펙을 고려한 리사이징 이외에, 사용자 선호도를 고려하여 추가적인 리사이징을 거칠 수 있다.
도 4는 비디오를 바탕으로 하여 촉감 비디오를 생성한 일 예를 도시한 도면이다.
도 4를 참조하면, 영화의 영상 오른쪽에 위치하는 것이 촉감 편집/저작 도구로 생성된 영화 대응 촉감 비디오(850)이다. 이 촉감 비디오 우측에 도시된 것이 촉감 비디오 대응 구동자 어레이(900)를 표현한 것이다. 촉감 비디오(850)는 비디오/오디오 정보를 바탕으로 촉감 편집/저작 도구가 장면에 맞는 촉감을 각 프레임 마다 다른 촉감세기(0~255)를 적용하여 비디오 프레임 수에 정확히 맞추어 생성한다.
그리고, 이렇게 생성된 촉감 비디오는 장치의 규격에 맞추어 재생된다. 좀 더 자세하게는, 장치의 크기뿐만 아니라 장치가 제공할 수 있는 촉감 세기의 수에 맞게 변환되어 재생된다. 예를 들어, 촉감 비디오의 제시는 256단계이지만, 장치는 8단계 밖에 재생을 못 할 경우는, 256단계가 8단계로 나뉘어져 재생되게 된다.
도면을 보면, 배우가 오른쪽에서 왼쪽으로 점프를 하며 이동하는 화면이 도시되어 있다. 본 도면은 3인칭 관찰자의 시점에서 배우의 움직임을 사용자에게 촉감으로 전달 할 수 있는 예를 도식화하고 있다. 촉감비디오는 3인칭 관찰자 시점뿐만 아니라 1인칭 주인공 시점 또는 촉감 배경 효과 시점을 기반으로 저작될 수도 있다. 처음 프레임에서, 배우가 점프를 시작할 때, 검은 색으로 촉감 비디오가 맵핑되고, 구동자 어레이는 맵핑된 색에 대응하여 약한 강도의 촉감을 제시한다. 마지막 프레임에서, 배우가 강한 점프를 통해, 왼쪽으로 이동을 하는 순간은, 흰 색으로 촉감 비디오가 맵핑되고, 구동자 어레이는 이에 대응하여 강한 강도의 촉감을 제시한다.
도 5는 MPEG-4에서 장면 기술자의 MovieTexture 노드의 일례를 나타낸 도면이다. 노드 촉감 정보는 일반적인 미디어(오디오 및 비디오) 정보와 함께 전송되는데 이하에서는 촉감 비디오 형태로 표현된 촉감 정보를 미디어 정보와 함께 전송하기 위한 노드 구조 및 전송 방법과 시스템에 대해 설명한다.
MPEG-4에서는 객체의 표현을 위한 정보들은 복수개의 기초스트림(ES : Elementary Stream)을 통하여 전송한다. 그리고, 이러한 각 기초스트림(ES)간의 상호관계 및 링크의 구성 정보는 MPEG-4에서 정의하고 있는 객체기술자에 의해 전송된다.
MPEG-4 기반으로 장면을 구성하기 위해서는 일반적으로 초기객체기술자(IOD: Initial Object Descriptor), 장면기술자(BIFS : Binary Format for Scenes), 객체기술자 및 미디어 데이터들이 필요하다. 초기객체기술자(IOD)는 MPEG-4 장면을 구성하기 위해 가장 먼저 전송되어야 하는 정보로, 각 미디어의 프로파일과 레벨을 기술하고, 장면기술자(BIFS) 스트림과 객체기술자 스트림에 대한 기초스트림기술자(ESDescriptor)를 포함한다.
객체기술자는 장면을 구성하는 각 미디어 데이터에 대한 정보를 기술하는 기초스트림기술자들의 집합으로써, 각 미디어 데이터의 기초스트림(ES)과 장면기술과의 연결을 제공한다. 여기서 장면기술자(BIFS)는 각각의 객체들이 시공간적으로 어떠한 관계를 갖는지 기술하는 정보이다.
MPEG-4에 있어서 장면기술자(BIFS)에는 비디오 객체를 정의하는 MovieTexture 노드가 구비된다.
도 5를 참조하면, MovieTexture 노드에서 stratTime은 비디오가 플레이되는 시작 시각을 나타내고, stopTime은 비디오의 플레이가 정지되는 시각을 나타낸다. 이에 따라 비디오를 다른 객체와 동기화시킬 수 있다. 또한 url은 비디오의 위치를 설정한다.
이러한 장면기술자의 MovieTexture 노드를 이용하여 촉감 비디오를 전송하기 위하여 TactileDisplay 노드를 정의한다.
도 6은 촉감 정보 표현을 위한 TactileDisplay 노드를 나타낸 도면이다. 도 7은 TactileDisplay 노드를 MovieTexture 노드와 연결하여 촉감 비디오 객체를 정의하는 것을 나타낸 도면이다.
도 6 및 도 7을 참조하면, 도 5에 따르면 TactileDisplay 노드는 texture 노드의 일종임을 표시한다. 도 6에 있어서, "url" 필드는 촉감 비디오의 위치를 나타내며, "stratTime" 필드는 시작 시각을, "stopTime" 필드는 종료 시각을 나타낸다. 즉, TactileDisplay 노드의 texture 필드에 MovieTexture 노드를 연결하여 하나의 촉감 비디오 객체를 정의한다.
도 7의 예에 있어서, "tatile_video.avi"로 설정된 촉감 비디오는 플레이 된 후 3초후부터 7초까지 촉감 제시 장치에서 플레이된다.
도 8은 촉감 정보 표현을 위한 TactileDisplayTexture 노드를 나타낸 도면이다.
도 8을 참조하면, 도 7에 따르면 MPEG-4의 장면기술자(BIFS)에 있어서 촉감 비디오의 전송을 위한 TactileDisplayTexture를 새롭게 정의하였다. TactileDisplayTexture는 촉감 비디오 파일의 플레이 시작 시각과 정지 시각을 정의하며, "url" 필드는 촉감 비디오 파일의 위치를 나타낸다.
도 9 및 도 10은 역감 노드를 나타낸 도면이다. 앞에서 언급한 촉감 노드와 마찬가지로 본 도면은 역감 데이터에 대한 객체를 정의할 수 있다.
도 11은 본 발명의 다른 실시예에 따른 촉감정보 전송 시스템에 대한 블록도이다.
도 11을 참조하면, 촉감 정보 전송 시스템은 객체 데이터 생성부(710), 인코더부(720), 다중화기(MUX, 730), 전송채널(740), 역다중화기(DEMUX, 750), 디코더부(760), 및 재생부(770)를 포함한다.
객체 데이터 생성부(710)는 가상 환경, 가상 환경에 대응하는 촉감 비디오 및 역감 데이터를 생성하여 편집 또는 저작하는 기능을 수행한다. 가상 환경에는 가상 객체(예: 아바타, 가상물체) 및 미디어(오디오, 비디오)를 포함한다.
촉감 비디오 생성부(716)에서의 촉감 비디오 생성은 오디오 정보 또는 비디오 정보의 종류에 따라 자동으로 생성되거나, 사용자가 오디오 또는 비디오를 바탕으로 직접 생성함으로써 이루어질 수 있다.
촉감 비디오 생성부(716)에서 생성된 촉감 비디오 및 역감 데이터 생성부(717)에서 생성된 역감 데이터는 편집/저작부에서 가상 환경내의 미디어(오디오, 비디오) 정보와 편집, 저작되어 각각의 시간 축 또는 이벤트 베이스 축에 맞게 배치된다. 이에 따라 편집/저작부(718)는 가상 환경, 촉감 비디오 및 역감 데이터의 시공간적 위치에 따라 장면기술자를 생성한다.
인코더부(720)는 가상 환경(오디오 및 비디오 포함), 촉감 비디오, 역감 데이터 및 장면기술자를 인코딩하는 기능을 수행한다. 가상 환경은 가상 환경 인코더(722)에서 인코딩되며, 촉감 비디오는 일종의 흑백 비디오에 해당하므로 일반적인 비디오 인코딩 방법에 의해 인코딩될 수 있는데, 촉감 비디오 인코더에서 인코딩된다. 역감 데이터는 역감 데이터 인코더(727)에서 인코딩 된다.
또한, 장면기술자는 BIFS 인코더(728)에서 인코딩된다. 이러한 인코딩은 MPEG-4 오디오 및 비디오 인코딩 방법에 의해 이루어질 수 있다. 인코더부(720)에서 인코딩된 정보는 다중화기를 통해 다중화되어 하나의 MP4 파일로 생성되고 이는 전송 채널(740)을 통해 전송된다. 다만, 인코딩 방식이 MPEG-4 오디오 및 비디오 인코딩 방법에 국한 되는 것은 아니다.
본 발명에 있어서 전송 채널(740)은 유무선 통신망을 포괄하는 개념으로 이해되어야 하며 IP Network, DMB 통신망, 인터넷망 등이 될 수 있다.
전송 채널(740)을 통해 전송된 MP4 파일은 역다중화기(750)에서 역다중화되어 디코더부(760)에서 각각의 정보별로 디코딩된다. 가상환경 디코더(762)는 가상환경을 디코딩하고, 비디오 디코더(764)는 비디오를 디코딩하며, 촉감 비디오 디코더(766)는 촉감 비디오를 디코딩하고, 역감데이터 디코더(767)는 역감 데이터를 디코딩하며, BIFS 디코더(768)는 장면기술자를 디코딩한다.
디코더부(760)에서 디코딩된 정보는 재생부(770)에서 재생되는데, 재생부(770)는 컴포지터(compositor, 776)와, 가상환경 출력장치(772) 및 촉각 제시 장치를 포함한다. 컴포지터(776)는 전송된 가상 환경, 촉감 비디오, 역감 데이터 등의 객체들을 장면기술자(BIFS) 정보를 이용하여 시공간적으로 구성한다. 이 정보를 바탕으로 가상 환경 출력장치(772)는 가상 객체, 오디오 및 비디오 정보를 출력하고, 촉감 장치(774)는 구동자 어레이를 통해 촉감 정보를 제시한다. 또한, 역감데이터는 역감 장치(774)를 통해 역감 정보를 제공한다.
촉각 제시 장치는 촉감/역감 장치(774), 기기 스펙 DB(400), 장치 명령부(420), 터치 감지부(440) 및 기기 제어부(300)를 포함한다.
기기 스펙 DB(400)는 앞에서 언급하였듯이, 촉감/역감 장치(774)의 스펙에 대한 정보가 저장되어 있으며, 기기 제어부(300)는 상기 기기 스펙을 바탕으로, 전송된 촉감 비디오 정보 및 역감 데이터를 이용하여, 촉각(촉감/역감)을 촉감/역감 장치(774)가 제공하도록 한다. 여기서, 기기의 스펙인, 기기의 특성 및 규격을 포함하는 정보는 수동 및/또는 자동으로 제어부를 통해, 기기 스펙 DB에 저장될 수 있다.
터치 감지부(440)는 촉각 기기(774)를 착용한 사용자가 가상 환경 내의 가상 객체를 터치했는 지 여부를 판단하고, 감지 정보(sensed information)을 생성한다.
사용자가 가상 객체를 터치했는 지 판단 기준은, 사용자의 위치가 가상 객체의 볼륨(volume) 내부에 있는 지를 판단한다. 이 때, 사용자의 위치는 한 점으로 고려할 수 있다.
감지 정보(sensed information)는 사용자의 가상공간 위치와 사용자가 가상 객체와 충돌 후 가상 객체 안으로 들어간 거리 및 사용자가 가상 환경에 가한 힘의 크기를 포함할 수 있다.
장치 명령부(420)는 리사이징 된 촉각 정보를 퍼센티지(%) 형태로 변환하여 촉각 기기(774)에게 장치 명령(device command)을 전송한다. 이 장치 명령은 두 가지 형태로 나뉠 수 있다.
하나는 객체 데이터 생성부(710)에서 생성된 촉각 정보가 기기 제어부(300)에서 기기 스펙 및 사용자 선호도를 포함하는 컨트롤 정보를 참조하여 리사이징 된 값을 퍼센티지 형태로 촉각 기기(774)에게 장치명령을 전송할 수 있고, 다른 하나는 사용자가 가상 환경을 터치할 경우, 이 터치로 인해 생성된 감지 정보(sensed information)를 이용하여 피드백 촉각 정보를 생성하고, 이 생성된 피드백 촉각 정보를 리사이징 과정을 거친 후, 장치 명령을 전송하는 경우가 있을 수 있다.
처음의 경우를 예를 들면, 역감 데이터 생성부에(717)서 생성된 역감 정보 10N을 전송 채널(740)을 통해 전송한다. 기기 제어부(300)가 기기 스펙을 고려한 결과, 역감 기기가 최대로 제공할 수 있는 힘이 5N일 경우, 기기 제어부는 전송된 10N을 5N으로 리사이징한다.
그런데, 기기 제어부(300)에 사용자 선호도는 3N이상의 힘을 제공받기 원하지 않는 것으로 설정되어 있을 경우, 사용자 선호도가 기기 스펙보다 우선 순위가 높은 컨트롤 정보이기 때문에, 기기 스펙을 고려해서 리사이징 된 5N은 3N으로 재조정된다.
이 후, 장치 명령부(420)는 기기 스펙은 5N이고, 제공되어야 할 힘은 3N이므로, 3/5=0.6이 되어, 60%라는 형태로 역감 장치(774)에게 장치 명령을 전송한다.
두 번째의 경우를 예를 들면, 촉각 기기(774)를 착용한 사용자가 가상 환경 내의 가상 객체인 고양이를 터치할 경우, 터치 감지부(440)에서 사용자의 위치를 판단한 결과, 사용자의 위치가 객체 내부로 x=10mm 만큼 들어와 있다는 판단을 한다. 한편, 기기 제어부(300)에는 F=kx라는 관계식이 설정되어 있고, 가상 고양이는 관계식의 계수가 k=0.2N/mm라고 설정되어 있다. 기기 제어부(300)는 피드백 촉각 정보가 2N이라고 계산을 하고, 이 계산된 2N은 리사이징 과정을 거치게 된다.
기기가 최대로 제공할 수 있는 힘은 10N이고, 사용자 선호도는 6N일 경우, 사용자 선호도가 우선 순위가 되어, 피드백 촉각 정보 20N은 6N으로 리사이징 된다. 이 후, (리사이징된 값)/(기기가 최대로 제공할 수 있는 힘)=6/10=0.6이 되어, 60%의 장치 명령이 촉각 기기로 전송된다.
만약, 사용자가 가상 객체에게 힘을 가할 경우, 감지 정보(sensed information)는 힘의 형태가 되고, 기 설정된 관계식에 의해, 피드백 촉각 정보가 사용자에게 제공될 수 있다.
본 발명에서는 인터렉션 장치(예: 촉감 기기)에 대한 데이터 포멧을 정의하는 것을 목적으로 할 수 도 있는 데, 데이터 포멧은 장치 명령(device command) 및 감지 정보(sensed information)를 포함한다.
장치 명령(device command)은 전송된 감각 정보를 사용자에게 제공해 주기 위해 장치로 보내는 제어명령(퍼센티지 형태)이다.
감지 정보(sensed information)는 사용자가 가상 객체를 터치할 때, 다양한 센서(위치, 속도, 가속도, 각도, 각속도, 각가속도, 힘, 압력 및 토크를 포함)가 사용되며, 이 다양한 센서로부터 획득한 데이터 값을 말한다.
이하, 흐름도를 통해, 데이터 포멧이 적용되는 과정을 살펴 본다.
도 12는 객체 데이터 생성부에서 생성된 촉각 정보가 장치명령으로 변환되어 촉각기기로 전송되는 과정의 흐름도이다.
도 12를 참조하면, 객체 데이터 생성부(710)는 가상 환경에 대응되는 촉각 정보를 생성하고, 이 생성된 촉각 정보를 전송 채널(740)을 통해 사용자 측에 전송한다(S700). 기기 제어부(300)는 기기 스펙 및 사용자 선호도를 고려하여 전송된 촉각 정보를 리사이징한다(S800). 이 후, 장치 명령부(420)는 이 리사이징 된 촉각 정보를 퍼센티지 형태로 변경하여 장치 명령을 생성하고, 촉각 기기(774)에 장치 명령을 전송한다(S900).
도 13은 사용자 터치로 인해 생성된 감지 정보를 토대로 계산된 피드백 촉각 정보가 장치 명령으로 변환되어 전송되는 과정의 흐름도이다.
도 13을 참조하면, 터치 감지부(440)는 사용자의 위치를 판단하여, 사용자가 가상 객체를 터치했는 지 여부를 감지한다(S1000). 터치 감지부(440)는 사용자 터치를 통해 감지 정보(sensed information)를 생성한다(S1100). 기기 제어부(300)에는 특정 가상 객체에 대한 관계식이 설정되어 있고, 기기 제어부는 이 관계식에 감지 정보를 대입하여 피드백 촉각 정보를 생성한(S1200).
이 후, 기기 제어부는 컨트롤 정보를 참조하여 피드백 촉각 정보를 리사이징한다(S1400). 장치 명령부(420)는 이 리사이징된 피드백 촉각 정보를 퍼센티지 형태의 장치 명령으로 촉각 기기(774)에 전송한다(S1500).
물론, 피드백 촉각 정보가 리사이징이 되지 않고, 바로 장치 명령의 형태로 변환되어 촉각 기기(774)에 전송될 수도 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: 촉감 장치 120,130: 촉감 제시부
150: 역감 장치 200: 구동자
300: 기기 제어부 350: 기기 송수신부
400: 기기 스펙 DB 420: 장치 명령부
440: 터치 감지부 500: 구동자 어레이
600: 촉감 비디오 700: 촉감 정보 전송 시스템
710: 객체 데이터 생성부 712: 가상 환경 생성부
716: 촉감 비디오 생성부 717: 역감데이터 생성부
718: 편집/저작부 720: 인코더부
722: 가상 환경 인코더 726: 촉감 비디오 인코더
727: 역감데이터 인코더 728: BIFS 인코더
730: 다중화기 740: 전송채널
750: 역다중화기 760: 디코더부
762: 가상 환경 디코더 766: 촉감 비디오 디코더
767: 역감데이터 디코더 768: BIFS 디코더
770: 재생부 772: 가상 환경 출력장치
774: 촉각 기기(촉감/역감 장치) 776: 컴포지터
800: 비디오 프레임 850: 영화 대응 촉감 비디오
900: 촉감 비디오 대응 구동자 어레이
150: 역감 장치 200: 구동자
300: 기기 제어부 350: 기기 송수신부
400: 기기 스펙 DB 420: 장치 명령부
440: 터치 감지부 500: 구동자 어레이
600: 촉감 비디오 700: 촉감 정보 전송 시스템
710: 객체 데이터 생성부 712: 가상 환경 생성부
716: 촉감 비디오 생성부 717: 역감데이터 생성부
718: 편집/저작부 720: 인코더부
722: 가상 환경 인코더 726: 촉감 비디오 인코더
727: 역감데이터 인코더 728: BIFS 인코더
730: 다중화기 740: 전송채널
750: 역다중화기 760: 디코더부
762: 가상 환경 디코더 766: 촉감 비디오 디코더
767: 역감데이터 디코더 768: BIFS 디코더
770: 재생부 772: 가상 환경 출력장치
774: 촉각 기기(촉감/역감 장치) 776: 컴포지터
800: 비디오 프레임 850: 영화 대응 촉감 비디오
900: 촉감 비디오 대응 구동자 어레이
Claims (40)
- 가상 환경 및 상기 가상 환경에 대응하는 촉감 및 역감 정보를 포함하는 촉각 정보를 전송하여, 촉감 장치 및 역감 장치를 포함하는 촉각 기기를 통한 촉각 정보 표현 방법에 있어서,
상기 촉감 장치 및 상기 역감 장치를 포함하는 상기 촉각 기기의 특성, 상기 촉각 기기의 규격 및 사용자 선호도를 포함하는 컨트롤 정보를 저장하는 단계;
상기 컨트롤 정보를 참조하여, 상기 촉각 정보를 리사이징 하는 단계; 및
상기 리사이징한 상기 촉각 정보를 이용하여 상기 촉각 기기에게 장치명령을 전달하는 단계를 포함하는, 촉각 정보 표현 방법. - 제 1항에 있어서,
상기 촉감 장치의 특성 및 규격을 포함하는 상기 컨트롤 정보는,
상기 구동자 어레이 내의 수평 방향으로의 상기 구동자의 개수, 상기 구동자 어레이 내의 수직 방향으로의 상기 구동자의 개수, 상기 구동자 사이의 수평방향으로의 간격 및 상기 구동자 사이의 수직 방향으로의 간격을 포함하는, 컨트롤 정보를 이용한 촉각 정보 표현 방법. - 제 1항 또는 제 2항에 있어서,
상기 역감 장치의 특성 및 규격을 포함하는 상기 컨트롤 정보는,
상기 엑츄에이터가 각각의 축에 제공할 수 있는 최대 힘, 상기 엑츄에이터가 각각의 축에 제공할 수 있는 최대 토크, 상기 엑츄에이터가 각각의 축에 제공할 수 있는 최대 강성, 상기 엑츄에이터의 자유도 및 상기 엑츄에이터의 작업 공간을 포함하는, 컨트롤 정보를 이용한 촉각 정보 표현 방법. - 제 1항 또는 제 2항에 있어서,
상기 리사이징은,
상기 전송된 촉감 정보와 상기 촉감 장치가 제시 가능한 촉감 정보에 차이가 있을 경우, 상기 전송된 촉감 정보를 상기 제시 가능한 촉감 정보로 조정하는, 촉각 정보 표현 방법. - 제 4항에 있어서,
상기 조정된 촉감 정보를 상기 사용자 선호도를 고려하여 재조정하는, 촉각 정보 표현 방법. - 제 5항에 있어서,
상기 장치명령은 퍼센티치 형태로 상기 촉각 장치로 전달되는, 촉각 정보 표현 방법. - 제 1항 또는 제 2항에 있어서,
상기 리사이징은,
상기 전송된 역감 정보와 상기 역감 장치가 제시 가능한 역감 정보에 차이가 있을 경우, 상기 전송된 역감 정보를 상기 제시 가능한 역감 정보로 조정하는, 촉각 정보 표현 방법. - 제 7항에 있어서,
상기 조정된 역감 정보를 상기 사용자 선호도를 고려하여 재조정하는, 촉각 정보 표현 방법. - 제 8항에 있어서,
상기 장치명령은 퍼센티치 형태로 상기 역감 장치로 전달되는, 촉각 정보 표현 방법. - 가상 환경 및 상기 가상 환경에 대응하는 촉감 및 역감 정보를 포함하는 촉각 정보를 전송하는 수단, 촉감 장치 및 역감 장치를 포함하는 촉각 기기를 통한 촉각 정보 표현 시스템에 있어서,
상기 촉감 장치 및 상기 역감 장치를 포함하는 상기 촉각 기기의 특성, 상기 촉각 기기의 규격 및 사용자 선호도를 포함하는 컨트롤 정보를 저장하는 수단;
상기 컨트롤 정보를 참조하여, 상기 촉각 정보를 리사이징 하는 수단; 및
상기 리사이징한 상기 촉각 정보를 이용하여 상기 촉각 기기에게 장치명령을 전달하는 수단을 포함하는, 촉각 정보 표현 시스템. - 제 10항에 있어서,
상기 촉감 장치의 특성 및 규격을 포함하는 상기 컨트롤 정보는,
상기 구동자 어레이 내의 수평 방향으로의 상기 구동자의 개수, 상기 구동자 어레이 내의 수직 방향으로의 상기 구동자의 개수, 상기 구동자 사이의 수평방향으로의 간격 및 상기 구동자 사이의 수직 방향으로의 간격을 포함하는, 컨트롤 정보를 이용한 촉각 정보 표현 시스템. - 제 10항 또는 제 11항에 있어서,
상기 역감 장치의 특성 및 규격을 포함하는 상기 컨트롤 정보는,
상기 엑츄에이터가 각각의 축에 제공할 수 있는 최대 힘, 상기 엑츄에이터가 각각의 축에 제공할 수 있는 최대 토크, 상기 엑츄에이터가 각각의 축에 제공할 수 있는 최대 강성, 상기 엑츄에이터의 자유도 및 상기 엑츄에이터의 작업 공간을 포함하는, 컨트롤 정보를 이용한 촉각 정보 표현 시스템. - 제 10항 또는 제 11항에 있어서,
상기 리사이징은,
상기 전송된 촉감 정보와 상기 촉감 장치가 제시 가능한 촉감 정보에 차이가 있을 경우, 상기 전송된 촉감 정보를 상기 제시 가능한 촉감 정보로 조정하는, 촉각 정보 표현 시스템. - 제 13항에 있어서,
상기 조정된 촉감 정보를 상기 사용자 선호도를 고려하여 재조정하는, 촉각 정보 표현 시스템. - 제 14항에 있어서,
상기 장치명령은 퍼센티치 형태로 상기 촉각 장치로 전달되는, 촉각 정보 표현 시스템. - 제 10항 또는 제 11항에 있어서,
상기 리사이징은,
상기 전송된 역감 정보와 상기 역감 장치가 제시 가능한 역감 정보에 차이가 있을 경우, 상기 전송된 역감 정보를 상기 제시 가능한 역감 정보로 조정하는, 촉각 정보 표현 시스템. - 제 16항에 있어서,
상기 조정된 역감 정보를 상기 사용자 선호도를 고려하여 재조정하는, 촉각 정보 표현 시스템. - 제 17항에 있어서,
상기 장치명령은 퍼센티치 형태로 상기 역감 장치로 전달되는, 촉각 정보 표현 시스템. - 가상 환경 및 상기 가상 환경에 대응하는 촉감 및 역감 정보를 포함하는 촉각 정보를 전송하여, 촉감 장치 및 역감 장치를 포함하는 촉각 기기를 통한 촉각 정보 표현 방법에 있어서,
상기 가상 환경에 대한 터치 여부를 감지하는 단계;
상기 터치로부터 산출된 감지 정보 생성하는 단계;
상기 생성된 감지 정보를 이용하여 상기 가상 환경에 설정된 관계식으로부터 피드백 촉각 정보를 생성하는 단계;
상기 촉감 장치 및 상기 역감 장치를 포함하는 상기 촉각 기기의 특성, 상기 촉각 기기의 규격 및 사용자 선호도를 포함하는 컨트롤 정보를 저장하는 단계;
상기 컨트롤 정보를 참조하여, 상기 피드백 촉각 정보를 리사이징 하는 단계; 및
상기 리사이징한 상기 피드백 촉각 정보를 이용하여 상기 촉각 기기에게 장치명령을 전달하는 단계를 포함하는, 촉각 정보 표현 방법. - 제 19항에 있어서,
상기 가상 환경에 대한 터치 여부를 감지하는 것은,
사용자의 위치가 상기 가상 환경의 볼륨 내부에 있는 지를 판단하는, 촉각 정보 표현 방법. - 제 20항에 있어서,
상기 감지 정보는 사용자가 상기 가상 환경 안으로 들어간 거리, 사용자가 상기 가상 환경에게 가한 힘의 크기를 포함하는, 촉각 정보 표현 방법. - 제 19항에 있어서,
상기 촉감 장치의 특성 및 규격을 포함하는 상기 컨트롤 정보는,
상기 구동자 어레이 내의 수평 방향으로의 상기 구동자의 개수, 상기 구동자 어레이 내의 수직 방향으로의 상기 구동자의 개수, 상기 구동자 사이의 수평방향으로의 간격 및 상기 구동자 사이의 수직 방향으로의 간격을 포함하는, 컨트롤 정보를 이용한 촉각 정보 표현 방법. - 제 19항에 있어서,
상기 역감 장치의 특성 및 규격을 포함하는 상기 컨트롤 정보는,
상기 엑츄에이터가 각각의 축에 제공할 수 있는 최대 힘, 상기 엑츄에이터가 각각의 축에 제공할 수 있는 최대 토크, 상기 엑츄에이터가 각각의 축에 제공할 수 있는 최대 강성, 상기 엑츄에이터의 자유도 및 상기 엑츄에이터의 작업 공간을 포함하는, 컨트롤 정보를 이용한 촉각 정보 표현 방법. - 제 22항에 있어서,
상기 리사이징은,
상기 피드백 촉각 정보와 상기 촉감 장치가 제시 가능한 촉감 정보에 차이가 있을 경우, 상기 피드백 촉각 정보를 상기 제시 가능한 촉감 정보로 조정하는, 촉각 정보 표현 방법. - 제 24항에 있어서,
상기 조정된 피드백 촉각 정보를 상기 사용자 선호도를 고려하여 재조정하는, 촉각 정보 표현 방법. - 제 25항에 있어서,
상기 장치명령은 퍼센티치 형태로 상기 촉각 장치로 전달되는, 촉각 정보 표현 방법. - 제 23항에 있어서,
상기 리사이징은,
상기 피드백 촉각 정보와 상기 역감 장치가 제시 가능한 역감 정보에 차이가 있을 경우, 상기 피드백 촉각 정보를 상기 제시 가능한 역감 정보로 조정하는, 촉각 정보 표현 방법. - 제 27항에 있어서,
상기 조정된 역감 정보를 상기 사용자 선호도를 고려하여 재조정하는, 촉각 정보 표현 방법. - 제 28항에 있어서,
상기 장치명령은 퍼센티치 형태로 상기 역감 장치로 전달되는, 촉각 정보 표현 방법. - 가상 환경 및 상기 가상 환경에 대응하는 촉감 및 역감 정보를 포함하는 촉각 정보를 전송하는 수단, 촉감 장치 및 역감 장치를 포함하는 촉각 기기를 통한 촉각 정보 표현 시스템에 있어서,
상기 가상 환경에 대한 터치 여부를 감지하는 수단;
상기 터치로부터 산출된 감지 정보 생성하는 수단;
상기 생성된 감지 정보를 이용하여 상기 가상 환경에 설정된 관계식으로부터 피드백 촉각 정보를 생성하는 수단;
상기 촉감 장치 및 상기 역감 장치를 포함하는 상기 촉각 기기의 특성, 상기 촉각 기기의 규격 및 사용자 선호도를 포함하는 컨트롤 정보를 저장하는 수단;
상기 컨트롤 정보를 참조하여, 상기 피드백 촉각 정보를 리사이징 하는 수단; 및
상기 리사이징한 상기 피드백 촉각 정보를 이용하여 상기 촉각 기기에게 장치명령을 전달하는 수단을 포함하는, 촉각 정보 표현 시스템. - 제 30항에 있어서,
상기 가상 환경에 대한 터치 여부를 감지하는 것은,
사용자의 위치가 상기 가상 환경의 볼륨 내부에 있는 지를 판단하는, 촉각 정보 표현 시스템. - 제 30항에 있어서,
상기 감지 정보는 사용자가 상기 가상 환경 안으로 들어간 거리, 사용자가 상기 가상 환경에게 가한 힘의 크기를 포함하는, 촉각 정보 표현 시스템. - 제 30항에 있어서,
상기 촉감 장치의 특성 및 규격을 포함하는 상기 컨트롤 정보는,
상기 구동자 어레이 내의 수평 방향으로의 상기 구동자의 개수, 상기 구동자 어레이 내의 수직 방향으로의 상기 구동자의 개수, 상기 구동자 사이의 수평방향으로의 간격 및 상기 구동자 사이의 수직 방향으로의 간격을 포함하는, 컨트롤 정보를 이용한 촉각 정보 표현 시스템. - 제 30항에 있어서,
상기 역감 장치의 특성 및 규격을 포함하는 상기 컨트롤 정보는,
상기 엑츄에이터가 각각의 축에 제공할 수 있는 최대 힘, 상기 엑츄에이터가 각각의 축에 제공할 수 있는 최대 토크, 상기 엑츄에이터가 각각의 축에 제공할 수 있는 최대 강성, 상기 엑츄에이터의 자유도 및 상기 엑츄에이터의 작업 공간을 포함하는, 컨트롤 정보를 이용한 촉각 정보 표현 시스템. - 제 33항에 있어서,
상기 리사이징은,
상기 피드백 촉각 정보와 상기 촉감 장치가 제시 가능한 촉감 정보에 차이가 있을 경우, 상기 피드백 촉각 정보를 상기 제시 가능한 촉감 정보로 조정하는, 촉각 정보 표현 시스템. - 제 35항에 있어서,
상기 조정된 피드백 촉각 정보를 상기 사용자 선호도를 고려하여 재조정하는, 촉각 정보 표현 시스템. - 제 36항에 있어서,
상기 장치명령은 퍼센티치 형태로 상기 촉각 장치로 전달되는, 촉각 정보 표현 시스템. - 제 34항에 있어서,
상기 리사이징은,
상기 피드백 촉각 정보와 상기 역감 장치가 제시 가능한 역감 정보에 차이가 있을 경우, 상기 피드백 촉각 정보를 상기 제시 가능한 역감 정보로 조정하는, 촉각 정보 표현 시스템. - 제 38항에 있어서,
상기 조정된 역감 정보를 상기 사용자 선호도를 고려하여 재조정하는, 촉각 정보 표현 방법. - 제 39항에 있어서,
상기 장치명령은 퍼센티치 형태로 상기 역감 장치로 전달되는, 촉각 정보 표현 시스템.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020090123529 | 2009-12-11 | ||
| KR20090123529 | 2009-12-11 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20110066895A true KR20110066895A (ko) | 2011-06-17 |
| KR101239830B1 KR101239830B1 (ko) | 2013-03-06 |
Family
ID=44146080
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR20100127100A KR101239830B1 (ko) | 2009-12-11 | 2010-12-13 | 데이터 포멧의 정의를 통한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR101239830B1 (ko) |
| WO (1) | WO2011071352A2 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102016215481A1 (de) * | 2016-08-18 | 2018-02-22 | Technische Universität Dresden | System und Verfahren zur haptischen Interaktion mit virtuellen Objekten |
| GB2575820B (en) * | 2018-07-24 | 2022-11-30 | Sony Interactive Entertainment Inc | Robot interaction system and method |
| US20220404621A1 (en) * | 2020-12-22 | 2022-12-22 | Telefonaktiebolaget Lm Ericsson (Publ) | Moderating a user?s sensory experience with respect to an extended reality |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB0322489D0 (en) * | 2003-09-25 | 2003-10-29 | British Telecomm | Haptics transmission systems |
| KR100860412B1 (ko) * | 2007-02-02 | 2008-09-26 | 한국전자통신연구원 | 촉각체험 서비스 방법 및 그 시스템 |
| KR100835297B1 (ko) * | 2007-03-02 | 2008-06-05 | 광주과학기술원 | 촉감 정보 표현을 위한 노드 구조 및 이를 이용한 촉감정보 전송 방법과 시스템 |
| KR100860547B1 (ko) * | 2007-03-02 | 2008-09-26 | 광주과학기술원 | 촉감 정보 저작 방법과 장치, 및 컴퓨터로 판독가능한 기록매체 |
| WO2010033006A2 (ko) * | 2008-09-22 | 2010-03-25 | 한국전자통신연구원 | 실감 효과 표현 방법 및 장치 |
| KR100992567B1 (ko) * | 2008-12-10 | 2010-11-05 | 포항공과대학교 산학협력단 | 햅틱 증강현실 제공 장치 및 방법 |
-
2010
- 2010-12-13 WO PCT/KR2010/008910 patent/WO2011071352A2/ko active Application Filing
- 2010-12-13 KR KR20100127100A patent/KR101239830B1/ko not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| WO2011071352A3 (ko) | 2011-11-10 |
| KR101239830B1 (ko) | 2013-03-06 |
| WO2011071352A2 (ko) | 2011-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100835297B1 (ko) | 촉감 정보 표현을 위한 노드 구조 및 이를 이용한 촉감정보 전송 방법과 시스템 | |
| WO2011071275A9 (ko) | 컨트롤 정보를 이용한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템 | |
| KR101239370B1 (ko) | 가상 환경의 햅틱 속성의 정의를 통한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템 | |
| CN107835971B (zh) | 基于用户触觉空间（HapSpace）提供触觉反馈和交互的方法和装置 | |
| US6496200B1 (en) | Flexible variation of haptic interface resolution | |
| KR20180077091A (ko) | 공간-의존 콘텐츠를 위한 햅틱 효과 생성 | |
| KR20140082266A (ko) | 혼합현실 콘텐츠 시뮬레이션 시스템 | |
| KR100860547B1 (ko) | 촉감 정보 저작 방법과 장치, 및 컴퓨터로 판독가능한 기록매체 | |
| US20180302557A1 (en) | Head-mountable display system | |
| Cha et al. | A Framework for Haptic Broadcasting. | |
| KR101239830B1 (ko) | 데이터 포멧의 정의를 통한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템 | |
| US20200111257A1 (en) | Sound reproduction apparatus for reproducing virtual speaker based on image information | |
| Kim et al. | Construction of a haptic-enabled broadcasting system based on the MPEG-V standard | |
| JP2009194597A (ja) | 送受信システム、送信装置、送信方法、受信装置、受信方法、提示装置、提示方法、プログラム、及び記録媒体 | |
| EP2961503B1 (en) | Method for reproducing an item of audiovisual content having haptic actuator control parameters and device implementing the method | |
| Cha et al. | An authoring/editing framework for haptic broadcasting: passive haptic interactions using MPEG-4 BIFS | |
| KR101250503B1 (ko) | Ｍｐｅｇ-ｖ의 아키텍쳐를 통한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템 | |
| KR101239368B1 (ko) | 감각 정보의 구분을 통한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템 | |
| WO2021060019A1 (ja) | 情報処理装置、情報処理方法、サーバ装置、および、プログラム | |
| KR101992618B1 (ko) | 선호환경조건 방식의 기억법을 적용한 mci 집중력 증진 콘텐츠 제공방법 | |
| WO2009101998A1 (ja) | 放送システム、送信装置、送信方法、受信装置、受信方法、提示装置、提示方法、プログラム、及び記録媒体 | |
| KR20110040128A (ko) | 헵틱 콘텐츠 스트리밍 시스템 | |
| WO2024060959A1 (zh) | 虚拟环境中的观影画面调整方法、装置、存储介质及设备 | |
| WO2023105706A1 (ja) | 触覚提示デバイスおよび制御方法 | |
| Kim et al. | MPEG-V standardization for haptically interacting with virtual worlds |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20151217 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20161219 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20180201 Year of fee payment: 6 |
|
| LAPS | Lapse due to unpaid annual fee |