KR101731476B1 - Method and Device for Haptic Interaction using Virtual Human - Google Patents

Method and Device for Haptic Interaction using Virtual Human Download PDF

Info

Publication number
KR101731476B1
KR101731476B1 KR1020100125982A KR20100125982A KR101731476B1 KR 101731476 B1 KR101731476 B1 KR 101731476B1 KR 1020100125982 A KR1020100125982 A KR 1020100125982A KR 20100125982 A KR20100125982 A KR 20100125982A KR 101731476 B1 KR101731476 B1 KR 101731476B1
Authority
KR
South Korea
Prior art keywords
haptic
information
human body
model
image information
Prior art date
Application number
KR1020100125982A
Other languages
Korean (ko)
Other versions
KR20120064789A (en
Inventor
류제하
이창규
김재하
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020100125982A priority Critical patent/KR101731476B1/en
Publication of KR20120064789A publication Critical patent/KR20120064789A/en
Application granted granted Critical
Publication of KR101731476B1 publication Critical patent/KR101731476B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects

Abstract

본 발명은 영상 정보와 함께 영상 정보에 포함된 인체에 대하여 모델링된 가상 인체 정보를 제공하여 가상 인체와의 햅틱 상호작용을 가능하게 하는 가상 인체를 통한 촉각 상호작용 방법 및 장치에 대한 것이다.
본 발명은, 영상 정보를 저장하는 영상 저장부; 상기 영상 정보에 포함된 인체에 대하여 햅틱 모델링된 가상 인체 정보를 저장하는 햅틱 모델 저장부; 상기 영상 정보와 상기 가상 인체 정보를 동기화시키는 영상 동기화부; 상기 영상 정보를 출력하는 영상 출력부; 상기 가상 인체 정보와 촉각 상호작용을 수행하는 햅틱 디바이스; 및 상기 햅틱 디바이스와 상기 가상 인체와의 촉각 상호작용을 제어하는 햅틱 제어부를 포함하는 촉각 상호작용 장치를 제공한다. The present invention relates to a method and apparatus for tactile interaction through a virtual human body, which provides virtual human body information modeled to a human body included in image information together with image information, thereby enabling haptic interaction with a virtual human body.
The present invention provides an image processing apparatus comprising: an image storage unit for storing image information; A haptic model storage unit storing haptic modeled virtual human body information for a human body included in the image information; An image synchronization unit for synchronizing the image information with the virtual human body information; A video output unit for outputting the video information; A haptic device for performing a tactile interaction with the virtual human body information; And a haptic control unit for controlling a tactual interaction between the haptic device and the virtual human body.

Description

가상 인체를 통한 촉각 상호작용 방법과 장치{Method and Device for Haptic Interaction using Virtual Human}TECHNICAL FIELD [0001] The present invention relates to a tactile interaction method and apparatus using a virtual human body,

본 발명은 가상 인체를 통한 촉각 상호작용 방법 및 장치에 대한 것이다. 더욱 상세하게는, 본 발명은 영상 정보와 함께 영상 정보에 포함된 인체에 대하여 모델링된 가상 인체 정보를 제공하여 가상 인체와의 햅틱 상호작용을 가능하게 하는 가상 인체를 통한 촉각 상호작용 방법 및 장치에 대한 것이다. The present invention relates to a method and apparatus for tactile interaction through a virtual human body. More particularly, the present invention relates to a method and apparatus for a tactile interaction through a virtual human body, which provides virtual human body information modeled to a human body included in image information together with image information to enable haptic interaction with a virtual human body It is about.

최근 디지털 미디어 및 전송 기술의 발전에 따라 기존의 2차원 영상을 기반으로 한 시청각 미디어의 한계를 뛰어넘는 실감 방송이 차세대 방송기술로 등장하고 있다. 이러한 실감 방송을 구현하기 위한 기술로서 3차원 영상을 기반으로 한 실감 미디어에 대한 연구와 더불어 촉감(Tactile Sense)과 역감(Kinesthetic Sense)를 포함하는 촉각 정보를 제공하는 것에 대한 연구가 진행중이다. Recently, as the digital media and transmission technology develops, real-time broadcasting that exceeds the limit of audiovisual media based on existing two-dimensional images is emerging as a next generation broadcasting technology. As a technique for realizing such realistic broadcasting, studies on realistic media based on three-dimensional images and research on providing tactile information including tactile sense and kinesthetic sense are underway.

종래 촉각(Haptic) 정보를 제시하는 기술은 교육, 훈련, 오락 등에 적용되어 왔다. 촉각 정보를 이용하여 교육 효과를 증대시키는 기술, 의료 훈련이나 의료 장비에 촉각 정보를 활용하는 기술, 게임이나 오락 기구에 촉각 정보를 제시하도록 하는 기술, 메시지 전달시 촉각 정보를 함께 전달하는 기술, 시각 또는 청각 장애자 등에게 촉각 정보를 이용하여 정보 전달을 하는 기술 등 다양한 분야에 촉각 정보가 적용될 수 있음이 기존에 다양한 연구 결과 및 특허로부터 알려져 왔다. Conventionally, techniques for presenting haptic information have been applied to education, training, and entertainment. Technology that uses tactile information in medical training or medical equipment, technology that presents tactile information to a game or amusement facility, technology that transmits tactile information together when delivering a message, and visual Or tactile information can be applied to various fields such as a technique for transferring information using tactile information to the hearing-impaired person, etc. have been known from various research results and patents.

그러나, 현재까지는 영상 정보에 포함된 인체와의 촉각 상호작용을 가능하게 하는 방법 및 장치가 제시되고 있지 않은 상황이다. 영상 정보에 포함된 실제 사람 또는 애니메이션 등에 포함된 가상의 사람에 대한 햅틱 모델 및 영상 정보의 장면마다 화면상의 동적인 인간과 햅틱 모델을 합치시키는 기술이 제시되지 않아 영상 정보에 포함된 인체와의 촉각 상호작용이 가능하지 않은 문제점이 존재하였다. However, up to now, a method and apparatus for enabling a tactile interaction with a human body included in image information have not been proposed. A haptic model for a virtual person included in the image information or a virtual person included in the animation or the like, and a technique for matching the dynamic human and the haptic model on the screen for each scene of the image information are not presented, There is a problem that the interaction is not possible.

본 발명은 상기와 같은 문제점을 해결하기 위하여, 영상 정보에 포함된 인간 및 가상 세계에 존재하는 가상의 인간에 대하여 실제와 같은 신체 접촉을 가능하게 하는 촉각 상호작용 방법 및 장치를 제공함을 그 목적으로 한다. In order to solve the above problems, the present invention provides a tactile interaction method and apparatus for enabling physical contact with a virtual human existing in a human and virtual world included in image information do.

본 발명은, 영상 정보를 저장하는 영상 저장부; 상기 영상 정보에 포함된 인체에 대하여 햅틱 모델링된 가상 인체 정보를 저장하는 햅틱 모델 저장부; 상기 영상 정보와 상기 가상 인체 정보를 동기화시키는 영상 동기화부; 상기 영상 정보를 출력하는 영상 출력부; 상기 가상 인체 정보와 촉각 상호작용을 수행하는 햅틱 디바이스; 및 상기 햅틱 디바이스와 상기 가상 인체와의 촉각 상호작용을 제어하는 햅틱 제어부를 포함하는 촉각 상호작용 장치를 제공한다. The present invention provides an image processing apparatus comprising: an image storage unit for storing image information; A haptic model storage unit storing haptic modeled virtual human body information for a human body included in the image information; An image synchronization unit for synchronizing the image information with the virtual human body information; A video output unit for outputting the video information; A haptic device for performing a tactile interaction with the virtual human body information; And a haptic control unit for controlling a tactual interaction between the haptic device and the virtual human body.

바람직하게는, 상기 영상 동기화부는 상기 영상 정보에 상기 가상 인체 정보에 따른 햅틱 모델을 비가시적으로 증강시키는 것을 특징으로 한다. Preferably, the image synchronization unit enhances invisibly a haptic model according to the virtual human body information in the image information.

또한 본 발명은, 콘텐츠 전송장치와, 콘텐츠 수신장치를 포함하고, 상기 콘텐츠 전송장치는, 영상 정보를 저장하는 영상 저장부와, 상기 영상 정보에 포함된 인체에 대하여 햅틱 모델링된 가상 인체 정보를 저장하는 햅틱 모델 저장부, 및 상기 영상 정보와 상기 가상 인체 정보를 동기화시켜 전송하는 콘텐츠 전송부를 포함하고, 상기 콘텐츠 수신장치는, 상기 콘텐츠 전송부로부터 전송된 상기 영상 정보와 상기 가상 인체 정보를 수신하는 콘텐츠 수신부와, 상기 영상 정보를 출력하는 영상 출력부와, 상기 가상 인체 정보와 촉각 상호작용을 수행하는 햅틱 디바이스, 및 상기 햅틱 디바이스와 상기 가상 인체와의 촉각 상호작용을 제어하는 햅틱 제어부를 포함하는 것을 특징으로 하는 촉각 상호작용 시스템을 제공한다. According to another aspect of the present invention, there is provided a content distribution apparatus including a content transmission apparatus and a content reception apparatus, wherein the content transmission apparatus includes an image storage unit for storing image information, and a virtual human body information storage unit for storing haptic- And a content transmitting unit for transmitting the video information and the virtual human body information in synchronization with each other, wherein the content receiving apparatus further comprises: a receiving unit for receiving the video information and the virtual human body information transmitted from the content transmitting unit A haptic device for performing a tactual interaction with the virtual human body information; and a haptic control unit for controlling a tactual interaction between the haptic device and the virtual human body, And a tactile interaction system.

또한, 본 발명은, 영상 정보에 포함된 인체에 대한 햅틱 모델을 생성하는 단계; 햅틱 모델을 상기 영상 정보에 정합시키는 단계; 상기 영상 정보를 영상 출력부를 통해 출력하는 단계; 및 상기 햅틱 모델에 대한 햅틱 디바이스의 상호작용에 따른 햅틱 정보를 제시하는 단계를 포함하는 촉각 상호작용 방법을 제공한다. According to another aspect of the present invention, there is provided a method of generating a haptic model, the method comprising: generating a haptic model for a human body included in image information; Fitting the haptic model to the image information; Outputting the image information through a video output unit; And presenting haptic information according to the interaction of the haptic device with the haptic model.

또한, 본 발명은, 영상 정보에 포함된 인체에 대한 기하 모델을 획득하는 단계; 상기 기하 모델에 햅틱 속성을 부가하여 햅틱 모델을 생성하는 단계; 상기 햅틱 모델을 상기 영상 정보에 비가시적으로 증강시키는 단계; 상기 햅틱 모델과 상기 영상 정보를 포함한 콘텐츠를 전송하는 단계; 및 상기 영상 정보를 영상 출력부를 통해 출력하고 비가시적인 상기 햅틱 모델과 햅틱 디바이스와의 상호 작용에 따라 햅틱 렌더링을 수행하고 햅틱 정보를 제시하는 단계를 포함하는 촉각 상호작용 방법을 제공한다. According to another aspect of the present invention, there is provided an image processing method including: obtaining a geometric model of a human body included in image information; Generating a haptic model by adding a haptic attribute to the geometric model; Enhancing the haptic model invisibly to the image information; Transmitting the content including the haptic model and the image information; And outputting the image information through a video output unit, performing haptic rendering according to the invisible haptic model and interaction with the haptic device, and presenting the haptic information.

본 발명에 따르면, 영상 정보와 더불어 영상 정보에 포함된 인간에 대응하여 모델링된 가상 인간에 대한 정보를 함께 제공함으로써 시청자가 촉각 장치를 이용하여 가상 인간과의 촉각 상호작용을 가능하게 하는 효과가 있다. According to the present invention, there is an effect that a viewer can provide a tactile interaction with a virtual human using a haptic device by providing information about the virtual human modeled in correspondence with the human included in the image information together with the image information .

도 1은 본 발명의 바람직한 실시예에 따른 촉각 상호작용 장치의 블록도이다.
도 2는 본 발명의 바람직한 실시예에 따른 촉각 상호작용 시스템에 대한 블록도이다.
도 3은 본 발명의 바람직한 실시예에 따른 촉각 상호작용 방법을 도시한 도면이다.
도 4는 본 발명의 바람직한 다른 실시예에 따른 촉각 상호작용 방법을 도시한 도면이다.
도 5는 3D 스캐닝을 통한 기하 모델을 획득하는 일례를 도시한 도면이다.
도 6은 기하 모델에 햅틱 속성을 부여한 햅틱 모델의 일례를 도시한 도면이다.1 is a block diagram of a tactile interaction device in accordance with a preferred embodiment of the present invention.
2 is a block diagram of a tactile interaction system in accordance with a preferred embodiment of the present invention.
3 is a diagram illustrating a tactile interaction method according to a preferred embodiment of the present invention.
4 is a view illustrating a tactile interaction method according to another preferred embodiment of the present invention.
FIG. 5 is a view showing an example of acquiring a geometric model through 3D scanning.
6 is a view showing an example of a haptic model in which a haptic attribute is given to a geometric model.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used to designate the same or similar components throughout the drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In addition, the preferred embodiments of the present invention will be described below, but it is needless to say that the technical idea of the present invention is not limited thereto and can be variously modified by those skilled in the art.

도 1은 본 발명의 바람직한 실시예에 따른 촉각 상호작용 장치의 블록도이다. 1 is a block diagram of a tactile interaction device in accordance with a preferred embodiment of the present invention.

본 발명의 바람직한 실시예에 따른 촉각 상호작용 장치(10)는, 영상 정보를 저장하는 영상 저장부(12), 상기 영상 정보에 포함된 인체에 대하여 햅틱 모델링된 가상 인체 정보를 저장하는 햅틱 모델 저장부(14), 상기 영상 정보와 상기 가상 인체 정보를 동기화시키는 영상 동기화부(16), 상기 영상 정보를 출력하는 영상 출력부(22), 상기 가상 인체 정보와 촉각 상호작용을 수행하는 햅틱 디바이스(20), 및 상기 햅틱 디바이스(20)와 상기 가상 인체와의 촉각 상호작용을 제어하는 햅틱 제어부(18)를 포함한다. The tactile interaction apparatus 10 according to the preferred embodiment of the present invention includes an image storage unit 12 for storing image information, a haptic model storing haptic modeled virtual human body information for the human body contained in the image information, An image synchronization unit 16 for synchronizing the image information and the virtual human body information, an image output unit 22 for outputting the image information, a haptic device for performing tactile interaction with the virtual human body information, 20 and a haptic control unit 18 for controlling tactile interaction between the haptic device 20 and the virtual human body.

영상 저장부(12)는 영화, 드라마, 애니메이션, 다큐멘터리 등과 같은 영상 정보를 저장한다. 영상 정보에는 음성 또는 음향 정보가 포함될 수 있으며, 음성 또는 음향 정보는 스피커 등과 같은 오디오 출력장치를 통해 영상과 함께 출력될 수 있다. 영상 정보는 2D 영상일 수 있으나, 바람직하게는 3D 영상으로 제작되는 것이 보다 사실적인 영상을 제공할 수 있다.The image storage unit 12 stores image information such as a movie, a drama, an animation, a documentary, and the like. The video information may include voice or sound information, and the voice or sound information may be output together with the video through an audio output device such as a speaker. The image information may be a 2D image, but preferably a 3D image can provide a more realistic image.

햅틱 모델 저장부(14)는 상기 영상 정보에 포함된 인체에 대응하여 생성된 햅틱 모델에 대한 정보를 저장한다. 햅틱 모델을 생성하는 방법에 대해서는 후술하도록 한다. 햅틱 모델은 상기 영상 정보의 각 프레임마다 생성될 수 있다. The haptic model storage unit 14 stores information on the haptic model generated corresponding to the human body included in the image information. A method of generating the haptic model will be described later. The haptic model may be generated for each frame of the image information.

영상 동기화부(16)는 영상 정보와 상기 영상 정보에 포함된 인체에 대응되어 모델링된 햅틱 모델을 동기화시키는 기능을 수행한다. 이는 영상 출력부(22)를 통해 출력되는 영상과 햅틱 디바이스(20)를 통한 촉각 상호작용이 일치되어 수행될 수 있도록 하기 위함이다. 일 실시예로서, 햅틱 모델은 각 영상 정보의 프레임에 대응하여 생성되고, 비가시적으로 영상 정보에 포함되도록 할 수 있다. 또한, 영상 정보에 대응되는 햅틱 모델에 대하여 영상 정보의 프레임 단위로 햅틱 모델을 생성하고 햅틱 모델을 포함한 영상을 프레임 단위로 생성한 후, 영상 정보의 프레임과 햅틱 모델을 포함한 프레임에 동기화를 위한 정보를 포함시키는 것도 가능하다. 또한 다른 실시예로서, 영상 동기화부(16)는 영상 정보에 상기 햅틱 모델을 비가시적으로 증강시키는 것도 가능하다. The image synchronization unit 16 synchronizes the image information and the modeled haptic model corresponding to the human body included in the image information. This is to enable the tactile interaction between the image output through the image output unit 22 and the haptic device 20 to be performed. In one embodiment, the haptic model may be generated corresponding to a frame of each image information, and may be included in the image information in a non-visible manner. In addition, a haptic model is generated for each frame of image information for a haptic model corresponding to image information, an image including a haptic model is generated for each frame, and then information for synchronizing frames including image information and frames including a haptic model May be included. In another embodiment, the image synchronization unit 16 may enhance the haptic model invisibly in the image information.

영상 출력부(22)는, TV, LCD 모니터, 프로젝터 등 영상을 시각적으로 출력하는 다양한 장치를 포함한다. The video output section 22 includes various devices for visually outputting images such as TVs, LCD monitors, and projectors.

햅틱 디바이스(20)는, 영상을 시청하는 시청자가 인체에 대응하는 햅틱 모델과 촉각 상호작용을 가능하게 하는 장치이다. The haptic device 20 is a device that enables a viewer who views an image to interact with a haptic model corresponding to the human body.

햅틱 제어부(20)는 상기 햅틱 디바이스(20)의 촉각 상호작용 포인트와 상기 햅틱 모델과의 충돌 여부를 검출하고, 충돌 여부에 따른 반력을 계산하여 햅틱 디바이스(20)로 제공함으로써 햅틱 디바이스(20)를 통한 촉각 상호작용이 가능하도록 제어한다.
The haptic control unit 20 detects a collision between the tactile interaction point of the haptic device 20 and the haptic model, calculates a reaction force depending on the collision and provides the reaction force to the haptic device 20, So that the tactile interaction can be achieved.

도 2는 본 발명의 바람직한 실시예에 따른 촉각 상호작용 시스템에 대한 블록도이다. 2 is a block diagram of a tactile interaction system in accordance with a preferred embodiment of the present invention.

도 2에 도시된 촉각 상호작용 시스템은 실질적으로는 도 2에 도시된 촉각 상호작용 장치와 동일한 기능을 수행한다. 다만, 도 1에 도시된 촉각 상호작용 시스템에 있어서는, 영상 정보와 햅틱 모델에 대한 정보가 유선 또는 무선을 통해 전송되고 사용자는 원격에 위치한 상태에서 영상 정보를 시청하면서 촉각 상호작용을 한다는 점에서 차이가 있다. The tactile interaction system shown in FIG. 2 performs substantially the same function as the tactile interaction apparatus shown in FIG. However, in the tactile interaction system shown in FIG. 1, since information about the image information and the haptic model is transmitted through wired or wireless, and the user views the image information while being remotely located, .

본 발명의 바람직한 실시예에 따른 촉각 상호작용 시스템(30)은, 콘텐츠 전송장치(32)와 콘텐츠 수신장치(36)를 포함한다. The tactile interaction system 30 according to the preferred embodiment of the present invention includes a content transmission apparatus 32 and a content reception apparatus 36. [

콘텐츠 전송장치(32)는, 영상 저장부(12), 햅틱 모델 저장부(14) 및 콘텐츠 전송부(34)를 포함한다. 콘텐츠 수신장치(36)는 콘텐츠 수신부(38), 영상 출력부(22), 햅틱 제어부(18) 및 햅틱 디바이스(20)를 포함한다. The content transfer apparatus 32 includes an image storage unit 12, a haptic model storage unit 14, and a content transfer unit 34. [ The content receiving apparatus 36 includes a content receiving unit 38, a video output unit 22, a haptic control unit 18 and a haptic device 20. [

영상 저장부(12)는 영화, 드라마, 애니메이션, 다큐멘터리 등과 같은 영상 정보를 저장한다. 영상 정보에는 음성 또는 음향 정보가 포함될 수 있으며, 음성 또는 음향 정보는 스피커 등과 같은 오디오 출력장치를 통해 영상과 함께 출력될 수 있다. 영상 정보는 2D 영상일 수 있으나, 바람직하게는 3D 영상으로 제작되는 것이 보다 사실적인 영상을 제공할 수 있다.The image storage unit 12 stores image information such as a movie, a drama, an animation, a documentary, and the like. The video information may include voice or sound information, and the voice or sound information may be output together with the video through an audio output device such as a speaker. The image information may be a 2D image, but preferably a 3D image can provide a more realistic image.

햅틱 모델 저장부(14)는 상기 영상 정보에 포함된 인체에 대응하여 생성된 햅틱 모델에 대한 정보를 저장한다. 햅틱 모델을 생성하는 방법에 대해서는 후술하도록 한다. 햅틱 모델은 상기 영상 정보의 각 프레임마다 생성될 수 있다. The haptic model storage unit 14 stores information on the haptic model generated corresponding to the human body included in the image information. A method of generating the haptic model will be described later. The haptic model may be generated for each frame of the image information.

콘텐츠 전송부(34)는 영상 저장부(12)에 저장된 영상 정보와 햅틱 모델 저장부(14)에 저장된 햅틱 모델 정보를 전송하는 기능을 수행한다. 콘텐츠 전송부(34)는 상기 영상 정보와 상기 햅틱 모델 정보를 동기화시켜 전송함이 바람직하다. 콘텐츠 전송부(34)는 상기 영상 정보와 햅틱 모델을 비가시적으로 증강시켜 전송하는 것도 가능하다. 콘텐츠 전송부(34)는 유선, 무선 등의 다양한 방식으로 상기 영상 정보와 햅틱 모델 정보를 전송할 수 있다. The content transmission unit 34 transmits the image information stored in the image storage unit 12 and the haptic model information stored in the haptic model storage unit 14. The content transmitting unit 34 preferably transmits the image information and the haptic model information in synchronization with each other. The content transmitting unit 34 may transmit the image information and the haptic model in a non-visible manner. The content transmitting unit 34 can transmit the image information and the haptic model information in various ways such as wired and wireless.

콘텐츠 수신부(38)는 콘텐츠 전송부(34)로부터 전송된 영상 정보와 햅틱 모델 정보를 수신한다. The content receiving unit 38 receives the image information and the haptic model information transmitted from the content transmitting unit 34.

영상 출력부(22)는, TV, LCD 모니터, 프로젝터 등 영상을 시각적으로 출력하는 다양한 장치를 포함한다. The video output section 22 includes various devices for visually outputting images such as TVs, LCD monitors, and projectors.

햅틱 디바이스(20)는, 영상을 시청하는 시청자가 인체에 대응하는 햅틱 모델과 촉각 상호작용을 가능하게 하는 장치이다. The haptic device 20 is a device that enables a viewer who views an image to interact with a haptic model corresponding to the human body.

햅틱 제어부(20)는 상기 햅틱 디바이스(20)의 촉각 상호작용 포인트와 상기 햅틱 모델과의 충돌 여부를 검출하고, 충돌 여부에 따른 반력을 계산하여 햅틱 디바이스(20)로 제공함으로써 햅틱 디바이스(20)를 통한 촉각 상호작용이 가능하도록 제어한다.
The haptic control unit 20 detects a collision between the tactile interaction point of the haptic device 20 and the haptic model, calculates a reaction force depending on the collision and provides the reaction force to the haptic device 20, So that the tactile interaction can be achieved.

다음으로 본 발명에 따른 촉각 상호작용 방법을 설명한다. Next, a tactile interaction method according to the present invention will be described.

도 3은 본 발명의 바람직한 실시예에 따른 촉각 상호작용 방법을 도시한 도면이다. 3 is a diagram illustrating a tactile interaction method according to a preferred embodiment of the present invention.

본 발명의 바람직한 실시예에 따른 촉각 상호작용 방법은, 영상 정보에 포함된 인체에 대한 햅틱 모델을 생성하는 단계(S300), 햅틱 모델을 영상 정보에 정합시키는 단계(S302), 영상 정보를 영상 출력부를 통해 출력하는 단계(S304), 및 햅틱 모델에 대한 햅틱 디바이스의 상호작용에 따른 햅틱 정보를 제시하는 단계(S306)를 포함한다.The tactile interaction method according to a preferred embodiment of the present invention includes the steps of generating a haptic model for a human body included in image information (S300), matching the haptic model to image information (S302) (S304), and presenting haptic information according to the interaction of the haptic device with the haptic model (S306).

도 4는 본 발명의 바람직한 다른 실시예에 따른 촉각 상호작용 방법을 도시한 도면이다. 4 is a view illustrating a tactile interaction method according to another preferred embodiment of the present invention.

본 발명의 바람직한 다른 실시예에 따른 촉각 상호작용 방법은, 영상 정보에 포함된 인체에 대한 기하 모델을 획득하는 단계(S400), 상기 기하 모델에 뼈, 근육, 살 등의 내부 정보를 모델링하여 햅틱 모델을 생성하는 단계(S402), 상기 햅틱 모델을 영상 정보에 비가시적으로 증강시키는 단계(S404), 햅틱 모델이 포함된 영상 정보를 포함한 콘텐츠를 전송하는 단계(S406), 영상 정보를 영상 출력부를 통해 출력하고 비가시적인 햅틱 모델과 햅틱 디바이스와의 상호 작용에 따라 햅틱 렌더링을 수행하고 햅틱 정보를 제시하는 단계(S408)를 포함한다.
A tactile interaction method according to another preferred embodiment of the present invention includes acquiring a geometric model for a human body included in image information (S400), modeling internal information such as bones, muscles, and flesh in the geometric model, (Step S402), a step of transmitting the content including the image information including the haptic model (S406), the step of transmitting the image information to the image output unit And performing haptic rendering according to the interaction between the invisible haptic model and the haptic device and presenting the haptic information (S408).

S300 단계 및 S400 단계와 S402 단계를 구체적으로 설명하면 다음과 같다. Steps S300, S400, and S402 will be described in detail.

영상 정보에 포함된 인체에 대한 햅틱 모델링을 위하여, 실제 출연자의 인체에 대한 전신 기하모델을 획득한다. 또는 인체에 대한 아바타 정보를 생성한다. 인체에 대한 전신 기하모델은 3D 스캐너를 이용하여 수행될 수 있다. 이는 시각정보와 촉각정보 사이의 기하학적 일치율을 높임으로써 촉각 정보의 투명성을 높이기 위한 단계이다. 화면을 통해서 제공되는 배우의 기하학적 특성과 햅틱 상호작용을 통해 느껴지는 배우의 기하학적 특성이 일치하지 않을 경우, 시청자는 그 차이를 알아차리게 된다. 예를 들어 키가 크고 마른 체격의 화면에 키가 작고 뚱뚱한 체격의 기하학적 정보를 삽입했다면, 시청자는 그 차이를 명확하게 알아차리게 될 것이다. 더불어 가상세계에서 사용자의 아바타를 생성할 때, 한정된 특성으로 제공되는 아바타보다는 자신의 신체 특성을 모두 반영하는 아바타를 생성하게 되면 가상세계에 대한 몰입도가 더욱 증가될 것이다. 때문에 햅틱 상호작용의 투명성을 높이거나 가상세계로의 몰입도를 높이기 위해서, 화면에 등장하는 주요 인물들, 혹은 소비자 자신에 대한 보다 정확한 기하학적 정보를 3D 스캐닝을 통해서 획득할 필요가 있다. 도 5는 3D 스캐닝을 통한 기하 모델을 획득하는 일례를 도시한 도면이다. For the haptic modeling of the human body included in the image information, we obtain the whole body geometric model for the human body of actual performer. Or generates avatar information for a human body. The whole body geometric model for the human body can be performed using a 3D scanner. This is a step for increasing the transparency of tactile information by increasing the geometric agreement between visual information and tactile information. If the geometrical characteristics of the actors provided through the screen do not match the geometrical characteristics of the actors felt through the haptic interaction, the viewer becomes aware of the difference. For example, if you insert geometric information of a tall, fat body on a tall, skinny screen, the viewer will notice the difference clearly. In addition, when creating an avatar for a user in a virtual world, creating an avatar that reflects all of the physical characteristics of the user rather than an avatar provided with limited characteristics will further increase the degree of engagement with the virtual world. In order to increase the transparency of the haptic interaction or to increase the immersion into the virtual world, it is necessary to acquire more accurate geometric information about the main characters on the screen or the consumer himself through 3D scanning. FIG. 5 is a view showing an example of acquiring a geometric model through 3D scanning.

기하 모델을 근거로 햅틱 모델을 생성하기 위하여, 기하 모델에 뼈, 근육, 살 등을 덧입히고 햅틱 피드백을 위한 햅틱 속성을 부여한다. 다시 말하면, 획득된 기하모델 혹은 가상으로 제작된 가상 기하 모델에 실제 사람과 같이 내부적인 뼈, 근육, 살을 모델링한다. 화면에 등장하는 배우들과 혹은 가상세계 속의 다른 아바타와 햅틱 상호작용을 할 때 제공되는 햅틱 피드백의 실감도를 높이기 위해 피부, 뼈, 근육, 살 등의 모델들에 햅틱 특성들(강성, 댐핑, 정지마찰력, 운동마찰력 등)을 부여하고, 더불어서, 햅틱 특성들이 부여된 각 신체부위들을 획득된 전신 기하모델 내부의 적절한 위치에 배치하여 실제 사람과 상호작용 하는 듯한 실감도를 제공할 수 있게 한다. 피부와 햅틱 상호작용을 하다가 뼈와 맞닿게 되었을 때 갑자기 증가하는 강성을 느끼게 해주는 것이 그 예이다. 각 신체부위 및 기하 모델에 햅틱 특성을 부여하는 것은 이미 개발되어 있는 햅틱 모델러를 이용하는 것도 가능하다. 도 6은 기하 모델에 햅틱 속성을 부여한 햅틱 모델의 일례를 도시한 도면이다. To generate a haptic model based on a geometric model, the geometric model is overlaid with bones, muscles, and flesh, and a haptic attribute for haptic feedback is given. In other words, the internal bones, muscles, and flesh are modeled as the actual person in the acquired geometric model or the virtual geometric model created. In order to increase the realism of the haptic feedback provided when interacting with actors on the screen or with other avatars in the virtual world, the haptic characteristics (stiffness, damping, Static frictional force, kinetic frictional force, and the like), and in addition, each body part to which the haptic characteristics are imparted is disposed at a proper position in the obtained whole body geometric model, thereby providing a realistic sensation of interacting with a real person. An example is when the haptic interaction with the skin makes the bone suddenly increase in stiffness when it comes into contact with the bone. It is also possible to use a haptic modeler that has already been developed to impart haptic characteristics to each body part and geometric model. 6 is a view showing an example of a haptic model in which a haptic attribute is given to a geometric model.

S302 단계는 영상 정보와 햅틱 모델을 동기화시켜 전송하는 단계이다. S404 단계는 S302 단계에 대한 다른 실시 형태로서, 인체에 대해 모델링된 햅틱 모델을 영상 정보에 비가시적으로 증강시켜 전송하는 단계이다. In step S302, the image information and the haptic model are synchronized and transmitted. In step S404, the haptic model modeled for the human body is transmitted to the image information in a non-visible manner and transmitted in step S302.

S404 단계에 따를 경우, 햅틱 제어부(18)는 비가시적으로 증강된 햅틱 모델과 햅틱 디바이스(20) 간의 촉각 상호작용에 따른 햅틱 렌더링을 수행하여 햅틱 디바이스(20)에 햅틱 정보를 제시한다. 다시 말하면, 햅틱 속성들이 부여된 각각의 신체 부위들을 텔레비전 화면 혹은 가상세계의 화면의 적절한 위치에 비가시적으로 증강하여 화면을 보는 사용자가 증강된 기하모델들과 햅틱 상호작용을 가능하게 하게 한다. 즉, 시각적으로는 화면상의 장면들을 보게 되고, 실제 햅틱 상호작용은 비가시적으로 증강된 기하모델과 하게 되는 것이다. 이러한 저작 과정을 모든 비쥬얼 프레임에 대해서 수행할 수도 있고, 변화하는 화면의 장면들을 실시간으로 이미지 처리하여 키 프레임(keyframe)을 추출, 기하모델이 자동으로 추적해가게 할 수도 있을 것이다. 이 단계에서는 화면상에서 등장하는 인물과 비가시적으로 증강된 햅틱 기하모델 사이의 오차를 최대한 줄여야 한다. 그렇지 않을 경우, 시청자가 자유공간상에서 움직임에도 불구하고 충돌 검출이 되어 햅틱 피드백이 제공될 수도 있을 것이다. 이는 원치 않는 햅틱 피드백으로, 투명성을 낮추는 결과를 도출하게 된다. 이 작업을 위해서는 햅틱 저작 도구를 사용할 수 있다.
In step S404, the haptic control unit 18 performs haptic rendering according to the tactile interaction between the invisible enhanced haptic model and the haptic device 20, and presents the haptic information to the haptic device 20. In other words, each body part to which the haptic attributes are assigned is enhanced invisibly at the appropriate position on the television screen or virtual world screen, allowing the user viewing the screen to interact with the enhanced geometric models. In other words, we visually see the scenes on the screen, and the actual haptic interaction becomes an invisible enhancement geometry model. This authoring process can be performed for all visual frames, the scene of the changing screen can be processed in real time, the key frame can be extracted, and the geometric model can be automatically tracked. In this step, the error between the person on the screen and the invisible haptic geometric model should be reduced as much as possible. Otherwise, the viewer may be in collision detection despite the movement in free space, and haptic feedback may be provided. This leads to unwanted haptic feedback, resulting in lower transparency. A haptic authoring tool can be used for this task.

S406 단계는, 제작된 시청촉각 컨텐츠를 여러 다양한 전송방법을 통해 단말기로 전송하는 단계이다. 햅틱 기하모델이 증강되어 있는 시청촉각 컨텐츠를 각 가정 혹은 각 컴퓨터로 전송하는 단계이다. 전송방법은 두 가지로 생각해 볼 수 있다. 첫째는, 시청자 혹은 가상세계 사용자가 경험하고 있는 컨텐츠에 맞추어서 실시간 전송을 해주는 것이다. 하지만 주요 등장인물이 많아지면 전송해야 할 기하모델 및 햅틱 정보도 많아지게 되고, 그로인해 전체 정보의 실시간 전송이 어려워지게 된다. 이런 경우에는 햅틱 컨텐츠는 미리 다운로드하고, 실시간으로 전송되는 영상과 햅틱 컨텐츠의 sync를 맞추어 재생하는 방법이 있다. 영상과 햅틱 컨텐츠 사이의 sync가 맞지 않을 경우 역시 햅틱 피드백의 투명성을 낮추는 결과를 도출하기 때문에 sync를 맞추는 작업은 정확하게 이루어져야 한다.
In step S406, the generated tactile viewing content is transmitted to the terminal through various transmission methods. The step of transmitting the viewing tactile content having the enhanced haptic geometry model to each home or each computer. There are two methods of transmission. The first is real-time transmission according to the contents experienced by viewers or virtual world users. However, as the number of major characters increases, the number of geometry models and haptic information to be transmitted also increases, which makes it difficult to transmit all the information in real time. In this case, there is a method of downloading the haptic content in advance and playing back the video and the haptic content, which are transmitted in real time, in synchronization with each other. If the sync between the video and the haptic content is not matched, the result of lowering the transparency of the haptic feedback is derived, so the task of adjusting the sync must be done correctly.

S306 단계 및 S408 단계는, 전송된 시청촉각 컨텐츠 중 비가시적인 촉각모델과의 햅틱렌더링을 수행하여 햅틱장치를 통하여 사용자가 가상 인체를 만질 때 촉감을 느끼게 해주는 단계이다. 최종 사용자가 전송된 영상, 음성, 촉각 정보를 텔레비전 혹은 모니터, 동역학적 햅틱 장비를 이용하여 체험하게 된다. 실시간 햅틱 렌더링 및 안정한 햅틱 피드백을 위해서는 각각 햅틱 렌더링 알고리즘과 안정화 알고리즘을 적용할 수 있을 것이다.
In steps S306 and S408, haptic rendering with the invisible tactile model is performed to make the user feel the touch when the user touches the virtual human body through the haptic device. The end user will experience the transmitted video, audio, and tactile information using a television or monitor, or a dynamic haptic device. For real-time haptic rendering and stable haptic feedback, a haptic rendering algorithm and a stabilization algorithm can be applied, respectively.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.It will be apparent to those skilled in the art that various modifications, substitutions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims. will be. Therefore, the embodiments disclosed in the present invention and the accompanying drawings are intended to illustrate and not to limit the technical spirit of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments and the accompanying drawings . The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.

10 : 촉각 상호작용 장치 12 : 영상 저장부
14 : 햅틱 모델 저장부 16 : 영상 동기화부
18 : 햅틱 제어부 20 : 햅틱 디바이스
30 : 촉각 상호작용 시스템 32 : 콘텐츠 전송장치
34 : 콘텐츠 전송부 36 : 콘텐츠 수신장치
38 : 콘텐츠 수신부10: tactile interaction device 12: image storage unit
14: Haptic model storage unit 16: Image synchronization unit
18: Haptic control unit 20: Haptic device
30: tactile interaction system 32: content transmission device
34: content transmission unit 36: content reception device
38:

Claims (5)

영상 정보를 저장하는 영상 저장부;
상기 영상 정보에 포함된 인체에 대하여 햅틱 모델링된 가상 인체 정보를 저장하는 햅틱 모델 저장부;
상기 영상 정보와 상기 가상 인체 정보를 동기화시키는 영상 동기화부;
상기 영상 정보를 출력하는 영상 출력부;
상기 가상 인체 정보와 촉각 상호작용을 수행하는 햅틱 디바이스; 및
상기 햅틱 디바이스와 상기 가상 인체와의 촉각 상호작용을 제어하는 햅틱 제어부를 포함하고,
상기 가상 인체 정보는, 상기 영상 정보에 포함된 상기 인체의 기하 모델을 획득하고, 상기 기하 모델에 햅틱 피드백을 위한 햅틱 속성을 부여함으로써 생성되고,
상기 영상 동기화부는 상기 영상 정보에 상기 가상 인체 정보에 따른 햅틱 모델을 비가시적으로 증강시키는 것을 특징으로 하는 촉각 상호작용 장치.An image storage unit for storing image information;
A haptic model storage unit storing haptic modeled virtual human body information for a human body included in the image information;
An image synchronization unit for synchronizing the image information with the virtual human body information;
A video output unit for outputting the video information;
A haptic device for performing a tactile interaction with the virtual human body information; And
And a haptic control unit for controlling a tactual interaction between the haptic device and the virtual human body,
Wherein the virtual human body information is generated by obtaining a geometric model of the human body contained in the image information and imparting a haptic attribute for the haptic feedback to the geometric model,
Wherein the image synchronization unit enhances invisibly a haptic model according to the virtual human body information in the image information. 제 1 항에 있어서,
상기 가상 인체 정보는 상기 영상 정보의 프레임 단위로 생성되는 것을 특징으로 하는 촉각 상호작용 장치.The method according to claim 1,
Wherein the virtual human body information is generated in units of frames of the image information. 콘텐츠 전송장치와, 콘텐츠 수신장치를 포함하고,
상기 콘텐츠 전송장치는, 영상 정보를 저장하는 영상 저장부와, 상기 영상 정보에 포함된 인체에 대하여 햅틱 모델링된 가상 인체 정보를 저장하는 햅틱 모델 저장부, 및 상기 영상 정보와 상기 가상 인체 정보를 동기화시켜 전송하는 콘텐츠 전송부를 포함하고,
상기 콘텐츠 수신장치는, 상기 콘텐츠 전송부로부터 전송된 상기 영상 정보와 상기 가상 인체 정보를 수신하는 콘텐츠 수신부와, 상기 영상 정보를 출력하는 영상 출력부와, 상기 가상 인체 정보와 촉각 상호작용을 수행하는 햅틱 디바이스, 및 상기 햅틱 디바이스와 상기 가상 인체와의 촉각 상호작용을 제어하는 햅틱 제어부를 포함하고,
상기 가상 인체 정보는, 상기 영상 정보에 포함된 상기 인체의 기하 모델을 획득하고, 상기 기하 모델에 햅틱 피드백을 위한 햅틱 속성을 부여함으로써 생성되고,
상기 콘텐츠 전송부는 상기 영상 정보에 상기 가상 인체 정보에 따른 햅틱 모델을 비가시적으로 증강시켜 전송하는 것을 특징으로 하는 촉각 상호작용 시스템.A content transmission apparatus, and a content reception apparatus,
The haptic model storage unit stores haptic modeled haptic model information about a human body included in the image information. The haptic model storage unit stores the haptic model information and the virtual human body information in synchronization with each other. And a content transmitting unit for transmitting the content,
The content receiving apparatus includes a content receiving unit for receiving the video information and the virtual human body information transmitted from the content transmitting unit, a video output unit for outputting the video information, A haptic device, comprising: a haptic device; and a haptic control unit for controlling tactile interaction between the haptic device and the virtual human body,
Wherein the virtual human body information is generated by obtaining a geometric model of the human body contained in the image information and imparting a haptic attribute for the haptic feedback to the geometric model,
Wherein the content transmitting unit enhances invisibly a haptic model according to the virtual human body information to the image information and transmits the enhanced haptic model. 영상 정보에 포함된 인체에 대한 햅틱 모델을 생성하는 단계;
상기 햅틱 모델을 상기 영상 정보에 정합시키는 단계;
상기 영상 정보를 영상 출력부를 통해 출력하는 단계; 및
상기 햅틱 모델에 대한 햅틱 디바이스의 상호작용에 따른 햅틱 정보를 제시하는 단계를 포함하고,
상기 햅틱 모델을 생성하는 단계는, 상기 영상 정보에 포함된 상기 인체의 기하 모델을 획득하고 상기 기하 모델에 햅틱 피드백을 위한 햅틱 속성을 부여함으로써 수행되고,
상기 햅틱 모델을 상기 영상 정보에 정합시키는 단계는, 상기 영상 정보에 가상 인체 정보에 따른 햅틱 모델을 비가시적으로 증강시키는 것을 특징으로 하는 촉각 상호작용 방법.Generating a haptic model for a human body included in the image information;
Fitting the haptic model to the image information;
Outputting the image information through a video output unit; And
And presenting the haptic information according to the interaction of the haptic device with the haptic model,
Wherein the step of generating the haptic model is performed by obtaining a geometric model of the human body included in the image information and assigning a haptic attribute for the haptic feedback to the geometric model,
Wherein the matching of the haptic model to the image information enhances the haptic model according to the virtual human body information in the image information in a non-visible manner. 삭제delete
KR1020100125982A 2010-12-10 2010-12-10 Method and Device for Haptic Interaction using Virtual Human KR101731476B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100125982A KR101731476B1 (en) 2010-12-10 2010-12-10 Method and Device for Haptic Interaction using Virtual Human

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100125982A KR101731476B1 (en) 2010-12-10 2010-12-10 Method and Device for Haptic Interaction using Virtual Human

Publications (2)

Publication Number Publication Date
KR20120064789A KR20120064789A (en) 2012-06-20
KR101731476B1 true KR101731476B1 (en) 2017-05-11

Family

ID=46684738

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100125982A KR101731476B1 (en) 2010-12-10 2010-12-10 Method and Device for Haptic Interaction using Virtual Human

Country Status (1)

Country Link
KR (1) KR101731476B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10082875B1 (en) 2017-06-05 2018-09-25 Korea Institute Of Science And Technology Vibrating apparatus, system and method for generating tactile stimulation

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3112987A1 (en) 2015-06-29 2017-01-04 Thomson Licensing Method and schemes for perceptually driven encoding of haptic effects
KR102001012B1 (en) * 2017-11-17 2019-10-01 고려대학교산학협력단 Apparatus and method for preventing falling accidents of patients based on a Virtual Reality

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10082875B1 (en) 2017-06-05 2018-09-25 Korea Institute Of Science And Technology Vibrating apparatus, system and method for generating tactile stimulation

Also Published As

Publication number Publication date
KR20120064789A (en) 2012-06-20

Similar Documents

Publication Publication Date Title
US11964200B2 (en) Method and apparatus for providing haptic feedback and interactivity based on user haptic space (HapSpace)
US8294557B1 (en) Synchronous interpersonal haptic communication system
CN106648083B (en) Enhanced playing scene synthesis control method and device
KR100835297B1 (en) Node structure for representing tactile information, method and system for transmitting tactile information using the same
JP2020191642A (en) Second screen haptic
EP3691280B1 (en) Video transmission method, server, vr playback terminal and computer-readable storage medium
JP2010206307A (en) Information processor, information processing method, information processing program, and network conference system
Cha et al. A Framework for Haptic Broadcasting.
TW201935924A (en) Method and device for viewing angle synchronization in virtual reality (VR) live broadcast
KR20090065735A (en) System and method for stereoscopic contents display
KR100860547B1 (en) Method and Apparatus for Authoring Tactile Information, and Computer Readable Medium Including the Method
Kim et al. Construction of a haptic-enabled broadcasting system based on the MPEG-V standard
KR101239370B1 (en) Method for representing haptic information and system for transmitting haptic information through defining the haptic property of virtual environment
KR101731476B1 (en) Method and Device for Haptic Interaction using Virtual Human
KR20110077672A (en) Virtual reality capsule system
US10536682B2 (en) Method for reproducing an item of audiovisual content having haptic actuator control parameters and device implementing the method
Cha et al. An authoring/editing framework for haptic broadcasting: passive haptic interactions using MPEG-4 BIFS
CN115428032A (en) Information processing apparatus, information processing method, and program
JP6807744B2 (en) Image display method and equipment
US20200410767A1 (en) Content generation system and method
Guillotel et al. Introducing Basic Principles of Haptic Cinematography and Editing.
KR20160136160A (en) Virtual Reality Performance System and Performance Method
KR100761022B1 (en) Haptic rendering method based on depth image, device therefor, and haptic broadcasting system using them
KR101153952B1 (en) Animation action experience contents service system and method
Cha et al. Haptic interaction in realistic multimedia broadcasting

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant