WO2011071275A2 - 컨트롤 정보를 이용한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템 - Google Patents

컨트롤 정보를 이용한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템 Download PDF

Info

Publication number
WO2011071275A2
WO2011071275A2 PCT/KR2010/008615 KR2010008615W WO2011071275A2 WO 2011071275 A2 WO2011071275 A2 WO 2011071275A2 KR 2010008615 W KR2010008615 W KR 2010008615W WO 2011071275 A2 WO2011071275 A2 WO 2011071275A2
Authority
WO
WIPO (PCT)
Prior art keywords
information
tactile
video
control information
actuator
Prior art date
Application number
PCT/KR2010/008615
Other languages
English (en)
French (fr)
Other versions
WO2011071275A9 (ko
WO2011071275A3 (ko
Inventor
류제하
김영미
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to US13/378,314 priority Critical patent/US9030305B2/en
Publication of WO2011071275A2 publication Critical patent/WO2011071275A2/ko
Publication of WO2011071275A9 publication Critical patent/WO2011071275A9/ko
Publication of WO2011071275A3 publication Critical patent/WO2011071275A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user

Definitions

  • the present invention relates to tactile technology, and more particularly, to a tactile information presentation method and transmission system for adding a tactile sense to an audio-video multimedia to make a user feel real.
  • the present invention has been made in an effort to provide a tactile information presentation method that provides a more realistic multimedia to a user by appropriately applying a haptic effect to an audio-video stream.
  • Another technical problem of the present invention is to provide a tactile information transmission system that provides a user with more realistic multimedia by appropriately applying a haptic effect to an audio-video stream.
  • a tactile information expression method which generates tactile information for driving a driver array constituting a tactile device as a tactile video, and drives the actuator constituting the sensitizing device.
  • the tactile information presentation method of multiplexing the information into a single stream file storing the control information including the characteristics and specifications of the haptic device including the haptic device and the reverse feeling device, with reference to the control information Expressing the scene descriptor information through the haptic device. It includes.
  • a tactile information transmission system comprising means for generating tactile video for tactile information for driving a driver array constituting a tactile device, and an actuator constituting a sensitizing device.
  • Means for generating force data for driving into force data means for generating object data for generating the tactile video and a scene descriptor for setting a temporal position of the force data and multimedia information, and encoding the generated object data.
  • the scene description Information comprises: means for representing through the haptic device.
  • FIG. 1 is a view showing a tactile device including a driver according to an embodiment of the present invention.
  • FIG. 2 is a perspective view of an apparatus for providing a sense of force according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a driver array and a tactile video corresponding thereto according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an example of generating a tactile video based on a video.
  • FIG. 5 is a diagram illustrating an example of a MovieTexture node of a scene descriptor in MPEG-4.
  • FIG. 6 is a diagram illustrating a TactileDisplay node for representing tactile information.
  • FIG. 7 illustrates a TactileDisplay node connected to a MovieTexture node to define a tactile video object.
  • FIG. 8 is a diagram illustrating a TactileDisplayTexture node for representing tactile information.
  • 9 and 10 are diagrams illustrating a Kinesthetic node for expressing feeling information.
  • FIG. 11 is a block diagram of a tactile information transmission system according to an embodiment of the present invention.
  • FIG. 12 is a flowchart of a tactile information transmission method according to an embodiment of the present invention.
  • references to elements or layers "on” other elements or layers include all instances where another layer or other element is directly over or in the middle of another element. On the other hand, when a device is referred to as “directly on”, it means that it does not intervene with another device or layer in between. Like reference numerals refer to like elements throughout. "And / or” includes each and all combinations of one or more of the items mentioned.
  • first, second, etc. are used to describe various components, these components are of course not limited by these terms. These terms are only used to distinguish one component from another. Therefore, of course, the first component mentioned below may be a second component within the technical spirit of the present invention.
  • spatially relative terms below “, “ beneath “, “ lower”, “ above “, “ upper” It can be used to easily describe a component's correlation with other components. Spatially relative terms are to be understood as including terms in different directions of components in use or operation in addition to the directions shown in the figures. For example, when flipping a component shown in the drawing, a component described as “below” or “beneath” of another component may be placed “above” the other component. Can be. Thus, the exemplary term “below” can encompass both an orientation of above and below. The components can be oriented in other directions as well, so that spatially relative terms can be interpreted according to the orientation.
  • 1 is a view showing a haptic device including a driver.
  • 2 is a diagram illustrating a reverse device.
  • the tactile device 100 includes a tactile display 120, 130, a driver 200, a device transceiver 350, and a device specification DB 400.
  • the desensitization device 150 may be composed of a plurality of actuators (not shown) for presenting the desensitization information to the user.
  • the tactile sense may be roughly classified into tactile information including tactile information including vibration, heat, and current, and sensation including tactile information including force, torque, and stiffness.
  • a device for presenting tactile feeling is a tactile device, and a device for presenting sensation is a feeling sensation device, and it can be called a haptic device including this tactile device and a feeling sensation device.
  • the tactile presentation units 120 and 130 include left and right tactile presentation units, and the tactile presentation units 120 and 130 may include a plurality of drivers 200.
  • the tactile presentation units 120 and 130 may be implemented in a glove form and may be worn by a user. However, the present invention is not limited thereto and may be provided in various forms. Depending on the form for the tactile presentation, the tactile presentation units 120 and 130 may be implemented to be worn on the head in the form of a hat in addition to the form of gloves and shoes, or to be attached to the arms or legs or the back or the waist.
  • the driver 200 may be disposed in the tactile presentation units 120 and 130, and may be formed by a vibrotactile stimulation method or a pneumatic tactile stimualation method.
  • the driver may be composed of an eccentric motor, a linear motor, a voice coil, an ultrasonic motor, or a piezoelectric element in the case of a vibration tactile method, and a nozzle type or a pneumatic membrane for supplying air in the case of an air tactile method. It may be made in the form.
  • the device controller 300 controls the driver 200.
  • the driving signal generated by the main controller (not shown) in the compositor 776 is received, and thus the operation of the driver 200 is controlled.
  • the device transceiver 350 transmits and receives a control signal for controlling the device and transmits the control signal to the device controller 300.
  • the device specification DB 400 serves to store information about the tactile / sensitizing devices 100 and 150. It is referred to as a haptic device including a force-sensing device 150 for presenting force, torque, and the like, and a tactile device 100 for presenting vibration, heat, current, and the like. That is, the device specification DB 400 stores information about the tactile device 100, 150.
  • the device specification DB 400 includes a type of haptic device, a unit corresponding to the tactile device presented by the haptic device, a maximum / minimum intensity presented by the haptic device, and a horizontal direction of the tactile device.
  • the force-sensing device 150 includes a unit and a work space for the maximum / minimum force / torque / stiffness, degrees of freedom, force / torque / stiffness that the force-sensing device provides to each axis, wherein the form of degrees of freedom is X / Y / Z direction independent translation / rotational motion is allowed or not, and the shape of the work space means the range in which the deflection device can perform translational and rotational motion.
  • the range in which the deflector can translate and rotate can be defined in mm as the maximum range in which the deflector can translate in the X / Y / Z axis.
  • the maximum range that can be rotated about an axis can be defined as the degree of roll / pitch / yaw angle.
  • the unit is not limited to the above-mentioned unit.
  • the tactile video 600, force data, and scene descriptor information mapped corresponding to the media (video, audio) information are resized in consideration of the specifications of the device stored in the device specification DB 400. It will give you a sense of force. This will be described later.
  • the compositor 776 includes a main controller (not shown) for generating a signal for controlling the driver 200 of the tactile device 100, and a main controller including a device transceiver 350 of the tactile device 100.
  • a main transceiver for transmitting a control signal is provided.
  • the main controller generates a control signal for controlling each driver 200 and transmits the control signal to the device controller 300 through the main transceiver and the device transceiver 350, and the device controller 300 transmits the control signal. Based on the control of the driving of each driver 200.
  • the main transceiver and the device transceiver 350 may be connected by wire or wireless communication.
  • the driving of each driver 200 can be controlled by specifying the driving strength. Therefore, the tactile information may be displayed to the user by transmitting information on the driving strength to the device controller 300 to each driver 200.
  • the main control unit transmits the information on the driving intensity of each driver to the device control unit. In the present invention, the intensity information on the driving of each driver 200 is transmitted to the main control unit in the form of a tactile video. Each time the frame is changed, each pixel value may be converted and transmitted to the device controller 300.
  • FIG. 3 is a diagram illustrating a driver array and a tactile video corresponding thereto.
  • the left tactile presenting unit 120 and the right tactile presenting unit 130 are each provided with 4 ⁇ 5 drivers, which can be expressed as a 4 ⁇ 10 driver array 500. have. That is, as shown in FIG. 2, the combination of drivers may be represented in the form of a rectangular array.
  • the tactile video 600 includes pixels corresponding to each driver.
  • Each pixel of the tactile video 600 includes intensity information of the pixel, and the intensity information corresponds to the driving intensity of the driver corresponding to the pixel.
  • the tactile video 600 is represented as a gray scale black and white video
  • each pixel has intensity information of 0 to 255.
  • the driver 200 is driven based on this information. For example, the driver corresponding to the white pixel is driven strongly and the driver corresponding to the black pixel vibrates weakly.
  • the intensity of each pixel and the driving intensity of each driver 200 may be matched 1: 1. Can be. However, if the dimension of the tactile video 600 is larger than the dimension of the driver array 500, the size may be resized according to the ratio. That is, when there is a difference between the requested tactile information and the presentable tactile information, the device controller 300 may perform resizing.
  • the resizing is performed by the device controller 300 using a specification of a device stored in the device specification DB 400. For example, if the tactile video 600 has dimensions of 320 ⁇ 240 and the driver array 500 of the tactile device 100 has dimensions of 10 ⁇ 4, then the tactile video 600 of 320 ⁇ 240 pixels is 10. The size of the pixel is adjusted to be 4x1 to correspond to the driver array 500 1: 1. In this case, the intensity information of the scaled tactile video may be represented by averaging the intensity information of the pixel before the scaling.
  • the tactile video 600 is in the same format as a general color or monochrome video, it can be transmitted using a general video encoding and decoding method. Also, the tactile video 600 is composed of a plurality of frames, and the intensity information of the pixels in each frame corresponds to the driving strength of each driver 200 of the tactile presentation device.
  • the skilled person stores the movement of three degrees of freedom or six degrees of freedom of the tool manipulated in the workspace.
  • the robot arm with the tool used by the skilled person is used at the end, and each joint of the robot arm has an encoder to obtain the position data of the tool, Torque sensors also determine the force / torque applied to the tool by a skilled person.
  • the force data for force reproduction is then a series of position data and force data and includes the time each data is sampled.
  • the device controller 300 may perform a resizing process by using the information of the reverse device 150 stored in the device specification DB 400. That is, when there is a difference between the required force information and the presentable force information, the device controller 300 may perform resizing. For example, if you want to provide motion information that moves 1 meter in the X-axis direction, but the actual user's equipment is 1/2 the workspace of the required equipment, the scale of all motion information is Each can be delivered to the user after resizing in half in the X, Y, and Z axes.
  • the force reversing device 150 requires the user to provide a force of 10 N in the X-axis direction
  • the actual force reversing device 150 may provide only a force of 5 N in the X-axis direction, depending on the ratio. The amount of force provided by device 150 may be adjusted.
  • the user may not like the temperature of more than 30 degrees, and may not want the current to flow more than 0.5mA. It may also be disliked when the force provided is greater than 5N.
  • This user preference has priority over device specification information. Therefore, even if the transmitted tactile information is 10N and adjusted to 5N in consideration of the device specification, if the user preference is 3N, the force provided by the haptic device to the user may be 3N. As a result, 10N tactile information was resized to 3N.
  • FIG. 4 is a diagram illustrating an example of generating a tactile video based on a video.
  • a movie-adaptive tactile video 850 generated by a tactile editing / authoring tool. Shown to the right of this tactile video is a representation of a tactile video corresponding driver array 900.
  • the tactile video 850 generates a tactile editing / writing tool based on the video / audio information by applying a different tactile intensity (0 to 255) for each frame to exactly match the number of video frames.
  • the generated tactile video is reproduced in accordance with the device standard. More specifically, it is converted and reproduced according to the size of the device as well as the number of tactile strengths the device can provide. For example, the presentation of the tactile video is 256 steps, but if the device can play only 8 steps, the 256 steps are divided into 8 steps to be played.
  • the tactile video may be authored based not only on the third-person observer's point of view, but also on the first-person main character's viewpoint or tactile background effect viewpoint.
  • the tactile video is mapped to black, and the driver array presents a weak intensity tactile response corresponding to the mapped color.
  • the tactile video is mapped to white, and the driver array correspondingly presents a strong intensity tactile.
  • FIG. 5 is a diagram illustrating an example of a MovieTexture node of a scene descriptor in MPEG-4.
  • Node tactile information is transmitted along with general media (audio and video) information.
  • general media audio and video
  • a node structure, a transmission method, and a system for transmitting tactile information expressed in the form of tactile video together with media information will be described.
  • MPEG-4 information for representing an object is transmitted through a plurality of elementary streams (ES).
  • the correlation information and link configuration information between the respective elementary streams (ES) are transmitted by an object descriptor defined in MPEG-4.
  • an Initial Object Descriptor In order to compose a scene based on MPEG-4, an Initial Object Descriptor (IOD), a Binary Format for Scenes (BIFS), an Object Descriptor, and media data are generally required.
  • An Initial Object Descriptor is the first information to be transmitted in order to compose an MPEG-4 scene. It describes the profile and level of each media, and is an ESDescriptor for a Scene Descriptor (BIFS) stream and an Object Descriptor stream. ).
  • the object descriptor is a set of elementary stream descriptors that describe information about each media data constituting the scene, and provides a connection between the elementary stream (ES) of each media data and the scene description.
  • the scene descriptor (BIFS) is information describing how each object has a relationship in space and time.
  • the Scene Descriptor (BIFS) is provided with a MovieTexture node that defines a video object.
  • stratTime represents a start time at which a video is played
  • stopTime represents a time at which play of a video is stopped. This allows the video to be synchronized with other objects.
  • the url also sets the position of the video.
  • TactileDisplay node is defined to transmit tactile video using MovieTexture node of such scene descriptor.
  • FIG. 6 is a diagram illustrating a TactileDisplay node for representing tactile information.
  • FIG. 7 illustrates a TactileDisplay node connected to a MovieTexture node to define a tactile video object.
  • the TactileDisplay node is a kind of texture node.
  • the "url” field indicates the position of the tactile video
  • the "stratTime” field indicates the start time
  • the "stopTime” field indicates the end time.
  • define a tactile video object by connecting a MovieTexture node to the texture field of the TactileDisplay node.
  • the tactile video set to "tatile_video.avi” is played in the tactile presentation device from 3 seconds to 7 seconds after being played.
  • FIG. 8 is a diagram illustrating a TactileDisplayTexture node for representing tactile information.
  • a scene descriptor (BIFS) of MPEG-4 newly defines a TactileDisplayTexture for transmitting a tactile video.
  • TactileDisplayTexture defines the play start time and stop time of the tactile video file, and the "url" field indicates the location of the tactile video file.
  • FIGS. 9 and 10 are diagrams illustrating a dysfunction node. Like the tactile node mentioned above, this figure may define an object for the adverse data.
  • FIG. 11 is a block diagram of a tactile information transmission system according to another embodiment of the present invention.
  • the tactile information transmission system includes an object data generator 710, an encoder 720, a multiplexer (MUX, 730), a transport channel 740, a demultiplexer (DEMUX, 750), and a decoder ( 760, and a playback unit 770.
  • object data generator 710 an encoder 720, a multiplexer (MUX, 730), a transport channel 740, a demultiplexer (DEMUX, 750), and a decoder ( 760, and a playback unit 770.
  • the object data generator 710 generates a media (audio, video), and generates, edits, or authors the tactile video and the sense data corresponding to the media.
  • the audio generator 712 stores or generates audio
  • the video generator 714 stores or generates video.
  • the tactile video generator 716 generates a tactile video indicating the driving strength of the driver array based on the audio or video.
  • the sense of force data generator 717 generates sense of force data related to force and torque based on audio or video.
  • the tactile video generation in the tactile video generator 716 may be automatically generated according to the type of audio information or video information, or may be generated by a user directly generating the audio or video.
  • the haptic video generated by the tactile video generator 716 and the sensitized data generated by the sensitized data generator 717 are edited and authored with media (audio and video) information in the editing / authoring unit, and are arranged in accordance with respective time axes. do. Accordingly, the editing / authoring unit generates scene descriptors according to the spatiotemporal position of audio, video, tactile video, and adverse data.
  • the encoder 720 performs a function of encoding audio, video, tactile video, adverse data, and scene descriptors.
  • Audio is encoded at audio encoder 722 and video is encoded at video encoder 724.
  • the tactile video corresponds to a kind of black and white video, it can be encoded by a general video encoding method, which is encoded by the tactile video encoder.
  • Diversion data is encoded in Diversion Data Encoder 727.
  • the scene descriptor is encoded in the BIFS encoder 728. This encoding is done by MPEG-4 audio and video encoding methods.
  • the information encoded by the encoder unit 720 is multiplexed through a multiplexer to generate a single MP4 file, which is transmitted through the transmission channel 740.
  • the encoding method is not limited to the MPEG-4 audio and video encoding method.
  • the transmission channel 740 should be understood as a concept encompassing wired and wireless communication networks, and may be an IP network, a DMB communication network, or an Internet network.
  • the MP4 file transmitted through the transmission channel 740 is demultiplexed by the demultiplexer 750 and decoded for each piece of information by the decoder 760.
  • the audio decoder 762 decodes the audio
  • the video decoder 764 decodes the video
  • the tactile video decoder 766 decodes the tactile video
  • the sensed data decoder 767 decodes the sensed data
  • the BIFS decoder. 768 decodes the scene descriptor.
  • the information decoded by the decoder 760 is reproduced by the reproducing unit 770.
  • the reproducing unit 770 includes a compositor 776, an audio-video output device 772, and a tactile presenting device.
  • the compositor 776 constructs objects such as transmitted audio, video, tactile video, and adverse data in time and space using scene descriptor (BIFS) information.
  • BIFS scene descriptor
  • the audio-video output device 772 outputs audio and video information
  • the tactile device 774 presents tactile information through the driver array.
  • the desensitization data provides desensitization information through the desensitization device 774.
  • the tactile presentation device includes a tactile / feeling device 774, a device specification DB 400, and a device control unit 300.
  • the device specification DB 400 stores information on the specification of the tactile / sensitizing device 774
  • the device control unit 300 stores the transmitted tactile video information and the sensed data based on the device specification.
  • the haptic / sensitizing device 774 provides the tactile (feeling / feeling).
  • the information including the characteristics and specifications of the device which is the specification of the device, may be stored in the device specification DB manually and / or automatically through the control unit.
  • the tactile video generation unit generates a tactile video based on media information such as audio and video, and the sensation data generation unit generates sensitized data (S100).
  • Each pixel of the tactile video includes an intensity value that represents the driving intensity for each driver of the driver array of the tactile device.
  • the generation of such tactile video can be generated automatically or manually based on audio or video.
  • the adverse effect data may be classified into an active mode and a passive mode based on the side of the user (or viewer).
  • the skilled person stores the movement of three degrees of freedom or six degrees of freedom of the tool manipulated in the work space, and generates the sense of force data including a series of positional data and force data for the reproduction of the sense of force. Thereafter, when the user wears the haptic device, the generated feeling information is transmitted to the user.
  • virtual object tactile characteristics eg, sofa stiffness and texture
  • sofa stiffness and texture may be automatically or manually generated.
  • the tactile video and the sense of force data are arranged in accordance with the media information and the time axis, and the editing / authoring unit generates a scene descriptor including information about the spatiotemporal position of the media information and the tactile video and the adverse reaction data (S200).
  • the scene descriptor includes a texture node for tactile video and force data, and a texture node for tactile video and force data includes a start time field and a stopTime field for outputting tactile video and force data, and A url field is included that indicates the location of the tactile video and feel data.
  • the media information, the tactile video information, the sensed data, and the scene descriptor information are encoded by the encoder unit, and then a stream file is generated through a multiplexer (S300).
  • the generated stream file is transmitted through a transport channel (S400).
  • the stream file transmission method should be understood as a concept encompassing wired and wireless communication networks, and may be an IP network, a DMB communication network, or an Internet network.
  • the transmitted stream file is demultiplexed by the demultiplexer and then decoded by the decoder (S500).
  • the compositor uses scene descriptor information to construct audio, video tactile video and adverse data in time and space, and the audio and video are output from the audio-video output device and the tactile information is presented from the device.
  • the sense of permeation data is provided in a sense device.
  • Each driver of the driver array is driven through a resizing process in consideration of the intensity value and device specification of each pixel of the tactile video.
  • the reversing process is performed in consideration of the desensitization information and the device specification to drive the desensitization device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

컨트롤 정보를 이용한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템이 제공된다. 상기 컨트롤 정보를 이용한 촉각 정보 표현 방법은, 촉감 장치를 구성하는 구동자 어레이의 구동을 위한 촉감 정보를 촉감 비디오로 생성하고, 역감 장치를 구성하는 엑츄에이터의 구동을 위한 역감 정보를 역감 데이터로 생성하며, 상기 촉감 비디오 및 상기 역감 데이터와 멀티 미디어 정보의 시간적 위치를 설정하는 장면 기술자를 생성하는 객체 데이터를 생성하고, 상기 생성된 객체 데이터를 인코딩하고, 상기 인코딩된 정보를 다중화하여 하나의 스트림 파일로 생성하는 촉각 정보 표현 방법에 있어서, 상기 촉감 장치 및 상기 역감 장치를 포함하는 촉각 기기의 특성 및 규격을 포함하는 컨트롤 정보를 저장하는 단계, 상기 컨트롤 정보를 참조하여, 상기 장면 기술자 정보를 상기 촉각 기기를 통해 표현하는 단계를 포함한다.

Description

컨트롤 정보를 이용한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템
본 발명은 촉각 기술에 관한 것으로, 상세하게는 오디오-비디오 멀티미디어에 촉각을 부가하여 사용자로 하여금 현실감을 느끼게 하는 촉각 정보 표현 방법 및 전송 시스템에 관한 것이다.
종래의 MPEG와 같은 오디오-비디오 기반의 표준들이 진행된 바 있으나, 이는 어디까지나 시각적 청각적 감각을 전달하는 데에 불과하였으며, 사용자가 촉감에 의하여 몰입감을 느낄 수 있는 효과는 제공하지 못하였다. 또한, 햅틱 기술이 휴대폰, 의료 기기, 게임 등에 일부 채용되고 있기는 하지만, 이와 같이 오디오-비디오 스트림에 햅틱 기술을 적용하기 위하여는 많은 기술적인 문제점들이 해결되어야 하므로 햅틱 기술을 영화, TV 프로그램과 같은 오디오/ 비디오 스트림 및 다양한 가상환경에 적용하기에는 어려움이 있다.
본 발명이 해결하고자 하는 기술적 과제는 오디오-비디오 스트림에 햅틱 효과를 적절하게 부여함으로써 사용자에게 보다 현실감 있는 멀티미디어를 제공하는 촉감 정보 표현 방법을 제공하는 것이다.
본 발명의 다른 기술적 과제는 오디오-비디오 스트림에 햅틱 효과를 적절하게 부여함으로써 사용자에게 보다 현실감 있는 멀티미디어를 제공하는 촉감 정보 전송 시스템을 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해 될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 태양에 따른 촉각 정보 표현 방법은, 촉감 장치를 구성하는 구동자 어레이의 구동을 위한 촉감 정보를 촉감 비디오로 생성하고, 역감 장치를 구성하는 엑츄에이터의 구동을 위한 역감 정보를 역감 데이터로 생성하며, 상기 촉감 비디오 및 상기 역감 데이터와 멀티 미디어 정보의 시간적 위치를 설정하는 장면 기술자를 생성하는 객체 데이터를 생성하고, 상기 생성된 객체 데이터를 인코딩하고, 상기 인코딩된 정보를 다중화하여 하나의 스트림 파일로 생성하는 촉각 정보 표현 방법에 있어서, 상기 촉감 장치 및 상기 역감 장치를 포함하는 촉각 기기의 특성 및 규격을 포함하는 컨트롤 정보를 저장하는 단계, 상기 컨트롤 정보를 참조하여, 상기 장면 기술자 정보를 상기 촉각 기기를 통해 표현하는 단계를 포함한다.
상기 다른 기술적 과제를 달성하기 위한 본 발명의 일 태양에 따른 촉각 정보 전송 시스템은, 촉감 장치를 구성하는 구동자 어레이의 구동을 위한 촉감 정보를 촉감 비디오로 생성하는 수단, 역감 장치를 구성하는 엑츄에이터의 구동을 위한 역감 정보를 역감 데이터로 생성하는 수단, 상기 촉감 비디오 및 상기 역감 데이터와 멀티 미디어 정보의 시간적 위치를 설정하는 장면 기술자를 생성하는 객체 데이터를 생성하는 수단, 상기 생성된 객체 데이터를 인코딩하는 수단, 상기 인코딩된 정보를 다중화하여 하나의 스트림 파일로 생성하는 수단을 포함하는 촉각 정보 전송 시스템에 있어서, 상기 촉감 장치 및 상기 역감 장치를 포함하는 촉각 기기의 특성 및 규격을 포함하는 컨트롤 정보를 저장하는 수단, 상기 컨트롤 정보를 참조하여, 상기 장면 기술자 정보를 상기 촉각 기기를 통해 표현하는 수단을 포함한다.
도 1은 본 발명의 실시예에 따른 구동자를 포함하는 촉감 장치를 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 역감 정보를 제공하는 역감 장치의 사시도이다.
도 3은 본 발명의 실시예에 따른 구동자 어레이 및 이에 대응하는 촉감 비디오를 도시한 도면이다.
도 4는 비디오를 바탕으로 하여 촉감 비디오를 생성한 일 예를 도시한 도면이다.
도 5는 MPEG-4에서 장면 기술자의 MovieTexture 노드의 일례를 나타낸 도면이다.
도 6은 촉감 정보 표현을 위한 TactileDisplay 노드를 나타낸 도면이다.
도 7은 TactileDisplay 노드를 MovieTexture 노드와 연결하여 촉감 비디오 객체를 정의하는 것을 나타낸 도면이다.
도 8은 촉감 정보 표현을 위한 TactileDisplayTexture 노드를 나타낸 도면이다.
도 9 및 도 10은 역감 정보 표현을 위한 Kinesthetic 노드를 나타낸 도면이다.
도 11은 본 발명의 실시예에 따른 촉각 정보 전송 시스템에 대한 블록도이다.
도 12는 본 발명의 실시예에 따른 촉각 정보 전송 방법의 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
소자(elements) 또는 층이 다른 소자 또는 층"위(on)"로 지칭되는 것은 다른 소자 바로 위에 또는 중간에 다른 층 또는 다른 소자를 개재한 경우를 모두 포함한다. 반면, 소자가 "직접 위(directly on)"로 지칭되는 것은 중간에 다른 소자 또는 층을 개재하지 않은 것을 나타낸다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. "및/또는"는 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성 요소와 다른 구성 요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들면, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있고, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
도 1은 구동자를 포함하는 촉감 장치를 도시한 도면이다. 도 2는 역감 장치를 도시한 도면이다.
도 1 및 도 2를 참조하면, 촉감 장치(100)는 촉감 제시부(120,130), 구동자(200), 기기 송수신부(350) 및 기기 스펙 DB(400)를 포함한다. 또한, 역감 장치(150)는 역감 정보를 사용자에게 제시하는 다수의 엑츄에이터(미도시)로 구성될 수 있다.
촉각은 진동, 열, 전류를 포함하는 촉각 정보인 촉감과 힘, 토크, 강성을 포함하는 촉각 정보인 역감으로 대별될 수 있다. 촉감을 제시하는 장치가 촉감 장치이고, 역감을 제시하는 장치가 역감 장치이며, 이 촉감 장치와 역감 장치를 포함하여 촉각 기기라고 칭할 수 있다.
촉감 제시부(120,130)는 좌/우 촉감 제시부를 포함하며, 이 촉감 제시부에(120,130)는 다수의 구동자(200)가 배치될 수 있다. 촉감 제시부(120,130)는 장갑 형태로 구현하여 사용자가 손에 착용할 수 있는 것을 도시하였으나, 이에 한정되지 않고, 다양한 형태로 구비될 수 있음은 물론이다. 촉감 제시를 위한 형태에 따라 촉감 제시부(120,130)는 장갑 형태, 신발 형태 이외에도 모자 형태로 머리에 착용할 수 있도록 하거나 팔이나 다리또는 등이나 허리 등에 부착할 수 있도록 구현될 수 있다.
구동자(200)는 촉감 제시부(120,130)에 배치되며, 진동 촉감(vibrotactile stimulation) 방식 또는 공기 촉감(pneumatic tactile stimualation) 방식 등에 의해 이루어질 수 있다. 구동자는 진동 촉감 방식의 경우에는 편심된 모터나 선형모터, 보이스 코일, 초음파 모터, 압전(piezoelectric) 소자로 이루어질 수 있으며, 공기 촉감 방식의 경우에는 공기를 공급하는 노즐 형태나 공기막구조(pneumatic membrane) 형태로 이루어질 수 있다.
기기 제어부(300)는 구동자(200)를 제어하는 역할을 한다. 컴포지터(776) 내의 메인 제어부(미도시)에서 생성된 구동 신호를 수신받아, 그에 따라 구동자(200)의 작동을 제어한다.
기기 송수신부(350)는 기기를 제어하는 제어 신호를 송수신하여 기기 제어부(300)로 전달하는 역할을 한다.
기기 스펙 DB(400)는 촉감/역감 장치(100,150)에 대한 정보를 저장하는 역할을 한다. 힘, 토크 등을 제시하는 역감 장치(150)와 진동, 열, 전류 등을 제시하는 촉감 장치(100)를 포함하여 촉각 기기라 한다. 즉, 기기 스펙 DB(400)는 이 촉각 기기(100,150)에 대한 정보를 저장한다.
이 기기 스펙 DB(400)는 촉감 장치(100)의 경우, 촉감 장치의 종류, 촉감 장치가 제시하는 촉감에 대응하는 단위, 촉감 장치가 제시하는 최대/최소 강도, 촉감 장치에 배치된 수평 방향의 구동자의 수, 촉감장치에 배치된 수직 방향의 구동자의 수, 구동자 사이의 수평 방향의 간격, 구동자 사이의 수직 방향의 간격 구동 최대 갱신률 및 촉감 장치가 제시하는 강도 레벨의 수를 포함한다.
역감 장치(150)의 경우, 역감 장치가 각각의 축에 제공하는 최대/최소 힘/토크/강성, 자유도, 힘/토크/강성에 대한 단위 및 작업공간을 포함하며, 여기서, 자유도의 형태는 X/Y/Z방향 독립 병진/회전운동 허용 여부를 의미하며, 작업공간의 형태는 역감 장치가 병진운동 및 회전운동을 할 수 있는 범위를 의미한다. 역감 장치가 병진운동 및 회전운동을 할 수 있는 범위는, 역감 장치가 X/Y/Z축으로 병진운동할 수 있는 최대 범위를 mm로 정의할 수 있으며, 또한, 역감 장치가 X/Y/Z축을 중심으로 회전운동할 수 있는 최대 범위를 롤/피치/요의 각도의 크기(degree)로 정의할 수 있다. 다만, 단위는 상기 언급한 단위에 국한되는 것은 아니다.
미디어(비디오, 오디오) 정보에 대응하여 맵핑된 촉감 비디오(600), 역감 데이터 및 장면기술자 정보는 이 기기 스펙 DB(400)에 저장된 기기의 스펙을 고려하여 리사이징(resizing)하는 과정을 거쳐 촉감/역감을 제공하게 된다. 이와 관련된 자세한 내용은 추후 설명한다.
또한 컴포지터(776) 내에는 촉감 장치(100)의 구동자(200)를 제어하기 위한 신호를 생성하는 메인 제어부(미도시)와 상기 촉감 장치(100)의 기기 송수신부(350)로 메인 제어부의 제어 신호를 전송하는 메인 송수신부가 구비된다.
메인 제어부는 각각의 구동자(200)를 제어하기 위한 제어 신호를 생성하여 메인 송수신부와 기기 송수신부(350)를 통해 기기 제어부(300)로 전송하고, 기기 제어부(300)는 상기 제어 신호를 바탕으로 각각의 구동자(200)의 구동을 제어한다. 여기서 메인 송수신부와 기기 송수신부(350)는 유선 또는 무선 통신 방식으로 연결될 수 있다.
각 구동자(200)의 구동은 구동 강도를 특정함으로써 제어할 수 있다. 따라서 각 구동자(200)에 구동 강도에 대한 정보를 기기 제어부(300)로 전송함으로써 사용자에게 촉감 정보를 나타낼 수 있다. 메인 제어부에서는 기기 제어부로 각 구동자의 구동 강도에 대한 정보를 전송하는데 본 발명에 있어서 각 구동자(200)의 구동에 대한 강도 정보는 촉감 비디오 형태로 메인 제어부로 전달되는데 메인 제어부에서는 촉감 비디오의 각 프레임이 바뀔 때마다 각 픽셀 값을 구동 강도를 변환하여 기기 제어부(300)로 전송할 수 있다.
도 3은 구동자 어레이 및 이에 대응하는 촉감 비디오를 도시한 도면이다.
도 3을 참조하면, 도 1에서 좌측 촉감 제시부(120)와 우측 촉감 제시부에(130)는 각각 4×5의 구동자가 구비되는데, 이를 모두 합하면 4×10의 구동자 어레이(500)로 표현할 수 있다. 즉, 도 2에서와 같이 구동자들의 조합은 사각형의 어레이(rectangular array) 형태로 나타낼 수 있는데, 촉감 비디오(600)는 각 구동자에 대응하는 픽셀로 이루어진다.
촉감 비디오(600)의 각 픽셀에는 픽셀의 인텐시티 정보가 포함되고, 인텐시티 정보는 그 픽셀에 대응하는 구동자의 구동 강도에 대응한다. 촉감 비디오(600)를 그레이 스케일의 흑백 비디오로 나타낼 경우 각 픽셀은 0 내지 255의 인텐시티 정보를 갖게 되는데 이 정보를 바탕으로 구동자(200)를 구동시킨다. 예를 들어 하얀색 픽셀에 해당하는 구동자는 강하게 구동시키고, 검은색 픽셀에 해당하는 구동자는 약하게 진동시킨다.
촉감 장치(100)의 구동자 어레이(500)와 촉감 비디오(600)의 픽셀이 1:1로 대응하는 경우에는 각 픽셀의 인텐시티 정보와 각 구동자(200)의 구동 세기를 1:1 대응시킬 수 있다. 그런데, 촉감 비디오(600)의 디멘젼(dimension)이 구동자 어레이(500)의 디멘젼보다 큰 경우라면 그 비율에 따라 리사이징을 할 수 있다. 즉, 요구 촉감 정보와 제시 가능한 촉감 정보에 차이가 발생하는 경우에, 기기 제어부(300)에서 리사이징을 수행할 수 있다.
이 리사이징은 기기 스펙 DB(400)에 저장된 기기에 대한 스펙을 이용하여, 기기 제어부(300)가 수행한다. 예컨대 촉감 비디오(600)가 320×240의 디멘젼을 갖고, 촉감 장치(100)의 구동자 어레이(500)가 10×4의 디멘젼을 갖는 경우라면, 320×240 픽셀의 촉감 비디오(600)를 10×4 픽셀로 크기를 조정하여 구동자 어레이(500)와 1:1 대응시키도록 하며, 이 때 크기 조정된 촉감 비디오의 인텐시티 정보는 크기 조정 전 픽셀의 인텐시티 정보를 평균하여 나타내도록 할 수 있다.
이러한 촉감 비디오(600)는 일반적인 컬러 또는 흑백 비디오의 형식과 같으므로 일반적인 비디오 인코딩 및 디코딩 방법을 사용하여 전송할 수 있다. 또한 촉감 비디오(600)는 다수의 프레임으로 이루어지며 각각의 프레임에서의 픽셀의 인텐시티 정보는 촉감 제시 장치의 각각의 구동자(200)의 구동 강도에 대응한다.
역감의 경우, 숙련자가 작업공간에서 조작하는 도구의 3자유도 또는 6자유도의 움직임을 저장한다. 숙련자의 움직임과 힘을 저장하기 위해서, 끝단에 숙련자가 사용하는 도구가 달려있는 로봇팔을 이용하는데 로봇팔의 각 관절에는 엔코더가 달려 있어 도구의 위치 데어터를 얻을 수 있고, 도구에 부착된 힘/토크 센서를 통해 숙련자가 도구에 가하는 힘/토크 또한 구할 수 있다. 그러면 역감 재생을 위한 역감 데이터는 일련의 위치 데이터 및 힘 데이터가 되고 각 데이터가 샘플링되는 시간이 포함된다.
또한, 마찬가지로, 기기 제어부(300)는 기기 스펙 DB(400)에 저장된 역감 장치(150)의 정보를 사용하여, 리사이징 과정을 수행할 수 있다. 즉, 요구 역감 정보와 제시 가능한 역감 정보에 차이가 발생할 경우, 기기 제어부(300)에서 리사이징을 수행할 수 있다. 예를 들어, X축 방향으로 1미터를 이동하는 모션정보를 제공하려 하지만, 실제 사용자가 사용하는 장비가 요구된 장비의 작업 공간(workspace) 보다 1/2 배 일 때, 모든 모션 정보의 스케일이 각각 X, Y, Z 축 방향으로 반으로 리사이징 된 후 사용자에게 전달 될 수 있다. 또한, X축 방향으로 10N의 힘을 역감 장치(150)가 사용자에게 제공하기를 요구하나, 실제 역감 장치(150)는 X축 방향으로 5N의 힘밖에는 제공할 수 없을 경우에는, 비율에 따라 역감 장치(150)가 제공하는 힘의 크기가 조절될 수 있다.
그리고, 사용자 선호도의 경우를 살펴 보면, 예를 들어, 사용자는 30도 이상의 온도를 싫어할 수 있으며, 0.5mA이상으로 전류가 흐르는 것을 원하지 않을 수 있다. 또한, 제공되는 힘이 5N보다 큰 경우를 싫어할 수도 있다.
이 사용자 선호도는 기기 스펙 정보보다 우선순위를 갖는다. 따라서, 전송된 촉각 정보가 10N이고, 기기 스펙을 고려하여 5N으로 조정되었다고 할 지라도, 사용자 선호도가 3N이라면, 촉각 기기가 사용자에게 제공하는 힘은 3N이 될 수 있다. 결국, 10N의 촉각 정보가 3N으로 리사이징 된 것이다.
도 4는 비디오를 바탕으로 하여 촉감 비디오를 생성한 일 예를 도시한 도면이다.
도 4를 참조하면, 영화의 영상 오른쪽에 위치하는 것이 촉감 편집/저작 도구로 생성된 영화 대응 촉감 비디오(850)이다. 이 촉감 비디오 우측에 도시된 것이 촉감 비디오 대응 구동자 어레이(900)를 표현한 것이다. 촉감 비디오(850)는 비디오/오디오 정보를 바탕으로 촉감 편집/저작 도구가 장면에 맞는 촉감을 각 프레임 마다 다른 촉감세기(0~255)를 적용하여 비디오 프레임 수에 정확히 맞추어 생성한다.
그리고, 이렇게 생성된 촉감 비디오는 장치의 규격에 맞추어 재생된다. 좀 더 자세하게는, 장치의 크기뿐만 아니라 장치가 제공할 수 있는 촉감 세기의 수에 맞게 변환되어 재생된다. 예를 들어, 촉감 비디오의 제시는 256단계이지만, 장치는 8단계 밖에 재생을 못 할 경우는, 256단계가 8단계로 나뉘어져 재생되게 된다.
도면을 보면, 배우가 오른쪽에서 왼쪽으로 점프를 하며 이동하는 화면이 도시되어 있다. 본 도면은 3인칭 관찰자의 시점에서 배우의 움직임을 사용자에게 촉감으로 전달 할 수 있는 예를 도식화하고 있다. 촉감비디오는 3인칭 관찰자 시점뿐만 아니라 1인칭 주인공 시점 또는 촉감 배경 효과 시점을 기반으로 저작될 수도 있다. 처음 프레임에서, 배우가 점프를 시작할 때, 검은 색으로 촉감 비디오가 맵핑되고, 구동자 어레이는 맵핑된 색에 대응하여 약한 강도의 촉감을 제시한다. 마지막 프레임에서, 배우가 강한 점프를 통해, 왼쪽으로 이동을 하는 순간은, 흰 색으로 촉감 비디오가 맵핑되고, 구동자 어레이는 이에 대응하여 강한 강도의 촉감을 제시한다.
도 5는 MPEG-4에서 장면 기술자의 MovieTexture 노드의 일례를 나타낸 도면이다. 노드 촉감 정보는 일반적인 미디어(오디오 및 비디오) 정보와 함께 전송되는데 이하에서는 촉감 비디오 형태로 표현된 촉감 정보를 미디어 정보와 함께 전송하기 위한 노드 구조 및 전송 방법과 시스템에 대해 설명한다.
MPEG-4에서는 객체의 표현을 위한 정보들은 복수개의 기초스트림(ES : Elementary Stream)을 통하여 전송한다. 그리고, 이러한 각 기초스트림(ES)간의 상호관계 및 링크의 구성 정보는 MPEG-4에서 정의하고 있는 객체기술자에 의해 전송된다.
MPEG-4 기반으로 장면을 구성하기 위해서는 일반적으로 초기객체기술자(IOD: Initial Object Descriptor), 장면기술자(BIFS : Binary Format for Scenes), 객체기술자 및 미디어 데이터들이 필요하다. 초기객체기술자(IOD)는 MPEG-4 장면을 구성하기 위해 가장 먼저 전송되어야 하는 정보로, 각 미디어의 프로파일과 레벨을 기술하고, 장면기술자(BIFS) 스트림과 객체기술자 스트림에 대한 기초스트림기술자(ESDescriptor)를 포함한다.
객체기술자는 장면을 구성하는 각 미디어 데이터에 대한 정보를 기술하는 기초스트림기술자들의 집합으로써, 각 미디어 데이터의 기초스트림(ES)과 장면기술과의 연결을 제공한다. 여기서 장면기술자(BIFS)는 각각의 객체들이 시공간적으로 어떠한 관계를 갖는지 기술하는 정보이다.
MPEG-4에 있어서 장면기술자(BIFS)에는 비디오 객체를 정의하는 MovieTexture 노드가 구비된다.
도 5를 참조하면, MovieTexture 노드에서 stratTime은 비디오가 플레이되는 시작 시각을 나타내고, stopTime은 비디오의 플레이가 정지되는 시각을 나타낸다. 이에 따라 비디오를 다른 객체와 동기화시킬 수 있다. 또한 url은 비디오의 위치를 설정한다.
이러한 장면기술자의 MovieTexture 노드를 이용하여 촉감 비디오를 전송하기 위하여 TactileDisplay 노드를 정의한다.
도 6은 촉감 정보 표현을 위한 TactileDisplay 노드를 나타낸 도면이다. 도 7은 TactileDisplay 노드를 MovieTexture 노드와 연결하여 촉감 비디오 객체를 정의하는 것을 나타낸 도면이다.
도 6 및 도 7을 참조하면, 도 5에 따르면 TactileDisplay 노드는 texture 노드의 일종임을 표시한다. 도 6에 있어서, "url" 필드는 촉감 비디오의 위치를 나타내며, "stratTime" 필드는 시작 시각을, "stopTime" 필드는 종료 시각을 나타낸다. 즉, TactileDisplay 노드의 texture 필드에 MovieTexture 노드를 연결하여 하나의 촉감 비디오 객체를 정의한다.
도 6의 예에 있어서, "tatile_video.avi"로 설정된 촉감 비디오는 플레이 된 후 3초후부터 7초까지 촉감 제시 장치에서 플레이된다.
도 8은 촉감 정보 표현을 위한 TactileDisplayTexture 노드를 나타낸 도면이다.
도 8을 참조하면, 도 7에 따르면 MPEG-4의 장면기술자(BIFS)에 있어서 촉감 비디오의 전송을 위한 TactileDisplayTexture를 새롭게 정의하였다. TactileDisplayTexture는 촉감 비디오 파일의 플레이 시작 시각과 정지 시각을 정의하며, "url" 필드는 촉감 비디오 파일의 위치를 나타낸다.
도 9 및 도 10은 역감 노드를 나타낸 도면이다. 앞에서 언급한 촉감 노드와 마찬가지로 본 도면은 역감 데이터에 대한 객체를 정의할 수 있다.
도 11은 본 발명의 다른 실시예에 따른 촉감정보 전송 시스템에 대한 블록도이다.
도 11을 참조하면, 촉감 정보 전송 시스템은 객체 데이터 생성부(710), 인코더부(720), 다중화기(MUX, 730), 전송채널(740), 역다중화기(DEMUX, 750), 디코더부(760), 및 재생부(770)를 포함한다.
객체 데이터 생성부(710)는 미디어(오디오, 비디오)를 생성하고, 미디어에 대응하는 촉감 비디오 및 역감 데이터를 생성하여 편집 또는 저작하는 기능을 수행한다. 오디오 생성부(712)는 오디오를 저장 또는 생성하는 기능을 수행하고, 비디오 생성부(714)는 비디오를 저장 또는 생성하는 기능을 수행한다. 촉감 비디오 생성부(716)는 오디오 또는 비디오를 바탕으로 구동자 어레이의 구동 강도를 나타내는 촉감 비디오를 생성하는 기능을 수행한다. 또한, 역감 데이터 생성부(717)는 오디오 또는 비디오를 바탕으로 힘, 토크에 관련된 역감 데이터를 생성한다.
촉감 비디오 생성부(716)에서의 촉감 비디오 생성은 오디오 정보 또는 비디오 정보의 종류에 따라 자동으로 생성되거나, 사용자가 오디오 또는 비디오를 바탕으로 직접 생성함으로써 이루어질 수 있다.
촉감 비디오 생성부(716)에서 생성된 촉감 비디오 및 역감 데이터 생성부(717)에서 생성된 역감 데이터는 편집/저작부에서 미디어(오디오, 비디오) 정보와 편집, 저작되어 각각의 시간 축에 맞게 배치된다. 이에 따라 편집/저작부는 오디오, 비디오, 촉감 비디오 및 역감 데이터의 시공간적 위치에 따라 장면기술자를 생성한다.
인코더부(720)는 오디오, 비디오, 촉감 비디오, 역감 데이터 및 장면기술자를 인코딩하는 기능을 수행한다. 오디오는 오디오 인코더(722)에서 인코딩되며, 비디오는 비디오 인코더(724)에서 인코딩된다. 한편, 촉감 비디오는 일종의 흑백 비디오에 해당하므로 일반적인 비디오 인코딩 방법에 의해 인코딩될 수 있는데, 촉감 비디오 인코더에서 인코딩된다. 역감 데이터는 역감 데이터 인코더(727)에서 인코딩 된다. 또한, 장면기술자는 BIFS 인코더(728)에서 인코딩된다. 이러한 인코딩은 MPEG-4 오디오 및 비디오 인코딩 방법에 의해 이루어진다. 인코더부(720)에서 인코딩된 정보는 다중화기를 통해 다중화되어 하나의 MP4 파일로 생성되고 이는 전송 채널(740)을 통해 전송된다. 다만, 인코딩 방식이 MPEG-4 오디오 및 비디오 인코딩 방법에 국한 되는 것은 아니다.
본 발명에 있어서 전송 채널(740)은 유무선 통신망을 포괄하는 개념으로 이해되어야 하며 IP Network, DMB 통신망, 인터넷망 등이 될 수 있다.
전송 채널(740)을 통해 전송된 MP4 파일은 역다중화기(750)에서 역다중화되어 디코더부(760)에서 각각의 정보별로 디코딩된다. 오디오 디코더(762)는 오디오를 디코딩하고, 비디오 디코더(764)는 비디오를 디코딩하며, 촉감 비디오 디코더(766)는 촉감 비디오를 디코딩하고, 역감데이터 디코더(767)는 역감 데이터를 디코딩하며, BIFS 디코더(768)는 장면기술자를 디코딩한다.
디코더부(760)에서 디코딩된 정보는 재생부(770)에서 재생되는데, 재생부(770)는 컴포지터(compositor, 776)와, 오디오-비디오 출력장치(772) 및 촉각 제시 장치를 포함한다. 컴포지터(776)는 전송된 오디오, 비디오, 촉감 비디오, 역감 데이터 등의 객체들을 장면기술자(BIFS) 정보를 이용하여 시공간적으로 구성한다. 이 정보를 바탕으로 오디오-비디오 출력장치(772)는 오디오 및 비디오 정보를 출력하고, 촉감 장치(774)는 구동자 어레이를 통해 촉감 정보를 제시한다. 또한, 역감데이터는 역감 장치(774)를 통해 역감 정보를 제공한다.
촉각 제시 장치는 촉감/역감 장치(774), 기기 스펙 DB(400) 및 기기 제어부(300)를 포함한다. 기기 스펙 DB(400)는 앞에서 언급하였듯이, 촉감/역감 장치(774)의 스펙에 대한 정보가 저장되어 있으며, 기기 제어부(300)는 상기 기기 스펙을 바탕으로, 전송된 촉감 비디오 정보 및 역감 데이터를 이용하여, 촉각(촉감/역감)을 촉감/역감 장치(774)가 제공하도록 한다. 여기서, 기기의 스펙인, 기기의 특성 및 규격을 포함하는 정보는 수동 및/또는 자동으로 제어부를 통해, 기기 스펙 DB에 저장될 수 있다.
도 12는 촉감 정보 전송 방법의 흐름도이다.
도 12를 참조하면, 먼저 촉감 비디오 생성부는 오디오, 비디오 등 미디어 정보를 바탕으로 촉감 비디오를 생성하고, 역감 데이터 생성부는 역감 데이터를 생성한다(S100).
촉감 비디오의 각 픽셀은 촉감 장치의 구동자 어레이의 각 구동자에 대한 구동 강도를 나타내는 인텐시티 값을 포함한다. 이러한 촉감 비디오의 생성은 오디오 또는 비디오를 바탕으로 자동으로 생성되거나 수동으로 생성할 수 있다.
또한, 역감 데이터는 사용자(또는 시청자)의 측면을 기준으로 했을 때, 능동 모드와 수동모드로 구분할 수 있다. 우선, 수동 모드의 경우를 보면, 숙련자가 작업공간에서 조작하는 도구의 3자유도 또는 6자유도의 움직임을 저장하여, 역감 재생을 위한 일련의 위치 데이터 및 힘 데이터를 포함하는 역감 데이터를 생성한다. 이 후, 사용자가 촉각 기기를 착용했을 때, 생성된 역감 정보가 사용자에게 전달된다.
그리고, 능동 모드의 경우, 가상 객체 촉각 특성(예: 쇼파의 강성, 텍스쳐) 값도 자동 또는 수동으로 생성할 수 있다.
편집/저작부에서, 촉감 비디오 및 역감 데이터는 미디어 정보와 시간축에 맞게 배치되며, 편집/저작부는 미디어 정보와 촉감 비디오 및 역감 데이터의 시공간적 위치에 대한 정보를 담은 장면기술자를 생성한다(S200).
장면기술자는 촉감 비디오 및 역감 데이터를 위한 텍스쳐 노드를 포함하며, 촉감 비디오 및 역감 데이터를 위한 텍스쳐 노드에는, 촉감 비디오 및 역감 데이터를 출력하기 위한 시작 시간(startTime) 필드와 종료 시간(stopTime) 필드 및 촉감 비디오 및 역감 데이터의 위치를 나타내는 url 필드가 포함된다.
미디어 정보와 촉감 비디오 정보, 역감 데이터 및 장면기술자 정보는 인코더부에서 인코딩된 후 다중화기를 거쳐 스트림 파일이 생성된다(S300).
생성된 스트림 파일은 전송채널을 통해 전송된다(S400).
스트림 파일의 전송방법은 유무선 통신망을 포괄하는 개념으로 이해되어야 하며 IP Network, DMB 통신망, 인터넷망 등이 될 수 있다.
전송된 스트림 파일은 역다중화기에서 역다중화된 후 디코더부에서 디코딩된다(S500).
장면기술자 정보 및 기기 스펙 정보를 참조하여 미디어 정보를 생성하고 촉각을 제시한다(S600).
컴포지터는 장면기술자 정보를 이용하여 오디오, 비디오 촉감 비디오 및 역감 데이터를 시공간적으로 구성하고, 오디오와 비디오는 오디오-비디오 출력장치에서 출력되며 촉감 정보는 기기에서 제시된다. 또한, 역감 데이터는 역감 장치에서 제공된다. 촉감 비디오의 각 픽셀의 인텐시티 값과 기기 스펙을 고려하여 리사이징 과정을 거쳐, 구동자 어레이의 각 구동자가 구동된다. 또한, 역감 정보와 기기 스펙을 고려하여 리사이징 과정을 거쳐, 역감 장치를 구동한다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (10)

  1. 촉감 장치를 구성하는 구동자 어레이의 구동을 위한 촉감 정보를 촉감 비디오로 생성하고, 역감 장치를 구성하는 엑츄에이터의 구동을 위한 역감 정보를 역감 데이터로 생성하며, 상기 촉감 비디오 및 상기 역감 데이터와 멀티 미디어 정보의 시간적 위치를 설정하는 장면 기술자를 생성하는 객체 데이터를 생성하고, 상기 생성된 객체 데이터를 인코딩하고, 상기 인코딩된 정보를 다중화하여 하나의 스트림 파일로 생성하는 촉각 정보 표현 방법에 있어서,
    상기 촉감 장치 및 상기 역감 장치를 포함하는 촉각 기기의 특성, 상기 촉각 기기의 규격 및 사용자 선호도를 포함하는 컨트롤 정보를 저장하는 단계;
    상기 컨트롤 정보를 참조하여, 상기 장면 기술자 정보를 상기 촉각 기기를 통해 표현하는 단계를 포함하는, 컨트롤 정보를 이용한 촉각 정보 표현 방법.
  2. 제 1항에 있어서,
    상기 촉감 장치의 특성 및 규격을 포함하는 상기 컨트롤 정보는,
    상기 구동자 어레이 내의 수평 방향으로의 상기 구동자의 개수, 상기 구동자 어레이 내의 수직 방향으로의 상기 구동자의 개수, 상기 구동자 사이의 수평방향으로의 간격 및 상기 구동자 사이의 수직 방향으로의 간격을 포함하는, 컨트롤 정보를 이용한 촉각 정보 표현 방법.
  3. 제 1항 또는 제 2항에 있어서,
    상기 역감 장치의 특성 및 규격을 포함하는 상기 컨트롤 정보는,
    상기 엑츄에이터가 각각의 축에 제공할 수 있는 최대 힘, 상기 엑츄에이터가 각각의 축에 제공할 수 있는 최대 토크, 상기 엑츄에이터가 각각의 축에 제공할 수 있는 최대 강성, 상기 엑츄에이터의 자유도 및 상기 엑츄에이터의 작업 공간을 포함하는, 컨트롤 정보를 이용한 촉각 정보 표현 방법.
  4. 제 1항 또는 제 2항에 있어서,
    상기 컨트롤 정보를 참조하는 것은,
    상기 생성된 촉각 비디오에 맵핑된 요구 촉각 정보와 상기 구동자가 제시 가능한 촉각 정보에 차이가 있을 경우, 상기 요구 촉각 정보를 상기 제시 가능한 촉각 정보로 리사이징하는, 컨트롤 정보를 이용한 촉각 정보 표현 방법.
  5. 제 1항 또는 제 2항에 있어서,
    상기 컨트롤 정보를 참조하는 것은,
    상기 생성된 역감 데이터를 구성하는 요구 역감 정보와 상기 엑츄에이터가 제시 가능한 역감 정보에 차이가 있을 경우, 상기 요구 역감 정보를 상기 제시 가능한 역감 정보로 리사이징하는, 컨트롤 정보를 이용한 촉각 정보 표현 방법.
  6. 촉감 장치를 구성하는 구동자 어레이의 구동을 위한 촉감 정보를 촉감 비디오로 생성하는 수단, 역감 장치를 구성하는 엑츄에이터의 구동을 위한 역감 정보를 역감 데이터로 생성하는 수단, 상기 촉감 비디오 및 상기 역감 데이터와 멀티 미디어 정보의 시간적 위치를 설정하는 장면 기술자를 생성하는 객체 데이터를 생성하는 수단, 상기 생성된 객체 데이터를 인코딩하는 수단, 상기 인코딩된 정보를 다중화하여 하나의 스트림 파일로 생성하는 수단을 포함하는 촉각 정보 전송 시스템에 있어서,
    상기 촉감 장치 및 상기 역감 장치를 포함하는 촉각 기기의 특성 및 상기 촉각 기기의 규격 및 사용자 선호도를 포함하는 컨트롤 정보를 저장하는 수단;
    상기 컨트롤 정보를 참조하여, 상기 장면 기술자 정보를 상기 촉각 기기를 통해 표현하는 수단을 포함하는, 컨트롤 정보를 이용한 촉각 정보 전송 시스템.
  7. 제 6항에 있어서,
    상기 촉감 장치의 특성 및 규격을 포함하는 상기 컨트롤 정보는,
    상기 구동자 어레이 내의 수평 방향으로의 상기 구동자의 개수, 상기 구동자 어레이 내의 수직 방향으로의 상기 구동자의 개수, 상기 구동자 사이의 수평방향으로의 간격 및 상기 구동자 사이의 수직 방향으로의 간격을 포함하는, 컨트롤 정보를 이용한 촉각 정보 전송 시스템.
  8. 제 6항 또는 제 7항에 있어서,
    상기 역감 장치의 특성 및 규격을 포함하는 상기 컨트롤 정보는,
    상기 엑츄에이터가 각각의 축에 제공할 수 있는 최대 힘, 상기 엑츄에이터가 각각의 축에 제공할 수 있는 최대 토크, 상기 엑츄에이터가 각각의 축에 제공할 수 있는 최대 강성, 상기 엑츄에이터의 자유도 및 상기 엑츄에이터의 작업 공간을 포함하는, 컨트롤 정보를 이용한 촉각 정보 전송 시스템.
  9. 제 6항 또는 제 7항에 있어서,
    상기 컨트롤 정보를 참조하는 것은,
    상기 생성된 촉각 비디오에 맵핑된 요구 촉각 정보와 상기 구동자가 제시 가능한 촉각 정보에 차이가 있을 경우, 상기 요구 촉각 정보를 상기 제시 가능한 촉각 정보로 리사이징하는, 컨트롤 정보를 이용한 촉각 정보 전송 시스템.
  10. 제 6항 또는 제 7항에 있어서,
    상기 컨트롤 정보를 참조하는 것은,
    상기 생성된 역감 데이터를 구성하는 요구 역감 정보와 상기 엑츄에이터가 제시 가능한 역감 정보에 차이가 있을 경우, 상기 요구 역감 정보를 상기 제시 가능한 역감 정보로 리사이징하는, 컨트롤 정보를 이용한 촉각 정보 전송 시스템.
PCT/KR2010/008615 2009-12-11 2010-12-03 컨트롤 정보를 이용한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템 WO2011071275A2 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/378,314 US9030305B2 (en) 2009-12-11 2010-12-03 Method for expressing haptic information using control information, and system for transmitting haptic information

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20090123532 2009-12-11
KR10-2009-0123532 2009-12-11

Publications (3)

Publication Number Publication Date
WO2011071275A2 true WO2011071275A2 (ko) 2011-06-16
WO2011071275A9 WO2011071275A9 (ko) 2011-08-04
WO2011071275A3 WO2011071275A3 (ko) 2011-11-10

Family

ID=44146025

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2010/008615 WO2011071275A2 (ko) 2009-12-11 2010-12-03 컨트롤 정보를 이용한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템

Country Status (2)

Country Link
US (1) US9030305B2 (ko)
WO (1) WO2011071275A2 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITPI20040084A1 (it) * 2004-11-18 2005-02-18 Massimo Bergamasco Interfaccia aptica portabile
US9400555B2 (en) * 2008-10-10 2016-07-26 Internet Services, Llc System and method for synchronization of haptic data and media data
JP2014183559A (ja) * 2013-03-21 2014-09-29 Casio Comput Co Ltd 報知制御装置、報知制御方法及びプログラム
US10121388B2 (en) * 2014-04-29 2018-11-06 Georgia Tech Research Corporation Methods, systems, and apparatuses to convey chorded input
US10013059B2 (en) * 2015-04-03 2018-07-03 Disney Enterprises, Inc. Haptic authoring tool for animated haptic media production
JP2016197350A (ja) * 2015-04-03 2016-11-24 シャープ株式会社 情報伝送装置、行動体感システム、情報伝送方法および行動体感方法
CN104998409A (zh) * 2015-06-11 2015-10-28 将军兄弟有限公司 振动反馈系统及振动反馈方法
US11740697B1 (en) 2018-06-19 2023-08-29 Meta Platforms Technologies, Llc Vibrotactile devices, systems, and related methods
WO2022139643A1 (en) 2020-12-22 2022-06-30 Telefonaktiebolaget Lm Ericsson (Publ) Methods and devices related to extended reality
WO2023176928A1 (ja) * 2022-03-18 2023-09-21 ソニーグループ株式会社 情報処理装置および方法
CN115223244B (zh) * 2022-07-12 2024-02-02 中国电信股份有限公司 触觉动作仿真方法、装置、设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100835297B1 (ko) * 2007-03-02 2008-06-05 광주과학기술원 촉감 정보 표현을 위한 노드 구조 및 이를 이용한 촉감정보 전송 방법과 시스템
KR20080080777A (ko) * 2007-03-02 2008-09-05 광주과학기술원 촉감 정보 저작 방법과 장치, 및 컴퓨터로 판독가능한 기록매체

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9622556D0 (en) * 1996-10-30 1997-01-08 Philips Electronics Nv Cursor control with user feedback mechanism
US6636197B1 (en) * 1996-11-26 2003-10-21 Immersion Corporation Haptic feedback effects for control, knobs and other interface devices
US6801575B1 (en) * 1997-06-09 2004-10-05 Sharp Laboratories Of America, Inc. Audio/video system with auxiliary data
US5984880A (en) * 1998-01-20 1999-11-16 Lander; Ralph H Tactile feedback controlled by various medium
EP2256605B1 (en) * 1998-01-26 2017-12-06 Apple Inc. Method and apparatus for integrating manual input
US20080055241A1 (en) * 1998-03-26 2008-03-06 Immersion Corporation Systems and Methods for Haptic Feedback Effects for Control Knobs
US10820949B2 (en) * 1999-04-07 2020-11-03 Intuitive Surgical Operations, Inc. Medical robotic system with dynamically adjustable slave manipulator characteristics
AU2001264961A1 (en) * 2000-05-24 2001-12-03 Immersion Corporation Haptic devices using electroactive polymers
US7918808B2 (en) * 2000-09-20 2011-04-05 Simmons John C Assistive clothing
JP3886041B2 (ja) * 2002-05-08 2007-02-28 株式会社 ユニプラン 触覚型ディスプレイ装置
US9002518B2 (en) * 2003-06-30 2015-04-07 Intuitive Surgical Operations, Inc. Maximum torque driving of robotic surgical tools in robotic surgical systems
US7271707B2 (en) * 2004-01-12 2007-09-18 Gilbert R. Gonzales Device and method for producing a three-dimensionally perceived planar tactile illusion
US20050235032A1 (en) * 2004-04-15 2005-10-20 Mason Wallace R Iii System and method for haptic based conferencing
US7522152B2 (en) * 2004-05-27 2009-04-21 Immersion Corporation Products and processes for providing haptic feedback in resistive interface devices
US20060206167A1 (en) * 2005-01-06 2006-09-14 Flaherty J C Multi-device patient ambulation system
US20060167564A1 (en) * 2005-01-10 2006-07-27 Flaherty J C Limb and digit movement system
US20060255971A1 (en) * 2005-05-11 2006-11-16 Eal Kim Keypad for enhancing input resolution and method for enhancing input resolution using the same
CN104063056B (zh) * 2006-04-06 2018-04-20 意美森公司 用于增强的触觉效果的系统和方法
KR100835179B1 (ko) * 2006-05-10 2008-06-05 한국전자통신연구원 디지털 방송에서 비디오 서비스와 연동된 ｔｔｉ 데이터 서비스 제공 시스템 및 그 방법
US8224484B2 (en) * 2007-09-30 2012-07-17 Intuitive Surgical Operations, Inc. Methods of user interface with alternate tool mode for robotic surgical tools
GB0721475D0 (en) * 2007-11-01 2007-12-12 Asquith Anthony Virtual buttons enabled by embedded inertial sensors
KR101442836B1 (ko) * 2008-01-07 2014-11-04 삼성전자주식회사 가시광 통신을 이용한 영상 부가정보 제공방법 및 장치
US20090259359A1 (en) * 2008-04-09 2009-10-15 David Michael Whitton Variable intensity haptic level control based on vehicle conditions
US20090295739A1 (en) * 2008-05-27 2009-12-03 Wes Albert Nagara Haptic tactile precision selection
KR20100039024A (ko) * 2008-10-07 2010-04-15 엘지전자 주식회사 이동 단말기 및 이것의 디스플레이 제어 방법
US8428781B2 (en) * 2008-11-17 2013-04-23 Energid Technologies, Inc. Systems and methods of coordination control for robot manipulation
US8633916B2 (en) * 2009-12-10 2014-01-21 Apple, Inc. Touch pad with force sensors and actuator feedback

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100835297B1 (ko) * 2007-03-02 2008-06-05 광주과학기술원 촉감 정보 표현을 위한 노드 구조 및 이를 이용한 촉감정보 전송 방법과 시스템
KR20080080777A (ko) * 2007-03-02 2008-09-05 광주과학기술원 촉감 정보 저작 방법과 장치, 및 컴퓨터로 판독가능한 기록매체

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JUN-SEOK PARK ET AL.: 'Development of Smart Haptic Interface Device' ETRI February 2007, pages 8 - 206 *
LEE, BEOM CHAN ET AL. DEVELOPMENT OF K-TOUCH API FOR KINESTHETIC/TACTILE HAPTIC INTERACTION 2006, pages 1 - 8 *

Also Published As

Publication number Publication date
WO2011071275A9 (ko) 2011-08-04
US20120092146A1 (en) 2012-04-19
WO2011071275A3 (ko) 2011-11-10
US9030305B2 (en) 2015-05-12

Similar Documents

Publication Publication Date Title
WO2011071275A2 (ko) 컨트롤 정보를 이용한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템
KR100835297B1 (ko) 촉감 정보 표현을 위한 노드 구조 및 이를 이용한 촉감정보 전송 방법과 시스템
WO2010095835A2 (ko) 영상 처리 방법 및 장치
EP3596931A1 (en) Method and apparatus for packaging and streaming of virtual reality media content
KR101239370B1 (ko) 가상 환경의 햅틱 속성의 정의를 통한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템
WO2018088730A1 (en) Display apparatus and control method thereof
US20090309827A1 (en) Method and apparatus for authoring tactile information, and computer readable medium including the method
WO2011071352A2 (ko) 데이터 포멧의 정의를 통한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템
CN111641796A (zh) 一种用于远程手术指导和示教的系统及方法
Kim et al. Construction of a haptic-enabled broadcasting system based on the MPEG-V standard
WO2020235749A1 (ko) 실시간 몰입형 콘텐츠 제공 시스템 및 이의 햅틱 효과 전송 방법
WO2003003328A1 (fr) Systeme informatique de leçons personnelles utilisant un visiophone
Cha et al. An authoring/editing framework for haptic broadcasting: passive haptic interactions using MPEG-4 BIFS
WO2011093629A2 (ko) 미디어 스트리밍을 이용한 리치미디어 서비스 방법 및 시스템
WO2018159981A1 (ko) 가상현실영상 재생방법 및 이를 이용한 프로그램
WO2011071351A9 (ko) 감각 정보의 구분을 통한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템
WO2010050691A2 (en) Methods and apparatuses for processing and displaying image
CN210015702U (zh) 摩天轮多媒体资讯化伴唱系统
WO2019004498A1 (ko) 다채널 영상 생성 방법, 다채널 영상 재생 방법 및 다채널 영상 재생 프로그램
JP2006166362A (ja) 音響装置
JP4632132B2 (ja) 語学学習システム
KR101250503B1 (ko) Ｍｐｅｇ-ｖ의 아키텍쳐를 통한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템
WO2022103191A1 (ko) 영상 재생 시스템 및 영상 재생 방법
WO2022039423A1 (ko) 디스플레이장치 및 그 제어방법
JPH096577A (ja) 画像表示装置及び画像表示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10836171

Country of ref document: EP

Kind code of ref document: A1

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10836171

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13378314

Country of ref document: US

NENP Non-entry into the national phase in:

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10836171

Country of ref document: EP

Kind code of ref document: A2