KR100581060B1 - 오감 데이터 동기화 전송 장치 및 그 방법과 그를 이용한실감형 멀티미디어 데이터 제공 시스템 및 그 방법 - Google Patents

오감 데이터 동기화 전송 장치 및 그 방법과 그를 이용한실감형 멀티미디어 데이터 제공 시스템 및 그 방법 Download PDF

Info

Publication number
KR100581060B1
KR100581060B1 KR1020030079865A KR20030079865A KR100581060B1 KR 100581060 B1 KR100581060 B1 KR 100581060B1 KR 1020030079865 A KR1020030079865 A KR 1020030079865A KR 20030079865 A KR20030079865 A KR 20030079865A KR 100581060 B1 KR100581060 B1 KR 100581060B1
Authority
KR
South Korea
Prior art keywords
data
taste
packet
video
audio
Prior art date
Application number
KR1020030079865A
Other languages
English (en)
Other versions
KR20050045700A (ko
Inventor
윤국진
안충현
강훈종
허남호
조숙희
이수인
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020030079865A priority Critical patent/KR100581060B1/ko
Priority to AT03781076T priority patent/ATE484132T1/de
Priority to DE60334504T priority patent/DE60334504D1/de
Priority to US10/579,349 priority patent/US20070126927A1/en
Priority to AU2003289585A priority patent/AU2003289585A1/en
Priority to EP03781076A priority patent/EP1690378B1/en
Priority to PCT/KR2003/002917 priority patent/WO2005048541A1/en
Publication of KR20050045700A publication Critical patent/KR20050045700A/ko
Application granted granted Critical
Publication of KR100581060B1 publication Critical patent/KR100581060B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63J—DEVICES FOR THEATRES, CIRCUSES, OR THE LIKE; CONJURING APPLIANCES OR THE LIKE
    • A63J25/00—Equipment specially adapted for cinemas
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63J—DEVICES FOR THEATRES, CIRCUSES, OR THE LIKE; CONJURING APPLIANCES OR THE LIKE
    • A63J17/00—Apparatus for performing colour-music
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63J—DEVICES FOR THEATRES, CIRCUSES, OR THE LIKE; CONJURING APPLIANCES OR THE LIKE
    • A63J5/00—Auxiliaries for producing special effects on stages, or in circuses or arenas
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4112—Peripherals receiving signals from specially adapted client devices having fewer capabilities than the client, e.g. thin client having less processing power or no tuning capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43079—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on multiple devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63J—DEVICES FOR THEATRES, CIRCUSES, OR THE LIKE; CONJURING APPLIANCES OR THE LIKE
    • A63J5/00—Auxiliaries for producing special effects on stages, or in circuses or arenas
    • A63J2005/001—Auxiliaries for producing special effects on stages, or in circuses or arenas enhancing the performance by involving senses complementary to sight or hearing
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63J—DEVICES FOR THEATRES, CIRCUSES, OR THE LIKE; CONJURING APPLIANCES OR THE LIKE
    • A63J5/00—Auxiliaries for producing special effects on stages, or in circuses or arenas
    • A63J2005/001—Auxiliaries for producing special effects on stages, or in circuses or arenas enhancing the performance by involving senses complementary to sight or hearing
    • A63J2005/003—Tactile sense
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63J—DEVICES FOR THEATRES, CIRCUSES, OR THE LIKE; CONJURING APPLIANCES OR THE LIKE
    • A63J5/00—Auxiliaries for producing special effects on stages, or in circuses or arenas
    • A63J2005/001—Auxiliaries for producing special effects on stages, or in circuses or arenas enhancing the performance by involving senses complementary to sight or hearing
    • A63J2005/008—Smell sense
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/54—Store-and-forward switching systems 
    • H04L12/56—Packet switching systems
    • H04L12/5601—Transfer mode dependent, e.g. ATM
    • H04L2012/5603—Access techniques

Abstract

1. 청구범위에 기재된 발명이 속하는 기술분야
본 발명은, 오감 데이터 동기화 전송 장치 및 그 방법과, 그를 이용한 실감형 멀티미디어 데이터 제공 시스템 및 그 방법에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은, 촉각, 후각 및 미각 데이터 기술자를 이용하여 비디오/오디오에서 표현되는 진동, 향기, 맛 등을 각각 기술하여 패킷을 구성한 후에 각 프레임별로 비디오/오디오 패킷과 함께 각각의 촉/후/미각 패킷을 동기화시켜 전송하기 위한 오감 데이터 동기화 전송 장치 및 그 방법과, 상기 오감 데이터 동기화 전송 장치로부터 수신한 패킷을 역다중화하여 비디오 데이터, 오디오 데이터, 촉각 데이터, 후각 데이터, 미각 데이터를 각각 해당 처리 기기로 전달하여 사용자에게 실감형 멀티미디어 서비스를 제공하기 위한 실감형 멀티미디어 데이터 제공 시스템 및 그 방법을 제공하는데 그 목적이 있음.
3. 발명의 해결 방법의 요지
본 발명은, 오감 데이터 동기화 전송 장치에 있어서, 외부기기로부터 멀티미디어 데이터를 입력받아 비디오/오디오 데이터를 생성하기 위한 비디오/오디오 데이터 생성수단; 상기 외부기기로부터 입력받은 멀티미디어 데이터에서 표현되는 진동 등을 기 정의된 촉각 데이터 기술자를 이용하여 기술하기 위한 촉각 데이터 기술수단; 상기 외부기기로부터 입력받은 멀티미디어 데이터에서 표현되는 향기 등을 기 정의된 후각 데이터 기술자를 이용하여 기술하기 위한 후각 데이터 기술수단; 상기 외부기기로부터 입력받은 멀티미디어 데이터에서 표현되는 맛 등을 기 정의된 미각 데이터 기술자를 이용하여 기술하기 위한 미각 데이터 기술수단; 상기 비디오/오디오 데이터 생성수단에서 생성한 비디오/오디오 데이터를 비디오/오디오 패킷으로 구성하기 위한 비디오/오디오 패킷 구성수단; 상기 각 촉/후/미각 데이터 기술수단에서 기술한 각각의 촉/후/미각 데이터를 각각의 촉/후/미각 패킷으로 구성하기 위한 촉/후/미각 패킷 구성수단; 상기 비디오/오디오 패킷 구성수단에서 구성한 비디오/오디오 패킷 및 상기 각 촉/후/미각 패킷 구성수단에서 구성한 각각의 촉/후/미각 패킷을 다중화하여 동기화시키기 위한 다중화수단; 및 상기 다중화수단에서 다중화한 패킷을 전송하기 위한 송신수단을 포함함.
4. 발명의 중요한 용도
본 발명은 실감형 멀티미디어 데이터 제공 시스템 등에 이용됨.
실감형 멀티미디어 데이터 제공 시스템, 촉각, 후각, 미각, 오감 데이터, 기술자, 동기화

Description

오감 데이터 동기화 전송 장치 및 그 방법과 그를 이용한 실감형 멀티미디어 데이터 제공 시스템 및 그 방법{Apparatus and method for transmission synchronized the five senses with A/V data}
도 1은 본 발명에 따른 오감 데이터 동기화 전송 장치 및 그를 이용한 실감형 멀티미디어 데이터 제공 시스템에 대한 일실시예 구성도.
도 2a는 본 발명에 따른 촉각 데이터 기술자에 대한 일실시예 설명도.
도 2b는 본 발명에 따른 촉각 패킷의 헤더 구성에 대한 일실시예 설명도.
도 3a는 본 발명에 따른 후각 데이터 기술자에 대한 일실시예 설명도.
도 3b는 본 발명에 따른 후각 패킷의 헤더 구성에 대한 일실시예 설명도.
도 4a는 본 발명에 따른 미각 데이터 기술자에 대한 일실시예 설명도.
도 4b는 본 발명에 따른 미각 패킷의 헤더 구성에 대한 일실시예 설명도.
도 5는 본 발명에 따른 오감 데이터 동기화 전송 방법 및 그를 이용한 실감형 멀티미디어 데이터 제공 방법에 대한 일실시예 흐름도.
* 도면의 주요 부분에 대한 부호 설명
10 : 비디오/오디오 데이터 생성모듈 11 : 비디오/오디오 패킷 구성모듈
12 : 촉각 데이터 기술모듈 13 : 후각 데이터 기술모듈
14 : 미각 데이터 기술모듈 15 : 촉/후/미각 패킷 구성모듈
16 : 다중화모듈 17 : 송신모듈
20 : 수신모듈 21 : 역다중화모듈
22 : 비디오/오디오 복호화모듈 23 : 비디오 기기
24 : 오디오 기기 25 : 진동 기기
26 : 방향제 기기 27 : 미각 기기
본 발명은, 오감 데이터 동기화 전송 장치 및 그 방법과, 그를 이용한 실감형 멀티미디어 데이터 제공 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 촉각, 후각 및 미각 데이터 기술자를 이용하여 비디오/오디오에서 표현되는 진동, 향기, 맛 등을 각각 기술하여 패킷을 구성한 후에 각 프레임별로 비디오/오디오 패킷과 함께 각각의 촉/후/미각 패킷을 동기화시켜 전송하기 위한 오감 데이터 동기화 전송 장치 및 그 방법과, 상기 오감 데이터 동기화 전송 장치로부터 수신한 패킷을 역다중화하여 비디오 데이터, 오디오 데이터, 촉각 데이터, 후각 데이터, 미각 데이터를 각각 해당 처리 기기로 전달하여 사용자에게 실감형 멀티미디어 서비스를 제공하기 위한 실감형 멀티미디어 데이터 제공 시스템 및 그 방법에 관한 것이다.
최근에 디지털 비디오/오디오 기술의 발전에 따라 보다 현실감있는 3차원 영상과 입체 음향이 제공되고 있으며, 더 나아가 인간의 오감을 모두 활용하는 실감형 멀티미디어 서비스가 각광을 받고 있다.
이러한 실감형 멀티미디어 서비스 기술로는 대한민국 공개특허 제2001-0096868호('진동효과 장치')와 대한민국 공개특허 제2001-0111600호('영화상영 시스템')이 있다.
상기 '진동효과 장치'는 영상의 프레임 수 또는 타임코드를 이용하여 영상에서 표현되는 진동신호를 사전에 메모리에 저장해 두었다가 해당 영상의 장면이 출력될 때마다 저장된 진동신호를 사용자에게 가하는 진동 기기에 관한 것이다.
상기 '영화상영 시스템'은 극장 등에서 영화 상영 시 스피커에서 출력되는 오디오음 세기에 따라 해당 진동신호를 사용자에게 가하는 진동 기기에 관한 것이다.
상기와 같은 종래 기술들은 비디오/오디오에서 표현되는 사람 또는 물체의 움직임에 대해 그 방향 및 회전 등을 정확히 기술하지 않고, 단지 사전에 설정한 비디오/오디오 재생 시간동안 진동 기기를 이용하여 사용자에게 해당되는 떨림을 주거나, 오디오음 세기에 따라 진동 기기를 이용하여 사용자에게 해당되는 떨림을 주는 방식이다.
그런데, 상기와 같은 종래 기술들에는 비디오/오디오에서 표현되는 사람 또는 물체의 움직임에 대한 방향 및 회전 등이 정확히 기술되지 않기 때문에 비디오/오디오를 감상하는 사용자가 보다 섬세하고 정확한 진동감을 느끼게 될 수 없는 문 제점이 있다. 또한, 종래 기술들은 비디오/오디오에서 표현되는 향기, 맛 등에 대해서는 전혀 기술되고 있지 않기 때문에 사용자에게 보다 현실감 있는 실감형 멀티미디어 서비스를 제공하지 못하고 있다.
한편, 비디오/오디오를 감상하는 사용자측에 방향제 기기와 미각 기기 등을 구비하여 영상의 각 장면(또는 상황)이 바뀔 때마다 방향제 기기를 이용하여 사용자에게 화학적 방향제를 분사하고 미각 기기를 이용하여 사용자에게 화학적 조미료를 방출하는 기술이 개발되고 있다. 그러나, 이러한 방향제 기기와 미각 기기는 비디오/오디오에서 표현되는 향기, 맛 등을 정확히 표현하지 못하고, 사용자의 임의적인 조작에 의해 방향제가 분사되거나 화학적 조미료가 방출되고 있다. 또한, 현재 개발되고 있는 실감형 멀티미디어 데이터 제공 시스템에서 표현되는 진동, 향기 및 맛 등은 비디오/오디오에서 표현되는 영상 및 사운드와 전혀 동기화되지 않은 상태에서 단지 영상의 각 장면에 흡사한 정도로만 기술되고 있다.
본 발명은, 상기와 같은 문제점을 해결하기 위하여 제안된 것으로, 촉각, 후각 및 미각 데이터 기술자를 이용하여 비디오/오디오에서 표현되는 진동, 향기, 맛 등을 각각 기술하여 패킷을 구성한 후에 각 프레임별로 비디오/오디오 패킷과 함께 각각의 촉/후/미각 패킷을 동기화시켜 전송하기 위한 오감 데이터 동기화 전송 장치 및 그 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 상기 오감 데이터 동기화 전송 장치로부터 수신한 패킷을 역다중화하여 비디오 데이터, 오디오 데이터, 촉각 데이터, 후각 데이터, 미각 데이터를 각각 해당 처리 기기로 전달하여 사용자에게 실감형 멀티미디어 서비스를 제공하기 위한 실감형 멀티미디어 데이터 제공 시스템 및 그 방법을 제공하는데 다른 목적이 있다.
상기의 목적을 달성하기 위한 본 발명의 장치는, 오감 데이터 동기화 전송 장치에 있어서, 외부기기로부터 멀티미디어 데이터를 입력받아 비디오/오디오 데이터를 생성하기 위한 비디오/오디오 데이터 생성수단; 상기 외부기기로부터 입력받은 멀티미디어 데이터에서 표현되는 촉각을 기 정의된 촉각 데이터 기술자를 이용하여 기술하기 위한 촉각 데이터 기술수단; 상기 외부기기로부터 입력받은 멀티미디어 데이터에서 표현되는 후각을 기 정의된 후각 데이터 기술자를 이용하여 기술하기 위한 후각 데이터 기술수단; 상기 외부기기로부터 입력받은 멀티미디어 데이터에서 표현되는 미각을 기 정의된 미각 데이터 기술자를 이용하여 기술하기 위한 미각 데이터 기술수단; 상기 비디오/오디오 데이터 생성수단에서 생성한 비디오/오디오 데이터를 비디오/오디오 패킷으로 구성하기 위한 비디오/오디오 패킷 구성수단; 상기 각 촉/후/미각 데이터 기술수단에서 기술한 각각의 촉/후/미각 데이터를 각각의 촉/후/미각 패킷으로 구성하기 위한 촉/후/미각 패킷 구성수단; 상기 비디오/오디오 패킷 구성수단에서 구성한 비디오/오디오 패킷 및 상기 각 촉/후/미각 패킷 구성수단에서 구성한 각각의 촉/후/미각 패킷을 다중화하여 동기화시키기 위한 다중화수단; 및 상기 다중화수단에서 다중화한 패킷을 전송하기 위한 송신수단을 포함하되, 상기 촉각 데이터 기술자는, 상기 멀티미디어 데이터에서 표현되는 촉각에 대해 촉각 데이터 기술 유/무, 좌/우 움직임 기술 유/무, 상/하 움직임 기술 유/무, 앞/뒤 움직임 기술 유/무, 움직임 거리, 움직임 속도, 움직임 가속도, 좌/우 회전 기술 유/무, 좌/우 회전 각도, 좌/우 회전 속도, 좌/우 회전 가속도 중 적어도 어느 하나를 포함하고, 상기 후각 데이터 기술자는, 상기 멀티미디어 데이터에서 표현되는 후각에 대해 후각 데이터 기술 유/무, 향기 종류, 향기 세기 중 적어도 어느 하나를 포함하고, 상기 미각 데이터 기술자는, 상기 멀티미디어 데이터에서 표현되는 미각에 대해 미각 데이터 기술 유/무, 맛 종류, 맛 세기 중 적어도 어느 하나를 포함하며, 상기 촉각 패킷은 촉각 데이터 기술 유/무, 패킷 길이 및 촉각 데이터 기술자 정보를 포함하며, 상기 후각 패킷은 후각 데이터 기술 유/무, 패킷 길이 및 후각 데이터 기술자 정보를 포함하며, 상기 미각 패킷은 미각 데이터 기술 유/무, 패킷 길이 및 미각 데이터 기술자 정보를 포함하며, 상기 다중화수단은, 상기 멀티미디어 데이터의 각 프레임별로 상기 비디오/오디오 패킷 구성수단에서 구성한 다수의 비디오/오디오 패킷의 마지막에 상기 각 촉/후/미각 패킷 구성수단에서 각각 구성한 촉/후/미각 패킷을 삽입하여 다중화하여 동기화시키는 것을 특징으로 한다.
한편, 본 발명의 방법은, 오감 데이터 동기화 전송 방법에 있어서, 오감 데이터 동기화 전송 방법에 있어서, 외부기기로부터 멀티미디어 데이터를 입력받아 비디오/오디오 데이터를 생성하는 비디오/오디오 생성 단계; 상기 외부기기로부터 입력받은 멀티미디어 데이터에서 표현되는 각 촉각, 후각, 미각을 기 정의된 각각의 촉/후/미각 데이터 기술자를 이용하여 각각 촉/후/미각 데이터로 기술하는 촉/후/미각 기술 단계; 상기 생성한 비디오/오디오 데이터를 비디오/오디오 패킷으로 구성하고, 상기 기술한 각각의 촉/후/미각 데이터를 각각 촉/후/미각 패킷으로 구성하는 오감 데이터 패킷 구성 단계; 상기 구성한 비디오/오디오 패킷 및 상기 구성한 각각의 촉/후/미각 패킷을 다중화하여 동기화시키는 오감 데이터 패킷 다중화 단계; 및 상기 다중화한 패킷을 수신단측으로 전송하는 오감 데이터 패킷 전송 단계를 포함하되, 상기 촉각 데이터 기술자는, 상기 멀티미디어 데이터에서 표현되는 촉각에 대해 촉각 데이터 기술 유/무, 좌/우 움직임 기술 유/무, 상/하 움직임 기술 유/무, 앞/뒤 움직임 기술 유/무, 움직임 거리, 움직임 속도, 움직임 가속도, 좌/우 회전 기술 유/무, 좌/우 회전 각도, 좌/우 회전 속도, 좌/우 회전 가속도 중 적어도 어느 하나를 포함하고, 상기 후각 데이터 기술자는, 상기 멀티미디어 데이터에서 표현되는 후각에 대해 후각 데이터 기술 유/무, 향기 종류, 향기 세기 중 적어도 어느 하나를 포함하고, 상기 미각 데이터 기술자는, 상기 멀티미디어 데이터에서 표현되는 미각에 대해 미각 데이터 기술 유/무, 맛 종류, 맛 세기 중 적어도 어느 하나를 포함하며, 상기 촉각 패킷은 촉각 데이터 기술 유/무, 패킷 길이 및 촉각 데이터 기술자 정보를 포함하며, 상기 후각 패킷은 후각 데이터 기술 유/무, 패킷 길이 및 후각 데이터 기술자 정보를 포함하며, 상기 미각 패킷은 미각 데이터 기술 유/무, 패킷 길이 및 미각 데이터 기술자 정보를 포함하며, 상기 오감 데이터 패킷 다중화 단계는, 상기 멀티미디어 데이터의 각 프레임별로 상기 다수의 비디오/오디오 패킷의 마지막에 상기 촉/후/미각 패킷을 삽입하여 다중화하여 동기화시키는 것을 특징으로 한다.
한편, 상기 다른 목적을 달성하기 위한 본 발명의 시스템은, 실감형 멀티미디어 데이터 제공 시스템에 있어서, 외부기기로부터 멀티미디어 데이터를 입력받아 비디오/오디오 데이터를 생성하기 위한 비디오/오디오 데이터 생성수단; 상기 외부기기로부터 입력받은 멀티미디어 데이터에서 표현되는 촉각을 기 정의된 촉각 데이터 기술자를 이용하여 기술하기 위한 촉각 데이터 기술수단; 상기 외부기기로부터 입력받은 멀티미디어 데이터에서 표현되는 후각을 기 정의된 후각 데이터 기술자를 이용하여 기술하기 위한 후각 데이터 기술수단; 상기 외부기기로부터 입력받은 멀티미디어 데이터에서 표현되는 미각을 기 정의된 미각 데이터 기술자를 이용하여 기술하기 위한 미각 데이터 기술수단; 상기 비디오/오디오 데이터 생성수단에서 생성한 비디오/오디오 데이터를 비디오/오디오 패킷으로 구성하기 위한 비디오/오디오 패킷 구성수단; 상기 각 촉/후/미각 데이터 기술수단에서 기술한 각각의 촉/후/미각 데이터를 각각의 촉/후/미각 패킷으로 구성하기 위한 촉/후/미각 패킷 구성수단; 상기 비디오/오디오 패킷 구성수단에서 구성한 비디오/오디오 패킷 및 상기 각 촉/후/미각 패킷 구성수단에서 구성한 각각의 촉/후/미각 패킷을 다중화하여 동기화시키기 위한 다중화수단; 상기 다중화수단에서 다중화한 패킷을 전송하기 위한 송신수단; 상기 송신수단으로부터 전송되는 다중화된 패킷을 수신하기 위한 수신수단; 상기 수신수단에서 수신한 패킷을 비디오 데이터, 오디오 데이터, 촉각 데이터, 후각 데이터, 미각 데이터로 역다중화하기 위한 역다중화수단; 상기 역다중화수단에서 역다중화한 비디오 데이터를 복호화하여 출력하기 위한 비디오 기기; 상기 역다중화수단에서 역다중화한 오디오 데이터를 복호화하여 출력하기 위한 오디오 기기; 상기 역다중화수단에서 역다중화한 촉각 데이터를 해석하여 사용자에게 촉각을 주기 위한 진동 기기; 상기 역다중화수단에서 역다중화한 후각 데이터를 해석하여 사용자에게 후각을 주기 위한 방향제 기기; 및 상기 역다중화수단에서 역다중화한 미각 데이터를 해석하여 사용자에게 미각을 주기 위한 미각 기기를 포함하되, 상기 촉각 패킷은 촉각 데이터 기술 유/무, 패킷 길이 및 촉각 데이터 기술자 정보를 포함하며, 상기 후각 패킷은 후각 데이터 기술 유/무, 패킷 길이 및 후각 데이터 기술자 정보를 포함하며, 상기 미각 패킷은 미각 데이터 기술 유/무, 패킷 길이 및 미각 데이터 기술자 정보를 포함하며, 상기 역다중화수단은, 상기 수신수단에서 수신한 압축된 스트림 형태의 패킷을 디패킹하여 네트워크 관련정보를 제거한 후에 상기 멀티미디어 데이터의 각 프레임별로 비디오 데이터, 오디오 데이터, 촉각 데이터, 후각 데이터, 미각 데이터를 분리하여 그 헤더정보에 따라 각각의 데이터를 해당 처리 기기로 전달하는 것을 특징으로 한다.
한편, 본 발명의 방법은, 실감형 멀티미디어 데이터 제공 방법에 있어서, 실감형 멀티미디어 데이터 제공 방법에 있어서, 외부기기로부터 멀티미디어 데이터를 입력받아 비디오/오디오 데이터를 생성하는 비디오/오디오 생성 단계; 상기 외부기기로부터 입력받은 멀티미디어 데이터에서 표현되는 각 촉각, 후각, 미각을 기 정의된 각각의 촉/후/미각 데이터 기술자를 이용하여 각각 촉/후/미각 데이터로 기술하는 촉/후/미각 기술 단계; 상기 생성한 비디오/오디오 데이터를 비디오/오디오 패킷으로 구성하고, 상기 기술한 각각의 촉/후/미각 데이터를 각각 촉/후/미각 패킷으로 구성하는 오감 데이터 패킷 구성 단계; 상기 구성한 비디오/오디오 패킷 및 상기 구성한 각각의 촉/후/미각 패킷을 다중화하여 동기화시키는 오감 데이터 패킷 다중화 단계; 상기 다중화한 패킷을 수신단측으로 전송하는 오감 데이터 패킷 전송 단계; 상기 오감 데이터 패킷 전송 단계에서 전송한 다중화된 패킷을 수신하여 비디오 데이터, 오디오 데이터, 촉각 데이터, 후각 데이터, 및 미각 데이터로 역다중화하는 오감 데이터 패킷 역다중화 단계; 상기 역다중화한 비디오 데이터 및 오디오 데이터를 복호화하여 출력하는 비디오/오디오 출력 단계; 상기 역다중화한 촉각 데이터를 해석하여 사용자에게 해당되는 촉각을 주는 촉각 전달 단계; 상기 역다중화한 후각 데이터를 해석하여 사용자에게 해당되는 후각을 주는 후각 전달 단계; 및 상기 역다중화한 미각 데이터를 해석하여 사용자에게 해당되는 미각을 주는 미각 전달 단계를 포함하되. 상기 촉각 패킷은 촉각 데이터 기술 유/무, 패킷 길이 및 촉각 데이터 기술자 정보를 포함하며, 상기 후각 패킷은 후각 데이터 기술 유/무, 패킷 길이 및 후각 데이터 기술자 정보를 포함하며, 상기 미각 패킷은 미각 데이터 기술 유/무, 패킷 길이 및 미각 데이터 기술자 정보를 포함하며, 상기 오감 데이터 패킷 역다중화 단계는, 상기 수신한 압축된 스트림 형태의 패킷을 디패킹하여 네트워크 관련정보를 제거한 후에 상기 멀티미디어 데이터의 각 프레임별로 비디오 데이터, 오디오 데이터, 촉각 데이터, 후각 데이터, 미각 데이터를 분리하여 그 헤더정보에 따라 각각의 오감 데이터를 해당되는 각 오감 데이터 처리 기기로 전달하는 것을 특징으로 한다.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 1은 본 발명에 따른 오감 데이터 동기화 전송 장치 및 그를 이용한 실감형 멀티미디어 데이터 제공 시스템에 대한 일실시예 구성도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 실감형 멀티미디어 데이터 제공 시스템에서 오감 데이터 동기화 전송 장치(송신단(100))는, 컨텐츠 제공업체 등의 외부기기로부터 제공되는 멀티미디어 데이터를 입력받아 영상 부호화 방식(예; MPEG-2 압축 부호화 방식) 등을 이용해 압축된 스트림 형태의 비디오/오디오 데이터를 생성하기 위한 비디오/오디오 데이터 생성모듈(10)과, 상기 비디오/오디오 데이터 생성모듈(10)에서 생성한 스트림 형태의 비디오/오디오 데이터를 전송방식에 적합한 패킷으로 구성하기 위한 비디오/오디오 패킷 구성모듈(11)과, 상기 컨텐츠 제공업체 등의 외부기기로부터 제공되는 멀티미디어 데이터에서 표현되는 진동 등을 기 정의된 촉각 데이터 기술자를 이용하여 기술하기 위한 촉각 데이터 기술모듈(12)과, 상기 컨텐츠 제공업체 등의 외부기기로부터 제공되는 멀티미디어 데이터에서 표현되는 향기를 기 정의된 후각 데이터 기술자를 이용하여 기술하기 위한 후각 데이터 기술모듈(13)과, 상기 컨텐츠 제공업체 등의 외부기기로부터 제공되는 멀티미디어 데이터에서 표현되는 맛을 기 정의된 미각 데이터 기술자를 이용하여 기술하기 위한 미각 데이터 기술모듈(14)과, 상기 촉각 데이터 기술모듈(12)과 상기 후각 데이터 기술모듈(13)과 상기 미각 데이터 기술모듈(14)에서 기술한 각각의 촉/후/미각 데이터를 전송방식에 적합한 패킷으로 구성하기 위한 촉/후/미각 패킷 구성모듈(15)과, 상기 비디오/오디오 패킷 구성모듈(11)에서 구성한 비디오/오디오 패킷과 상기 촉/후/미각 패킷 구성모듈(15)에서 구성한 촉/후/미각 패킷을 멀티미디어 데이터의 각 프레임별로 다중화하기 위한 다중화모듈(16) 및 상기 다중화모듈(16)에서 다중화한 패킷을 수신단(200)측으로 전송하기 위한 송신모듈(17)을 포함한다.
한편, 상기 수신단(200)은, 상기 송신단(100)으로부터 전송되는 스트림 형태 의 패킷을 수신하기 위한 수신모듈(20)과, 상기 수신모듈(20)에서 수신한 패킷을 디패킹하여 비디오 데이터, 오디오 데이터, 촉각 데이터, 미각 데이터, 후각 데이터로 역다중화한 후에 각 데이터를 해당 처리 기기로 전달하기 위한 역다중화모듈(21)과, 상기 역다중화모듈(21)에서 역다중화한 비디오 데이터 및 오디오 데이터를 복호화하기 위한 비디오/오디오 복호화모듈(22)과, 상기 비디오/오디오 복호화모듈(22)에서 복호화한 비디오 데이터를 화면 등에 출력하기 위한 비디오 기기(23)와, 상기 비디오/오디오 복호화모듈(22)에서 복호화한 오디오 데이터를 스피커 등에 출력하기 위한 오디오 기기(24)와, 상기 역다중화모듈(21)에서 역다중화한 촉각 데이터를 입력받아 사용자에게 진동을 주어 그 이동, 회전을 느끼도록 하기 위한 진동 기기(25)와, 상기 역다중화모듈(21)에서 역다중화한 후각 데이터를 입력받아 화학적 방향제 등을 사용자에게 분사하여 그 향기를 느끼도록 하기 위한 방향제 기기(26) 및 상기 역다중화모듈(21)에서 역다중화한 미각 데이터를 입력받아 화학적 조미료 등을 사용자에게 방출하여 그 맛을 느끼도록 하기 위한 미각 기기(27)를 포함한다.
여기서, 본 발명에 따른 실감형 멀티미디어 데이터 제공 시스템은 상기 송신단(100)과 수신단(200)을 포함하여 이루어진다.
다음으로, 상기 각 구성요소의 구성 및 동작을 좀 더 상세히 살펴보면 다음과 같다.
상기 비디오/오디오 패킷 구성모듈(11)은 상기 비디오/오디오 데이터 생성모듈(10)에서 생성한 압축된 스트림 형태의 비디오/오디오 데이터를 통신망을 통해 수신단(200)측으로 전송하기 적합하도록 헤더와 페이로드로 구성된 비디오/오디오 패킷으로 구성한다. 여기서, 헤더에는 목적지 주소, 데이터 손실 시 연속성을 체크하기 위한 정보, 타임 스탬프 등과 같은 시간 동기화를 조정하기 위한 정보 등이 포함되고, 페이로드에는 상기 압축된 스트림 형태의 비디오/오디오 데이터가 포함된다.
상기 촉각 데이터 기술모듈(12)은 상기 컨텐츠 제공업체 등의 외부기기로부터 제공되는 멀티미디어 데이터에서 표현되는 진동 등을, 촉각 데이터 기술 유/무, 좌/우 움직임 기술 유/무, 상/하 움직임 기술 유/무, 앞/뒤 움직임 기술 유/무, 움직임 거리, 움직임 속도, 움직임 가속도, 좌/우 회전 기술 유/무, 좌/우 회전 각도, 좌/우 회전 속도, 좌/우 회전 가속도 등의 기술자를 이용하여 기술한다.
상기 후각 데이터 기술모듈(13)은 상기 컨텐츠 제공업체 등의 외부기기로부터 제공되는 멀티미디어 데이터에서 표현되는 향기 등을, 후각 데이터 기술 유/무, 향기 종류, 향기 세기 등의 기술자를 이용하여 기술한다.
상기 미각 데이터 기술모듈(14)은 상기 컨텐츠 제공업체 등의 외부기기로부터 제공되는 멀티미디어 데이터에서 표현되는 맛 등을, 미각 데이터 기술 유/무, 맛 종류, 맛 세기 등의 기술자를 이용하여 기술한다.
예를 들어, 상기 수신단(200) 측으로 제공되는 실감형 영화 서비스와 관계된 제작자가 기 제작된 영화 등을 보면서 영화의 각 장면의 상황에서 표현되는 진동, 향기, 맛 등을 촉각 데이터 기술자, 후각 데이터 기술자 및 미각 데이터 기술자를 이용하여 각 장면에 부합되도록 촉/후/미각 데이터를 기술하여 비디오 데이터 및 오디오 데이터와 동기화시킨 후에 수신단(200) 측으로 전송되도록 한다. 여기서, 멀티미디어 데이터(영화)를 구성하는 다수의 프레임 중에서 각 프레임별로 촉/후/미각 데이터를 기술한다. 또한, 하나의 장면에서 촉/후/미각 데이터가 모두 기술되지 않을 수도 있으며, 촉/후/미각 데이터가 조합되어 기술될 수도 있다.
상기 촉/후/미각 패킷 구성모듈(15)은 상기 촉각 데이터 기술모듈(12), 후각 데이터 기술모듈(13) 및 미각 데이터 기술모듈(14)에서 해당 촉/후/미각 기술자를 이용하여 기술한 스트림 형태의 각 촉/후/미각 데이터를 통신망을 통해 수신단(200) 측으로 전송하기 적합하도록 헤더를 포함하는 패킷으로 구성한다. 여기서, 헤더에는 각 촉/후/미각 데이터를 기술한 기술자 정보가 포함된다. 또한, 상기 촉/후/미각 패킷 구성모듈(15)에서 구성되는 패킷에는 촉각 데이터, 후각 데이터, 미각 데이터가 순서대로 포함된다.
상기 다중화모듈(16)은 상기 비디오/오디오 패킷 구성모듈(11) 및 상기 촉/후/미각 패킷 구성모듈(15)에서 구성한 각각의 비디오/오디오 패킷 및 촉/후/미각 패킷을 동기화시킨다. 즉, 상기 다중화모듈(16)은 멀티미디어 데이터를 구성하는 각 프레임별로 상기 비디오/오디오 패킷을 모두 삽입한 후에 마지막 패킷에 상기 촉/후/미각 패킷을 삽입하여 다중화한다. 즉, 하나의 프레임은 다수의 비디오/오디오 패킷으로 구성되며, 이러한 각 프레임별로 다수의 패킷 중 마지막 패킷에 촉/후/미각 패킷이 삽입된다. 즉, 각 프레임별로 마지막 패킷에는 촉각 데이터, 후각 데이터, 미각 데이터가 순서대로 삽입된다.
상기 수신단(200)의 역다중화모둘(21)은 수신모듈(20)에서 수신한 스트림 형 태의 패킷을 디패킹하여 네트워크 관련 헤더정보(송신단(100) 주소 등)가 제거된 헤더와 페이로드로 구성되는 비디오/오디오 데이터와, 헤더로 구성되는 촉/후/미각 데이터로 역다중화한 후에 각 데이터를 해당 처리 기기로 전달한다. 여기서, 상기 역다중화모듈(21)은 수신된 패킷의 헤더를 검사하여 비디오 데이터, 오디오 데이터, 촉각 데이터, 후각 데이터, 미각 데이터인지를 확인한다. 즉, 하나의 프레임을 구성하는 비디오 데이터와 오디오 데이터가 모두 해당 처리 기기로 전달되고, 이어서 촉각 데이터, 후각 데이터 및 미각 데이터가 순서대로 해당 처리 기기로 전달됨으로써, 시각, 청각, 촉각, 후각, 미각, 즉 오감 데이터가 동기화되어 사용자가 멀티미디어 데이터의 각 장면의 상황에서 표현되는 진동, 향기, 맛 등을 영상과 사운드와 함께 느낄 수 있다.
상기 진동 기기(25)는 좌/우, 상/하, 앞/뒤 방향으로 움직임 및 회전이 되는 진동 의자 등으로 구현되며, 상기 역다중화모듈(21)에서 역다중화한(또는 분리한) 촉각 데이터를 해석하여 좌/우, 상/하, 앞/뒤 방향으로 움직이거나 회전한다. 이 때, 상기 진동 기기(25)의 특정 움직임 또는 회전에 대한 구동 시작시간 및 지속시간은 상기 비디오 기기(23) 및 상기 오디오 기기(24)에서 각각 출력하는 영상 및 사운드와 동기화되어 그 시간이 결정된다. 즉, 상기 송신단(100)측에서 하나의 영상 및 사운드에 대한 촉각 데이터를 전송함에 따라 진동 기기(25)는 전송되는 촉각 데이터를 해석하여 해당 방향으로 움직이거나 회전하고 있다가, 상기 송신단(100) 측에서 다른 영상 및 사운드에 대한 촉각 데이터를 전송함에 따라 진동 기기(25)는 전송되는 다른 촉각 데이터를 해석하여 이전 구동상태를 멈추고 다른 방향으로 움 직이거나 회전한다.
상기 방향제 기기(26)는 다수의 화학적 방향제 등을 구비하고 각 향기의 세기가 조정되는 방향제 분사기 등으로 구현되며, 상기 역다중화모듈(21)에서 역다중화한(또는 분리한) 후각 데이터를 해석하여 해당 세기의 향기를 갖는 화학적 방향제를 분사한다. 이 때, 상기 방향제 기기(26)의 특정 화학적 방향제 분사에 대한 구동 시작시간 및 지속시간은 상기 비디오 기기(23) 및 상기 오디오 기기(24)에서 출력하는 영상 및 사운드와 동기화되어 그 시간이 결정된다. 부가적으로, 이러한 방향제 기기(26)는 송신단(100) 측에서 기술하는 후각 데이터에 상응되는 다양한 향기를 분사하기 위해, 다수의 화학적 방향제를 섞어서 하나의 향기를 분사하거나 사전에 구비한 각각의 향기를 곧바로 분사할 수도 있다.
상기 미각 기기(26)는 다수의 화학적 조미료 등을 구비하고 있다가 빨대 등을 통해 사용자의 입으로 해당 맛을 내는 화학적 조미료가 방출되는 기기 등으로 구현되며, 상기 역다중화모듈(21)에서 역다중화한(또는 분리한) 미각 데이터를 해석하여 해당 세기의 맛을 갖는 화학적 조미료를 방출한다. 이 때, 상기 방향제 기기(26)의 특정 화학적 조미료 방출에 대한 구동 시작시간 및 지속시간은 상기 비디오 기기(23) 및 상기 오디오 기기(24)에서 출력하는 영상 및 사운드와 동기화되어 그 시간이 결정된다.
도 2a는 본 발명에 따른 촉각 데이터 기술자에 대한 일실시예 설명도이고, 도 2b는 본 발명에 따른 촉각 패킷의 헤더 구성에 대한 일실시예 설명도이다.
터치오브젝트플래그(TouchObjectFlag)는 촉각 데이터 기술(또는 존재) 유/무 를 나타낸다. 예를 들어, 터치오브젝트플래그(TouchObjectFlag)=1일 경우에는 촉각 데이터가 기술되었음을 나타내고, 그에 따라 수신단(200) 측의 역다중화모둘(21)에서 상기 촉각 데이터를 진동 기기(25)로 전달하게 되어 상기 진동 기기(25)가 활성화된다.
X_무브플래그(X_MoveFlag)는 촉각 데이터 중에서 좌/우 움직임 기술 유/무를 나타낸다. 예를 들어, X_무브플래그(X_MoveFlag)=1일 경우에는 상기 진동 기기(25)가 좌/우로 움직이게 된다.
Y_무브플래그(Y_MoveFlag)는 촉각 데이터 중에서 상/하 움직임 기술 유/무를 나타낸다. 예를 들어, Y_무브플래그(Y_MoveFlag)=1일 경우에는 상기 진동 기기(25)가 상/하로 움직이게 된다.
Z_무브플래그(Z_MoveFlag)는 촉각 데이터 중에서 앞/뒤 움직임 기술 유/무를 나타낸다. 예를 들어, Z_무브플래그(Z_MoveFlag)=1일 경우에는 상기 진동 기기(25)가 앞/뒤로 움직이게 된다.
여기서, 일정시간 동안에는 X_무브플래그(X_MoveFlag), Y_무브플래그(Y_MoveFlag), Z_무브플래그(Z_MoveFlag) 중에서 어느 하나의 무브플래그(MoveFlag)만이 활성화되며(MoveFlag=1), 그에 따라 상기 진동 기기(25)가 일정시간 동안에는 좌/우, 상/하, 앞/뒤 중 어느 하나의 방향으로만 움직이게 된다.
무브디스턴스(MoveDistance)는 촉각 데이터 중에서 좌/우, 상/하, 앞/뒤 중 어느 하나의 방향으로의 움직임 거리를 나타낸다. 즉, 이 무브디스턴스(MoveDistance)는 X_무브플래그, Y_무브플래그, Z_무브플래그 중에서 어느 하나의 무브플래그(MoveFlag)가 활성화됨에 따라 그 방향으로의 움직임 거리를 나타낸다. 예를 들어, X_무브플래그(X_MoveFlag)=1이고 무브디스턴스(MoveDistance)=10cm일 경우에는 상기 진동 기기(25)가 좌/우 10cm 간격으로 움직이게 된다.
무브스피드(MoveSpeed)는 촉각 데이터 중에서 좌/우, 상/하, 앞/뒤 중 어느 하나의 방향으로의 움직임 속도를 나타낸다. 예를 들어, X_무브플래그=1이고 무브디스턴스=10cm이고 무브스피드=5cm/second일 경우에는 상기 진동 기기(25)가 좌/우 10cm 간격을 2초동안 움직이게 된다.
무브억셀러레이션(MoveAcceleration)은 촉각 데이터 중에서 좌/우, 상/하, 앞/뒤 중 어느 하나의 방향으로의 움직임 가속도를 나타낸다. 예를 들어, X_무브플래그=1이고 무브디스턴스=10cm이고 무브스피드=5cm/second이고 무브억셀러레이션=5cm/second2일 경우에는 상기 진동 기기(25)가 좌/우 10cm 간격을 2초동안에 움직임이 가속도=5cm/second2로 서서히 증가하면서 움직이게 된다.
로테이션플래그(RotationFlag)는 촉각 데이터 중에서 좌/우 회전 기술 유/무를 나타낸다. 예를 들어, 로테이션플래그(RotationFlag)=1일 경우에는 상기 진동 기기(25)가 좌/우로 회전하면서 움직이게 된다.
로테이션앵글(RotationAngle)은 촉각 데이터 중에서 좌/우 회전 각도를 나타낸다.
로테이션스피드(RotationSpeed)는 촉각 데이터 중에서 좌/우 회전 속도를 나 타낸다.
로테이션억셀러레이션(RotationAcceleration)은 촉각 데이터 중에서 좌/우 회전 가속도를 나타낸다.
도 3a는 본 발명에 따른 후각 데이터 기술자에 대한 일실시예 설명도이고, 도 3b는 본 발명에 따른 후각 패킷의 헤더 구성에 대한 일실시예 설명도이다.
스멜오브젝트플래그(SmellObjectFlag)는 후각 데이터 기술(또는 존재) 유/무를 나타낸다. 예를 들어, 스멜오브젝트플래그(SmellObjectFlag)=1일 경우에는 후각 데이터가 기술되었음을 나타내고, 그에 따라 수신단(200) 측의 역다중화모듈(21)에서 상기 후각 데이터를 방향제 기기(26)로 전달하게 되어, 상기 방향제 기기(26)가 활성화된다.
타입(Type)은 후각 데이터 중에서 향기의 종류를 나타낸다. 예를 들어, 사전에 아로마 향기를 '100'으로 설정한 후에 스멜오브젝트플래그(SmellObjectFlag)=1이고 타입(Type)=100일 경우에는 상기 방향제 기기(26)가 아로마 향기를 내는 화학적 방향제를 분사하게 된다.
레벨(Level)은 후각 데이터 중에서 향기의 세기를 나타낸다. 예를 들어, 스멜오브젝트플래그(SmellObjectFlag)=1이고 타입(Type)=100이고 레벨(Level)=31일 경우에는 상기 방향제 기기(26)가 기 설정된 "31"정도의 강한 세기로 아로마 향기를 내는 화학적 방향제를 분사하게 된다. 즉, 레벨(Level) 값이 높을수록 향기의 세기가 강해진다.
도 4a는 본 발명에 따른 미각 데이터 기술자에 대한 일실시예 설명도이고, 도 4b는 본 발명에 따른 미각 패킷의 헤더 구성에 대한 일실시예 설명도이다.
테이스트오브젝트플래그(TasteObjectFlag)는 미각 데이터 기술(또는 존재) 유/무를 나타낸다. 예를 들어, 테이스트오브젝트플래그(TasteObjectFlag)=1일 경우에는 미각 데이터가 기술되었음을 나타내게 되고, 그에 따라 수신단(200) 측의 역다중화모듈(21)에서 상기 미각 데이터를 미각 기기(27)로 전달하게 되어 상기 미각 기기(27)가 활성화된다.
타입(Type)은 미각 데이터 중에서 미각의 종류를 나타낸다. 예를 들어, 사전에 매운맛을 '7'로 설정한 후에 테이스트오브젝트플래그(TasteObjectFlag)=1이고 타입(Type)=7일 경우에는 상기 미각 기기(27)가 매운맛을 내는 화학적 조미료를 방출하게 된다.
레벨(Level)은 미각 데이터 중에서 맛의 세기를 나타낸다. 예를 들어, 테이스트오브젝트플래그(TasteObjectFlag)=1이고 타입(Type)=7이고 레벨(Level)=31일 경우에는 상기 미각 기기(27)가 기 설정된 "31"정도의 강한 세기의 매운맛을 내는 화학적 조미료를 방출하게 된다.
도 5는 본 발명에 따른 오감 데이터 동기화 전송 방법 및 그를 이용한 실감형 멀티미디어 데이터 제공 방법에 대한 일실시예 흐름도이다.
먼저, 컨텐츠 제공업체 등의 외부기기로부터 제공되는 멀티미디어 데이터를 입력받는다(500).
그에 따라, 압축된 스트림 형태의 비디오/오디오 데이터를 생성한다(501). 즉, 컨텐츠 제공업체 등의 외부기기로부터 제공되는 멀티미디어 데이터를 입력받으 면 영상 부호화 방식(예; MPEG-2 압축 부호화 방식) 등을 이용하여 압축된 스트림 형태의 비디오/오디오 데이터를 생성한다.
그런 후, 상기 생성한 스트림 형태의 비디오/오디오 데이터를 비디오/오디오 패킷으로 구성한다(503). 즉, 상기 생성한 스트림 형태의 비디오/오디오 데이터를 통신망을 통해 수신단(200) 측으로 전송하기 적합하도록 목적지 주소 정보 등이 포함되는 헤더와 실질적인 비디오/오디오 데이터가 포함되는 페이로드로 구성된 비디오/오디오 패킷으로 구성한다.
한편, 상기 입력받은 멀티미디어 데이터에서 표현되는 각각의 진동/향기/맛 등을 각각의 촉/후/미각 데이터 기술자를 이용하여 기술한다(502). 즉, 상기 컨텐츠 제공업체 등의 외부기기로부터 제공되는 멀티미디어 데이터에서 표현되는 진동 등을 기 정의된 촉각 데이터 기술자를 이용하여 기술하고, 상기 컨텐츠 제공업체 등의 외부기기로부터 제공되는 멀티미디어 데이터에서 표현되는 향기를 기 정의된 후각 데이터 기술자를 이용하여 기술하고, 상기 컨텐츠 제공업체 등의 외부기기로부터 제공되는 멀티미디어 데이터에서 표현되는 맛 등을 기 정의된 미각 데이터 기술자를 이용하여 기술한다.
그런 후, 상기 기술한 촉/후/미각 데이터를 촉/후/미각 패킷으로 구성한다(504). 즉, 상기 기술한 촉각 데이터, 후각 데이터, 미각 데이터를 통신망을 통해 수신단(200) 측으로 전송하기 적합하도록 각각의 촉/후/미각 데이터 기술자 정보가 순서대로 포함되는 헤더로 구성된 촉/후/미각 패킷으로 구성한다.
이 후, 상기 구성한 비디오/오디오 패킷과 상기 구성한 촉/후/미각 패킷을 각 프레임별로 다중화한다(505). 이 때, 다중화모듈(16)은 비디오/오디오 패킷 구성모듈(11) 및 촉/후/미각 패킷 구성모듈(15)에서 재구성한 각각의 비디오/오디오 패킷 및 촉/후/미각 패킷을 동기화시킨다. 즉, 상기 다중화모듈(16)은 멀티미디어 데이터를 구성하는 각 프레임별로 다수의 비디오/오디오 패킷을 순서대로 삽입하고 마지막에 상기 촉/후/미각 패킷을 순서대로 삽입하여 다중화한다.
그런 다음, 상기 다중화한 패킷을 수신단(200) 측으로 전송한다(506).
그러면, 상기 수신단(200)이 수신한 패킷을 비디오/오디오 데이터와 촉/후/미각 데이터로 역다중화한다(507). 즉, 수신단(200)의 역다중화모듈(21)이 수신모듈(20)에서 수신한 스트림 형태의 패킷을 디패킹하여 수신된 패킷의 헤더를 검사하여 비디오 데이터, 오디오 데이터, 촉각 데이터, 후각 데이터, 미각 데이터인지를 확인한다.
그런 후, 상기 수신단(200) 측이 역다중화한 비디오/오디오 데이터를 복호화한다(508).
그런 후, 상기 수신단(200) 측이 복호화한 비디오 데이터를 비디오 기기(23)로 전달한다(509).
그리고, 상기 수신단(200) 측이 복호화한 오디오 데이터를 오디오 기기(24)로 전달한다(510).
그리고, 상기 수신단(200) 측이 '507' 과정에서 역다중화한 촉각 데이터를 진동 기기(25)로 전달한다(511).
그리고, 상기 수신단(200) 측이 '507' 과정에서 역다중화한 후각 데이터를 방향제 기기(26)로 전달한다(512).
그리고, 상기 수신단(200) 측이 '507' 과정에서 역다중화한 미각 데이터를 미각 기기(27)로 전달한다(513).
그에 따라, 상기 비디오 기기(23)가 비디오 데이터를 화면 등에 출력하고(514), 상기 오디오 기기(24)가 오디오 데이터를 스피커 등에 출력하며(515), 상기 진동 기기(25)가 촉각 데이터를 해석하여 사용자에게 그 촉각을 느끼도록 진동을 주고(516), 상기 방향제 기기(26)가 후각 데이터를 해석하여 사용자에게 그 향기를 느끼도록 화학적 방향제를 분사하며(517), 상기 미각 기기(270)가 미각 데이터를 해석하여 사용자에게 그 맛을 느끼도록 화학적 조미료를 방출한다(518).
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
상기와 같은 본 발명은, 멀티미디어 데이터에서 표현되는 진동, 향기, 맛 등을 촉/후/미각 데이터 기술자를 이용하여 각각 기술하여 멀티미디어 서비스를 감상하는 사용자측의 해당 기기로 전송함으로써, 멀티미디어 데이터에서 표현되는 오감이 정확히 표현될 수 있을 뿐만 아니라 사용자에게 보다 현실감있는 실감형 멀티미디어 서비스를 제공할 수 있는 효과가 있다.
또한, 상기 본 발명은, 멀티미디어 데이터의 각 프레임별로 비디오 데이터, 오디오 데이터, 촉각 데이터, 후각 데이터 및 미각 데이터가 동기화되어 사용자측으로 전송됨으로써, 진동 기기, 방향제 기기, 미각 기기가 멀티미디어 데이터의 각 장면에 부합된 진동, 향기, 맛 등을 사용자에게 정확히 제공할 수 있어서, 그에 따라 사용자에게 멀티미디어 데이터의 각 장면에서 표현되는 오감을 정확히 느끼도록 할 수 있는 효과가 있다.

Claims (15)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 오감 데이터 동기화 전송 장치에 있어서,
    외부기기로부터 멀티미디어 데이터를 입력받아 비디오/오디오 데이터를 생성하기 위한 비디오/오디오 데이터 생성수단; 상기 외부기기로부터 입력받은 멀티미디어 데이터에서 표현되는 촉각을 기 정의된 촉각 데이터 기술자를 이용하여 기술하기 위한 촉각 데이터 기술수단; 상기 외부기기로부터 입력받은 멀티미디어 데이터에서 표현되는 후각을 기 정의된 후각 데이터 기술자를 이용하여 기술하기 위한 후각 데이터 기술수단; 상기 외부기기로부터 입력받은 멀티미디어 데이터에서 표현되는 미각을 기 정의된 미각 데이터 기술자를 이용하여 기술하기 위한 미각 데이터 기술수단; 상기 비디오/오디오 데이터 생성수단에서 생성한 비디오/오디오 데이터를 비디오/오디오 패킷으로 구성하기 위한 비디오/오디오 패킷 구성수단; 상기 각 촉/후/미각 데이터 기술수단에서 기술한 각각의 촉/후/미각 데이터를 각각의 촉/후/미각 패킷으로 구성하기 위한 촉/후/미각 패킷 구성수단; 상기 비디오/오디오 패킷 구성수단에서 구성한 비디오/오디오 패킷 및 상기 각 촉/후/미각 패킷 구성수단에서 구성한 각각의 촉/후/미각 패킷을 다중화하여 동기화시키기 위한 다중화수단; 및 상기 다중화수단에서 다중화한 패킷을 전송하기 위한 송신수단을 포함하되,
    상기 촉각 데이터 기술자는,
    상기 멀티미디어 데이터에서 표현되는 촉각에 대해 촉각 데이터 기술 유/무, 좌/우 움직임 기술 유/무, 상/하 움직임 기술 유/무, 앞/뒤 움직임 기술 유/무, 움직임 거리, 움직임 속도, 움직임 가속도, 좌/우 회전 기술 유/무, 좌/우 회전 각도, 좌/우 회전 속도, 좌/우 회전 가속도 중 적어도 어느 하나를 포함하고,
    상기 후각 데이터 기술자는,
    상기 멀티미디어 데이터에서 표현되는 후각에 대해 후각 데이터 기술 유/무, 향기 종류, 향기 세기 중 적어도 어느 하나를 포함하고,
    상기 미각 데이터 기술자는,
    상기 멀티미디어 데이터에서 표현되는 미각에 대해 미각 데이터 기술 유/무, 맛 종류, 맛 세기 중 적어도 어느 하나를 포함하며,
    상기 촉각 패킷은 촉각 데이터 기술 유/무, 패킷 길이 및 촉각 데이터 기술자 정보를 포함하며, 상기 후각 패킷은 후각 데이터 기술 유/무, 패킷 길이 및 후각 데이터 기술자 정보를 포함하며, 상기 미각 패킷은 미각 데이터 기술 유/무, 패킷 길이 및 미각 데이터 기술자 정보를 포함하며,
    상기 다중화수단은,
    상기 멀티미디어 데이터의 각 프레임별로 상기 비디오/오디오 패킷 구성수단에서 구성한 다수의 비디오/오디오 패킷의 마지막에 상기 각 촉/후/미각 패킷 구성수단에서 각각 구성한 촉/후/미각 패킷을 삽입하여 다중화하여 동기화시키는 것을 특징으로 하는 오감 데이터 동기화 전송 장치.
  7. 삭제
  8. 삭제
  9. 오감 데이터 동기화 전송 방법에 있어서,
    외부기기로부터 멀티미디어 데이터를 입력받아 비디오/오디오 데이터를 생성하는 비디오/오디오 생성 단계; 상기 외부기기로부터 입력받은 멀티미디어 데이터에서 표현되는 각 촉각, 후각, 미각을 기 정의된 각각의 촉/후/미각 데이터 기술자를 이용하여 각각 촉/후/미각 데이터로 기술하는 촉/후/미각 기술 단계; 상기 생성한 비디오/오디오 데이터를 비디오/오디오 패킷으로 구성하고, 상기 기술한 각각의 촉/후/미각 데이터를 각각 촉/후/미각 패킷으로 구성하는 오감 데이터 패킷 구성 단계; 상기 구성한 비디오/오디오 패킷 및 상기 구성한 각각의 촉/후/미각 패킷을 다중화하여 동기화시키는 오감 데이터 패킷 다중화 단계; 및 상기 다중화한 패킷을 수신단측으로 전송하는 오감 데이터 패킷 전송 단계를 포함하되,
    상기 촉각 데이터 기술자는,
    상기 멀티미디어 데이터에서 표현되는 촉각에 대해 촉각 데이터 기술 유/무, 좌/우 움직임 기술 유/무, 상/하 움직임 기술 유/무, 앞/뒤 움직임 기술 유/무, 움직임 거리, 움직임 속도, 움직임 가속도, 좌/우 회전 기술 유/무, 좌/우 회전 각도, 좌/우 회전 속도, 좌/우 회전 가속도 중 적어도 어느 하나를 포함하고,
    상기 후각 데이터 기술자는,
    상기 멀티미디어 데이터에서 표현되는 후각에 대해 후각 데이터 기술 유/무, 향기 종류, 향기 세기 중 적어도 어느 하나를 포함하고,
    상기 미각 데이터 기술자는,
    상기 멀티미디어 데이터에서 표현되는 미각에 대해 미각 데이터 기술 유/무, 맛 종류, 맛 세기 중 적어도 어느 하나를 포함하며,
    상기 촉각 패킷은 촉각 데이터 기술 유/무, 패킷 길이 및 촉각 데이터 기술자 정보를 포함하며, 상기 후각 패킷은 후각 데이터 기술 유/무, 패킷 길이 및 후각 데이터 기술자 정보를 포함하며, 상기 미각 패킷은 미각 데이터 기술 유/무, 패킷 길이 및 미각 데이터 기술자 정보를 포함하며,
    상기 오감 데이터 패킷 다중화 단계는,
    상기 멀티미디어 데이터의 각 프레임별로 상기 다수의 비디오/오디오 패킷의 마지막에 상기 촉/후/미각 패킷을 삽입하여 다중화하여 동기화시키는 것을 특징으로 하는 오감 데이터 동기화 전송 방법.
  10. 삭제
  11. 실감형 멀티미디어 데이터 제공 시스템에 있어서,
    외부기기로부터 멀티미디어 데이터를 입력받아 비디오/오디오 데이터를 생성하기 위한 비디오/오디오 데이터 생성수단; 상기 외부기기로부터 입력받은 멀티미디어 데이터에서 표현되는 촉각을 기 정의된 촉각 데이터 기술자를 이용하여 기술하기 위한 촉각 데이터 기술수단; 상기 외부기기로부터 입력받은 멀티미디어 데이터에서 표현되는 후각을 기 정의된 후각 데이터 기술자를 이용하여 기술하기 위한 후각 데이터 기술수단; 상기 외부기기로부터 입력받은 멀티미디어 데이터에서 표현되는 미각을 기 정의된 미각 데이터 기술자를 이용하여 기술하기 위한 미각 데이터 기술수단; 상기 비디오/오디오 데이터 생성수단에서 생성한 비디오/오디오 데이터를 비디오/오디오 패킷으로 구성하기 위한 비디오/오디오 패킷 구성수단; 상기 각 촉/후/미각 데이터 기술수단에서 기술한 각각의 촉/후/미각 데이터를 각각의 촉/후/미각 패킷으로 구성하기 위한 촉/후/미각 패킷 구성수단; 상기 비디오/오디오 패킷 구성수단에서 구성한 비디오/오디오 패킷 및 상기 각 촉/후/미각 패킷 구성수단에서 구성한 각각의 촉/후/미각 패킷을 다중화하여 동기화시키기 위한 다중화수단; 상기 다중화수단에서 다중화한 패킷을 전송하기 위한 송신수단; 상기 송신수단으로부터 전송되는 다중화된 패킷을 수신하기 위한 수신수단; 상기 수신수단에서 수신한 패킷을 비디오 데이터, 오디오 데이터, 촉각 데이터, 후각 데이터, 미각 데이터로 역다중화하기 위한 역다중화수단; 상기 역다중화수단에서 역다중화한 비디오 데이터를 복호화하여 출력하기 위한 비디오 기기; 상기 역다중화수단에서 역다중화한 오디오 데이터를 복호화하여 출력하기 위한 오디오 기기; 상기 역다중화수단에서 역다중화한 촉각 데이터를 해석하여 사용자에게 촉각을 주기 위한 진동 기기; 상기 역다중화수단에서 역다중화한 후각 데이터를 해석하여 사용자에게 후각을 주기 위한 방향제 기기; 및 상기 역다중화수단에서 역다중화한 미각 데이터를 해석하여 사용자에게 미각을 주기 위한 미각 기기를 포함하되,
    상기 촉각 패킷은 촉각 데이터 기술 유/무, 패킷 길이 및 촉각 데이터 기술자 정보를 포함하며, 상기 후각 패킷은 후각 데이터 기술 유/무, 패킷 길이 및 후각 데이터 기술자 정보를 포함하며, 상기 미각 패킷은 미각 데이터 기술 유/무, 패킷 길이 및 미각 데이터 기술자 정보를 포함하며,
    상기 역다중화수단은,
    상기 수신수단에서 수신한 압축된 스트림 형태의 패킷을 디패킹하여 네트워크 관련정보를 제거한 후에 상기 멀티미디어 데이터의 각 프레임별로 비디오 데이터, 오디오 데이터, 촉각 데이터, 후각 데이터, 미각 데이터를 분리하여 그 헤더정보에 따라 각각의 데이터를 해당 처리 기기로 전달하는 것을 특징으로 하는 실감형 멀티미디어 데이터 제공 시스템.
  12. 제 11 항에 있어서,
    상기 진동 기기는,
    상기 역다중화수단에서 역다중화한 촉각 데이터를 기 정의된 촉각 데이터 기술자를 이용해 해석하여 좌/우, 상/하, 앞/뒤 방향으로 움직이거나 회전하며, 그 움직임 또는 회전에 대한 구동 시작시간 및 지속시간은 상기 비디오 기기 및 오디오 기기에서 각각 출력하는 영상 및 사운드와 동기화되는 것을 특징으로 하는 실감형 멀티미디어 데이터 제공 시스템.
  13. 제 11 항에 있어서,
    상기 방향제 기기는,
    상기 역다중화수단에서 역다중화한 후각 데이터를 기 정의된 후각 데이터 기술자를 이용해 해석하여 해당 세기의 향기를 갖는 화학적 방향제를 분사하며, 그 분사에 대한 구동 시작시간 및 지속시간은 상기 비디오 기기 및 오디오 기기에서 출력하는 영상 및 사운드와 동기화되는 것을 특징으로 하는 실감형 멀티미디어 데이터 제공 시스템.
  14. 제 11 항에 있어서,
    상기 미각 기기는,
    상기 역다중화수단에서 역다중화한 미각 데이터를 기 정의된 미각 데이터 기술자를 이용해 해석하여 해당 세기의 맛을 갖는 화학적 조미료를 방출하며, 그 방출에 대한 구동 시작시간 및 지속시간은 상기 비디오 기기 및 오디오 기기에서 출력하는 영상 및 사운드와 동기화되는 것을 특징으로 하는 실감형 멀티미디어 데이터 제공 시스템.
  15. 실감형 멀티미디어 데이터 제공 방법에 있어서,
    외부기기로부터 멀티미디어 데이터를 입력받아 비디오/오디오 데이터를 생성하는 비디오/오디오 생성 단계; 상기 외부기기로부터 입력받은 멀티미디어 데이터에서 표현되는 각 촉각, 후각, 미각을 기 정의된 각각의 촉/후/미각 데이터 기술자를 이용하여 각각 촉/후/미각 데이터로 기술하는 촉/후/미각 기술 단계; 상기 생성한 비디오/오디오 데이터를 비디오/오디오 패킷으로 구성하고, 상기 기술한 각각의 촉/후/미각 데이터를 각각 촉/후/미각 패킷으로 구성하는 오감 데이터 패킷 구성 단계; 상기 구성한 비디오/오디오 패킷 및 상기 구성한 각각의 촉/후/미각 패킷을 다중화하여 동기화시키는 오감 데이터 패킷 다중화 단계; 상기 다중화한 패킷을 수신단측으로 전송하는 오감 데이터 패킷 전송 단계; 상기 오감 데이터 패킷 전송 단계에서 전송한 다중화된 패킷을 수신하여 비디오 데이터, 오디오 데이터, 촉각 데이터, 후각 데이터, 및 미각 데이터로 역다중화하는 오감 데이터 패킷 역다중화 단계; 상기 역다중화한 비디오 데이터 및 오디오 데이터를 복호화하여 출력하는 비디오/오디오 출력 단계; 상기 역다중화한 촉각 데이터를 해석하여 사용자에게 해당되는 촉각을 주는 촉각 전달 단계; 상기 역다중화한 후각 데이터를 해석하여 사용자에게 해당되는 후각을 주는 후각 전달 단계; 및 상기 역다중화한 미각 데이터를 해석하여 사용자에게 해당되는 미각을 주는 미각 전달 단계를 포함하되.
    상기 촉각 패킷은 촉각 데이터 기술 유/무, 패킷 길이 및 촉각 데이터 기술자 정보를 포함하며, 상기 후각 패킷은 후각 데이터 기술 유/무, 패킷 길이 및 후각 데이터 기술자 정보를 포함하며, 상기 미각 패킷은 미각 데이터 기술 유/무, 패킷 길이 및 미각 데이터 기술자 정보를 포함하며,
    상기 오감 데이터 패킷 역다중화 단계는,
    상기 수신한 압축된 스트림 형태의 패킷을 디패킹하여 네트워크 관련정보를 제거한 후에 상기 멀티미디어 데이터의 각 프레임별로 비디오 데이터, 오디오 데이터, 촉각 데이터, 후각 데이터, 미각 데이터를 분리하여 그 헤더정보에 따라 각각의 오감 데이터를 해당되는 각 오감 데이터 처리 기기로 전달하는 것을 특징으로 하는 실감형 멀티미디어 데이터 제공 방법.
KR1020030079865A 2003-11-12 2003-11-12 오감 데이터 동기화 전송 장치 및 그 방법과 그를 이용한실감형 멀티미디어 데이터 제공 시스템 및 그 방법 KR100581060B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020030079865A KR100581060B1 (ko) 2003-11-12 2003-11-12 오감 데이터 동기화 전송 장치 및 그 방법과 그를 이용한실감형 멀티미디어 데이터 제공 시스템 및 그 방법
AT03781076T ATE484132T1 (de) 2003-11-12 2003-12-30 Vorrichtung und verfahren zum synchronisierten senden der fünf sinne mit a/v-daten
DE60334504T DE60334504D1 (de) 2003-11-12 2003-12-30 Vorrichtung und verfahren zum synchronisierten senden der fünf sinne mit a/v-daten
US10/579,349 US20070126927A1 (en) 2003-11-12 2003-12-30 Apparatus and method for transmitting synchronized the five senses with a/v data
AU2003289585A AU2003289585A1 (en) 2003-11-12 2003-12-30 Apparatus and method for transmitting synchronized the five senses with a/v data
EP03781076A EP1690378B1 (en) 2003-11-12 2003-12-30 Apparatus and method for transmitting synchronized the five senses with a/v data
PCT/KR2003/002917 WO2005048541A1 (en) 2003-11-12 2003-12-30 Apparatus and method for transmitting synchronized the five senses with a/v data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030079865A KR100581060B1 (ko) 2003-11-12 2003-11-12 오감 데이터 동기화 전송 장치 및 그 방법과 그를 이용한실감형 멀티미디어 데이터 제공 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20050045700A KR20050045700A (ko) 2005-05-17
KR100581060B1 true KR100581060B1 (ko) 2006-05-22

Family

ID=36649270

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030079865A KR100581060B1 (ko) 2003-11-12 2003-11-12 오감 데이터 동기화 전송 장치 및 그 방법과 그를 이용한실감형 멀티미디어 데이터 제공 시스템 및 그 방법

Country Status (7)

Country Link
US (1) US20070126927A1 (ko)
EP (1) EP1690378B1 (ko)
KR (1) KR100581060B1 (ko)
AT (1) ATE484132T1 (ko)
AU (1) AU2003289585A1 (ko)
DE (1) DE60334504D1 (ko)
WO (1) WO2005048541A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100860547B1 (ko) 2007-03-02 2008-09-26 광주과학기술원 촉감 정보 저작 방법과 장치, 및 컴퓨터로 판독가능한 기록매체
US10628121B2 (en) 2015-10-01 2020-04-21 Samsung Electronics Co., Ltd. Electronic device and method for controlling the same

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060256234A1 (en) * 2005-04-26 2006-11-16 Philippe Roy Method and apparatus for encoding a motion signal with a sound signal
US8700791B2 (en) * 2005-10-19 2014-04-15 Immersion Corporation Synchronization of haptic effect data in a media transport stream
US7627890B2 (en) * 2006-02-21 2009-12-01 At&T Intellectual Property, I,L.P. Methods, systems, and computer program products for providing content synchronization or control among one or more devices
KR101134926B1 (ko) * 2006-11-03 2012-04-17 엘지전자 주식회사 방송용 단말기 및 방송용 단말기의 진동 제어 방법
KR101131856B1 (ko) 2006-11-03 2012-03-30 엘지전자 주식회사 방송 신호 송신 장치 및 이를 이용한 방송 신호 송수신방법
WO2008069529A1 (en) * 2006-12-04 2008-06-12 Electronics And Telecommunications Research Institute Apparatus and method for encoding the five senses information, system and method for providing realistic service using five senses integration interface
KR20090003035A (ko) * 2006-12-04 2009-01-09 한국전자통신연구원 오감정보 부호화 장치 및 방법과 오감 융합 인터페이스를이용한 실감 서비스 시스템 및 방법
KR100835297B1 (ko) * 2007-03-02 2008-06-05 광주과학기술원 촉감 정보 표현을 위한 노드 구조 및 이를 이용한 촉감정보 전송 방법과 시스템
KR101352790B1 (ko) * 2007-07-27 2014-01-16 삼성전자주식회사 환경정보 제공방법, 이를 적용한 영상기기 및 영상 시스템
US9019087B2 (en) * 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
TW200924509A (en) * 2007-11-21 2009-06-01 Altek Corp Set aural device and method therefore
KR100914418B1 (ko) 2007-12-17 2009-08-31 한국전자통신연구원 실감형 멀티미디어 재생 시스템 및 방법
KR100909954B1 (ko) * 2007-12-17 2009-07-30 한국전자통신연구원 사용자기기를 이용한 감성 메시지 작성 및 표현 방법과이를 위한 사용자기기
JP2009194597A (ja) * 2008-02-14 2009-08-27 Sony Corp 送受信システム、送信装置、送信方法、受信装置、受信方法、提示装置、提示方法、プログラム、及び記録媒体
KR100924827B1 (ko) * 2008-04-22 2009-11-03 한국과학기술원 컴퓨터 기반 장치의 데이터 속성에 대한 햅틱 재현 시스템및 방법
EP2285270B1 (en) * 2008-05-08 2016-04-20 Koninklijke Philips N.V. Method and system for determining a physiological condition
KR20110018343A (ko) * 2008-05-09 2011-02-23 코닌클리케 필립스 일렉트로닉스 엔.브이. 송신될 메시지의 생성
CN102016759A (zh) * 2008-05-09 2011-04-13 皇家飞利浦电子股份有限公司 用于传送情绪的方法和系统
US8208787B2 (en) 2008-12-02 2012-06-26 Electronics And Telecommunications Research Institute SMMD media producing and reproducing apparatus
US20100138881A1 (en) * 2008-12-02 2010-06-03 Park Wan Ki Smmd home server and method for realistic media reproduction
KR101328173B1 (ko) * 2009-12-11 2013-11-13 한국전자통신연구원 실감 통신 단말 장치 및 이를 이용한 실감 통신 방법
US9473813B2 (en) * 2009-12-31 2016-10-18 Infosys Limited System and method for providing immersive surround environment for enhanced content experience
US20110282967A1 (en) * 2010-04-05 2011-11-17 Electronics And Telecommunications Research Institute System and method for providing multimedia service in a communication system
KR101746453B1 (ko) * 2010-04-12 2017-06-13 삼성전자주식회사 실감 효과 처리 시스템 및 방법
KR101493884B1 (ko) * 2010-11-19 2015-02-17 한국전자통신연구원 4ｄ 방송 서비스를 위한 방송 네트워크와 홈 네트워크의 제어 방법 및 장치
US20120169855A1 (en) * 2010-12-30 2012-07-05 Electronics And Telecommunications Research Institute System and method for real-sense acquisition
KR101844787B1 (ko) * 2011-12-19 2018-05-21 한국전자통신연구원 콘텐츠와 냄새인식장치 간의 상호협력 장치 및 방법
KR101154122B1 (ko) * 2012-02-20 2012-06-11 씨제이포디플렉스 주식회사 영상과 모션 간의 시간 동기화를 이용한 모션 제어 시스템 및 그 방법
US9147329B2 (en) * 2013-05-17 2015-09-29 Edward D. Bugg, JR. Sensory messaging systems and related methods
US9158379B2 (en) 2013-09-06 2015-10-13 Immersion Corporation Haptic warping system that transforms a haptic signal into a collection of vibrotactile haptic effect patterns
US9245429B2 (en) * 2013-09-06 2016-01-26 Immersion Corporation Haptic warping system
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9652945B2 (en) 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9711014B2 (en) 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
EP3266162A1 (en) 2015-03-06 2018-01-10 Flavour Message AG Gustotary message processing system and method
KR101670736B1 (ko) * 2015-05-20 2016-11-03 한국과학기술연구원 멀티미디어와 연동하여 현실감을 증진하는 뇌 자극 장치 및 방법
EP3099030A1 (en) * 2015-05-26 2016-11-30 Thomson Licensing Method and device for encoding/decoding a packet comprising data representative of a haptic effect
KR101656871B1 (ko) * 2015-08-18 2016-09-13 광운대학교 산학협력단 미디어 데이터 스트림을 동기화시키기 위한 방법, 동기화 서버 및 컴퓨터 판독 가능한 기록매체
US10101804B1 (en) * 2017-06-21 2018-10-16 Z5X Global FZ-LLC Content interaction system and method
US10743087B2 (en) * 2017-06-21 2020-08-11 Z5X Global FZ-LLC Smart furniture content interaction system and method
KR102150282B1 (ko) * 2017-07-13 2020-09-01 한국전자통신연구원 멀티미디어 콘텐츠와 연관되는 후각 정보 생성 장치 및 방법
CN108833937B (zh) * 2018-05-30 2021-03-23 华为技术有限公司 视频处理方法和装置
WO2020183235A1 (en) * 2019-03-13 2020-09-17 Z5X Global FZ-LLC Smart furniture content interaction system and method
US10951951B2 (en) 2019-07-30 2021-03-16 Sony Interactive Entertainment Inc. Haptics metadata in a spectating stream
US11647261B2 (en) * 2019-11-22 2023-05-09 Sony Corporation Electrical devices control based on media-content context
MA50824B1 (fr) 2020-09-07 2022-06-30 Univ Sidi Mohammed Ben Abdellah Système intelligent pour contrôler le bon fonctionnement de l'odorat pour détecter les personnes atteintes de covid-19
TWI801128B (zh) 2022-02-09 2023-05-01 金寶電子工業股份有限公司 味覺回饋裝置、回饋系統及回饋方法

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5220434A (en) * 1979-08-15 1993-06-15 Discovision Associates Video recording medium for stop-motion playback
FR2616604B1 (fr) * 1987-06-15 1989-09-22 Lespagnol Albert Equipement de reconstitution et multiplexage de trames d'origines diverses constituees de paquets de longueur fixe en nombre variable
US5341229A (en) * 1988-07-14 1994-08-23 Larry Rowan Holographic display system
JP3308563B2 (ja) * 1991-07-15 2002-07-29 株式会社日立製作所 多地点テレビ会議システム
DE4135796A1 (de) * 1991-10-30 1993-05-06 Goetz-Ulrich London Gb Wittek Verfahren und vorrichtung fuer die ereignisbezogene oder szenengenaue duftdarbietung bei cinematographischen auffuehrungen und dergleichen
US5260989A (en) * 1992-05-21 1993-11-09 International Business Machines Corporation Method and system for enhanced data transmission in a cellular telephone system
KR960004813B1 (ko) * 1992-10-06 1996-04-13 엘지전자주식회사 향기 발생용 티브이(tv) 방송 송수신 장치
US5535204A (en) * 1993-01-08 1996-07-09 Multi-Tech Systems, Inc. Ringdown and ringback signalling for a computer-based multifunction personal communications system
US5544320A (en) * 1993-01-08 1996-08-06 Konrad; Allan M. Remote information service access system based on a client-server-service model
JPH10504920A (ja) * 1994-08-18 1998-05-12 インターヴァル リサーチ コーポレイション ビデオ用の内容に基づく感覚入力装置
US5619733A (en) * 1994-11-10 1997-04-08 International Business Machines Corporation Method and apparatus for synchronizing streaming and non-streaming multimedia devices by controlling the play speed of the non-streaming device in response to a synchronization signal
JP2000501033A (ja) * 1995-11-30 2000-02-02 ヴァーチャル テクノロジーズ インコーポレイテッド 触覚をフィードバックする人間／機械インターフェース
US6161126A (en) * 1995-12-13 2000-12-12 Immersion Corporation Implementing force feedback over the World Wide Web and other computer networks
AU6077196A (en) * 1996-02-01 1997-08-07 Mitsubishi Denki Kabushiki Kaisha Multimedia information processing system
JPH09219851A (ja) * 1996-02-09 1997-08-19 Nec Corp 多地点ビデオ会議制御方法及び装置
US5907366A (en) * 1996-04-02 1999-05-25 Digital Video Systems, Inc. Vertical blanking insertion device
US5870444A (en) * 1996-04-23 1999-02-09 Scientific-Atlanta, Inc. Method and apparatus for performing very fast message synchronization
EP0806873A3 (en) * 1996-05-08 1998-11-18 Matsushita Electric Industrial Co., Ltd. Multiplex transmission method and system, and audio jitter absorbing method used therein
KR19980022757U (ko) * 1996-10-29 1998-07-25 배순훈 영상 기기의 냄새 발생 장치
US6404776B1 (en) * 1997-03-13 2002-06-11 8 × 8, Inc. Data processor having controlled scalable input data source and method thereof
US6007338A (en) * 1997-11-17 1999-12-28 Disney Enterprises, Inc. Roller coaster simulator
US6659773B2 (en) * 1998-03-04 2003-12-09 D-Box Technology Inc. Motion transducer system
JPH11252519A (ja) * 1998-03-05 1999-09-17 Mitsubishi Electric Corp 番組情報伝送装置及び番組情報伝送方法
US6024783A (en) * 1998-06-09 2000-02-15 International Business Machines Corporation Aroma sensory stimulation in multimedia
WO1999067763A1 (fr) * 1998-06-23 1999-12-29 Yukio Ito Systeme de transmission d'odeurs dans un environnement multimedia
US6430159B1 (en) * 1998-12-23 2002-08-06 Cisco Systems Canada Co. Forward error correction at MPEG-2 transport stream layer
ATE248611T1 (de) * 1999-06-22 2003-09-15 Stefan Ruetz Technologies Gerät zur abgabe von düften und aromenspeicher (duftchip)
US6826179B1 (en) * 2000-03-09 2004-11-30 L-3 Communications Corporation Packet channel implementation
US6993009B2 (en) * 2000-03-10 2006-01-31 Hughes Electronics Corporation Method and apparatus for deriving uplink timing from asynchronous traffic across multiple transport streams
US7647619B2 (en) * 2000-04-26 2010-01-12 Sony Corporation Scalable filtering table
KR20010111600A (ko) * 2000-06-12 2001-12-19 김민기, 요꼬하마 영화 상영시스템
JP2002077444A (ja) * 2000-08-31 2002-03-15 Nec Access Technica Ltd 香気・味覚の回線伝達システムおよび回線伝達方法
JP2002257568A (ja) * 2001-03-05 2002-09-11 Denso Corp ニオイ付情報再生方法及びその装置
US20020180891A1 (en) * 2001-04-11 2002-12-05 Cyber Operations, Llc System and method for preconditioning analog video signals
JP3560936B2 (ja) * 2001-06-05 2004-09-02 オープンインタフェース株式会社 感性データ算出方法および感性データ算出装置
US7068601B2 (en) * 2001-07-16 2006-06-27 International Business Machines Corporation Codec with network congestion detection and automatic fallback: methods, systems & program products
US20030033602A1 (en) * 2001-08-08 2003-02-13 Simon Gibbs Method and apparatus for automatic tagging and caching of highlights
JP4649091B2 (ja) * 2002-01-30 2011-03-09 株式会社エヌ・ティ・ティ・ドコモ 通信端末、サーバ装置、中継装置、放送通信システム、放送通信方法及びプログラム
US7347815B2 (en) * 2002-02-12 2008-03-25 Razz Serbanescu Method and apparatus for converting sense-perceived thoughts and actions into physical sensory stimulation
WO2003071686A1 (en) * 2002-02-22 2003-08-28 Nokia Corporation Method, device and system for coding, processing and decoding odor information
US6930590B2 (en) * 2002-06-10 2005-08-16 Ownway Biotronics, Inc. Modular electrotactile system and method
ITTO20020858A1 (it) * 2002-10-04 2004-04-05 Rai Radiotelevisione Italiana Sistema di trasmissione di segnali digitali dvb/mpeg,particolarmente per comunicazioni via satellite
US7756002B2 (en) * 2003-01-30 2010-07-13 Texas Instruments Incorporated Time-frequency interleaved orthogonal frequency division multiplexing ultra wide band physical layer
US7574524B2 (en) * 2003-09-30 2009-08-11 International Business Machines Corporation Method and system for on-demand allocation of a dynamic network of services
US7966034B2 (en) * 2003-09-30 2011-06-21 Sony Ericsson Mobile Communications Ab Method and apparatus of synchronizing complementary multi-media effects in a wireless communication device
US7808895B2 (en) * 2003-10-30 2010-10-05 Intel Corporation Isochronous device communication management

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100860547B1 (ko) 2007-03-02 2008-09-26 광주과학기술원 촉감 정보 저작 방법과 장치, 및 컴퓨터로 판독가능한 기록매체
US10628121B2 (en) 2015-10-01 2020-04-21 Samsung Electronics Co., Ltd. Electronic device and method for controlling the same

Also Published As

Publication number Publication date
EP1690378B1 (en) 2010-10-06
EP1690378A1 (en) 2006-08-16
ATE484132T1 (de) 2010-10-15
EP1690378A4 (en) 2008-10-22
WO2005048541A1 (en) 2005-05-26
KR20050045700A (ko) 2005-05-17
DE60334504D1 (de) 2010-11-18
US20070126927A1 (en) 2007-06-07
AU2003289585A1 (en) 2005-06-06

Similar Documents

Publication Publication Date Title
KR100581060B1 (ko) 오감 데이터 동기화 전송 장치 및 그 방법과 그를 이용한실감형 멀티미디어 데이터 제공 시스템 및 그 방법
US11848972B2 (en) Multi-device audio streaming system with synchronization
US7010492B1 (en) Method and apparatus for dynamic distribution of controlled and additional selective overlays in a streaming media
KR100835297B1 (ko) 촉감 정보 표현을 위한 노드 구조 및 이를 이용한 촉감정보 전송 방법과 시스템
TW488168B (en) Method and apparatus for user-controlled selective overlay in a streaming media
KR100864826B1 (ko) 디지털 방송기반의 3차원 정지영상 서비스 방법 및 장치
KR101134926B1 (ko) 방송용 단말기 및 방송용 단말기의 진동 제어 방법
CN111277854A (zh) 一种虚拟直播间的展示方法、装置、电子设备和存储介质
WO2007082485A1 (fr) Système et procédé permettant de créer une image vidéo interactive
CN101222286B (zh) 传输广播信号的装置以及发送和接收广播信号的方法
KR20100114857A (ko) 사용자 실감 효과 선호정보를 이용한 실감 효과 표현 방법 및 장치
CN113457123A (zh) 基于云游戏的互动方法、装置、电子设备及可读存储介质
CN110874139A (zh) 用于流式传输触觉效果的系统、设备和方法
US7149770B1 (en) Method and system for client-server interaction in interactive communications using server routes
WO2017002642A1 (ja) 情報機器及び表示処理方法
KR101808452B1 (ko) 하이브리드 ｖｒ 노래방 시스템
JP6688378B1 (ja) コンテンツ配信システム、配信装置、受信装置及びプログラム
WO1999039272A1 (en) Method and system for client-server interaction in interactive communications
KR100813015B1 (ko) 감각 데이터의 가공 시스템 및 그 가공 방법
JP2013034227A (ja) コンテンツ提供システム、コンテンツ生成装置、コンテンツ再生装置及びコンテンツ提供方法
KR20130103931A (ko) 메타데이터 우선제공 증강방송 장치 및 방법
KR100253011B1 (ko) 멀티미디어의 향발생 시스템
JP4295470B2 (ja) コンテンツ提供システム、コンテンツ受信装置、コンテンツ提供方法、コンテンツ受信方法、コンテンツ提供プログラムおよびコンテンツ受信プログラム
KR20030056103A (ko) 엠펙-4 장면 기술자를 이용한 엠펙-2 비디오의 특정 영역활성화 장치 및 그 방법
JP6523038B2 (ja) 感覚提示装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130424

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140430

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150508

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160517

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20180125

Year of fee payment: 12

R401 Registration of restoration
FPAY Annual fee payment

Payment date: 20180605

Year of fee payment: 13

LAPS Lapse due to unpaid annual fee