KR101748194B1 - 통신 시스템에서 멀티미디어 서비스 제공 시스템 및 방법 - Google Patents

통신 시스템에서 멀티미디어 서비스 제공 시스템 및 방법 Download PDF

Info

Publication number
KR101748194B1
KR101748194B1 KR1020110071886A KR20110071886A KR101748194B1 KR 101748194 B1 KR101748194 B1 KR 101748194B1 KR 1020110071886 A KR1020110071886 A KR 1020110071886A KR 20110071886 A KR20110071886 A KR 20110071886A KR 101748194 B1 KR101748194 B1 KR 101748194B1
Authority
KR
South Korea
Prior art keywords
sensor type
data
syntax
multimedia
information
Prior art date
Application number
KR1020110071886A
Other languages
English (en)
Other versions
KR20120011800A (ko
Inventor
임성용
이인재
차지훈
임영권
박민식
김진웅
이중윤
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020110071886A priority Critical patent/KR101748194B1/ko
Priority to US13/187,604 priority patent/US20120023161A1/en
Publication of KR20120011800A publication Critical patent/KR20120011800A/ko
Application granted granted Critical
Publication of KR101748194B1 publication Critical patent/KR101748194B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program

Abstract

본 발명은, 다양한 형태의 멀티미디어 컨텐츠, 및 상기 멀티미디어 컨텐츠의 제공 시에 멀티포인트들(multi-points)에서 센싱된 정보(sensed information)를 사용자들에게 실시간으로 고속 제공하는 멀티미디어 서비스 제공 시스템 및 방법에 관한 것으로, 사용자들이 제공받고자 하는 멀티미디어 서비스의 서비스 요구에 따라, 상기 멀티미디어 서비스에 해당하는 멀티미디어 컨텐츠의 장면 표현(scene representation) 및 실감 효과(sensory effect)들을 멀티포인트들(multi-points)에서 센싱하고, 상기 멀티포인트들에서의 센싱에 상응하여 상기 장면 표현 및 실감 효과들에 대한 센싱된 정보(sensed information)를 생성하며, 상기 센싱된 정보를 이진 표기(binary representation)로 부호화하여 송신한다.

Description

통신 시스템에서 멀티미디어 서비스 제공 시스템 및 방법{System and method for providing multimedia service in a communication system}
본 발명은 통신 시스템에 관한 것으로서, 특히 다양한 형태의 멀티미디어 컨텐츠, 및 상기 멀티미디어 컨텐츠의 제공 시에 멀티포인트들(multi-points)에서 센싱된 정보(sensed information)를 사용자들에게 실시간으로 고속 제공하는 멀티미디어 서비스 제공 시스템 및 방법에 관한 것이다.
통신 시스템에서는 고속의 전송 속도를 가지는 다양한 서비스 품질(QoS: Quality of Service, 이하 'QoS'라 칭하기로 함)의 서비스들을 사용자들에게 제공하기 위한 활발한 연구가 진행되고 있다. 이러한 통신 시스템은, 다양한 형태의 서비스를 제공받고자 하는 사용자들의 서비스 요구(service request)에 따라 다양한 형태의 서비스 데이터를 한정된 자원을 통해 빠르고 안정적으로 사용자들에게 전송하여, 각 사용자들이 요구한 서비스를 제공하기 위한 방안들이 제안되고 있다.
한편, 현재 통신 시스템에서는 사용자들의 다양한 서비스 요구에 따라, 대용량의 서비스 데이터를 고속으로 전송하기 위한 방안들이 제안되고 있으며, 특히 다양한 멀티미디어 서비스를 제공받고자 하는 사용자들의 서비스 요구에 상응하여 대용량의 멀티미디어 데이터를 고속으로 전송하기 위한 방안에 대해 연구가 활발하게 진행되고 있다. 다시 말해, 통신 시스템을 통해 사용자들은, 보다 고품질의 다양한 멀티미디어 서비스를 제공받기를 원하고 있으며, 특히 멀티미디어 서비스에 해당하는 멀티미디어 컨텐츠뿐만 아니라 상기 멀티미디어 컨텐츠의 다양한 실감 효과들을 제공받아, 보다 고품질의 멀티미디어 서비스를 제공받고자 한다.
하지만, 현재 통신 시스템에서는, 사용자들의 멀티미디어 서비스 요구에 따라 멀티미디어 컨텐츠를 전송하여, 상기 사용자들이 요구한 멀티미디어 서비스를 제공함에는 한계가 있다. 특히, 현재 통신 시스템에서는, 전술한 바와 같이 사용자들의 보다 다양한 고품질의 멀티미디어 서비스 요구에 상응하여, 멀티미디어 컨텐츠뿐만 아니라, 상기 멀티미디어 컨텐츠의 제공 시에 사용자 디바이스들(user devices)과의 사용자 상호 작용(user interaction)을 위해 다양한 센싱된 정보들로 멀티포인트들에서 획득된 정보, 예컨대 상기 멀티미디어 컨텐츠의 부가 데이터(additional data)를 사용자들에게 전송하기 위한 구체적인 방안이 아직까지 제안되고 있지 않다. 즉, 현재 통신 시스템에서는, 상기 멀티미디어 컨텐츠 및 상기 멀티미디어 컨텐츠의 부가 데이터를 고속으로 전송하여 각 사용자들에게 다양한 고품질의 멀티미디어 서비스를 실시간으로 제공하기 위한 구체적인 방안이 제안되고 있지 않다.
따라서, 통신 시스템에서 사용자들의 서비스 요구에 상응하여 다양한 고품질의 대용량 멀티미디어 서비스를 고속으로 제공하며, 특히 각 사용자들이 요구한 고품질의 대용량 멀티미디어 서비스를 실시간으로 제공하기 위한 방안이 필요하다.
따라서, 본 발명의 목적은 통신 시스템에서 멀티미디어 서비스를 제공하는 시스템 및 방법을 제공함에 있다.
또한, 본 발명의 다른 목적은, 통신 시스템에서, 사용자들의 서비스 요구에 따라 다양한 고품질의 멀티미디어 서비스를 사용자들에게 빠르게 실시간으로 제공하는 멀티미디어 서비스 제공 시스템 및 방법을 제공함에 있다.
그리고, 본 발명의 또 다른 목적은, 통신 시스템에서 각 사용자들이 제공받고자 하는 멀티미디어 서비스의 멀티미디어 컨텐츠, 및 상기 멀티미디어 컨텐츠의 제공 시에 멀티포인트들(multi-points)에서 획득된 정보를 고속으로 전송하여, 다양한 고품질의 멀티미디어 서비스를 실시간으로 각 사용자들에게 제공하는 멀티미디어 서비스 제공 시스템 및 방법을 제공함에 있다.
상기한 목적들을 달성하기 위한 본 발명의 시스템은, 통신 시스템에서 멀티미디서 서비스를 제공하는 시스템에 있어서, 사용자들이 제공받고자 하는 멀티미디어 서비스의 서비스 요구에 따라, 상기 멀티미디어 서비스에 해당하는 멀티미디어 컨텐츠의 장면 표현(scene representation) 및 실감 효과(sensory effect)들을 센싱하는 센싱부; 상기 장면 표현 및 실감 효과들의 센싱에 상응하여 센싱된 정보(sensed information)를 생성하는 생성부; 및 상기 센싱된 정보를 이진 표기(binary representation)로 부호화하여 서버로 송신하는 송신부;를 포함한다.
상기한 목적들을 달성하기 위한 본 발명의 방법은, 통신 시스템에서 멀티미디서 서비스를 제공하는 방법에 있어서, 사용자들이 제공받고자 하는 멀티미디어 서비스의 서비스 요구에 따라, 상기 멀티미디어 서비스에 해당하는 멀티미디어 컨텐츠의 장면 표현(scene representation) 및 실감 효과(sensory effect)들을 멀티포인트들(multi-points)에서 센싱하는 단계; 상기 멀티포인트들에서의 센싱에 상응하여 상기 장면 표현 및 실감 효과들에 대한 센싱된 정보(sensed information)를 생성하는 단계; 및 상기 센싱된 정보를 이진 표기(binary representation)로 부호화하여 송신하는 단계;를 포함한다.
본 발명은, 통신 시스템에서 각 사용자들이 제공받고자 하는 다양한 고품질의 멀티미디어 서비스를 안정적으로 제공하며, 특히 상기 멀티미디어 서비스의 멀티미디어 컨텐츠, 및 상기 멀티미디어 컨텐츠의 제공 시에 멀티포인트들(multi-points)에서 획득된 정보를 고속으로 전송함으로써, 사용자들에게 다양한 고품질의 멀티미디어 서비스를 빠르게 실시간으로 제공할 수 있다.
도 1은 본 발명의 실시 예에 따른 멀티미디어 서비스 제공 시스템의 구조를 개략적으로 도시한 도면.
도 2는 본 발명의 실시 예에 따른 멀티미디어 서비스 제공 시스템에서 센서의 구조를 개략적으로 도시한 도면.
도 3 내지 도 5는 본 발명의 실시 예에 따른 멀티미디어 서비스 시스템에서 센서 정보의 구조를 개략적으로 도시한 도면들.
도 6은 본 발명의 실시 예에 따른 멀티미디어 시스템에서 멀티포인트들의 동작 과정을 개략적으로 도시한 도면.
이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 흩뜨리지 않도록 생략될 것이라는 것을 유의하여야 한다.
본 발명은, 통신 시스템에서 다양한 고품질의 멀티미디어 서비스를 고속 및 실시간으로 제공하기 위한 멀티미디어 서비스 제공 시스템 및 방법을 제안한다. 여기서, 본 발명의 실시 예에서는, 다양한 고품질의 서비스를 제공받고자 하는 사용자들의 서비스 요청에 따라, 각 사용자들에게 제공하고자 하는 멀티미디어 서비스의 멀티미디어 컨텐츠, 및 상기 멀티미디어 컨텐츠의 제공 시에 멀티포인트들(multi-points)에서 획득된 정보를 사용자들에게 고속으로 전송하여 실시간으로 각 사용자들이 요구한 고품질의 다양한 멀티미디어 서비스를 실시간으로 제공한다.
또한, 본 발명의 실시 예에서는, 사용자들의 보다 다양한 고품질의 멀티미디어 서비스 요구에 상응하여, 멀티미디어 컨텐츠뿐만 아니라, 상기 멀티미디어 컨텐츠의 제공 시에 사용자 디바이스들(user devices)과의 사용자 상호 작용(user interaction)을 위한 다양한 센싱된 정보(sensed information)들로 멀티포인트들에서 획득된 정보, 예컨대 상기 멀티미디어 컨텐츠의 부가 데이터(additional data)를 사용자들에게 고속으로 전송하여, 다양한 고품질의 멀티미디어 서비스를 빠르게 실시간으로 제공한다. 여기서, 상기 멀티미디어 컨텐츠의 부가 데이터는, 사용자들에게 멀티미디어 서비스 제공 시에, 멀티미디어 컨텐츠의 장면 표현(scene representation) 또는 상기 장면 표현에 따른 외부 디바이스들을 동작을 통한 부가 서비스, 다시 말해 상기 멀티미디어 컨텐츠의 다양한 실감 효과(sensory effect)들을 제공하기 위해 멀티포인트들에서 센싱하여 획득한 정보를 포함하며, 상기 멀티포인트들에서 획득한 정보와 상기 멀티미디어 컨텐츠를 고속으로 전송하여 실시간으로 각 사용자들이 요구한 고품질의 다양한 멀티미디어 서비스를 실시간으로 제공한다.
그리고, 본 발명의 실시 예에서는, 다양한 고품질의 멀티미디어 서비스 제공을 위해, 상기 멀티미디어 컨텐츠의 제공 시에 멀티포인트들에서 센싱하여 획득한 정보, 즉 센싱된 정보를 이진 표기(binary representation)를 통해 부호화함으로써, 상기 센싱된 정보의 데이터 사이즈를 최소화하며, 그에 따라 상기 멀티미디어 컨텐츠, 및 상기 멀티미디어 컨텐츠에 대한 멀티포인트들에서의 센싱된 정보를 고속으로 전송하고, 그 결과 상기 멀티미디어 컨텐츠, 및 상기 멀티미디어 컨텐츠의 장면 표현 및 외부 디바이스들의 동작에 따른 실감 효과들을 실시간으로 각 사용자들에게 제공, 다시 말해 상기 다양한 고품질의 멀티미디어 서비스를 실시간으로 사용자들에게 제공한다.
아울러, 본 발명의 실시 예에서는, MPEG(Moving Picture Experts Group)-Ⅴ에서 다양한 멀티미디어 서비스 제공 시에, 사용자 디바이스들과의 사용자 상호 작용을 위해 멀티포인트들에서 획득된 정보, 즉 센싱된 정보를 이진 부호 표기 방식을 이용하여 고속으로 전송, 멀티미디어 서비스를 제공받는 각 사용자들에게 멀티미디어 컨텐츠뿐만 아니라, 상기 멀티미디어 컨텐츠에 대한 다양한 장면 표현 및 실감 효과들을 실시간으로 제공한다. 특히, 본 발명의 실시 예에서는, MPEG-Ⅴ의 Part5에서 멀티포인트들뿐만 아니라, 외부 센서들에서 센싱하여 획득한 정보, 즉 센싱된 정보를 디스크립션(description)하기 위한 데이터 포맷을 정의하고, 상기 센싱된 정보를 포함하는 데이터를 이진 부호 표기 방식으로 부호화하여 고속으로 송신하며, 그에 따라 사용자들에게 멀티미디어 컨텐츠뿐만 아니라 상기 센싱된 정보에 상응하는 부가 서비스, 예컨대 장면 표현 및 실감 효과들 실시간으로 제공하여 다양한 고품질의 멀티미디어 서비스를 실시간으로 사용자들에게 제공한다.
여기서, 본 발명의 실시 예에서는, MPEG-Ⅴ의 Part5에서 멀티포인트들뿐만 아니라, 외부 센서들이 센싱하여 획득한 센싱된 정보를 이진 표기로 부호화하여 빠르게 서버로 송신하며, 상기 서버는, 멀티미디어 서비스의 멀티미디어 컨텐츠 및 상기 센싱된 정보에 해당하는 데이터를 사용자들에게 실제 멀티미디어 서비스를 제공하는 사용자 디바이스들로 전송한다. 이때, 상기 서버는, 상기 이진 표기로 부호화한 센싱된 정보, 즉 센싱 정보 데이터를 상기 멀티포인트들뿐만 아니라, 외부 센서들로부터 수신하며, 상기 수신한 센싱 정보 데이터로부터 상기 센싱된 정보를 디스크립션하는 이벤트(event) 데이터를 생성한 후, 상기 이벤트 데이터를 이용하여 상기 센싱된 정보에 따라 사용자 디바이스들을 구동 및 제어하는 디바이스 커맨드(device command) 데이터를 생성하여 사용자 디바이스들로 송신한다.
여기서, 상기 MPEG-Ⅴ의 Part5에서 서버는, 상기 사용자 디바이스들과의 사용자 상호 작용을 위한 LASeR(Light Application Scene Representation) 서버가 될 수 있으며, 상기 사용자 디바이스들은, 장면 표현 및 상기 센싱된 정보의 표현을 통해 사용자들에게 멀티미디어 컨텐츠뿐만 아니라 상기 멀티미디어 컨테츠에 대한 실감 효과들을 제공하는 액츄에이터(actuator)가 될 수 있다. 또한, 상기 서버는, 상기 디바이스 커맨드 데이터를 이진 표기로 부호화하여 상기 사용자 디바이스들, 즉 복수의 액츄에이터들로 송신한다.
그리고, 본 발명의 실시 예에 따른 MPEG-Ⅴ의 Part5에서의 상기 멀티포인트들 및 외부 센서들과 서버는, 멀티미디어 컨텐츠, 및 상기 멀티미디어 컨텐츠에 대한 센싱된 정보와 디바이스 커맨드 데이터를 효율적으로 디스크립션하기 위한 스키마(schema)를 각각 정의하고, 특히 고품질의 다양한 멀티미디어 서비스를 제공하기 위해 멀티미디어 컨텐츠와 함께 전송되는 센싱된 정보 및 디바이스 커맨드 데이터는, 확장 마크업 언어(XML: eXtensible Markup Language, 이하 'XML'이라 칭하기로 함) 문서로 디스크립션되어 전송된다. 예컨대, 상기 멀티포인트들 및 외부 센서들은, 센싱된 정보를 XML 문서 스키마로 각각 정의한 후, 상기 센싱된 정보를 이진 표기로 부호화하여 상기 서버로 송신하며, 상기 서버는, 상기 센싱된 정보를 수신한 후, 상기 센싱된 정보를 통해 이벤트 데이터를 생성하고, 상기 이벤트 데이터를 이용하여 이진 표기로 부호화된 디바이스 커맨드 데이터를 생성하여 각 액츄에이터들로 송신하며, 그에 따라 각 액츄에이터들을 통해 사용자들에게는 고품질의 다양한 멀티미디어 서비스가 제공된다. 그러면 여기서, 도 1을 참조하여 본 발명의 실시 예에 따른 멀티미디어 서비스 제공 시스템에 대해 보다 구체적으로 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 멀티미디어 서비스 제공 시스템의 구조를 개략적으로 도시한 도면이다.
도 1을 참조하면, 상기 멀티미디어 서비스 제공 시스템은, 사용자들의 서비스 요청에 따라 각 사용자들이 제공받고자 하는 고품질의 다양한 멀티미디어 서비스의 제공 시에 센싱된 정보를 송신하는 센서들, 예컨대 센서1(110), 센서2(112), 및 센서n(114), 상기 멀티미디어 서비스에 해당하는 멀티미디어 컨텐츠 및 상기 센싱된 정보를 사용자들에게 제공하는 서버(120), 및 상기 서버(120)로부터 제공된 멀티미디어 컨텐츠 및 센싱된 정보를 이용하여 사용자들에게 고품질의 다양한 멀티미디어 서비스를 제공하는 액츄에이터들, 예컨대 액츄에이터1(130), 액츄에이터2(132), 및 액츄에이터n(134)를 포함한다.
상기 센서들(110,112,114)은, 사용자들에게 고품질의 다양한 멀티미디어 서비스를 제공하기 위해, 상기 멀티미디어 서비스의 제공 시에 사용자 디바이스들, 다시 말해 액츄에이터들(130,132,134)과의 사용자 상호 작용을 통해 상기 멀티미디어 서비스에 대한 멀티미디어 컨텐츠의 장면 표현 및 실감 효과들을 제공하도록, 상기 멀티미디어 컨텐츠의 장면 표현 및 실감 효과들을 센싱한다. 또한, 상기 센서들(110,112,114)은, 상기 센싱을 통해 상기 센싱된 정보를 획득하며, 상기 센싱된 정보를 이진 표기로 부호화한 후, 이진 표기로 부호화한 센싱된 정보 데이터를 서버(120)로 송신한다.
즉, 상기 센서들(110,112,114)에서 획득한 센싱된 정보는, 이진 표기로 부호화, 다시 말해 상기 센서들(110,112,114)이 이진 표기 부호화 방식을 이용하여 상기 센싱된 정보를 부호화하며, 상기 부호화한 센싱된 정보, 즉 센싱 정보 데이터를 서버(120)로 송신한다. 여기서, 상기 센서들(110,112,114)은, 전술한 바와 같이 멀티미디어 컨텐츠에 대한 장면 표현 및 실감 효과들을 센싱하여 상기 센싱된 정보를 획득 및 생성하는 디바이스들로서, 멀티포인트들 및 외부 센서들을 포함한다.
상기 서버(120)는, 상기 센서들(110,112,114)로부터 수신한 센싱 정보 데이터를 확인한 후, 상기 센싱 정보 데이터의 센싱된 정보에 따라 멀티미디어 컨텐츠에 대한 이벤트 데이터를 생성한다. 다시 말해, 상기 서버(120)는, 상기 센싱된 정보를 상기 멀티미디어 컨텐츠에 대한 장면 표현 및 실감 효과를 사용자들에게 제공하기 위해, 상기 센싱된 정보를 고려하여 이벤트 데이터를 생성한다.
그리고, 상기 서버(120)는, 상기 생성한 이벤트 데이터를 고려하여, 멀티미디어 서비스 제공 시에 상기 멀티미디어 컨텐츠에 대한 장면 표현 및 실감 효과를 사용자들에게 실제 제공하는 사용자 디바이스들, 다시 말해 액츄에이터들(130,132,134)에 대한 구동 및 제어를 위한 디바이스 커맨드 데이터를 생성하며, 상기 생성한 디바이스 커맨드 데이터를 상기 액츄에이터들(130,132,134)로 송신한다.
여기서, 상기 디바이스 커맨드 데이터에는, 상기 센싱된 정보에 상응하여 상기 액츄에이터들(130,132,134)이 멀티미디어 컨텐츠의 장면 표현 및 실감 효과를 사용자들에게 제공하도록, 상기 액츄에이터들(130,132,134)의 구동 및 제어 정보가 된다. 또한, 상기 디바이스 커맨드 데이터는 이진 표기로 부호화, 즉 상기 서버(120)는, 상기 액츄에이터들(130,132,134)의 구동 및 제어 정보를 이진 표기 부호화 방식으로 부호화한 상기 디바이스 커맨드 데이터를 상기 액츄에이터들(130,132,134)로 송신한다. 그리고, 상기 서버(120)는, 상기 멀티미디어 서비스에 대한 멀티미디어 컨텐츠를 이진 표기 부호화 방식으로 부호화하여 상기 액츄에이터들(130,132,134)로 송신한다.
상기 액츄에이터들(130,132,134)은, 상기 서버(120)로부터 이진 표기로 부호화된 상기 디바이스 커맨드 데이터를 수신하며, 상기 디바이스 커맨드 데이터에 따라 구동 및 제어된다. 즉, 상기 액츄에이터들(130,132,134)은, 상기 디바이스 커맨드 데이터에 따라 사용자들에게 멀티미디어 컨텐츠에 대한 장면 표현 및 실감 효과를 제공하며, 그에 따라 사용자들에게는 고품질의 다양한 멀티미디어 서비스가 제공된다. 그러면 여기서, 도 2를 참조하여 본 발명의 실시 예에 따른 멀티미디어 서비스 제공 시스템에서 센서들, 다시 말해 멀티포인트들에 대해 보다 구체적으로 설명하기로 한다.
도 2는 본 발명의 실시 예에 따른 멀티미디어 서비스 제공 시스템에서 센서의 구조를 개략적으로 도시한 도면이다.
도 2를 참조하면, 상기 센서는, 사용자들에게 고품질의 다양한 멀티미디어 서비스를 제공하기 위해 멀티미디어 컨텐츠에 대한 장면 표현 및 실감 효과 등을 센싱하는 센싱부(210), 상기 센싱부(210)에서의 센싱을 통해 획득한 센싱된 정보를 이용하여 센싱 정보 데이터를 생성하는 생성부(220), 및 상기 생성부(220)에서 생성된 센싱 정보 데이터를 서버(120)로 송신하는 송신부(230)를 포함한다.
상기 센싱부(210)는, 상기 멀티미디어 서비스의 제공 시에 사용자 상호 작용을 통해 상기 멀티미디어 서비스에 대한 멀티미디어 컨텐츠의 장면 표현 및 실감 효과들을 제공하도록, 상기 멀티미디어 컨텐츠의 장면 표현 및 실감 효과들을 센싱한다.
그리고, 상기 생성부(220)는, 상기 센싱부(210)의 센싱을 통해 센싱된 정보를 획득하며, 상기 센싱된 정보를 이진 표기로 부호화하여 상기 센싱 정보 데이터를 생성한다. 또한, 상기 송신부(230)는, 상기 이진 표기로 부호화된 센싱 정보 데이터를 서버(120)로 송신한다.
여기서, 상기 센싱된 정보는, 상기 센서의 타입 및 속성(attribute), 다시 말해 멀티포인트들의 타입 및 속성으로 정의되며, 상기 센서의 타입에 따라 상기 센싱된 정보는, 예컨대 빛(Light) 센서 타입(sensor type), 주변 잡음(Ambient Noise) 센서 타입, 온도(Temperature) 센서 타입, 습도(Humidity) 센서 타입, 거리(Distance) 센서 타입, 길이(Length) 센서 타입, 기압(Atmospheric pressure) 센서 타입, 위치(Position) 센서 타입, 속도(Velocity) 센서 타입, 가속도(Acceleration) 센서 타입, 방향(Orientation) 센서 타입, 각속도(Angular Velocity) 센서 타입, 각 가속도(Angular Acceleration) 센서 타입, 포스(Force) 센서 타입, 토크(Torque) 센서 타입, 압력(Pressure) 센서 타입, 모션(Motion) 센서 타입, 인텔리젼트 카메라(Intelligent Camera) 센서 타입 등을 포함한다. 또한, 상기 센싱된 정보는, 멀티 상호 작용 포인트 센서 타입(Multi Interaction point sensor type)(또는, 멀티 포인트 센서 타입(Multi point sensor type)), 시선 추적 센서 타입(Gaze tracking sensor type), 및 바람 센서 타입(Wind sensor type)를 포함한다.
또한, 상기 센싱된 정보는, 표 1 및 표 2에 나타낸 바와 같이 상기 센서의 타입 및 속성이 정의되며, 상기 센싱된 정보에서 정의되는 속성은, 타임스탬프(timestamp) 및 유닛(unit)으로 나타낼 수 있으며, 표 1 및 표 2에서 'f.timestamp'는 플로트(float)형의 타임스탬프 속성을 의미하고, 's.unit'은, 스트링(string)형의 유닛 속성을 의미한다. 즉, 상기 센싱된 정보에서 정의되는 속성은, 타임스탬프 및 유닛으로 정의된다.
Sensor type Attributes
Sened Information Light sensor f.timestamp, s.unit, f.value, s.color
Ambient noise sensor f.timestamp, s.unit, f.value
Temperature sensor f.timestamp, s.unit, f.value
Humidity sensor f.timestamp, s.unit, f.value
Distance sensor f.timestamp, s.unit, f.value
Length sensor f.timestamp, s.unit, f.value
Atmospheric pressure sensor f.timestamp, s.unit, f.value
Position sensor f.timestamp, s.unit, f.Px, f.Py, f.Pz
Velocity sensor f.timestamp, s.unit, f.Vx, f.Vy, f.Vz
Acceleration sensor f.timestamp, s.unit, f.Ax, f.Ay, f.Az
Orientation sensor f.timestamp, s.unit, f.Ox, f.Oy, f.Oz
Angular velocity sensor f.timestamp, s.unit, f.AVx, f.AVy, f.AVz
Angular acceleration sensor f.timestamp, s.unit, f.AAx, f.AAy, f.AAz
Force sensor f.timestamp, s.unit, f.FSx, f.FSy, f.FSz
Torque sensor f.timestamp, s.unit, f.TSx f.TSy f.TSz
Pressure sensor f.timestamp , s.unit, f.value
Motion sensor f.timestamp, f.Px, f.Py, f.Pz, f.Vx, f.Vy, f.Vz, f.Ox, f.Oy, f.Oz, f.AVx, f.AVy, f.Avz, f.Ax, f.Ay, f.Az, f.AAx, f.AAy, f.AAz
Intelligent Camera f.timestamp, FacialAnimationID, BodyAnimationID, FaceFeatures(f.Px f.Py f.Pz), BodyFeatures(f.Px f.Py f.Pz)
Multi point sensor f.timestamp, f.Px, f.Py, f.Pz, f.value
Gaze tracking sensor f.timestamp, f.Px, f.Py, f.Pz, f.Ox, f.Oy, f.Oz, f.value, f.value
Wind sensor f.timestamp, f.Px, f.Py, f.Pz, f.Vx, f.Vy, f.Vz

Sensor type Attributes
Sened Information Light sensor f.timestamp, s.unit, f.value, s.color
Ambient noise sensor f.timestamp, s.unit, f.value
Temperature sensor f.timestamp, s.unit, f.value
Humidity sensor f.timestamp, s.unit, f.value
Distance sensor f.timestamp, s.unit, f.value
Length sensor f.timestamp, s.unit, f.value
Atmospheric pressure sensor f.timestamp, s.unit, f.value
Position sensor f.timestamp, s.unit, f.Px, f.Py, f.Pz
Velocity sensor f.timestamp, s.unit, f.Vx, f.Vy, f.Vz
Acceleration sensor f.timestamp, s.unit, f.Ax, f.Ay, f.Az
Orientation sensor f.timestamp, s.unit, f.Ox, f.Oy, f.Oz
Angular velocity sensor f.timestamp, s.unit, f.AVx, f.AVy, f.AVz
Angular acceleration sensor f.timestamp, s.unit, f.AAx, f.AAy, f.AAz
Force sensor f.timestamp, s.unit, f.FSx, f.FSy, f.FSz
Torque sensor f.timestamp, s.unit, f.TSx f.TSy f.TSz
Pressure sensor f.timestamp , s.unit, f.value
Motion sensor f.timestamp, f.Px, f.Py, f.Pz, f.Vx, f.Vy, f.Vz, f.Ox, f.Oy, f.Oz, f.AVx, f.AVy, f.Avz, f.Ax, f.Ay, f.Az, f.AAx, f.AAy, f.AAz
Intelligent Camera f.timestamp, FacialAnimationID, BodyAnimationID, FaceFeatures(f.Px f.Py f.Pz), BodyFeatures(f.Px f.Py f.Pz)
Multi Interaction point sensor f.timestamp, f.value
Gaze tracking sensor f.timestamp, f.Px, f.Py, f.Pz, f.Ox, f.Oy, f.Oz, f.value
Wind sensor f.timestamp, f.Vx, f.Vy, f.Vz
삭제
이렇게 표 1 및 표 2에 나타낸 바와 같이 타입 및 속성으로 정의되는 센싱된 정보, 다시 말해 빛 센서 타입, 주변 잡음 센서 타입, 온도 센서 타입, 습도 센서 타입, 거리 센서 타입, 길이 센서 타입, 기압 센서 타입, 위치 센서 타입, 속도 센서 타입, 가속도 센서 타입, 방향 센서 타입, 각속도 센서 타입, 각 가속도 센서 타입, 포스 센서 타입, 토크 센서 타입, 압력 센서 타입, 모션 센서 타입, 인텔리젼트 카메라 센서 타입, 멀티 상호 작용 포인트 센서 타입(또는 멀티 포인트 센서 타입), 시선 추적 센서 타입, 및 바람 센서 타입은, XML 문서로 표기되며, 또한 이진 표기로 부호화되어 서버로 송신된다. 그러면 여기서, 도 3 내지 도 5를 참조하여 센서 정보에 대해 보다 구체적으로 설명하기로 한다.
도 3 내지 도 5는 본 발명의 실시 예에 따른 멀티미디어 서비스 시스템에서 센서 정보의 구조를 개략적으로 도시한 도면들이다. 여기서, 도 3은, 멀티 상호 작용 포인트 센서 타입의 구조(structure)를 나타낸 도면이고, 도 4는, 시선 추적 센서 타입의 구조를 나타낸 도면이며, 도 5는 바람 센서 타입의 구조를 나타낸 도면이다.
도 3 내지 도 5를 참조하면, 상기 멀티 상호 작용 포인트 센서 타입(또는 멀티 포인트 센서 타입), 시선 추적 센서 타입, 및 바람 센서 타입은, 센싱된 정보 기본 타입(Sensed Info Based Type)의 확장(extension) 구조를 가지며, 상기 센싱된 정보 기본 타입은 속성 및 타임스탬프를 포함한다. 또한, 상기 멀티 상호 작용 포인트 센서 타입(또는 멀티 포인트 센서 타입), 시선 추적 센서 타입, 및 바람 센서 타입은, 전술한 바와 같이 XML 문서로 표기되고, 아울러 이진 표기로 부호화되어 서버로 송신된다.
보다 구체적으로 설명하면, 상기 멀티 상호 작용 포인트 센서 타입은, 표 3에 나타낸 바와 같이 XML 문서로 표기되며, 표 3은 상기 멀티 상호 작용 포인트 센서 타입의 XML 표기 신택스(XML representation syntax)를 나타낸다.
<!-- ################################################ -->
<!-- Definition of Multi Interaction Point Sensor Type -->
<!-- ################################################ -->
<complexType name="MultiInteractionPointSensorType">
<annotation>
<documentation>MultiInteractionPoint Sensed Information Structure</documentation>
</annotation>
<complexContent>
<extension base="iidl:SensedInfoBaseType">
<sequence>
<element name="InteractionPoint" type="sivamd1: InteractionPointType" minOccurs="0" maxOccurs="unbounded"/>
</sequence>
</extension>
</complexContent>
</complexType>
<complexType name="InteractionPointType">
<attribute name="interactionPointId" type="ID"/>
<attribute name="interactionPointStatus" type="boolean" default="false"/>
</complexType>
그리고, 표 3에 나타낸 바와 같이, XML 표기 신택스로 표기된 상기 멀티 상호 작용 포인트 센서 타입의 디스크립터 컴포넌트 시멘틱스(Descriptor components semantics)는, 표 4와 같이 나타낼 수 있다.
Name Definition
MultiInteractionPointSensorType Tool for describing sensed information captured by multi interaction point sensor.
EXAMPLE Multi-point devices such as multi-touch pad, multi-finger detecting device, etc.
TimeStamp Describes the time that the information is sensed.
InteractionPoint Describes the status of an interaction point which is included in a multi interaction point sensor.
InteractionPointType Describes the referring identification of an interaction point and the status of an interaction point.
interactionPointId Describes the identification of associated interaction point.
interactionPointStatus Indicates the status of an interaction point which is included in a multi interaction point sensor.
또한, 상기 멀티 포인트 센서 타입은, 표 5에 나타낸 바와 같은 XML 문서로도 표기될 수 있으며, 표 5는 상기 멀티 포인트 센서 타입의 XML 표기 신택스를 나타낸다.
<!-- ################################################ -->
<!-- Definition of Multi Pointing Sensor Type -->
<!-- ################################################ -->
<complexType name="MultiPointingSensorType">
<annotation>
<documentation>MultiPointing Sensed Information Structure</documentation>
</annotation>
<complexContent>
<extension base="iidl:SensedInfoBaseType">
<sequence>
<element name="MotionSensor" type="siv:MotionSensorType" minOccurs="0" maxOccurs="unbounded"/>
<element name="Button" type="sivamd1:ButtonType" minOccurs="0" maxOccurs="unbounded"/>
</sequence>
</extension>
</complexContent>
</complexType>
<!-- -->

<complexType name="ButtonType">
<attribute name="buttonId" type="ID"/>
<attribute name="buttonStatus" type="boolean"/>
</complexType>
아울러, 표 5에 나타낸 바와 같이, XML 표기 신택스로 표기된 상기 멀티 포인트 센서 타입의 디스크립터 컴포넌트 시멘틱스는, 표 6과 같이 나타낼 수 있다.
Name Definition
MultiPointingSensorType 멀티포인트 획득 정보(Tool for describing sensed information captured by none or more motion sensor combined with none or more button).
EXAMPLE Multi-pointing devices such as multi-touch pad, multi-finger detecting device, etc.
MotionSensor 모션 센서로부터 획득할 수 있는 특징점의 위치 정보(Describes pointing information of multi-pointing devices which is defined as MotionSensorType).
Button 버튼 정보(Describes the status of buttons which is included in a multi-pointing device).
ButtonType 버튼 정보(Describes the referring identification of a Button device and the status of a Button).
buttonId 버튼 ID(Describes the identification of associated Button device).
buttonStatus 버튼의 상태(Indicates the status of a button which is included in a multi-pointing device).
표 4 및 표 6에서, 'Montion Sensor' 디스크립터는, 상기 멀티포인트들의 위치 정보를 x,y,z의 공간 좌표로 디스크립션하며, 'Interaction Point' 및 'Button' 디스크립터는, 센싱을 통해 센싱 정보를 획득하여 이진 표기로 부호화한 후, 센싱 정보 데이터를 서버로 송신하는 멀티포인트들의 선택(selecting) 여부를 디스크립션한다.
이렇게 XML 표기 신택스 및 디스크립터 컴포넌트 시멘틱스를 갖는 상기 멀티 상호 작용 포인트 센서 타입은, 이진 표기로 부호화되며, 상기 이진 표기로 부호화된 센서 타입, 즉 상기 센서에서 상기 이진 표기로 부호화한 센싱된 정보는 센싱 정보 데이터로서 서버로 송신된다. 여기서, 상기 멀티 상호 작용 포인트 센서 타입의 이진 표기, 즉 이진 표기로 부호화된 멀티 상호 작용 포인트 센서에서 센싱된 정보는 표 7과 같이 나타낼 수 있으며, 표 7에 나타낸 바와 같은 이진 표기로 부호화한 센싱된 정보, 즉 센싱 정보 데이터는 서버로 송신된다. 표 7은 상기 멀티 상호 작용 포인트 센서 타입의 이진 표기 신택스(Binary representation syntax)를 나타낸 표이다.
MultiInteractionPointSensorType{ Number of bits Mnemonic
SensedInfoBaseType SensedInfoBaseType
InteractionPointFlag 1 bslbf
if(InteractionPointFlag) {
NumOfInteractionPoint 8 uimsbf
for( k=0;
k< NumOfInteractionPoint; k++ ) {
InteractionPoint [k] InteractionPointType
}
}
}
InteractionPointType {
interactionPointId 8 uimsbf
interactionPointStatus 1 bslbf
}
표 7에서, 상호 작용 포인트 상태(interaction Point Status)의 기호(Mnemonic)는 표 8과 같이 나타낼 수 있다.
Binary value (1 bits) status of interaction point
0 false
1 true
여기서, 상기 멀티 상호 작용 포인트 센서 타입의 셋 디스크립션의 일 예는 표 9와 같이 나타낼 수 있으며, 표 9는 상기 멀티 상호 작용 포인트 센서 타입의 셋 디스크립션을 나타낸 표이다.
<iidl:SensedInfo xsi:type="siv:MultiInteractionPointSensorType" id="MIPS001" sensorIdRef="MIPSID001" activate="true">
<iidl:TimeStamp xsi:type="mpegvct:ClockTickTimeType" timeScale="1000" pts="50000"/>
<siv:InteractionPoint interactionPointId="IPT001" interactionPointStatus="false"/>
<siv:InteractionPoint interactionPointId="IPT002" interactionPointStatus="true"/>
</iidl:SensedInfo>
다음으로, 상기 시선 추적 센서 타입은, 표 10에 나타낸 바와 같이 XML 문서로 표기되며, 표 10은, 상기 시선 추적 센서 타입의 XML 표기 신택스를 나타낸다.
<!-- ################################################ -->
<!-- Definition of Gaze Tracking Sensor Type -->
<!-- ################################################ -->
<complexType name="GazeTackingSensorType">
<annotation>
<documentation>Gaze Tracking Sensed Information Structure</documentation>
</annotation>
<complexContent>
<extension base="iidl:SensedInfoBaseType">
<sequence>
<element name="Gaze" type="siv:GazeType" maxOccurs="2"/>
</sequence>
<attribute name="personIdx" type="anyURI" use="optional"/>
</extension>
</complexContent>
</complexType>

<complexType name="GazeType">
<sequence>
<element name="Position" type="siv:PositionSensorType" minOccurs="0"/>
<element name="Orientation" type="siv:OrientationSensorType" minOccurs="0"/>
</sequence>
<attribute name="gazeIdx" type="anyURI" use="optional"/>
<attribute name="blinkStatus" type="boolean" use="optional" default="false"/>
</complexType>
그리고, 표 10에 나타낸 바와 같이, XML 표기 신택스로 표기된 상기 시선 추적 센서 타입의 디스크립터 컴포넌트 시멘틱스는, 표 11과 같이 나타낼 수 있다.
Name Definition
GazeTrackingSensorType Tool for describing sensed information captured by none or more gaze tracking sensor.
EXAMPLE Gaze tracking sensor, etc.
TimeStamp Describes the time that the information is sensed.
personIdx Describes a index of the person who is being sensed.
Gaze Describes a set of gazes from a person.
GazeType Describes the referring identification of a set of gazes.
Position Describes the position information of an eye which is defined as PositionSensorType.
Orientation Describes the direction of a gaze which is defined as OrientationSensorType.
gazeIdx Describes an index of a gaze which is sensed from the same eye.
blinkStatus Describes the eye's status in terms of blinking. "false" means the eye is not blinking and "true" means the eye is blinking.
Default value of this attribute is "false".
또한, 상기 시선 추적 센서 타입은, 표 12에 나타낸 바와 같은 XML 문서로도 표기될 수 있으며, 표 12는 상기 시선 추적 센서 타입의 또 다른 XML 표기 신택스를 나타낸다.
<!-- ################################################ -->
<!-- Definition of Gaze Sensor Type -->
<!-- ################################################ -->
<complexType name="GazeSensorType">
<annotation>
<documentation>Gaze Sensed Information Structure</documentation>
</annotation>
<complexContent>
<extension base="iidl:SensedInfoBaseType">
<sequence>
<element name="Position" type="siv:PositionSensorType" minOccurs="0"/>
<element name="Orientation" type="siv:OrientationSensorType" minOccurs="0"/>
<element name="Blink" type="int" minOccurs="0"/>
</sequence>
<attribute name="personIdRef" type="anyURI" use="optional"/>
<attribute name="eye" type="boolean" use="optional"/>
</extension>
</complexContent>
</complexType>
아울러, 표 12에 나타낸 바와 같이, XML 표기 신택스로 표기된 상기 시선 추적 센서 타입의 디스크립터 컴포넌트 시멘틱스는, 표 13과 같이 나타낼 수 있다.
Name Definition
GazeSensorType 시선 추적 정보(Tool for describing sensed information captured by none or more gaze sensor).
EXAMPLE Gaze tracking sensor, etc.
Position 눈의 위치 정보(Describes the position information of an eye which is defined as PositionSensorType).
Orientation 시선의 방향 정보(Describes the direction of a gaze which is defined as OrientationSensorType).
Blink 눈의 깜박임 횟수(Describes the number of eye's blinking.
personIdRef 눈이 포함된 사람의 참조(Describes the identification of associated person).
eye 좌측 혹은 우측 눈(Indicates which eye generates this gaze sensed information).
표 11 및 표 13에서, 'Position' 및 'Orientation' 디스크립터는, 사용자들 눈의 위치 및 방향을 기호로 디스크립션하며, 'blinkStatus' 및 'Blink' 디스크립터는, 사용자들 눈의 깜박임에 따라 'on' 및 'off'로 디스크립션한다. 또한, 'gazeIdx' 및 'gazeIdx' 디스크립터는, 사용자들의 사용자 식별자(ID)로 디스크립션하며, 'eye' 디스크립터는, 사용자들의 좌측 눈 또는 우측 눈의 디스크립션 뿐만 아니라 상기 좌측 눈 또는 우측 눈이 주시하는 방향을 디스크립션한다.
이렇게 XML 표기 신택스 및 디스크립터 컴포넌트 시멘틱스를 갖는 상기 시선 추적 센서 타입은, 이진 표기로 부호화되며, 상기 이진 표기로 부호화된 센서 타입, 즉 상기 센서에서 상기 이진 표기로 부호화한 센싱된 정보는 센싱 정보 데이터로서 서버로 송신된다. 여기서, 상기 시선 추적 센서 타입의 이진 표기, 즉 이진 표기로 부호화된 시선 추적 센서에서 센싱된 정보는 표 14와 같이 나타낼 수 있으며, 표 14에 나타낸 바와 같은 이진 표기로 부호화한 센싱된 정보, 즉 센싱 정보 데이터는 서버로 송신된다. 표 14는 상기 시선 추적 센서 타입의 이진 표기 신택스를 나타낸 표이다.
GazeTrackingSensorType{ Number of bits Mnemonic
SensedInfoBaseType SensedInfoBaseType
personIdxRefFlag 1 bslbf
if( personIdxRefFlag ) {
personIxdRef 8 uimsbf
}
NumOfGazes 8 uimsbf
for( k=0;
k< NumOfGazes; k++ ) {
Gaze [k] GazeType
}
}
GazeType{
PositionFlag 1 Bslbf
OrientationFlag 1 Bslbf
gazeIdxFlag 1 bslbf
blinkStatusFlag 1 bslbf
if( PositionFlag ) {
Position PositionSensorType
}
if( OrientatioinFlag ) {
Orientation OrientationSensorType
}
if( gazeIdxFlag ) {
gazeIdx 8 uimsbf
}
if( blinkStatusFlag ) {
blinkStatus 1 uimsbf
}
}
여기서, 상기 시선 추적 센서 타입의 셋 디스크립션의 일 예는 표 15와 같이 나타낼 수 있으며, 표 15는 상기 시선 추적 센서 타입의 셋 디스크립션을 나타낸 표이다.
<iidl:SensedInfo xsi:type="sivamd1:GazeTrackingSensorType" id="GTS001" sensorIdRef="GTSID001" activate="true" personIdx="pSID001" >
<iidl:TimeStamp xsi:type="mpegvct:ClockTickTimeType" timeScale="1000" pts="50000"/>
<siv:Gaze gazeIdx="gz001" blinkStatus="false" >
<siv:Position id="PS001" sensorIdRef="PSID001">
<siv:Position>
<mpegvct:X>1.5</mpegvct:X>
<mpegvct:Y>0.5</mpegvct:Y>
<mpegvct:Z>-2.1</mpegvct:Z>
</siv:Position>
</siv:Position>
<siv:Orientation id="OS001" sensorIdRef="OSID001">
<siv:Orientation>
<mpegvct:X>1.0</mpegvct:X>
<mpegvct:Y>1.0</mpegvct:Y>
<mpegvct:Z>0.0</mpegvct:Z>
</siv:Orientation>
</siv:Orientation>
</siv:Gaze>
<siv:Gaze gazeIdx="gz002" blinkStatus="true" >
<siv:Position id="PS002" sensorIdRef="PSID002">
<siv:Position>
<mpegvct:X>1.7</mpegvct:X>
<mpegvct:Y>0.5</mpegvct:Y>
<mpegvct:Z>-2.1</mpegvct:Z>
</siv:Position>
</siv:Position>
<siv:Orientation id="OS002" sensorIdRef="OSID002">
<siv:Orientation>
<mpegvct:X>1.0</mpegvct:X>
<mpegvct:Y>1.0</mpegvct:Y>
<mpegvct:Z>0.0</mpegvct:Z>
</siv:Orientation>
</siv:Orientation>
</siv:Gaze>
</iidl:SensedInfo>
다음으로, 상기 바람 센서 타입은, 표 16에 나타낸 바와 같이 XML 문서로 표기되며, 표 16은, 상기 바람 센서 타입의 XML 표기 신택스를 나타낸다.
<!-- ################################################ -->
<!-- Definition of Wind Sensor Type -->
<!-- ################################################ -->
<complexType name="WindSensorType">
<annotation>
<documentation>Wind Sensed Information Structure</documentation>
</annotation>
<complexContent>
<extension base="iidl: VelocitySensorType "/>
</complexContent>
</complexType>
그리고, 표 16에 나타낸 바와 같이, XML 표기 신택스로 표기된 상기 바람 센서 타입의 디스크립터 컴포넌트 시멘틱스는, 표 17과 같이 나타낼 수 있다.
Name Definition
WindSensorType Tool for describing sensed information captured by none or more wind sensor.
EXAMPLE wind sensor, etc.
Velocity Describes the speed and direction of a wind flow.
또한, 상기 바람 센서 타입은, 표 18에 나타낸 바와 같은 XML 문서로도 표기될 수 있으며, 표 18은 상기 바람 센서 타입의 또 다른 XML 표기 신택스를 나타낸다.
<!-- ################################################ -->
<!-- Definition of Wind Sensor Type -->
<!-- ################################################ -->
<complexType name="WindSensorType">
<annotation>
<documentation>Wind Sensed Information Structure</documentation>
</annotation>
<complexContent>
<extension base="iidl:SensedInfoBaseType">
<sequence>
<element name="Position" type="siv:PositionSensorType" minOccurs="0"/>
<element name="Velocity" type="siv:VelocitySensorType" minOccurs="0"/>
</sequence>
</extension>
</complexContent>
</complexType>
아울러, 표 18에 나타낸 바와 같이, XML 표기 신택스로 표기된 상기 바람 센서 타입의 디스크립터 컴포넌트 시멘틱스는, 표 19와 같이 나타낼 수 있다.
Name Definition
WindSensorType 바람 세기 정보(Tool for describing sensed information captured by none or more wind sensor).
EXAMPLE wind sensor, etc.
Position 획득된 센서의 위치(Describes the position information of a wind flow which is defined as PositionSensorType).
Velocity 바람의 세기(Describes the speed and direction of a wind flow).
표 17 및 표 19에서, 'Velocity' 디스크립터는, 바람의 풍향 및 풍속을 디스크립션하며, 일 예로 10°의 방위각을 갖는 2㎧로 디스크립션한다.
이렇게 XML 표기 신택스 및 디스크립터 컴포넌트 시멘틱스를 갖는 상기 바람 센서 타입은, 이진 표기로 부호화되며, 상기 이진 표기로 부호화된 센서 타입, 즉 상기 센서에서 상기 이진 표기로 부호화한 센싱된 정보는 센싱 정보 데이터로서 서버로 송신된다. 여기서, 상기 바람 센서 타입의 이진 표기, 즉 이진 표기로 부호화된 바람 센서에서 센싱된 정보는 표 20과 같이 나타낼 수 있으며, 표 20에 나타낸 바와 같은 이진 표기로 부호화한 센싱된 정보, 즉 센싱 정보 데이터는 서버로 송신된다. 표 20은 상기 바람 센서 타입의 이진 표기 신택스를 나타낸 표이다.
WindSensorType{ Number of bits Mnemonic
Velocity VelocityType
}
여기서, 상기 바람 센서 타입의 셋 디스크립션의 일 예는 표 21과 같이 나타낼 수 있으며, 표 21은 상기 바람 센서 타입의 셋 디스크립션을 나타낸 표이다.
<iidl:SensedInfo xsi:type="siv:WindSensorType" id="WS001" sensorIdRef="WSID001" activate="true" >
<iidl:TimeStamp xsi:type="mpegvct:ClockTickTimeType" timeScale="1000" pts="50000"/>
<siv:Velocity>
<mpegvct:X>1.0</mpegvct:X>
<mpegvct:Y>1.0</mpegvct:Y>
<mpegvct:Z>0.0</mpegvct:Z>
</siv:Velocity>
</iidl:SensedInfo>
전술한 바와 같이, 본 발명의 실시 예에 따른 멀티미디어 시스템은, MPEG-Ⅴ에서 멀티미디어 서비스 제공 시에, 사용자 디바이스들과의 사용자 상호 동작을 통해 사용자들이 요구한 다양한 고품질의 멀티미디어 서비스를 고속 및 실시간으로 제공하도록, 멀티포인트들(multi-points)에서 상기 멀티미디어 서비스의 멀티미디어 컨텐츠에 대한 장면 표현 및 실감 효과들을 센싱하고, 상기 센싱을 통해 획득한 센싱된 정보를 디스크립션(description)하기 위한 데이터 포맷을 정의, 즉 XML 문서 스키마로 정의하고, 이렇게 정의한 센싱된 정보를 이진 표기로 부호화하여 송신한다. 이렇게 이진 표기로 부호화한 센싱된 정보를 기반으로 디바이스 커맨드 데이터를 사용자 디바이스들로 송신함으로써, 상기 멀티미디어 서비스 제공 시에 사용자 디바이스들과의 사용자 상호 동작을 수행하며, 그에 따라 사용자들이 요구한 다양한 고품질의 멀티미디어 서비스를 고속 및 실시간으로 사용자들에게 제공한다. 그러면 여기서, 도 6을 참조하여 본 발명의 실시 예에 따른 멀티미디어 시스템에서 멀티미디어 서비스 제공을 위한 센싱된 정보의 송신 동작에 대해 보다 구체적으로 설명하기로 한다.
도 6은 본 발명의 실시 예에 따른 멀티미디어 시스템에서 멀티포인트들의 동작 과정을 개략적으로 도시한 도면이다.
도 6을 참조하면, 610단계에서, 상기 멀티포인트들은, 멀티미디어 서비스 제공 시에 사용자 디바이스들과의 사용자 상호 동작을 통해 사용자들이 요구한 다양한 고품질의 멀티미디어 서비스를 고속 및 실시간으로 제공하도록, 상기 멀티미디어 서비스의 멀티미디어 컨텐츠에 대한 장면 표현 및 실감 효과들을 센싱한다.
그런 다음, 620단계에서, 상기 장면 표현 및 실감 효과들의 센싱을 통해 센싱된 정보를 획득하며, 이렇게 획득한 센싱된 정보를 이진 표기로 부호화하여 센싱 정보 데이터를 생성한다. 이때, 상기 센싱된 정보는, 전술한 바와 같이 디스크립션(description)하기 위해 데이터 포맷으로 XML 문서 스키마로 정의되며, 상기 XML 문서 스키마의 센싱된 정보는 이진 표기로 부호화된다.
여기서, 상기 센싱된 정보에 대해서는 앞서 구체적으로 설명하였음으로 여기서는 그에 관한 구체적인 설명을 생략하며, 특히 상기 센싱된 정보에서, 멀티 상호 작용 포이트 센서, 시선 추적 센서, 및 바람 센서에서의 센싱된 정보, 즉 멀티 상호 작용 포인트 센서 타입, 시선 추적 센서 타입, 및 바람 센서 타입은 전술한 바와 같이 XML 표기 신택스, 디스크립터 컴포넌트 시멘틱스, 및 이진 표기 신택스로 정의된다.
다음으로, 630단계에서, 상기 이진 표기로 부호화된 센싱 정보 데이터를 서버로 송신하며, 상기 서버는, 전술한 바와 같이 상기 센싱 정보 데이터를 통해 이벤트 데이터를 생성한 후, 상기 사용자 디바이스들을 구동 및 제어하기 위한 디바이스 커맨드 데이터를 생성하여 상기 사용자 디바이스들로 송신한다. 이때, 상기 디바이스 커맨드 데이터는, 이진 표기로 부호화되어 상기 사용자 디바이스들로 송신된다. 여기서, 상기 사용자 디바이스들은, 상기 디바이스 커맨드 데이터에 의해 구동 및 제어되어, 사용자 상호 동작을 통해 상기 멀티미디어 서비스의 멀티미디어 컨텐츠에 대한 장면 표현 및 실감 효과들을 사용자들에게 제공하며, 그에 따라 사용자들이 요구한 다양한 고품질의 멀티미디어 서비스를 고속 및 실시간으로 제공한다.
한편, 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (20)

  1. 통신 시스템에서 멀티미디어 서비스를 제공하는 시스템에 있어서,
    상기 멀티미디어 서비스에 대한 사용자의 선택에 따라, 다중 상호 작용 포인트들(multiple interaction points)에서 센싱된 정보를, 상호작용 기기들에 대한 데이터로 생성하는 생성부; 및
    상기 데이터를 상기 상호 작용 기기들로 송신하는 송신부;를 포함하며;
    상기 상호작용 기기들에 대한 데이터는, 멀티 상호작용 포인트 센서 타입(multi Interaction point sensor type)으로 정의되고;
    상기 멀티 상호작용 포인트 센서 타입은, 신택스(syntax), 이진 표기 신택스(binary representation syntax), 및 시멘틱스(semantics) 중 적어도 하나로 기술되며, 상기 사용자의 선택 입력들에 따라 상기 다중 상호작용 포인트들에 대한 상태들의 셋(set)을 나타내는 것을 특징으로 하는 멀티미디어 서비스 제공 시스템.
  2. 제1항에 있어서,
    상기 멀티 상호작용 포인트 센서 타입의 이진 표기 신택스는, 상호작용 포인트들의 식별자(ID) 및 상태(status)를 포함하는 것을 특징으로 하는 멀티미디어 서비스 제공 시스템.
  3. 삭제
  4. 통신 시스템에서 멀티미디어 서비스를 제공하는 시스템에 있어서,
    상기 멀티미디어 서비스에 대한 사용자의 시선(gaze)에 따라, 시선 추적 센서(gaze tracking sensor)에서 센싱된 정보를, 상호작용 기기들에 대한 데이터로 생성하는 생성부; 및
    상기 데이터를 상기 상호 작용 기기들로 송신하는 송신부;를 포함하며;
    상기 상호작용 기기들에 대한 데이터는, 시선 추적 센서 타입(gaze tracking sensor type)으로 정의되고;
    상기 시선 추적 센서 타입은, 신택스(syntax), 이진 표기 신택스(binary representation syntax), 및 시멘틱스(semantics) 중 적어도 하나로 기술되며, 상기 사용자의 시선에 따라 사용자 눈의 깜박임 상태(blinking status)를 나타내는 것을 특징으로 하는 멀티미디어 서비스 제공 시스템.
  5. 삭제
  6. 통신 시스템에서 멀티미디어 서비스를 제공하는 시스템에 있어서,
    상기 멀티미디어 서비스에 대한 바람 센서(wind sensor)에서 센싱된 정보를, 상호작용 기기들에 대한 데이터로 생성하는 생성부; 및
    상기 데이터를 상기 상호 작용 기기들로 송신하는 송신부;를 포함하며;
    상기 상호작용 기기들에 대한 데이터는, 바람 센서 타입(wind sensor type)으로 정의되고;
    상기 바람 센서 타입은, 신택스(syntax), 이진 표기 신택스(binary representation syntax), 및 시멘틱스(semantics) 중 적어도 하나로 기술되며, 특정 위치에서 바람의 속도(velocity)를 나타내는 것을 특징으로 하는 멀티미디어 서비스 제공 시스템.
  7. 삭제
  8. 통신 시스템에서 멀티미디어 서비스를 제공하는 방법에 있어서,
    상기 멀티미디어 서비스에 대한 사용자의 선택에 따라, 다중 상호 작용 포인트들(multiple interaction points)에서 센싱된 정보를, 상호작용 기기들에 대한 데이터로 생성하는 단계; 및
    상기 데이터를 상기 상호 작용 기기들로 송신하는 단계;를 포함하며;
    상기 상호작용 기기들에 대한 데이터는, 멀티 상호작용 포인트 센서 타입(multi Interaction point sensor type)으로 정의되고;
    상기 멀티 상호작용 포인트 센서 타입은, 신택스(syntax), 이진 표기 신택스(binary representation syntax), 및 시멘틱스(semantics) 중 적어도 하나로 기술되며, 상기 사용자의 선택 입력들에 따라 상기 다중 상호작용 포인트들에 대한 상태들의 셋(set)을 나타내는 것을 특징으로 하는 멀티미디어 서비스 제공 방법.
  9. 제8항에 있어서,
    상기 멀티 상호작용 포인트 센서 타입의 이진 표기 신택스는, 상호작용 포인트들의 식별자(ID) 및 상태(status)를 포함하는 것을 특징으로 하는 멀티미디어 서비스 제공 방법.
  10. 삭제
  11. 통신 시스템에서 멀티미디어 서비스를 제공하는 방법에 있어서,
    상기 멀티미디어 서비스에 대한 사용자의 시선(gaze)에 따라, 시선 추적 센서(gaze tracking sensor)에서 센싱된 정보를, 상호작용 기기들에 대한 데이터로 생성하는 단계; 및
    상기 데이터를 상기 상호 작용 기기들로 송신하는 단계;를 포함하며;
    상기 상호작용 기기들에 대한 데이터는, 시선 추적 센서 타입(gaze tracking sensor type)으로 정의되고;
    상기 시선 추적 센서 타입은, 신택스(syntax), 이진 표기 신택스(binary representation syntax), 및 시멘틱스(semantics) 중 적어도 하나로 기술되며, 상기 사용자의 시선에 따라 사용자 눈의 깜박임 상태(blinking status)를 나타내는 것을 특징으로 하는 멀티미디어 서비스 제공 방법.
  12. 삭제
  13. 통신 시스템에서 멀티미디어 서비스를 제공하는 방법에 있어서,
    상기 멀티미디어 서비스에 대한 바람 센서(wind sensor)에서 센싱된 정보를, 상호작용 기기들에 대한 데이터로 생성하는 단계; 및
    상기 데이터를 상기 상호 작용 기기들로 송신하는 단계;를 포함하며;
    상기 상호작용 기기들에 대한 데이터는, 바람 센서 타입(wind sensor type)으로 정의되고;
    상기 바람 센서 타입은, 신택스(syntax), 이진 표기 신택스(binary representation syntax), 및 시멘틱스(semantics) 중 적어도 하나로 기술되며, 특정 위치에서 바람의 속도(velocity)를 나타내는 것을 특징으로 하는 멀티미디어 서비스 제공 방법.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020110071886A 2010-07-21 2011-07-20 통신 시스템에서 멀티미디어 서비스 제공 시스템 및 방법 KR101748194B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110071886A KR101748194B1 (ko) 2010-07-23 2011-07-20 통신 시스템에서 멀티미디어 서비스 제공 시스템 및 방법
US13/187,604 US20120023161A1 (en) 2010-07-21 2011-07-21 System and method for providing multimedia service in a communication system

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20100071515 2010-07-23
KR1020100071515 2010-07-23
KR1020110071886A KR101748194B1 (ko) 2010-07-23 2011-07-20 통신 시스템에서 멀티미디어 서비스 제공 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20120011800A KR20120011800A (ko) 2012-02-08
KR101748194B1 true KR101748194B1 (ko) 2017-06-20

Family

ID=45835935

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110071886A KR101748194B1 (ko) 2010-07-21 2011-07-20 통신 시스템에서 멀티미디어 서비스 제공 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101748194B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001243496A (ja) * 2000-02-29 2001-09-07 Sony Corp シーン記述生成装置及び方法、シーン記述変換装置及び方法、シーン記述記憶装置及び方法、シーン記述復号装置及び方法、ユーザインタフェースシステム、記録媒体並びに伝送媒体

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001243496A (ja) * 2000-02-29 2001-09-07 Sony Corp シーン記述生成装置及び方法、シーン記述変換装置及び方法、シーン記述記憶装置及び方法、シーン記述復号装置及び方法、ユーザインタフェースシステム、記録媒体並びに伝送媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
‘MPEG-V Sensory Information’, MPEG Standards MPEG-V(2009.10.)*

Also Published As

Publication number Publication date
KR20120011800A (ko) 2012-02-08

Similar Documents

Publication Publication Date Title
KR102504459B1 (ko) 라이브 방송의 특수 효과 처리 방법, 장치 및 서버
US11915670B2 (en) Systems, methods, and media for displaying interactive augmented reality presentations
US11964200B2 (en) Method and apparatus for providing haptic feedback and interactivity based on user haptic space (HapSpace)
JP6581666B2 (ja) ヘッドマウントディスプレイでのピンチアンドホールドジェスチャのナビゲーション
US10020025B2 (en) Methods and systems for customizing immersive media content
CN107147769A (zh) 基于移动终端的设备控制方法、装置和移动终端
JP2016137248A (ja) 仮想世界処理装置および方法
JP2013540291A (ja) 仮想世界処理装置及び方法
Saleme et al. Coping with the challenges of delivering multiple sensorial media
US20180146218A1 (en) Free viewpoint picture data distribution system
KR101239370B1 (ko) 가상 환경의 햅틱 속성의 정의를 통한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템
US20090309827A1 (en) Method and apparatus for authoring tactile information, and computer readable medium including the method
KR101748194B1 (ko) 통신 시스템에서 멀티미디어 서비스 제공 시스템 및 방법
Li et al. Emerging technologies and applications on interactive entertainments
US20120023161A1 (en) System and method for providing multimedia service in a communication system
KR102542070B1 (ko) Iptv 망 기반 가상현실 콘텐츠 제공 시스템 및 방법
CN113661715B (zh) 放映厅业务管理方法、互动方法、显示设备及移动终端
KR101815980B1 (ko) 통신 시스템에서 멀티미디어 서비스 제공 시스템 및 방법
CN114053694A (zh) 应用服务器及其应用服务方法、计算机可读存储介质
CN115129280A (zh) 一种虚拟现实设备及投屏媒资播放方法
KR101519030B1 (ko) 감성광고 기능을 구비한 스마트 ｔｖ
KR101487477B1 (ko) 감성광고 기능을 구비한 스마트 ｔｖ
KR101250503B1 (ko) Ｍｐｅｇ-ｖ의 아키텍쳐를 통한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템
WO2023282049A1 (ja) 情報処理装置、情報処理方法、情報処理システム、コンピュータプログラム及び記録媒体
KR102156234B1 (ko) 제작 의도 기반 적응형 스트리밍 서비스 장치 및 방법

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant