KR100924170B1 - 전송 효율을 높이기 위한 다시점 파노라믹 콘텐츠 송/수신시스템 및 그 방법 - Google Patents

전송 효율을 높이기 위한 다시점 파노라믹 콘텐츠 송/수신시스템 및 그 방법 Download PDF

Info

Publication number
KR100924170B1
KR100924170B1 KR1020070106876A KR20070106876A KR100924170B1 KR 100924170 B1 KR100924170 B1 KR 100924170B1 KR 1020070106876 A KR1020070106876 A KR 1020070106876A KR 20070106876 A KR20070106876 A KR 20070106876A KR 100924170 B1 KR100924170 B1 KR 100924170B1
Authority
KR
South Korea
Prior art keywords
scene
stream
content
object descriptor
image
Prior art date
Application number
KR1020070106876A
Other languages
English (en)
Other versions
KR20080051041A (ko
Inventor
이인재
김규헌
최진수
박광훈
서덕영
문경애
홍진우
Original Assignee
한국전자통신연구원
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 경희대학교 산학협력단 filed Critical 한국전자통신연구원
Publication of KR20080051041A publication Critical patent/KR20080051041A/ko
Application granted granted Critical
Publication of KR100924170B1 publication Critical patent/KR100924170B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 전송 효율을 높이기 위한 다시점 파노라믹 콘텐츠 송/수신 시스템 및 그 방법에 관한 것으로, 카메라에서 획득되는 다시점 파노라믹 콘텐츠를 각각의 객체로 정의하고, 사용자에 의해 요청된 콘텐츠 및 이와 인접한 콘텐츠에 해당하는 객체들만을 장면으로 구성하여 사용자에게 실시간으로 제공함으로써, 다시점 콘텐츠의 전송 효율을 높이기 위한, 다시점 파노라믹 콘텐츠 송/수신 시스템 및 그 방법을 제공하고자 한다.
이를 위하여, 본 발명은 다시점 파노라믹 콘텐츠 송신 시스템에 있어서, 다시점 파노라믹 콘텐츠(이하, '콘텐츠'라 함)를 부호화하기 위한 영상 부호화 수단; 상기 영상 부호화 수단에 의해 부호화된 콘텐츠를 각각의 객체기술자로 정의하고 장면 이진 포맷 스트림과 IOD(Initial Object Descriptor)를 생성하며, 사용자로부터의 요청 시점과 상기 요청 시점과 인접한 시점에 해당하는 영상 스트림을 이용하여 장면을 생성하기 위한 장면 생성 수단; 상기 장면 생성 수단으로부터의 영상 스트림, 객체기술자 스트림, 및 장면 이진 포맷 스트림을 패킷화하기 위한 패킷화 수단; 및 상기 장면 생성 수단에 의해 생성된 IOD와 상기 패킷화 수단에 의해 패킷화된 영상 스트림, 객체기술자 스트림, 및 장면 이진 포맷 스트림을 다중화하여 전송하기 위한 다중화 수단을 포함한다.
다시점 콘텐츠, 전송 효율, 시점 콘텐츠 간 동기화, 장면 생성, 장면 구성, 렌더링

Description

전송 효율을 높이기 위한 다시점 파노라믹 콘텐츠 송/수신 시스템 및 그 방법{System for transmitting/receiving multiview panoramic contents for increasing transmitting efficency and its method}
본 발명은 전송 효율을 높이기 위한 다시점 파노라믹 콘텐츠 송/수신 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 카메라에서 획득되는 다시점 파노라믹 콘텐츠(정지영상/동영상)를 각각의 객체로 정의하고, 사용자에 의해 요청된 콘텐츠 및 이와 인접한 콘텐츠에 해당하는 객체들만을 장면으로 구성하여 사용자에게 실시간으로 제공함으로써, 다시점 콘텐츠의 전송 효율을 높일 수 있는, 다시점 파노라믹 콘텐츠 송/수신 시스템 및 그 방법에 관한 것이다.
본 발명은 정보통신부 및 정보통신연구진흥원의 IT차세대핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2005-S-403-02, 과제명: 지능형 통합정보 방송(SmaR TV) 기술개발].
일반적으로, 여러 대의 카메라에서 획득한 특정 객체에 대한 다시점 파노라 믹 콘텐츠(정지영상/동영상)를 서비스할 시에 사용자로부터 요청된(사용자가 원하는) 시점의 콘텐츠뿐만 아니라 사용자로부터 요청되지 않은(사용자가 원하지 않는) 시점의 콘텐츠도 함께 제공한다.
도 1 은 종래의 다시점 파노라믹 콘텐츠 송/수신 시스템의 일실시예 구성도이다.
도 1에 도시된 바와 같이, 종래의 다시점 파노라믹 콘텐츠 송/수신 시스템은, 카메라(13)에 의해 촬영된 다시점 파노라믹 콘텐츠를 부호화하고, 이를 다중화하여 다시점 파노라믹 콘텐츠 수신 시스템(12)으로 전송하기 위한 다시점 파노라믹 콘텐츠 송신 시스템(11)과, 다시점 파노라믹 콘텐츠 송신 시스템(11)으로부터 전송된 다중화된 콘텐츠를 역다중화하고, 이를 복호화하여 최종 렌더링 작업을 통해 사용자에게 제공하기 위한 다시점 파노라믹 콘텐츠 수신 시스템(12)을 포함한다.
여기서, 다시점 파노라믹 콘텐츠 송신 시스템(11)은 카메라(13)에 의해 촬영된 다시점 파노라믹 콘텐츠를 부호화(압축)하여 다중화부(112)로 전송하기 위한 영상 부호화부(111)와, 영상 부호화부(111)에 의해 부호화된 다시점 파노라믹 콘텐츠를 하나의 비트스트림으로 구성하여 다시점 파노라믹 콘텐츠 수신 시스템(12)으로 전송하기 위한 다중화부(112)를 포함한다.
그리고 다시점 파노라믹 콘텐츠 수신 시스템(12)은 다시점 파노라믹 콘텐츠 송신 시스템(11)으로부터 전송된 하나의 비트스트림을 개별의 콘텐츠로 분리하기 위한 역다중화부(121)와, 역다중화부(121)에 의해 분리된 각각의 다시점 파노라믹 콘텐츠를 복호화하여 사용자에게 제공하기 위한 영상 복호화부(122)를 포함한다.
이와 같이 다수의 카메라에서 획득한 모든 콘텐츠를 사용자에게 제공할 경우, 사용자가 원하는 콘텐츠와 함께 사용자가 원하지 않는 콘텐츠도 제공되기 때문에 제한적인 전송률을 가지고 있는 전송 환경 하에서 초기 버퍼링 시간이 매우 길어지고 전송되는 데이터 대비 사용되는 콘텐츠의 사용 효율이 매우 낮다는 문제점이 있다.
상기와 같은 문제점을 해결하기 위해 시점 선택기를 통해 사용자가 원하는 콘텐츠만을 제공하는 방안이 강구되었다.
도 2 는 종래의 전송 효율을 높이기 위한 다시점 파노라믹 콘텐츠 송/수신 시스템의 일실시예 구성도이다.
도 2에 도시된 바와 같이, 종래의 전송 효율을 높이기 위한 다시점 파노라믹 콘텐츠 송/수신 시스템은, 카메라(23)에 의해 촬영된 다시점 파노라믹 콘텐츠를 부호화하고, 사용자로부터 원하는 콘텐츠를 선택받아 이에 해당하는 부호화된 다시점 파노라믹 콘텐츠를 다시점 파노라믹 콘텐츠 수신 시스템(22)으로 전송하기 위한 다시점 파노라믹 콘텐츠 송신 시스템(21)과, 다시점 파노라믹 콘텐츠 송신 시스템(21)으로부터 전송된 부호화된 다시점 파노라믹 콘텐츠를 복호화하고, 이를 렌더링하여 사용자에게 제공하기 위한 다시점 파노라믹 콘텐츠 수신 시스템(22)을 포함한다.
여기서, 다시점 파노라믹 콘텐츠 송신 시스템(21)은 카메라(23)에 의해 촬영된 다시점 파노라믹 콘텐츠를 부호화(압축)하여 시점 선택부(212)로 전송하기 위한 영상 부호화부(211)와, 영상 부호화부(211)에 의해 부호화된 콘텐츠 중 사용자가 원하는 콘텐츠를 선택받아, 선택된 콘텐츠를 다시점 파노라믹 콘텐츠 수신 시스템(22)으로 전송하기 위한 시점 선택부(212)를 포함한다.
그리고 다시점 파노라믹 콘텐츠 수신 시스템(22)은 다시점 파노라믹 콘텐츠 송신 시스템(21)으로부터 전송된 부호화된 콘텐츠를 복호화하기 위한 영상 복호화부(221)와, 영상 복호화부(221)에 의해 복호화된 콘텐츠를 렌더링하여 사용자에게 제공하기 위한 렌더러(Renderer)(222)를 포함한다.
따라서 상기와 같은 종래 기술은 전송 효율을 높일 수는 있으나, 각 시점의 콘텐츠 간의 시간 정보를 공유하고 있지 않기 때문에(동기화되어 있지 않기 때문에) 사용자의 요청에 따른 시점을 변화시키는 데에는 한계가 있다는 문제점이 있으며, 이러한 문제점을 해결하고자 하는 것이 본 발명의 과제이다.
따라서 본 발명은 카메라에서 획득되는 다시점 파노라믹 콘텐츠를 각각의 객체로 정의하고, 사용자에 의해 요청된 콘텐츠 및 이와 인접한 콘텐츠에 해당하는 객체들만을 장면으로 구성하여 사용자에게 실시간으로 제공함으로써, 다시점 콘텐츠의 전송 효율을 높이기 위한, 다시점 파노라믹 콘텐츠 송/수신 시스템 및 그 방법을 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 시스템은, 다시점 파노라믹 콘텐츠 송신 시스템에 있어서, 다시점 파노라믹 콘텐츠(이하, '콘텐츠'라 함)를 부호화하기 위한 영상 부호화 수단; 상기 영상 부호화 수단에 의해 부호화된 콘텐츠를 각각의 객체기술자로 정의하고 장면 이진 포맷 스트림과 IOD(Initial Object Descriptor)를 생성하며, 사용자로부터의 요청 시점과 상기 요청 시점과 인접한 시점에 해당하는 영상 스트림을 이용하여 장면을 생성하기 위한 장면 생성 수단; 상기 장면 생성 수단으로부터의 영상 스트림, 객체기술자 스트림, 및 장면 이진 포맷 스트림을 패킷화하기 위한 패킷화 수단; 및 상기 장면 생성 수단에 의해 생성된 IOD와 상기 패킷화 수단에 의해 패킷화된 영상 스트림, 객체기술자 스트림, 및 장면 이진 포맷 스트림을 다중화하여 전송하기 위한 다중화 수단을 포함한다.
또한, 상기 목적을 달성하기 위한 본 발명의 다른 시스템은, 다시점 파노라믹 콘텐츠 수신 시스템에 있어서, 다시점 파노라믹 콘텐츠로 다중화된 영상 스트림, 객체기술자 스트림, 장면 이진 포맷 스트림, 및 IOD를 역다중화하기 위한 역다중화 수단; 상기 역다중화 수단에 의해 역다중화된 영상 스트림, 객체기술자 스트림, 및 장면 이진 포맷 스트림을 역패킷화하기 위한 역패킷화 수단; 상기 역다중화 수단에 의해 역다중화된 IOD와 상기 역패킷화 수단에 의해 역패킷화된 객체기술자 스트림, 및 장면 이진 포맷 스트림을 이용하여 장면을 구성하기 위한 장면 구성 수단; 상기 역패킷화 수단에 의해 역패킷화된 영상 스트림을 복호화하기 위한 복호화 수단; 및 상기 장면 구성 수단에 의해 구성된 장면을 기반으로 상기 복호화 수단에 의해 복호화된 영상 스트림을 렌더링하기 위한 렌더링 수단을 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 방법은, 다시점 파노라믹 콘텐츠 송신 방법에 있어서, 다시점 파노라믹 콘텐츠(이하, '콘텐츠'라 함)를 부호화하는 콘텐츠 부호화 단계; 상기 콘텐츠 부호화 단계에서 부호화된 콘텐츠를 각각의 객체기술자로 정의하고 장면 이진 포맷 스트림과 IOD(Initial Object Descriptor)를 생성하며, 사용자로부터의 요청 시점과 상기 요청 시점과 인접한 시점에 해당하는 영상 스트림을 이용하여 장면을 생성하는 장면 생성 단계; 상기 장면 생성 단계에서 생성된 객체기술자 스트림, 장면 이진 포맷 스트림, 및 영상 스트림을 패킷화하는 패킷화 단계; 및 상기 장면 생성 단계에서 생성된 IOD와 상기 패킷화 단계에서 패킷화된 객체기술자 스트림, 장면 이진 포맷 스트림, 및 영상 스트림을 다중화하여 전송하는 단계를 포함한다.
또한, 상기 목적을 달성하기 위한 본 발명의 다른 방법은, 다시점 파노라믹 콘텐츠 수신 방법에 있어서, 다시점 파노라믹 콘텐츠로 다중화된 영상 스트림, 객체기술자 스트림, 장면 이진 포맷 스트림, 및 IOD(Initial Object Descriptor)를 역다중화하는 역다중화 단계; 상기 역다중화 단계에서 역다중화된 영상 스트림, 객체기술자 스트림, 및 장면 이진 포맷 스트림을 역패킷화하는 역패킷화 단계; 상기 역다중화 단계에서 역다중화된 IOD와 상기 역패킷화 단계에서 역패킷화된 객체기술자 스트림, 및 장면 이진 포맷 스트림을 이용하여 장면을 구성하는 장면 구성 단계; 상기 역패킷화 단계에서 역패킷화된 영상 스트림을 복호화하는 복호화 단계; 및 상기 장면 구성 단계에서 구성된 장면을 기반으로 상기 복호화 단계에서 복호화된 영상 스트림을 렌더링하는 렌더링 단계를 포함한다.
상기와 같은 본 발명은, 사용자에게 원하지 않는 콘텐츠는 제공하지 않고, 사용자가 원하는 콘텐츠만을 제공함으로써, 초기 버퍼링 타임을 줄이고, 사용자의 콘텐츠 사용 효율을 높일 수 있는 효과가 있다.
또한, 본 발명은, 각 시점의 콘텐츠를 동기화함으로써, 사용자의 요청에 따라 콘텐츠의 시점을 자유롭게 변화시킬 수 있는 효과가 있다.
상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되어 있는 상세한 설명을 통하여 보다 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.
이하, 본 발명은 엠펙-4 시스템(MPEG-4 Systems)에 기반을 두고 있으나, LASeR(Light Application Scene Representation)에도 확대 적용할 수 있음을 미리 밝혀둔다.
도 3 은 본 발명에 따른 전송 효율을 높이기 위한 다시점 파노라믹 콘텐츠 송/수신 시스템의 일실시예 구성도이고, 도 4 는 본 발명에 이용되는 사용자로부터 요청된 다시점 파노라믹 콘텐츠를 나타내는 일예시도이다.
먼저, 카메라(33)에 의해 촬영된 다시점 콘텐츠(정지영상/동영상)가 파노라믹 형태인 경우, 컨텐츠 제작자는 대용량의 다시점 영상을 소정 크기의 부분 영상으로 분할한다.
도 3에 도시된 바와 같이, 본 발명에 따른 전송 효율을 높이기 위한 다시점 파노라믹 콘텐츠 송/수신 시스템은, 영상 부호화부(311), 장면 생성부(312), 패킷타이저(Packetizer)(313), 및 다중화부(314)를 포함하는 다시점 파노라믹 콘텐츠 송신 시스템(31)과, 역다중화부(321), 디패킷타이저(Depacketizer)(322), 장면 구성부(323), 영상 복호화부(324), 및 렌더러(Renderer)(325)를 포함하는 다시점 파노라믹 콘텐츠 수신 시스템(32)을 포함한다.
여기서, 다시점 파노라믹 콘텐츠 송신 시스템(31)의 영상 부호화부(311)는 카메라(33)에 의해 촬영된 다시점 파노라믹 콘텐츠(소정의 크기로 분할된 정지영상/동영상)를 부호화(압축)하고, 이를 장면 생성부(312)로 전달한다.
그리고 장면 생성부(312)는 영상 부호화부(311)에서 부호화된 다시점 파노라 믹 콘텐츠를 엠펙-4 시스템(MPEG-4 Systems: Moving Picture Experts Group-4 Systems)의 장면 구성 방식에 따라 각각의 객체기술자(OD : Object Descriptor)로 정의하고, 정의된 객체기술자로 구성된 화면 정보(Scene Descriptor)를 나타내는 장면 이진 포맷(BIFS : Binary Format for Scene) 스트림과 다시점 파노라믹 콘텐츠의 복호화를 위한 정보(즉, 영상 압축 방식, 프로파일 및 레벨 정보 등)를 나타내는 IOD(Initial Object Descriptor)를 생성한다.
여기서, 사용자로부터 요청된(사용자에게 제공될) 다시점 파노라믹 콘텐츠는 n * m개의 객체기술자로 정의된다(도 4 참조).
또한, 장면 생성부(312)는 사용자로부터 시점 정보를 전달받아 해당 시점 및 그와 인접한 시점에 해당하는 영상 스트림(ES : Elementary Stream)을 이용하여 상기 정의된 객체기술자 스트림, 상기 생성된 IOD, 및 장면 이진 포맷 스트림을 기반으로 장면을 생성한다.
이때, 장면 생성부(312)는 다시점 파노라믹 콘텐츠의 복호화를 위한 정보(즉, 영상 압축 방식, 프로파일 및 레벨 정보 등)를 나타내는 IOD는 다중화부(314)로 전송하고, 상기 정의된 객체기술자 스트림, 및 장면 이진 포맷 스트림과 사용자로부터 전달받은 시점 및 그와 인접한 시점에 해당하는 영상 스트림은 패킷타이저(313)로 전송한다.
여기서, 장면 생성부(312)가 상기 영상 스트림, 객체기술자 스트림, 및 장면 이진 포맷 스트림을 패킷타이저(313)로 전송하는 이유는 각 스트림 간의 동기화를 위해서이다.
이때, 객체기술자 스트림은 각각의 분할된 영상(1, 2,.., k,.., n * m)을 가리키는 포인터(Pointer) 정보를 통해 화면 구성 정보를 나타내고, 장면 이진 포맷 스트림은 전송하려고 하는 부분 영상의 위치 정보(예를 들면, 중앙의 부분 영상(k번째 스트림), 좌측의 부분 영상(k - 1번째 스트림), 우측의 부분 영상(k + 1번째 스트림), 위측의 부분 영상(k(n + 1)번째 스트림), 좌측 상단 대각선의 부분 영상(k - (n + 2)번째 스트림), 우측 상단 대각선의 부분 영상(k - n번째 스트림))를 나타낸다.
또한, 장면 생성부(312)는 사용자로부터 시점 변환을 요청받으면 엠펙-4 시스템(MPEG-4 Systems) 규격인 객체기술자 명령어를 통해 추가로 요청된 분할 영상 및 그와 인접한 분할 영상에 해당하는 객체기술자를 실시간으로 재구성하여 패킷타이저(313)로 전송한다.
여기서, 장면 생성부(312)는 각 시점 콘텐츠 간의 동기화를 위해 각 시점의 콘텐츠 및 부분 영상의 객체기술자를 기반으로 한 기본 유닛(Access Unit)을 구성하고, 엠펙-4 시스템(MPEG-4 Systems)에서 정의한 OCR(Object Clock Reference)과 CTS(Composition Time Stamp)/DTS(Decoding Time Stamp)를 각 영상마다 추가하여 각 영상의 변환 시에 상기 OCR과 CTS 및 DTS를 이용하여, 시점 변경에 따른 동기화를 구성한다.
그리고 패킷타이저(313)는 장면 생성부(312)로부터 전달받은 영상 스트림, 객체기술자 스트림, 및 장면 이진 포맷 스트림을 "MPEG-4 systems SL packetizer"를 통해 패킷화하고, 이를 다중화부(314)로 전달한다.
그리고 다중화부(314)는 장면 생성부(312)로부터 전달받은 IOD와, 패킷타이 저(313)로부터 전달받은 패킷화된 영상 스트림, 객체기술자 스트림, 및 장면 이진 포맷 스트림을 다중화하여 다시점 파노라믹 콘텐츠 수신 시스템(32)으로 전송한다.
여기서, 다중화부(314)는 전송 환경에 따라 여러 가지 방식을 사용하여 스트림을 다중화할 수 있는데, 일예를 들면 방송을 위해서는 MPEG-2 TS(Transport Stream) 기반의 다중화 방식을 사용할 수 있고, 인터넷 스트리밍을 하기 위해서는 IP(Internet Protocol) 기반의 다중화 방식을 사용할 수 있다.
그리고 다시점 파노라믹 콘텐츠 수신 시스템(32)의 역다중화부(321)는 다시점 파노라믹 콘텐츠 송신 시스템(31)으로부터 전송된 다중화된 영상 스트림, 객체기술자 스트림, 장면 이진 포맷 스트림, 및 IOD를 역다중화(각각 분리)하여 역다중화된 영상 스트림, 객체기술자 스트림, 및 장면 이진 포맷 스트림은 디패킷타이저(322)로 전달하고, IOD는 장면 구성부(323)로 전달한다.
그리고 디패킷타이저(322)는 역다중화부(321)에 의해 역다중화된 영상 스트림, 객체기술자 스트림, 및 장면 이진 포맷 스트림을 역패킷화하여, 역패킷화된 영상 스트림은 영상 복호화부(324)로 전달하고, 역패킷화된 객체기술자 스트림, 및 장면 이진 포맷 스트림은 장면 구성부(323)로 전달한다.
그리고 장면 구성부(323)는 엠펙-4 시스템(MPEG-4 Systems)을 기반으로 역다중화부(321)로부터 전송된 IOD와, 디패킷타이저(322)에 의해 역패킷화된 객체기술자 스트림, 및 장면 이진 포맷 스트림을 이용하여 사용자에게 제공할 콘텐츠의 장면을 구성한다.
그리고 영상 복호화부(324)는 디패킷타이저(322)로부터 전송된 영상 스트림 을 복호화하여 렌더러(325)로 전달한다.
그리고 렌더러(325)는 장면 구성부(323)에 의해 구성된 장면을 기반으로 영상 복호화부(324)에 의해 복호화된 영상 스트림을 렌더링하여 사용자에게 제공한다.
도 5 는 본 발명에 따른 전송 효율을 높이기 위한 다시점 파노라믹 콘텐츠 송신 방법에 대한 일실시예 흐름도이다.
먼저, 다시점 파노라믹 콘텐츠 송신 시스템(31)은 카메라에 의해 촬영된 다시점 파노라믹 콘텐츠(소정의 크기로 분할된 정지영상/동영상)를 부호화(압축)한다(501).
이후, 다시점 파노라믹 콘텐츠 송신 시스템(31)은 상기 부호화된 다시점 파노라믹 콘텐츠를 엠펙-4 시스템(MPEG-4 Systems)의 장면 구성 방식에 따라 각각의 객체기술자로 정의하고, 정의된 객체기술자로 구성된 화면 정보(Scene Descriptor)를 나타내는 장면 이진 포맷 스트림, 및 다시점 파노라믹 콘텐츠의 복호화를 위한 정보(즉, 영상 압축 방식, 프로파일 및 레벨 정보 등)를 나타내는 IOD를 생성한다(502).
여기서, 다시점 파노라믹 콘텐츠 송신 시스템(31)은 엠펙-4 시스템(MPEG-4 Systems)을 기반으로 각 카메라에서 획득되는 영상을 각각의 객체기술자로 정의하거나, 하나의 영상을 여러 개의 부분 영상으로 나누고 나누어진 부분 영상을 객체기술자로 정의한다.
이어서, 다시점 파노라믹 콘텐츠 송신 시스템(31)은 사용자로부터 시점 정보 를 전달받아 해당 시점 및 그와 인접한 시점에 해당하는 영상 스트림을 이용하여, 상기 생성된 객체기술자 스트림, IOD, 및 장면 이진 포맷 스트림을 기반으로 장면을 생성한다(503).
그리고 다시점 파노라믹 콘텐츠 송신 시스템(31)은 사용자로부터 시점 변환을 요청받았는지 확인하여(504), 사용자로부터 시점 변환을 요청받지 않았으면 상기 생성된 IOD를 제외한(505) 객체 기술자 스트림, 및 장면 이진 포맷 스트림과 사용자에게 제공할 영상 스트림을 패킷화하고(506), 사용자로부터 시점 변환을 요청받았으면 엠펙-4 시스템(MPEG-4 Systems) 규격인 객체기술자 명령어를 통해 추가로 요청된 분할 영상 및 그와 인접한 분할 영상에 해당하는 객체기술자를 실시간으로 재구성하고(508), "506" 과정으로 진행한다.
이때, 다시점 파노라믹 콘텐츠 송신 시스템(31)은 사용자가 시점에 대한 변환을 요청할 경우 객체기술자 명령어(OD Command(즉, 삽입(Insert), 삭제(Delete), 이동(Remove), 갱신(Update))) 등을 통해 사용자에게 제공할 콘텐츠를 재구성한다.
이후, 다시점 파노라믹 콘텐츠 송신 시스템(31)은 상기 생성된 IOD와, 상기 패킷화된 영상 스트림, 객체기술자 스트림, 및 장면 이진 포맷 스트림을 다중화하여 다시점 파노라믹 콘텐츠 수신 시스템(32)으로 전송한다(507).
도 6 은 본 발명에 따른 전송 효율을 높이기 위한 다시점 파노라믹 콘텐츠 수신 방법에 대한 일실시예 흐름도이다.
먼저, 다시점 파노라믹 콘텐츠 수신 시스템(32)은 다시점 파노라믹 콘텐츠 송신 시스템(31)으로부터 다중화된 스트림을 수신하여 이를 역다중화하고(601), 상 기 역다중화된 스트림 중 IOD를 제외한(602) 영상 스트림, 객체기술자 스트림, 및 장면 이진 포맷 스트림을 역패킷화하고(603), 상기 역패킷화된 영상 스트림을 복호화한다(604, 605).
이후, 다시점 파노라믹 콘텐츠 수신 시스템(32)은 엠펙-4 시스템(MPEG-4 Systems)을 기반으로 상기 역다중화된 IOD(602)와 상기 역패킷화된 객체기술자 스트림, 및 장면 이진 포맷 스트림을 이용하여 사용자에게 제공할 콘텐츠의 장면을 구성한다(606).
그리고 다시점 파노라믹 콘텐츠 수신 시스템(32)은 상기 구성된 장면을 기반으로 상기 복호화된 영상 스트림을 렌더링하여 사용자에게 제공한다(607).
한편, 전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다.　또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
본 발명은 다시점 파노라믹 송/수신 시스템 등에 이용될 수 있다.
도 1 은 종래의 다시점 파노라믹 콘텐츠 송/수신 시스템의 일실시예 구성도,
도 2 는 종래의 전송 효율을 높이기 위한 다시점 파노라믹 콘텐츠 송/수신 시스템의 일실시예 구성도,
도 3 은 본 발명에 따른 전송 효율을 높이기 위한 다시점 파노라믹 콘텐츠 송/수신 시스템의 일실시예 구성도,
도 4 는 본 발명에 이용되는 사용자로부터 요청된 다시점 파노라믹 콘텐츠를 나타내는 일예시도,
도 5 는 본 발명에 따른 전송 효율을 높이기 위한 다시점 파노라믹 콘텐츠 송신 방법에 대한 일실시예 흐름도,
도 6 은 본 발명에 따른 전송 효율을 높이기 위한 다시점 파노라믹 콘텐츠 수신 방법에 대한 일실시예 흐름도이다.
* 도면의 주요 부분에 대한 부호 설명
31 : 다시점 파노라믹 콘텐츠 송신 시스템
32 : 다시점 파노라믹 콘텐츠 수신 시스템
33 : 카메라 311 : 영상 부호화부
312 : 장면 생성부 313 : 패킷타이저
314 : 다중화부 321 : 역다중화부
322 : 디패킷타이저 323 : 장면 구성부
324 : 영상 복호화부 325 : 렌더러

Claims (10)

  1. 다시점 파노라믹 콘텐츠 송신 시스템에 있어서,
    다시점 파노라믹 콘텐츠(이하, '콘텐츠'라 함)를 부호화하기 위한 영상 부호화 수단;
    상기 영상 부호화 수단에 의해 부호화된 콘텐츠를 각각의 객체기술자로 정의하고 장면 이진 포맷 스트림과 IOD(Initial Object Descriptor)를 생성하며, 사용자로부터의 요청 시점과 상기 요청 시점과 인접한 시점에 해당하는 영상 스트림을 이용하여 장면을 생성하기 위한 장면 생성 수단;
    상기 장면 생성 수단으로부터의 영상 스트림, 객체기술자 스트림, 및 장면 이진 포맷 스트림을 패킷화하기 위한 패킷화 수단; 및
    상기 장면 생성 수단에 의해 생성된 IOD와 상기 패킷화 수단에 의해 패킷화된 영상 스트림, 객체기술자 스트림, 및 장면 이진 포맷 스트림을 다중화하여 전송하기 위한 다중화 수단
    을 포함하는 다시점 파노라믹 콘텐츠 송신 시스템.
  2. 제 1 항에 있어서,
    상기 장면 생성 수단은,
    각 시점의 콘텐츠 및 부분 영상의 객체기술자를 기반으로 한 기본 유닛(Access Unit)을 구성하고, 엠펙-4 시스템(Moving Picture Experts Group-4 Systems)에서 정의한 OCR(Object Clock Reference)과 CTS(Composition Time Stamp) 및 DTS(Decoding Time Stamp)를 각 영상마다 추가하여 각 영상의 변환 시에 상기 OCR과 CTS 및 DTS를 이용하여 시점 변경에 따른 동기화를 구성하는 것을 특징으로 하는 다시점 파노라믹 콘텐츠 송신 시스템.
  3. 제 2 항에 있어서,
    상기 장면 생성 수단은,
    사용자로부터 시점 정보를 전달받아 상기 전달받은 시점 및 상기 전달받은 시점과 인접한 시점에 해당하는 영상 스트림을 이용하여 상기 객체기술자 스트림, IOD, 및 장면 이진 포맷 스트림을 기반으로 장면을 생성하는 것을 특징으로 하는 다시점 파노라믹 콘텐츠 송신 시스템.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 장면 생성 수단은,
    사용자로부터의 시점 변환 요청에 따라 추가로 요청받은 분할 영상 및 상기 분할 영상과 인접한 분할 영상에 해당하는 객체기술자를 객체기술자 명령어를 이용하여 재구성하고 패킷화 수단으로 전달하는 것을 특징으로 하는 다시점 파노라믹 콘텐츠 송신 시스템.
  5. 다시점 파노라믹 콘텐츠 수신 시스템에 있어서,
    다시점 파노라믹 콘텐츠로 다중화된 영상 스트림, 객체기술자 스트림, 장면 이진 포맷 스트림, 및 IOD를 역다중화하기 위한 역다중화 수단;
    상기 역다중화 수단에 의해 역다중화된 영상 스트림, 객체기술자 스트림, 및 장면 이진 포맷 스트림을 역패킷화하기 위한 역패킷화 수단;
    상기 역다중화 수단에 의해 역다중화된 IOD와 상기 역패킷화 수단에 의해 역패킷화된 객체기술자 스트림, 및 장면 이진 포맷 스트림을 이용하여 장면을 구성하기 위한 장면 구성 수단;
    상기 역패킷화 수단에 의해 역패킷화된 영상 스트림을 복호화하기 위한 복호화 수단; 및
    상기 장면 구성 수단에 의해 구성된 장면을 기반으로 상기 복호화 수단에 의해 복호화된 영상 스트림을 렌더링하기 위한 렌더링 수단
    을 포함하는 다시점 파노라믹 콘텐츠 수신 시스템.
  6. 다시점 파노라믹 콘텐츠 송신 방법에 있어서,
    다시점 파노라믹 콘텐츠(이하, '콘텐츠'라 함)를 부호화하는 콘텐츠 부호화 단계;
    상기 콘텐츠 부호화 단계에서 부호화된 콘텐츠를 각각의 객체기술자로 정의하고 장면 이진 포맷 스트림과 IOD(Initial Object Descriptor)를 생성하며, 사용자로부터의 요청 시점과 상기 요청 시점과 인접한 시점에 해당하는 영상 스트림을 이용하여 장면을 생성하는 장면 생성 단계;
    상기 장면 생성 단계에서 생성된 객체기술자 스트림, 장면 이진 포맷 스트림, 및 영상 스트림을 패킷화하는 패킷화 단계; 및
    상기 장면 생성 단계에서 생성된 IOD와 상기 패킷화 단계에서 패킷화된 객체기술자 스트림, 장면 이진 포맷 스트림, 및 영상 스트림을 다중화하여 전송하는 단계
    를 포함하는 다시점 파노라믹 콘텐츠 송신 방법.
  7. 제 6 항에 있어서,
    상기 장면 생성 단계는,
    각 시점의 콘텐츠 및 부분 영상의 객체기술자를 기반으로 한 기본 유닛(Access Unit)을 구성하고, 엠펙-4 시스템(Moving Picture Experts Group-4 Systems)에서 정의한 OCR(Object Clock Reference)과 CTS(Composition Time Stamp) 및 DTS(Decoding Time Stamp)를 각 영상마다 추가하여 각 영상의 변환 시에 상기 OCR과 CTS 및 DTS를 이용하여 시점 변경에 따른 동기화를 구성하는 것을 특징으로 하는 다시점 파노라믹 콘텐츠 송신 방법.
  8. 제 7 항에 있어서,
    상기 장면 생성 단계는,
    사용자로부터 시점 정보를 전달받아 상기 전달받은 시점 및 상기 전달받은 시점과 인접한 시점에 해당하는 영상 스트림을 이용하여 상기 객체기술자 스트림, IOD, 및 장면 이진 포맷 스트림을 기반으로 장면을 생성하는 것을 특징으로 하는 다시점 파노라믹 콘텐츠 송신 방법.
  9. 제 6 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 장면 생성 단계는,
    사용자로부터의 시점 변환 요청에 따라 추가로 요청받은 분할 영상 및 상기 분할 영상과 인접한 분할 영상에 해당하는 객체기술자를 객체기술자 명령어를 이용하여 재구성하고 패킷화 단계로 전달하는 것을 특징으로 하는 다시점 파노라믹 콘텐츠 송신 방법.
  10. 다시점 파노라믹 콘텐츠 수신 방법에 있어서,
    다시점 파노라믹 콘텐츠로 다중화된 영상 스트림, 객체기술자 스트림, 장면 이진 포맷 스트림, 및 IOD(Initial Object Descriptor)를 역다중화하는 역다중화 단계;
    상기 역다중화 단계에서 역다중화된 영상 스트림, 객체기술자 스트림, 및 장면 이진 포맷 스트림을 역패킷화하는 역패킷화 단계;
    상기 역다중화 단계에서 역다중화된 IOD와 상기 역패킷화 단계에서 역패킷화된 객체기술자 스트림, 및 장면 이진 포맷 스트림을 이용하여 장면을 구성하는 장면 구성 단계;
    상기 역패킷화 단계에서 역패킷화된 영상 스트림을 복호화하는 복호화 단계; 및
    상기 장면 구성 단계에서 구성된 장면을 기반으로 상기 복호화 단계에서 복호화된 영상 스트림을 렌더링하는 렌더링 단계
    를 포함하는 다시점 파노라믹 콘텐츠 수신 방법.
KR1020070106876A 2006-12-04 2007-10-23 전송 효율을 높이기 위한 다시점 파노라믹 콘텐츠 송/수신시스템 및 그 방법 KR100924170B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020060121686 2006-12-04
KR20060121686 2006-12-04

Publications (2)

Publication Number Publication Date
KR20080051041A KR20080051041A (ko) 2008-06-10
KR100924170B1 true KR100924170B1 (ko) 2009-10-28

Family

ID=39806184

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070106876A KR100924170B1 (ko) 2006-12-04 2007-10-23 전송 효율을 높이기 위한 다시점 파노라믹 콘텐츠 송/수신시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR100924170B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101399951B1 (ko) * 2013-07-25 2014-06-17 주식회사 넥스트이온 다시점 비디오 스트리밍 시스템 및 그 제공방법
CN110944107A (zh) * 2019-12-29 2020-03-31 徐书诚 一种实现环视网络摄像机组单屏还原显示计算机系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100963005B1 (ko) 2008-07-09 2010-06-10 한국전자통신연구원 자유시점 ａｖ 서비스에 따른 파일 생성 방법
KR101721823B1 (ko) 2015-11-06 2017-04-10 정동규 가연성 폐기물 및 바이오매스 자원을 이용하는 상향식 가스화 반응기
KR102094848B1 (ko) * 2017-10-23 2020-03-30 한국전자통신연구원 (초)다시점 미디어의 라이브 스트리밍 방법 및 장치
CN109889729A (zh) * 2019-03-21 2019-06-14 国网山东省电力公司经济技术研究院 一种电网通信设备拍照识别装置以及方法
CN111327911A (zh) * 2020-03-12 2020-06-23 山东云缦智能科技有限公司 一种多视角直播场景下同步视频帧的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060021566A (ko) * 2004-09-03 2006-03-08 (주)제니텀 엔터테인먼트 컴퓨팅 전경체 사영영상과 가상외피에 기반한 가상시점 3차원 장면 재구성 방법 및 시스템
KR20060058607A (ko) * 2004-11-25 2006-05-30 한국전자통신연구원 다시점 또는 파노라마 콘텐츠 생성 방법 및 그를 이용한대화형 복수시점 콘텐츠 저작 장치, 시스템 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060021566A (ko) * 2004-09-03 2006-03-08 (주)제니텀 엔터테인먼트 컴퓨팅 전경체 사영영상과 가상외피에 기반한 가상시점 3차원 장면 재구성 방법 및 시스템
KR20060058607A (ko) * 2004-11-25 2006-05-30 한국전자통신연구원 다시점 또는 파노라마 콘텐츠 생성 방법 및 그를 이용한대화형 복수시점 콘텐츠 저작 장치, 시스템 및 그 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101399951B1 (ko) * 2013-07-25 2014-06-17 주식회사 넥스트이온 다시점 비디오 스트리밍 시스템 및 그 제공방법
WO2015012632A1 (ko) * 2013-07-25 2015-01-29 주식회사 넥스트이온 다시점 비디오 스트리밍 시스템 및 그 제공방법
CN110944107A (zh) * 2019-12-29 2020-03-31 徐书诚 一种实现环视网络摄像机组单屏还原显示计算机系统

Also Published As

Publication number Publication date
KR20080051041A (ko) 2008-06-10

Similar Documents

Publication Publication Date Title
KR100556826B1 (ko) Ｍｐｅｇ-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법
KR100397511B1 (ko) 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
KR100905723B1 (ko) 비실시간 기반의 디지털 실감방송 송수신 시스템 및 그방법
TWI437887B (zh) Ｍｐｅｇ－２系統上多視角視訊編碼
JP5602854B2 (ja) Ｍｖｃ動作点の特性をシグナリングすること
JP5450810B2 (ja) Ｍｐｅｇ−２システムにおけるマルチビュービデオ符号化サブビットストリームのアセンブル
JP5607251B2 (ja) ネットワークストリーミングされるビデオデータについての属性をシグナリングすること
CN102461183B (zh) 广播发射机、广播接收机及其3d视频处理方法
JP5591932B2 (ja) ファイルフォーマットトラック選択のためのメディアエクストラクタトラック
JP5575949B2 (ja) 放送データ送信方法およびその装置
KR100924170B1 (ko) 전송 효율을 높이기 위한 다시점 파노라믹 콘텐츠 송/수신시스템 및 그 방법
KR20100132985A (ko) 트랜스포트 데이터 스트림내에서 참조하는 유연성 있는 서브스트림
JP2011109665A (ja) コード化タイミング情報のないビデオ・エレメンタリ・ストリームをマルチプレクスする方法及び装置
US20140125762A1 (en) Transmission device, transmission method, reception apparatus, and reception method
JP2009512270A (ja) 多重カメラシステムにおける自由な基本設定ビューの符号化／復号化方法及びその装置
KR101164857B1 (ko) 비실시간으로 3차원 입체 방송을 제공하기 위한 방송 송수신 시스템 및 방법
KR100913397B1 (ko) Ｄｍｂ기반의 3차원 입체영상 서비스를 위한 객체 기술방법과, 그에 따른 3차원 입체영상 서비스 수신 및 영상포맷 변환 방법
KR20130056829A (ko) 3dtv 방송을 위한 송수신 장치 및 그 제어 방법
ES2494541T3 (es) Procedimientos de codificación de video multi-pista y aparato que usa un extractor que referencia dos o más unidades NAL no consecutivas

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120928

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130923

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140926

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee