KR20100072760A - 스테레오스코픽 영상에 관한 데이터를 전송하는 방법, 스테레오스코픽 영상을 재생하는 방법, 및 스테레오스코픽 영상 데이터의 파일 생성 방법 - Google Patents

스테레오스코픽 영상에 관한 데이터를 전송하는 방법, 스테레오스코픽 영상을 재생하는 방법, 및 스테레오스코픽 영상 데이터의 파일 생성 방법 Download PDF

Info

Publication number
KR20100072760A
KR20100072760A KR1020080131258A KR20080131258A KR20100072760A KR 20100072760 A KR20100072760 A KR 20100072760A KR 1020080131258 A KR1020080131258 A KR 1020080131258A KR 20080131258 A KR20080131258 A KR 20080131258A KR 20100072760 A KR20100072760 A KR 20100072760A
Authority
KR
South Korea
Prior art keywords
image
stereoscopic
information
still image
stereoscopic still
Prior art date
Application number
KR1020080131258A
Other languages
English (en)
Other versions
KR101176065B1 (ko
Inventor
윤국진
이현
이광순
이봉호
허남호
김진웅
이수인
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020080131258A priority Critical patent/KR101176065B1/ko
Priority to US13/141,574 priority patent/US20110254838A1/en
Priority to CN200980151776.0A priority patent/CN102265626B/zh
Priority to PCT/KR2009/003416 priority patent/WO2010074378A2/en
Priority to JP2011541996A priority patent/JP2012513148A/ja
Priority to EP09835144A priority patent/EP2380359A2/en
Publication of KR20100072760A publication Critical patent/KR20100072760A/ko
Application granted granted Critical
Publication of KR101176065B1 publication Critical patent/KR101176065B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명은 스테레오스코픽 영상에 관한 데이터를 전송하는 방법 및 스테레오스코픽 영상을 재생하는 방법에 관한 것으로서, 스테레오스코픽 정지영상을 이용하여 다양한 장면을 표현할 수 있는 스테레오스코픽 영상을 제공하고자 한다. 이를 위하여 본 발명에 따른 스테레오스코픽 영상 데이터의 전송 방법은 스테레오스코픽 정지영상에 관한 데이터를 기 설정된 파일 포맷으로 생성하는 단계, 및 파일 포맷으로 생성된 데이터를 전송하는 단계를 포함하되, 파일 포맷은 스테레오스코픽 영상을 구성하는 스테레오스코픽 정지영상을 포함하는 미디어 정보부, 및 스테레오스코픽 정지영상의 재생을 제어하는 제어 정보와 스테레오스코픽 정지영상이 스테레오스코픽 영상을 구성하는 형태를 지시하는 영상 구성 정보를 포함하는 헤더 정보부를 포함한다.
스테레오스코픽(stereoscopic), 스테레오스코픽 정지영상, 파일 포맷, LASeR(Lightweight Application ScenE Representation), 3D 데이터, 비디오 연동형

Description

스테레오스코픽 영상에 관한 데이터를 전송하는 방법, 스테레오스코픽 영상을 재생하는 방법, 및 스테레오스코픽 영상 데이터의 파일 생성 방법{METHOD FOR TRANSMITTING DATA ON STEREOSCOPIC IMAGE, METHOD FOR PLAYBACK OF STEREOSCOPIC IMAGE, AND METHOD FOR CREATING FILE OF STEREOSCOPIC IMAGE}
본 발명은 스테레오스코픽 영상에 관한 것으로서, 더욱 상세하게는 스테레오스코픽 영상에 관한 데이터를 전송하는 방법 및 스테레오스코픽 영상을 재생하는 방법에 관한 것이다.
본 발명은 지식경제부의 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2006-F-011-01, 과제명: 차세대 DTV 핵심기술개발(표준화연계)].
최근 스테레오스코픽 영상을 이용하여 3차원 영상을 제공하는 기술이 개발되고 있다. 스테레오스코픽 영상은 원근감과 실재감을 느낄 수 있도록 3차원 디스플레이 장치를 통해 재생된다. 3차원 디스플레이 장치는 사용자의 양쪽 눈에 서로 다 른 2차원 영상이 디스플레이 되도록 하거나, 서로 다른 2차원 영상을 교대로 디스플레이 하는 등의 방법으로 스테레오스코픽 영상을 재생한다.
종래의 스테레오스코픽 영상 서비스는 단순한 스테레오스코픽 정지영상 또는 스테레오스코픽 비디오에 초점이 맞추어져 있다. 단순한 스테레오스코픽 정지영상은 3차원으로 재생되는 한 컷의 영상(예를 들어, 3차원 사진, 3차원 슬라이드 등)이다. 스테레오스코픽 비디오는 스테레오스코픽 프레임이 다수 연결되어 3차원으로 재생되는 영상을 나타낸다.
스테레오스코픽 비디오가 영상 내에서 움직임을 표현하려면, 스테레오스코픽 비디오를 구성하는 모든 스테레오스코픽 프레임에 움직임이 기록되어 있어야 한다. 따라서, 스테레오스코픽 비디오를 제공하기 위해서는 많은 데이터 량이 요구되는 단점이 있다. 따라서, 스테레오스코픽 영상을 제공함에 있어서, 적은 데이터 량으로 다양한 장면을 표현할 수 있는 기술이 요구된다.
따라서, 본 발명은 전술한 문제점을 해결하기 위한 것으로서, 스테레오스코픽 정지영상을 이용하여 다양한 장면을 표현할 수 있는 스테레오스코픽 영상을 제공하고자 한다.
또한, 본 발명은 스테레오스코픽 영상을 전송 또는 재생함에 있어서 요구되는 데이터 량을 최소화하는 것을 다른 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 더욱 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위한 본 발명의 일 실시예에 따른 스테레오스코픽 영상 데이터의 전송 방법은 스테레오스코픽 정지영상에 관한 데이터를 기 설정된 파일 포맷으로 생성하는 단계, 및 파일 포맷으로 생성된 데이터를 전송하는 단계를 포함하되, 파일 포맷은 스테레오스코픽 정지영상을 포함하는 미디어 정보부, 및 스테레오스코픽 정지영상의 재생을 제어하는 제어 정보와 스테레오스코픽 정지영상이 스테레오스코픽 영상을 구성하는 형태를 지시하는 영상 구성 정보를 포함하는 헤더 정보부를 포함한다.
또한, 본 발명의 다른 실시예에 따른 스테레오스코픽 영상의 재생 방법은 스테레오스코픽 정지영상을 포함하는 미디어 정보부, 및 제어 정보와 영상 구성 정보를 포함하는 헤더 정보부를 포함하는 파일 포맷으로 생성된 데이터를 수신하는 단계, 영상 구성 정보에 따라 스테레오스코픽 정지영상으로부터 스테레오스코픽 영상을 구성하는 단계, 및 제어 정보에 따라 스테레오스코픽 영상을 재생하는 단계를 포함한다.
또한, 본 발명의 또 다른 실시예에 따른 스테레오스코픽 영상 데이터의 파일 생성 방법은 스테레오스코픽 정지영상을 포함하는 미디어 정보부를 생성하는 단계, 스테레오스코픽 정지영상의 재생을 제어하는 제어 정보와 스테레오스코픽 정지영상이 스테레오스코픽 영상을 구성하는 형태를 지시하는 영상 구성 정보를 포함하는 헤더 정보부를 생성하는 단계, 및 미디어 정보부 및 헤더 정보부를 포함하는 파일 포맷을 생성하는 단계를 포함한다.
전술한 바와 같은 본 발명에 의하면, 스테레오스코픽 정지영상을 이용하여 다양한 장면을 표현할 수 있는 스테레오스코픽 영상을 제공할 수 있다.
본 발명에 의하면, 스테레오스코픽 영상을 전송 또는 재생함에 있어서 요구되는 데이터 량을 최소화 할 수 있는 효과가 있다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.
따라서, 예를 들어, 본 명세서의 블록도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.
프로세서 또는 이와 유사한 개념으로 표시된 기능 블록을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.
또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니 되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저 장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.
본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명하기로 한다.
본 발명에서는 미디어 정보부 및 헤더(header) 정보부를 포함하는 파일 포맷을 이용하여 스테레오스코픽(stereoscopic) 영상을 제공한다. 이때, 미디어 정보부 는 스테레오스코픽 정지영상을 포함한다.
여기서, 스테레오스코픽 정지영상은 스테레오스코픽 영상의 다양한 장면을 표현하기 위해 사용될 수 있다. 예를 들어, 스테레오스코픽 정지영상을 2차원 비디오와 연동하여 재생하는 경우, 스테레오스코픽 정지영상에 의해 표현되는 특정 객체만이 3차원으로 재생될 수 있다. 또한, 이때 복수의 스테레오스코픽 정지영상을 이용하면 각 스테레오스코픽 정지영상에 의해 표현되는 객체들이 한 장면에서 각각 3차원으로 재생될 수 있다.
따라서, 비디오 또는 오디오 연동형 스테레오스코픽 정지영상을 이용하면, 스테레오스코픽 비디오 또는 단순한 스테레오스코픽 정지영상보다 다양한 장면의 구성이 가능하다. 또한, 특정 장면에 동기화 된 스테레오스코픽 정지영상을 재생함으로써 연동된 장면의 효과를 더욱 극대화 할 수 있다. 3차원으로 표현하고자 하는 객체에 대한 데이터만 스테레오스코픽 정지영상에 포함할 수 있으므로, 적은 데이터 량으로 스테레오스코픽 영상을 제공할 수 있다. 또한, 사용자가 스테레오스코픽 영상을 감상할 때 발생하는 시각적인 피로도를 감소시킬 수 있다.
본 발명에서는 스테레오스코픽 정지영상의 재생을 제어하는 제어 정보와, 스테레오스코픽 정지영상이 스테레오스코픽 영상을 구성하는 형태에 대한 영상 구성 정보를 통해 다양한 장면 구성이 가능하게 한다.
<스테레오스코픽 영상 데이터의 전송 방법>
이하에서는 본 발명에 의한 스테레오스코픽 영상 데이터의 전송 방법에 대한 일 실시예를 설명한다.
도 1은 본 발명의 일 실시예에 의한 스테레오스코픽 영상 데이터의 전송 방법을 설명하는 흐름도이다. 도 1을 참조하면, 스테레오스코픽 영상 데이터의 전송 방법은 스테레오스코픽 정지영상에 관한 데이터를 기 설정된 파일 포맷으로 생성하는 단계(102) 및 파일 포맷으로 생성된 데이터를 전송하는 단계(104)를 포함한다.
본 발명에서 스테레오스코픽 정지영상은 예를 들어, JPG(Joint Photographic expert Group) 및 PNG(Portable Network Graphics)와 같이 프레임 한 장씩으로 구성되는 정지영상 및 MNG(Multiple-Image Network Grpahics)와 같이 하나의 파일 내에서 애니메이션 효과가 가능한 정지영상 모두를 포함한다. 한편, 스테레오스코픽 영상은 3차원으로 디스플레이될 수 있는 영상을 포함한다.
이때, 파일 포맷에 대하여 도 2를 참조하여 설명한다. 도 2는 본 발명의 일 실시예에 따른 파일 포맷(200)의 구조도이다.
파일 포맷(200)은 미디어 정보부(220)와 헤더 정보부(210)를 포함한다. 미디어 정보부(220)는 스테레오스코픽 정지영상(222)을포함하며, 헤더 정보부(210)는 스테레오스코픽 정지영상(222)의 재생을 제어하는 제어 정보(212)와 스테레오스코픽 정지영상이 스테레오스코픽 영상을 구성하는 형태 또는 파일의 종류를 지시하는 영상 구성 정보(214)를 포함한다. 영상 구성 정보(214)가 지시하는 스테레오스코픽 정지영상의 구성 형태는 다양한 종류가 있을 수 있다. 일반적으로 스테레오스코픽 영상은 좌영상과 우영상의 두 스테레오스코픽 정지영상을 조합하여 구성된다. 스테레오스코픽 정지영상의 구성 형태는 좌우영상을 어떻게 조합하는지에 따라 달라진 다. 스테레오스코픽 정지영상의 구성 형태에는 예를 들어, 좌우영상의 프레임을 교대로 반복하여 재생하는 프레임 시퀀셜(Frame sequential) 방식, 좌우영상의 필드 영상을 교대로 반복하여 재생하는 필드 시퀀셜(Field sequential) 방식, 좌영상의 홀수 번째 라인과 우영상의 짝수 번째 라인을 라인 단위로 인터리빙(interleaving)하여 재생하는 방식 등이 있다.
파일 포맷(200)에 포함된 각각의 정보부 및 정보의 위치는 실시예에 따라 다양하게 구성될 수 있다. 예를 들어, 도 2에 도시된 바와 달리, 영상 구성 정보(214)는 제어 정보(212)에 포함될 수도 있다.
파일 포맷(200)은 스테레오스코픽 영상이 제공되는 형태 또는 파일의 종류를 지시하는 영상 타입 정보를 포함할 수 있다. 영상 타입 정보는 스테레오스코픽 영상이 어떤 종류인지를 나타내는 정보 및 파일포맷으로 저장된 스테레오스코픽 영상의 타입을 구분하는데 사용된다. 예를 들어 단순한 스테레오스코픽 정지영상 서비스, 비디오/오디오 연동형 스테레오스코픽 정지영상 서비스 등이 될 수 있다. ‘비디오/오디오 연동형 스테레오스코픽 정지영상 서비스’는 스테레오스코픽 정지영상을 이용하여 다양한 장면이 표현되는 스테레오스코픽 영상을 제공하는 서비스를 총칭한다. 비디오/오디오 연동형 스테레오스코픽 정지영상 서비스는 스테레오스코픽 정지영상을 비디오 또는 오디오에 연동함으로써 다양한 장면을 표현할 수 있다. 또한, 스테레오스코픽 정지영상 서비스는 연동되는 비디오 또는 오디오 없이 단순히 스테레오스코픽 정지영상 만으로 구성되는 형태의 서비스 타입을 나타낸다.
도 3을 참조하여 파일 포맷의 다른 가능한 구조에 대해 설명한다. 도 3은 본 발명의 다른 실시예에 따른 파일 포맷(300)의 구조도이다.
파일 포맷(300)은 헤더 정보부(310)와 미디어 정보부(320)를 포함한다. 도 3에 도시된 바와 같이, 미디어 정보부(320)는 스테레오스코픽 영상의 한 장면을 구성하는 복수의 스테레오스코픽 정지영상을 포함할 수 있다. 복수의 스테레오스코픽 정지영상은 2개 이상의 스테레오스코픽 정지영상이 될 수 있다. 도 3에서는 스테레오스코픽 정지영상이 3개인 경우를 도시하고 각각 제1 스테레오스코픽 정지영상(322), 제2 스테레오스코픽 정지영상(324), 제3 스테레오스코픽 정지영상(326)으로 표시한다. 이 경우, 헤더 정보부(310)에 포함된 영상 구성 정보(312)는 복수의 스테레오스코픽 정지영상(322, 324, 326)이 스테레오스코픽 영상을 구성하는 형태를 지시할 수 있다. 제1 스테레오스코픽 정지영상(322), 제2 스테레오스코픽 정지영상(324), 제3 스테레오스코픽 정지영상(326)이 스테레오스코픽 영상을 구성하는 형태가 모두 같은 경우에는 영상 구성 정보를 각각에 대하여 사용할 필요가 없기 때문이다. 또는 실시예에 따라서, 복수의 스테레오스코픽 정지영상에 대하여 영상 구성 정보를 각각 사용할 수도 있다.
헤더 정보부(310)는 각각의 스테레오스코픽 정지영상(322, 324, 326)의 재생을 제어하는 제어 정보(314, 316, 318)를 포함한다. 이때, 각 제어 정보(314, 316, 318)는 각각의 제어 정보(314, 316, 318)에 대한 식별정보를 포함할 수 있다. 그리고, 헤더 정보부(310)는 식별정보의 목록을 포함할 수 있다. 식별정보의 목록은 제어 정보를 구분하기 위한 정보로 이용될 수 있다. 예를 들어, 식별정보의 목록이 ‘비디오/오디오 연동형 스테레오스코픽 정지영상 서비스’에 사용되는 스테레오스 코픽 정지영상에 대한 제어 정보만을 포함하는 경우, 식별정보의 목록을 조회함으로써 ‘비디오/오디오 연동형 스테레오스코픽 정지영상 서비스’를 위한 스테레오스코픽 정지영상을 구분할 수 있다.
한편, 스테레오스코픽 영상이 메인 영상과 부가 영상으로 구성되는 경우에는 두 개의 스테레오스코픽 정지영상이 하나의 객체로 인식되어야 할 필요가 있다. 따라서, 제어 정보는 스테레오스코픽 정지영상이 메인 영상인지 또는 부가 영상인지 여부를 나타내는 참조 정보를 포함할 수 있다. 도 3을 참조하면, 제1 제어 정보(314)는 제1 참조 정보(334)를 포함하고, 제2 제어 정보(316)는 제2 참조 정보(336)를 포함한다. 제1 참조 정보(334)와 제2 참조 정보(336)는 각각 해당하는 스테레오스코픽 정지영상, 즉 제1 스테레오스코픽 정지영상(322)와 제2 스테레오스코픽 정지영상(324)이 메인 영상인지 또는 부가 영상인지 여부를 나타낸다.
예를 들어, 메인 영상으로서 제1 스테레오스코픽 정지영상(322)이 사용되고, 부가 영상으로서 제2 스테레오스코픽 정지영상(324)이 사용되는 경우를 설명한다. 두 스테레오스코픽 정지영상(322, 324)의 결합에 의해 스테레오스코픽 영상이 3차원으로 재생되게 된다. 이때, 제1 참조 정보(334)는 제1 스테레오스코픽 정지영상(322)이 메인 영상으로 사용된다는 정보를 포함하고, 제2 참조 정보(336)는 제2 스테레오스코픽 정지영상(324)이 부가 영상으로 사용된다는 정보를 포함한다. 또한, 제1 참조 정보(334)와 제2 참조 정보(336)는 어떠한 스테레오스코픽 정지영상과 연결되는지를 인식할 수 있도록 서로에 대한 식별정보를 포함할 수 있다.
한편, 스테레오스코픽 정지영상이 ‘비디오/오디오 연동형 스테레오스코픽 정지영상 서비스’로 활용되는 경우, 스테레오스코픽 정지영상의 재생이 시작되는 시점 또는 종료되는 시점에 대한 시간 정보가 필요하다. 이러한 시간 정보는 헤더 정보부에 포함될 수 있다.
도 3을 참조하여 예를 들어 설명한다. 제3 스테레오스코픽 정지영상(326)이 2차원 비디오와 연동되어 재생됨으로써 스테레오스코픽 영상을 구성하는 경우, 제3 스테레오스코픽 정지영상(326)은 2차원 비디오의 일부 구간에서만 재생될 수 있다. 이를 위하여, 시간 정보(338)는 제3 스테레오스코픽 정지영상(326)이 재생되기 시작하는 시점 또는 종료되는 시점에 대한 정보를 포함한다. 이때, 제3 제어 정보(318)는 시간 정보(338)에 따라 제3 스테레오스코픽 정지영상(326)의 재생을 제어하도록 구성될 수 있다.
한편, 헤더 정보부는 스테레오스코픽 정지영상이 3차원으로 디스플레이되는 방식에 대한 정보를 포함할 수 있다. 스테레오스코픽 정지영상을 3차원으로 재생함에 있어서 다양한 3차원 디스플레이 방식이 사용될 수 있다. 3차원 디스플레이 방식의 예로서, 패럴랙스베리어, 렌티큘러 방식 및 편광방식 등을 들 수 있다.
<스테레오스코픽 영상의 재생 방법>
이하에서는 본 발명에 의한 스테레오스코픽 영상의 재생 방법에 대한 일 실시예를 설명한다.
도 4는 본 발명의 일 실시예에 의한 스테레오스코픽 영상의 재생 방법을 설명하는 흐름도이다. 도 4를 참조하면, 스테레오스코픽 영상의 재생 방법은 스테레 오스코픽 영상에 관한 데이터를 수신하는 단계(402), 영상 구성 정보에 따라 스테레오스코픽 영상을 구성하는 단계(408), 제어 정보에 따라 스테레오스코픽 영상을 재생하는 단계(410)를 포함한다.
스테레오스코픽 영상에 관한 데이터는 미디어 정보부 및 헤더 정보부를 포함하는 파일 포맷으로 생성된 것이다. 미디어 정보부는 스테레오스코픽 정지영상을 포함하며, 헤더 정보부는 제어 정보와 영상 구성 정보를 포함한다.
실시예에 따라서, 영상 구성 정보는 제어 정보에 포함될 수 있다.
또한, 영상 구성 정보는 스테레오스코픽 영상의 한 장면을 구성하는 복수의 스테레오스코픽 정지영상에 대한 영상 구성 정보일 수 있다. 이는 복수의 스테레오스코픽 정지영상이 스테레오스코픽 영상을 구성하는 형태가 동일한 경우에, 중복되는 영상 구성 정보를 여러 번 사용하지 않기 위함이다.
도 4에 도시된 바와 같이, 스테레오스코픽 영상의 재생 방법은 스테레오스코픽 영상이 제공되는 형태 또는 파일의 종류를 지시하는 영상 타입 정보를 확인하는 단계(404)를 더 포함할 수 있다. 영상 타입 정보를 확인함으로써, 스테레오스코픽 영상을 재생하는 방법을 선택할 수 있는 효과가 있다. 예를 들어, 영상 타입 정보를 확인하는 단계(404)에서 영상 타입 정보가 ‘비디오/오디오 연동형 스테레오스코픽 정지영상 서비스’로 확인되는 경우에, 408 단계 및 410 단계가 진행되도록 구현될 수 있다.
또한, 도 4에 도시된 바와 같이, 스테레오스코픽 영상의 재생 방법은 영상 구성 정보의 유무를 확인하는 단계(406)를 더 포함할 수 있다. 영상 타입 정보는 스테레오스코픽 영상을 구성하는 스테레오스코픽 정지영상에 관련된 정보로서 헤더 정보부에 포함된다. 따라서, 스테레오스코픽 정지영상이 아닌 모노스코픽(monoscopic) 정지영상의 경우에는 영상 타입 정보를 포함하지 않을 수 있다. 따라서, 이 경우 영상 구성 정보의 유무를 확인(406)함으로써, 정지영상이 스테레오스코픽 정지영상인지 여부를 판단할 수 있다. 예를 들어, 영상 구성 정보의 유무를 확인하는 단계(406)에서 영상 구성 정보가 존재하는 것으로 확인되는 경우에, 408 단계 및 410 단계가 진행되도록 구현될 수 있다.
한편, 도 4에 도시되지 않았으나, 스테레오스코픽 영상의 재생 방법은 헤더 정보부에 포함된 식별정보 목록에서 제어 정보의 식별정보를 조회하는 단계를 더 포함할 수 있다. 식별정보 목록은 일정한 기준에 부합하는 제어 정보의 식별정보를 포함한다. 예를 들어, 식별정보 목록은 ‘비디오/오디오 연동형 스테레오스코픽 정지영상 서비스’에 사용되는 스테레오스코픽 정지영상에 대한 제어 정보만을 포함할 수 있다. 이 경우, 식별정보를 조회함으로써 스테레오스코픽 정지영상이 ‘비디오/오디오 연동형 스테레오스코픽 정지영상 서비스’에 사용되는지를 판단할 수 있다.
스테레오스코픽 영상을 구성하는 단계(408)는 스테레오스코픽 정지영상이 메인 영상인지 또는 부가 영상인지 여부를 나타내는 참조 정보를 확인하는 단계를 포함할 수 있다. 스테레오스코픽 영상은 메인 영상과 부가 영상의 조합으로 구성될 수 있다. 참조 정보를 확인하면, 스테레오스코픽 정지영상이 메인 영상과 부가 영상 중 어느 영상에 해당하는지를 판단할 수 있다.
스테레오스코픽 영상을 재생하는 단계(410)는 스테레오스코픽 정지영상이 3차원으로 디스플레이되는 방식에 대한 정보를 확인하는 단계를 포함할 수 있다. 스테레오스코픽 정지영상을 3차원으로 재생함에 있어서 다양한 3차원 디스플레이 방식이 사용될 수 있기 때문이다. .
스테레오스코픽 영상을 구성하는 단계(408)는 스테레오스코픽 정지영상을 2차원 비디오 또는 오디오에 연동하는 단계를 포함할 수 있다. ‘비디오/오디오 연동형 스테레오스코픽 정지영상 서비스’는 2차원 비디오 또는 오디오에 스테레오스코픽 정지영상을 연동하여 재생함으로써, 다양한 장면 구성을 가능하게 하는 서비스이다. 2차원 비디오 또는 오디오에 연동하는 단계를 통해 ‘비디오/오디오 연동형 스테레오스코픽 정지영상 서비스’가 제공될 수 있다.
기타 스테레오스코픽 영상의 재생 방법에 대한 상세한 설명은 전술한 스테레오스코픽 영상 데이터의 전송 방법에 대한 설명과 중복되므로, 여기서는 생략하기로 한다.
<구체적인 실시예>
이하에서는 본 발명에 의한 스테레오스코픽 영상 데이터의 전송 또는 스테레오스코픽 영상의 재생에 사용되는 파일 포맷의 구체적인 실시예에 대하여 설명한다.
본 발명에 따른 파일 포맷은 기존의 파일 포맷과 호환성을 유지할 수 있도록구현될 수 있다. 따라서, 도 5를 참조하여 종래기술에 의한 파일 포맷을 먼저 설명 한다. 도 5는 종래기술에 따라 2차원 영상을 제공하기 위한 파일 포맷(500)의 구조도이다.
파일 포맷(500)은 크게 ftyp(502), moov(504), mdat(506)의 세 부분으로 구성된다. ftyp(502)는 파일 포맷(500)에 저장되는 파일의 종류를 나타내는 정보이다. moov(504)는 파일 포맷 내에 저장되는 미디어 스트림(media stream)의 재생을 위한 제어 정보를 포함한다. mdat(506)는 미디어 스트림 데이터를 포함한다.
도 5에 도시된 바와 같이, moov(504)에는 트랙(trak) 박스들이 포함된다. 각각의 트랙 박스(510, 514, 518, 522)는 미디어 스트림의 재생을 위하여 요구되는 제어 정보 및 관련된 부가 정보를 포함한다. 트랙 박스는 미디어 스트림마다 존재하거나, 미디어 스트림의 종류마다 존재할 수 있다. 예를 들어, 도 5는 mdat(506)에 포함된 각각의 미디어 스트림(508, 512, 516, 520)마다 트랙 박스(510, 514, 518, 522)가 존재한다. 실시예에 따라서, 2D still image(516, 520)는 동일한 종류의 미디어 스트림이므로, 이에 대한 트랙 박스는 하나로 구성될 수 있다.
도 5를 참조하면 mdat(506)는 LASeR(Lightweight Application ScenE Representation)(508), 2D video stream(512), 2D still image(516), 2D still image(520)를 포함한다. LASeR(508)는 장면기술자(Scene Descriptor)로서, 각 미디어 스트림을 재생함에 있어서 위치 및 재생 시간에 대한 정보를 포함한다. 본 명세서에서 LASeR(508)는 장면기술자에 대한 하나의 실시예일뿐이고, LASeR(508) 외에 다른 규격의 장면기술자가 사용될 수 있다.
2D video stream(512)는 2차원 비디오에 대한 미디어 스트림이고, 2D still image(516, 520)는 각각 2차원 정지영상에 대한 미디어 스트림이다.
도 5에 도시된 바와 같은 종래의 파일 포맷(500)은 2차원 영상 서비스에 적합하도록 구성되기 때문에, 다양한 장면 구성이 가능한 스테레오스코픽 영상 서비스를 제공하기에는 한계가 있다.
도 6은 본 발명의 일 실시예에 따른 파일 포맷(600)의 구조도이다. 파일 포맷(600)은 스테레오스코픽 영상을 제공하기에 적합하도록 구성된다.
ftyp(602)는 스테레오스코픽 영상이 제공되는 서비스 형태에 대한 정보를 포함할 수 있다. ftyp(602)는 스테레오스코픽 영상이 어떠한 형태로 제공되는지를 식별하기 위해 사용될 수 있다. 예를 들어, ftyp(602)에 포함되는 정보는 표 1과 같이 제공될 수 있다.
0 Reserved
1 비디오/오디오 연동형 스테레오스코픽 정지영상 서비스
2 스테레오스코픽 정지영상 서비스
‘비디오/오디오 연동형 스테레오스코픽 정지영상 서비스’는 스테레오스코픽 정지영상이 메인 영상에 부가적으로 연동되어 재생됨으로써 스테레오스코픽 영상이 제공되는 경우를 나타낸다. ‘비디오/오디오 연동형 스테레오스코픽 정지영상 서비스’에서는 스테레오스코픽 정지영상을 제어함으로써, 다양한 장면이 구성될 수 있다. 이 서비스를 위해 장면기술자가 활용될 수 있다.
‘스테레오스코픽 정지영상 서비스’는 비디오 또는 오디오 연동 없이 스테레오스코픽 정지영상 자체만으로 제공되는 슬라이드 쇼와 같은 서비스를 나타낸다.
mdat(606)는 스테레오스코픽 정지영상(610)을 포함하고, moov(604)는 스테레오스코픽 정지영상에 대한 트랙(612)을 포함한다. 도 6에 도시된 바와 같이, 트랙(612)은 영상 구성 정보인 Image_composition_type(614)을 포함할 수 있다. 실시예에 따라서 Image_composition_type(614)은 트랙(612) 외부에 존재하며 moov(604)에 포함되도록 구성될 수도 있다. 또한, 실시예에 따라서 Image_composition_type(614)은 임의의 박스에 포함되지 않고, 기존에 정의된 Reserved 비트에 기록될 수도 있다.
Image_composition_type(614)은 스테레오스코픽 정지영상(610)이 구성되는 형태에 대한 정보로서, 스테레오스코픽 정지영상(610)이 어떠한 형태로 저장되어 있는지에 대한 정보를 포함할 수 있다. 예를 들어, Image_composition_type(614)은 표 2와 같이 제공될 수 있다.
0 Reserved
1 Side-by-side
2 Top-down
3 Field sequential
4 Frame sequential
5 Vertical line interleaved
6 Horizontal line interleaved
7 Left-right view (two images)
8 Reserved for other stereoscopic still image type
일반적으로 스테레오스코픽 영상은 좌영상과 우영상의 두 스테레오스코픽 정지영상을 조합함으로써 구성된다. 이때, 좌영상과 우영상을 조합하는 형태가 Image_composition_type(614)에 기록될 수 있다.
‘Side-by-side’는 좌영상과 우영상을 하나의 스테레오스코픽 정지영상의 좌측과 우측 절반에 각각 저장하는 형태이다. ‘Top-down’은 좌영상과 우영상을 각각 하나의 스테레오스코픽 정지영상의 상측과 하측 절반에 각각 저장하는 형태이다. ‘Field sequential’은 좌영상과 우영상이 스테레오스코픽 정지영상의 필드마다 교대로 반복되어 저장되는 형태이다. ‘Frame sequential’은 좌영상과 우영상이 스테레오스코픽 정지영상의 프레임마다 교대로 반복되어 저장되는 형태이다. ‘Vertical line interleaved’는 좌영상과 우영상이 스테레오스코픽 정지영상의 수직 라인마다 교대로 반복되어 저장되는 형태이다. ‘Horizontal line interleaved’는 좌영상과 우영상이 스테레오스코픽 정지영상의 수평 라인마다 교대로 반복되어 저장되는 형태이다. ‘Left-right view’는 좌영상과 우영상이 각각 서로 다른 스테레오스코픽 정지영상으로 저장되는 형태이다.
여기서, ‘Side-by-side’, ‘Top-down’, ‘Field sequential’, ‘Frame sequential’, ‘Vertical line interleaved’, 및 ‘Horizontal line interleaved’ 타입은 스테레오스코픽 정지영상을 재생함에 있어서, 1개의 부호화 스트림 및 1개의 트랙을 갖게 된다. 이와 같이 하나의 객체를 표현하는 스테레오스코픽 정지영상에 대하여 하나의 부호화 스트림 및 하나의 트랙으로 구성되는 서비스의 경우, 해당 트랙은 영상 구성 정보를 포함할 수 있다.
한편, ‘Left-right view’ 타입은 스테레오스코픽 정지영상을 재생함에 있어서, 각각 좌영상과 우영상으로 구성된 2개의 부호화 스트림 및 2개의 트랙을 갖게 된다. 이와 같이 하나의 객체를 표현하는 스테레오스코픽 정지영상에 대하여 하나의 부호화 스트림 및 하나의 트랙으로 구성되지 않는 서비스의 경우, 영상 구성 정보는 모든 트랙에 포함되지 않을 수 있다. 예를 들어, 2차원 비디오 스트림의 메인 영상에 스테레오스코픽 정지영상이 부가 영상으로서 조합되어 스테레오스코픽 영상을 구성하는 경우, 스테레오스코픽 정지영상에 대한 트랙에만 영상 구성 정보가 포함될 수 있다.
‘비디오/오디오 연동형 스테레오스코픽 정지영상 서비스’의 경우, 복수의 스테레오스코픽 정지영상이 스테레오스코픽 영상의 한 장면을 구성할 수 있다. 예를 들어, 2차원 비디오를 메인 영상으로 하고, 복수의 스테레오스코픽 정지영상이 메인 영상에 부가 영상으로서 연동되어 재생되는 경우이다. 이때, 복수의 스테레오스코픽 정지영상은 서로 다른 객체를 각각 3차원으로 재생할 수 있다.
이렇게 파일 포맷에 복수의 스테레오스코픽 정지영상이 포함되면서 복수의 스테레오스코픽 정지영상이 동일한 영상 구성 정보를 갖는 경우에는, 영상 구성 정보가 각각의 트랙에 존재하지 않고 트랙의 상위 레벨에 포함될 수 있다.
도 7을 참조하여 설명한다. 도 7은 본 발명의 일 실시예에 따른 파일 포맷(700)의 구조도이다. 파일 포맷(700)은 복수의 스테레오스코픽 정지영상(710, 714, 718)과 각각에 대한 트랙(712, 716, 720)을 포함한다.
복수의 스테레오스코픽 정지영상(710, 714, 718)에 동일한 영상 구성 정보가 적용되는 경우, 영상 구성 정보는 중복을 줄이기 위해 하나만 사용될 수 있다. 도 7에 도시된 바와 같이, 영상 구성 정보인 Image_composition_type(730)은 각각의 스테레오스코픽 정지영상 트랙(712, 716, 720)에 포함되지 않고, 그 상위 레벨에 포함될 수 있다.
복수의 스테레오스코픽 정지영상(710, 714, 718)에 서로 다른 영상 구성 정보가 적용되는 경우에는, 해당하는 영상 구성 정보가 각각의 스테레오스코픽 정지영상 트랙(712, 716, 720)마다 포함될 수도 있다.
또한, 2D 비디오의 특정 장면에 스테레오스코픽 정지영상과 모노스코픽 정지영상이 함께 존재하는 경우가 있다. 예를 들어, 일기 예보가 담긴 2차원 비디오에 2차원 자막으로 표현된 날씨 정보가 모노스코픽 정지영상으로서 재생됨과 동시에 날씨를 표현하는 3차원 아이콘이 스테레오스코픽 정지영상으로서 재생되는 경우이다. 이때, 헤더 정보부에 포함된 각 트랙이 지칭하는 스트림이 모노스코픽 정지영상 스트림인지 아니면 스테레오스코픽 정지영상 스트림인지를 구분할 필요가 있다. 이러한 구분 방법으로서 두 가지 방법이 고려될 수 있다.
첫째로, 트랙에 영상 구성 정보가 포함되었는지 여부 확인함으로써 구분하는 방법이 있다. 예를 들어, 영상 구성 정보가 포함된 트랙에 해당하는 스트림은 스테레오스코픽 정지영상 스트림으로 판단하고, 그렇지 않은 스트림은 모노스코픽 정지영상 스트림으로 판단하는 것이다.
둘째로, 스테레오스코픽 정지영상에 대한 트랙의 아이디(track_ID)를 모아서 그룹 아이디(Group_ID)를 생성하고, 그룹 아이디를 조회함으로써 구분하는 방법이 있다. 예를 들어, 그룹 아이디에 포함된 트랙 아이디에 대한 스트림은 스테레오스코픽 정지영상 스트림으로 판단하고, 그렇지 않은 스트림은 모노스코픽 정지영상 스트림으로 판단하는 것이다.
복수의 스테레오스코픽 정지영상이 재생될 때, 하나의 객체로 인식되어야 하는 경우가 있다. 예를 들어, 영상 구성 정보가 ‘Left-right view’ 인 경우, 좌영상과 우영상에 해당하는 두 개의 스테레오스코픽 정지영상 스트림이 하나의 객체로 인식되어야 한다. 이 경우, 스테레오스코픽 정지영상에 대한 복수의 트랙은 물리적으로 여러 개로 구성되지만, 마치 하나의 트랙처럼 인식될 수 있어야 한다. 복수의 트랙이 하나의 트랙처럼 인식되면, 복수의 스테레오스코픽 정지영상이 하나의 스테레오스코픽 영상으로 구성되어 재생된다. 따라서, 복수의 스테레오스코픽 정지영상이 하나의 객체로 인식될 수 있다.
도 8을 참조하여, 복수의 스테레오스코픽 정지영상이 하나의 객체로 인식되는 경우에 대하여 설명한다. 도 8은 본 발명의 일 실시예에 따른 파일 포맷(800)의 구조도이다.
파일 포맷(800)의 mdat(806)은 복수의 스테레오스코픽 정지영상(810, 814)을 포함한다. 스테레오스코픽 정지영상(810, 814)는 동일한 객체를 표현하기 위한 서로 다른 시점의 정지영상이다. moov(804)는 각각의 스테레오스코픽 정지영상(810, 814)에 대한 트랙(812, 816)을 포함한다.
image_composition_type(820)은 트랙(812)와 트랙(816)에 공통적으로 적용된다. 도 8에 도시된 바와 같이, image_composition_type(820)은 중복성을 줄이기 위해 트랙(812)에만 포함된다.
한편, 트랙(812)와 트랙(816)이 서로 하나의 트랙처럼 인식되도록 하기 위해, tref(822)와 tref(824)에 참조 정보가 포함된다. 참조 정보는 tref(822, 824)에 포함되는 reference_type 정보에 ‘sbas(stereoscopic content base)’ 또는 ‘scdp(stereoscopic content dependency)’로 기록될 수 있다. 이때 ‘sbas’는 ‘sbas’가 포함된 트랙에 대한 스테레오스코픽 정지영상이 스테레오스코픽 영상을 구성함에 있어서 메인 영상으로 사용되는 것을 의미한다. ‘scdp’는 ‘scdp’가 포함된 트랙에 대한 스테레오스코픽 정지영상이 스테레오스코픽 영상을 구성함에 있어서 부가 영상으로 사용되는 것을 의미한다.
도 8에서 트랙(812)은 tref(822)에 reference_type=’sbas’를 포함하고, 트랙(816)은 tref(828)에 reference_type=’scdp’를 포함한다. 따라서, 스테레오스코픽 정지영상(810)은 메인 영상으로 사용되고, 스테레오스코픽 정지영상(814)은 부가 영상으로 사용된다.
이때, 스테레오스코픽 정지영상(810)과 스테레오스코픽 정지영상(814)의 연결을 확인할 수 있도록, 트랙 아이디(Track_ID)가 사용될 수 있다. track_ID는 각 트랙의 고유 식별정보이다. 도 8에서 트랙(812)의 track_ID(826)는 1이고, 트랙(816)의 track_ID(828)는 2이다. 트랙(816)은 tref(824)의 track_ID 정보를 통해 트랙(812)과 연결될 수 있다. 한편, 전술한 그룹 아이디로 스테레오스코픽 정지영상을 식별하는 경우, 메인 영상에 대한 트랙의 아이디만 그룹 아이디에 포함되도록 구현될 수 있다.
도 9a 및 도 9b는 본 발명의 일 실시예에 따른 스테레오스코픽 영상의 재생을 설명하는 도면이다.
‘비디오/오디오 연동형 스테레오스코픽 정지영상 서비스’의 경우, 도 9a 및 도 9b에 각각 도시된 형태의 서비스가 제공될 수 있다. 도 9a 및 도 9b에서 T는 영상이 재생되는 시간을 나타내고, S는 각각 스테레오스코픽 정지영상을 나타낸다.
도 9a에 도시된 서비스의 경우, 2D 비디오(910)가 재생되는 시간 전체에 대하여 스테레오스코픽 정지영상(912)이 연동되어 스테레오스코픽 영상을 구성한다. 한편, 도 9b에 도시된 서비스의 경우, 2D 비디오(920)의 일부 구간에 대하여만 스테레오스코픽 정지영상(922)이 연동되어 스테레오스코픽 영상을 구성한다. 이 경우, 나머지 구간에서는 2D 비디오(920)만 재생되기 때문에 이 구간에서는 2차원 영상이 재생된다.
도 9b와 같은 서비스를 위해서, 스테레오스코픽 정지영상(922)이 시작되고 종료되는 시점에 대한 시간 정보가 요구된다. 예를 들어, 스테레오스코픽 영상을 재생하는 단말은 2차원 영상이 재생될 때에는 2차원 디스플레이 모드를 사용하여야 하고, 스테레오스코픽 영상이 재생될 때에는 3차원 디스플레이 모드를 사용하여야 하기 때문에, 단말은 시간 정보를 활용하여 디스플레이 모드를 변경할 수 있다.
도 10을 참조하여, 시간 정보가 포함된 파일 포맷에 대하여 설명한다. 도 10은 본 발명의 일 실시예에 따른 파일 포맷(1000)의 구조도이다.
도 10에 도시된 바와 같이, 파일 포맷(1000)은 2D video 트랙에 시간 정보(1020)를 포함할 수 있다. 시간 정보(1020)는 스테레오스코픽 정지영상(1010, 1014)이 시작되거나 종료되는 시점에 대한 것으로서, 이 실시예에서는 Stereoscopic_Scene_Time__information(1020)으로 표현된다(그림 수정). 시간 정보(1020)는 실시예에 따라 다양한 위치에 포함되도록 구성될 수 있다. 예를 들어, 시간 정보(1020)는 moov(1004) 내부에 포함되며, 스테레오스코픽 정지영상에 대한 트랙(1012, 1016) 외부에 포함될 수 있다.
Stereoscopic_Scene_Time_information(1020)은 시간 정보에 대한 하나의 실시예로서 표 3과 같이 구성될 수 있다.
// stereoscopic_Scene_Time_information
unsigned int(32) stereo_scene_time_count;
for(i=0; i < stereo_scene_time_count; i++) {
If(version==1) {
unsigned int(64) start_time;
unsigned int(64) duration;}
else {//version==0
Unsigned int (32) start_time;
unsigned int(32) duration; }
}
stereo_scene_time_count는 재생 시간 동안의 스테레오스코픽 구간의 수를 나타낸다. start_time은 스테레오스코픽 정지영상(1010, 1014)에 대한 시작 시간을 나타낸다. duration은 스테레오스코픽 정지영상(1010, 1014)의 시작에서부터 종료까지의 구간의 시간을 나타낸다.
한편, 스테레오스코픽 정지영상을 효과적으로 3차원 재생하기 위해 3차원 디스플레이 정보가 필요할 수 있다. 표 4는 3차원 디스플레이 정보에 대한 일 실시예를 나타낸다. 3차원 디스플레이 정보는 별도의 박스로 파일 포맷의 헤더 정보부에 포함될 수 있다.
0 Reserved
1 패럴랙스베리어 방식
2 랜티큘러 방식
3 편광방식
4 Reserved for other 3D display
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
도 1은 본 발명의 일 실시예에 의한 스테레오스코픽 영상 데이터의 전송 방법을 설명하는 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 파일 포맷(200)의 구조도이다.
도 3은 본 발명의 다른 실시예에 따른 파일 포맷(300)의 구조도이다.
도 4는 본 발명의 일 실시예에 의한 스테레오스코픽 영상의 재생 방법을 설명하는 흐름도이다.
도 5는 종래기술에 따라 2차원 영상을 제공하기 위한 파일 포맷(500)의 구조도이다.
도 6은 본 발명의 일 실시예에 따른 파일 포맷(600)의 구조도이다.
도 7은 본 발명의 일 실시예에 따른 파일 포맷(700)의 구조도이다.
도 8은 본 발명의 일 실시예에 따른 파일 포맷(800)의 구조도이다.
도 9a 및 도 9b는 본 발명의 일 실시예에 따른 스테레오스코픽 영상의 재생을 설명하는 도면이다.
도 10은 본 발명의 일 실시예에 따른 파일 포맷(1000)의 구조도이다.

Claims (20)

  1. 스테레오스코픽 정지영상에 관한 데이터를 기 설정된 파일 포맷으로 생성하는 단계; 및
    상기 파일 포맷으로 생성된 데이터를 전송하는 단계를 포함하되,
    상기 파일 포맷은
    상기 스테레오스코픽 정지영상을 포함하는 미디어 정보부, 및 상기 스테레오스코픽 정지영상의 재생을 제어하는 제어 정보와 상기 스테레오스코픽 정지영상이 스테레오스코픽 영상을 구성하는 형태를 지시하는 영상 구성 정보를 포함하는 헤더(header) 정보부를
    포함하는, 스테레오스코픽 영상 데이터의 전송 방법.
  2. 제1항에 있어서,
    상기 파일 포맷은
    상기 스테레오스코픽 영상이 제공되는 형태 또는 파일의 종류를 지시하는 영상 타입(type) 정보를 포함하는, 스테레오스코픽 영상 데이터의 전송 방법.
  3. 제1항에 있어서,
    상기 제어 정보는 상기 영상 구성 정보를 포함하는, 스테레오스코픽 영상 데이터의 전송 방법.
  4. 제1항에 있어서,
    상기 미디어 정보부는
    상기 스테레오스코픽 영상의 한 장면을 구성하는 복수의 스테레오스코픽 정지영상을 포함하고,
    상기 영상 구성 정보는
    상기 복수의 스테레오스코픽 정지영상이 상기 스테레오스코픽 영상을 구성하는 형태를 지시하는, 스테레오스코픽 영상 데이터의 전송 방법.
  5. 제1항에 있어서,
    상기 제어 정보는 상기 제어 정보에 대한 식별정보를 포함하고,
    상기 헤더 정보부는 상기 식별정보의 목록을 포함하는, 스테레오스코픽 영상 데이터의 전송 방법.
  6. 제1항에 있어서,
    상기 스테레오스코픽 영상이 메인 영상과 부가 영상으로 구성되는 경우,
    상기 제어 정보는
    상기 스테레오스코픽 정지영상이 상기 메인 영상인지 또는 상기 부가 영상인지 여부를 나타내는 참조 정보를 포함하는, 스테레오스코픽 영상 데이터의 전송 방법.
  7. 제1항에 있어서,
    상기 헤더 정보부는
    상기 스테레오스코픽 정지영상의 재생이 시작되는 시점 또는 종료되는 시점에 대한 시간 정보를 포함하는, 스테레오스코픽 영상 데이터의 전송 방법.
  8. 제1항에 있어서,
    상기 헤더 정보부는
    상기 스테레오스코픽 정지영상이 3차원으로 디스플레이되는 방식에 대한 정보를 포함하는, 스테레오스코픽 영상 데이터의 전송 방법.
  9. 스테레오스코픽 정지영상을 포함하는 미디어 정보부, 및 제어 정보와 영상 구성 정보를 포함하는 헤더(header) 정보부를 포함하는 파일 포맷으로 생성된 데이터를 수신하는 단계;
    상기 영상 구성 정보에 따라 상기 스테레오스코픽 정지영상으로부터 스테레오스코픽 영상을 구성하는 단계; 및
    상기 제어 정보에 따라 상기 스테레오스코픽 영상을 재생하는 단계를 포함하는, 스테레오스코픽 영상의 재생 방법.
  10. 제9항에 있어서,
    상기 스테레오스코픽 영상이 제공되는 형태 또는 파일의 종류를 지시하는 영상 타입(type) 정보를 확인하는 단계를 더 포함하는, 스테레오스코픽 영상의 재생 방법.
  11. 제9항에 있어서,
    상기 영상 구성 정보는 상기 제어 정보에 포함되는, 스테레오스코픽 영상의 재생 방법.
  12. 제9항에 있어서,
    상기 영상 구성 정보는
    상기 스테레오스코픽 영상의 한 장면을 구성하는 복수의 스테레오스코픽 정지영상에 대한 영상 구성 정보인, 스테레오스코픽 영상의 재생 방법.
  13. 제9항에 있어서,
    상기 영상 구성 정보의 유무를 확인하는 단계를 더 포함하는, 스테레오스코픽 영상의 재생 방법.
  14. 제9항에 있어서,
    상기 헤더 정보부에 포함된 식별정보 목록에서 상기 제어 정보의 식별정보를 조회하는 단계를 더 포함하는, 스테레오스코픽 영상의 재생 방법.
  15. 제9항에 있어서,
    상기 구성하는 단계는
    상기 스테레오스코픽 정지영상이 상기 메인 영상인지 또는 상기 부가 영상인지 여부를 나타내는 참조 정보를 확인하는 단계를 포함하는, 스테레오스코픽 영상의 재생 방법.
  16. 제9항에 있어서,
    상기 재생하는 단계는
    상기 스테레오스코픽 정지영상의 재생이 시작되는 시점 또는 종료되는 시점에 대한 시간 정보를 확인하는 단계를 포함하는, 스테레오스코픽 영상의 재생 방법.
  17. 제9항에 있어서,
    상기 재생하는 단계는
    상기 스테레오스코픽 정지영상이 3차원으로 디스플레이되는 방식에 대한 정보를 확인하는 단계를 포함하는, 스테레오스코픽 영상의 재생 방법.
  18. 제9항에 있어서,
    상기 구성하는 단계는
    상기 스테레오스코픽 정지영상을 2차원 비디오 또는 오디오에 연동하는 단계를 포함하는, 스테레오스코픽 영상의 재생 방법.
  19. 스테레오스코픽 정지영상을 포함하는 미디어 정보부를 생성하는 단계;
    상기 스테레오스코픽 정지영상의 재생을 제어하는 제어 정보와 상기 스테레오스코픽 정지영상이 스테레오스코픽 영상을 구성하는 형태를 지시하는 영상 구성 정보를 포함하는 헤더 정보부를 생성하는 단계; 및
    상기 미디어 정보부 및 상기 헤더 정보부를 포함하는 파일 포맷을 생성하는 단계를 포함하는, 스테레오스코픽 영상 데이터의 파일 생성 방법.
  20. 제19항에 있어서,
    상기 파일 포맷은
    상기 스테레오스코픽 영상이 제공되는 파일의 종류 또는 형태를 지시하는 영상 타입(type) 정보를 포함하는, 스테레오스코픽 영상 데이터의 파일 생성 방법.
KR1020080131258A 2008-12-22 2008-12-22 스테레오스코픽 영상에 관한 데이터를 전송하는 방법, 스테레오스코픽 영상을 재생하는 방법, 및 스테레오스코픽 영상 데이터의 파일 생성 방법 KR101176065B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020080131258A KR101176065B1 (ko) 2008-12-22 2008-12-22 스테레오스코픽 영상에 관한 데이터를 전송하는 방법, 스테레오스코픽 영상을 재생하는 방법, 및 스테레오스코픽 영상 데이터의 파일 생성 방법
US13/141,574 US20110254838A1 (en) 2008-12-22 2009-06-24 Method for transmitting data on stereoscopic image, method for playing back stereoscopic image, and method for creating file of stereoscopic image
CN200980151776.0A CN102265626B (zh) 2008-12-22 2009-06-24 传送有关立体图像的数据的方法、重放立体图像的方法、和创建立体图像的文件的方法
PCT/KR2009/003416 WO2010074378A2 (en) 2008-12-22 2009-06-24 Method for transmitting data on stereoscopic image, method for playing back stereoscopic image, and method for creating file of stereoscopic image
JP2011541996A JP2012513148A (ja) 2008-12-22 2009-06-24 ステレオスコピック映像に関するデータを伝送する方法、ステレオスコピック映像を再生する方法、およびステレオスコピック映像データのファイル生成方法
EP09835144A EP2380359A2 (en) 2008-12-22 2009-06-24 Method for transmitting data on stereoscopic image, method for playing back stereoscopic image, and method for creating file of stereoscopic image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080131258A KR101176065B1 (ko) 2008-12-22 2008-12-22 스테레오스코픽 영상에 관한 데이터를 전송하는 방법, 스테레오스코픽 영상을 재생하는 방법, 및 스테레오스코픽 영상 데이터의 파일 생성 방법

Publications (2)

Publication Number Publication Date
KR20100072760A true KR20100072760A (ko) 2010-07-01
KR101176065B1 KR101176065B1 (ko) 2012-08-24

Family

ID=42288211

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080131258A KR101176065B1 (ko) 2008-12-22 2008-12-22 스테레오스코픽 영상에 관한 데이터를 전송하는 방법, 스테레오스코픽 영상을 재생하는 방법, 및 스테레오스코픽 영상 데이터의 파일 생성 방법

Country Status (6)

Country Link
US (1) US20110254838A1 (ko)
EP (1) EP2380359A2 (ko)
JP (1) JP2012513148A (ko)
KR (1) KR101176065B1 (ko)
CN (1) CN102265626B (ko)
WO (1) WO2010074378A2 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5526929B2 (ja) * 2010-03-30 2014-06-18 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
CN102780896A (zh) * 2012-05-31 2012-11-14 新奥特（北京）视频技术有限公司 一种流媒体素材支持3d技术的方法
US9632539B2 (en) * 2012-10-16 2017-04-25 At&T Intellectual Property I, L.P Automatic shape adjustment of flexible display
CN115883882A (zh) * 2018-09-19 2023-03-31 中兴通讯股份有限公司 图像处理方法、装置、系统、网络设备、终端及存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3824699B2 (ja) * 1996-03-15 2006-09-20 パイオニア株式会社 情報記録媒体、その記録装置及び方法、その再生装置及び方法並びに情報処理装置及び方法
US6657655B1 (en) * 1999-09-30 2003-12-02 Canon Kabushiki Kaisha Stereoscopic-image display apparatus
KR100397511B1 (ko) 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
JP2003333489A (ja) * 2002-05-09 2003-11-21 Matsushita Electric Ind Co Ltd データ再生装置およびデータ再生方法
JP4679804B2 (ja) * 2003-04-17 2011-05-11 シャープ株式会社 画像ファイル作成装置
JP4589651B2 (ja) * 2004-04-26 2010-12-01 オリンパス株式会社 画像処理装置、画像加工・編集装置、画像ファイル再生装置、画像処理方法、画像加工・編集方法及び画像ファイル再生方法
US8279272B2 (en) * 2005-04-08 2012-10-02 Reald Inc. Autostereoscopic display with planar pass-through
KR100813977B1 (ko) * 2005-07-08 2008-03-14 삼성전자주식회사 2차원/3차원 영상 호환용 고해상도 입체 영상 디스플레이장치
KR101185870B1 (ko) * 2005-10-12 2012-09-25 삼성전자주식회사 3ｄ 입체 영상 처리 장치 및 방법
EP1966767A2 (en) * 2005-12-31 2008-09-10 BRACCO IMAGING S.p.A. Systems and methods for collaborative interactive visualization of 3d data sets over a network ("dextronet")
KR100893616B1 (ko) * 2006-04-17 2009-04-20 삼성모바일디스플레이주식회사 전자 영상 기기, 2ｄ/3ｄ 영상 표시 장치 및 그 구동방법
JP4142063B2 (ja) * 2006-05-15 2008-08-27 パイオニア株式会社 情報記録媒体、その記録装置及び方法、その再生装置及び方法並びに情報処理装置及び方法
KR100716142B1 (ko) * 2006-09-04 2007-05-11 주식회사 이시티 스테레오스코픽 영상 데이터의 전송 방법
WO2008030011A1 (en) 2006-09-04 2008-03-13 Enhanced Chip Technology Inc. File format for encoded stereoscopic image/video data
KR100962696B1 (ko) * 2007-06-07 2010-06-11 주식회사 이시티 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법
EP2001235B1 (en) * 2007-06-08 2013-05-22 Samsung Electronics Co., Ltd. MPEG-4 format extension for recording stereoscopic or synthetic 3D video data with related metadata

Also Published As

Publication number Publication date
CN102265626B (zh) 2014-06-11
CN102265626A (zh) 2011-11-30
JP2012513148A (ja) 2012-06-07
US20110254838A1 (en) 2011-10-20
WO2010074378A2 (en) 2010-07-01
WO2010074378A3 (en) 2010-08-12
EP2380359A2 (en) 2011-10-26
KR101176065B1 (ko) 2012-08-24

Similar Documents

Publication Publication Date Title
KR101276605B1 (ko) 스테레오스코픽 데이터의 저장 및 재생을 위한 메타데이터구조 및 이를 이용하는 스테레오스코픽 콘텐츠 파일의 저장방법
KR101398168B1 (ko) 스테레오스코픽 데이터의 저장 및 재생을 위한 메타데이터구조 및 이를 이용하는 스테레오스코픽 콘텐츠 파일의 저장방법
JP5483205B2 (ja) メディアデータフィールドと前記メディアデータヘッダーとを分析してビデオを生成するための装置、方法及び記録媒体
CN103269434B (zh) 数据结构、记录介质、播放设备和播放方法以及程序
TW201127017A (en) Recording medium, playback device, and integrated circuit
MX2010011683A (es) Medio de grabacion, dispositivo de reproduccion y circuito integrado.
TW201127016A (en) Recording medium, playback device, and integrated circuit
US20090199100A1 (en) Apparatus and method for generating and displaying media files
CN102232295A (zh) 再现装置、记录介质及集成电路
TW201021028A (en) Recording medium, playback device, and integrated circuit
TW201031207A (en) Recording medium, reproduction device, system lsi, reproduction method, spectacle, and display device associated with 3D video
TW201112233A (en) Playback device, integrated circuit, recording medium
JP2010250562A (ja) データ構造、記録媒体、再生装置および再生方法、並びにプログラム
CN102282859B (zh) 数据结构、记录介质、播放设备和播放方法以及程序
KR101176065B1 (ko) 스테레오스코픽 영상에 관한 데이터를 전송하는 방법, 스테레오스코픽 영상을 재생하는 방법, 및 스테레오스코픽 영상 데이터의 파일 생성 방법
KR101390810B1 (ko) 로컬 3차원 영상을 재생하기 위한 파라미터를 포함하는영상 데이터스트림을 수신하는 방법 및 장치, 그리고 로컬3차원 영상을 재생하기 위한 파라미터를 포함하는 영상데이터스트림을 생성하는 방법 및 장치
JP2004274253A (ja) 映像記録装置および映像送信装置
JP4984184B2 (ja) 再生装置および再生方法
TW201212629A (en) Information processing device, information recording medium, information processing method, and program
JP2010028456A (ja) データ構造、再生装置および方法、並びにプログラム
KR20080108882A (ko) 2차원/3차원 재생 모드 전환이 가능한 입체 영상비트스트림 생성 방법 및 이를 구현하기 위한 입체 영상비트스트림 재생 방법 및 장치
JP2012130045A (ja) 記録方法
JP2012130033A (ja) 記録方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150728

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161025

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170811

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee