KR101090764B1 - 장면 기술자를 이용한 콘텐츠 재생 방법 및 장치, 이를 위한 부호화 방법 - Google Patents

장면 기술자를 이용한 콘텐츠 재생 방법 및 장치, 이를 위한 부호화 방법 Download PDF

Info

Publication number
KR101090764B1
KR101090764B1 KR1020080115719A KR20080115719A KR101090764B1 KR 101090764 B1 KR101090764 B1 KR 101090764B1 KR 1020080115719 A KR1020080115719 A KR 1020080115719A KR 20080115719 A KR20080115719 A KR 20080115719A KR 101090764 B1 KR101090764 B1 KR 101090764B1
Authority
KR
South Korea
Prior art keywords
image
stereoscopic
information
stereoscopic object
scene description
Prior art date
Application number
KR1020080115719A
Other languages
English (en)
Other versions
KR20100056757A (ko
Inventor
윤국진
이현
이봉호
이광순
허남호
김진웅
이수인
이윤진
박철민
Original Assignee
주식회사 넷앤티비
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 넷앤티비, 한국전자통신연구원 filed Critical 주식회사 넷앤티비
Priority to KR1020080115719A priority Critical patent/KR101090764B1/ko
Publication of KR20100056757A publication Critical patent/KR20100056757A/ko
Application granted granted Critical
Publication of KR101090764B1 publication Critical patent/KR101090764B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 콘텐츠를 재생하는 방법 및 장치와 이를 위한 부호화 방법 및 기록매체에 관한 것으로서, 콘텐츠를 재생함에 있어서 장면 기술자를 이용하여 스테레오스코픽 영상에 대한 다양한 3차원 장면 구성 및 대화형 서비스를 가능하게 하고자 한다. 이를 위하여 본 발명은 장면 기술 정보를 입력받는 단계, 장면 기술 정보를 이용하여 스테레오스코픽 객체를 생성하는 단계, 및 생성된 스테레오스코픽 객체를 재생하는 단계를 포함하고, 장면 기술 정보는 스테레오스코픽 객체 생성 단계에서 스테레오스코픽 객체의 변이를 조절하기 위한 디스패리티 정보 및 스테레오스코픽 객체에 대한 속성 정보를 포함한다.
스테레오스코픽, 장면 기술자, 대화형 서비스, BIFS (Binary Format for Scenes), LASeR (Light Application Scene Representation)

Description

장면 기술자를 이용한 콘텐츠 재생 방법 및 장치, 이를 위한 부호화 방법{APPARATUS AND METHOD FOR PLAYBACK OF CONTENTS BASED ON SCENE DESCRIPTION}
본 발명은 콘텐츠를 재생하는 방법 및 장치와 이를 위한 부호화 방법에 관한 것으로, 특히 장면 기술자를 이용하여 콘텐츠를 재생하는 방법에 관한 것이다.
본 발명은 지식경제부의 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2008-F-011-01, 과제명: 차세대DTV핵심기술개발(표준화연계)].
스테레오스코픽 콘텐츠는 다양한 3차원 디스플레이 장치를 통하여 사용자에게 원근감과 실재감을 갖는 3차원 영상으로 디스플레이 된다. 3차원 디스플레이 장치가 동작하는 방법으로는 하나의 디스플레이를 통해 서로 다른 2차원 영상을 일정 시간 간격으로 교대로 디스플레이 하는 방법, 사용자의 좌우 양쪽 눈에 서로 다른 2차원 영상이 보여지도록 하는 방법 등이 있다.
종래의 스테레오스코픽 콘텐츠 제공 기술은 스테레오스코픽 정지영상 또는 스테레오스코픽 비디오에만 초점이 맞춰져 있다. 스테레오스코픽 정지영상은 단순한 3차원 정지영상으로 제공되고, 스테레오스코픽 비디오는 재생 전에 미리 정해져 있는 두 개의 정지영상 프레임이 합쳐져서 3차원 영상으로 제공된다. 스테레오스코픽 비디오 제공 장치가 3차원 영상에서 움직임을 나타내려면, 재생 시간 전체에 대하여 움직이는 내용이 기록된 두 개의 정지영상 프레임을 갖고 있어야 한다. 따라서, 스테레오스코픽 비디오 제공 장치는 많은 데이터량을 저장하고 처리해야 한다. 또한, 스테레오스코픽 비디오 제공 장치는 사용자로부터 입력을 받아서 실시간으로 장면 구성을 변경하는 등의 사용자 인터랙션(interaction)을 제공할 수 없다. 이와 같이, 종래의 스테레오스코픽 콘텐츠 제공 기술은 다양한 3차원 장면을 구성하는 것이 어렵고, 대화형 서비스를 제공하는 것이 불가능한 문제점을 갖는다.
한편, 일반적으로 2차원 콘텐츠 제공 기술에서 다양한 장면의 구성을 위해 장면 기술자가 사용된다. 장면 기술자는 콘텐츠 또는 프로그램의 연동형 양방향 서비스를 지원하여 사용자의 요구사항에 따른 대화형 서비스를 가능하게 한다. 장면 기술자의 표준 규격으로는 BIFS (Binary Format for Scenes), LASeR (Light Application Scene Representation) 등이 사용된다.
도 1은 종래기술에 의한 장면 기술 정보(100)의 구조도이다. 장면 기술 정보(100)는 BIFS 규격에 따른 것으로서, 장면 기술에 필요한 정보가 여러 개의 노드에 기술되는 트리 구조를 갖는다.
도 1에 도시된 바와 같이, OrderedGroup(Root)(110)는 최상위 노드로서 콘텐츠 객체의 순서를 제어한다. OrderedGroup(Root)(110)은 그 아래에 하위노드로 하나의 객체 또는 다수의 객체를 포함할 수 있다. OrderedGroup(120)은 하나의 콘텐츠 객체를 표현하기 위한 최상위 노드로서, 그 아래에 하위노드로 객체에 대한 속성 정보를 기술하는 다수의 노드를 포함할 수 있다.
Transform2D(130)는 콘텐츠 객체의 이동(translation), 로테이션(rotation), 및 스케일링(scaling)의 제어를 담당하는 노드이다. Transfrom2D(130)는 (x, y) 축으로 표시되는 객체의 상대적인 위치와 객체의 크기를 표현한다. Shape(140)은 객체를 표현하는 노드로서, 객체의 기하학적 모양을 나타내는 Geometry(152) 필드와 객체의 외적 형태를 나타내는 Appearance(154) 필드로 구성된다. Appearance(154) 노드는 콘텐츠 객체의 시각적인 특성을 나타내며, Texture(162) 필드와 Material(164) 필드를 포함한다. Geometry(152) 노드는 콘텐츠 객체의 기하학적 형태, 예를 들어 텍스트, 사각형, 구 등을 표현한다. Texture(162) 노드는 객체의 표현을 위하여 적용되는 최하위 노드(170)를 포함한다. Material(164) 노드는 Appearance(154) 노드로 표현되는 객체의 외각적 속성을 표현하는 것으로서, 객체를 구성하는 선, 색깔 등을 표현한다.
Movie Texture(170) 노드는 객체의 표현을 위하여 적용되는 최하위 노드로서, 도 1에서는 동영상 객체로서 MovieTexture(170) 노드가 사용된다. 실시예에 따라서 동영상 외에 다른 종류의 객체, 예를 들어 정지영상, 텍스트, 오디오 등의 객체를 표현하는 노드가 MovieTexture(170) 노드 대신 사용될 수 있다. 이 경우, MovieTexture(170) 대신 다른 이름의 노드, 예를 들어 ImageTexture, Text, Sound2D 등이 사용될 수 있다.
도 1에 도시된 바와 같이 종래의 BIFS에 따른 장면 기술 정보는 2차원 콘텐츠 객체의 표현을 위한 것이다. BIFS와 마찬가지로 다른 장면 기술 언어에 의한 종래 장면 기술자도 2차원 동영상, 정지영상, 텍스트 등의 2차원 콘텐츠를 기준으로 장면 기술 정보의 구조를 규격화하고 있다. 따라서, 종래의 BIFS 또는 LASeR는 스테레오스코픽 콘텐츠의 특성을 고려한 콘텐츠 재생 및 장면 구성을 충분히 지원하지 못한다.
따라서, 본 발명은 장면 기술자를 이용하여 스테레오스코픽 영상에 대한 다양한 3차원 장면 구성 및 대화형 서비스가 가능하도록 콘텐츠를 재생하는 장치 및 방법과 이를 위한 부호화 방법을 제공하는 것을 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 더욱 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
전술한 바와 같은 목적을 달성하기 위해 제안된 본 발명의 장면 기술자를 이용한 콘텐츠 재생 방법은, 장면 기술 정보를 입력받는 단계; 및 상기 장면 기술 정보를 이용하여 스테레오스코픽 객체를 영상으로 표현하여 화면에 재생하는 단계를 포함하고, 상기 장면 기술 정보는, 좌영상과 우영상의 상대적인 위치의 차이를 나타내는 변이를 조절하기 위한 디스패리티 정보 및 상기 스테레오스코픽 객체에 대한 속성 정보를 포함하고, 상기 디스패리티 정보 및 상기 스테레오스코픽 객체의 속성 정보는, 일정 범위 내에서 조절 가능한 정보인 것을 특징으로 한다.
또한, 본 발명의 장면 기술자를 이용한 콘텐츠 재생 장치는, 장면 기술자를 이용한 콘텐츠 재생 장치에 있어서, 장면 기술 정보를 입력받는 입력부; 상기 장면 기술 정보를 이용하여 스테레오스코픽 객체를 생성하는 스테레오스코픽 객체 생성부; 및 상기 생성된 스테레오스코픽 객체를 재생하는 재생부를 포함하고, 상기 장면 기술 정보는, 좌영상과 우영상의 상대적인 위치의 차이를 나타내는 변이를 조절하기 위한 디스패리티 정보 및 상기 스테레오스코픽 객체의 속성 정보를 포함하고, 상기 디스패리티 정보 및 상기 스테레오스코픽 객체의 속성 정보는 일정 범위 내에서 조절 가능한 정보인 것을 특징으로 한다.
또한, 본 발명의 부호화 방법은, 장면 기술 정보를 생성하는 단계; 및 상기 생성된 장면 기술 정보를 부호화하는 단계를 포함하고, 상기 장면 기술 정보 생성 단계는. 좌영상과 우영상의 상대적인 위치의 차이를 나타내는 변이를 조절하기 위한 디스패리티 정보 및 상기 스테레오스코픽 객체에 대한 속성 정보를 포함한다.
삭제
전술한 바와 같은 본 발명에 의하면 콘텐츠를 재생함에 있어서, 장면 기술자를 이용하여 스테레오스코픽 영상에 대한 다양한 3차원 장면 구성 및 대화형 서비스가 가능하다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.
도 2는 본 발명의 일 실시예에 의한 장면 기술자를 이용한 콘텐츠 재생 방법의 흐름도이다.
도 2에 도시된 바와 같이, 장면 기술자를 이용한 콘텐츠 재생 방법은 장면 기술 정보를 입력받는 단계(202), 스테레오스코픽 객체를 생성하는 단계(206), 및 생성된 스테레오스코픽 객체를 재생하는 단계(208)를 포함한다.
장면 기술자를 이용하여 콘텐츠를 재생하기 위해서, 우선 장면 기술 정보를 입력(202)받는다. 장면 기술 정보가 입력(202)되면, 장면 기술 정보를 이용하여 스테레오스코픽 객체를 생성(206)한다. 장면 기술 정보는 장면을 구성하기 위해 필요한 정보들을 포함하는 정보 구조로서, 장면 기술 언어에 의해 표현된다. 장면 기술 정보는 디스패리티 정보 및 스테레오스코픽 객체에 대한 속성 정보를 포함한다. 스테레오스코픽 객체에 대한 속성 정보는 스테레오스코픽 객체를 장면에 표현하는데 필요한 정보이다. 스테레오스코픽 객체에 대한 속성 정보는 예를 들어 객체의 상대적 위치, 외적 형태, 기하학적 모양, 객체의 종류, 객체의 외각적 속성 등에 대한 정보를 포함할 수 있다.
스테레오스코픽 객체 생성 단계(206)는 장면 기술 정보의 스테레오스코픽 객체 속성 정보를 이용하여 스테레오스코픽 객체를 영상으로 표현하고, 이 영상을 스테레오스코픽 영상으로 변환함으로써 스테레오스코픽 객체를 생성한다. 또한, 스테레오스코픽 객체는 동영상, 정지영상, 텍스트, 오디오 등 장면을 구성하는 객체이다. 스테레오스코픽 객체는 객체를 표현하기 위해 필요한 속성 정보(예를 들어, 객체 기술자(Object Descriptor: OD) 등)의 형태로 입력되어 표현될 수 있다.또한, 스테레오스코픽 객체는 장면 기술 정보만을 이용하여 생성될 수 있고, 객체 기술자와 장면 기술 정보를 함께 이용하여 생성될 수도 있다.
스테레오스코픽 객체를 생성하는 과정에 장면 기술 정보에 포함된 디스패리티 정보를 이용하여 스테레오스코픽 객체의 변이를 조절할 수 있다. 디스패리티 정 보는 스테레오스코픽 객체 생성 단계(206)에서 스테레오스코픽 객체의 변이를 조절하기 위해 사용된다. 즉, 디스패리티 정보는 스테레오스코픽 객체의 변이에 관한 정보를 나타낸다.
여기서 스테레오스코픽 객체의 '변이'에 대해 설명한다. 스테레오스코픽 객체를 생성(206)하기 위해서는 스테레오스코픽 객체를 표현하는 좌영상과 우영상이 필요하다. 이때, 좌영상과 우영상이 각각 스테레오스코픽 객체를 표현하는 시점의 차이를 다르게 하면 표현되는 스테레오스코픽 객체의 입체감 또는 실재감이 달라진다. '변이'는 좌영상과 우영상을 스테레오스코픽 영상으로 변환할 때 두 개의 영상에 대한 상대적인 위치의 차이로서, 이 위치의 차이는 좌영상과 우영상이 스테레오스코픽 객체를 표현하는 시점의 차이로 작용한다. 따라서, 두 개의 영상에 대한 '변이'를 조절하면 표현되는 스테레오스코픽 객체의 입체감 또는 실재감을 조절할 수 있다. 그리고 스테레오스코픽 영상으로서 재생되는 스테레오스코픽 객체는, 3차원으로 표현되는 스테레오스코픽 객체가 된다.
스테레오스코픽 객체가 생성(206)되면, 생성된 스테레오스코픽 객체를 재생(208)한다. 스테레오스코픽 객체를 재생(208)함에 있어서, 스테레오스코픽 객체의 속성 정보를 통해 스테레오스코픽 객체의 위치, 크기, 질감, 색깔 등이 조절되고, 디스패리티 정보를 통해 스테레오스코픽 객체의 입체감이 조절된다. 다수의 스테레오스코픽 객체가 장면을 구성하는 경우, 각각의 스테레오스코픽 객체를 따로 조절하여 재생할 수 있고, 장면 전체를 조절하여 재생할 수도 있다. 따라서, 장면 기술 정보를 이용하여 다양한 3차원 장면 구성이 가능하다. 또한, 사용자와의 인터 랙션을 통해 스테레오스코픽 객체의 속성 정보와 디스패리티 정보를 조절함으로써 대화형 서비스를 구현할 수 있다. 대화형 서비스를 제공할 경우 사용자 인터랙션 방법으로는 스테레오스코픽 객체를 2차원 또는 3차원으로 재생 모드 변환, 3차원으로 재생되는 장면의 입체감 조절, 장면 내의 각 객체별 입체감 조절 등이 있다.
장면 기술 정보는 디스패리티 정보가 가질 수 있는 값의 범위에 대한 정보를 포함할 수 있다. 디스패리티 값이 너무 작으면 스테레오스코픽 객체가 두 영상에서 완전히 겹쳐서 표현될 수 있고, 디스패리티 값이 너무 크면 두 영상이 두 개의 스테레오스코픽 객체를 표현하는 것처럼 재생될 수 있다. 따라서, 디스패리티 값의 범위를 설정함으로써 이러한 상황을 방지할 수 있고, 사용자 인터랙션을 지원할 때에도 입체감의 조절 범위를 설정할 수 있다. 또한, 장면 기술 정보는 콘텐츠의 재생 모드에 대한 정보를 포함할 수 있다. 재생 모드 정보는 스테레오스코픽 객체를 2차원 영상 또는 3차원 영상 중 어떤 모드로 재생할 것인지에 대한 정보이다. 이를 통해, 스테레오스코픽 객체의 재생시에 영상 또는 객체 2차원/3차원 재생 형태의 전환이 용이해진다.
한편, 도 2에 도시된 바와 같이, 장면 기술자를 이용한 콘텐츠 재생 방법은 스테레오스코픽 객체의 변이를 보간하는 단계(204)를 더 포함할 수 있다. 이 경우, 앞서 설명한 장면 기술 정보는 스테레오스코픽 객체의 변이에 대한 스테레오스코픽 보간 정보를 더 포함하고, 변이를 보간하는 단계(204)는 스테레오스코픽 보간 정보를 이용한다. 변이를 보간하는 단계(204)는 스테레오스코픽 객체를 이용하여 애니메이션을 구성할 때, 스테레오스코픽 객체의 입체감 또는 실재감 조절을 부드럽게 한다. 즉, 변이를 보간하는 단계(204)는 애니메이션이 진행될 때 스테레오스코픽 객체의 변이를 알고 있는 시각의 변이 값을 이용하여 그 시각 사이에 놓일 변이 값을 근사치로 계산한다. 이렇게 계산된 근사치를 이용하여 3차원 애니메이션을 효과적으로 구성할 수 있다. 위와 같은 방법에 의하면 스테레오스코픽 객체에 대해서도 장면 기술 정보를 활용하여 애니메이션이 가능하기 때문에, 매 프레임에 대한 정보를 요구하던 종래의 스테레오스코픽 비디오보다 매우 적은 데이터만으로도 장면을 구성할 수 있다.
앞서 설명한 바와 같이 스테레오스코픽 객체를 생성(206)하기 위해서는 스테레오스코픽 객체를 표현하는 좌영상과 우영상이 필요하다. 이하에서 제1 영상은 좌영상 또는 우영상 중 어느 하나를 의미하고, 제2 영상은 제1 영상과 짝을 이루는 우영상 또는 좌영상 중 어느 하나를 의미한다. 예를 들어, 제1 영상이 좌영상인 경우 제2 영상은 우영상을 나타낸다.
도 3은 도 2에 도시된 스테레오스코픽 객체 생성 단계(206)의 흐름도이다. 도 3에 도시된 바와 같이 스테레오스코픽 객체 생성 단계(206)는 제1 영상을 생성하는 단계(302), 제2 영상을 생성하는 단계(304), 스테레오스코픽 영상을 생성하는 단계(306)를 포함한다.
스테레오스코픽 객체를 생성(206)하기 위해서, 우선 스테레오스코픽 객체를 표현하는 제1 영상을 생성(302)한다. 제1 영상 생성 단계(302)는 스테레오스코픽 객체에 대한 속성 정보에 따라 제1 영상을 생성한다. 다음으로, 디스패리티 정보에 따라 제1 영상을 변이하여 제2 영상을 생성(304)한다. 제1 영상을 변이하는 방법은 다양하게 구현될 수 있다. 예를 들어, 디스패리티 정보에 스테레오스코픽 객체의 변이 정보가 픽셀 단위로 포함되어 있는 경우, 그 픽셀만큼 제1 영상을 수평으로 평행이동 시킨다. 이때 평행이동된 제1 영상은 제2 영상이 된다. 다른 예로서, 디스패리티 정보에 포함된 스테레오스코픽 객체의 변이 정보만큼 제1 영상에 표현되는 스테레오스코픽 객체를 수평으로 평행이동 시킬 수 있다. 이때 표현되는 스테레오스코픽 객체가 평행이동된 상태의 제1 영상은 제2 영상이 된다.
이렇게 제1 영상과 제2 영상이 생성(302, 304)되면, 제1 영상과 제2 영상을 교대로 표시하여 스테레오스코픽 영상을 생성(306)한다. 전술한 과정에 의해 스테레오스코픽 객체는 생성된 스테레오스코픽 영상에 의해 스테레오스코픽 객체로서 표현된다. 스테레오스코픽 영상을 생성하는 방법은 다양하게 구현될 수 있다. 종래에 알려진 방법으로서 좌우영상의 수직라인을 하나씩 건너뛰며 교대로 인터리빙하여 재생하는 라인 바이 라인(line by line) 방식, 좌우영상의 프레임을 교대로 반복하여 재생하는 프레임 시퀀셜(Frame Sequential) 방식, 좌우영상의 필드를 교대로 반복하여 재생하는 필드 시퀀셜(Field Sequential) 방식, 좌우영상을 겹쳐서 디스플레이 하는 편광방식 등이 있다.
설명한 바와 같이 스테레오스코픽 객체 재생 방법은 제1 영상만을 이용하여, 즉, 스테레오스코픽 객체에 대한 한 시점의 정보만을 이용하여 스테레오스코픽 영상을 생성할 수 있다. 이 방법은 스테레오스코픽 콘텐츠를 제공함에 있어서 요구되는 데이터량을 획기적으로 줄일 수 있다. 또한, 이 방법은 하나의 영상만을 이용할 수 있게 하기 때문에 스테레오스코픽 방송 서비스를 하는 경우 무선 자원 할당 및 서비스 제공 측면에서 상당히 효과적이다.
도 4는 본 발명의 일 실시예에 의한 스테레오스코픽 영상의 생성을 설명하는 도면이다.
우선, 320픽셀×240픽셀의 제1 영상(402)을 생성한다. 디스패리티 정보가 영상에 대한 픽셀 단위로 표현되고 2픽셀로 설정되어 있는 경우, 제1 영상(402)을 2픽셀만큼 수평으로 평행이동 시켜서 제2 영상(404)을 생성한다. 도 4에 도시된 바와 같이 제2 영상(404)은 2픽셀만큼 평행이동되어, 2픽셀만큼의 좌측 수직라인은 비어있는 픽셀이 되고, 2픽셀만큼의 우측 수직라인은 생략될 수 있다.
다음으로, 제1 영상(402)과 제2 영상(404)을 line by line 방식으로 교대로 표시하여 스테레오스코픽 영상(410)을 생성한다. 스테레오스코픽 영상(410)을 생성하는 방식은 line by line 방식 외에 앞서 설명한 다른 방식을 이용할 수도 있고, 이는 3차원 디스플레이 장치의 종류에 따라서 결정될 수 있다.
도 5는 도 2에 도시된 스테레오스코픽 객체 생성 단계(206)의 흐름도이다. 도 5에 도시된 바와 같이 스테레오스코픽 객체 생성 단계(206)는 제1 영상을 생성하는 단계(502), 제2 영상을 생성하는 단계(504), 제2 영상을 변이하는 단계(506), 스테레오스코픽 영상을 생성하는 단계(508)를 포함한다.
스테레오스코픽 객체를 생성(206)하기 위해서, 우선 스테레오스코픽 객체를 표현하는 제1 영상을 생성(502)한다. 제1 영상 생성 단계(502)는 스테레오스코픽 객체에 대한 속성 정보에 따라 제1 영상을 생성한다. 다음으로, 제2 영상 생성 단계(504)는 스테레오스코픽 객체에 대한 속성 정보에 따라 제2 영상을 생성한다. 여 기서 제2 영상은 제1 영상과 다른 시점에서 바라본 객체를 표현한다. 따라서, 제1 영상과 제2 영상이 동일한 객체를 표현하더라도, 제2 영상을 생성하기 위해 사용되는 속성 정보는 제1 영상을 생성하기 위해 사용되는 속성 정보와 다르게 구성될 수 있다.
제2 영상이 생성(504)되면, 디스패리티 정보에 따라 제2 영상을 변이(506)한다. 제2 영상을 변이하는 단계(506)는 전술한 제1 영상을 변이하여 제2 영상을 생성하는 단계(304)에서 제1 영상을 변이하는 과정과 유사한 방법으로 수행된다. 즉, 제 2영상을 수평으로 평행이동 시키거나 제2 영상이 표현하는 객체를 수평으로 평행이동 시키는 등의 방법이다. 다음으로, 제1 영상과 변이된 제2 영상을 교대로 표시하여 스테레오스코픽 영상을 생성(508)한다. 스테레오스코픽 영상을 생성하는 방법은 다양하게 구현될 수 있으며, 스테레오스코픽 객체는 생성된 스테레오스코픽 영상에 의해 스테레오스코픽 객체로서 표현된다.
설명한 바와 같이 스테레오스코픽 객체 재생 방법은 제1 영상과 제2 영상을 이용하여 스테레오스코픽 영상을 생성할 수 있다. 종래에도 두 시점에서 표현된 스테레오스코픽 객체를 담는 좌우영상을 이용하여 스테레오스코픽 영상을 구성하는 방법이 있다. 이 실시예에 의한 스테레오스코픽 객체 재생 방법은 장면 기술 정보를 이용하여 제1 영상과 제2 영상을 생성하기 때문에 다양한 3차원 장면 구성이 가능하다는 장점이 있다. 또한, 이 방법은 제2 영상을 변이하여 사용하기 때문에 디스패리티 정보의 조절을 통해 스테레오스코픽 객체의 입체감 또는 실재감을 변경할 수 있는 효과를 갖는다.
도 6 및 도 7은 각각 본 발명의 일 실시예에 의한 스테레오스코픽 영상의 생성을 설명하는 도면이다.
우선, 도 6에 도시된 실시예를 설명한다. 각각 320픽셀×240픽셀 사이즈의 제1 영상(602)과 제2 영상(604)을 생성한다. 제2 영상(604)은 제1 영상(602)이 표현하는 객체와 동일한 객체를 표현할 수 있고, 두 영상(602, 604)은 동일한 객체를 각각 다른 시점에서 바라본 형태로 표현할 수 있다. 생성된 제2 영상(604)을 디스패리티 정보에 따라 수평으로 평행이동 시켜서 변이한다. 도 6에 도시된 바와 같이, 디스패리티 정보가 영상에 대한 픽셀 단위로 표현되고 2픽셀로 설정되어 있으면 제2 영상(604)을 수평으로 2픽셀만큼 변이한다. 이렇게 변이된 제2 영상(606)과 제1 영상(602)을 교대로 표시하여 스테레오스코픽 영상(610)을 생성한다.
만약, 디스패리티 정보가 앞선 예보다 더 크게 설정되어 있는 경우, 변이된 제2 영상(606)의 변이 정도는 더 커진다. 결국, 제1 영상(602)과 변이된 제2 영상(606)이 표현하는 스테레오스코픽 객체의 시점 차이가 더욱 벌어지는 결과가 된다. 따라서, 스테레오스코픽 영상에 표현되는 스테레오스코픽 객체의 입체감이 더 풍부해진다. 이와 같은 방법으로 디스패리티 정보를 조절하여 다양한 3차원 장면을 구성할 때나 사용자와의 인터랙션을 통한 대화형 서비스 제공 시에 입체감을 변경하여 표현할 수 있다.
이하 도 7에 도시된 실시예를 설명한다. 제1 영상(702)과 제2 영상(704)을 생성하는 과정은 도 6에서 설명된 바와 동일하다. 이 실시예에서 디스패리티 정보는 0이기 때문에, 제2 영상(704)을 변이하는 과정에서 제2 영상(704)의 변이가 일 어나지 않는다. 다음으로 제1 영상(702)과 제2 영상(704)을 교대로 표시하여 스테레오스코픽 영상(710)을 생성한다. 제2 영상(704)이 스테레오스코픽 객체를 표현하는 시점은 애초부터 제1 영상(702)의 시점과 다르게 구성될 수 있다. 따라서, 변이되지 않은 영상 제2 영상(704)을 사용하여 스테레오스코픽 영상(710)을 생성하더라도 입체감이 표현된다.
도 8은 본 발명의 일 실시예에 의한 장면 기술자를 이용한 콘텐츠 재생 장치(800)의 구성도이다. 콘텐츠 재생 장치(800)는 전술한 콘텐츠 재생 방법을 구현하기 위한 장치의 한 가지 예에 불과하므로, 콘텐츠 재생 장치(800)의 동작에 대한 상세한 설명은 전술한 바를 참조한다.
도 8에 도시된 바와 같이 콘텐츠 재생 장치(800)는 입력부(810), 스테레오 객체 생성부(830), 및 재생부(840)를 포함한다. 입력부(810)는 장면 기술 정보를 입력받아 스테레오 객체 생성부(830)로 전달한다. 스테레오 객체 생성부(830)는 전달받은 장면 기술 정보를 이용하여 스테레오스코픽 객체를 생성한다. 여기서 장면 기술 정보는 스테레오스코픽 객체를 생성할 때 스테레오스코픽 객체의 변이를 조절하기 위한 디스패리티 정보 및 스테레오스코픽 객체에 대한 속성 정보를 포함한다. 재생부(840)는 생성된 스테레오스코픽 객체를 전달받아 재생한다.
한편, 콘텐츠 재생 장치(800)는 애니메이션 제어부(820)를 더 포함할 수 있다. 이 경우, 장면 기술 정보는 스테레오스코픽 객체의 변이에 대한 스테레오스코픽 보간 정보를 더 포함할 수 있다. 애니메이션 제어부(820)는 입력부(810)로부터 장면 기술 정보를 전달받고, 장면 기술 정보에 포함된 스테레오스코픽 보간 정보에 따라 스테레오스코픽 객체의 변이를 보간한다. 이로써 콘텐츠 재생 장치(800)는 스테레오스코픽 객체 애니메이션이 포함된 장면을 구성할 때 스테레오스코픽 객체의 입체감을 부드럽게 구현할 수 있다.
도 8에 도시된 바와 같이, 스테레오스코픽 객체 생성부(830)는 영상 생성부(832), 영상 변이부(834), 및 스테레오스코픽 영상 생성부(836)를 포함할 수 있다.
일 실시예에서 영상 생성부(832)는 스테레오스코픽 객체에 대한 속성 정보에 따라 스테레오스코픽 객체를 표현하는 제1 영상을 생성한다. 한편, 영상 변이부(834)는 디스패리티 정보에 따라 제1 영상을 변이하여 제2 영상을 생성한다. 이때, 스테레오스코픽 객체에 대한 속성 정보 및 디스패리티 정보는 장면 기술 정보에 포함된다. 스테레오스코픽 영상 생성부(836)는 영상 생성부(832)와 영상 변이부(834)로부터 각각 제1 영상과 제2 영상을 전달받는다. 스테레오스코픽 영상 생성부(836)는 제1 영상과 제2 영상을 교대로 표시하여 스테레오스코픽 영상을 생성한다. 스테레오스코픽 영상 생성부(836)는 스테레오스코픽 영상을 생성하기 위해 line by line 방식, 프레임 시퀀셜 방식, 필드 시퀀셜 방식, 편광 방식 등 다양한 방식을 사용할 수 있다. 이로써, 스테레오스코픽 객체 재생 장치(800)는 하나의 영상만으로도 스테레오스코픽 영상을 재생할 수 있다.
또 다른 실시예에서 영상 생성부(832)는 스테레오스코픽 객체에 대한 속성 정보에 따라 스테레오스코픽 객체를 표현하는 제1 영상과 제2 영상을 생성한다. 이때, 제2 영상은 제1 영상과 다른 시점에서 스테레오스코픽 객체를 표현한다. 한편, 영상 변이부(834)는 디스패리티 정보에 따라 제2 영상을 변이한다. 스테레오스코픽 영상 생성부(836)는 제1 영상과 변이된 제2 영상을 교대로 표시하여 스테레오스코픽 영상을 생성한다. 이로써, 스테레오스코픽 객체 재생 장치(800)는 3차원으로 재생되는 스테레오스코픽 객체의 입체감을 용이하게 조절할 수 있고, 다양한 3차원 장면 구성과 사용자 인터랙션을 할 수 있다.
한편, 본 명세서에서 설명된 장면 기술 정보는 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 또한, 본 명세서에서 설명된 장면 기술 정보는 부호화되어 제공될 수 있다. 이 경우, 장면 기술 정보는 디스패리티 정보 및 스테레오스코픽 객체에 대한 속성 정보를 포함하도록 생성된 후 부호화된다.
이하에서 장면 기술자 또는 장면 기술 정보는 종래의 장면 기술 언어와의 호환성을 위해 BIFS 규격을 활용하는 실시예로서 설명한다. 따라서, 콘텐츠 재생 방법 또는 콘텐츠 재생 장치 등에 사용되는 장면 기술자 또는 장면 기술 정보는 다른 형태나 구조로 변경되거나 변형될 수 있다. 또한, 이하에서 설명되는 장면 기술자 또는 장면 기술 정보는 BIFS 규격에 한정되지 않고, LASeR, 동기식 멀티미디어 통합 언어(Synchronized Multimedia Integration Language: SMIL) 기반의 장면 기술 언어 등 다른 장면 기술 언어에 의한 규격에 적용될 수 있다. 이하의 장면 기술자 또는 장면 기술 정보를 구성하는 노드 또는 필드 등의 위치나 명칭은 실시예에 따라 다르게 구성될 수 있다.
도 9는 본 발명의 일 실시예에 의한 장면 기술 정보(900)의 구조도이다. 장면 기술 정보(900)는 종래 BIFS 장면 기술 정보(100)에 추가적으로 Stereoscopic 노드(902)와 StereoscopicAppearance 노드(904)를 포함한다. 장면 기술 정보(900)는 디스패리티 정보 및 스테레오스코픽 객체에 대한 속성 정보를 포함한다. 디스패리티 정보는 Stereoscopic 노드(902)에 의해 기술되고, 스테레오스코픽 객체의 시각적인 속성 정보는 StereoscopicAppearance 노드(904)에 의해 기술된다. 일반적인 스테레오스코픽 객체의 속성 정보는 Stereoscopic 관련 노드 외에 나머지 노드들에 의해 계층적으로 기술된다.
도 9에서 Stereoscopic 노드(902)는 스테레오스코픽 객체의 생성에 있어서, 해당 객체의 변이를 조절하여 입체감을 달라지게 하는데 이용된다. 따라서, Stereoscopic 노드(902)를 스테레오스코픽 객체의 시각적 속성을 나타내는 StereoscopicAppearance 노드(904)에 종속되는 것으로 구성한다. 그러나, Stereoscopic 노드(902)는 이 구조에 한정되지 않고, 장면 기술 정보(900)의 트리 구조를 구성하는 다른 노드들에 통합되거나 종속될 수 있다. 예를 들어, Stereoscopic 노드(902)는 도 1에 도시된 Appearance 노드(154)에 통합되어 새로운 구조의 StereoscopicAppearance 노드로 구성될 수 있다. 표 1은 Stereoscopic 노드(902)의 구조에 대한 일 예를 나타낸다.
Stereoscopic{
exposedField SFBool isStereoscopicConversion TRUE
exposedField SFInt32 variation_of_disparity 0
exposedField SFInt32 max_of_disparity 10
exposedField SFInt32 min_of_disparity 0
}
isStereoscopicConversion 필드는 스테레오스코픽 객체가 표현되는 영상의 형태를 결정하는 정보이다. isStereoscopicConversion 값이 FALSE이면 스테레오스코픽 객체는 2차원 영상으로 디스플레이 되고, TRUE이면 스테레오스코픽 영상으로 디스플레이 된다.
variation_of_disparity 필드는 스테레오스코픽 객체의 변이를 조절하기 위한 디스패리티 정보이다. variation_of_disparity 필드의 값만큼 좌영상 또는 우영상을 변이함으로써 스테레오스코픽 객체의 입체감이 조절된다. variation_of_disparity 값이 0인 경우는 좌우영상에 대하여 disparity를 바꾸지 않고, 즉, 좌우영상을 변이하지 않고 그대로 스테레오스코픽 영상을 생성하여 출력하는 것을 의미한다. 실시예에 따라서 좌우영상의 디스패리티를 수정하지 않아도 될 수 있고, 이 경우에는 variation_of_disparity를 0으로 설정할 수 있다.
min_of_disparity 필드는 디스패리티 정보가 가질 수 있는 최소 값을 나타내고, max_of_disparity 필드는 디스패리티 정보가 가질 수 있는 최대 값을 나타낸다. 따라서, min_of_disparity 필드가 갖는 디스패리티 값은 스테레오스코픽 영상의 최소 깊이정도(depth of field)가 되고, max_of_disparity 필드가 갖는 디스패리티 값은 스테레오스코픽 영상의 최대 깊이정도가 된다.
variation_of_disparity 필드의 값이 max_of_disparity 필드의 값을 넘어서면, 좌영상과 우영상 사이의 위치 차이가 너무 커져서 두 영상이 표현하는 스테레오스코픽 객체가 하나의 객체로 인식되지 않을 수 있다. 이 경우 좌우영상에 표현되는 스테레오스코픽 객체가 서로 분리되어, 사용자는 스테레오스코픽 객체를 인식할 수 없다. 사용자 인터랙션을 통한 입체감 조절 시에, min_of_disparity 필드와 max_of_disparity 필드는 디스패리티 정보의 조절 범위로서 작용한다. 한편, min_of_disparity 필드와 max_of_disparity 필드가 모두 0이면, 사용자 인터랙션을 통한 디스패리티 조절이 없다는 의미로 구현될 수 있다.
또한, 도 9에서 StereoscopicAppearance 노드(904)는 도 1에서 시각적인 속성을 기술한 Appearance 노드(154)를 확장한 것으로서, 새로운 타입의 Stereoscopic 노드(902)를 포함한다. StereoscopicAppearance 노드(904)는 스테레오스코픽 객체의 시각적인 속성을 기술한다.
종래 BIFS 규격의 Appearance 노드(154)는 새로운 타입의 Stereoscopic 노드(902)를 구조화할 수 없기 때문에, 스테레오스코픽 객체를 표현할 수 있는 StereoscopicAppearance 노드(904)가 필요하다. 따라서 스테레오스코픽 객체를 표현할 때에는 Appearance 노드(154)와 같은 타입의 StereoscopicAppearance 노드(904)를 사용하고, StereoscopicAppearance 노드(904)가 Stereoscopic 노드(902)를 포함하도록 구성한다. 그러나, 스테레오스코픽 객체를 표현하는 구조는 앞서 설명한 Stereoscopic 노드(902)와 StereoscopicAppearance 노드(904)의 구조에 한정되지 않고, 장면 기술 정보(900)의 트리 구조를 구성하는 다른 노드들에 표현될 수 있다. 예를 들어, 도 1에서 Appearance 노드(154) 대신에 Shape 노드(140)가 스테레오스코픽 객체를 표현하도록 구성될 수 있다. 표 2는 StereoscopicAppearance 노드(904)의 구조에 대한 일 예를 나타낸다.
StereoscopicAppearance{
exposedField SFNode material
exposedField SFNode texture
exposedField SFNode stereoscopic
}
material 필드와 texture 필드는 종래의 Appearance 노드(154)와 동일하게 사용된다. material 필드는 시각적인 색상과 광원효과를 나타내며, texture 필드는 여러 가지 텍스쳐를 표현한다. 스테레오스코픽 객체는 정지영상, 텍스트, 또는 도형 등 다양한 객체로 표현되면서, 투명도와 색상을 사용하기 때문에 StereoscopicAppearance 노드(904)가 material 필드와 texture 필드를 포함한다. stereoscopic 필드는 Stereoscopic 노드(902)를 구조화하며 스테레오스코픽 영상 정보를 갖는다.
한편, 도 9에서 Movie Texture 노드는 객체의 표현을 위한 최하위 노드로서 동영상 객체에 대한 속성 정보를 포함한다. 표 3은 Movie Texture 노드의 일 예를 나타낸다.
MovieTexture{
eventIn SFBool
exposedField SFBool loop FALSE
exposedField SFFloat speed 1.0
exposedField SFTime startTime 0
exposedField SFTime stopTime 0
exposedField MFString url[]
field SFBool repeatS TRUE
field SFBool repeatT TRUE
eventOut SFTime duration_changed
eventOut SFTime isActive
}
loop 필드는 동영상의 반복 여부에 대한 정보이다. speed 필드는 동영상의 디스플레이 속도에 대한 비율 정보로서, 1.0값을 동영상의 기본 디스플레이 속도로 계산하여 speed 필드값의 증감에 따라 동영상의 디스플레이 속도를 조절하는데 사용된다. startTime 필드와 stopTime 필드는 각각 동영상의 재생 시작 시간과 재생 정지 시간에 대한 정보를 나타낸다.
url[] 필드는 해당 동영상 객체에 대한 객체 기술자를 지정하기 위한 주소 정보를 나타낸다. repeatS 필드는 객체의 한 면에 해당 이미지를 적용하기 위해 수평으로 분할할지 여부를 나타낸다. repeatT 필드는 객체의 한 면에 해당 이미지를 적용하기 위해 수직으로 분할할지 여부를 표시한다.
도 10은 본 발명의 일 실시예에 의한 장면 기술 정보(1000)의 구조도이다. 장면 기술 정보(1000)는 세 개의 정지영상 콘텐츠에 대한 속성 정보를 기술하는 노드들의 그룹(1002, 1004, 1006)을 포함한다. 장면 기술 정보(1000)를 사용하면, 하나의 장면에서 여러 개의 스테레오스코픽 객체를 동시에 재생할 수 있다.
도 11은 본 발명의 일 실시예에 의한 장면 기술 정보(1100)의 구조도이다. 장면 기술 정보(1100)는 텍스트 객체가 포함된 장면을 기술한다. Text 노드(1104)는 장면에 표현될 텍스트에 대한 속성 정보를 기술한다. 표 4는 Text 노드(1104)의 구조의 일 예를 나타낸다.
Text{
exposedField MFString string
exposedField MFFloat length
exposedField SFNode fontStyle
exposedField SFFloat maxExtent
}
장면 기술 정보(1100)와 같은 구조에서 텍스트 객체는 StereoscopicAppearance 노드(1106)와 Stereoscopic 노드(1102)에 의해 스테레오스코픽 객체로 재생될 수 있고, 사용자 인터랙션이 지원되는 다양한 장면으로 구성될 수 있다. 이와 같은 방법으로 콘텐츠 재생 방법 또는 장치는 3차원 포맷의 텍스트를 지원할 수 있다.
도 12와 도 13은 본 발명의 일 실시예에 의한 장면 기술 정보(1200, 1300)의 구조도이다. 장면 기술 정보(1200, 1300)는 2차원 동영상과 3차원 동영상이 함께 재생되는 장면을 기술한다.
도 12에서 장면 기술 정보(1200)는 2차원 동영상 객체에 대한 속성 정보(1202)와 3차원 동영상 객체에 대한 속성 정보(1204)를 포함한다. 디스패리티 정보를 포함하는 Stereoscopic 노드(1206)는 3차원 동영상 객체를 생성하는데 이용된다. 따라서, Stereoscopic 노드를 포함하지 않는 노드들의 그룹(1202)으로 표현되는 콘텐츠 객체는 2차원으로 재생된다. OrderedGroup 노드(1210)와 OrderedGroup 노드(1220)는 병렬적으로 OrderedGroup(Root) 노드에 포함된다.
도 13에서 장면 기술 정보(1300)도 2차원 동영상 객체에 대한 속성 정보(1302)와 3차원 동영상 객체에 대한 속성 정보(1304)를 포함한다. 디스패리티 정보를 포함하는 Stereoscopic 노드(1306)는 3차원 동영상 객체를 생성하는데 이용된다. 따라서, Stereoscopic 노드를 포함하지 않는 노드들의 그룹(1302)으로 표현되는 콘텐츠 객체는 2차원으로 재생된다. 도 12의 장면 기술 정보(1200)와 달리, 2차원 동영상 객체의 속성 정보(1302)와 3차원 동영상 객체의 속성 정보(1304)는 하나의 OrderedGroup 노드(1310)에 종속되는 노드로서 포함된다.
도 14은 본 발명의 일 실시예에 의한 장면 기술 정보(1400)의 구조도이다. 장면 기술 정보(1400)는 스테레오스코픽 객체에 대한 속성 정보를 나타내는 노드들의 그룹(1410)과 스테레오스코픽 객체의 애니메이션을 위한 노드들의 그룹(1420)을 포함한다. 그룹(1410)은 스테레오스코픽 객체의 변이를 조절하기 위한 디스패리티 정보를 기술하는 Stereoscopic 노드(1412)를 포함한다. 그룹(1420)은 그룹(1410)에 의해 표현되는 객체에 애니메이션 효과를 제공하기 위해서 사용된다. 그룹(1420)은 StereoscopicInterpolator 노드(1422), PositionInterpolator2D 노드(1424), PositionInterpolator2D 노드(1426), TimeSensor 노드(1428)를 포함한다.
StereoscopicInterpolator 노드(1422)는 스테레오스코픽 객체의 변이를 보간하는데 사용되는 스테레오스코픽 보간 정보를 기술한다. 표 5는 StereoscopicInterpolator 노드(1422)의 구조에 대한 일 예이다.
StereoscopicInterpolator{
eventIn SFFloat set_fraction
exposedField MFFloat key []
exposedField MFInt32 keyValue []
eventOut SFInt32 value_changed
}
set_fraction 필드는 SFFloat 타입의 이벤트를 받는데 사용된다. key[] 필드는 0과 1사이의 값을 갖는 매개변수들을 배열로 설정한다. keyValue[] 필드는 key[] 필드에서 설정된 매개변수의 개수와 동일한 크기의 배열로서, MFInt32 타입의 값을 배열로 설정한다. value_changed 필드는 설정된 매개변수 값에 따라 디스패리티 정보에 대한 선형 보간 함수를 수행하고, 그 값을 SFInt32 타입으로 내보낸다. 이렇게 StereoscopicInterpolator 노드(1422)에서 출력된 SFInt32 타입 값은 Stereoscopic 노드(1412)에 이벤트로 입력되고, 이에 의해 Stereoscopic 노드(1412)에 포함된 디스패리티 정보가 조절된다.
PositionInterpolator2D 노드(1424)와 PositionInterpolator2D 노드(1426)는 각각 스테레오스코픽 객체의 위치와 크기를 보간하는데 사용되는 보간 정보를 기술한다. 표 6은 PositionInterpolator2D 노드(1424, 1426)의 구조에 대한 일 예를 나타낸다.
PositionInterpolator2D{
eventIn SFFloat set_fraction
exposedField MFFloat key []
exposedField MFVec2f keyValue []
eventOut SFVec2f value_changed
}
set_fraction 필드, key[] 필드, keyValue[] 필드, 및 value_changed 필드는 앞서 설명한 StereoscopicInterpolator 노드(1422)의 그것들과 동일한 동작을 한다. 다만, keyValue[] 필드는 2개의 값을 갖는 벡터 타입의 값을 key[] 필드의 배열 사이즈와 동일한 사이즈의 배열로 설정한다. 또한, value_changed 필드는 설정된 매개변수에 따라 객체의 위치 또는 크기에 대한 선형 보간 함수를 수행하고, 그 값을 벡터 값으로 내보낸다.
TimeSensor 노드(1428)는 스테레오스코픽 객체에 대한 애니메이션의 시작, 종료, 재생 주기 등 시간과 관련된 속성을 설정한다. StereoscopicInterpolator 노드(1422)와 PositionInterpolator2D 노드(1424, 1426)에 의한 콘텐츠의 애니메이션은 TimeSensor 노드(1428)에 기술되는 시간 정보에 따라 수행된다. 표 7은 TimeSensor 노드(1428)의 구조에 대한 일 예이다.
TimeSensor{
exposedField SFTime cycleInterval 1
exposedField SFBool enable TRUE
exposedField SFBool loop FALSE
exposedField SFTime startTime 0
exposedField SFTime stopTime 0
eventOut SFTime cycleTime
eventOut SFFloat fraction_changed
eventOut SFBool isActive
eventOut SFTime time
}
cycleInterval 필드는 설정된 값만큼 초(sec) 단위로 애니메이션의 재생 주기를 설정한다. enabled 필드는 TimeSensor 노드(1428)의 활성화 여부를 결정하며, loop 필드는 애니메이션의 주기가 끝났을 때에 처음부터 다시 시작할지 여부를 설정한다. startTime 필드와 stopTime 필드는 각각 애니메이션의 시작 시간과 종료 시간을 설정한다. cycleTime 필드는 새로운 주기가 시작할 때마다 그 시각을 이벤트로 내보내는데 사용된다. 또한, fraction_changed 필드는 전체 재생 주기에 대비한 현재 재생 위치를 0과 1 사이의 값으로 표현하여 해당 값을 주기적으로 내보낸다. isActive 필드는 TimeSensor 노드(1428)가 실행될 때 그 시작 시간마다 TRUE 값을 내보내고, time 필드는 현재의 절대 시각을 내보낸다.
도 15은 본 발명의 일 실시예에 의한 장면 기술 정보(1500)의 구조도이다. 장면 기술 정보(1500)에 포함된 그룹(1510, 1520)과 각 노드들의 구성은 장면 기술 정보(1400)과 동일하다. 장면 기술 정보(1500)를 이용하여 애니메이션을 구성할 때 핵심적으로 사용되는 필드들에 예시적으로 값을 설정하여 설명한다.
Stereoscopic 노드(1512)는 variation_of_disparity 필드값을 2로 갖는다. 이는 동영상 객체인 MovieTexture를 표현하는 좌우영상을 2픽셀만큼의 디스패리티 정보를 이용하여 3차원으로 재생한다는 의미이다. 그룹(1510)의 Transform 2D 노드는 scale 필드값을 [1,1]로, translation 필드값을 [10, 100]으로 갖는다. 이는 동영상 객체의 크기를 가로 1, 세로 1의 비율로 (x, y)좌표계에서 (10, 100)의 위치에서 재생한다는 의미이다.
한편, TimeSensor 노드(1528)는 cycleInterval 필드값을 10으로, loop 필드값을 TRUE로, stopTime 필드값을 30으로 갖는다. 이는 동영상 객체에 대한 애니메이션을 10초의 주기로 반복 재생하되, 30초 동안 재생한다는 의미이다. PositionInterpolator2D 노드(1524)는 key[] 필드값을 [0,1]로, keyValue 필드값을 [10 100, 100 100]으로 갖는다. 이는 동영상 객체를 (x, y) 좌표 상에서 (10, 100) 위치로부터 (100, 100) 위치로 부드럽게 움직이도록 한다는 것을 나타낸다. PositionInterpolator2D 노드(1526)는 key[] 필드값을 [0,1]로, keyValue 필드값을 [1 1, 3 3]으로 갖는다. 이는 동영상 객체의 크기를 가로 1, 세로 1의 비율에서 가로 3, 세로 3만큼의 비율로 3배만큼 부드럽게 커지도록 한다는 의미이다. 또한, StereoscopicInterpolator 노드(1522)는 key[] 필드값을 [0,1]로, keyValue 필드값을 [2, 5]로 갖는다. 이는 동영상 객체의 디스패리티 정보인 Stereoscopic 노드(1512)의 variation_of_disparity 필드값을 2부터 5까지 부드럽게 변경하는 것을 나타낸다.
따라서, 이와 같은 장면 기술 정보는 동영상 객체가 3차원으로 재생되면서, 10초의 주기로 3번 서서히 좌에서 우로 이동하며, 크기가 커지면서 입체감이 증가하게 되는 장면을 표현한다.
전술한 장치 또는 이를 구성하는 각각의 모듈은 특정한 기능이나 동작을 처리하는 장치를 나타내는 하나의 단위를 말하며, 하드웨어, 소프트웨어 또는 이들의 조합으로 구현될 수 있다. 하드웨어 구현에 있어서, 콘텐츠 재생을 위하여 사용된 모듈은 하나 이상의 주문형 집적회로(ASIC), 디지털 신호 프로세서(DSP), 디지털 신호 처리 장치(DSPD), 프로그램 가능 논리 장치(PLD), 필드 프로그램 가능 게이트 어레이(FPGA), 프로세서, 제어기, 마이크로-제어기, 마이크로프로세서, 여기에 기술한 기능들을 수행하도록 설계된 다른 전자 유닛 또는 이들의 조합으로 구현될 수 있다. 소프트웨어는 여기에 기술된 기능들을 수행하는 모듈을 통해 구현될 수 있다. 소프트웨어 코드는 메모리 유닛들에 저장되고 프로세서에 의해 실행될 수 있다. 메모리 유닛은 프로세서 내부 또는 외부에서 구현될 수 있으며, 이 경우에 메모리는 공지된 다양한 수단을 통해 프로세서와 연결될 수 있다.
한편, 전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체(CD, DVD와 같은 유형적 매체뿐만 아니라 반송파와 같은 무형적 매체)를 포함한다.
전술한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로, 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
도 1은 종래기술에 의한 장면 기술 정보(100)의 구조도이다.
도 2는 본 발명의 일 실시예에 의한 장면 기술자를 이용한 콘텐츠 재생 방법의 흐름도이다.
도 3은 도 2에 도시된 스테레오스코픽 객체 생성 단계(206)의 흐름도이다.
도 4는 본 발명의 일 실시예에 의한 스테레오스코픽 영상의 생성을 설명하는 도면이다.
도 5는 도 2에 도시된 스테레오스코픽 객체 생성 단계(206)의 흐름도이다.
도 6은 본 발명의 일 실시예에 의한 스테레오스코픽 영상의 생성을 설명하는 도면이다.
도 7은 본 발명의 일 실시예에 의한 스테레오스코픽 영상의 생성을 설명하는 도면이다.
도 8은 본 발명의 일 실시예에 의한 장면 기술자를 이용한 콘텐츠 재생 장치(800)의 구성도이다.
도 9는 본 발명의 일 실시예에 의한 장면 기술 정보(900)의 구조도이다.
도 10은 본 발명의 일 실시예에 의한 장면 기술 정보(1000)의 구조도이다.
도 11은 본 발명의 일 실시예에 의한 장면 기술 정보(1100)의 구조도이다.
도 12는 본 발명의 일 실시예에 의한 장면 기술 정보(1200)의 구조도이다.
도 13은 본 발명의 일 실시예에 의한 장면 기술 정보(1300)의 구조도이다.
도 14은 본 발명의 일 실시예에 의한 장면 기술 정보(1400)의 구조도이다.
도 15은 본 발명의 일 실시예에 의한 장면 기술 정보(1500)의 구조도이다.

Claims (10)

  1. 장면 기술자를 이용한 콘텐츠 재생 방법에 있어서,
    (a) 장면 기술 정보를 입력받는 단계; 및
    (b) 상기 장면 기술 정보를 이용하여 스테레오스코픽 객체를 영상으로 표현하여 화면에 재생하는 단계를 포함하고,
    상기 장면 기술 정보는,
    좌영상과 우영상의 상대적인 위치의 차이를 나타내는 변이를 조절하기 위한 디스패리티 정보 및 상기 스테레오스코픽 객체의 속성 정보를 포함하고,
    상기 디스패리티 정보 및 상기 스테레오스코픽 객체의 속성 정보는, 일정 범위 내에서 조절 가능한 정보인 장면 기술자를 이용한 콘텐츠 재생 방법.
  2. 제 1 항에 있어서,
    상기 (b) 단계는,
    상기 스테레오스코픽 객체의 속성 정보에 따라 상기 스테레오스코픽 객체를 표현하는 제1 영상을 생성하는 단계;
    상기 디스패리티 정보에 따라 상기 제1 영상을 변이하여 제2 영상을 생성하는 단계; 및
    상기 제1 영상과 상기 제2 영상을 교대로 표시하여 스테레오스코픽 영상을 재상하는 단계를 포함하는 장면 기술자를 이용한 콘텐츠 재생 방법.
  3. 제 1 항에 있어서,
    상기 (b) 단계는,
    상기 스테레오스코픽 객체의 속성 정보에 따라 상기 스테레오스코픽 객체를 표현하는 제1 영상을 생성하는 단계;
    상기 스테레오스코픽 객체의 속성 정보에 따라 상기 제1 영상과는 다른 시점에서 상기 스테레오스코픽 객체를 표현하는 제2 영상을 생성하는 단계;
    상기 디스패리티 정보에 따라 상기 제2 영상을 변이하는 단계;
    상기 제1 영상과 상기 변이된 제2 영상을 교대로 표시하여 스테레오스코픽 영상을 재생하는 단계를 포함하는 장면 기술자를 이용한 콘텐츠 재생 방법.
  4. 제 1 항에 있어서,
    상기 장면 기술 정보는,
    상기 스테레오스코픽 객체의 변이에 대한 스테레오스코픽 보간 정보를 더 포함하고,
    상기 콘텐츠 재생 방법은,
    상기 스테레오스코픽 보간 정보에 따라 상기 스테레오스코픽 객체의 변이를 보간하는 단계를 더 포함하는 장면 기술자를 이용한 콘텐츠 재생 방법.
  5. 장면 기술자를 이용한 콘텐츠 재생 장치에 있어서,
    장면 기술 정보를 입력받는 입력부;
    상기 장면 기술 정보를 이용하여 스테레오스코픽 객체를 생성하는 스테레오스코픽 객체 생성부; 및
    상기 생성된 스테레오스코픽 객체를 재생하는 재생부를 포함하고,
    상기 장면 기술 정보는,
    좌영상과 우영상의 상대적인 위치의 차이를 나타내는 변이를 조절하기 위한 디스패리티 정보 및 상기 스테레오스코픽 객체의 속성 정보를 포함하고,
    상기 디스패리티 정보 및 상기 스테레오스코픽 객체의 속성 정보는 일정 범위 내에서 조절 가능한 정보인 장면 기술자를 이용한 콘텐츠 재생 장치.
  6. 제 5 항에 있어서,
    상기 스테레오스코픽 객체 생성부는,
    상기 스테레오스코픽 객체의 속성 정보에 따라 상기 스테레오스코픽 객체를 표현하는 제1 영상을 생성하는 영상 생성부;
    상기 디스패리티 정보에 따라 상기 제1 영상을 변이하여 제2 영상을 생성하는 영상 변이부; 및
    상기 제1 영상과 상기 제2 영상을 교대로 표시하여 스테레오스코픽 영상을 생성하는 스테레오스코픽 영상 생성부를 포함하는 장면 기술자를 이용한 콘텐츠 재생 장치.
  7. 제 5 항에 있어서,
    상기 스테레오스코픽 객체 생성부는
    상기 스테레오스코픽 객체의 속성 정보에 따라 상기 스테레오스코픽 객체를 표현하는 제1 영상을 생성하고, 상기 스테레오스코픽 객체의 속성 정보에 따라, 상기 제1 영상과는 다른 시점에서 상기 스테레오스코픽 객체를 표현하는 제2 영상을 생성하는 영상 생성부;
    상기 디스패리티 정보에 따라 상기 제2 영상을 변이하는 영상 변이부;
    상기 제1 영상과 상기 변이된 제2 영상을 교대로 표시하여 스테레오스코픽 영상을 생성하는 스테레오스코픽 영상 생성부를 포함하는 장면 기술자를 이용한 콘텐츠 재생 장치.
  8. 제 5 항에 있어서,
    상기 장면 기술 정보는
    상기 스테레오스코픽 객체의 변이에 대한 스테레오스코픽 보간 정보를 더 포함하고,
    상기 콘텐츠 재생 장치는
    상기 스테레오스코픽 보간 정보에 따라 상기 스테레오스코픽 객체의 변이를 보간하는 애니메이션 제어부를 더 포함하는 장면 기술자를 이용한 콘텐츠 재생 장치.
  9. 삭제
  10. 삭제
KR1020080115719A 2008-11-20 2008-11-20 장면 기술자를 이용한 콘텐츠 재생 방법 및 장치, 이를 위한 부호화 방법 KR101090764B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080115719A KR101090764B1 (ko) 2008-11-20 2008-11-20 장면 기술자를 이용한 콘텐츠 재생 방법 및 장치, 이를 위한 부호화 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080115719A KR101090764B1 (ko) 2008-11-20 2008-11-20 장면 기술자를 이용한 콘텐츠 재생 방법 및 장치, 이를 위한 부호화 방법

Publications (2)

Publication Number Publication Date
KR20100056757A KR20100056757A (ko) 2010-05-28
KR101090764B1 true KR101090764B1 (ko) 2011-12-08

Family

ID=42280709

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080115719A KR101090764B1 (ko) 2008-11-20 2008-11-20 장면 기술자를 이용한 콘텐츠 재생 방법 및 장치, 이를 위한 부호화 방법

Country Status (1)

Country Link
KR (1) KR101090764B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101158723B1 (ko) * 2011-05-09 2012-06-22 한밭대학교 산학협력단 장면 서술자 기반의 게임 장면의 고속 부호화 시스템 및 방법
WO2015003383A1 (en) * 2013-07-12 2015-01-15 Mediatek Singapore Pte. Ltd. Methods for inter-view motion prediction

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100576544B1 (ko) * 2003-12-09 2006-05-03 한국전자통신연구원 엠펙-4 객체기술자 정보 및 구조를 이용한 3차원 동영상처리 장치 및 그 방법
KR100716142B1 (ko) 2006-09-04 2007-05-11 주식회사 이시티 스테레오스코픽 영상 데이터의 전송 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100576544B1 (ko) * 2003-12-09 2006-05-03 한국전자통신연구원 엠펙-4 객체기술자 정보 및 구조를 이용한 3차원 동영상처리 장치 및 그 방법
KR100716142B1 (ko) 2006-09-04 2007-05-11 주식회사 이시티 스테레오스코픽 영상 데이터의 전송 방법

Also Published As

Publication number Publication date
KR20100056757A (ko) 2010-05-28

Similar Documents

Publication Publication Date Title
US11079912B2 (en) Method and apparatus for enhancing digital video effects (DVE)
JP5567562B2 (ja) 多用途三次元画像フォーマット
JP4942784B2 (ja) マルチメディア情報生成装置およびマルチメディア情報再生装置
AU2007224810B2 (en) Apparatus and method for providing a sequence of video frames, apparatus and method for providing a scene model, scene model, apparatus and method for creating a menu structure and computer program
CN102224738A (zh) 在三维图形用户界面中扩展二维图形
JP7035401B2 (ja) 画像処理装置およびファイル生成装置
KR101669897B1 (ko) 3d 객체 모듈을 이용한 가상 스튜디오 영상 생성 방법 및 장치
CN102714747A (zh) 立体视频图形覆盖
CN102484735A (zh) 用于视频图像的变速再现的方法和设备
TW201921918A (zh) 影像處理裝置及檔案生成裝置
KR101090764B1 (ko) 장면 기술자를 이용한 콘텐츠 재생 방법 및 장치, 이를 위한 부호화 방법
CN102257826A (zh) 显示参数设置的控制
JP2009529736A (ja) 映像フレームのシーケンスを提供するための装置および方法、シーンモデルを提供するための装置および方法、シーンモデル、メニュー構造を作成するための装置および方法およびコンピュータ・プログラム
JP7239029B2 (ja) 画像処理装置およびファイル生成装置
CN110430454B (zh) 一种多设备实时交互显示的方法和装置
WO2021140956A1 (ja) 情報処理装置および方法
JP2003317110A (ja) ３次元動画像データの提供方法とその表示方法、該提供装置と該表示端末、該方法の実行プログラム、および該方法の実行プログラムを記録した記録媒体
CN103336678A (zh) 一种资源展示方法、装置和终端
CN113676731A (zh) 压缩vr视频数据的方法
Raptis et al. MPEG-4 AUTHORING TOOL FOR THE COMPOSITION OF 3D AUDIOVISUAL SCENES
Lee et al. Authoring system for interactive multi-view visual contents

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee