KR101390812B1 - 스테레오스코픽 영상 비트스트림 생성 방법 및 장치 - Google Patents

스테레오스코픽 영상 비트스트림 생성 방법 및 장치 Download PDF

Info

Publication number
KR101390812B1
KR101390812B1 KR1020080112187A KR20080112187A KR101390812B1 KR 101390812 B1 KR101390812 B1 KR 101390812B1 KR 1020080112187 A KR1020080112187 A KR 1020080112187A KR 20080112187 A KR20080112187 A KR 20080112187A KR 101390812 B1 KR101390812 B1 KR 101390812B1
Authority
KR
South Korea
Prior art keywords
image
stereoscopic image
information
camera
format
Prior art date
Application number
KR1020080112187A
Other languages
English (en)
Other versions
KR20080108934A (ko
Inventor
김용태
김재승
황선덕
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20080108934A publication Critical patent/KR20080108934A/ko
Application granted granted Critical
Publication of KR101390812B1 publication Critical patent/KR101390812B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명의 스테레오스코픽 영상 비트스트림을 생성하는 방법은, 영상 비트스트림의 페이로드 영역에 기록된 영상 데이터 중 3차원으로 재생되는 스테레오스코픽 영상 데이터에 대한 3차원 재생 구간 정보를 영상 비트스트림의 헤더 영역에 기록하고, 스테레오스코픽 영상을 획득한 카메라에 대한 카메라 정보를 헤더 영역에 기록하며, 스테레오스코픽 영상의 기준 시점 영상 및 부가 시점 영상 사이의 시차 정보를 헤더 영역에 기록하고, 영상 데이터를 비트스트림의 페이로드 영역에 기록함으로써 송수신된 스테레오스코픽 영상이 정확히 복원되어 재생되며, 복원된 영상이 후처리 과정에서 용이하게 이용된다.
스테레오스코픽 영상 포맷, 스테레오스코픽 영상 전송, 입체 영상 포맷, 입체 영상 전송,

Description

스테레오스코픽 영상 비트스트림 생성 방법 및 장치{Method and apparatus for generating header information of stereoscopic image data}
본 발명은 스테레오스코픽 영상 데이터의 헤더 정보 생성 방법 및 장치에 관한 것으로, 상세하게는 부호화되어 전송된 스테레오스코픽 영상을 복호화하여 원 영상을 복원하고 재생하기 위해 필수적인 정보가 기록된 헤더 정보를 생성하는 방법 및 장치에 관한 것이다.
현재 스테레오스코픽 영상을 전송하기 위한 방법들이 많이 제안되었다. 예를 들면, 스테레오스코픽 영상의 효율적인 전송을 위해, MPEG-2 MVP(Multi-view Video Profile)을 시작으로 MPEG-4 MAC(Multiple Auxiliary Component)를 이용한 깊이 맵(depth map) 전송 방법, MPEG-4 AVC/H.264의 MVC(Multi-view Video Coding) 등의 표준들이 제정되었다. 현재 MAF(Multimedia Application Format)에서 스테레오스코픽 영상에 대한 데이터에 대한 표준 제정이 진행 중이다.
도 1 은 스테레오스코픽 영상의 전송을 위한 화소 단위의 스테레오스코픽 영상 포맷을 도시한다.
좌측 시점 영상 및 우측 시점 영상의 화소들을 격자 단위로 샘플링하여, 좌 측 영상 및 우측 영상이 겹치지 않도록 우측 영상을 한 화소만큼 이동시켜 샘플링하여 스테레오스코픽 영상을 위한 한 장의 영상 포맷이 구성된다. 스테레오스코픽 영상의 송수신 방법은 기존의 2차원 부호화기 및 복호화기를 이용한다. 두 장의 좌측 영상 및 우측 영상을 동일한 해상도의 한 장의 스테레오스코픽 영상 포맷으로 구성하기 때문에 손실된 화소들이 발생한다.
도 2는 화소 단위의 스테레오스코픽 영상 포맷의 손실된 화소 복원 장치를 도시한다.
디스플레이 장치가 원래 해상도의 영상을 재생하기 위해서는 도 1 의 스테레오스코픽 영상 포맷 생성 단계에서 손실된 화소들이 복원되어야 한다. 따라서 화소 단위로 샘플링된 영상을 방향별로 값을 추출하여, 각각의 방향성 화소값에 소정의 가중치를 곱하여 모두 더함으로써 원래의 좌우 영상을 복원한다.
도 3은 ISO 기반의 미디어 파일 포맷의 기준적인 구조를 도시한다.
종래의 ISO 기반의 미디어 파일 포맷은 미디어 데이터(Media data, mdat) 영역에 실제 미디어 데이터가 저장되며, 무비 데이터(Movie data, moov) 영역에 미디어 데이터의 특성에 대한 정보가 저장된다.
도 1 의 송신용 영상 포맷은 전송 효율을 위해, 좌측 영상 및 우측 영상 상이에 겹치는 정보가 많다는 점을 이용한다. 즉, 좌측 영상 및 우측 영상을 화소 단위로 조합하여 한 장의 혼합 영상을 생성하여 송신함으로써 전송 데이터량을 줄임으로써 전송 효율을 높인다.
하지만, 종래의 스테레오스코픽 영상 포맷은 무비 데이터 영역(moov)에, 좌 측 영상 및 우측 영상을 조합하여 전송용 혼합 영상을 구성하는 과정에서 사용된 스케일 함수, 좌측 영상 및 우측 영상을 획득한 카메라 정보를 전송하였는지 여부 등의 정보를 고려한 헤더 정보를 포함하지 않는다.
스테레오스코픽 영상을 혼합 영상으로 구성하는 임의의 방법이 정의되어 도 1 의 영상 포맷대로 구현되어 송신된다면, 수신단의 부호화단에서는 송신단에서의 혼합 영상 구성 방법에 대한 정보가 없기 때문에, 원래의 스테레오스코픽 영상을 얻기 위한 혼합 영상의 역변환이 정확히 이루어질 수 없다. 따라서, 기존의 스테레오스코픽 영상 포맷에 의할 때 손실이 없는 전송이 이루어지더라도, 수신단에서는 혼합 영상 구성 방법 및 스케일링 정보 등의 정보가 없어 올바른 스테레오스코픽 영상이 복원될 수 없다.
따라서 본 발명이 해결하고자 하는 과제는 송신 과정에서 혼합 영상으로 구성된 스테레오스코픽 영상을 수신 과정에서 복원하기 위해 필수적인 정보를 포함하는 스테레오스코픽 영상 데이터의 헤더 정보를 생성하는 방법 및 장치를 제안하는데 있다.
또한, 다양한 스테레오스코픽 영상의 필수적인 헤더 정보를 통해 효율적으로 스테레오스코픽 영상을 기록하고 전송하며, 수신단에서 원 영상을 복원하여 재생하게 하는 스테레오스코픽 영상 데이터의 생성 방법 및 장치를 제안하는데 있다.
따라서 상기 과제를 해결하기 위해, 본 발명의 바람직한 실시예를 따른 스테레오스코픽 영상 비트스트림을 생성하는 방법은, 영상 비트스트림의 페이로드 영역에 기록된 영상 데이터 중 3차원으로 재생되는 스테레오스코픽 영상 데이터에 대한 3차원 재생 구간 정보를 영상 비트스트림의 헤더 영역에 기록하는 단계, 스테레오스코픽 영상을 획득한 카메라에 대한 카메라 정보를 헤더 영역에 기록하는 단계, 스테레오스코픽 영상의 기준 시점 영상 및 부가 시점 영상 사이의 시차 정보를 헤더 영역에 기록하는 단계 및 영상 데이터를 비트스트림의 페이로드 영역에 기록하는 단계를 포함한다.
본 발명의 일 실시예는 기준 시점 영상 및 부가 시점 영상의 정보를 구비하는 혼합 영상으로 구성될 때 사용되는 스케일링 방법 정보를 헤더 영역에 기록하는 단계를 포함한다.
본 발명의 일 실시예는 기준 시점 영상 및 부가 시점 영상의 정보를 구비하는 혼합 영상을 구성하는 방법에 대한 정보를 헤더 영역에 기록하는 단계를 포함한다.
일 실시예의 3차원 재생 구간 정보는 3차원 재생 구간의 개수 정보를 포함한다.
바람직한 실시예의 3차원 재생 구간 정보는 페이로드 영역에 기록된 3차원 재생 구간의 시작 프레임의 인덱스를 나타내는 시작 인덱스 정보 및 페이로드 영역에 기록된 3차원 재생 구간의 마지막 프레임의 인덱스를 나타내는 종료 인덱스 정보를 포함한다.
바람직한 실시예의 3차원 재생 구간이 하나의 데이터 스트림으로 구성된 경우, 시작 인덱스 정보 및 종료 인덱스 정보는 하나의 데이터 스트림에 대한 인덱스를 나타내며, 3차원 재생 구간이 복수 개의 데이터 스트림으로 구성된 경우, 시작 인덱스 정보 및 종료 인덱스 정보는 복수 개의 데이터 스트림 중 주 데이터 스트림에 대한 인덱스를 나타낸다.
일 실시예의 카메라 정보는 카메라의 종류 및 스테레오스코픽 영상 데이터가 카메라 파라미터를 전송하는지 여부에 따라 카메라에 관한 카메라 파라미터 정보를 헤더 영역에 기록하는 단계를 포함한다.
일 실시예의 카메라 파라미터 정보는 카메라 파라미터 계수의 개수 정보 및 기준 시점 카메라 및 부가 시점 카메라 중 각각의 카메라의 회전, 평행 이동, 영상 중심, 초점 길이 및 종횡비에 관한 정보를 포함한다.
바람직한 실시예의 시차 정보는 스테레오스코픽 영상의 전체에 대한 하나의 전역 변이 벡터의 시차 정보 및 스테레오스코픽 영상의 소정의 객체에 대한 대표 변이 벡터의 시차 정보를 포함한다.
바람직한 실시예의 전역 변이 벡터의 시차 정보는 페이로드 영역에 기록된 프레임 중 전역 변이의 값의 변화가 있는 영역의 개수 정보, 전역 변이 값의 변화가 있는 프레임의 인덱스를 나타내는 전역 변이 시작 인덱스 정보 및 전역 변이의 벡터값 정보를 포함한다.
바람직한 실시예의 대표 변이 벡터는 변이 벡터들 중 최소값의 벡터값을 갖는 변이 벡터 및 최대값의 벡터값을 갖는 변이 벡터, 배경 및 전경의 변이 벡터, 각각의 객체의 변이 벡터들 및 변이 맵/깊이 맵의 표현 가능한 최대 값/최소 값들을 포함한다.
바람직한 실시예의 대표 변이 벡터의 시차 정보는 대표 변이 벡터의 개수 정보 및 대표 변이 벡터의 벡터값 정보를 포함한다.
일 실시예의 스케일링 방법 정보는 스케일링 방법으로 샘플링 방법, 선형 방법, 큐빅 컨벌루션(cubic convolution) 방법 및 가변 스케일링 함수에 의한 방법 중 적어도 하나의 방법을 이용하는 것에 관한 정보이다.
일 실시예의 가변 스케일링 함수는 외부의 요청에 의해 설정 가능한 가로 방향 계수 및 세로 방향 계수, 가로 방향 계수의 개수 및 세로 방향 계수의 개수에 의해 결정된다.
다른 실시예의 혼합 영상 구성 정보는 기준 시점 영상 및 부가 시점 영상의 배치 순서 정보, 기준 시점 영상 및 부가 시점 영상의 너비 비율 및 높이 비율에 관한 정보를 포함한다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 바람직한 실시예에 따르는 스테레오스코픽 영상 비트스트림을 생성하는 장치는 영상 비트스트림의 페이로드 영역에 기록된 영상 데이터 중 3차원으로 재생되는 스테레오스코픽 영상 데이터에 대한 3차원 재생 구간 정보를 상기 영상 비트스트림의 헤더 영역에 기록하는 3차원 재생 구간 정보 기록부, 스테레오스코픽 영상을 획득한 카메라에 대한 카메라 정보를 헤더 영역에 기록하는 카메라 정보 기록부, 스테레오스코픽 영상의 기준 시점 영상 및 부가 시점 영상 사이의 시차 정보를 헤더 영역에 기록하는 시차 정보 기록부 및 영상 데이터를 비트스트림의 페이로드 영역에 기록하는 영상 기록부를 포함한다.
본 발명에 따른 일 실시예는 기준 시점 영상 및 부가 시점 영상의 정보를 구비하는 혼합 영상으로 구성될 때 사용되는 스케일링 방법 정보를 헤더 영역에 기록하는 스케일링 정보 기록부를 포함한다.
본 발명에 따른 일 실시예는 기준 시점 영상 및 부가 시점 영상의 정보를 구비하는 혼합 영상을 구성하는 방법에 대한 정보를 헤더 영역에 기록하는 혼합 영상 구성 정보 기록부를 포함한다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 바람직한 실시예에 따른 스테레오스코픽 영상 비트스트림 구조는, 영상 데이터가 기록된 페이로드 영 역 및 상기 영상 데이터 중 3차원으로 재생되는 스테레오스코픽 영상이 기록된 3차원 재생 구간 정보와 스테레오스코픽 영상을 획득한 카메라에 대한 카메라 정보 및 스테레오스코픽 영상의 기준 시점 영상 및 부가 시점 영상 사이의 시차 정보를 구비하는 헤더 영역을 포함한다.
본 발명의 일 실시예는 기준 시점 영상 및 부가 시점 영상의 정보를 구비하는 혼합 영상으로 구성될 때 사용되는 스케일링 방법 정보를 포함하는 상기 헤더 정보를 상기 헤더 영역에 기록한다.
본 발명의 일 실시예는 기준 시점 영상 및 부가 시점 영상의 정보를 구비하는 혼합 영상을 구성하는 방법에 대한 정보를 포함하는 헤더 정보를 헤더 영역에 기록한다.
또한, 본 발명은, 일 실시예에 따른 스테레오스코픽 영상 비트스트림 생성 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 포함한다.
본 발명에 따른 스테레오스코픽 영상 데이터의 생성 방법 및 장치는, 다양한 스테레오스코픽 영상 포맷에 필수적인 헤더 정보를 통해 효율적으로 스테레오스코픽 영상을 전송하고 저장할 수 있으며 범용적으로 재생하게 하는 효과가 있다.
즉 본 발명의 스테레오스코픽 영상 데이터의 헤더 영역에 스테레오스코픽 영상의 시차 정보, 카메라 정보, 혼합 영상의 구성 정보, 3차원 영상의 재생 구간 정보 및 스케일링 정보가 기록되어 있으므로, 수신단에서 스테레오스코픽 영상을 복 원할 때 입체감을 느낄 수 있는 3차원 재생 영역을 구체화하고 스테레오스코픽 영상으로 변환할 때 필요한 데이터들이 구체적으로 정의되는 효과가 있다.
또한 카메라 파라미터와 부분적인 시차 정보를 스테레오스코픽 영상 데이터의 헤더 정보에 삽입하여, 복호화단 이후에 존재할 수 있는 후처리 과정에서 카메라 파라미터와 시차 정보가 용이하게 이용될 수 있도록 한다.
이하, 도 4a 내지 도 12b를 참조하여 본 발명의 일 실시예에 따른 스테레오스코픽 영상 비트스트림 생성 방법 및 장치를 상세히 설명한다.
도 4a 및 도 4b를 참조하여, 본 발명의 일 실시예에 따른 스테레오스코픽 영상 비트스트림 생성 장치를 설명한다.
도 4a는 본 발명의 일 실시예에 따른 스테레오스코픽 영상 비트스트림 생성 장치의 블록도를 도시한다.
스테레오스코픽 영상 비트스트림 생성 장치(400)는 3차원 재생 구간 정보 기록부(410), 카메라 정보 기록부(430), 시차 정보 기록부(450) 및 영상 기록부(470)을 포함한다.
3차원 재생 구간 정보 기록부(410)는 스테레오스코픽 영상 비트스트림의 페이로드 영역에 기록된 영상 데이터 중 3차원으로 재생되는 스테레오스코픽 영상 데이터에 대한 3차원 재생 구간 정보를 영상 비트스트림의 헤더 영역에 기록하여, 영상 기록부(470)로 출력한다.
카메라 정보 기록부(430)는 스테레오스코픽 영상을 획득한 카메라에 대한 카메라 정보를 헤더 영역에 기록하여 영상 기록부(470)로 출력한다.
시차 정보 기록부(450)는 스테레오스코픽 영상의 기준 시점 영상 및 부가 시점 영상 사이의 시차(parallax) 정보를 헤더 영역에 기록하여, 영상 기록부(470)로 출력한다.
3차원 재생 구간 정보 기록부(410), 카메라 정보 기록부(430) 및 시차 정보 기록부(450)에서 헤더 정보가 스테레오스코픽 영상 비트스트림의 헤더 영역에 모두 저장된 후, 영상 기록부(470)로 출력된다.
영상 기록부(470)는 영상 데이터를 영상 비트스트림의 페이로드 영역에 기록하여 스테레오스코픽 영상 비트스트림을 출력한다.
따라서 본 발명의 일 실시예에 따른 스테레오스코픽 영상 비트스트림 생성 장치(400)에 의해 생성된 스테레오스코픽 영상 비트스트림은 페이로드 영역에 영상 데이터를 저장하고, 헤더 영역에 3차원 재생 구간 정보, 카메라 정보, 시차 정보의 헤더 정보를 저장한다.
도 4b는 본 발명의 다른 실시예에 따른 스테레오스코픽 영상 비트스트림 생성 장치의 블록도를 도시한다.
본 실시예의 스테레오스코픽 영상 비트스트림 생성 장치(405)는 스테레오스코픽 영상 비트스트림 생성 장치(400)의 3차원 재생 구간 정보 기록부(410), 카메라 정보 기록부(430), 시차 정보 기록부(450) 및 영상 기록부(470)를 포함하며, 그 외에도 혼합 영상 구성 정보 기록부(420) 및 스케일링 정보 기록부(440)을 구비한다.
혼합 영상 구성 정보 기록부(420)는 기준 시점 영상 및 부가 시점 영상의 정보를 구비하는 혼합 영상을 구성하는 방법 정보를 헤더 영역에 기록하여 영상 기록부(470)로 출력한다.
스케일링 정보 기록부(440)는 기준 시점 영상 및 부가 시점 영상의 정보를 구비하는 혼합 영상으로 구성될 때 사용되는 스케일링 방법 정보를 헤더 영역에 기록하여 영상 기록부(470)로 출력한다.
따라서 본 발명의 다른 실시예에 따른 스테레오스코픽 영상 비트스트림 생성 장치(405)에 의해 생성된 비트스트림은, 페이로드 영역에 저장된 영상 데이터에 대한 3차원 재생 구간 정보, 영상 구성 정보, 카메라 정보, 스케일링 정보 및 시차 정보를 헤더 정보로써 헤더 영역에 저장한다.
도 5 내지 도 9b를 참조하여, 본 발명의 스트레오스코픽 영상 비트스트림 생성 장치에 의해 생성된 스테레오스코픽 영상 비트스트림의 헤더 정보에 대해 상세히 설명한다.
도 5는 본 발명의 일 실시예에 따른 스트레오스코픽 영상 비트스트림 생성 장치를 위한 3차원 재생 구간 정보의 신택스(syntax)의 일 실시예를 도시한다.
3D_Period는 3차원 재생 구간 정보를 나타낸다. 본 발명의 일 실시예는 3차원 재생 구간 정보를 32비트(u(32))로 나타낸다. 3차원 재생 구간 정보(3D_Period) 는 3차원 재생 구간의 개수 정보(number_of_3D_period), 시작 인덱스 정보(start_position) 및 종료 인덱스 정보(end_position)를 포함한다.
number_of_3D_period는 3차원 재생 구간의 개수 정보, 즉 사용자가 3차원으로 볼 수 있는 영상 데이터 구간의 수를 나타낸다.
start_position은 시작 인덱스 정보로, 영상 비트스트림의 페이로드 영역에서의 3차원 재생 구간의 시작 프레임이 위치하는 영상 비트스트림의 페이로드 영역에서의 위치 인덱스를 나타낸다. 본 발명의 일 실시예는 3차원 재생 구간 정보를 32비트(u(32))로 나타낸다.
end_position는 종료 인덱스 정보로, 3차원 재생 구간의 마지막 프레임이 위치하는 영상 비트스트림의 페이로드 영역에서의 위치 인덱스를 나타낸다. 본 발명의 일 실시예는 3차원 재생 구간 정보를 32비트(u(32))로 나타낸다.
3차원 재생 구간마다 시작 인덱스 정보(start_position) 및 종료 인덱스 정보(end_position)가 필요하므로, i가 정수일 때 0 ≤ i < number_of_3D_period 범위에서 시작 인덱스 정보(start_position[i]) 및 종료 인덱스 정보(end_position[i])가 결정되어야 한다.
일 실시예에서, 3차원 재생 구간이 하나의 데이터 스트림(elementary stream, ES)으로 구성된 경우, 시작 인덱스 정보(start_position) 및 종료 인덱스 정보(end_position)는 하나의 데이터 스트림에 대한 인덱스를 나타낸다.
또한 다른 실시예에서, 3차원 재생 구간의 복수 개의 데이터 스트림(ES)으로 구성된 경우, 시작 인덱스 정보(start_position) 및 종료 인덱스 정 보(end_position)는 복수 개의 데이터 스트림 중 주(base) 데이터 스트림에 대한 인덱스를 나타낸다.
도 6a는 본 발명의 일 실시예에 따른 스트레오스코픽 영상 비트스트림 생성 장치를 위한 혼합 영상 구성 정보의 신택스(syntax)의 일 실시예를 도시한다. 본 발명의 일 실시예는 복수 개의 시점 영상 중 기준 시점 영상(base image)및 부가 시점 영상(additional image)을 좌측 시점 및 우측 시점으로 선택한다.
혼합 영상 구성 정보(stereoFormat_params)는 스테레오스코픽 영상의 혼합 영상 포맷 종류(Stereo_format_type), 기준 시점 영상 및 부가 시점 영상의 배치 순서(LR_first), 너비 비율(LR_width_ratio), 높이 비율(LR_height_ratio), 스케일링 방법(scaling_method) 및 스케일링 함수(scaling_func)를 포함한다.
Stereo_format_type은 스테레오스코픽 영상의 혼합 영상 포맷 종류로, 복수 개의 시점의 2차원 영상을 이용하여 혼합 영상을 구성하는 방법에 따른 포맷 종류를 나타낸다. 스테레오스코픽 영상의 혼합 영상 포맷은 도 6b를 참조하여 상세히 설명한다. 일 실시예는 혼합 영상 포맷 종류(Stereo_format_type)를 8비트(u(8))로 나타낸다.
도 6b는 본 발명의 일 실시예에 따른 스트레오스코픽 영상 비트스트림 생성 장치를 위한 혼합 영상 구성 정보에 사용되는 혼합 영상 구성 포맷의 일 실시예를 도시한다.
Stereo_format_type이 0인 경우 수직 방향 라인 인터리브드 포맷(Vertical line interleaved format)을 나타낸다. 수직 방향 라인 인터리브드 포맷(Vertical line interleaved format)의 일 실시예는 기준 시점 영상 및 부가 시점 영상의 수직 방향의 라인을 교대로 혼합 영상의 라인에 배치하여 혼합 영상을 구성한다.
Stereo_format_type이 1인 경우 수평 방향 라인 인터리브드 포맷(Horizontal line interleaved format)을 나타낸다. 수평 방향 라인 인터리브드 포맷(Horizontal line interleaved format)의 일 실시예는 기준 시점 영상 및 부가 시점 영상의 수평 방향의 라인을 교대로 혼합 영상의 라인에 배치하여 혼합 영상을 구성한다.
Stereo_format_type이 2인 경우 탑 다운 포맷(top-down format)을 나타낸다. 탑 다운 포맷(top-down format)은 예를 들면, 혼합 영상의 상단과 하단 각각에 해상도가 세로 방향으로 반으로 축소된 기준 시점 영상 및 부가 시점 영상이 배치되어 한 장의 혼합 영상을 구성한다.
Stereo_format_type이 3인 경우 사이드 바이 사이드 포맷(Side by side format)을 나타낸다. 사이드 바이 사이드 포맷(Side by side format)은 예를 들면, 혼합 영상의 좌측 영역과 우측 영역 각각에 각각에 해상도가 가로 방향으로 반으로 축소된 기준 시점 영상 및 부가 시점 영상이 배치되어 한 장의 혼합 영상을 구성한다.
Stereo_format_type이 4인 경우 필드 시퀀셜 포맷(Field sequential format)을 나타낸다. 필드 시퀀셜 포맷(Field sequential format)은 예를 들면, 기준 시점 영상 필드 및 부가 시점 영상 필드가 번갈아 재생부에 표시함으로써 혼합 영상을 구성하는 방식에 따른 영상 포맷이다.
Stereo_format_type이 5인 경우 프레임 시퀀셜 포맷(Frame sequential format)을 나타낸다. 프레임 시퀀셜 포맷(Frame sequential format)은 예를 들면, 기준 시점 영상 프레임 및 부가 시점 영상 프레임이 번갈아 재생부에 표시함으로써 혼합 영상을 구성하는 방식에 따른 영상 포맷이다.
Stereo_format_type이 6인 경우 블록 인터리브드 포맷(Block interleaved format)을 나타낸다. 블록 인터리브드 포맷(Block interleaved format)은 예를 들면, 기준 시점 영상 및 부가 시점 영상이 블록 단위로 번갈아 혼합 영상의 블록에 배치됨으로써 혼합 영상을 구성한다.
Stereo_format_type이 7인 경우 변위 맵(Disparity map)을 나타낸다. 이 포맷에 의하면, 기준 시점 영상과 변위 맵(Disparity map)을 이용하여 혼합 영상을 구성하는 방식에 따른 영상 포맷이다.
Stereo_format_type이 8인 경우 깊이 맵(Depth map)을 나타낸다. 이 포맷에 의하면, 기준 시점 영상과 깊이 맵(Depth map)을 이용하여 혼합 영상이 생성된다.
Stereo_format_type이 9인 경우 변위 및 움직임 맵(Disparity + Motion map)을 나타낸다. 이 포맷에 의하면, 기준 시점 영상과 변위 및 움직임 맵(Disparity + Motion map)을 이용하여 혼합 영상이 생성된다.
Stereo_format_type이 10인 경우 단시점 영상(Monoscopic image) 형식을 나타낸다. 이 포맷에 의하면, 기준 시점 영상 또는 부가 시점 영상 중 하나의 단시점 영상이 사용된다.
Stereo_format_type이 11 내지 255인 경우 사용자 지정(User private) 포맷을 나타낸다. 따라서 혼합 영상을 구성하기 위해 사용자가 지정하는 영상 포맷이 이용된다.
LR_first는 기준 시점 영상 및 부가 시점 영상의 배치 순서 정보에 대한 파라미터로, 예를 들면 좌우 영상의 배치 방법에 대한 정보를 나타낸다. 도 6c를 참조하여 좌우 영상의 배치 방법 정보을 상세히 설명한다. 본 발명의 일 실시예는 LR_first를 한 비트(u(1))로 나타낸다.
도 6c는 본 발명의 일 실시예에 따른 스트레오스코픽 영상 비트스트림 생성 장치를 위한 혼합 영상 구성 정보에 사용되는 기준 시점 영상 및 부가 시점 영상의 배치 방법의 일 실시예을 도시한다.
LR_first가 0인 경우 좌측 영상이 기준 시점 영상이며, 좌측 영상의 영상 데이터가 수직 방향 라인 인터리브드 포맷에서의 홀수 번째 라인, 수평 방향 라인 인터리브드 포맷에서의 홀수 번째 라인, 탑 다운 포맷에서의 상단, 사이드 바이 사이드 포맷에서의 좌측 영역, 필드 시퀀셜 포맷에서의 홀수 번째 필드, 프레임 시퀀셜 포맷에서의 홀수 번째 프레임 및 블록 인터리비드 포맷에서의 홀수 번째 블록에 배치된다. 마찬가지로 우측 영상은 부가 시점 영상이 되어, 전술한 각 혼합 영상 포맷에서 좌측 영상의 배치 영역의 반대 영역에 배치된다.
LR_first가 1인 경우 우측 영상이 기준 시점 영상이며, 우측 영상 및 좌측 영상의 배치가 전술한 LR_first가 0인 경우와 정반대가 된다.
LR_width_ratio는 기준 시점 영상 및 부가 시점 영상의 너비 비율에 대한 파라미터로, 혼합 영상 포맷이 사이드 바이 사이드 포맷 또는 탑 다운 포맷인 경우 기준 시점 및 부가 시점 영상의 폭의 비율을 조절하는 파라미터이다. 본 발명의 일 실시예는 LR_width_ratio를 32비트(u(32))로 나타낸다. LR_width_ratio는 수학식 1과 같이 계산된다.
LR_width_ratio = widthbase / widthadditional
LR_height_ratio는 기준 시점 영상 및 부가 시점 영상의 높이 비율에 대한 파라미터로, 혼합 영상 포맷이 사이드 바이 사이드 포맷 또는 탑 다운 포맷인 경우 기준 시점 및 부가 시점 영상의 높이의 비율을 조절하는 파라미터이다. 본 발명의 일 실시예는 LR_height_ratio를 32비트(u(32))로 나타낸다. LR_height_ratio는 수학식 2과 같이 계산된다.
LR_height_ratio = heightbase / heightadditional
scaling_method는 스케일링 방법 파라미터로, 데이터 스트림이 하나인 경우 좌우 영상을 조합할 때 발생하는 스케일링 과정에서의 스케일링 방법을 나타낸다. 스케일링 방법을 전송해야 복호화단에서 좌우 영상을 정확히 복원할 수 있다. 이 파라미터에 의해 정의되는 스케일링 방법은 도 7a을 참조하여 설명한다. 일 실시예 의 스케일링 방법 파라미터(scaling_method)는 8비트(u(8))로 나타낸다.
도 7a는 본 발명의 일 실시예에 따른 스트레오스코픽 영상 비트스트림 생성 장치를 위한 스케일링 방법 정보(scaling_method)에 사용되는 스케일링 함수의 일 실시예를 도시한다.
스케일링 방법 파라미터 값(scaling_method)이 0인 경우, 스테레오스코픽 영상은 샘플링 방식(Sampling method)으로 스케일링 되었음을 나타낸다. 샘플링 방식(Sampling method)은 단시점 영상에서 소정 주기의 화소가 추출되어 스케일링되는 방식이다.
스케일링 방법 파라미터 값(scaling_method)이 1인 경우, 스테레오스코픽 영상은 선형 방식(Linear method)으로 스케일링 되었음을 나타낸다. 선형 방식(Linear method)은 단시점 영상에서 적어도 하나 이상의 화소값을 이용한 선형식을 통해 계산된 화소값으로 혼합 영상의 화소를 구성한다.
스케일링 방법 파라미터 값(scaling_method)이 2인 경우, 스테레오스코픽 영상은 큐빅 컨벌루션 방식(Cubic convolution)으로 스케일링 되었음을 나타낸다. 큐빅 컨벌루션 방식(Cubic convolution)은 현재 화소를 둘러싸고 있는 16개의 주위 화소에 대한 거리를 고려하여 연산된 평균값을 이용해 혼합 영상의 화소를 구성한다.
스케일링 방법 파라미터 값(scaling_method)이 3 내지 255인 경우, 스테레오스코픽 영상은 사용자가 설정한(User private) 스케일링 함수로 스케일링 되었음을 나타낸다.
도 7b는 본 발명의 일 실시예에 따른 스트레오스코픽 영상 비트스트림 생성 장치를 위한 스케일링 방법 정보(scaling_method)의 신택스(syntax)의 일 실시예를 도시한다.
scaling_func는 스케일링 방법 파라미터(scaling_method)가 3 이상인 경우 사용자에 의해 설정되는 스케일링 함수이다. 본 발명의 일 실시예는 스케일링 함수를 설정하기 위해 가로 방향, 세로 방향의 2차원 스케일링 함수 계수가 필요하다.
number_of_hor_coeff는 사용자가 설정한 스케일링 함수의 가로 방향 계수의 개수를 나타낸다. 일 실시예는 number_of_hor_coeff를 8비트로 나타낸다.
hor_scaling_coeff는 사용자가 설정한 스케일링 함수의 가로 방향 계수값을 나타낸다. 계수값은 number_of_hor_coeff의 수만큼 필요하므로, i가 정수일 때 0 ≤ i < number_of_hor_coeff 범위에서 hor_scaling_coeff[i]가 설정되어야 한다. 일 실시예는 hor_scaling_coeff[i]를 32비트로 나타낸다.
yhor[i]가 스케일된 영상의 가로 방향 화소값, xhor[i]가 원 영상의 가로 방향 화소값, hhor[i]는 사용자 설정의 스케일링 함수의 가로 방향 계수값을 나타낼 때, yhor[i], xhor[i] 및 hhor[i]의 관계식은 다음과 같다.
yhor[i] = xhor[i] * hhor[i]
여기서 *는 컨벌루션 연산 기호를 나타낸다.
number_of_ver_coeff는 사용자가 설정한 스케일링 함수의 세로 방향 계수의 개수를 나타낸다. 일 실시예는 number_of_ver_coeff를 8비트로 나타낸다.
ver_scaling_coeff는 사용자가 설정한 스케일링 함수의 세로 방향 계수값을 나타낸다. 계수값은 number_of_ver_coeff만큼 필요하므로, i가 정수일 때 0 ≤ i < number_of_ver_coeff 범위에서 ver_scaling_coeff[i]가 설정되어야 한다. 일 실시예는 ver_scaling_coeff[i]를 32비트로 나타낸다.
yver[i]가 스케일된 영상의 세로 방향 화소값, xver[i]가 원 영상의 세로 방향 화소값, hver[i]는 사용자 설정의 스케일링 함수의 세로 방향 계수값을 나타낼 때, yver[i], xver[i] 및 hver[i]의 관계식은 다음과 같다.
yver[i] = xver[i] * hver[i]
마찬가지로, 여기서 *는 컨벌루션 연산 기호를 나타낸다.
도 8a는 본 발명의 일 실시예에 따른 스트레오스코픽 영상 비트스트림 생성 장치를 위한 카메라 정보의 신택스(syntax)의 일 실시예를 도시한다.
camera_distance는 스테레오스코픽 카메라 사이의 간격을 나타낸다. 일 실시예의 camera_distance는 32비트로 표시된다.
view_type은 스테레오스코픽 영상이 크로스드 아이(crossed-eye) 시점 또는 패러럴 아이(parallel-eye) 시점 등의 시점 종류를 나타낸다. 일 실시예의 view_type은 8비트로 표시된다.
View_distance_vs_depth는 시거리(viewing distance) 대 유효깊이(use/validity depth) 비율을 나타낸다. 일 실시예에서, View_distance_vs_depth는 32비트로 표시된다.
camera_type은 스테레오스코픽 영상을 획득할 때 사용된 카메라 타입을 나타낸다. 일 실시예의 camera_type은 8비트로 표시된다.
is_camera_params은 카메라 파라미터 전송 여부 정보에 관한 파라미터로, 0이 아닌 경우 기준 시점 및 부가 시점 카메라의 파라미터(Camera_params)를 전송하게 된다. 일 실시예의 is_camera_params는 1비트로 표시된다.
is_parallel_info은 시차 정보(Parallax_info) 전송 여부를 나타낸다. 0이 아닌 경우 시차 정보를 전송하게 된다. 일 실시예의 is_parallax_info는 1비트로 표시된다.
도 8b는 본 발명의 일 실시예에 따른 스트레오스코픽 영상 비트스트림 생성 장치를 위한 카메라 정보에 사용되는 카메라 파라미터 정보의 신택스(syntax)의 일 실시예를 도시한다. 본 실시예는 기준 시점 및 부가 시점의 예시로써에 좌측 시점 및 우측 시점을 이용하였다.
카메라 파라미터 정보(Camera_params)는 카메라 파라미터 계수의 개수(number_of_camera_params), 좌측 및 우측 카메라의 파라미터(Left_camera_params, Right_camera_params)를 포함한다.
number_of_camera_params는 카메라 파라미터 계수의 개수로써, 일 실시예의 number_of_camera_params는 8비트로 표시된다.
Left_camera_params는 좌측 카메라의 파라미터를 나타낸다. Left_camera_params는 좌측 시점 카메라의 회전(rotation) 정보, 평행 이동(translation) 정보 및 영상 중심(image center), 초점 거리(focal length), 종횡비(aspect ratio) 등의 고유 성질에 관한 파라미터가 포함된다. 일 실시예의 Left_camera_params는 32비트로 표시된다.
Right_camera_params는 우측 시점 카메라의 파라미터를 나타낸다. Right_camera_params는 우측 시점 카메라의 회전 정보, 평행 이동 정보 및 영상 중심, 초점 거리, 종횡비 등의 고유 성질에 관한 파라미터가 포함된다. 일 실시예의 Right_camera_params는 32비트로 표시된다.
도 9는 본 발명의 일 실시예에 따른 스트레오스코픽 영상 비트스트림 생성 장치를 위한 시차 정보(Parallex_info)의 신택스(syntax)의 일 실시예를 도시한다.
시차 정보(Parallex_info)는 스테레오스코픽 영상 전체에 대해 발생한 변이를 의미하는 전역 변이 및 스테레오스코픽 영상의 소정의 객체에 대해 발생한 대표 변이 벡터에 대한 시차 정보를 포함한다. 대표 변이 벡터의 대상이 되는 벡터는 복수 개의 변이 벡터들 중 최소값의 벡터값을 갖는 변이 벡터 및 최대값의 벡터값을 갖는 변이 벡터가 있다. 또한 대표 변이의 대상이 되는 소정의 객체는 배경, 전경 및 개별적인 각각의 객체를 포함한다.
시차 정보(Parallex_info)는 전역 변이 벡터의 개수 정 보(num_of_global_disparity), 전역 변이 시작 인덱스 정보(global_disparity_index), 전역 변이 벡터값(global_disparity), 대표 변이 벡터의 개수 정보(num_of_representative_disparity) 및 전역 변이 벡터값(representative_disparity)를 포함한다.
num_of_global_disparity는 페이로드 영역에 기록된 프레임 중 전역 변이 정보가 바뀐 회수를 나타낸다. 일 실시예의 num_of_global_disparity는 32비트로 표시된다.
global_disparity_index는 전역 벡터가 발생한 프레임 중 전역 변이가 발생하기 시작한 프레임의 인덱스를 나타낸다. 일 실시예의 global_disparity_index는 32비트로 표시된다.
global_disparity는 전역 변이의 벡터값을 나타낸다. 일 실시예의 global_disparity는 16비트로 표시된다.
i는 정수이며, 0 ≤ i < num_of_global_disparity의 범위를 가질 때, global_disparity_index[i] 와 global_disparity_index[i+1]번째 프레임들 사이의 전역 변이는 global_disparity[i]의 값을 갖는다.
num_of_representative_disparity는 대표 변이의 개수 정보를 나타낸다. 일 실시예의 num_of_representative_disparity는 8비트로 표시된다.
representative_disparity는 대표 변이의 벡터값을 나타낸다. 일 실시예의 representative_disparity는 16비트로 표시된다.
i는 정수이며, 0 ≤ i < num_of_representative_disparity의 범위를 가질 때, representative_disparity[i]는 대표 변이 값을 갖는다. 이에 해당하는 정보는 변이 벡터의 최소값, 최대값, 대표 객체의 변이 벡터 정보, 변이/깊이 벡터 맵이 표현할 수 있는 최대 최소값들을 나타낸다.
도 10는 본 발명의 바람직한 실시예에 따른 스트레오스코픽 영상 비트스트림의 헤더 영역의 일 실시예를 도시한다.
본 발명의 일 실시예에 따른 스테레오스코픽 영상 비트스트림 생성 장치(400, 405)에 의해 생성된 스테레오스코픽 영상 비트스트림의 헤더 영역에는 3차원 재생 정보 영역(1010), 혼합 영상 구성 정보 영역(1030) 및 카메라 정보 영역(1050)를 포함한다.
3차원 재생 정보 영역(3D period, 1010)은 3차원 재생 구간의 개수 정보(number_of_3D_period,1011), 시작 인덱스(start_position, 1012) 및 종료 인덱스(end_position, 1013)을 포함한다.
혼합 영상 구성 정보 영역(Stereoscopic format,1030)은 스테레오스코픽 영상의 포맷 종류(Stereo_format_type,1031), 기준 시점 영상 및 부가 시점 영상의 배치 순서 정보(LR_first, 1032), 기준 시점 영상 및 부가 시점 영상의 너비 비율에 대한 파라미터(LR_width_ratio, 1033), 기준 시점 영상 및 부가 시점 영상의 높이 비율에 대한 파라미터(LR_height_ratio, 1034), 스케일링 방법(scaling_method,1035), 스케일링 함수의 가로 방향 계수의 개수(number_of_hor_coeff, 1036), 스케일링 함수의 가로 방향 계수 값(hor_scaling_coeff[i], 1037), 스케일링 함수의 세로 방향 계수의 개수(number_of_ver_coeff[i], 1038), 스케일링 함수의 세로 방향 계수값(ver_scaling_coeff[i], 1039)를 포함한다.
카메라 정보 영역(Stereoscopic camera, 1050)는 스테레오스코픽 카메라 사이의 간격(camera_distance, 1051), 스테레오스코픽 영상의 시점 종류(view_type, 1052), 시거리 대 유효깊이 비율(View_distance_vs_depth, 1053), 스테레오스코픽 영상 획득시 사용된 카메라 타입(camera_type, 1054), 카메라 파라미터 전송 정보(is_camera_params, 1055), 카메라 파라미터 계수의 개수(number_of_camera_params, 1056), 좌측 카메라의 파라미터(Left_camera_params, 1057) 및 우측 카메라의 파라미터(Right_camera_params, 1058)를 포함한다.
또한, 카메라 정보 영역(Stereoscopic camera, 1050)는 시차 정보 전송 정보(is_parallel_info, 1059) , 전역 변이 벡터의 개수 정보(num_of_global_disparity, 1060), 전역 변이 시작 인덱스 정보(global_disparity_index[i], 1061), 전역 변이 벡터값(global_disparity[i], 1062), 대표 변이 벡터의 개수 정보(num_of_representative_disparity, 1063) 및 대표 변이 벡터값(representative_disparity[i], 1064)를 포함한다.
도 11a는 본 발명의 바람직한 실시예에 따른 스테레오스코픽 영상 비트스트림 생성 방법의 흐름도를 도시한다.
단계 1110에서, 영상 비트스트림의 페이로드 영역에 기록될 영상 데이터 중 3차원으로 재생되는 스테레오스코픽 영상 데이터에 대한 3차원 재생 구간 정보가 영상 비트스트림의 헤더 영역에 기록된다.
단계 1130에서, 스테레오스코픽 영상을 획득한 카메라에 대한 카메라 정보가 헤더 영역에 기록된다.
단계 1150에서, 스테레오스코픽 영상의 기준 시점 영상 및 부가 시점 영상 사이의 시차 정보가 헤더 영역에 기록된다.
단계 1170에서, 영상 데이터가 영상 비트스트림의 페이로드 영역에 기록된다.
도 11b는 본 발명의 일 실시예에 따른 스테레오스코픽 영상 비트스트림 생성 방법의 흐름도를 도시한다.
단계 1110에서, 영상 비트스트림의 페이로드 영역에 기록될 영상 데이터 중 3차원으로 재생되는 스테레오스코픽 영상 데이터에 대한 3차원 재생 구간 정보가 영상 비트스트림의 헤더 영역에 기록된다.
단계 1120에서, 기준 시점 영상 및 부가 시점 영상의 정보를 구비하는 혼합 영상으로 구성될 때 사용되는 스케일링 방법 정보가 헤더 영역에 기록된다.
단계 1130에서, 스테레오스코픽 영상을 획득한 카메라에 대한 카메라 정보가 헤더 영역에 기록된다.
단계 1140에서, 기준 시점 영상 및 부가 시점 영상을 이용하여 혼합 영상을 구성하는 방법에 대한 혼합 영상 구성 정보가 헤더 영역에 기록된다.
단계 1150에서, 스테레오스코픽 영상의 기준 시점 영상 및 부가 시점 영상 사이의 시차 정보가 헤더 영역에 기록된다.
단계 1170에서, 영상 데이터가 영상 비트스트림의 페이로드 영역에 기록된다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1은 종래의 화소 단위의 스테레오스코픽 영상 구성 방법을 도시한다.
도 2는 종래의 화소 단위의 스케레오시코픽 영상의 손실된 화소를 복원하는 시스템의 블록도를 도시한다.
도 3은 ISO 기반의 미디어 파일 포맷의 기준적인 구조를 도시한다.
도 4a는 본 발명의 일 실시예에 따른 스테레오스코픽 영상 비트스트림 생성 장치의 블록도를 도시한다.
도 4b는 본 발명의 다른 실시예에 따른 스테레오스코픽 영상 비트스트림 생성 장치의 블록도를 도시한다.
도 5는 본 발명의 일 실시예에 따른 스트레오스코픽 영상 비트스트림 생성 장치를 위한 3차원 재생 구간 정보의 신택스(syntax)의 일 실시예를 도시한다..
도 6a는 본 발명의 일 실시예에 따른 스트레오스코픽 영상 비트스트림 생성 장치를 위한 혼합 영상 구성 정보의 신택스(syntax)의 일 실시예를 도시한다.
도 6b는 본 발명의 일 실시예에 따른 스트레오스코픽 영상 비트스트림 생성 장치를 위한 혼합 영상 구성 정보에 사용되는 스테레오 영상 구성 포맷의 일 실시예를 도시한다.
도 6c는 본 발명의 일 실시예에 따른 스트레오스코픽 영상 비트스트림 생성 장치를 위한 혼합 영상 구성 정보에 사용되는 기준 시점 영상 및 부가 시점 영상의 배치 방법의 일 실시예를 도시한다.
도 7a는 본 발명의 일 실시예에 따른 스트레오스코픽 영상 비트스트림 생성 장치를 위한 스케일링 방법 정보에 사용되는 스케일링 함수의 일 실시예를 도시한다.
도 7b는 본 발명의 일 실시예에 따른 스트레오스코픽 영상 비트스트림 생성 장치를 위한 스케일링 방법 정보의 신택스(syntax)의 일 실시예를 도시한다.
도 8a는 본 발명의 일 실시예에 따른 스트레오스코픽 영상 비트스트림 생성 장치를 위한 카메라 정보의 신택스(syntax)의 일 실시예를 도시한다.
도 8b는 본 발명의 일 실시예에 따른 스트레오스코픽 영상 비트스트림 생성 장치를 위한 카메라 정보에 사용되는 카메라 파라미터 정보의 신택스(syntax)의 일 실시예를 도시한다.
도 9는 본 발명의 일 실시예에 따른 스트레오스코픽 영상 비트스트림 생성 장치를 위한 시차 정보의 신택스(syntax)의 일 실시예를 도시한다.
도 10는 본 발명의 바람직한 실시예에 따른 스트레오스코픽 영상 비트스트림의 헤더 영역의 일 실시예를 도시한다.
도 11a는 본 발명의 바람직한 실시예에 따른 스테레오스코픽 영상 비트스트림 생성 방법의 흐름도를 도시한다.
도 11b는 본 발명의 일 실시예에 따른 스테레오스코픽 영상 비트스트림 생성 방법의 흐름도를 도시한다.

Claims (8)

  1. 스테레오스코픽 영상 데이터가 삽입된 페이로드 영역을 포함하는 영상 비트스트림으로부터 스테레오스코픽 영상을 복원하는 방법에 있어서,
    상기 영상 비트스트림의 파싱을 통해 상기 스테레오스코픽 영상에 관한 속성 정보를 상기 영상 비트스트림의 헤더 영역으로부터 읽어오는 단계;
    상기 스테레오스코픽 영상에 관한 속성 정보로부터, 상기 스테레오스코픽 영상 데이터 중 재생 방식이 구별되는 영상 데이터 구간을 나타내는 재생 구간 정보를 추출하는 단계;
    상기 스테레오스코픽 영상에 관한 속성 정보로부터, 상기 스테레오스코픽 영상을 획득한 카메라에 대한 카메라 파라미터가 삽입되었는지 여부를 나타내는 카메라 파라미터 삽입 정보를 추출하는 단계; 및
    상기 영상 비트스트림으로부터 추출된 상기 스테레오스코픽 영상 데이터를 이용하여 스테레오스코픽 영상을 복원하는 단계를 포함하고,
    상기 스테레오스코픽 영상에 관한 속성 정보는 상기 복원된 스테레오스코픽 영상을 2차원 또는 3차원 재생 모드로 재생하기 위하여 이용되고,
    상기 재생 구간 정보는 상기 스테레오스코픽 영상이 2차원 또는 3차원으로 재생 방식이 변환되는 구간의 횟수를 나타내는 재생 방식 변환 횟수 정보 및 상기 스테레오스코픽 영상이 2차원 또는 3차원으로 재생되는 구간의 개수를 나타내는 재생 구간 개수 정보를 포함하는 것을 특징으로 하는 스테레오스코픽 영상 복원 방법.
  2. 제 1 항에 있어서, 상기 스테레오스코픽 영상 복원 방법은,
    상기 복원된 스테레오스코픽 영상을 2차원 또는 3차원 재생 모드로 재생하는 단계를 더 포함하는 것을 특징으로 하는 스테레오스코픽 영상 복원 방법.
  3. 제 2 항에 있어서, 상기 스테레오스코픽 영상 재생 단계는,
    상기 스테레오스코픽 영상에 관한 속성 정보를 이용하여 상기 복원된 스테레오스코픽 영상을 2차원 또는 3차원 재생 모드로 재생하는 것을 특징으로 하는 스테레오스코픽 영상 복원 방법.
  4. 제 1 항에 있어서, 상기 스테레오스코픽 영상 복원 방법은,
    상기 카메라 파라미터 삽입 정보에 기초하여 상기 스테레오스코픽 영상에 관한 속성 정보로부터 상기 카메라 파라미터를 추출하는 단계를 더 포함하는 것을 특징으로 하는 스테레오스코픽 영상 복원 방법.
  5. 제 1 항에 있어서, 상기 스테레오스코픽 영상 복원 방법은,
    상기 카메라 파라미터 삽입 정보에 기초하여, 상기 스테레오스코픽 영상에 관한 속성 정보로부터, 기준 시점 카메라 및 부가 시점 카메라 중 각각의 영상 중심 정보 및 상기 카메라의 평행 이동 정보, 초점 길이 정보 및 종횡비 정보 중 적어도 하나를 추출하는 단계를 더 포함하는 것을 특징으로 하는 스테레오스코픽 영상 복원 방법.
  6. 제 1 항에 있어서, 상기 스테레오스코픽 영상 복원 방법은,
    상기 스테레오스코픽 영상에 관한 속성 정보로부터, 상기 스테레오스코픽 영상의 기준 시점 영상 데이터 및 부가 시점 영상 데이터를 구비하는 혼합 영상을 구성하는 방법에 대한 혼합 영상 구성 정보를 추출하는 단계를 더 포함하는 것을 특 징으로 하는 스테레오스코픽 영상 복원 방법.
  7. 제 6 항에 있어서,
    상기 혼합 영상 구성 정보는, 수직 방향 라인 인터리브드 포맷(vertical line interleaved format), 사이드 바이 사이드 포맷(side-by-side format), 프레임 시퀀셜 포맷(frame sequential format), 및 독립적인 단일 시점 영상들로 구성된 스테레오 포맷(monoscopic image format) 중 적어도 하나를 포함하는 것을 특징으로 하는 스테레오스코픽 영상 복원 방법.
  8. 제 1 항에 있어서, 상기 스테레오스코픽 영상 복원 방법은,
    상기 영상 비트스트림이 ISO(Interational Standardization Organization) 기반의 미디어 파일 포맷일 때, 상기 영상 비트스트림 내의 적어도 하나의 박스로부터 상기 스테레오스코픽 영상에 관한 속성 정보를 추출하고, 상기 영상 비트스트림 내의 적어도 하나의 박스로부터 상기 스테레오스코픽 영상 데이터를 추출하는 것을 특징으로 하는 스테레오스코픽 영상 복원 방법.
KR1020080112187A 2007-06-11 2008-11-12 스테레오스코픽 영상 비트스트림 생성 방법 및 장치 KR101390812B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US94310007P 2007-06-11 2007-06-11
US60/943,100 2007-06-11

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020070077460A Division KR101450145B1 (ko) 2007-06-11 2007-08-01 스테레오스코픽 영상 비트스트림 생성 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20080108934A KR20080108934A (ko) 2008-12-16
KR101390812B1 true KR101390812B1 (ko) 2014-05-07

Family

ID=40368414

Family Applications (13)

Application Number Title Priority Date Filing Date
KR1020070077460A KR101450145B1 (ko) 2007-06-11 2007-08-01 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
KR1020080112193A KR101396351B1 (ko) 2007-06-11 2008-11-12 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
KR1020080112194A KR101396337B1 (ko) 2007-06-11 2008-11-12 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
KR1020080112189A KR101396325B1 (ko) 2007-06-11 2008-11-12 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
KR1020080112190A KR101396339B1 (ko) 2007-06-11 2008-11-12 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
KR1020080112187A KR101390812B1 (ko) 2007-06-11 2008-11-12 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
KR1020080112192A KR101396354B1 (ko) 2007-06-11 2008-11-12 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
KR1020080112197A KR101396352B1 (ko) 2007-06-11 2008-11-12 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
KR1020080112188A KR101390813B1 (ko) 2007-06-11 2008-11-12 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
KR1020080112195A KR101427663B1 (ko) 2007-06-11 2008-11-12 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
KR1020080112191A KR101396359B1 (ko) 2007-06-11 2008-11-12 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
KR1020080112196A KR101396360B1 (ko) 2007-06-11 2008-11-12 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
KR1020100055473A KR101180870B1 (ko) 2007-06-11 2010-06-11 스테레오스코픽 영상 비트스트림 생성 방법 및 장치

Family Applications Before (5)

Application Number Title Priority Date Filing Date
KR1020070077460A KR101450145B1 (ko) 2007-06-11 2007-08-01 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
KR1020080112193A KR101396351B1 (ko) 2007-06-11 2008-11-12 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
KR1020080112194A KR101396337B1 (ko) 2007-06-11 2008-11-12 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
KR1020080112189A KR101396325B1 (ko) 2007-06-11 2008-11-12 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
KR1020080112190A KR101396339B1 (ko) 2007-06-11 2008-11-12 스테레오스코픽 영상 비트스트림 생성 방법 및 장치

Family Applications After (7)

Application Number Title Priority Date Filing Date
KR1020080112192A KR101396354B1 (ko) 2007-06-11 2008-11-12 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
KR1020080112197A KR101396352B1 (ko) 2007-06-11 2008-11-12 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
KR1020080112188A KR101390813B1 (ko) 2007-06-11 2008-11-12 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
KR1020080112195A KR101427663B1 (ko) 2007-06-11 2008-11-12 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
KR1020080112191A KR101396359B1 (ko) 2007-06-11 2008-11-12 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
KR1020080112196A KR101396360B1 (ko) 2007-06-11 2008-11-12 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
KR1020100055473A KR101180870B1 (ko) 2007-06-11 2010-06-11 스테레오스코픽 영상 비트스트림 생성 방법 및 장치

Country Status (2)

Country Link
KR (13) KR101450145B1 (ko)
CN (1) CN101632313A (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101671021B1 (ko) * 2009-04-30 2016-11-10 삼성전자주식회사 스테레오스코픽 영상 데이터 전송 장치 및 방법
KR20110011000A (ko) 2009-07-27 2011-02-08 삼성전자주식회사 3차원 영상 재생을 위한 부가 정보가 삽입된 3차원 영상 데이터스트림 생성 방법 및 그 장치, 3차원 영상 재생을 위한 부가 정보가 삽입된 3차원 영상 데이터스트림 수신 방법 및 그 장치
WO2011098936A2 (en) * 2010-02-09 2011-08-18 Koninklijke Philips Electronics N.V. 3d video format detection
IT1399417B1 (it) * 2010-04-12 2013-04-16 Sisvel Technology Srl Metodo per la generazione e ricostruzione di un flusso video stereoscopico compatibile e relativi dispositivi di codifica e decodifica.
CA2797619C (en) * 2010-04-30 2015-11-24 Lg Electronics Inc. An apparatus of processing an image and a method of processing thereof
CN102281451B (zh) * 2010-06-13 2013-10-16 深圳Tcl新技术有限公司 一种立体显示装置及显示方法
US20130182074A1 (en) * 2010-10-13 2013-07-18 University-Industry Cooperation Group Of Kyung Hee University Method and apparatus for transmitting stereoscopic video information
CN102164295B (zh) * 2011-02-24 2013-10-30 华映视讯（吴江）有限公司 将格式数据编码入影像数据的方法
CN102801991A (zh) * 2011-05-27 2012-11-28 翔德电子科技(深圳)有限公司 获取3d影像的方法
CN104185994A (zh) * 2012-12-28 2014-12-03 华为技术有限公司 对视频内容的摄像机参数的编码和解码方法与装置
KR101430985B1 (ko) * 2013-02-20 2014-09-18 주식회사 카몬 2d-3d 복합 차원 콘텐츠 파일을 사용하는 복합 차원 콘텐츠 서비스 제공 시스템, 그 서비스 제공 방법
CN105469433B (zh) * 2014-09-03 2020-04-24 腾讯科技（深圳）有限公司 一种图片压缩方法及其设备
CN107071301B (zh) * 2017-04-17 2019-11-22 宁波视睿迪光电有限公司 一种多目成像序列的存储方法及读取方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100716142B1 (ko) * 2006-09-04 2007-05-11 주식회사 이시티 스테레오스코픽 영상 데이터의 전송 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003046832A1 (de) * 2001-11-24 2003-06-05 Tdv Technologies Corp. Erzeugung einer stereo-bildfolge aus einer 2d-bildfolge
KR100813961B1 (ko) * 2005-06-14 2008-03-14 삼성전자주식회사 영상 수신장치
KR101244911B1 (ko) * 2005-10-11 2013-03-18 삼성전자주식회사 카메라 파라미터를 이용한 다시점 동영상 부호화 및 복호화장치 및 방법과 이를 수행하기 위한 프로그램이 기록된기록매체
KR100704938B1 (ko) 2006-08-25 2007-04-09 주식회사 이시티 스테레오스코픽 영상의 부호화/복호화 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100716142B1 (ko) * 2006-09-04 2007-05-11 주식회사 이시티 스테레오스코픽 영상 데이터의 전송 방법

Also Published As

Publication number Publication date
KR101396339B1 (ko) 2014-05-20
KR101396337B1 (ko) 2014-05-20
KR101396354B1 (ko) 2014-05-19
KR20100068360A (ko) 2010-06-23
KR20080108940A (ko) 2008-12-16
KR101450145B1 (ko) 2014-10-13
KR101180870B1 (ko) 2012-09-07
KR101396351B1 (ko) 2014-05-21
KR20080108942A (ko) 2008-12-16
KR101396325B1 (ko) 2014-05-20
KR101427663B1 (ko) 2014-08-08
KR20080108943A (ko) 2008-12-16
KR20080108944A (ko) 2008-12-16
KR20080108934A (ko) 2008-12-16
KR20080108936A (ko) 2008-12-16
KR101396352B1 (ko) 2014-05-21
KR20080108939A (ko) 2008-12-16
KR20080108941A (ko) 2008-12-16
KR101390813B1 (ko) 2014-05-02
KR20080108883A (ko) 2008-12-16
CN101632313A (zh) 2010-01-20
KR101396359B1 (ko) 2014-05-19
KR20080108935A (ko) 2008-12-16
KR20080108937A (ko) 2008-12-16
KR101396360B1 (ko) 2014-05-19
KR20080108938A (ko) 2008-12-16

Similar Documents

Publication Publication Date Title
KR101390812B1 (ko) 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
KR101506217B1 (ko) 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치
US9172942B2 (en) Method and apparatus for generating header information of stereoscopic image data
KR101450670B1 (ko) 블록 기반의 양안식 영상 포맷 생성 방법과 장치 및 양안식영상 복원 방법과 장치
TW201351961A (zh) 基於閉塞映像之使用而產生及重建一三維視訊串流之方法以及相應之產生及重建裝置
KR20090100189A (ko) 스케일링 정보를 포함하는 스테레오스코픽 영상데이터스트림 부호화 방법 및 장치, 그리고 그 복호화 방법및 그 장치
US20120050465A1 (en) Image processing apparatus and method using 3D image format
KR20080114450A (ko) 블록 인터리브드 방식의 양안 영상 정보를 포함하는 양안식영상 비트스트림 생성 방법 및 장치
KR20090007190A (ko) 양안식 영상 정보를 모두 포함하는 양안식 영상 포맷부호화 방법 및 장치, 그리고 양안식 영상 포맷 복호화방법 및 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170330

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190328

Year of fee payment: 6