KR101313223B1 - 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체 - Google Patents

카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체 Download PDF

Info

Publication number
KR101313223B1
KR101313223B1 KR1020120117499A KR20120117499A KR101313223B1 KR 101313223 B1 KR101313223 B1 KR 101313223B1 KR 1020120117499 A KR1020120117499 A KR 1020120117499A KR 20120117499 A KR20120117499 A KR 20120117499A KR 101313223 B1 KR101313223 B1 KR 101313223B1
Authority
KR
South Korea
Prior art keywords
image
camera parameter
camera
images
encoding
Prior art date
Application number
KR1020120117499A
Other languages
English (en)
Other versions
KR20120131137A (ko
Inventor
이영렬
Original Assignee
세종대학교산학협력단
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단, 삼성전자주식회사 filed Critical 세종대학교산학협력단
Priority to KR1020120117499A priority Critical patent/KR101313223B1/ko
Publication of KR20120131137A publication Critical patent/KR20120131137A/ko
Application granted granted Critical
Publication of KR101313223B1 publication Critical patent/KR101313223B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 카메라 파라미터를 이용한 다시점 영상의 부호화 및 생성 방법에 관한 것으로서, 본 발명에 따른 카메라 파라미터를 이용한 다시점 영상의 부호화 방법은 다시점 카메라로부터 입력된 복수개의 영상 데이터에 대해, 소정 크기의 영상 단위로 카메라 파라미터의 존재 여부를 탐색하고, 카메라 파라미터의 존재 여부에 기초하여, 복수개 영상 데이터 각각에 대한 부호화를 적응적으로 수행하도록 하여, 화질 저하 없이 압축 효율을 높일 수 있도록 한다.

Description

카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체 {Apparatus for encoding or generation of multi-view video by using a camera parameter, and a method thereof, and a recording medium having a program to implement thereof}
본 발명은 동영상 부호화 및 복호화에 관한 것으로, 보다 상세하게는 카메라 파라미터를 이용한 다시점 영상의 부호화 및 생성 방법과 그 장치에 관한 것이다.
MPEG-4 및 H.264에서의 동영상 부호화는 하나의 카메라에서 잡은 동영상의 부호화에 관한 것으로, 부호화 효율을 높이는데 주로 초점이 맞추어져 있다. 그러나 실감통신이나 가상현실 등의 분야에서는 여러대의 카메라를 사용하여 하나의 장면을 잡음으로써 다시점(multi-view)을 가진 3차원 동영상을 구성하고, 이렇게 구성된 다시점 영상의 효율적인 압축 부호화와 재생을 위한 방법이 필요하다.
하지만, 종래 압축 부호화 및 재생 방법은 단일 카메라에서 생성된 영상의 압축 부호화 및 재생에 관한 것으로서, 본원 발명에서 적용하고자 하는 다시점 영상에 대해서는 효율적으로 적용하기 힘든 문제점이 있었다.
따라서, 본 발명이 이루고자 하는 기술적 과제는 다시점 영상에 적용될 수 있는 카메라 파라미터를 이용한 다시점 영상의 효율적인 부호화 방법 및 생성 방법과 그 장치를 제공하는 것이다.
또한, 본 발명이 이루고자 하는 과제는 다시점 영상에 적용될 수 있는 카메라 파라미터를 이용한 다시점 영상의 효율적인 부호화 방법 및 생성 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체를 제공하는 것이다.
상기 기술적 과제는, 본 발명에 따른 다시점 영상의 부호화 방법에 있어서, 적어도 하나 이상의 다시점 카메라로부터 복수개의 영상 데이터를 입력 받는 단계와; 입력된 복수개의 영상 데이터에 대해, 소정의 크기의 영상 단위로 카메라 파라미터의 존재 여부를 탐색하는 단계와; 카메라 파라미터의 존재 여부에 기초하여, 영상 단위의 복수개 영상 데이터 각각의 부호화를 적응적으로 수행하는 단계를 포함하는 부호화 방법에 의해 달성된다.
본 발명에 따른 부호화 방법은 카메라 파라미터의 존재 여부를 나타내는 정보를 부호화된 영상 데이터에 삽입하는 단계를 더 포함하는 것이 바람직하다.
본 발명에 따른 부호화 방법은 카메라 파라미터가 존재하는 경우, 카메라 파라미터의 신뢰도를 확인하는 단계를 더 포함하는 것이 바람직하다.
본 발명에 따른 부호화 방법에서, 카메라 파라미터는 카메라의 고유(intrinsic) 특성을 나타내는 고유 파라미터 또는 비본질적인(extrinsic) 특성을 나타내는 비고유 파라미터 중 적어도 하나를 포함하며, 고유 파라미터는 카메라 초점 거리(focal length), 주점(principal point), 픽셀의 폭 및 높이, 비뚤어진 각도(skew angle), 카메라 센서 상의 수평 수직 픽셀 수, 방사상 왜곡 계수(radial distortion coefficient), 접선 방향의 왜곡 계수(tangential distortion coefficient) 중 적어도 하나의 값을 포함하며, 비고유 파라미터는 카메라의 위치 정보를 포함하는 것이 바람직하다.
본 발명에 따른 부호화 방법에 있어서, 카메라 파라미터의 신뢰도 판단은 해당 카메라에 대해 주밍(zooming), 패닝(panning)이 발생되는 지 여부에 따라 결정하는 것이 바람직하다.
본 발명에 따른 부호화 방법에 있어서, 복수개의 영상의 적응적 부호화시, 상기 카메라 파라미터가 존재하는 영상만을 참조 영상으로 사용하는 것이 바람직하다.
본 발명에 따른 부호화 방법에 있어서, 복수개의 영상의 적응적 부호화시, 카메라 파라미터가 존재하고, 카메라 파라미터가 신뢰도가 있는 것으로 확인된 영상만을 참조 영상으로 사용하는 것이 바람직하다.
본 발명에 따른 부호화 방법에 있어서, 소정의 영상 단위는 슬라이스 단위이며, 카메라 파라미터의 존재 및 신뢰도를 나타내는 카메라 파라미터 정보는 슬라이스 헤더 마다 2 비트의 플래그로 표시하는 것이 바람직하다.
상기 기술적 과제는, 적어도 하나 이상의 다시점 카메라로부터 복수개의 영상 데이터를 입력 받는 단계와; 입력된 복수개의 영상 데이터에 대해, 소정의 크기의 영상 단위로 카메라 파라미터의 존재 여부를 탐색하는 단계와; 카메라 파라미터의 존재 여부에 기초하여, 영상 단위의 복수개 영상 데이터 각각의 부호화를 적응적으로 수행하는 단계를 포함하는 다시점 영상의 부호화 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 의해서도 달성된다.
상기 기술적 과제는, 본 발명에 따른 다시점 영상의 부호화 장치에 있어서, 적어도 하나 이상의 다시점 카메라로부터 복수개의 영상 데이터를 입력 받는 입력부와; 상기 입력된 복수개의 영상 데이터에 대해, 소정의 크기의 영상 단위로 카메라 파라미터의 존재 여부를 탐색하는 카메라 파라미터 탐색부와; 상기 카메라 파라미터의 존재 여부에 기초하여, 상기 영상 단위의 복수개 영상 데이터 각각의 부호화를 적응적으로 수행하는 부호화부를 포함하는 부호화 장치에 의해서도 달성된다.
상기 기술적 과제는, 본 발명에 따른 다시점 영상의 부호화 방법에 있어서, 현재 영상 및 적어도 하나 이상의 인접 영상의 카메라 파라미터를 탐색하는 단계와; 상기 현재 영상 및 적어도 하나 이상의 인접 영상의 카메라 파라미터의 존재 여부에 기초하여, 상기 현재 영상의 부호화를 적응적으로 수행하는 단계를 포함하는 부호화 방법에 의해서도 달성된다.
상기 기술적 과제는, 현재 영상 및 적어도 하나 이상의 인접 영상의 카메라 파라미터를 탐색하는 단계와; 상기 현재 영상 및 적어도 하나 이상의 인접 영상의 카메라 파라미터의 존재 여부에 기초하여, 상기 현재 영상의 부호화를 적응적으로 수행하는 단계를 포함하는 다시점 영상의 부호화 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 의해서도 달성된다.
상기 기술적 과제는, 다시점 영상의 부호화 장치에 있어서, 현재 영상 및 적어도 하나 이상의 인접 영상의 카메라 파라미터를 탐색하는 탐색부와; 상기 현재 영상 및 적어도 하나 이상의 인접 영상의 카메라 파라미터의 존재 여부에 기초하여, 상기 현재 영상의 부호화를 적응적으로 수행하는 부호화부를 포함하는 부호화 장치에 의해서도 달성된다.
상기 기술적 과제는 카메라 파라미터 정보를 이용한 다시점 영상의 생성 방법에 있어서, 입력 비트 스트림으로부터, 소정의 크기의 영상 단위로, 각각의 영상에 대한 카메라 파라미터 정보를 추출하는 단계와; 상기 추출된 카메라 파라미터 정보에 기초하여, 소정 영상을 생성하는 단계를 포함하는 다시점 영상 생성 방법에 의해서도 달성된다.
상기 기술적 과제는 입력 비트 스트림으로부터, 소정의 크기의 영상 단위로, 각각의 영상에 대한 카메라 파라미터 정보를 추출하는 단계와; 상기 추출된 카메라 파라미터 정보에 기초하여, 소정 영상을 생성하는 단계를 포함하는 카메라 파라미터 정보를 이용한 다시점 영상 생성 방법을 수행하기 위한 프로그램이 기록된 기록 매체에 의해서도 달성된다.
상기 기술적 과제는, 카메라 파라미터 정보를 이용한 다시점 영상의 생성 장치에 있어서, 입력 비트 스트림으로부터, 소정의 크기의 영상 단위로, 각각의 영상에 대한 카메라 파라미터 정보를 추출하는 카메라 파라미터 정보 추출부와; 상기 추출된 카메라 파라미터 정보에 기초하여, 소정 영상을 생성하는 영상 생성부를 포함하는 장치에 의해서도 달성된다.
전술한 바와 같이 본 발명에 따르면, 카메라 파라미터의 존재 여부 및 신뢰도 여부에 기초하여 적응적인 부호화를 수행함으로써 압축 효율을 높일 수 있으며, 또한 입력 비트스트림에 삽입된 카메라 파라미터 정보에 기초하여 다시점 중간 영상을 적응적으로 생성함으로써 디스플레이되는 영상의 화질을 개선하는 것이 가능하다는 효과가 있다.
도 1은 다시점(multi-view) 영상을 얻기 위한 카메라의 위치를 도시하는 도면
도 2는 복수개의 카메라에 의해 캡쳐된 영상을 시간에 따라 도시한 도면
도 3은 본 발명에 적용되는 시공간적 예측(spatial-temporal prediction) 부호화 방법을 설명하기 위한 도면
도 4는 본 발명의 일 실시예에 따른 다시점 영상의 부호화 장치를 도시하는 도면
도 5는 본 발명의 일 실시예에 따른 다시점 영상의 부호화 방법을 설명하기 위한 흐름도
도 6은 본 발명의 일 실시예에 따른 다시점 영상의 부호화 장치를 도시하는 도면
도 7은 본 발명의 일 실시예에 따른 다시점 영상의 부호화 방법을 설명하기 위한 흐름도
도 8은 본 발명의 일 실시예에 따른 다시점 영상의 복호화 장치를 도시하는 도면
도 9는 본 발명의 일 실시예에 따른 중간 시점 영상을 생성하기 위한 방법을 설명하기 위한 도면
도 10은 본 발명의 일 실시예에 따른 중간 시점 영상을 생성하기 위한 방법을 설명하기 위한 도면
도 11은 본 발명의 일 실시예에 따른 다시점 영상의 복호화 장치에서 수행되는 복호화 방법을 설명하기 위한 흐름도
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대해 상세히 설명한다.
도 1은 일렬로 위치하고 있는 카메라로부터 복수개의 영상 데이터를 받아 부호화하는 것은 설명하기 위한 도면이다.
도 1을 참조하면, 여러대의 카메라가 일차원적인 라인상에 일렬로 위치하고 있다. 본 발명에서는 i축과 j축으로 구성되는 2차원상에 카메라가 존재한다고 가정하되 우선적으로 일차원적으로 카메라가 존재하는 경우를 설명하기 위하여 i=0인 경우를 예를 들어 설명한다.
도 2는 복수개의 카메라가 잡은 영상을 시간에 따라 도시한 도면이다. 여기에서, 카메라가 잡은 소정 시간에서의 영상을 f(i,j,t)라 한다. 이때, i, j는 카메라의 위치를 의미하고, t는 시간을 의미한다. 도 1 및 도 2에서 카메라는 일차원적으로 일렬로 존재하므로 i는 0인 경우이다. 예를 들어, f(0,0,0)는 최초에, 중심 위치의 카메라가 잡은 영상을 의미한다.
도 3은 본 발명에서 적용되는 시공간 부호화(spatial temporal coding) 방법을 설명하기 위한 도면이다. 도 3을 참조하면, 중앙 위치에 존재하는 카메라의 영상 중 f(0,0,2)는 인접 카메라의 영상들, 즉 f(0,-1,2), f(0,-1, 1), f(0, 0, 1), f(0, 1, 1), f(0, 1, 2)을 참조 영상으로 하여 부호화가 가능하다. 이러한 시공간 부호화 방법을 적용하는 경우, 보다 많은 참조 영상을 사용하는 것이 가능하기 때문에, 복원된 영상의 질이 높아진다.
도 4는 본 발명에 따른 다시점 비디오의 부호화 장치의 일 실시예를 도시하는 도면이다.
본 발명에 따른 다시점 비디오 부호화 장치는 카메라 파라미터 탐색부(420), 다시점 영상 부호화부(440), 카메라 파라미터 정보 삽입부(460)를 포함한다.
카메라 파라미터 탐색부(420)는 다수의 카메라로부터 입력되는 데이터로부터 입력된 각각의 영상에 대해 카메라의 특성 정보, 예를 들어 카메라마다 존재하는 카메라 파라미터에 대한 정보를 탐색한다. 카메라 파라미터에는 카메라 고유의 파라미터(intrinsic parameter)와 카메라 고유의 특성이 아닌, 비고유적인 파라미터(extrinsic parameter)가 있다.
카메라의 고유 파라미터는 카메라 초점 거리(focal length), 주점(principal point), 픽셀의 폭 및 높이, 비뚤어진 각도(skew angle), 카메라 센서 상의 수평 수직 픽셀 수, 방사상 왜곡 계수(radial distortion coefficient), 접선 방향의 왜곡 계수(tangential distortion coefficient) 등과 같은 값을 포함한다. 또한, 비고유적인 파라미터는 세계 좌표계(world coordinate system)에서의 카메라의 좌표, x,y,z 좌표 상에서의 라디안 또는 각도와 같은 카메라의 위치 정보를 포함한다.
카메라 파라미터 탐색부(420)는 입력되는 다시점 영상들 각각에 대해 이러한 카메라 파라미터가 존재하는지 여부를 탐색하고, 탐색 결과를 다시점 영상 부호화부(440)로 전송한다.
다시점 영상을 생성하는 복수개의 카메라에 따라, 카메라 파라미터를 보내는 것이 가능하지 않은 경우가 있기 때문에, 이러한 카메라 파라미터가 존재하는지 여부를 확인하는 것이 필요하게 된다. 예를 들어, 소정의 카메라로부터 입력된 영상에 카메라 파라미터가 존재하지 않는 경우, 인접 영상의 부호화시 카메라 파라미터가 존재하지 않는 해당 영상을 사용해서 임의의 다시점 영상, 즉 중간 시점(intermediate view) 영상을 보간 할 수 없게 된다.
예를 들어, 도 3의 경우, f(0,0,1) 영상에 대해서만 카메라 파라미터가 존재하고, f(0,-1,1) 영상에 대해서는 카메라 파라미터가 존재하지 않는 경우, 이들 두 영상에 기초하여, 이들 두 영상 사이에 존재하는 영상 f(0,-1/2,1)을 보간 할 수 없게 된다. 이 경우, 예를 들어 f(0,-2,1) 영상에 대해 카메라 파라미터가 존재하는 경우, f(0,0,1) 영상 및 f(0,-2,1) 영상에 기초하여, 영상 f(0,-1/2,1)을 보간하여야 한다.
또한, 각 영상에 대해 카메라 파라미터가 존재하는지 여부는, 영상 데이터의 부호화시 유용하게 사용될 수 있는데, 이는 아래에서 후술한다.
이러한 점 때문에, 다시점 비디오 영상을 촬영하기 위해 사용되는 n개의 카메라로부터 입력되는 영상들에 대해 카메라 파라미터가 존재하는지 여부를 탐색하는 과정이 필요하게 된다.
본 실시예에서는 카메라 파라미터가 입력 비디오 영상의 슬라이스 단위로, 슬라이스 헤더에 삽입되어 있다고 가정하고, 해당 비디오 영상의 슬라이스 헤더에 카메라 파라미터가 삽입되어 있는지를 확인한다. 선택적으로, 카메라 파라미터는 슬라이스 헤더가 아닌 다른 위치에 슬라이스 단위가 아닌 다른 크기, 예를 들어 매크로블록 단위로 삽입하는 것도 가능하다.
다시점 영상 부호화부(440)에서는 입력된 각각의 영상에 대해 카메라 파라미터 정보의 존재 여부에 기초하여 부호화를 수행한다. 예를 들어, 도 3에 도시된 영상들 중, f(0,-1, 1), f(0, 0, 1), 및 f(0, 1, 1) 이 모두 카메라 파라미터 를 갖는 경우, f(0, 0, 1)은 디코더에서 인접 영상 f(0,-1, 1) 및 f(0, 1, 1)에 기초하여 보간(interpolation)함으로써 복원할 수 있기 때문에, f(0, 0, 1) 영상의 압축을 스킵하거나, 압축 후 전송하지 않거나, 또는 f(0, 0, 1) 영상과, 인접 영상 f(0,-1, 1) 및 f(0, 1, 1)를 이용하여 보간된 f'(0, 0, 1) 차분 신호를 압축하여 보내는 것이 가능하다.
본 발명에 따르면, 다시점 비디오 영상들 중 디코더에서 보간이 가능한 영상의 압축을 선택적으로 스킵하거나, 압축된 영상을 전송하지 않거나, 보간된 영상간의 차분 신호를 압축하여 전송하도록 함으로써, 화질 저하 없이 영상 압축의 효율을 현저히 향상시킬 수 있는 효과가 있다.
한편, 본 실시예에 부가적으로 포함되는 카메라 파라미터 정보 삽입부(460)는 각각의 영상에 대해 확인된 카메라 파라미터의 존재 여부를 나타내는 카메라 파라미터 정보를 다시점 영상 부호화부(440)에서 부호화된 비트스트림의 소정의 위치에 삽입한다.
본 발명에서는, 카메라 파라미터 정보는 1 비트의 Camera_Parameter_Existing_Flag로서, 각 영상의 슬라이스 마다, 슬라이스 헤드(slice header)에 신택스 엘리먼트(syntac element)로서 삽입한다. 카메라 파라미터 정보가 삽입된 부호화된 비트 스트림은 디코더(도시되지 않음)로 전송된다.
선택적으로 매크로 블록(Macro Block:MB) 단위로 삽입하여 전송하는 것도 가능하며, 또한 영상 정보와는 별도의 부가 정보로서 전송하는 것도 가능하다.
도 5는 도 4에 도시된 다시점 영상의 부호화 장치에서 수행되는 다시점 영상의 부호화 방법을 도시하는 흐름도이다.
단계 520에서는 적어도 하나 이상의 다시점 카메라로부터 복수개의 영상 데이터를 입력 받는다.
단계 540에서는 현재 영상 및 인접 영상에 대한 카메라 파라미터가 존재하는지 여부를 탐색한다.
단계 560에서는 현재 영상 및 인접 영상에 대한 카메라 파라미터의 존재 여부에 기초하여 적응적 부호화를 수행한다.
예를 들어, 현재 영상에 대해 카메라 파라미터가 존재하지 않는 경우, 현재 영상의 압축을 위한 부호화를 진행한다.
한편, 현재 영상의 카메라 파라미터가 존재하는 경우, 현재 영상의 인접 영상에 대해 카메라 파라미터가 존재하는지 여부를 판단한다. 인접 영상에 대해 카메라 파라미터가 존재하는 경우에는 현재 영상의 인접 영상들에 대한 카메라 파라미터가 존재하는 경우, 이들 인접 영상들에 기초하여 도 4의 다시점 영상 부호화부(440)에서 수행되는 적응적인 부호화를 수행한다.
본 실시예에서 부가적으로 포함되는 단계 580에서는 카메라 파라미터의 존재 여부를 나타내는 정보를 부호화된 영상 데이터에 삽입한다.
이하에서는, 도 3을 참조하여, 단계 560 및 단계 580에서 수행되는 절차를 설명한다.
현재 영상의 카메라 파라미터가 존재하는 경우, 예를 들어 도 3의 경우, 현재 영상이 f(0,0,1)인 경우, 인접 영상 f(0,-1, 1) 및 f(0, 1, 1)이 카메라 파라미터를 갖는 경우, 현재 영상의 부호화를 스킵하고, 현재 영상의 카메라 파라미터만을 전송한다. 이때, 전송되는 비트스트림, 예를 들어 슬라이스 헤더에 현재 영상의 카메라 파라미터가 존재한다는 것을 나타내는 카메라 파라미터 플래그를 삽입한 후 전송한다. 이 경우, 현재 영상의 복호화 단계에서는 현재 영상의 카메라 파라미터와 인접 영상들 f(0,-1, 1) 및 f(0, 1, 1)과 이들 영상의 카메라 파라미터를 이용하여 현재 영상을 복원하게 된다.
또한, 선택적으로 인접 영상 f(0,-1, 1) 및 f(0, 1, 1)이 카메라 파라미터를 갖는 경우, 현재 영상과 인접 영상을 이용하여 보간하여 얻어진 보간 영상 f'(0, 1, 1)간의 차분 데이터, 즉 f(0, 1, 1)- f'(0, 1, 1)와 현재 영상의 카메라 파라미터만을 전송한다. 이때, 전송되는 비트스트림에 현재 영상의 카메라 파라미터가 존재한다는 것을 나타내는 카메라 파라미터 플래그를 삽입한 후 전송한다. 이 경우, 현재 영상의 복호화 단계에서는 현재 영상의 카메라 파라미터와, 차분 데이터, 및 인접 영상들 f(0,-1, 1) 및 f(0, 1, 1)과 이들 인접 영상의 카메라 파라미터를 이용하여 현재 영상을 복원하게 된다.
한편, 최인접 영상들 중, 하나만이 카메라 파라미터를 갖는 경우에도, 현재 영상의 부호화를 스킵하고, 현재 영상의 카메라 파라미터만을 전송하도록 하는 것도 가능하다. 이 경우, 현재 영상의 복호화 단계에서는 현재 영상의 카메라 파라미터와 카메라 파라미터를 갖는 인접 영상, 및 이 영상의 카메라 파라미터를 이용하여 현재 영상을 복원한다. 또한, 카메라 파라미터를 갖지 않는 인접 영상에 인접한 영상들 중 카메라 파라미터를 갖는 인접 영상, 예를 들어 f(0, -1, 2)과 이들 영상의 카메라 파라미터를 이용하여 현재 영상을 복원하는 것도 가능하다. f(0,0,1) 영상을 복원하기 위해 f(0, -1, 2)를 참조하는 경우는, f(0, -1, 2)이 P 프레임이고, f(0,0,1) 영상이 이들을 참조하는 B 프레임인 경우에 발생할 수 있다.
도 6은 본 발명에 따른 다시점 비디오의 부호화 장치의 또 다른 실시예를 도시하는 도면이다.
본 발명에 따른 다시점 비디오 부호화 장치는 카메라 파라미터 탐색부(620), 카메라 파라미터 신뢰도 확인부(640), 다시점 영상 부호화부(660), 및 카메라 파라미터 정보 삽입부(680)를 포함한다.
카메라 파라미터 탐색부(620)는 도 4의 카메라 파라미터 탐색부(420)와 동일한 기능을 수행하므로, 설명의 간단을 위해 상세한 설명은 생략한다.
카메라 파라미터 신뢰도 확인부(640)는 카메라 파라미터 탐색부(620)에서 카메라 파라미터가 존재하는 것으로 확인된 영상에 대해, 해당 카메라 파라미터가 신뢰할 수 있는 정보인지 여부를 판단한다. 본 실시예에서는, 해당 영상의 촬영시, 카메라의 주밍(zooming) 및 패닝(panning)이 발생한 경우, 카메라 파라미터가 신뢰할 수 없는 것으로 판단한다. 선택적으로, 주밍 또는 패닝 이외에 소정의 조건, 예를 들어 틸트(tilt), 카메라의 이동, 카메라의 초점 거리(focal length) 변화에 따라 카메라 파라미터의 신뢰도를 판단하는 것도 가능하다.
이는, 카메라 파라미터가 존재하지만, 카메라 파라미터가 신뢰할 수 없는 경우, 예를 들어 도 3에 도시된 영상들 중, f(0,-1, 1), f(0, 0, 1), 및 f(0, 1, 1) 이 모두 카메라 파라미터를 가지며, 신뢰할 수 있는 경우, f(0, 0, 1)은 디코더에서 인접 영상 f(0,-1, 1) 및 f(0, 1, 1)를 이용하여 보간함으로써 구할 수 있기 때문에, f(0, 0, 1) 영상의 압축을 스킵하거나, 압축 후 전송하지 않거나, 또는 f(0, 0, 1) 영상과, 인접 영상 f(0,-1, 1) 및 f(0, 1, 1)를 이용하여 보간된 f'(0, 0, 1) 차분 데이터를 압축하여 보내는 것이 가능하다. 이 경우, f(0,0,1) 영상 데이터를 전송하지 않는 경우에도, f(0,0,1) 영상의 복원을 위해서는 f(0,0,1) 영상의 카메라 파라미터는 디코더로 전송되어야 한다.
하지만, f(0,-1, 1), f(0, 0, 1), 및 f(0, 1, 1) 이 모두 카메라 파라미터를 가지지만, f(0,-1, 1) 영상의 촬영시 주밍 또는 패닝이 발생하여 카메라 파라미터를 신뢰할 수 없는 경우에는, f(0, 0, 1)은 디코더에서 인접 영상 f(0,-1, 1) 및 f(0, 1, 1)으로부터 복원 할 수 없기 때문에, f(0, 0, 1) 영상을 압축하여 전송하거나, 또는 f(0, 0, 1) 영상과, 인접 영상 f(0,1, 1) 및 f(0,-1, 2) 영상을 이용하여 보간된 f'(0, 0, 1) 차분 신호를 압축하여 보내어야 한다. 왜냐하면, 패닝이 발생하여 카메라 파라미터를 신뢰할 수 없게 된 영상에 기초하여 보간을 수행하는 경우, 보간된 영상에 왜곡이 생길 수 있기 때문이다.
다시점 영상 부호화부(660)는 카메라 파라미터 탐색부(620) 및 카메라 파라미터 확인부(640)에서 얻어진 카메라 파라미터의 존재 및 신뢰도 여부에 따라, 입력 영상에 대해 상기에서 설명한 바와 같은 적응적인 부호화를 수행한다.
본 실시예에서 부가적으로 포함되는 카메라 파라미터 정보 삽입부(680)는 각각의 영상에 대해 탐색 및 확인된 카메라 파라미터 정보를 2 비트 정보, 즉 카메라 파라미터 존재를 나타내는 Camera_Parameter_Existing_Flag 및 카메라 파라미터의 신뢰도를 나타내는 GuaranteedCameraParameterFlag에 대해, 각각 1비트씩 할당된 정보로, 각 영상의 슬라이스 마다, 슬라이스 헤드(slice header)에 신택스 엘리먼트(syntax element)로서 삽입하여 전송한다. 선택적으로 매크로 블록(Macro Block:MB) 단위로 삽입하여 전송하거나, 영상 정보와는 별도의 부가 정보로서 전송하는 것도 가능하다.
도 7은 도 6에 도시된 다시점 영상 부호화 장치에서 수행되는 다시점 영상 부호화 방법을 설명하기 위한 흐름도이다.
단계 710에서는 적어도 하나 이상의 다시점 카메라로부터 복수개의 영상 데이터를 입력 받는다.
단계 720에서는 현재 영상 및 인접 영상에 대한 카메라 파라미터가 존재하는지 여부를 탐색한다.
단계 730에서는 현재 영상 및 인접 영상에 대한 카메라 파라미터가 모두 존재하는 경우에는 단계 740로 진행하고, 현재 영상 및 인접 영상 중 어느 하나의 카메라 파라미터가 존재하지 않는 경우에는 단계 750으로 진행한다.
단계 740에서는 현재 영상 및 인접 영상에 대한 카메라 파라미터가 신뢰할 수 있는지 여부를 확인한다.
단계 750에서는 단계 720 및 단계 740에서의 카메라 파라미터의 존재 및 신뢰도 확인 결과에 기초하여 현재 영상에 대한 부호화를 적응적으로 수행한다.
예를 들어, 현재 영상 및 인접 영상 중 어느 하나에 대해 카메라 파라미터가 존재하지 않는 경우에는, 현재 영상에 대해 부호화를 진행한다.
한편, 현재 영상 및 인접 영상에 대해 카메라 파라미터가 존재하며, 신뢰할 수 있는 경우, 예를 들어 도 3을 참조하여, 현재 영상이 f(0,0,1)인 경우, 인접 영상 f(0,-1, 1) 및 f(0, 1, 1)이 카메라 파라미터를 갖는 경우에는, 현재 영상의 부호화를 스킵하고, 현재 영상의 카메라 파라미터만을 전송한다. 이 경우, 현재 영상의 복호화 단계에서는 현재 영상의 카메라 파라미터와 인접 영상들 f(0,-1, 1) 및 f(0, 1, 1)과 이들 영상의 카메라 파라미터를 이용하여 현재 영상을 복원하게 된다.
또한, f(0,-1, 1), f(0, 0, 1), 및 f(0, 1, 1) 이 모두 카메라 파라미터를 가지지만, f(0,-1, 1) 영상의 촬영시 주밍 또는 패닝이 발생하여 카메라 파라미터를 신뢰할 수 없는 경우에는, f(0, 0, 1)은 디코더에서 인접 영상 f(0,-1, 1) 및 f(0, 1, 1)으로부터 복원 할 수 없기 때문에, f(0, 0, 1) 영상을 압축하여 전송하거나, 또는 f(0, 0, 1) 영상과, 인접 영상 f(0,1, 1) 및 f(0,-1, 2) 영상을 이용하여 보간된 f'(0, 0, 1) 차분 신호를 압축하여 보낸다.
본 실시예에 부가적으로 포함되는 단계 760에서는 카메라 파라미터의 존재 및 신뢰도를 나타내는 카메라 파라미터 정보를 부호화된 영상 데이터에 삽입한다.
예를 들어, 현재 영상의 경우, 단계 720의 탐색 결과, 카메라 파라미터가 존재하는 것으로 판단되었지만, 단계 740에서의 판단 결과, 카메라 파라미터를 신뢰할 수 없는 것으로 확인된 경우, 부호화된 비트스트림의 슬라이스 헤더에 카메라 파라미터가 존재하지만, 신뢰할 수 없다는 것을 나타내는 카메라 파라미터 플래그를 삽입한다. 본 실시예에서는 카메라 파라미터의 존재 및 신뢰할 수 있는 지를 나타내는 카메라 파라미터 정보를 2 비트의 플래그로서 슬라이스 단위로, 슬라이스 헤더에 삽입한다.
도 8은 본 발명의 일실시예에 따른 다시점 영상 복호화 장치를 도시하는 블록도이다.
본 발명에 따른 다시점 영상 복호화 장치는 비트스트림 복원 및 카메라 파라미터 추출부(820) 및 다시점 영상 생성부(840)를 포함한다.
카메라 파라미터 검출부(820)는 입력된 비트스트림를 복원하면서, 각각의 영상에 대해 카메라 파라미터 정보가 존재하는지 여부를 검출한다. 본 실시예에서는, 각 영상의 슬라이스 헤더에 포함된 1 비트의 카메라 파라미터 정보, 즉 Camera_Parameter_Existing_Flag에 기초하여 각 영상에 대한 카메라 파라미터의 존재 여부를 확인한다. 여기에서, Camera_Parameter_Existing_Flag가 1인 경우는 카메라 파라미터가 존재하는 것을 나타내며, Camera_Parameter_Existing_Flag가 0인 경우는 카메라 파라미터가 존재하지 않는 것을 나타낸다.
다시점 영상 생성부(840)는 카메라 파라미터 검출부(820)에서 검출된 카메라 파라미터 정보에 기초하여 다시점 영상 및 임의 시점, 예를 들어 중간 시점(intermediate view)에서의 보간 영상을 생성한다.
예를 들어, 인코더에서 도 3에서와 같이, 영상 f(0,-1,1) 및 f(0,1,1)에 대해 카메라 파라미터가 존재하여, f(0,0,1) 영상의 데이터가 전송되지 않거나, 또는 인접 영상들 f(0,-1,1) 및 f(0,1,1)을 이용하여 보간된 영상과의 차분 신호만이 전송된 경우, 인접 영상들 f(0,-1,1) 및 f(0,1,1)와, 이들 영상들의 카메라 파라미터, 및 f(0,0,1) 영상의 카메라 파라미터에 기초하여 영상 f(0,0,1)을 복원한다.
아래에서는, 도 9를 참조하여, 예를 들어 입력 영상 f(0,0,0), f(0,0,1), 및 f(0,-1,0)의 Camera_Parameter_Existing_Flag가 1이고, f(0,-1,1) 영상의 Camera_Parameter_Existing_Flag는 0인 경우, 즉 f(0,1,1), f(0,1,0), 및 f(0,0,0) 영상에 대해서는 카메라 파라미터가 존재하지만, f(0,1,1) 영상에 대해서는 카메라 파라미터는 존재하지 않는 경우, 임의 시점에서의 보간 영상의 생성 방법을 설명한다.
도 9에서 영상 f(0,0,1) 및 f(0,0,0) 사이의 중간 시점 영상인 f(0,0,1/2)를 보간 하고자 하는 경우, 다시점 영상 생성부(940)는 영상 f(0,0,1) 및 f(0,0,0)의 카메라 파라미터 플래그를 확인하고, 이들 카메라 파라미터의 플래그들이 모두 1인 경우에만, 이들 영상에 기초하여 보간을 수행한다. 본 실시예에서는, 이들 영상의 카메라 파라미터의 플래그가 1이기 때문에, 이들 영상에 기초하여 중간 시점 영상 f(0,0,1/2)을 생성하는 것이 가능하다.
한편, 영상 f(0,-1,1) 및 f(0,-1,0) 사이의 중간 시점 영상인 f(0,-1,1/2)를 보간 하고자 하는 경우, 이들 영상들 중, 영상 f(0,-1,1)의 카메라 파라미터의 플래그가 0, 즉 영상 f(0,-1,1)의 카메라 파라미터가 존재하지 않기 때문에, 영상 f(0,-1,0)만 참조하여 보간을 수행하거나, 또는 영상 f(0,-1,2)의 카메라 파라미터 플래그가 1인 경우, 영상 f(0,-1,0) 및 영상 f(0,-1,2)에 기초하여 중간 시점 영상 f(0,-1,1/2)을 생성한다.
한편, 영상 f(0,-1,1), f(0,0,1), f(0,0,0), 및 f(0,-1,0) 사이의 중간 시점 영상인 f(0,-1/2,1/2)를 생성하고자 하는 경우, 다시점 영상 생성부(940)는 이들 영상들의 카메라 파라미터 플래그를 확인하고, 이들 카메라 파라미터의 플래그들이 1인 영상들에 기초하여 보간을 수행한다. 본 실시예에서는, 이들 영상들 중영상 f(0,-1,1)의 카메라 파라미터의 플래그가 0, 즉 영상 f(0,-1,1)의 카메라 파라미터가 존재하지 않기 때문에, 나머지 영상들 즉, f(0,0,1), f(0,0,0), 및 f(0,-1,0)에 기초하여 보간을 수행한다.
다시점 영상 생성부(840)에서 생성된 다시점 영상 및 선택적으로 생성된 중간 시점 영상들은 디스플레이부 (도시되지 않음)로 전송되어 디스플레이된다.
이와 같이, 입력 영상들의 카메라 파라미터의 존재 여부에 기초하여, 중간 시점 영상을 적응적으로 생성함으로써, 생성되는 중간 시점 영상의 화질을 개선하는 것이 가능하다는 효과가 있다.
이하에서는, 도 8을 참조하여, 본 발명의 또 다른 실시예에 따른 다시점 영상 복호화 장치를 설명한다.
또 다른 실시예에 따른 카메라 파라미터 검출부(820)는 입력된 비트스트림를 복원하면서, 각각의 영상에 대해 카메라 파라미터가 존재하는지 여부를 검출한다. 본 실시예에서는, 각 영상의 슬라이스 헤더에 포함된 2 비트의 카메라 파라미터 플래그, 즉 Camera_Parameter_Existing_Flag 및 Guaranteed_Camera_Parameter_Flag에 기초하여 각 영상에 대한 카메라 파라미터의 존재 여부 및 카메라 파라미터의 신뢰도를 확인한다.
또한, 다시점 영상 생성부(840)는 카메라 파라미터 검출부(820)에서 검출된 카메라 파라미터 정보에 기초하여 다시점 영상 및 선택적으로 중간 시점에서의 보간 영상을 생성한다.
예를 들어, 인코더에서 도 3에서와 같이, 영상 f(0,-1,1) 및 f(0,1,1)에 대해 카메라 파라미터가 존재하며, 카메라 파라미터를 신뢰할 수 있으며, f(0,0,1) 영상의 데이터가 전송되지 않은 경우, 인접 영상들 중 카메라 파라미터가 존재하며, 신뢰할 수 있는 영상들, 예를 들어 f(0,-1,1) 및 f(0,1,1)와, 이들 영상들의 카메라 파라미터, 및 f(0,0,1) 영상의 카메라 파라미터에 기초하여 영상 f(0,0,1)을 복원한다.
또한, 영상 f(0,-1,1) 및 f(0,1,1)에 대해 카메라 파라미터가 존재하지만, 영상 f(0,-1,1)의 카메라 파라미터를 신뢰할 수 없고, f(0,0,1) 영상과, f(0,-2,1) 및 f(0,1,1)에 의해 보간된 영상과의 차분 데이터가 전송된 경우, 전송된 차분 데이터, 영상 f(0,-2,1) 및 f(0,1,1) 데이터와, 이들 영상들의 카메라 파라미터, 및 f(0,0,1) 영상의 카메라 파라미터에 기초하여 영상 f(0,0,1)을 복원한다.
아래에서는, 도 10을 참조하여, 예를 들어 입력 영상 f(0,0,0), f(0,-1,0), 및 f(0,0,1)의 Camera_Parameter_Existing_Flag 및 Guaranteed_Camera_Parameter_Flag가 11이고, f(0, -1 ,1) 영상의 Camera_Parameter_Existing_Flag 및 Guaranteed_Camera_Parameter_Flag는 10인 경우, 즉 f(0,0,0), f(0,-1,0), 및 f(0,0,1) 영상에 대해서는 카메라 파라미터가 존재하며, 신뢰할 수 있는 경우, f(0,-1,1) 영상에 대해서는 카메라 파라미터는 존재하지만, 신뢰할 수 없는 경우, 임의 시점에서의 보간 영상의 생성 방법을 설명한다.
도 10에서 영상 f(0,0,1) 및 f(0,0,0) 사이의 중간 시점 영상(intermediate view image)인 f(0,0,1/2)를 보간 하고자 하는 경우, 다시점 영상 생성부(840)는 영상 f(0,0,1) 및 f(0,0,0)의 카메라 파라미터 플래그를 확인하고, 이들 카메라 파라미터의 플래그들이 모두 11인 경우에만, 이들 영상에 기초하여 보간을 수행한다. 본 실시예에서는, 이들 영상의 카메라 파라미터의 플래그가 11이기 때문에, 이들 영상에 기초하여 중간 시점 영상 f(0,0,1/2)을 생성하는 것이 가능하다.
한편, 영상 f(0,-1,1) 및 f(0,-1,0) 사이의 중간 시점 영상인 f(0,-1,1/2)를 보간 하고자 하는 경우, 이들 영상들 중, 영상 f(0,-1,1)의 카메라 파라미터의 플래그가 10, 즉 영상 f(0,-1,1)의 카메라 파라미터가 존재하기는 하지만 신뢰할 수 없기 때문에, 영상 f(0,-1,0)만 참조하여 보간을 수행하거나, 또는 영상 f(0,-1,2)의 카메라 파라미터가 11인 경우, 영상 f(0,-1,0) 및 영상 f(0,-1,2)에 기초하여 중간 시점 영상 f(0,-1,1/2)을 생성한다.
한편, 영상 f(0,-1,1), f(0,0,1), f(0,0,0), 및 f(0,-1,0) 사이의 중간 시점 영상인 f(0,-1/2,1/2)를 생성하고자 하는 경우, 다시점 영상 생성부(840)는 이들 영상들의 카메라 파라미터 플래그를 확인하고, 이들 카메라 파라미터의 플래그들이 11인 영상들에 기초하여 보간을 수행한다. 본 실시예에서는, 이들 영상들 중 영상 f(0,-1,1)의 카메라 파라미터의 플래그가 10, 즉 영상 f(0,-1,1)의 카메라 파라미터가 존재하기는 하지만 신뢰할 수 없기 때문에, 나머지 영상들 즉, f(0,0,1), f(0,0,0), 및 f(0,-1,0) 에 기초하여 보간을 수행한다.
다시점 영상 생성부(840)에서 생성된 다시점 영상 및 선택적으로 생성된 중간 시점 영상들은 디스플레이부 (도시되지 않음)로 전송되어 디스플레이된다.
도 11은 도 8에 도시된 본 발명의 일 실시예에 따른 다시점 영상의 복호화 장치에서 수행되는 복호화 방법을 설명하기 위한 흐름도이다.
단계 1120에서는 입력 비트 스트림으로부터 소정의 크기의 영상 단위로 각각의 영상에 대한 카메라 파라미터 정보를 추출한다.
단계 1140에서는 단계 1120에서 추출된 카메라 파라미터 정보에 기초하여 선택된 소정 영상을 생성한다.
본 실시예에서는 추출된 카메라 파라미터 정보에 기초하여 소정 영상의 보간을 위해 참조할 영상을 결정한다. 이후, 결정된 참조 영상에 기초하여 도 8의 다시점 영상 생성부(840)에서 수행되는 소정 영상의 보간을 수행한다.
본원의 일 실시예에서는, 상기 카메라 파라미터 정보가, 영상 각각에 대한 카메라 파라미터의 존재 여부만을 나타내는 경우에는, 상기 보간하고자하는 소정 영상의 인접 영상들 중, 카메라 파라미터가 존재하는 인접 영상들만을 참조 영상으로 결정한다.
본원의 또 다른 실시예에서는, 상기 카메라 파라미터 정보가, 영상 각각에 대한 카메라 파라미터의 존재 및 신뢰도를 나타내는 경우에는, 상기 보간하고자하는 소정 영상의 인접 영상들 중, 카메라 파라미터가 존재하며, 신뢰할 수 있는 인접 영상들만을 참조 영상으로 결정한다.
한편, 전술한 다시점 영상의 부호화 및 복호화 방법은 컴퓨터 프로그램으로 작성 가능하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 다시점 영상의 다이렉트 모드 움직임 예측방법을 구현한다. 상기 정보저장매체는 자기 기록매체, 광 기록매체, 및 캐리어 웨이브 매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
420: 카메라 파라미터 탐색부
440: 다시점 영상 부호화부
460: 카메라 파라미터 정보 삽입부

Claims (5)

  1. 카메라 파라미터 정보를 이용한 다시점 영상의 복호화 방법에 있어서,
    부호화된 다시점 영상과 소정 크기의 다시점 영상 단위로 각각의 영상에서의 카메라 파라미터의 존재를 나타내는 카메라 파라미터 정보를 포함하는 다시점 영상 스트림을 수신하는 단계와,
    상기 수신된 다시점 영상 스트림으로부터, 상기 소정 크기의 다시점 영상 단위로, 각각의 영상에서의 카메라 파라미터의 존재를 나타내는 카메라 파라미터 정보를 추출하는 단계와;
    상기 추출된 카메라 파라미터 정보를 이용하여, 상기 부호화된 다시점 영상을 복호화하는 단계를 포함하며,
    상기 카메라 파라미터는 카메라의 비본질적 특성을 나타내는 정보를 포함하며, 상기 카메라의 비본질적 특성은 상기 각각의 영상에서의 카메라의 위치 정보인 것을 특징으로 하는 다시점 영상의 복호화 방법.
  2. 제1항에 있어서, 상기 부호화된 다시점 영상을 복호화하는 단계는 상기 추출된 카메라 파라미터 정보에 기초하여, 상기 부호화된 다시점 영상을 복호화하기 위해 참조할 영상을 결정하는 단계와; 상기 결정된 참조 영상에 기초하여 상기 부호화된 다시점 영상을 복호화하는 단계를 포함하는 것을 특징으로 하는 다시점 영상의 복호화 방법.
  3. 제1항에 있어서, 상기 카메라 파라미터 정보는 카메라 파라미터의 신뢰도를 나타내는 플래그를 더 포함하는 것을 특징으로 하는 다시점 영상의 복호화 방법.
  4. 제1항에 있어서, 상기 다시점 영상 스트림에는, 상기 각각의 영상에 대한 카메라 파라미터의 신뢰도를 나타내는 카메라 파라미터 정보가 삽입되어 있는 것을 특징으로 하는 다시점 영상의 복호화 방법.
  5. 제4항에 있어서, 상기 소정 크기의 영상 단위는 슬라이스 단위이며, 상기 카메라 파라미터의 존재 및 신뢰도를 나타내는 카메라 파라미터 정보가, 상기 다시점 영상 스트림의 슬라이스 헤더에 2 비트 정보로서 삽입되어 있는 것을 특징으로 하는 다시점 영상의 복호화 방법.


KR1020120117499A 2012-10-22 2012-10-22 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체 KR101313223B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120117499A KR101313223B1 (ko) 2012-10-22 2012-10-22 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120117499A KR101313223B1 (ko) 2012-10-22 2012-10-22 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020120026192A Division KR101343576B1 (ko) 2012-03-14 2012-03-14 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체

Publications (2)

Publication Number Publication Date
KR20120131137A KR20120131137A (ko) 2012-12-04
KR101313223B1 true KR101313223B1 (ko) 2013-09-30

Family

ID=47515074

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120117499A KR101313223B1 (ko) 2012-10-22 2012-10-22 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체

Country Status (1)

Country Link
KR (1) KR101313223B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10477183B2 (en) 2013-07-19 2019-11-12 Hfi Innovation Inc. Method and apparatus of camera parameter signaling in 3D video coding
KR101536747B1 (ko) * 2014-03-04 2015-07-23 서울과학기술대학교 산학협력단 자유 시점 영상 전송을 위한 패킷구조형 송신장치 및 송신방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002159022A (ja) 2000-11-17 2002-05-31 Fuji Xerox Co Ltd 視差画像生成装置および視差画像生成方法
JP2003333621A (ja) 1996-04-05 2003-11-21 Matsushita Electric Ind Co Ltd 多視点画像伝送方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003333621A (ja) 1996-04-05 2003-11-21 Matsushita Electric Ind Co Ltd 多視点画像伝送方法
JP2002159022A (ja) 2000-11-17 2002-05-31 Fuji Xerox Co Ltd 視差画像生成装置および視差画像生成方法

Also Published As

Publication number Publication date
KR20120131137A (ko) 2012-12-04

Similar Documents

Publication Publication Date Title
KR101199498B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이기록된 기록 매체
US8462196B2 (en) Method and apparatus for generating block-based stereoscopic image format and method and apparatus for reconstructing stereoscopic images from block-based stereoscopic image format
US8274551B2 (en) Method and apparatus for generating header information of stereoscopic image data
KR101375666B1 (ko) 전역 차이 벡터를 이용한 다시점 영상의 부호화, 복호화방법 및 장치
EP3348060B1 (en) Method and device for encoding a light field based image, and corresponding computer program product
EP2984821A1 (en) Method and apparatus of compatible depth dependent coding
KR101357755B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
KR101313223B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
KR101313224B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
KR101343576B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
CN105103543B (zh) 兼容的深度依赖编码方法
KR20090007190A (ko) 양안식 영상 정보를 모두 포함하는 양안식 영상 포맷부호화 방법 및 장치, 그리고 양안식 영상 포맷 복호화방법 및 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160830

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170830

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180830

Year of fee payment: 6