KR101629103B1 - 비참조 시점 영상 그룹을 이용한 다시점 영상 부호화 방법 - Google Patents

비참조 시점 영상 그룹을 이용한 다시점 영상 부호화 방법 Download PDF

Info

Publication number
KR101629103B1
KR101629103B1 KR1020140178435A KR20140178435A KR101629103B1 KR 101629103 B1 KR101629103 B1 KR 101629103B1 KR 1020140178435 A KR1020140178435 A KR 1020140178435A KR 20140178435 A KR20140178435 A KR 20140178435A KR 101629103 B1 KR101629103 B1 KR 101629103B1
Authority
KR
South Korea
Prior art keywords
point
frame
image group
time
view image
Prior art date
Application number
KR1020140178435A
Other languages
English (en)
Inventor
김진상
최민수
장익준
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020140178435A priority Critical patent/KR101629103B1/ko
Priority to US14/966,451 priority patent/US10075691B2/en
Application granted granted Critical
Publication of KR101629103B1 publication Critical patent/KR101629103B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 다시점 영상의 부호화 방법에 관한 것으로, 보다 구체적으로 비참조 시점 영상 그룹의 부호화의 경우 비참조 시점 영상 그룹 중 제1 비참조 시점 영상 그룹을 구성하는 프레임의 발생 비트수, 좌측 기준 시점 영상과의 발생 비트수 차이, 우측 기준 시점 영상과의 발생 비트수 차이 등의 영상 특성에 기초하여 시점 보상 패턴과 평행화 시점 패턴을 결정하고, 제1 비참조 시점 영상 그룹에 연속하여 입력되는 연속 비참조 시점 영상 그룹의 시점 보상 패턴과 평행화 시점 패턴을 제1 비참조 시점 영상 그룹의 시점 보상 패턴과 평행화 시점 패턴으로 결정하여 영상의 품질 저하없이 높은 부호화율로 다시점 영상을 부호화할 수 있는 방법에 관한 것이다.

Description

비참조 시점 영상 그룹을 이용한 다시점 영상 부호화 방법{Method for encoding muti-view video with non-referenced B frame}
본 발명은 다시점 영상의 부호화 방법에 관한 것으로, 보다 구체적으로 비참조 시점 영상 그룹의 부호화의 경우 비참조 시점 영상 그룹 중 제1 비참조 시점 영상 그룹을 구성하는 프레임의 발생 비트수, 좌측 기준 시점 영상과의 발생 비트수 차이, 우측 기준 시점 영상과의 발생 비트수 차이 등의 영상 특성에 기초하여 시점 보상 패턴과 평행화 시점 패턴을 결정하고, 제1 비참조 시점 영상 그룹에 연속하여 입력되는 연속 비참조 시점 영상 그룹의 시점 보상 패턴과 평행화 시점 패턴을 제1 비참조 시점 영상 그룹의 시점 보상 패턴과 평행화 시점 패턴으로 결정하여 영상의 품질 저하없이 높은 부호화율로 다시점 영상을 부호화할 수 있는 방법에 관한 것이다.
디지털 영상 서비스는 HD(High definition)급 영상에서 UD(Ultra definition)급으로 발전하면서 3차원 서비스가 도입되고 있다. 2001년부터 3DAV(3 Dimensional Audio Vidio) 그룹에서는 MPEG 표준화에 포함될 3차원 오디오/비디오 기술의 새로운 표준화 작업을 수행하여 2008년도에 기존의 H.264 표준에 기반한 3차원 다중 시점 영상 표준을 제정하였다. 앞으로 3차원 다중 시점 영상을 응용한 다양한 어플리케이션이 활발하게 개발될 것으로 예상된다.
3차원 다시점 영상이란 단일 시점 카메라를 이용하여 2차원의 평면적인 장면을 획득하는 기존의 영상 획득 방법과는 달리, 여러 대의 카메라를 이용하여 획득한 입체적인 동영상을 의미한다. 다시점 영상 부호화를 포함한 3차원 영상에 대한 압축 부호화 기술의 핵심은 전통적인 시간 및 공간상의 중복성뿐만 아니라 카메라 시점 사이의 중복성을 이용하여 보다 효과적으로 3차원 영상을 압축 부호화하는 것이다.
그러나 3차원 다중 시점 영상의 부호화 압축시 가장 큰 문제점은 다시점에 비례하여 다수의 카메라에서 획득한 영상 사이의 시간, 공간, 시점의 예측 부호화를 수행하는 것이며, 3차원 다시점 영상의 부호화 압축에서 다수의 영상 사이의 시간, 공간, 시점의 예측 부호화를 수행하는데 전체 부호화 압축 연산의 70% 내지 80%를 차지하여 전체 압축 부호화 연산량이 크게 증가하게 된다.
도 1은 종래 통상적인 다시점 영상의 압축 부호화 방법을 설명하기 위한 기능 블록도이다.
도 1을 참고로 살펴보면, 다수의 카메라로부터 획득한 다수의 영상(S1, S2,..., Sn)은 각각 부호화되어 비트스트림으로 생성된다. 다수의 카메라로부터 획득한 다수의 영상들 중 제1 카메라로부터 획득한 제1 영상의 부호화 장치(10)를 살펴보면, 움직임 추정부(11)는 단위 매크로 블록 크기로 입력되는 현재 단위 매크로 블록의 움직임을 추정한다. 즉, 현재 단위 매크로 블록의 움직임 추정은 단위 매크로 블록과 일치하는 단위 매크로 블록을 찾기 위하여 참조 프레임의 영역을 탐색한다. 단위 매크로 블록과 참조 프레임의 탐색 영역 내의 가능한 단위 매크로 블록의 모두 또는 일부를 비교하여, 그 중 가장 일치하는 후보 매크로 블록을 선택한다. 여기서 단위 매크로 블록의 크기는 4×4, 4×8, 8×4, 8×8, 8×16, 16×8, 16×16이다.
움직임 보상부(13)는 현재 단위 매크로 블록과 선택한 후보 매크로 블록을 서로 차감하여 오차값을 생성한다. 현재 단위 매크로 블록에 대한 움직임 추정과 움직임 보상은 4×4, 4×8, 8×4, 8×8, 8×16, 16×8, 16×16 크기의 단위 매크로 블록 크기로 수행되며, 예측 모드 결정부(15)는 각 단위 매크로 블록의 움직임 추정과 움직임 보상을 수행하여 생성된 오차값에 기초하여 각 단위 매크로 블록의 부호화 예측 모드, 즉 단위 매크로 블록의 부호화 압축 크기를 결정한다.
부호화부(17)는 결정한 부호화 예측 모드에 따라 생성된 오차값과 단위 매크로 블록의 움직임 벡터를 DCT, 웨이블렛 등과 같은 변환 방식으로 변환하고, 변환 데이터를 양자화하여 공간적 중복 요소를 제거한다. 부호화부(17)는 오차 블록과 단위 매크로 블록의 움직임 벡터를 변환, 양자화 과정을 통하여 제1 영상의 비트스트림을 생성한다. 한편, 제1 카메라로부터 획득한 제1 영상의 부호화 장치는 양자화된 데이터를 다시 디코딩하여 이후의 영상 예측을 위한 참조 프레임을 생성한다. 이에 대한 구체적인 설명은 H.264 표준에 명확하게 기재되어 있으므로 이에 대한 설명은 생략한다.
다중 카메라로부터 획득한 영상 중 제2 카메라로부터 획득한 제2 영상의 부호화 장치(20)에 대해 살펴보면, 제2 영상의 부호화 장치(20)는 크게 시점 예측 부분과 시간 예측 부분으로 나누어진다. 여기서 시점 예측 부분은 제2 영상과 제1 영상 사이의 시점 차이에 기초하여 제2 영상의 오차값을 계산하며, 시간 예측 부분은 제2 영상 자체에서 참조 프레임과 현재 매크로 블록 사이의 움직임 보상을 통한 시간 차이에 기초한 제2 영상의 오차값을 계산한다.
제2 영상의 시점 예측 부분을 구체적으로 살펴보면, 시점 추정부(21)는 제1 영상의 단위 매크로 블록과 제2 영상의 단위 매크로 블록 사이의 시점 차이, 즉 시점를 추정한다. 즉, 시점 추정부(21)는 제2 카메라를 통해 획득한 제2 영상의 단위 매크로 블록에 일치하는 제1 카메라를 통해 획득한 제1 영상의 단위 매크로 블록을 검색한다. 시점 보상부(22)는 검색한 제1 영상의 단위 매크로 블록과 제2 영상의 단위 매크로 블록을 차감하여 제2 영상의 단위 매크로 블록에 대한 오차값을 생성한다.
시점 사이의 예측을 위해 MPEG((Moving Picture Expert Group)의 3DAV(3 Dimensional Audio Video)에서는 시점 비디오 및 3차원 오디오/비디오 기술의 표준을 규정하고 있는데, 그룹 픽쳐 그룹(Group of Group Of Picture, GoGOP)의 구조 변경을 통해 종래 시점 영상 처리가 가지는 문제점을 향상시기키 위한 연구가 진행되고 있다. 그룹 픽쳐 그룹은 단일 시점(Single view)에서 프레임의 집합을 나타내는 그룹 픽쳐(Group Of Picture, GOP)를 시점으로 확장한 개념으로 시점 수에 따른 그룹 픽쳐의 그룹을 의미한다.
시점 영상 처리를 위한 종래 그룹 픽쳐 그룹의 구조는 앵커(Anchor) 구조로, 각 시점별로 I 프레임을 구비하고 있으며 각 시점별로 독립적으로 부호화를 수행하기 때문에 비효율적인 예측 부호화 방식이다. 이러한 앵커 구조가 가지는 문제점을 해결하기 위하여 계층적 B 프레임 구조(hierarchical B picture structure)가 제시되었다. 계층적 B 프레임 구조의 그룹 픽쳐 그룹은 앵커 구조와 달리 I 프레임을 첫 번째 시점에만 두고 나머저 시점 사이의 참조를 허용한다.
도 2는 계층적 B 프레임 구조의 그룹 픽쳐 그룹의 일 예를 도시하고 있다.
도 2를 참고로 보다 구체적으로 살펴보면, 사각형 블록은 시점 영상 소스에서의 영상 프레임을 나타낸다. 수직방향 화살표는 시점 또는 카메라 위치에 따른 프레임의 시퀀스를 나타내고, 수평방향 화살표는 시간에 따른 프레임의 시퀀스를 나타낸다. 한편, 프레임 간의 화살표는 예측 방향을 의미하는데 수평방향을 지시하는 화살표는 움직임 예측 방향을 의미하고, 수직방향을 지시하는 화살표는 시점 예측 방향을 의미한다. I 프레임은 MPEG-2/4 또는 H.264에서의 I 프레임과 동일한 "인트라 프레임"을 나타내며, P 프레임 및 B 프레임은 각각 MPEG-2/4 또는 H.264에서와 유사하게 "예측 프레임" 및 "양방향 예측 프레임"을 나타낸다.
도 2에 도시되어 있는 것과 같이 각 시점을 구성하는 프레임의 시퀀스는 서로 상이한 프레임으로 구성되어 있음을 알 수 있다. 제0 시점(S0)은 I 프레임과 B 프레임으로 구성되어 있으며, 제1 시점(S1)은 B 프레임과 b 프레임으로 구성되어 있으며, 제2 시점(S2)은 P 프레임과 B 프레임으로 구성되어 있다.
이러한 계층적 B 프레임 구조의 그룹 픽쳐 그룹(GoGoP)에서 B 프레임 또는 b 프레임으로 이루어진 시점의 픽쳐 그룹은 다른 시점의 픽쳐 그룹에서 예측을 위해 사용되지 않는다는 점, 시점 영상을 시청하는 사용자는 실제 2개의 시점만을 이용한다는 점에 착안하여 연산량을 줄인 다시점 영상의 부호화 방법이 한국등록특허 제10-1383486호에 개시되어 있다. 이하, B 프레임 또는 b 프레임으로 이루어진 시점의 픽쳐 그룹을 비참조 시점 영상 그룹이라 언급한다. 한국등록특허 제10-1383486호에 개시되어 있는 다시점 영상 부호화 방법은 다시점 영상의 모든 프레임을 평행화하는 대신 비참조 시점 영상 그룹을 인접하는 좌측 기준 시점 영상 또는 인접하는 우측 기준 시점 영상에 평행화하여 평행화에 소요되는 계산량을 줄일 수 있으며, 비참조 시점 영상 그룹을 인접 시점 영상에 평행화함으로써 영상의 왜곡을 줄일 수 있다.
그러나 앞서 설명한 종래 기술들에서는 비참조 시점 영상 그룹을 인접하는 좌측 기준 시점 영상 또는 우측 기준 시점 영상 중 어느 기준 시점 영상을 기준으로 평행화하거나 시차 보정할 것인지에 대해서는 전혀 기재되어 있지 않았다.
본 발명은 위에서 언급한 종래 기술들이 가지는 문제점을 해결하기 위한 것으로, 본 발명이 이루고자 하는 목적은 비참조 시점 영상 그룹의 부호화의 경우 비참조 시점 영상 그룹을 구성하는 프레임의 발생 비트수, 좌측 기준 시점 영상과의 발생 비트수 차이, 우측 기준 시점 영상과의 발생 비트수 차이의 영상 특성에 기초하여 좌측 기준 시점 영상과 우측 기준 시점 영상 중 부호화 효율이 높은 시차 보정 패턴과 평행화 시점 패턴을 결정하는 방법을 제공하는 것이다.
본 발명이 이루고자 하는 다른 목적은 비참조 시점 영상 그룹에 연속하여 입력되는 연속 비참조 시점 영상 그룹도 비참조 시점 영상 그룹과 유사한 영상 특성을 가진다는 점에 착안하여 연속 비참조 시점 영상을 비참조 시점 영상 그룹의 시차 보정 패턴 및 평행화 시점 패턴에 따라 부호화하여 부호화 연산량을 줄일 수 있는 방법을 제공하는 것이다.
본 발명이 이루고자 하는 또 다른 목적은 연속 비참조 시점 영상 그룹에서 처음으로 입력되는 프레임의 발생 비트수에 기초하여 비참조 시점 영상 그룹을 연속 비참조 시점 영상 그룹으로 갱신하여 시차 보정 패턴 또는 평행화 시점 패턴을 정확하게 결정할 수 있는 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 다시점 영상의 부호화 방법은 다시점 영상 중 연속하여 입력되는 비참조 시점 영상 그룹에서 제1 비참조 영상 그룹을 구성하는 각 프레임의 평행화 시점 패턴과 시점 보상 패턴을 결정하는 단계와, 결정한 평행화 시점 패턴과 시점 보상 패턴에 따라 제1 비참조 시점 영상 그룹에 연속하여 입력되는 연속 비참조 시점 영상 그룹을 평행화하거나 시점 보상하여 연속 비참조 시점 영상 그룹을 부호화하는 단계를 포함하는 것을 특징으로 한다.
여기서 비참조 시점 영상 그룹은 계층적 B 프레임 구조(hierarchical B picture structure)인 것을 특징으로 한다.
바람직하게, 본 발명의 일 실시예에 따른 다시점 영상의 부호화 방법은 연속 비참조 시점 영상 그룹을 결정한 평행화 시점 패턴 또는 시점 보상 패턴으로 부호화하기 이전에, 연속 비참조 시점 영상 그룹을 구성하는 제1 프레임의 발생 비트수에 기초하여 제1 비참조 시점 영상 그룹을 연속 비참조 시점 영상 그룹으로 갱신할지 여부를 판단하는 단계를 더 포함하며, 제1 비참조 시점 영상 그룹을 연속 비참조 시점 영상 그룹으로 갱신하는 경우, 제1 비참조 시점 영상 그룹을 구성하는 각 프레임의 평행화 시점 패턴과 시점 보상 패턴은 연속 비참조 시점 영상 그룹을 구성하는 각 프레임의 평행화 시점 패턴과 시점 보상 패턴으로 결정되어 갱신되는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 다중 시점의 영상 부호화 방법에서 제1 비참조 시점 영상 그룹에서 처음으로 입력되는 제1 프레임의 발생 비트수와 연속 비참조 시점 영상 그룹에서 처음으로 입력되는 제1 프레임의 발생 비트수를 차감하여 차감 비트수가 차감 임계값을 초과하는 경우 제1 비참조 시점 영상 그룹을 연속 비참조 시점 영상 그룹으로 갱신하는 것을 특징으로 한다.
바람직하게, 제1 비참조 시점 영상 그룹의 평행화 시점 패턴과 시점 보상 패턴을 결정하는 단계는 제1 비참조 시점 영상 그룹을 구성하는 각 프레임의 발생 비트수와 제1 비참조 시점 영상 그룹의 평균 발생 비트수를 비교하는 단계와, 각 프레임의 발생 비트수와 평균 발생 비트수의 비교 결과에 기초하여 각 프레임별로 시점 보상 패턴을 양방향 시점 보상 또는 단방향 시점 보상 중 어느 하나의 시점 보상 패턴으로 결정하는 단계와, 각 프레임별 좌측 기준 시점 프레임과의 발생 비트수 차이 및 각 프레임별 우측 기준 시점 프레임과의 발생 비트수 차이에 기초하여 좌측 기준 시점 또는 우측 기준 시점 중 어느 하나로 각 프레임별 평행화 시점 패턴을 결정하는 단계를 포함하는 것을 특징으로 한다.
바람직하게, 제1 비참조 시점 영상 그룹의 프레임별 시점 보상 패턴을 결정하는 단계는 제1 비참조 시점 영상 그룹을 구성하는 프레임의 발생 비트수가 평균 발생 비트수보다 큰 경우 양방향 시점 보상으로 시점 보상 패턴을 결정하는 것을 특징으로 한다.
바람직하게, 제1 비참조 시점 영상 그룹의 프레임별 시점 보상 패턴을 결정하는 단계는 제1 비참조 시점 영상 그룹을 구성하는 프레임의 발생 비트수가 평균 발생 비트수보다 작은 경우 프레임과 좌측 기준 시점 프레임 사이의 발생 비트수 차이를 프레임과 우측 기준 시점 프레임 사이의 발생 비트수 차이와 비교하는 단계, 프레임과 좌측 기준 시점 프레임 사이의 발생 비트수 차이가 프레임과 우측 기준 시점 프레임 사이의 발생 비트수 차이보다 작은 큰 경우 프레임과 좌측 기준 시점 프레임 사이의 발생 비트수 차이를 제1 비참조 시점 영상 그룹의 좌측 기준 시점 프레임과의 발생 비트수 차이의 평균값과 비교하는 단계를 포함하며, 프레임과 좌측 기준 시점 프레임 사이의 발생 비트수 차이가 제1 비참조 시점 영상 그룹의 좌측 기준 시점 프레임과의 발생 비트수 차이의 평균값보다 작은 경우 좌측 기준 시점 프레임을 기준으로 단방향 시점 보상으로 시점 보상 패턴을 결정하는 것을 특징으로 한다.
여기서 프레임과 좌측 기준 시점 프레임 사이의 발생 비트수 차이가 제1 비참조 시점 영상 그룹의 좌측 기준 시점 프레임과의 발생 비트수 차이의 평균값보다 큰 경우 양방향 시점 보상으로 시점 보상 패턴을 결정하는 것을 특징으로 한다.
바람직하게, 제1 비참조 시점 영상 그룹의 프레임별 시점 보상 패턴을 결정하는 단계는 제1 비참조 시점 영상 그룹을 구성하는 프레임의 발생 비트수가 평균 발생 비트수보다 작은 경우 프레임과 좌측 기준 시점 프레임 사이의 발생 비트수 차이를 프레임과 우측 기준 시점 프레임 사이의 발생 비트수 차이와 비교하는 단계, 프레임과 좌측 기준 시점 프레임 사이의 발생 비트수 차이가 프레임과 우측 기준 시점 프레임 사이의 발생 비트수 차이보다 큰 경우 프레임과 우측 기준 시점 프레임 사이의 발생 비트수 차이를 제1 비참조 시점 영상 그룹의 우측 기준 시점 프레임과의 발생 비트수 차이의 평균값과 비교하는 단계를 포함하며, 프레임과 우측 기준 시점 프레임 사이의 발생 비트수 차이가 제1 비참조 시점 영상 그룹의 우측 기준 시점 프레임과의 발생 비트수 차이의 평균값보다 작은 경우 우측 기준 시점 프레임을 기준으로 단방향 시점 보상으로 시점 보상 패턴을 결정하는 것을 특징으로 한다.
여기서 프레임과 우측 기준 시점 프레임 사이의 발생 비트수 차이가 제1 비참조 시점 영상 그룹의 우측 기준 시점 프레임과의 발생 비트수 차이의 평균값보다 큰 경우 양방향 시점 보상으로 시점 보상 패턴을 결정하는 것을 특징으로 한다.
바람직하게, 제1 비참조 시점 영상 그룹의 평균 발생 비트수는 제1 비참조 시점 영상 그룹을 구성하는 프레임을 양방향 시점 보상하여 발생하는 비트 수의 평균으로 계산되는 것을 특징으로 한다.
더욱 바람직하게 제1 비참조 시점 영상 그룹의 평균 발생 비트수는 제1 비참조 시점 영상 그룹을 구성하는 프레임 중 맨 처음 위치하는 앵커(anchor) 프레임을 제외한 나머지 프레임을 양방향 시점 보상하여 발생하는 비트 수의 평균으로 계산되는 것을 특징으로 한다.
한편, 본 발명의 다른 실시예에 따른 다시점 영상의 부호화 방법은 다시점 영상 중 기준 시점과 비참조 시점이 선택되는 단계와, 선택된 비참조 시점에 해당하는 비참조 시점 영상 그룹이 연속하여 입력되는 경우 비참조 시점 영상 그룹 중 제1 비참조 영상 그룹을 구성하는 각 프레임의 평행화 시점 패턴과 시점 보상 패턴을 결정하는 단계와, 결정한 평행화 시점 패턴과 시점 보상 패턴에 따라 제1 비참조 시점 영상 그룹에 연속하여 입력되는 연속 비참조 시점 영상 그룹을 평행화하거나 시점 보상하여 연속 비참조 시점 영상 그룹을 부호화하는 단계를 포함하는 것을 특징으로 한다.
한편, 본 발명의 일 실시예에 따른 다시점 영상의 부호화 장치는 다시점 영상 중 연속하여 입력되는 비참조 시점 영상 그룹에서 제1 비참조 영상 그룹을 구성하는 각 프레임의 평행화 시점 패턴과 시점 보상 패턴을 결정하는 패턴 결정부와, 결정한 평행화 시점 패턴과 시점 보상 패턴에 따라 제1 비참조 시점 영상 그룹에 연속하여 입력되는 연속 비참조 시점 영상 그룹을 평행화하고 시점 보상하여 연속 비참조 시점 영상 그룹을 부호화하는 부호화부를 포함하는 것을 특징으로 한다.
바람직하게, 본 발명의 일 실시예에 따른 다시점 영상의 부호화 장치는 연속 비참조 시점 영상 그룹을 구성하는 제1 프레임의 발생 비트수에 기초하여 제1 비참조 시점 영상 그룹을 연속 비참조 시점 영상 그룹으로 갱신할지 여부를 판단하는 영상 그룹 갱신부를 더 포함하며, 제1 비참조 시점 영상 그룹을 연속 비참조 시점 영상 그룹으로 갱신하는 경우 패턴 결정부는 연속 비참조 시점 영상 그룹을 구성하는 각 프레임의 평행화 시점 패턴과 시점 보상 패턴을 재결정하는 것을 특징으로 한다.
바람직하게, 영상 그룹 갱신부는 제1 비참조 시점 영상 그룹에서 처음으로 입력되는 제1 프레임의 발생 비트수와 연속 비참조 시점 영상 그룹에서 처음으로 입력되는 제1 프레임의 발생 비트수를 차감하여 차감 비트수를 계산하며, 차감 비트수가 차감 임계값보다 큰 경우 제1 비참조 시점 영상 그룹을 연속 비참조 시점 영상 그룹으로 갱신하는 것을 특징으로 한다.
바람직하게, 패턴 결정부는 비참조 시점 영상 그룹 중 제1 비참조 시점 영상 그룹을 구성하는 각 프레임의 평균 발생 비트수를 계산하는 평균 발생 비트수 계산부와, 비참조 시점 영상 그룹 중 제1 비참조 시점 영상 그룹을 구성하는 각 프레임의 발생 비트수와 제1 비참조 시점 영상 그룹의 평균 발생 비트수를 비교하는 발생 비트수 비교부와, 각 프레임의 발생 비트수와 평균 발생 비트수의 비교 결과에 기초하여 각 프레임별로 시점 보상 패턴을 양방향 시점 보상 또는 단방향 시점 보상 중 어느 하나의 시점 보상 패턴으로 결정하는 시점 보상 결정부와, 각 프레임별 좌측 기준 시점 프레임과의 발생 비트수 차이 및 각 프레임별 우측 기준 시점 프레임과의 발생 비트수 차이에 기초하여 좌측 기준 시점 또는 우측 기준 시점 중 어느 하나로 각 프레임별 평행화 시점 패턴을 결정하는 평행화 시점 결정부를 포함하는 것을 특징으로 한다.
여기서 시점 보상 결정부는 제1 비참조 시점 영상 그룹의 좌측 기준 시점 프레임과의 발생 비트수 차이의 좌측 평균값과 제1 비참조 시점 영상 그룹의 우측 기준 시점 프레임과의 발생 비트수 차이의 우측 평균값을 계산하는 차이 평균값 계산부와, 프레임과 좌측 기준 시점 프레임 사이의 좌측 발생 비트수 차이를 프레임과 우측 기준 시점 프레임 사이의 우측 발생 비트수 차이와 비교하는 발생 비트수 차이 비교부와, 좌측 발생 비트수 차이를 상기 좌측 평균값과 비교하는 좌측 비교부와, 우측 발생 비트수 차이를 상기 우측 평균값과 비교하는 우측 비교부와, 각 프레임의 발생 비트수와 평균 발생 비트수의 비교 결과, 좌측 발생 비트수 차이와 우측 발생 비트수 차이의 비교 결과, 좌측 발생 비트수 차이와 좌측 평균값의 비교 결과, 좌측 발생 비트수 차이와 좌측 평균값의 비교 결과에 기초하여 각 프레임별로 시점 보상 패턴을 양방향 시점 보상 또는 단방향 시점 보상 중 어느 하나의 시점 보상 패턴으로 결정하는 시점 결정부를 포함하는 것을 특징으로 한다.
본 발명에 따른 다시점 영상의 부호화 방법 및 그 장치는 다음과 같은 다양한 효과를 가진다.
첫째, 본 발명에 따른 다시점 영상의 부호화 방법은 비참조 시점 영상 그룹의 부호화의 경우 비참조 시점 영상 그룹을 구성하는 프레임의 발생 비트수, 좌측 기준 시점 영상과의 발생 비트수 차이, 우측 기준 시점 영상과의 발생 비트수 차이의 영상 특성에 기초하여 시차 보정 패턴과 평행화 시점 패턴을 결정함으로써, 영상 품질의 저하없이 높은 압축율로 부호화할 수 있다.
둘째, 본 발명에 따른 다시점 영상의 부호화 방법은 비참조 시점 영상 그룹에 연속하여 입력되는 연속 비참조 시점 영상 그룹도 비참조 시점 영상 그룹과 유사한 영상 특성을 가진다는 점에 착안하여 연속 비참조 시점 영상을 비참조 시점 영상 그룹의 시차 보정 패턴 및 평행화 시점 패턴에 따라 부호화함으로써, 연속하여 입력되는 비참조 시점 영상 그룹을 적은 연산량으로 부호화할 수 있다
셋째, 본 발명에 따른 다시점 영상의 부호화 방법은 연속 비참조 시점 영상 그룹에서 처음으로 입력되는 프레임의 발생 비트수에 기초하여 비참조 시점 영상 그룹을 연속 비참조 시점 영상 그룹으로 갱신함으로써, 영상 변화가 큰 영상을 모니터링하여 시차 보정 패턴 또는 평행화 시점 패턴을 정확하게 결정할 수 있다.
도 1은 종래 통상적인 다시점 영상의 압축 부호화 방법을 설명하기 위한 기능 블록도이다.
도 2는 계층적 B 프레임 구조의 그룹 픽쳐 그룹의 일 예를 도시하고 있다.
도 3은 본 발명의 일 실시예에 따른 다시점 영상의 부호화 장치를 설명하기 위한 기능 블록도이다.
도 4는 본 발명에 따른 패턴 결정부의 일 예를 설명하기 위한 기능 블록도이다.
도 5는 본 발명에 따른 시점 보상 결정부의 일 예를 설명하기 위한 기능 블록도이다.
도 6은 본 발명의 일 실시예에 따른 다시점 영상의 부호화 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 비참조 시점 영상의 평행화 시점 패턴 및 시점 보상 패턴을 결정하는 방법을 설명하기 위한 흐름도이다.
도 8은 "Akko&Kayo", "Exit" 및 "Race1"의 영상에 대한 발생 비트수와 평균 발생 비트수의 일 예를 도시하고 있다.
도 9는 본 발명에 따른 시점 보상 패턴을 결정하는 단계의 일 예를 설명하기 위한 흐름도이다.
도 10은 "Akko&Kayo", "Exit" 및 "Race1"의 영상에 대해 프레임과 좌측 기준 시점 프레임 사이의 발생 비트수 차이(dbLO)와 제1 비참조 시점 영상 그룹의 좌측 기준 시점 프레임과의 발생 비트수 차이의 평균값(db_AVGL0)의 일 예를 도시하고 있다.
이하 첨부한 도면을 참고로 본 발명에 따른 다시점 영상의 부호화 방법 및 그 장치에 대해 보다 구체적으로 설명한다.
도 3은 본 발명의 일 실시예에 따른 다시점 영상의 부호화 장치를 설명하기 위한 기능 블록도이다.
도 3을 참고로 보다 구체적으로 살펴보면, 패턴 결정부(200)는 다시점 영상 중 연속하여 입력되는 비참조 시점 영상 그룹 중 제1 비참조 시점 영상 그룹을 구성하는 각 프레임의 영상 특성에 기초하여 각 프레임의 평행화 시점 패턴과 시점 보상 패턴을 결정한다. 패턴 결정부(200)에서 제1 비참조 시점 영상 그룹의 평행화 시점 패턴과 시점 보상 패턴이 결정되는 경우, 부호화부(300)는 결정한 평행화 시점 패턴과 시점 보상 패턴과 동일하게 제1 비참조 시점 영상 그룹에 연속하여 입력되는 연속 비참조 시점 영상 그룹을 평행화하고 시점 보상하여 연속 비참조 시점 영상 그룹을 부호화한다.
여기서 비참조 시점 영상 그룹은 계층적 B 프레임 구조(hierarchical B picture structure)인 것을 특징으로 한다.
제1 비참조 시점 영상 그룹의 평행화 패턴과 시점 보상 패턴이 결정된 후, 영상 그룹 갱신부(100)는 제1 비참조 시점 영상 그룹에 연속하여 연속 비참조 시점 영상 그룹이 입력되는 경우 연속 비참조 시점 영상 그룹을 구성하는 제1 프레임의 발생 비트수에 기초하여 제1 비참조 시점 영상 그룹을 연속 비참조 시점 영상 그룹으로 갱신할지 여부를 판단한다. 영상 그룹 갱신부(100)에서 제1 비참조 시점 영상 그룹을 연속 비참조 시점 영상 그룹으로 갱신하는 것으로 판단한 경우, 패턴 결정부(200)는 연속 비참조 시점 영상 그룹을 구성하는 각 프레임으로부터 평행화 시점 패턴과 시점 보상 패턴을 재결정하여 갱신하며 부호화부(300)는 연속 비참조 시점 영상 그룹에 연속하여 입력되는 비참조 시점 영상 그룹을 갱신한 평행화 시점 패턴과 시점 보상 패턴으로 부호화한다.
바람직하게, 영상 그룹 갱신부(100)는 제1 비참조 시점 영상 그룹에서 처음으로 입력되는 제1 프레임의 발생 비트수와 연속 비참조 시점 영상 그룹에서 처음으로 입력되는 제1 프레임의 발생 비트수를 차감하여 차감 비트수를 계산하며, 차감 비트수가 차감 임계값보다 큰 경우 제1 비참조 시점 영상 그룹을 연속 비참조 시점 영상 그룹으로 갱신하는 것을 특징으로 한다.
도 4는 본 발명에 따른 패턴 결정부의 일 예를 설명하기 위한 기능 블록도이다.
도 4를 참고로 살펴보면, 평균 발생 비트수 계산부(210)는 다시점 영상 중 비참조 시점 영상 그룹이 연속하여 입력되는 경우, 제1 비참조 시점 영상 그룹 그룹의 평균 발생 비트수를 계산한다. 여기서 각 비참조 시점 영상 그룹은 다수의 프레임으로 구성되며, 비참조 시점 영상 그룹 단위로 연속하여 입력된다. 비참조 시점 영상 그룹 중 제1 비참조 시점 영상 그룹을 구성하는 프레임들의 발생 비트수의 평균값을 계산한다. 여기서 발생 비트수란 비참조 시점 영상 그룹을 구성하는 각 프레임을 양방향 시점 보상 방식으로 시점 보상시 발생하는 비트수를 의미한다.
발생 비트수 비교부(220)는 제1 비참조 시점 영상 그룹을 구성하는 각 프레임의 발생 비트수와 제1 비참조 시점 영상 그룹의 평균 발생 비트수를 비교하여, 각 프레임의 발생 비트수와 제1 비참조 시점 영상 그룹의 평균 발생 비트수 중 어느 것이 더 큰지 판단한다.
시점 보상 결정부(230)는 발생 비트수 비교부(220)의 비교 결과에 기초하여, 프레임의 발생 비트수가 제1 비참조 시점 영상 그룹의 평균 발생 비트수보다 큰 경우에는 해당 프레임의 시점 보상 패턴을 양방향 시점 보상으로 결정하며, 프레임의 발생 비트수가 제1 비참조 시점 영상 그룹의 평균 발생 비트수보다 작은 경우에는 해당 프레임의 시점 보상 패턴을 양방향 시점 보상 또는 단방향 시점 보상 패턴 중 어느 하나로 결정한다.
바람직하게, 시점 보상 결정부(230)는 프레임의 발생 비트수가 제1 비참조 시점 영상 그룹의 평균 발생 비트수보다 작은 경우, 프레임과 좌측 기준 시점 프레임 사이의 좌측 발생 비트수 차이, 프레임과 우측 기준 시점 프레임 사이의 우측 발생 비트수 차이, 제1 비참조 시점 영상 그룹의 좌측 기준 시점 프레임과의 발생 비트수 차이의 좌측 평균값, 제1 비참조 시점 영상 그룹의 우측 기준 시점 프레임과의 발생 비트수 차이의 우측 평균값에 기초하여 양방향 시점 보상 또는 단방향 시점 보상 패턴 중 어느 하나의 시점 보상 패턴을 결정하며, 단방향 시점 보상 패턴으로 결정되는 경우 다시 좌측 기준 시점 프레임 또는 우측 기준 시점 프레임 중 어느 기준 시점 프레임으로 시점 보상할지 결정한다.
평행화 시점 결정부(240)는 각 프레임별 좌측 기준 시점 프레임과의 발생 비트수 차이 및 각 프레임별 우측 기준 시점 프레임과의 발생 비트수 차이에 기초하여 좌측 기준 시점 또는 우측 기준 시점 중 어느 하나로 각 프레임별 평행화 시점 패턴을 결정한다. 여기서 평행화 시점 결정부(240)는 시점 보상 결정부(230)에서 시점 보상 패턴이 단방향 시점 보상 패턴으로 결정된 프레임의 경우에는 결정된 기준 시점 프레임과 동일한 기준 시점 프레임으로 평행화 시점 패턴을 결정한다.
도 5는 본 발명에 따른 시점 보상 결정부의 일 예를 설명하기 위한 기능 블록도이다.
도 5를 참고로 보다 구체적으로 살펴보면, 차이 평균값 계산부(231)는 제1 비참조 시점 영상 그룹의 좌측 기준 시점 프레임과의 발생 비트수 차이의 좌측 평균값(dbAVGL0) 및 제1 비참조 시점 영상 그룹의 우측 기준 시점 프레임과의 발생 비트수 차이의 우측 평균값(dbAVGL1)을 계산한다.
발생 비트수 차이 계산부(233)는 제1 비참조 시점 영상 그룹을 구성하는 각 프레임과 좌측 기준 시점 프레임 사이의 좌측 발생 비트수 차이(dbL0)를 계산하고, 제1 비참조 시점 영상 그룹을 구성하는 각 프레임과 우측 기준 시점 프레임 사이의 우측 발생 비트수 차이(dbL1)를 계산한다.
시점 결정부(235)는 각 프레임의 발생 비트수와 평균 발생 비트수의 비교 결과, 좌측 발생 비트수 차이와 우측 발생 비트수 차이의 비교 결과, 좌측 발생 비트수 차이와 좌측 평균값의 비교 결과, 좌측 발생 비트수 차이와 좌측 평균값의 비교 결과에 기초하여, 제1 비참조 시점 영상 그룹을 구성하는 각 프레임별로 시점 보상 패턴을 양방향 시점 보상 또는 단방향 시점 보상 중 어느 하나의 시점 보상 패턴으로 결정한다.
도 6은 본 발명의 일 실시예에 따른 다시점 영상의 부호화 방법을 설명하기 위한 흐름도이다.
도 6을 참고로 보다 구체적으로 살펴보면, 다시점 영상 중 비참조 시점 영상 그룹이 연속하여 입력된다(S110). 비참조 시점 영상 그룹 중 제1 비참조 시점 영상 그룹이 입력되며, 제1 비참조 시점 영상 그룹에 연속하여 연속 비참조 시점 영상 그룹이 입력된다.
연속 비참조 시점 영상 그룹 중 처음으로 입력되는 제1 프레임의 영상 특성, 즉 제1 프레임의 발생 비트수에 기초하여 제1 비참조 시점 영상 그룹을 연속 비참조 시점 영상 그룹으로 갱신할지 여부를 판단하는데, 제1 비참조 시점 영상 그룹에서 처음으로 입력되는 제1 프레임의 발생 비트수와 연속 비참조 시점 영상 그룹에서 처음으로 입력되는 제1 프레임의 발생 비트수를 차감하여 차감 비트수를 계산하고, 계산한 차감 비트수가 차감 임계값보다 큰지 판단한다(S120). 차감 비트수가 차감 임계값보다 작은 경우에는 연속 비참조 시점 영상 그룹과 제1 비참조 시점 영상 그룹 사이의 영상 변화가 적은 것으로 판단하여 연속 비참조 시점 영상 그룹을 구성하는 각 프레임의 평행화 시점 패턴과 시점 보상 패턴을 제1 비참조 시점 영상 그룹을 구성하는 대응하는 프레임의 평행화 시점 패턴과 시점 보상 패턴과 동일하게 설정하여 연속 비참조 시점 영상 그룹을 부호화한다(S140).
그러나 차감 비트수가 차감 임계값보다 큰 경우에는 연속 비참조 시점 영상 그룹과 제1 비참조 시점 영상 그룹 사이에 영상 변화가 큰 것으로 판단하여 제1 비참조 시점 영상 그룹을 연속 비참조 시점 영상 그룹으로 갱신한다(S130).
제1 비참조 시점 영상 그룹을 연속 비참조 시점 영상 그룹으로 갱신하는 경우, 연속 비참조 시점 영상 그룹을 구성하는 각 프레임의 평행화 시점 패턴과 시점 보상 패턴을 재결정하며, 연속 비참조 시점 영상 그룹과 연속 비참조 시점 영상 그룹에 연속하여 입력되는 비참조 시점 영상 그룹에 대해서는 재결정한 평행화 시점 패턴과 시점 보상 패턴으로 부호화를 수행한다.
도 7은 본 발명의 일 실시예에 따른 비참조 시점 영상의 평행화 시점 패턴 및 시점 보상 패턴을 결정하는 방법을 설명하기 위한 흐름도이다.
도 7을 참고로 보다 구체적으로 살펴보면, 연속하여 입력되는 비참조 시점 영상 그룹 중 제1 비참조 시점 영상 그룹을 구성하는 각 프레임의 발생 비트수(gb BI)와 제1 비참조 시점 영상 그룹의 평균 발생 비트수(gb AVG)를 비교한다(S210). 여기서 각 프레임의 발생 비트수는 제1 비참조 시점 영상 그룹의 각 프레임을 양방향 시점 보상으로 부호화시 발생하는 비트수이며, 평균 발생 비트수는 제1 비참조 시점 영상 그룹을 구성하는 프레임의 발생 비트수의 평균값이다.
도 8은 "Akko&Kayo", "Exit" 및 "Race1"의 영상에 대한 발생 비트수와 평균 발생 비트수(점선으로 표시)의 일 예를 도시하고 있는데, 도 8에 도시되어 있는 바와 같이 연속하여 입력되는 비참조 시점 영상 그룹(GoP1, GoP2, GoP3, GoP4,...)에서 제1 프레임에서는 큰 비트수가 발생함을 알 수 있다. 비참조 시점 영상 그룹에서 제1 프레임을 제외하여 발생 비트수의 평균을 정확하게 판단할 수 있다.
따라서 바람직하게 제1 비참조 시점 영상 그룹의 평균 발생 비트수는 제1 비참조 시점 영상 그룹을 구성하는 프레임 중 맨 처음 위치하는 앵커(anchor) 프레임을 제외한 나머지 프레임을 양방향 시점 보상하여 발생하는 비트 수의 평균으로 계산되는 것을 특징으로 한다.
다시 도 7을 참고로 살펴보면, 제1 비참조 시점 영상 그룹을 구성하는 각 프레임의 발생 비트수와 제1 비참조 시점 영상 그룹의 평균 발생 비트수를 비교하여 프레임의 발생 비트수가 평균 발생 비트수보다 큰 경우에는 양방향 시점 보상으로 해당 프레임의 보상 시점 패턴을 결정한다(S220). 그러나 프레임의 발생 비트수가 평균 발생 비트수보다 작은 경우에는 양방향 시점 보상 또는 단방향 시점 보상 중 어느 하나의 시점 보상 패턴으로 해당 프레임의 보상 시점 패턴을 결정한다(S230).
각 프레임별 좌측 기준 시점 프레임과의 발생 비트수 차이, 각 프레임별 우측 기준 시점 프레임과의 발생 비트수 차이, 단방향 시점으로 시점 보상 패턴이 결정된 경우 시점 보상이 되는 기준 시점에 기초하여 좌측 기준 시점 또는 우측 기준 시점 중 어느 하나로 각 프레임별 평행화 시점 패턴을 결정한다(S240).
평행화 시점 패턴을 결정하는 방법을 보다 구체적으로 살펴보면, 양방향 시점 보상으로 결정되고 제1 비참조 시점 영상 그룹의 각 프레임에서 좌측 기준 시점 프레임과의 발생 비트수 차이가 우측 기준 시점 프레임과의 발생 비트수 차이보다 작은 경우에는 좌측 기준 시점으로 평행화 시점 패턴을 결정하며, 제1 비참조 시점 영상 그룹의 각 프레임에서 좌측 기준 시점 프레임과의 발생 비트수 차이가 우측 기준 시점 프레임과의 발생 비트수 차이보다 큰 경우에는 우측 기준 시점으로 평행화 시점 패턴을 결정한다. 한편, 단방향 시점으로 시점 보상 패턴이 결정된 경우 시점 보상이 되는 기준 시점과 동일한 기준 시점으로 평행화 시점 패턴을 결정한다.
도 9는 본 발명에 따른 시점 보상 패턴을 결정하는 단계의 일 예를 설명하기 위한 흐름도이다.
프레임의 발생 비트수가 평균 발생 비트수보다 작은 경우에는 양방향 시점 보상 또는 단방향 시점 보상 중 어느 하나의 시점 보상 패턴으로 해당 프레임의 보상 시점 패턴을 결정하는데, 도 9를 참고로 보다 구체적으로 살펴본다.
제1 비참조 시점 영상 그룹의 각 프레임과 좌측 기준 시점 프레임 사이의 발생 비트수 차이(dbL0)를 제1 비참조 시점 영상 그룹의 각 프레임과 우측 기준 시점 프레임 사이의 발생 비트수 차이(dbL1)와 비교한다(S231). 여기서 프레임과 좌측 기준 시점 프레임 사이의 발생 비트수 차이는 프레임을 양방향 시점 보상하여 발생한 비트수와 좌측 기준 시점 프레임으로 시점 보상하여 발생한 비트수의 차이를 의미한다. 한편, 프레임과 우측 기준 시점 프레임 사이의 발생 비트수 차이는 프레임을 양방향 시점 보상하여 발생한 비트수와 우측 기준 시점 프레임으로 시점 보상하여 발생한 비트수의 차이를 의미한다.
프레임과 좌측 기준 시점 프레임 사이의 발생 비트수 차이(dbL0)가 프레임과 우측 기준 시점 프레임 사이의 발생 비트수 차이(dbL1)보다 작은 경우, 프레임과 좌측 기준 시점 프레임 사이의 발생 비트수 차이(dbL0)를 제1 비참조 시점 영상 그룹의 좌측 기준 시점 프레임과의 발생 비트수 차이의 평균값(db_AVGL0)과 비교한다(S233). 여기서 제1 비참조 시점 영상 그룹의 좌측 기준 시점 프레임과의 발생 비트수 차이의 평균값(db_AVGL0)은 제1 비참조 시점 영상 그룹을 구성하는 프레임들에 대해 프레임을 양방향 시점 보상하여 발생한 비트수와 좌측 기준 시점 프레임으로 시점 보상하여 발생한 비트수의 차이의 평균값으로 계산된다.
도 10은 "Akko&Kayo", "Exit" 및 "Race1"의 영상에 대해 프레임과 좌측 기준 시점 프레임 사이의 발생 비트수 차이(dbLO)와 제1 비참조 시점 영상 그룹의 좌측 기준 시점 프레임과의 발생 비트수 차이의 평균값(db_AVGL0, 점선으로 표시)의 일 예를 도시하고 있다. 도 10에 도시되어 있는 바와 같이 연속하여 입력되는 비참조 시점 영상 그룹(GoP1, GoP2, GoP3, GoP4,...)의 제1 프레임에서는 큰 발생 비트수 차이를 가짐을 알 수 있다. 바람직하게, 제1 비참조 시점 영상 그룹의 좌측 기준 시점 프레임과의 발생 비트수 차이의 평균값(db_AVGL0)는 제1 비참조 시점 영상 그룹을 구성하는 프레임 중 맨 처음 위치하는 앵커(anchor) 프레임을 제외한 나머지 프레임의 발생 비트수 차이의 평균값으로 계산되는 것을 특징으로 한다.
다시 도 9를 참고로 살펴보면, 프레임과 좌측 기준 시점 프레임 사이의 발생 비트수 차이가 제1 비참조 시점 영상 그룹의 좌측 기준 시점 프레임과의 발생 비트수 차이의 평균값보다 작은 경우, 좌측 기준 시점 프레임을 단방향 시점 보상의 기준 시점 프레임으로 시점 보상 패턴을 결정한다(S235). 그러나 프레임과 좌측 기준 시점 프레임 사이의 발생 비트수 차이가 제1 비참조 시점 영상 그룹의 좌측 기준 시점 프레임과의 발생 비트수 차이의 평균값보다 큰 경우 양방향 시점 보상으로 시점 보상 패턴을 결정한다(S234).
좌측 기준 시점 프레임을 단방향 시점 보상의 기준 시점 프레임으로 시점 보상 패턴을 결정하는 경우, 해당 프레임에 대한 평행화 시점도 이와 동일하게 좌측 기준 시점으로 선택된다.
그러나 프레임과 좌측 기준 시점 프레임 사이의 발생 비트수 차이가 제1 비참조 시점 영상 그룹의 좌측 기준 시점 프레임과의 발생 비트수 차이의 평균값보다 커 양방향 시점 보상으로 시점 보상 패턴이 결정되는 경우, 프레임과 대응하는 좌측 기준 시점 프레임과의 발생 비트수 차이가 대응하는 우측 기준 시점 프레임과의 발생 비트수 차이보다 작은 경우에는 좌측 기준 시점으로 평행화 시점 패턴을 결정하며, 대응하는 좌측 기준 시점 프레임과의 발생 비트수 차이가 해당하는 우측 기준 시점 프레임과의 발생 비트수 차이보다 큰 경우에는 우측 기준 시점으로 평행화 시점 패턴을 결정한다.
한편, 프레임과 좌측 기준 시점 프레임 사이의 발생 비트수 차이(dbL0)가 프레임과 우측 기준 시점 프레임 사이의 발생 비트수 차이(dbL1)보다 큰 경우, 프레임과 우측 기준 시점 프레임 사이의 발생 비트수 차이(dbL1)를 제1 비참조 시점 영상 그룹의 우측 기준 시점 프레임과의 발생 비트수 차이의 평균값(db_AVGL1)과 비교한다(S237). 여기서 제1 비참조 시점 영상 그룹의 우측 기준 시점 프레임과의 발생 비트수 차이의 평균값(db_AVGL1)은 제1 비참조 시점 영상 그룹을 구성하는 프레임들에 대해 프레임을 양방향 시점 보상하여 발생한 비트수와 우측 기준 시점 프레임으로 시점 보상하여 발생한 비트수의 차이의 평균값으로 계산된다.
바람직하게, 제1 비참조 시점 영상 그룹의 우측 기준 시점 프레임과의 발생 비트수 차이의 평균값(db_AVGL1)는 제1 비참조 시점 영상 그룹을 구성하는 프레임 중 맨 처음 위치하는 앵커(anchor) 프레임을 제외한 나머지 프레임의 발생 비트수 차이의 평균값으로 계산되는 것을 특징으로 한다.
프레임과 우측 기준 시점 프레임 사이의 발생 비트수 차이가 제1 비참조 시점 영상 그룹의 우측 기준 시점 프레임과의 발생 비트수 차이의 평균값보다 작은 경우, 우측 기준 시점 프레임을 단방향 시점 보상의 기준 시점 프레임으로 시점 보상 패턴을 결정한다(S239). 그러나 프레임과 우측 기준 시점 프레임 사이의 발생 비트수 차이가 제1 비참조 시점 영상 그룹의 우측 기준 시점 프레임과의 발생 비트수 차이의 평균값보다 큰 경우 양방향 시점 보상으로 시점 보상 패턴을 결정한다(S238).
우측 기준 시점 프레임을 단방향 시점 보상의 기준 시점 프레임으로 시점 보상 패턴을 결정하는 경우, 해당 프레임에 대한 평행화 시점도 이와 동일하게 우측 기준 시점으로 선택된다.
그러나 프레임과 우측 기준 시점 프레임 사이의 발생 비트수 차이가 제1 비참조 시점 영상 그룹의 우측 기준 시점 프레임과의 발생 비트수 차이의 평균값보다 커 양방향 시점 보상으로 시점 보상 패턴이 결정되는 경우, 프레임과 대응하는 좌측 기준 시점 프레임과의 발생 비트수 차이가 대응하는 우측 기준 시점 프레임과의 발생 비트수 차이보다 작은 경우에는 좌측 기준 시점으로 평행화 시점 패턴을 결정하며, 대응하는 좌측 기준 시점 프레임과의 발생 비트수 차이가 해당하는 우측 기준 시점 프레임과의 발생 비트수 차이보다 큰 경우에는 우측 기준 시점으로 평행화 시점 패턴을 결정한다.
한편, 상술한 본 발명의 실시 예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록 매체는 마그네틱 저장 매체(예를 들어, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장 매체를 포함한다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100:영상 그룹 갱신부 200: 패턴 결정부
300: 부호화부 210: 평균 발생 비트수 계산부
220: 발생 비트수 비교부 230: 시점 보상 결정부
240: 평행화 시점 결정부 231: 차이 평균값 계산부
233: 발생 비트수 계산부 235: 시점 결정부

Claims (21)

  1. 다시점 영상 중 연속하여 입력되는 비참조 시점 영상 그룹에서 제1 비참조 시점 영상 그룹을 구성하는 각 프레임의 평행화 시점 패턴과 시점 보상 패턴을 결정하는 단계;
    상기 제1 비참조 시점 영상 그룹에 연속하여 입력되는 연속 비참조 시점 영상 그룹을 구성하는 제1 프레임의 발생 비트수에 기초하여 상기 제1 비참조 시점 영상 그룹을 상기 연속 비참조 시점 영상 그룹으로 갱신할지 여부를 판단하는 단계;
    상기 제1 비참조 시점 영상 그룹을 상기 연속 비참조 시점 영상 그룹으로 갱신하는 경우, 상기 제1 비참조 시점 영상 그룹을 구성하는 각 프레임의 평행화 시점 패턴과 시점 보상 패턴을 상기 연속 비참조 시점 영상 그룹을 구성하는 각 프레임의 평행화 시점 패턴과 시점 보상 패턴으로 갱신하는 단계; 및
    상기 연속 비참조 시점 영상 그룹에 연속하여 입력되는 비참조 시점 영상 그룹을 갱신한 상기 평행화 시점 패턴 또는 시점 보상 패턴에 따라 평행화하거나 시점 보상하여 비참조 시점 영상 그룹을 부호화하는 단계를 포함하는 것을 특징으로 하는 다시점 영상의 부호화 방법.
  2. 제 1 항에 있어서,
    상기 비참조 시점 영상 그룹은 계층적 B 프레임 구조(hierarchical B picture structure)인 것을 특징으로 하는 다시점 영상의 부호화 방법.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 제1 비참조 시점 영상 그룹에서 처음으로 입력되는 제1 프레임의 발생 비트수와 상기 연속 비참조 시점 영상 그룹에서 처음으로 입력되는 제1 프레임의 발생 비트수를 차감하여 차감 비트수가 차감 임계값을 초과하는 경우 상기 제1 비참조 시점 영상 그룹을 상기 연속 비참조 시점 영상 그룹으로 갱신하는 것을 특징으로 하는 다시점 영상의 부호화 방법.
  5. 다시점 영상 중 연속하여 입력되는 비참조 시점 영상 그룹에서 제1 비참조 시점 영상 그룹을 구성하는 각 프레임의 발생 비트수와 상기 제1 비참조 시점 영상 그룹의 평균 발생 비트수를 비교하는 단계;
    상기 각 프레임의 발생 비트수와 상기 평균 발생 비트수의 비교 결과에 기초하여, 상기 각 프레임별로 시점 보상 패턴을 양방향 시점 보상 또는 단방향 시점 보상 중 어느 하나의 시점 보상 패턴으로 결정하는 단계;
    상기 각 프레임별 좌측 기준 시점 프레임과의 발생 비트수 차이 및 상기 각 프레임별 우측 기준 시점 프레임과의 발생 비트수 차이에 기초하여 좌측 기준 시점 또는 우측 기준 시점 중 어느 하나로 상기 각 프레임별 평행화 시점 패턴을 결정하는 단계; 및
    결정한 상기 평행화 시점 패턴과 시점 보상 패턴에 따라 상기 제1 비참조 시점 영상 그룹에 연속하여 입력되는 연속 비참조 시점 영상 그룹을 평행화하거나 시점 보상하여 상기 연속 비참조 시점 영상 그룹을 부호화하는 단계를 포함하는 것을 특징으로 하는 다시점 영상의 부호화 방법.
  6. 제 5 항에 있어서, 상기 제1 비참조 시점 영상 그룹의 프레임별 시점 보상 패턴을 결정하는 단계는
    상기 제1 비참조 시점 영상 그룹을 구성하는 프레임의 발생 비트수가 상기 평균 발생 비트수보다 큰 경우 양방향 시점 보상으로 시점 보상 패턴을 결정하는 것을 특징으로 하는 다시점 영상의 부호화 방법.
  7. 제 6 항에 있어서, 상기 제1 비참조 시점 영상 그룹의 프레임별 시점 보상 패턴을 결정하는 단계는
    상기 제1 비참조 시점 영상 그룹을 구성하는 프레임의 발생 비트수가 상기 평균 발생 비트수보다 작은 경우,
    상기 프레임과 좌측 기준 시점 프레임 사이의 발생 비트수 차이를 상기 프레임과 우측 기준 시점 프레임 사이의 발생 비트수 차이와 비교하는 단계; 및
    상기 프레임과 좌측 기준 시점 프레임 사이의 발생 비트수 차이가 상기 프레임과 우측 기준 시점 프레임 사이의 발생 비트수 차이보다 작은 큰 경우, 상기 프레임과 좌측 기준 시점 프레임 사이의 발생 비트수 차이를 상기 제1 비참조 시점 영상 그룹의 좌측 기준 시점 프레임과의 발생 비트수 차이의 평균값과 비교하는 단계를 포함하며,
    상기 프레임과 좌측 기준 시점 프레임 사이의 발생 비트수 차이가 상기 제1 비참조 시점 영상 그룹의 좌측 기준 시점 프레임과의 발생 비트수 차이의 평균값보다 작은 경우, 좌측 기준 시점 프레임을 단방향 시점 보상의 기준 시점 프레임으로 시점 보상 패턴을 결정하는 것을 특징으로 하는 다시점 영상의 부호화 방법.
  8. 제 7 항에 있어서,
    상기 프레임과 좌측 기준 시점 프레임 사이의 발생 비트수 차이가 상기 제1 비참조 시점 영상 그룹의 좌측 기준 시점 프레임과의 발생 비트수 차이의 평균값보다 큰 경우 양방향 시점 보상으로 시점 보상 패턴을 결정하는 것을 특징으로 하는 다시점 영상의 부호화 방법.
  9. 제 6 항에 있어서, 상기 제1 비참조 시점 영상 그룹의 프레임별 시점 보상 패턴을 결정하는 단계는
    상기 제1 비참조 시점 영상 그룹을 구성하는 프레임의 발생 비트수가 상기 평균 발생 비트수보다 작은 경우,
    상기 프레임과 좌측 기준 시점 프레임 사이의 발생 비트수 차이를 상기 프레임과 우측 기준 시점 프레임 사이의 발생 비트수 차이와 비교하는 단계; 및
    상기 프레임과 좌측 기준 시점 프레임 사이의 발생 비트수 차이가 상기 프레임과 우측 기준 시점 프레임 사이의 발생 비트수 차이보다 큰 경우, 상기 프레임과 우측 기준 시점 프레임 사이의 발생 비트수 차이를 상기 제1 비참조 시점 영상 그룹의 우측 기준 시점 프레임과의 발생 비트수 차이의 평균값과 비교하는 단계를 포함하며,
    상기 프레임과 우측 기준 시점 프레임 사이의 발생 비트수 차이가 상기 제1 비참조 시점 영상 그룹의 우측 기준 시점 프레임과의 발생 비트수 차이의 평균값보다 작은 경우, 우측 기준 시점 프레임을 단방향 시점 보상의 기준 시점 프레임으로 시점 보상 패턴을 결정하는 것을 특징으로 하는 다시점 영상의 부호화 방법.
  10. 제 9 항에 있어서,
    상기 프레임과 우측 기준 시점 프레임 사이의 발생 비트수 차이가 상기 제1 비참조 시점 영상 그룹의 우측 기준 시점 프레임과의 발생 비트수 차이의 평균값보다 큰 경우 양방향 시점 보상으로 시점 보상 패턴을 결정하는 것을 특징으로 하는 다시점 영상의 부호화 방법.
  11. 제 7 항 또는 제 9 항에 있어서, 상기 제1 비참조 시점 영상 그룹의 평균 발생 비트수는
    상기 제1 비참조 시점 영상 그룹을 구성하는 프레임을 양방향 시점 보상하여 발생하는 비트 수의 평균으로 계산되는 것을 특징으로 하는 다시점 영상의 부호화 방법.
  12. 제 11 항에 있어서, 상기 제1 비참조 시점 영상 그룹의 평균 발생 비트수는
    상기 제1 비참조 시점 영상 그룹을 구성하는 프레임 중 맨 처음 위치하는 앵커(anchor) 프레임을 제외한 나머지 프레임을 양방향 시점 보상하여 발생하는 비트 수의 평균으로 계산되는 것을 특징으로 하는 다시점 영상의 부호화 방법.
  13. 다시점 영상 중 기준 시점과 비참조 시점이 선택되는 단계;
    선택된 상기 비참조 시점에 해당하는 비참조 시점 영상 그룹이 연속하여 입력되는 경우, 상기 비참조 시점 영상 그룹 중 제1 비참조 영상 그룹을 구성하는 각 프레임의 평행화 시점 패턴과 시점 보상 패턴을 결정하는 단계;
    상기 제1 비참조 시점 영상 그룹에 연속하여 입력되는 연속 비참조 시점 영상 그룹을 구성하는 제1 프레임의 발생 비트수에 기초하여 상기 제1 비참조 시점 영상 그룹을 상기 연속 비참조 시점 영상 그룹으로 갱신할지 여부를 판단하는 단계;
    상기 제1 비참조 시점 영상 그룹을 상기 연속 비참조 시점 영상 그룹으로 갱신하는 경우, 상기 제1 비참조 시점 영상 그룹을 구성하는 각 프레임의 평행화 시점 패턴과 시점 보상 패턴을 상기 연속 비참조 시점 영상 그룹을 구성하는 각 프레임의 평행화 시점 패턴과 시점 보상 패턴으로 갱신하는 단계; 및
    상기 연속 비참조 시점 영상 그룹에 연속하여 입력되는 비참조 시점 영상 그룹을 갱신한 상기 평행화 시점 패턴 또는 시점 보상 패턴에 따라 평행화하거나 시점 보상하여 비참조 시점 영상 그룹을 부호화하는 단계를 포함하는 것을 특징으로 하는 다시점 영상의 부호화 방법.
  14. 제 13 항에 있어서,
    상기 비참조 시점 영상 그룹은 계층적 B 프레임 구조(hierarchical B picture structure)인 것을 특징으로 하는 다시점 영상의 부호화 방법.
  15. 삭제
  16. 다시점 영상 중 연속하여 입력되는 비참조 시점 영상 그룹에서 제1 비참조 시점 영상 그룹을 구성하는 각 프레임의 평행화 시점 패턴과 시점 보상 패턴을 결정하는 패턴 결정부;
    상기 제1 비참조 시점 영상 그룹에 연속하여 입력되는 연속 비참조 시점 영상 그룹을 구성하는 제1 프레임의 발생 비트수에 기초하여 상기 제1 비참조 시점 영상 그룹을 상기 연속 비참조 시점 영상 그룹으로 갱신할지 여부를 판단하는 영상 그룹 갱신부; 및
    상기 연속 비참조 시점 영상 그룹에 연속하여 입력되는 비참조 시점 영상 그룹을 갱신한 상기 평행화 시점 패턴 또는 시점 보상 패턴에 따라 평행화하거나 시점 보상하여 비참조 시점 영상 그룹을 부호화하는 부호화부를 포함하며,
    상기 패턴 결정부는 상기 제1 비참조 시점 영상 그룹을 상기 연속 비참조 시점 영상 그룹으로 갱신하는 경우, 상기 제1 비참조 시점 영상 그룹을 구성하는 각 프레임의 평행화 시점 패턴과 시점 보상 패턴을 상기 연속 비참조 시점 영상 그룹을 구성하는 각 프레임의 평행화 시점 패턴과 시점 보상 패턴으로 갱신하는 것을 특징으로 하는 다시점 영상의 부호화 장치.
  17. 제 16 항에 있어서,
    상기 비참조 시점 영상 그룹은 계층적 B 프레임 구조(hierarchical B picture structure)인 것을 특징으로 하는 다시점 영상의 부호화 장치.
  18. 삭제
  19. 제 16 항에 있어서, 상기 영상 그룹 갱신부는
    상기 제1 비참조 시점 영상 그룹에서 처음으로 입력되는 제1 프레임의 발생 비트수와 상기 연속 비참조 시점 영상 그룹에서 처음으로 입력되는 제1 프레임의 발생 비트수를 차감하여 차감 비트수를 계산하며,
    상기 차감 비트수가 차감 임계값보다 큰 경우, 상기 제1 비참조 시점 영상 그룹을 상기 연속 비참조 시점 영상 그룹으로 갱신하는 것을 특징으로 하는 다시점 영상의 부호화 장치.
  20. 다시점 영상 중 연속하여 입력되는 비참조 시점 영상 그룹 중 제1 비참조 시점 영상 그룹을 구성하는 각 프레임의 평균 발생 비트수를 계산하는 평균 발생 비트수 계산부;
    상기 제1 비참조 시점 영상 그룹을 구성하는 각 프레임의 발생 비트수와 상기 제1 비참조 시점 영상 그룹의 평균 발생 비트수를 비교하는 발생 비트수 비교부;
    상기 각 프레임의 발생 비트수와 상기 평균 발생 비트수의 비교 결과에 기초하여, 상기 각 프레임별로 시점 보상 패턴을 양방향 시점 보상 또는 단방향 시점 보상 중 어느 하나의 시점 보상 패턴으로 결정하는 시점 보상 결정부; 및
    상기 각 프레임별 좌측 기준 시점 프레임과의 발생 비트수 차이 및 상기 각 프레임별 우측 기준 시점 프레임과의 발생 비트수 차이에 기초하여 좌측 기준 시점 또는 우측 기준 시점 중 어느 하나로 상기 각 프레임별 평행화 시점 패턴을 결정하는 평행화 시점 결정부; 및
    결정한 상기 평행화 시점 패턴과 시점 보상 패턴에 따라 상기 제1 비참조 시점 영상 그룹에 연속하여 입력되는 연속 비참조 시점 영상 그룹을 평행화하거나 시점 보상하여 상기 연속 비참조 시점 영상 그룹을 부호화하는 부호화부를 포함하는 것을 특징으로 하는 다시점 영상의 부호화 장치.
  21. 제 20 항에 있어서, 상기 시점 보상 결정부는
    상기 제1 비참조 시점 영상 그룹의 좌측 기준 시점 프레임과의 발생 비트수 차이의 좌측 평균값과 상기 제1 비참조 시점 영상 그룹의 우측 기준 시점 프레임과의 발생 비트수 차이의 우측 평균값을 계산하는 차이 평균값 계산부;
    상기 프레임과 좌측 기준 시점 프레임 사이의 좌측 발생 비트수 차이를 계산하거나, 상기 프레임과 우측 기준 시점 프레임 사이의 우측 발생 비트수 차이를 계산하는 발생 비트수 차이 계산부; 및
    상기 각 프레임의 발생 비트수와 상기 평균 발생 비트수의 비교 결과, 상기 좌측 발생 비트수 차이와 상기 우측 발생 비트수 차이의 비교 결과, 상기 좌측 발생 비트수 차이와 상기 좌측 평균값의 비교 결과, 상기 좌측 발생 비트수 차이와 상기 좌측 평균값의 비교 결과에 기초하여, 상기 각 프레임별로 시점 보상 패턴을 양방향 시점 보상 또는 단방향 시점 보상 중 어느 하나의 시점 보상 패턴으로 결정하는 시점 결정부를 포함하는 것을 특징으로 하는 다시점 영상의 부호화 장치.
KR1020140178435A 2014-12-11 2014-12-11 비참조 시점 영상 그룹을 이용한 다시점 영상 부호화 방법 KR101629103B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140178435A KR101629103B1 (ko) 2014-12-11 2014-12-11 비참조 시점 영상 그룹을 이용한 다시점 영상 부호화 방법
US14/966,451 US10075691B2 (en) 2014-12-11 2015-12-11 Multiview video coding method using non-referenced view video group

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140178435A KR101629103B1 (ko) 2014-12-11 2014-12-11 비참조 시점 영상 그룹을 이용한 다시점 영상 부호화 방법

Publications (1)

Publication Number Publication Date
KR101629103B1 true KR101629103B1 (ko) 2016-06-10

Family

ID=56112439

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140178435A KR101629103B1 (ko) 2014-12-11 2014-12-11 비참조 시점 영상 그룹을 이용한 다시점 영상 부호화 방법

Country Status (2)

Country Link
US (1) US10075691B2 (ko)
KR (1) KR101629103B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11838485B2 (en) 2020-04-16 2023-12-05 Electronics And Telecommunications Research Institute Method for processing immersive video and method for producing immersive video

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101383486B1 (ko) * 2011-12-07 2014-04-09 경희대학교 산학협력단 다중 시점 영상 부호화를 위한 다중 시점 영상의 평행화 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100728009B1 (ko) * 2005-08-22 2007-06-13 삼성전자주식회사 다시점 동영상을 부호화하는 방법 및 장치
KR101245251B1 (ko) * 2006-03-09 2013-03-19 삼성전자주식회사 균일한 화질을 제공하는 다시점 영상 부호화 및 복호화방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101383486B1 (ko) * 2011-12-07 2014-04-09 경희대학교 산학협력단 다중 시점 영상 부호화를 위한 다중 시점 영상의 평행화 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Xiaoyu Xiu ET AL:"Rectification-Based View Interpolation and Extrapolation for Multiview Video Coding",Circuits and Systems for Video Technology, IEEE Transactions on(Volume:21, Issue:6), 201106* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11838485B2 (en) 2020-04-16 2023-12-05 Electronics And Telecommunications Research Institute Method for processing immersive video and method for producing immersive video

Also Published As

Publication number Publication date
US20160173854A1 (en) 2016-06-16
US10075691B2 (en) 2018-09-11

Similar Documents

Publication Publication Date Title
US20210021855A1 (en) Image processing method and image processing device
JP5234587B2 (ja) 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
JP5234586B2 (ja) 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
JP6457483B2 (ja) 平滑性の制約を用いてモーションが補償されるフレーム補間
KR100946790B1 (ko) 영상 부호화 방법 및 장치, 영상 복호 방법 및 장치, 그들 프로그램을 기록한 기록 매체
US8817871B2 (en) Adaptive search range method for motion estimation and disparity estimation
US9332279B2 (en) Method and digital video encoder system for encoding digital video data
KR20120000485A (ko) 예측 모드를 이용한 깊이 영상 부호화 장치 및 방법
KR20050031674A (ko) 동영상 부호화기에서의 예측 수행 방법 및 장치
TWI499277B (zh) 多視點畫像編碼方法、多視點畫像解碼方法、多視點畫像編碼裝置、多視點畫像解碼裝置及這些程式
EP1927249A1 (en) Apparatus and method for encoding and decoding multi-view video
JP2017069866A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
US20120014442A1 (en) Image processing device and image processing method
WO2014183652A1 (en) Method and apparatus for depth video coding using endurable view synthesis distortion
US20160127731A1 (en) Macroblock skip mode judgement method for encoder
KR101629103B1 (ko) 비참조 시점 영상 그룹을 이용한 다시점 영상 부호화 방법
Ahmmed et al. Homogeneous motion discovery oriented reference frame for high efficiency video coding
JP5706291B2 (ja) 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
JP5871602B2 (ja) 符号化装置
KR101078525B1 (ko) 다중시점 영상의 부호화 방법
WO2017107072A1 (en) Motion vector selection and prediction in video coding systems and methods
KR20140051789A (ko) 3차원 비디오에서의 뷰간 움직임 예측 방법 및 뷰간 병합 후보 결정 방법
JP4561701B2 (ja) 動画像符号化装置
WO2015098827A1 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
Naito et al. Development of real-time encoder for 8K ultra-high definition television

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190402

Year of fee payment: 4