KR100794855B1 - 이미지 정보 변이값의 예측 방법과 이를 이용한 다시점영상의 부호화/복호화 방법 및 장치 - Google Patents

이미지 정보 변이값의 예측 방법과 이를 이용한 다시점영상의 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
KR100794855B1
KR100794855B1 KR1020060043338A KR20060043338A KR100794855B1 KR 100794855 B1 KR100794855 B1 KR 100794855B1 KR 1020060043338 A KR1020060043338 A KR 1020060043338A KR 20060043338 A KR20060043338 A KR 20060043338A KR 100794855 B1 KR100794855 B1 KR 100794855B1
Authority
KR
South Korea
Prior art keywords
image
image information
block
prediction
current
Prior art date
Application number
KR1020060043338A
Other languages
English (en)
Other versions
KR20070110636A (ko
Inventor
박광훈
박민우
서덕영
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020060043338A priority Critical patent/KR100794855B1/ko
Publication of KR20070110636A publication Critical patent/KR20070110636A/ko
Application granted granted Critical
Publication of KR100794855B1 publication Critical patent/KR100794855B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 다시점 비디오 코딩에 있어서 뷰 사이의 이미지 정보를 보상하는 과정에서 이미지 정보 변이값을 예측하는 방법과 이를 이용한 다시점 영상의 부호화/복호화 방법 및 장치에 관한 것이다. 본 발명의 바람직한 실시예에 따른 이미지 정보 변이값의 예측 방법에 의하면, 이미지 정보 변이값에 대한 예측 효율을 높이기 위하여 현재 블록과 동일한 영상 내에서 현재 블록에 인접한 코딩 완료된 블록 뿐만 아니라 같은 뷰 내에서 현재 영상과 다른 시간에서의 코딩 완료된 영상에서 현재 블록에 대응하는 위치의 블록 및 그 주변 블록의 이미지 정보 변이값을 이용하여 현재 블록에 대한 이미지 정보 변이값을 예측한다.
MPEG, H.264/AVC, 다시점 영상, 변이값 보상, 휘도 변이, 색차 변이, RGB 변이

Description

이미지 정보 변이값의 예측 방법과 이를 이용한 다시점 영상의 부호화/복호화 방법 및 장치{Method for predicting a image information disparity value and encoding/decoding method and apparatus of multi-view video using the image information disparity value prediction method}
도 1은 다시점 비디오 코딩에서의 예측 구조의 일례를 보여주는 도면이다.
도 2는 영상 시퀀스 "Uli"에서 4번째 뷰와 5번째 뷰의 이미지 정보의 차이를 보여주는 도면이다.
도 3은 종래 기술에 따른 휘도 변이값의 예측 방법에서 참조 블록으로 사용되는 매크로블록의 위치를 보여주는 도면이다.
도 4는 영상 시퀀스 "Uli"에서 4번째 뷰와 5번째 뷰 각각에 대한 시간 방향에서의 이미지 정보의 변화를 보여주는 도면이다.
도 5는 본 발명에 따른 이미지 정보 변이값의 예측 방법에서 참조 블록으로 사용되는 블록의 위치를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 휘도 변이값의 예측 방법을 보여주는 흐름도로서, 예측 후보 블록에 우선순위가 주어졌을 경우에 예측 후보 블록 집합 내에 휘도 변이값이 존재하는 블록을 우선순위에 따라 N개 선택하여 중간값을 취하는 방법이다.
도 7은 본 발명의 다른 실시예에 따른 휘도 변이값의 예측 방법을 보여주는 흐름도로서, 예측 후보 블록 집합의 모든 예측 후보 블록에 대해 휘도 변이값이 존재하는 모든 예측 후보 블록의 중간값을 취하는 방법이다.
도 8은 본 발명의 또 다른 실시예에 따른 휘도 변이값의 예측 방법을 보여주는 흐름도로서, 예측 후보 블록에 우선순위가 주어졌을 경우에 예측 후보 블록 집합 내에 휘도 변이값이 존재하는 블록을 우선순위에 따라 N개 선택하여 평균값을 취하는 방법이다.
도 9는 본 발명의 또 다른 실시예에 따른 휘도 변이값의 예측 방법을 보여주는 흐름도로서, 예측 후보 블록 집합의 모든 예측 후보 블록에 대해 휘도 변이값이 존재하는 모든 예측 후보 블록의 평균값을 취하는 방법이다.
도 10은 본 발명의 또 다른 실시예에 따른 휘도 변이값의 예측 방법을 보여주는 흐름도로서, 예측 후보 블록 집합 중에서 우선순위가 가장 앞서는 블록의 휘도 변이값을 예측 휘도 변이값으로 취하는 방법이다.
도 11은 본 발명의 또 다른 실시예에 따른 휘도 변이값의 예측 방법을 보여주는 흐름도로서, 현재 블록이 P-픽쳐에서 리스트0(list0)을 참조하는 블록인 경우에 도 7의 흐름도를 적용한 경우이다.
도 12는 본 발명의 또 다른 실시예에 따른 휘도 변이값의 예측 방법을 보여주는 흐름도로서, N이 3인 경우에 도 6의 흐름도를 적용한 경우이다.
도 13은 본 발명의 일 실시예에 따른 다시점 영상 부호화 장치의 구성을 보여주는 블록도이다.
도 14는 도 13의 블록 단위 예측 휘도 변이값 계산부의 구성을 보여주는 블록도이다.
도 15는 도 13의 영상 단위 시간 방향 예측 가능 여부 선택부의 구성을 보여주는 블록도이다.
도 16은 본 발명의 일 실시예에 따른 다시점 영상 복호화 장치의 구성을 보여주는 블록도이다.
도 17은 도 16의 블록 단위 예측 휘도 변이값 계산부의 구성을 보여주는 블록도이다.
본 발명은 다시점 비디오 코딩(Multi-view Video Coding, MVC)에 관한 것으로, 보다 구체적으로 다시점 비디오 부호화/복호화에 있어서 뷰(view) 사이의 이미지 정보(image information)를 보상하기 위한 이미지 정보 변이값(image information disparity value)의 예측 방법 및 이를 이용하는 다시점 비디오 부호화/복호화 방법 및 장치에 관한 것이다.
다시점 비디오 코딩은 복수의 카메라로부터 획득한 각 뷰의 영상 시퀀스들을 처리하는 것이다. 이들 복수의 카메라들은 동일한 객체(object)에 대하여 거리 및/또는 대향 방향에 있어서 다소 차이가 있도록 배치된다. 이러한 복수의 카메라들을 통해서 획득한 다시점 비디오 영상은, 각 뷰의 영상이 상관관계가 높다는 점과 동일한 객체의 표면에서 빛이 반사되는 정도가 그 방향에 따라서 다소 차이가 있다는 특성을 갖는다. 특히, 후자의 특성으로 인하여 동일한 객체에 대한 각 뷰의 영상 사이에도 밝기와 색차의 차이가 존재하게 된다. 따라서 다시점 비디오 코딩에서 부호화 효율을 향상시키기 위해서는 전술한 다시점 영상의 특성을 고려하여야 한다.
현재 표준화가 활발하게 진행 중인 다시점 비디오 코딩 방법은, 기존의 동영상 부호화에 관한 국제 표준인 H.264/MPEG-4 part 10 Advanced Video Coding (이하, H.264/AVC라 한다)을 기반으로 하면서, 전술한 다시점 영상의 특성을 고려하여 부호화 효율을 향상시키는 방법을 모색하고 있다. 예를 들어, H.264/AVC의 조인트 스케일러블 비디오 코딩(Joint Scalable Video Coding, JSVC)에서 시간적 스케일러빌리티(temporal scalability)를 지원하기 위해 수행되는 방법인 계층적인 B-픽쳐(hierarchical B-pictures) 코딩 처리를 뷰내(intra-view) 예측 코딩에 적용하고 있다. 아울러 다시점 부호화 코딩에서는 뷰간(inter-view) 예측 처리도 병행해서 수행하여 부호화 효율의 향상을 이루고자 한다.
도 1은 현재 표준화가 진행 중인 다시점 비디오 코딩에서의 뷰내 예측 및 뷰간 예측을 보여주는 예측 구조의 일례를 도시한 도면이다. 도 1은 8개의 뷰가 존재할 경우의 예로써, 시간 방향의 픽쳐 그룹(Group of Pictures, GOP)의 크기가 8인 경우이다. 도 1에서 S0, S1, S2, S3,…, S7은 각각 하나의 뷰를 나타내며, T0, T1, T2, T3,…, T100은 시간 방향을 나타낸다.
도 1을 참조하면, 각 뷰내에서는 H.264/AVC의 계층적인 B-픽쳐 구조를 사용 하여 시간 방향으로의 예측을 수행하고 있는 것을 알 수 있다. 그리고 각 뷰의 첫번째 시간(T0)의 영상들과 그 이후로 시간 방향으로 8 프레임씩 떨어있는 영상 즉, 시간 방향의 GOP의 크기만큼 떨어져 있는 영상들(T8, T16, T24,… 에서의 영상)은 이웃하는 뷰로부터의 예측(뷰간 예측, inter-view prediction)만을 수행하고 있다. 예컨대, 시간 T0, T8, T16, T24, … 에서, S2 뷰는 S0 뷰로부터, S1 뷰는 S0 뷰와 S2 뷰로부터, S4 뷰는 S2 뷰로부터, S3 뷰는 S2 뷰와 S4 뷰로부터, S6 뷰는 S4 뷰로부터, S5 뷰는 S4 뷰와 S6 뷰로부터, S7 뷰는 마지막 뷰이기 때문에 S6 뷰로부터 예측을 수행한다. 또한, 매 두번째 뷰(즉, S1, S3, S5, S7)에서는 그 이외의 시간(T1, T2, T3,…, T7, T9, T10,…)에서도 시간 방향의 뷰내 예측과 함께 뷰간 예측도 수행한다. 즉, 시간 방향의 뷰내 예측 외에도 S1 뷰는 S0 뷰와 S2 뷰로부터, S3 뷰는 S2 뷰와 S4 뷰로부터, S5 뷰는 S4 뷰와 S6 뷰로부터 뷰간 예측을 수행한다.
도 2는 다시점 비디오 코딩에서 각 뷰에 따른 영상 간의 이미지 정보의 변이를 보여주기 위한 도면이다. 도 2는 다시점 비디오 코딩의 테스트 시퀀스인 Uli 영상의 일례로써, 같은 시간대에서 4번째 뷰의 영상과 5번째 뷰의 영상 사이의 이미지 정보 변이를 보여주고 있다. 도 2를 참조하면, 두 영상 사이의 변이가 상당함을 쉽게 확인할 수 있다. 그러므로 도 1에 도시한 것과 같은 뷰간 예측을 수행하는 동영상 코딩 방법을 사용할 경우에는 전술한 뷰 사이에 존재하는 이미지 정보의 변이에 대하여 고려하는 것이 바람직하다.
같은 시간에서의 뷰 사이의 이미지 정보의 변이, 예컨대 뷰 사이의 휘도 차 이를 보상하기 위하여 여러 가지의 휘도 변이 보상(illumination disparity compensation) 방법이 제안되었다. 그 일례로서, 현재 뷰의 매크로블록과 참조하는 뷰의 매크로블록의 휘도(luminance, Y)의 평균치를 각각 구하여 그 평균치의 차이를 휘도 변이값(illumintion disparity value)으로 한 후에, 이 휘도 변이값을 뷰간 예측 부호화에 반영하는 방법이 있다.
이 방법에 의하면, 상기 휘도 변이값은 차분 펄스 모드 변조(Differential Pulse Code Modulation, DPCM)에 기초하여 부호화된다. DPCM을 위해서는 예측 휘도 변이값(predictive illumination disparity value)이 필요한데, 종래에는 동일한 영상 내에서 현재 블록에 인접하고 현재 블록보다 이전에 부호화된 블록의 휘도 변이값을 예측 휘도 변이값으로 사용하였다.
도 3은 이러한 종래의 방법에 따라서 매크로블록 단위로 휘도 변이값을 예측 부호화할 경우에, 현재 매크로블록의 휘도 변이값을 예측하기 위해 사용되는 예측 후보 매크로블록(predictive macroblock candidate)의 위치를 보여주는 도면이다. 도 3을 참조하면, 매크로블록 A, B, C, 및 D가 현재 블록의 휘도 변이값을 예측하기 위한 예측 후보 매크로블록이 된다.
그런데 다시점 영상의 특성상 동일한 영상 내에서도 국부적으로, 즉 대상의 국부적인 위치에 따라서 뷰 사이의 이미지 정보 변이가 다를 수도 있다. 예컨대, 대상의 표면 성질 등의 차이로 인하여 대상의 국부적인 위치에 따라 빛을 반사하는 정도가 다를 수가 있으며, 이러한 경우에는 휘도 변이뿐만 아니라 색차 변이도 현재 블록의 위치에 따라 다를 수 있다.
그런데 전술한 종래의 휘도 변이값 예측 방법에 의하면, 이러한 다시점 영상을 특성을 고려하지 못하고 있다. 이러한 문제를 해결하기 위해서는 동일한 영상 내에서 현재 블록에 대한 주변 블록의 휘도 변이값만을 이용하여 예측 부호화를 수행함과 아울러 다른 시점 또는 다른 시간대의 영상에서 같은 위치 또는 주변의 블록을 이용한 예측을 병행하면 예측이 더 정확해지므로 다시점 영상에 대한 부호화 효율을 향상시킬 수 있다.
따라서 본 발명이 이루고자 하는 기술적 과제는 동일한 영상 내에서 국부적으로 이미지 정보 변이의 차이가 큰 경우에도, 각 블록의 이미지 정보 변이값을 보다 정확하게 예측함으로써 다시점 영상에서의 부호화 효율을 향상시킬 수 있는 이미지 정보 변이값의 예측 방법을 제공하는 것이다.
본 발명이 이루고자 하는 다른 기술적 과제는 이미지 정보 변이값에 대한 예측을 보다 정확하게 하여 부호화 효율을 향상시킬 수 있는 다시점 영상의 부호화/복호화 방법 및 장치를 제공하는 것이다.
상기한 기술적 과제를 달성하기 위한 본 발명에 따른 다시점 영상의 뷰간 이미지 정보 보상을 위하여 이미지 정보 변이값을 예측하는 방법은 같은 뷰 내의 현재 영상과 다른 시간에서의 참조 영상을 구성하는 블록의 이미지 정보 변이값을 이용하여, 상기 현재 영상을 구성하는 현재 블록에 대한 예측 이미지 정보 변이값을 구한다.
상기한 기술적 과제를 달성하기 위한 본 발명의 일 측면에 따른 이미지 정보 변이값의 예측 방법은 같은 뷰 내의 현재 영상과 다른 시간에서의 참조 영상을 구성하는 블록을 포함하는 예측 후보 블록 집합을 설정하는 단계 및 상기 예측 후보 블록 집합을 구성하는 블록의 전부 또는 일부의 이미지 정보 변이값을 이용하여 상기 현재 영상을 구성하는 현재 블록에 대한 예측 이미지 정보 변이값을 구하는 단계를 포함한다. 그리고 상기 예측 이미지 정보 변이값을 구하는 단계 이전에 상기 예측 후보 블록 집합을 구성하는 블록의 우선순위를 결정하는 단계를 더 포함하고, 상기 예측 이미지 정보 변이값을 구하는 단계에서는 상기 우선순위도 이용할 수 있다. 이 경우에 상기 우선순위에 따른 상기 예측 후보 블록 집합을 구성하는 전부 또는 일부 블록의 이미지 정보 변이값에 대한 중간값, 평균값, 또는 상기 우선순위가 가장 앞서는 블록의 이미지 정보 변이값을 취하여 이를 상기 예측 이미지 정보 변이값으로 할 수 있다.
상기 참조 영상은 ① 상기 현재 영상보다 이전 시간에서의 영상, ② 상기 현재 영상보다 이후 시간에서의 영상, 또는 ③ 상기 ① 및 상기 ②의 영상을 모두 포함할 수 있다.
그리고 상기 참조 영상을 구성하는 블록은 ① 상기 현재 영상에서 상기 현재 블록의 위치에 대응하는 위치의 블록, ② 상기 ①에 인접한 주변 블록, 또는 ③ 상기 ① 및 ②의 블록을 모두 포함하는 것일 수 있다.
또한, 상기 현재 영상과 같은 시간에서의 상기 현재 블록에 인접한 주변 블록의 이미지 정보 변이값도 함께 이용하여 상기 예측 이미지 정보 변이값을 구할 수 있다.
상기한 기술적 과제를 달성하기 위한 본 발명의 다른 측면에 따른 이미지 정보 변이값의 예측 방법은 ① 같은 뷰 내의 현재 영상보다 이전 시간에서의 영상에 위치하는 현재 블록에 공간적으로 대응하는 위치의 블록과 이에 인접한 주변 블록, ② 같은 뷰 내의 상기 현재 영상보다 이후 시간에서의 영상에 위치하는 상기 현재 블록에 공간적으로 대응하는 위치의 블록과 이에 인접한 주변 블록, 및 ③ 상기 현재 영상과 같은 시간에서의 상기 현재 블록에 인접한 주변 블록 중의 전부 또는 일부로 구성된 예측 후보 블록 집합을 설정하는 단계, 상기 예측 후보 블록 집합을 구성하는 블록 사이에 우선순위를 결정하는 단계 및 상기 우선순위에 따른 상기 예측 후보 블록 집합을 구성하는 전부 또는 일부 블록의 이미지 정보 변이값을 이용하여 상기 현재 블록의 예측 이미지 정보 변이값을 구하는 단계를 포함할 수 있다.
여기서 같은 영상 내에 위치하는 상기 주변 블록들 사이의 우선순위는 상기 현재 블록 또는 상기 현재 블록에 공간적으로 대응하는 위치의 블록에 대한 공간적 거리에 기초하여 설정할 수 있다. 그리고 상기 ① 및 ②의 예측 후보 블록들 사이의 우선순위는 상기 현재 영상에 대한 시간적 거리에 기초하여 설정할 수 있다.
또한, 상기 우선순위가 결정된 블록 중의 전부 또는 일부의 이미지 정보 변이값에 대한 중간값, 평균값, 또는 상기 우선순위가 가장 앞서는 블록의 이미지 정보 변이값을 취하여 이를 상기 예측 이미지 정보 변이값으로 할 수 있다. 여기서, 상기 우선순위가 가장 앞서는 블록은 상기 현재 블록에 대한 이미지 정보 변이값을 계산하기 위하여 상기 현재 블록이 참조하는 블록의 움직임 벡터를 이용하여 구할 수 있는데, 예컨대 상기 ① 및 ②의 예측 후보 블록 중에서 상기 움직임 벡터가 참조하는 영상과 같은 시간에서의 영상을 구성하고, 상기 현재 블록에 대응하는 위치의 블록을 기준으로 상기 움직임 벡터의 변위와 가장 가까운 곳에 위치하는 블록일 수 있다.
상기한 기술적 과제를 달성하기 위한 본 발명의 또 다른 측면에 따른 이미지 정보 변이값의 예측 방법은 ① 같은 뷰 내의 현재 영상보다 이전 시간에서의 영상에 위치하는 상기 현재 블록에 공간적으로 대응하는 위치의 블록과 이에 인접한 주변 블록, ② 같은 뷰 내의 상기 현재 영상보다 이후 시간에서의 영상에 위치하는 상기 현재 블록에 공간적으로 대응하는 위치의 블록과 이에 인접한 주변 블록, 및 ③ 상기 현재 영상과 같은 시간에서의 상기 현재 블록에 인접한 주변 블록의 전부 또는 일부로 구성된 예측 후보 블록 집합을 설정하는 단계, 상기 ① 또는 ②의 블록을 이용하여 예측 이미지 정보 변이값을 구할지 여부를 판단하는 단계, 및 상기 판단에 따라서 상기 예측 후보 블록 집합 중의 전부 또는 일부의 블록의 이미지 정보 변이값을 이용하여 상기 현재 블록의 예측 이미지 정보 변이값을 구하는 단계를 포함할 수 있다. 이 경우, 상기 판단 단계는 영상 단위, 슬라이스 단위, 또는 블록 단위로 수행할 수 있다.
전술한 본 발명에 따른 예측 방법은 슬라이스 단위에서 나타내는 부호로 표현할 수 있다.
상기 부호는 ① 현재 영상과 같은 시간에서의 현재 블록에 인접한 주변 블록의 이미지 정보 변이값을 이용하여 상기 예측 이미지 정보 변이값을 구하는 것을 나타내는 부호, ② 같은 뷰 내의 상기 현재 영상과 다른 시간에서의 영상에 위치하는 참조 블록의 이미지 정보 변이값을 이용하여 상기 예측 이미지 정보 변이값을 구하는 것을 나타내는 부호, ③ 상기 ①과 ②의 방법을 함께 수행하여 상기 예측 이미지 정보 변이값을 구하는 것을 나타내는 부호, 및 ④ 각 블록 단위로 상기 예측 방법에 관한 정보를 할당하여 상기 예측 방법을 선택하는 것을 나타내는 부호를 포함할 수 있다. 이 경우에, 일 실시예로, 상기 부호는 2비트 코드, 가변장 부호, 또는 Exp-Golomb 코드일 수 있다. 그리고 상기 부호가 가변장 부호이면 상기 ①에 대한 가변장 부호는 '10', 상기 ②에 대한 가변장 부호는 '110', 상기 ③에 대한 가변장 부호는 '0', 및 상기 ④에 대한 가변장 부호는 '111'일 수 있다.
그리고 상기 부호는 ① 각 블록 단위로 예측 방법에 관한 정보를 할당하여 상기 예측 방법을 선택하는 것을 나타내는 부호, ② 현재 영상과 같은 시간에서의 상기 현재 블록에 인접한 주변 블록의 이미지 정보 변이값을 이용하여 상기 예측 이미지 정보 변이값을 구하는 것을 나타내는 부호, ③ 같은 뷰 내의 상기 현재 영상보다 이전 시간에서의 영상에 위치하는 참조 블록의 이미지 정보 변이값을 이용하여 상기 예측 이미지 정보 변이값을 구하는 것을 나타내는 부호, ④ 상기 ②와 ③의 방법을 함께 수행하여 상기 예측 이미지 정보 변이값을 구하는 것을 나타내는 부호, ⑤ 같은 뷰 내의 상기 현재 영상보다 이후 시간에서의 영상에 위치하는 참조 블록의 이미지 정보 변이값을 이용하여 상기 예측 이미지 정보 변이값을 구하는 것을 나타내는 부호, ⑥ 상기 ②와 ⑤의 방법을 함께 수행하여 상기 예측 이미지 정보 변이값을 구하는 것을 나타내는 부호, ⑦ 상기 ③과 ⑥의 방법을 함께 수행하여 상기 예측 이미지 정보 변이값을 구하는 것을 나타내는 부호, 및 ⑧ 상기 ②, ③, 및 ⑥의 방법을 함께 수행하여 상기 예측 이미지 정보 변이값을 구하는 것을 나타내는 부호를 포함할 수 있다. 이 경우, 일 실시예로 상기 현재 영상이 P-픽쳐인 경우에는 상기 ① 내지 ④를 나타내기 위하여 2비트 부호를 사용하고, 상기 현재 영상이 B-픽쳐인 경우에는 상기 ① 내지 ⑧을 나타내기 위하여 3비트 부호를 사용할 수 있다.
전술한 본 발명에 따른 예측 방법은 블록 단위에서 나타내는 부호로 표현할 수 있다.
상기 부호는 ① 현재 영상과 같은 시간에서의 현재 블록에 인접한 주변 블록의 이미지 정보 변이값을 이용하여 상기 예측 이미지 정보 변이값을 구하는 것을 나타내는 부호, 및 ② 같은 뷰 내의 상기 현재 영상과 다른 시간에서의 영상에 위치하는 참조 블록의 이미지 정보 변이값을 이용하여 상기 예측 이미지 정보 변이값을 구하는 것을 나타내는 부호를 포함할 수 있다.
그리고 상기 부호는 ① 현재 영상과 같은 시간에서의 상기 현재 블록에 인접한 주변 블록의 이미지 정보 변이값을 이용하여 상기 예측 이미지 정보 변이값을 구하는 것을 나타내는 부호, 및 ② 상기 ①과 같은 뷰 내의 상기 현재 영상과 다른 시간에서의 영상에 위치하는 참조 블록의 이미지 정보 변이값을 이용하여 상기 예측 이미지 정보 변이값을 구하는 방법을 함께 수행하여 상기 예측 이미지 정보 변이값을 구하는 것을 나타내는 부호를 포함할 수 있다.
상기한 기술적 과제를 달성하기 위한 본 발명에 따른 다시점 영상의 복호화 방법은 전술한 본 발명의 일 측면에 따른 이미지 정보 변이값의 예측 방법을 이용하여 예측 이미지 정보 변이값을 구하는 단계, 및 상기 예측 이미지 정보 변이값과 상기 현재 블록에 대한 차분 이미지 정보 변이값을 합산하는 단계를 포함한다.
상기한 기술적 과제를 달성하기 위한 본 발명에 따른 다시점 영상의 부호화 방법은 전술한 본 발명의 일 측면에 따른 이미지 정보 변이값의 예측 방법을 이용하여 예측 이미지 정보 변이값을 구하는 단계, 및 상기 현재 블록의 이미지 정보 변이값과 상기 예측 이미지 정보 변이값을 차분하여 차분 이미지 정보 변이값을 구하는 단계를 포함한다.
상기한 기술적 과제를 달성하기 위한 본 발명에 따른 다시점 영상의 복호화 장치는 전술한 본 발명의 일 측면에 따른 이미지 정보 변이값의 예측 방법에 따라 예측 이미지 정보 변이값을 구하는 예측 이미지 정보 변이값 계산부 및 상기 예측 이미지 정보 변이값과 상기 현재 블록에 대한 차분 이미지 정보 변이값을 합산하는 가산기를 포함한다.
상기한 기술적 과제를 달성하기 위한 본 발명에 따른 다시점 영상의 부호화 장치는 전술한 본 발명의 일 측면에 따른 이미지 정보 변이값의 예측 방법을 이용하여 예측 이미지 정보 변이값을 구하는 예측 이미지 정보 변이값 계산부, 및 상기 현재 블록의 이미지 정보 변이값과 상기 예측 이미지 정보 변이값을 차분하여 차분 이미지 정보 변이값을 구하는 가산기를 포함한다.
이하에서는, 첨부 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상 세하게 설명한다. 후술하는 실시예는 본 발명의 기술적 사상을 설명하기 위한 목적이므로, 본 발명의 기술적 사상은 이 실시예에 의하여 한정되는 것으로 해석되어서는 안된다. 그리고 이하의 실시예의 설명에서 각각의 구성요소의 명칭은 당업계에서 다른 명칭으로 호칭될 수 있는데, 이들이 기능적 유사성과 동일성이 있다면 비록 다른 명칭을 사용하더라도 본 발명의 실시예와 균등한 구성이라고 볼 수 있다. 마찬가지로 도면상의 구성을 일부 변형한 실시예가 채용되더라도 기능적 유사성과 동일성이 있다면 양자는 균등한 구성으로 볼 수 있다. 본 실시예에 대한 설명 및 도면에서 각각의 구성요소에 부가된 참조 부호는 단지 설명의 편의를 위하여 기재된 것일 뿐이다.
'이미지 정보'란 영상을 부호화하는 방식의 차이에 따라서 영상에 대한 다른 정보를 의미할 수 있는데, 예컨대 H.264/AVC와 같은 종래의 표준에서는 이미지 정보가 휘도와 색차로 표현되며, 또한 영상 부호화 방식에 따라서는 RGB 칼라 정보(color information) 자체가 이미지 정보로 표현되기도 한다. 따라서 본 명세서에서 '이미지 정보'는 영상의 휘도, 색차, 및/또는 RGB 칼라 정보를 의미하며, '이미지 정보 변이'는 휘도 변이, 색차 변이, 및/또는 RGB 칼라 정보 변이를 의미한다.
본 발명은 동일한 영상 내에서 대상의 국부적인 위치에 따라 이미지 정보 변이값의 차이가 큰 경우 등에는, 같은 뷰 내에서 시간적으로 인접한 영상에서의 서로 대응되는 부분은 뷰 사이의 이미지 정보 변이 차이가 비슷하다는 다시점 영상의 특성에 착안하였다. 보다 구체적으로, 도 4는 영상 시퀀스 "Uli"에서 4번째 뷰와 5번째 뷰를 시간 방향으로 배치한 것인데, 도 4를 참조하면 같은 뷰 내의 영상들은 시간이 경과하더라도 서로 대응되는 대상의 부분은 거의 동일한 이미지 정보를 유지하고 있음을 확인할 수 있다.
이러한 사실로 미루어볼 때, 현재 블록의 이미지 정보 변이값은 같은 뷰 내의 다른 시간에서의 상기 현재 블록에 대응되는 부분에 위치하는 참조 블록의 이미지 정보 변이값과 거의 동일할 것이라고 추측할 수 있다. 그러므로 본 발명에서는 이미지 정보 변이값에 대한 예측 부호화 효율을 높이기 위하여, 같은 뷰 내에서 다른 시간의 코딩 완료된 영상에서 현재 블록과 동일한 위치의 블록 및 그 주변 블록의 이미지 정보 변이값을 예측값으로 사용하는 방법을 제안한다.
이러한 본 발명에 따른 이미지 정보 변이값의 예측 방법은 종래의 예측 방법을 대체하는 것일 수도 있지만, 보다 효율적인 예측 부호화를 위해서는 전술한 종래의 예측 방법과 병행하여 사용하는 것이 바람직하다. 즉, 후자의 경우에는 현재 블록과 동일한 영상 내에서 코딩 완료된 현재 블록에 인접한 주변 블록을 참조 블록으로 하여 그 참조 블록의 이미지 정보 변이값을 예측값으로 사용하는 것과 더불어, 동일한 뷰 내에서 다른 시간에서의 코딩 완료된 영상에서 현재 블록과 동일한 위치의 블록 및 그 주변 블록을 참조 블록으로 하여 그 참조 블록의 이미지 정보 변이값도 예측값으로 사용한다.
본 발명에서 규정하는 블록의 크기는 특별한 제한이 없다. 예를 들어, 상기 블록은 매크로블록(MB)일 수 있고, 다른 예로서 8x8 화소(pixel) 블록이거나 4x4 화소 블록일 수도 있다. 또한, 상기 블록은 H.264/AVC에서 사용되는 임의의 크기(16x8, 8x16, 8x4, 4x8 등)의 블록일 수도 있다.
도 5는 본 발명에 따른 이미지 정보 변이값, 예컨데 휘도 변이값의 예측 방법에서 사용되는 참조 블록들의 위치를 보여주는 도면이다. 현재 부호화하려는 블록(현재 블록)에 대응되는 위치의 블록을 'Pf' 및 'Pb'라고 할 때, 도 5의 (a)는 현재 영상과 같은 뷰 내에서 이전에 코딩된 시간적으로 앞쪽의 영상 또는 H.264/AVC에서 리스트0(list0) 참조에 해당하는 영상에서의 참조 블록을 나타내고, 도 5의 (b)는 현재 영상 내에서 현재 블록 및 그에 인접한 주변 블록을 나타내고, 도 5의 (c)는 현재 영상과 같은 뷰에서 이전에 코딩된 시간적으로 뒤쪽의 영상 또는 H.264/AVC에서 리스트1(list1) 참조에 해당하는 영상에서의 참조 블록을 나타낸다.
예를 들어, 도 1에서 현재 영상이 S1 뷰 내의 T4에서의 영상 B2라면, 도 5의 (a)에 해당하는 영상은 S1 뷰 내의 T0에서의 영상 B1이 되고 도 5의 (c)에 해당하는 영상은 S1 뷰 내의 T8에서의 영상 B1이 된다. 다른 일례로 도 1에서 현재 영상이 S1 뷰 내의 T2에서의 영상 B3라면 도 5의 (a)에 해당하는 영상은 S1 뷰 내의 T0에서의 영상 B1이 되고 도 5의 (c)에 해당하는 영상은 S1 뷰 내의 T4에서의 영상 B2가 된다. 또 다른 일례로 도 1에서 현재 영상이 S1 뷰 내의 T5에서의 영상 b4라면 도 5의 (a)에 해당하는 영상은 S1 뷰 내의 T4에서의 영상 B2가 되고 도 5의 (c)에 해당 하는 영상은 S1 뷰 내의 T6에서의 영상 B3가 된다.
<예측 후보 블록의 선택 방법>
본 발명의 실시예에 따른 이미지 정보 변이값, 예컨대 휘도 변이값의 예측 방법에서는, 도 5의 (b)에 도시되어 있는 현재 블록에 인접한 주변 블록 'A', 'B', 'C', 'D', 도 5의 (a)에 도시되어 있는 현재 블록과 같은 위치의 블록 'Pf'와 그에 인접한 주변 블록 'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 그리고 도 5의 (c)에 도시되어 있는 현재 블록과 같은 위치의 블록 'Pb'와 그에 인접한 주변 블록 'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p'를 예측 후보 블록으로 사용할 수 있다. 예를 들어, 현재 블록이 포함된 영상(현재 영상)이 P-픽쳐라면 도 5의 (a) 및 (b)에 도시되어 있는 블록의 전부 또는 일부를 예측 후보 블록으로 사용할 수 있다. 그리고 현재 영상이 B-픽쳐라면 도 5의 (a), (b), 및 (c)에 도시되어 있는 블록의 전부 또는 일부를 예측 후보 블록으로 사용할 수 있다.
보다 구체적으로, 현재 블록에 대한 휘도 변이값을 예측하기 위하여 사용할 수 있는 블록의 집합을 S = {'A', 'B', 'C', 'D', 'Pf', 'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'Pb', 'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p'}라고 했을 때, 집합S의 부분 집합(subset) 중에서 하나를 예측 후보 블록 집합으로 선택할 수 있다.
예를 들어, 현재 영상이 P-픽쳐인 경우에 상기 집합S는, 도 5의 (a) 및 (b)에 도시되어 있는 블록 'A', 'B', 'C', 'D', 'Pf', 'a', 'b', 'c', 'd', 'e', 'f', 'g', 및 'h'로 구성되며, 현재 블록의 휘도 변이값 예측에 사용되는 예측 후보 블 록 집합은 상기 집합S의 부분 집합 중에서 하나를 선택하여 사용할 수 있다. 그리고 현재 영상이 B-픽쳐인 경우에 상기 집합S는, 도 5의 (a), (b), 및 (c)에 도시되어 있는 블록 'A', 'B', 'C', 'D', 'Pf', 'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'Pb', 'i', 'j', 'k', 'l', 'm', 'n', 'o', 및 'p'로 구성되며, 현재 블록의 휘도 변이값 예측에 사용되는 예측 후보 블록 집합은 상기 집합 S의 부분 집합 중에서 하나를 선택하여 사용할 수 있다.
그리고 현재 영상이 B-픽쳐인 경우에는 현재 블록, 예컨대 현재 매크로블록의 타입에 따라서 참조 블록의 집합 S를 다르게 설정할 수도 있다. 보다 구체적으로, 현재 매크로블록이 H.264/AVC의 리스트0(list0)만을 참조하는 타입일 경우에 상기 집합 S는 도 5의 (a) 및 (b)에 도시되어 있는 블록 'A', 'B', 'C', 'D', 'Pf', 'a', 'b', 'c', 'd', 'e', 'f', 'g', 및 'h'로 구성되며, 이 집합 S의 부분 집합 중에서 하나를 선택하여 예측 후보 블록 집합으로 사용할 수 있다. 그리고 현재 매크로블록이 H.264/AVC의 리스트1(list1)만을 참조하는 타입일 경우에는 상기 집합 S는 도 5의 (b) 및 (c)에 해당하는 블록 'A', 'B', 'C', 'D', 'Pb', 'i', 'j', 'k', 'l', 'm', 'n', 'o', 및 'p'로 구성되며, 이 집합 S의 부분 집합 중에서 하나를 예측 후보 블록 집합으로 선택하여 사용할 수 있다. 또한, 현재 매크로블록이 H.264/AVC의 리스트0(list0)과 리스트1(list1)을 모두 참조하는 타입일 경우에는 상기 집합 S는 도 5의 (a), (b), 및 (c)에 도시되어 있는 블록 'A', 'B', 'C', 'D', 'Pf', 'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'Pb', 'i', 'j', 'k', 'l', 'm', 'n', 'o', 및 'p'로 구성되며, 이 집합 S의 부분 집합 중에서 하나를 예 측 후보 블록 집합으로 선택하여 사용할 수 있다.
<예측 후보 블록들 사이의 우선순위 결정 방법>
현재 블록의 이미지 정보 변이값, 예컨대 휘도 변이값 예측에 사용되는 예측 후보 블록 집합, 즉 상기 집합 S의 부분 집합을 구성하는 블록들 사이의 우선순위는 임의의 방법으로 부여할 수 있다. 그리고 상기 우선순위를 부여하는 것은 모든 영상 또는 모든 블록에 대하여 고정적으로 한 가지 방법만을 사용하거나, 영상, 슬라이스 또는 블록에 따라서 적응적으로 우선순위를 부여하여 사용할 수도 있다.
(1) 예측 후보 블록 집합이 n개의 블록으로 구성되도록 선택된 경우에, 상기 n개의 블록을 임의의 순서대로 배열한 것(n개의 블록을 이용한 순열(permutation)에 따른 모든 경우) 중의 하나를 선택하여 그것을 모든 영상, 슬라이스, 또는 블록에 대한 고정적인 우선순위로 할 수 있다.
예를 들어, 예측 후보 블록 집합이 도 5의 블록 'Pf', 'A', 및 'B'로 구성되도록 선택되었다고 하자. 이 경우, 예측 후보 블록으로 3개가 선택되었으므로 3개를 택한 순열은 {'Pf', 'A', 'B'}, {'Pf', 'B', 'A'}, {'A', 'Pf', 'B'}, {'A', 'B', 'Pf'}, {'B', 'Pf', 'A'}, {'B', 'A', 'Pf'} 총 6가지 경우가 되며, 그 각각을 고정적인 우선순위로 하여 휘도 변이값의 예측에 사용할 수 있다.
다른 예로서 예측 후보 블록의 집합이 도 5의 블록 'Pf', 'A', 'B', 'C', 및 'D'로 구성되도록 선택되었을 경우에는, 상기 5개의 블록에 대한 순열 중의 하 나인 블록 'A', 'Pf', 'B', 'C', 'D'의 순서로 우선순위를 정하거나, 블록 'A', 'B', 'Pf', 'C', 'D'의 순서, 블록 'A', 'B', 'C', 'Pf', 'D'의 순서, 블록 'A', 'B', 'C', 'D', 'Pf'의 순서, 블록 'Pf', 'A', 'B', 'C', 'D'의 순서, 또는 블록 'Pf', 'A', 'B', 'C', 'D' 등의 순서로 우선순위를 부여하여 휘도 변이값의 예측에 사용할 수 있다.
(2) 예측 후보 블록 집합이 n개의 블록으로 구성되도록 선택된 경우에, 상기 n개의 블록을 현재 블록과의 거리 또는 다른 참조 영상에서 현재 블록과 동일한 위치에 해당하는 블록과의 거리에 따라서 우선순위를 부여하고, 그 우선순위를 모든 영상에 대하여 고정적으로 적용하여 휘도 변이값의 예측에 사용할 수 있다.
예컨대 정사각형 모양의 블록인 경우에, 현재 블록 등에 대하여 수평과 수직 방향에 위치한 예측 후보 블록의 거리를 1이라고 하면, 현재 블록 등에 대하여 대각선 방향에 위치한 예측 후보 블록의 거리는 2의 제곱근이 된다. 즉, 현재 블록 등까지의 거리를 비교하면 수평과 수직 방향에 위치한 예측 후보 블록까지의 거리가 더 짧다. 따라서 이러한 경우에는 수평과 수직 방향에 위치한 블록이 높은 우선순위를 갖고 대각선 방향의 블록은 낮은 우선순위를 갖는다.
보다 구체적으로, 도 5의 (a)에서는 블록 Pf에 대하여 수평 또는 수직 방향에 위치하는 블록 'a', 'b', 'c', 'd'가 대각선 방향에 위치하는 블록 'e', 'f', 'g', 'h' 보다 높은 우선순위를 갖고, 도 5의 (b)에서는 현재 블록에 대하여 수평 또는 수직 방향에 위치하는 블록 'A', 'B'가 대각선 방향에 위치하는 블록 'C', 'D' 보다 높은 우선순위를 갖고, 도 5의 (c)에서는 블록 'Pb'에 대하여 수평 또는 수직 방향에 위치하는 블록 'i', 'j', 'k', 'l'이 대각선 방향에 위치하는 블록 'm', 'n', 'o', 'p'보다 높은 우선순위를 갖는다.
이 경우에 동일한 영상 내에서 상기 거리가 같은 예측 후보 블록들 사이의 우선순위는 임의의 어떤 순서로도 정할 수 있다. 예컨대, 수평과 수직 방향에 위치하는 블록들 사이의 우선순위는 왼쪽, 위쪽, 오른쪽, 아래쪽의 순서로 정하거나 또는 위쪽, 왼쪽, 아래쪽, 오른쪽의 순서로 정할 수 있다. 그리고 대각선 방향에 위치하는 블록들 사이의 우선순위는 왼쪽 위, 오른쪽 위, 왼쪽 아래, 오른쪽 아래의 순서로 우선순위를 정할 수 있다.
(3) 예측 후보 블록들 사이의 우선순위를 적응적으로 부여하는 방법의 일례로서 현재 영상과 참조 영상 사이의 시간 방향의 거리를 이용하여 우선순위를 부여할 수 있다. 이하, 예측 후보 블록 집합이 도 5의 블록 'A', 'B', 'C', 'D', 'Pf', 및 'Pb'로 구성되었다고 가정하고, 현재 영상으로부터 참조 영상까지의 시간 방향의 거리를 이용하여 우선순위를 적응적으로 결정하는 방법의 일례에 대하여 설명한다.
도 1에 도시되어 있는 다시점 비디오 코딩 구조의 예에서, S1 뷰의 T1에서의 영상 b4는 참조 영상이 시간 T0와 T2에 위치하므로 현재 영상까지의 시간 방향의 거리가 각각 1이 된다. 이와 같은 경우에는 같은 뷰 내에서의 시간 방향으로의 예측 을 중요시하여 현재 블록이 속한 영상과 동일한 영상내의 주변 블록보다 상기 T1 및 T3에 위치하는 영상의 예측 후보 블록에 높은 우선순위를 부여할 수 있다. 예를 들어, 블록 'Pf', 'Pb', 'A', 'B', 'C', 'D'의 순서로 우선순위를 결정할 수 있다.
한편, S1 뷰의 T2에서의 영상 B3은 참조 영상이 시간 T0와 T4에 위치하므로 현재 영상까지의 시간 방향의 거리가 각각 2가 된다. 이와 같은 경우에는 현재 블록이 속한 영상과 동일한 영상 내에서 수직 및 수평 방향에 위치하는 예측 후보 블록보다는 상기 T0 및 T4에 위치하는 예측 후보 블록에 낮은 우선순위를 부여하고, 대각선 방향에 위치하는 예측 후보 블록보다는 높은 우선순위를 부여할 수 있다. 예컨대 블록 'A', 'B', 'Pf', 'Pb', 'C', 'D'의 순서로 우선순위를 결정할 수 있다.
또한, S1 뷰의 T4에서의 영상 B2의 경우 시간 방향의 참조 영상이 시간 T0와 T8에 위치하므로 현재 영상까지의 시간 방향의 거리가 각각 4가 된다. 이와 같은 경우에는 현재 블록이 속한 영상과 동일한 영상 내의 예측 후보 블록보다 상기 T0 및 T8에 위치하는 예측 후보 블록에 낮은 우선순위를 줄 수 있다. 이와 같은 방법의 일례로서 블록 'A', 'B', 'C', 'D', 'Pf', 'Pb'의 순서로 우선순위를 줄 수 있다.
시간 방향으로 참조하는 참조 영상의 거리를 D라고 했을 때, 시간 방향의 참조하는 영상의 거리에 따라 적응적으로 우선순위를 정하는 전술한 실시예는 표 1과 같이 정리할 수 있다.
시간 방향의 참조하는 영상의 거리 우선순위에 따른 순서
D == 1 'Pf', 'Pb', 'A', 'B', 'C', 'D'
1< D <=3 'A', 'B', 'Pf', 'Pb', 'C', 'D'
3< D 'A', 'B', 'C', 'D', 'Pf', 'Pb'
(4) 예측 후보 블록들 사이의 우선순위를 적응적으로 부여하여 우선순위를 결정하는 다른 예로서 움직임 벡터(Motion Vector, MV)에 관한 정보를 이용하는 방법도 있다.
이 방법은 현재 블록에 대한 이미지 정보 변이값, 예컨대 휘도 변이값을 계산하기 위하여 참조하는 다른 뷰의 영상의 참조 블록이 시간 방향의 움직임 벡터를 갖는 경우에 적용할 수 있는데, 보다 구체적으로 움직임 보상을 위하여 상기 참조 블록이 시간 방향으로 참조하는 영상과 같은 시간에서의 전술한 예측 후보 블록 중에서, 상기 참조 블록의 움직임 벡터의 변위와 가장 가까운 예측 후보 블록에 가장 높은 우선순위를 부여할 수 있다.
예를 들어, 상기 참조 블록의 움직임 벡터가 도 5의 (a)와 동일한 시간의 영상을 참조하였고 또한 블록 'Pf'를 기준으로 한 상기 움직임 벡터의 변위가 블록 'f'와 가장 가까웠다면, 블록 'f'에 가장 높은 우선순위를 부여하여 그 휘도 변이값을 현재 블록에 대한 예측 휘도 변이값으로 할 수 있다. 이 경우 움직임 벡터의 변위는 현재 블록이 휘도 변이값을 계산하기 위하여 참조하는 상기 참조 블록의 위치에 따라 달라지므로, 예측 후보 블록들 사이의 우선순위가 적응적으로 결정된다.
참조 블록의 움직임 백터를 이용하는 다른 예로서, 상기 참조 블록의 움직임 벡터의 변위와 가장 가까운 예측 후보 블록에 가장 높은 우선순위를 할당하고 그 블록을 중심으로 우선순위를 임의로 결정하는 방법이 있다. 예컨대, 예측 후보 블록 집합이 도 5의 블록 'A', 'B', 'C', 'D', 'Pf', 'a', 'b', 'c', 'd', 'e', 'f', 'g', 및 'h'로 선택된 경우에, 참조 블록의 움직임 벡터가 도 5의 (a)와 동일한 시간의 영상을 참조하였고 상기 움직임 벡터의 변위가 블록 'f'와 가장 가까웠다면, 블록 'f'에 가장 높은 우선순위를 부여하고 나머지 블록은 임의로 우선순위를 부여할 수 있다. 예컨대 블록 'f', 'b', 'c', 'Pf', 'A', 'B', 'C', 'D', 'e', 'h', 'a', 'd', 'g'의 순서로 우선순위를 결정할 수 있다.
이 경우에 같은 영상 내에서 가장 높은 우선순위를 갖는 블록에 인접하지 않은 블록은 예측 후보 블록으로 선택하지 않을 수도 있다. 즉, 블록 'f'가 가장 높은 우선순위를 가질 경우에 같은 영상 내에서 블록 'f'에 인접하지 않은 블록 'e', 'h', 'a', 'd', 'g'는 예측 후보 블록으로 선택하지 않을 수 있다. 예컨대 블록 'f', 'b', 'c', 'Pf', 'A', 'B', 'C', 'D'의 순서로 우선순위를 결정할 수 있다.
<이미지 정보 변이값의 예측 방법에 관한 정보 및 신택스의 구조>
전술한 예측 후보 블록의 선택 방법과 우선순위 결정 방법을 이용한 여러 가지 이미지 정보 변이값, 예컨대 휘도 변이값의 예측 방법 중에서, 어떠한 방법을 사용하여 현재 블록을 부호화했는지를 나타내는 정보는 슬라이스 또는 블록 단위로 설정하여 표현할 수 있다.
예를 들어, 예측 후보 블록을 효율적으로 선택하기 위한 방법으로서 현재 블록과 동일한 영상 내의 공간 방향의 예측만을 사용할지, 아니면 현재 영상과 동일한 뷰 내에서의 시간 방향의 예측만을 사용할지, 또는 상기 공간 방향의 예측과 시간 방향의 예측을 함께 사용할지에 관한 정보는 슬라이스 단위 또는 블록 단위의 신택스에 포함시킬 수 있다. 이와 같은 방법을 사용하면, 같은 뷰의 영상 시퀀스의 이미지 정보가 전체적으로 또는 국부적으로 변하였을 경우에 예측 후보 블록을 적응적으로 선택하여 부호화할 수 있는 장점이 있다.
슬라이스 단위로 설정하는 일례로서, 예측 방법을 선택하기 위한 2비트(bit)의 정보를 슬라이스 헤더에 대한 신택스에 포함하는 방법이 있다. 이러한 2비트 정보의 내용은 예컨대 표 2와 같을 수 있다. 표 2를 참조하면, 부호 '01'일 경우에는 현재 블록과 동일한 영상 내의 공간 방향에서만 예측을 수행하고, 부호 '10'일 경우에는 시간 방향에서만 예측을 수행하고, 부호 '11'일 경우에는 상기 공간 방향의 예측과 시간 방향에서의 예측을 함께 사용한다. 여기서 시간 방향에서의 예측은 같은 뷰 내에서 현재 영상과 다른 시간에서의 영상의 블록을 참조하는 것을 말한다(이하 동일). 그리고 부호 '00'일 경우에는 예측 방법에 관한 정보를 각 블록 단위로 설정하여 블록 단위로 예측 방법을 적응적으로 선택하도록 한다.
부호 내용
00 각 블록 단위로 정보를 할당하여 예측 방법 선택
01 공간 방향에서만 예측을 수행
10 시간 방향에서만 예측을 수행
11 공간 방향의 예측과 시간 방향에서의 예측을 함께 수행
표 3은 다시점 비디오 코딩에서 슬라이스 단위로 예측 방법을 선택하기 위한 상기 실시예에 대한 신택스 구조의 일례를 보여주고 있다. 표 3을 참조하면, 시퀀스의 프로파일이 "MULTI_VIEW_PROFILE"이고 슬라이스 타입이 I-픽쳐나 SI-픽쳐가 아닐 경우에 2비트 정보인 "illumination_prediction_idc"를 슬라이스 헤드에 포함시킨다.
Figure 112006033642536-pat00001
이미지 정보 변이값, 예컨대 휘도 변이값의 예측 방법을 슬라이스 단위로 설정하는 다른 예로서, 가변장 부호화(Variable Length Coding, VLC) 방법을 이용하여 예측 방법에 관한 정보를 표현하고, 그 정보를 슬라이스 헤더의 신택스에 포함시킬 수도 있다. 이러한 가변장 부호의 내용은 예컨대 표 4와 같을 수 있다.
표 4를 참조하면, 부호 '0'일 경우에는 현재 블록과 동일한 영상 내의 공간 방향의 예측과 시간 방향에서의 예측을 함께 사용하고, 부호 '10'일 경우에는 현재 블록과 동일한 영상 내의 공간 방향에서만 예측을 수행하고, 부호 '110'일 경우에는 시간 방향에서만 예측을 수행하고, 부호 '111'일 경우에는 예측 방법에 관한 정보를 각 블록 단위로 설정하여 블록 단위로 예측 방법을 적응적으로 선택하도록 한다.
부호 내용
0 공간 방향의 예측과 시간 방향에서의 예측을 함께 수행
10 공간 방향에서만 예측을 수행
110 시간 방향에서만 예측을 수행
111 각 블록 단위로 정보를 할당하여 예측 방법 선택
가변장 부호화를 이용하여 이미지 정보 변이값, 예컨대 휘도 변이값의 예측 방법에 관한 정보를 표현하고 이 정보를 슬라이스 헤더에 포함시키는 다른 예로서, H.264/AVC에서 사용하는 Exp-Golomb 코드를 사용할 수도 있다. Exp-Golomb 코드로 각각의 선택 방법을 표현하는 일례로서, 현재 블록과 동일한 영상 내의 공간 방향의 예측과 시간 방향에서의 예측을 함께 수행할 경우는 부호 '0', 현재 블록과 동일한 영상 내의 공간 방향에서만 예측을 수행할 경우에는 부호 '1', 시간 방향에서만 예측을 수행할 경우에는 부호 '2', 예측 방법에 관한 정보를 각 블록 단위로 설정하여 블록 단위로 예측 방법을 적응적으로 선택할 수 있도록 하는 경우에는 부호 '3'으로 표현할 수 있다.
표 5는 이러한 Exp-Golomb 코드를 사용하는 신택스 구조의 일례를 보여주고 있다. 표 5를 참조하면, 시퀀스의 프로파일이 "MULTI_VIEW_PROFILE" 이고 슬라이스 타입이 I-픽쳐나 SI-픽쳐가 아닐 경우에 "illumination_prediction_idc"를 슬라이스 헤드에 포함시킨다.
Figure 112006033642536-pat00002
이미지 정보 변이값, 예컨대 휘도 변이값의 예측 방법을 슬라이스 단위로 설정하는 다른 예로서, 현재 영상이 B-픽쳐인 경우에는 전술한 예측 방법에 관한 정보의 표현 방법을 각각 리스트0(list0)과 리스트1(list1)에 따로 적용할 수도 있다.
예를 들어, 예측 방법에 관한 정보를 2비트로 표현하는 경우라면, 리스트0(list0)을 위해 2비트, 그리고 리스트1(list0)을 위해 2비트를 각각 슬라이스 헤더의 신택스에 포함시킬 수 있다. 표 6은 리스트0(list0)과 리스트1(list1) 각각을 위한 2비트 정보를 슬라이스 헤드에 포함시키는 경우에 대한 신택스의 일례를 보여주고 있다. 표 6을 참조하면, 시퀀스의 프로파일이 "MULTI_VIEW_PROFILE"이고 슬라이스 타입이 I-픽쳐나 SI-픽쳐가 아닐 경우에 리스트0(list0)을 위한 "illumination_prediction_list0_idc"를 슬라이스 헤드에 포함시킨다. 이 경우 슬라이스 타입이 B-픽쳐일 경우에 리스트1(list1)을 위한 "illumination_prediction_list1_idc"도 슬라이스 헤드에 포함시킨다.
Figure 112006033642536-pat00003
표 7은 리스트0(list0)과 리스트1(list1) 각각을 위하여 2비트의 부호 대신에 H.264/AVC에서 사용하는 Exp-Golomb 코드를 사용하는 경우에 대한 신택스 구조를 보여주고 있다. 표 7을 참조하면, 시퀀스의 프로파일이 "MULTI_VIEW_PROFILE"이고 슬라이스 타입이 I-픽쳐나 SI-픽쳐가 아닐 경우에 리스트0(list0)을 위한 "illumination_prediction_list0_idc"를 슬라이스 헤드에 포함시킨다. 이 경우, 슬라이스 타입이 B-픽쳐일 경우에는 리스트1(list1)을 위한 "illumination_prediction_list1_idc"를 슬라이스 헤드에 포함시킨다.
Figure 112006033642536-pat00004
현재 영상이 B-픽쳐인 경우에 리스트0(list0)과 리스트1(list1) 각각을 위한 예측 방법을 설정하기 위해서 슬라이스 헤더에 3비트의 정보를 할당하여 포함시킬 수도 있다. 이러한 3비트 정보의 내용에 대한 일례는 표 8과 같다. 표 8을 참조하면, 부호 '001' 일 경우에는 현재 블록과 동일한 영상 내의 공간 방향에서만 예측을 수행하고, 부호 '010' 일 경우에는 리스트0(list0)의 시간 방향에서만 예측을 수행하고, 부호 '011' 일 경우에는 현재 블록과 동일한 영상 내의 공간 방향의 예측과 리스트0(list0)의 시간 방향에서만 예측을 함께 수행하고, 부호 '100' 일 경우에는 리스트1(list1)의 시간 방향에서만 예측을 수행하고, 부호 '101' 일 경우에는 현재 블록과 동일한 영상 내의 공간 방향의 예측과 리스트1(list1)의 시간 방향에서만 예측을 함께 수행하고, 부호 '110' 일 경우에는 리스트0(list0)의 시간 방향에서의 예측과 리스트1(list1)의 시간 방향에서의 예측을 함께 수행하고, 부호 '111' 일 경우에는 현재 블록과 동일한 영상 내의 공간 방향의 예측, 리스트0(Ilist0)의 시간 방향에서의 예측, 및 리스트1(list1)의 시간 방향에서의 예측을 함께 수행하고, 부호 '000' 일 경우에는 예측 방법에 관한 정보를 각 블록 단위로 설정하여 블록 단위로 예측 방법을 적응적으로 선택할 수 있도록 한다.
부호 내용
000 각 블록 단위로 정보를 할당하여 예측 방법 선택
001 공간 방향에서만 예측을 수행
010 리스트0(list0)의 시간 방향에서만 예측을 수행
011 공간 방향의 예측과 리스트0(list0)의 시간 방향에서만 예측을 함께 수행
100 리스트1(list1)의 시간 방향에서만 예측을 수행
101 공간 방향의 예측과 리스트1(list1)의 시간 방향에서만 예측을 함께 수행
110 리스트0(list0)의 시간 방향에서의 예측과 리스트1(list1)의 시간 방향에서의 예측을 함께 수행
111 공간 방향의 예측, 리스트0(list0)의 시간 방향에서의 예측, 및 리스트1(list1)의 시간 방향에서의 예측을 함께 수행
현재 영상이 B-픽쳐인 경우에 리스트0(list0)과 리스트1(list1) 각각을 위한 예측 방법을 설정하기 위해서 슬라이스 헤더에 3비트의 정보를 할당하여 포함시키는 경우에, 이를 표현하기 위한 3비트 정보의 다른 예는 다음과 같다. 현재 블록과 동일한 영상 내의 공간 방향의 예측, 리스트0(list0)의 시간 방향에서의 예측, 및 리스트1(list1)의 시간 방향에서의 예측을 함께 수행할 경우에는 '000', 현재 블록과 동일한 영상 내의 공간 방향에서만 예측을 수행할 경우에는 '001', 현재 블록과 동일한 영상 내의 공간 방향의 예측과 리스트0(list0)의 시간 방향에서의 예측을 함께 수행할 경우에는 '010', 현재 블록과 동일한 영상 내의 공간 방향의 예측과 리스트1(list1)의 시간 방향에서의 예측을 함께 수행할 경우에는 '011', 리스트0(list0)의 시간 방향에서의 예측과 리스트1(list1)의 시간 방향에서의 예측을 함께 수행할 경우에는 '100', 리스트0(list0)의 시간 방향에서만 예측을 수행할 경우에는 '101', 리스트1(list1)의 시간 방향에서만 예측을 수행할 경우에는 '110', 각 블록 단위로 정보를 할당하여 예측 방법을 선택할 경우에는 '111'로 표현할 수 있다.
표 9는 현재 영상이 P-픽쳐일 경우에는 리스트0(list0)만을 참조하는 것을 고려하여 2비트의 정보를 사용하여 표현하고, 현재 영상이 B-픽쳐일 경우에는 리스트0(list0)과 리스트1(list1)을 모두 참조하는 것을 고려하여 3비트의 정보를 사용하여 표현하는 경우에 대한 신택스 구조의 일례이다. 표 9를 참조하면, 시퀀스의 프로파일이 "MULTI_VIEW_PROFILE"이고 슬라이스 타입이 I-픽쳐나 SI-픽쳐가 아닐 경우에, "illumination_prediction_idc"를 슬라이스 헤드에 포함시킨다.
Figure 112006033642536-pat00005
또한, P-픽쳐의 경우와 B-픽쳐의 경우 모두를 H.264/AVC에서 사용하는 Exp-Golomb 코드를 사용하여 표현하고 이를 슬라이스 헤드의 신택스에 포함시킬 수도 있다. 이러한 실시예는 표 10에 도시되어 있다. 표 10을 참조하면, "MULTI_VIEW_PROFILE"이고 슬라이스 타입이 I-픽쳐나 SI-픽쳐가 아닐 경우에, P-픽쳐 또는 B-픽쳐에 상관없이 "illumination_prediction_idc"를 슬라이스 헤드에 포함시킨다.
Figure 112006033642536-pat00006
표 11은 다시점 비디오 코딩에서 슬라이스 단위로 이미지 정보 변이값, 예컨대 휘도 변이값의 예측 방법을 설정하는 경우에 대한 신택스 구조의 다른 예를 보여주고 있다. 표 11을 참조하면, 블록 단위로 시간 방향에서의 예측 방법을 선택할 수 있도록 하는 "use_temporal_prediction_each_block_flag", 현재 영상이 P-픽쳐나 B-픽쳐일 경우에 리스트0(list0)으로부터 예측을 허용할 것인지에 대한 "use_list0_temporal_prediction_flag", 및 현재 영상이 B-픽쳐일 경우에 리스트1(list1)로부터 예측을 허용할 것인지에 대한 "use_list1_temporal_prediction_flag"를 슬라이스 헤드에 포함시킨다.
Figure 112006033642536-pat00007
표 12는 다시점 비디오 코딩에서 슬라이스 단위로 이미지 정보 변이값, 예컨대 휘도 변이값의 예측 방법을 설정하는 경우에 대한 신택스 구조의 또 다른 예를 보여주고 있다. 표 12를 참조하면, 표 11과는 달리 블록 단위로 시간 방향에서의 예측을 허용할 것인지에 대한 것을 나타내는 플래그인 "use_temporal_prediction_each_block_flag"는 슬라이스 헤드의 신택스에 포함되지 않는다. 이와 같은 경우에는 블록 단위로 시간 방향에서 휘도 변이값을 예측하는 방법은 선택하지 않거나 또는 슬라이스 단위 외에 블록 단위로 시간 방향에서 휘도 변이값을 예측하는 방법을 항상 선택할 수도 있다.
Figure 112006033642536-pat00008
표 13은 다시점 비디오 코딩에서 슬라이스 단위로 이미지 정보 변이값, 예컨대 휘도 변이값을 예측하는 방법을 설정하는 경우에 대한 신택스 구조의 또 다른 예를 보여주고 있다. 표 13을 참조하면, 블록 단위로 시간 방향에서의 예측 방법의 선택 여부에 대한 플래그인 "use_temporal_prediction_each_block_flag"를 슬라이스 전체 단위의 플래그와는 독립적으로 코딩하도록 슬라이스 헤드에 포함시킨다.
Figure 112006033642536-pat00009
전술한 바와 같이, 본 발명에 따른 다시점 비디오 코딩에서 이미지 정보 변이값, 예컨대 휘도 변이값에 대한 예측 방법을 각 블록 단위로 적응적으로 수행할 수도 있다. 그리고 이를 표현하기 위한 부호를 각 블록에 대한 신택스 구조에 포함시킬 수 있다. 표 14는 각 블록 단위로 수행되는 예측 방법을 표현하기 위한 부호의 일례이다.
부호 내용
0 공간 방향에서만 예측을 수행
1 시간 방향에서만 예측을 수행 또는 공간 방향에서의 예측과 시간 방향에서의 예측을 동시에 수행
표 14를 참조하면, 부호'0'일 경우에는 현재 블록과 동일한 영상 내의 공간 방향에서만 예측을 수행한다. 그리고 부호'1'일 경우에는 시간 방향에서의 예측만을 수행하거나 또는 상기 시간 방향의 예측과 현재 블록과 동일한 영상 내의 공간 방향의 예측을 함께 수행한다.
이에 대한 일례를 보여주는 신택스 구조가 표 15에 나타나 있는데, 표 15는 매크로블록 단위로 휘도 변이값을 예측하는 경우에 대한 것이다. 표 15를 참조하면, 상기 신택스 구조는 우선 휘도 보상의 사용여부를 나타내는 "use_illumination_compensation_flag", 시간 방향에서의 예측 여부를 나타내는 "use_temporal_predicition_flag", 및 휘도 변이값을 예측한 값인 "illumination_change_value"를 포함한다.
Figure 112006033642536-pat00010
매크로블록 단위로 이미지 정보 변이값, 예컨대 휘도 변이값을 예측할 경우에 대한 다른 실시예에 따른 신택스 구조는 표 16에 기술되어 있다. 표 16과 같은 신택스 구조에서는, 비록 슬라이스 헤더에서 슬라이스 단위로 예측 방법이 설정되어 있는 경우에도 매크로블록 단위에서는 시간 방향에서의 예측 코딩을 나타내는 플래그 정보를 사용하지 않을 수도 있다. 예를 들어, 슬라이스 헤더에 포함되어 있는 정보인 "use_temporal_prediction_each_block_flag"가 1일 경우에만, 표 16에 기술되어 있는 매크로블록 단위의 시간 방향에서의 예측 코딩 여부를 나타내는 플래그 정보를 사용할 수 있다.
Figure 112006033642536-pat00011
매크로블록 단위로 이미지 정보 변이값, 예컨대 휘도 변이값을 예측할 경우에 대한 또 다른 실시예로서, 리스트0(list0) 및/또는 리스트1(list1)에서의 예측을 허용할지 여부에 대한 플래그를 매크로블록에 대한 신택스에 포함시키고, 매크로블록 타입에 따라서 상기 플래그를 통해 시간 방향 예측의 사용 여부를 결정할 수 있다. 예컨대, 리스트0(list0)만을 참조하는 매크로블록 타입의 경우에는 그에 해당하는 시간 방향 참조 플래그를 사용하고, 리스트1(list1)만을 참조하는 매크로블록 타입의 경우에는 그에 해당하는 시간 방향 참조 플래그를 사용하고, 리스트0(list0)과 리스트1(list1)을 모두 참조하는 매크로블록 타입의 경우에는 각각에 시간 방향 참조 플래그를 모두 사용할 수 있다.
표 17은 상기 실시예에 대한 신택스 구조의 일례를 보여주고 있다. 표 17을 참조하면, 상기 신택스는 리스트0(list0)을 참조하는 매크로블록 타입의 경우(즉, P-픽쳐일 경우와 B-픽쳐에서 매크로블록 타입이 0, 1, 3, 4, 5, 8부터 22까지일 경우)에 매크로블록 단위로 시간 방향 예측의 사용 여부를 결정하는 "use_list0_temporal_predicition_flag", 리스트0(list0)을 참조하는 매크로블록 타입의 경우(즉, B-픽쳐에서 매크로블록 타입이 0, 2, 3, 6부터 22까지일 경우)에 매크로블록 단위로 시간 방향 예측의 사용 여부를 결정하는 "use_list1_temporal_predicition_flag"를 포함한다.
Figure 112006033642536-pat00012
매크로블록 블록 단위로 예측 방법을 설정하는 또 다른 실시예는 매크로블록이 서브 매크로블록(sub-macroblock, 예컨대 8ㅧ 8 블록)으로 나누어지는 경우에 적용된다. 이 경우에 리스트0(list0) 및/또는 리스트1(list1)에서의 예측을 허용할지 여부에 대한 플래그를 각각 상기 서브 매크로블록별로 할당하여 신택스 구조에 포함시킬 수 있다.
표 18 및 표 19는 이러한 실시예에 대한 신택스 구조를 예시한 것이다. 표 18은 매크로블록 단위로 휘도 변이값을 예측하여 코딩할 경우에 매크로블록 단위로 시간 방향으로의 예측을 수행할 지에 대한 플래그를 포함하는 신택스이며, 표 19는 서브 매크로블록 단위로 휘도 변이값을 예측하여 코딩할 경우에 서브 매크로블록 단위로 시간 방향으로의 예측을 수행할 지에 대한 플래그를 포함하는 신택스이다.
표 18을 참조하면, 표 17의 경우와 달리 "mb_type"이 22일 경우(서브 매크로블록 단위로 나뉘어 질 경우)에는 매크로블록 단위의 플래그 코딩을 수행하지 않는다. 대신에 표 19의 서브 매크로블록 코딩을 보여주는 신택스는 서브 매크로블록 별로 리스트0(list0)과 리스트1(list1)에서의 예측을 허용할지 여부에 대한 "use_list0_temporal_predicition_flag" 및 "use_list1_temporal_predicition_flag" 를 포함하고 있다.
Figure 112006033642536-pat00013
Figure 112006033642536-pat00014
<예측 이미지 정보 변이값을 구하는 방법>
전술한 방법에 의해서 선택된 예측 후보 블록들의 이미지 정보 변이값을 사용하여 현재 블록에 대한 예측 이미지 정보 변이값을 구하는 방법은 여러 가지가 있을 수 있다. 예를 들어, 상기 예측 후보 블록 집합을 구성하는 참조 블록들의 이미지 정보 변이값의 중간값(median value)이나 평균값(average value)을 취하여 이를 예측 이미지 정보 변이값으로 하거나 또는 전술한 예측 후보 블록들 중에서 이미지 정보 변이값이 존재하는 가장 높은 우선순위를 갖는 참조 블록의 이미지 정보 변이값을 예측 이미지 정보 변이값으로 하는 방법 등이 있다. 이하에서는 예측 휘도 변이값을 구하는 방법을 예로 들어서, 이들 각각에 대한 구체적인 실시예를 설명하기로 한다.
중간값을 이용하는 방법
중간값을 이용하여 예측 휘도 변이값을 구하는 방법의 일례로서, 예측 후보 블록에 우선순위가 주어졌을 경우 상기 예측 후보 블록 집합 중에서 휘도 변이값이 존재하는 블록을 우선순위대로 N개(여기서 N은 예측 후보 블록의 수보다 같거나 작다) 선택하여 그것의 중간값을 취할 수 있다. 이러한 방법의 알고리즘은 도 6에 도시되어 있다.
도 6을 참조하면, 우선 예측 후보 블록 집합 중에서 휘도 변이값이 존재하는 블록의 개수(B)를 계산한다(S11).
그리고 상기 S11에서 계산된 블록의 개수(B)가 N개 이상이 되는지 여부를 판단한다(S12). 판단 결과, 상기 블록의 개수(B)가 N개 이상이면 단계 S15로 분기하고, N개 보다 적으면 단계 S13으로 분기한다.
단계 S13에서는 N의 값에 1을 뺀 값을 N으로 설정하여 저장한다(S13).
그리고 N의 값이 0과 같은지 여부를 판단한다(S14). 판단 결과, N의 값이 0과 같으면 휘도 변이값을 갖는 예측 후보 블록이 존재하지 않으므로 절차를 종료한다. 그러나 N의 값이 0이 아니라면 단계 S12로 분기하여 전술한 단계 S12 내지 S14를 반복한다.
계속해서, 예측 후보 블록의 개수(B)가 N개 이상일 경우에는 이들 블록의 우선 순위에 따라 휘도 변이값이 존재하는 블록 N개를 선택한다.(S15)
그리고 선택된 N개의 예측 후보 블록의 휘도 변이값들의 중간값을 취하여 그 값을 예측 휘도 변이값으로 선택한다(S16). 중간값을 선택할 때 N이 짝수일 경우에는 중간값의 위치 결정은 'N/2'의 인덱스를 사용할 수 있다. 예컨대 N이 4였다면 인덱스 2를 중간값으로 결정한다. N이 짝수일 경우에 '(N/2)+1'의 인덱스를 사용할 수도 있다. 이 경우에 N이 4였다면 인덱스 3을 중간값으로 결정한다.
중간값을 이용하여 예측 휘도 변이값을 구하는 방법의 다른 예로서, 예측 후보 블록 중에서 휘도 변이값이 존재하는 모든 블록에 대한 중간값을 취하여 이 값을 예측값으로 선택할 수 있다. 이 방법의 알고리즘은 도 7에 도시되어 있다.
도 7을 참조하면, 우선 예측 후보 블록들 중에서 휘도 변이값이 존재하는 블록의 개수를 계산한다(S21). 그리고 이 개수를 N으로 설정한다.
그리고 상기 N의 값이 0인지 여부를 판단한다(S22). 만약 N의 값이 0과 같으면 휘도 변이값을 갖는 예측 후보 블록이 존재하지 않음을 알고 바로 절차를 종료한다. 그러나 N의 값이 0이 아니라면 단계 S23으로 분기한다.
계속해서, 휘도 변이값이 존재하는 N개의 예측 후보 블록들로부터 그 휘도 변이값의 중간값을 취하여 그 값을 예측값으로 선택한다(S23). 전술한 바와 마찬가지로 N이 짝수일 경우에는 'N/2'의 인덱스 또는 '(N/2)+1'의 인덱스를 사용할 수 있다.
평균값을 이용하는 방법
평균값을 이용하여 예측 휘도 변이값을 구하는 방법의 일례로서, 예측 후보 블록에 우선순위가 주어졌을 경우 상기 예측 후보 블록 집합 중에서 휘도 변이값이 존재하는 블록을 우선순위대로 N개(여기서 N은 예측 후보 블록의 수보다 같거나 작다) 선택하여 그것의 평균값을 취할 수 있다. 이러한 방법의 알고리즘은 도 8에 도시되어 있다.
도 8을 참조하면, 우선 예측 후보 블록 집합 중에서 휘도 변이값이 존재하는 블록의 개수(B)를 계산한다(S31).
그리고 상기 S31에서 계산된 블록의 개수(B)가 N개 이상이 되는지 여부를 판단한다(S32). 판단 결과, 상기 블록의 개수(B)가 N개 이상이면 단계 S35로 분기하고, N개 보다 적으면 단계 S33으로 분기한다.
단계 S33에서는 N의 값에 1을 뺀 값을 N으로 설정하여 저장한다(S33).
계속해서, N의 값이 0과 같은지 여부를 판단한다(S34). 판단 결과, N의 값이 0과 같으면 휘도 변이값을 갖는 예측 후보 블록이 존재하지 않음을 알고 절차를 종료한다. 그러나 N의 값이 0이 아니라면 단계 S32로 분기하여 전술한 단계 S32 내지 S34를 반복한다.
계속해서, 예측 후보 블록의 개수(S)가 N개 이상일 경우에는 이들 블록의 우선순위에 따라 휘도 변이값이 존재하는 블록 N개를 선택한다.(S15)
그리고 선택된 N개의 예측 후보 블록의 휘도 변이값들의 평균값을 취하여 그 값을 예측 휘도 변이값으로 선택한다(S36).
평균값을 이용하여 예측 휘도 변이값을 구하는 방법의 다른 예로서, 예측 후보 블록 집합 중에서 휘도 변이값이 존재하는 모든 블록에 대한 평균값을 취하여 이 값을 예측값으로 선택할 수 있다. 이 방법의 알고리즘은 도 9에 도시되어 있다.
도 9를 참조하면, 우선 예측 후보 블록 집합 중에서 휘도 변이값이 존재하는 블록의 개수를 계산한다(S41). 그리고 이 개수를 N으로 설정한다.
그리고 상기 N의 값이 0인지 여부를 판단한다(S42). 만약 N의 값이 0과 같으면 예측값이 존재하지 않음을 알고 바로 절차를 종료한다. 그러나 N의 값이 0이 아니라면 단계 S43으로 분기한다.
단계 S43에서는 휘도 변이값이 존재하는 N개의 예측 후보 블록들로부터 그 휘도 변이값의 평균값을 취하여 그 값을 예측값으로 선택한다(S23).
우선순위를 이용하는 방법
전술한 본 발명의 실시예에 따라 설정된 우선순위를 이용하여 가장 높은 우선순위를 갖는 블록의 휘도 변이값을 예측 휘도 변이값으로 사용할 수도 있다. 이 방법의 알고리즘은 도 10에 도시되어 있다.
도 10을 참조하면, 우선 예측 후보 블록이 N개가 존재할 경우 길이 N을 갖는 배열 A를 선언한다(S51).
그리고 예측 후보 블록의 우선순위에 따라 배열 A의 0부터 N-1의 인덱스(index)에 예측 후보 블록을 차례대로 저장한다(S52).
계속해서, 최초 인덱스의 값으로 0을 설정한다(S53).
계속해서, A[index]에 해당하는 예측 후보 블록에 휘도 변이값이 존재하는지 여부를 판단한다(S54). 판단 결과, 휘도 변이값이 존재하면 단계 S57로 분기한다. 그러나 휘도 변이값이 존재하지 않는다면 단계 S55로 분기한다.
단계 S55에서는 상기 index의 값을 1만큼 증가시킨다(S55).
계속해서, 상기 index의 값이 N과 같은지 여부를 판단한다(S56). 판단 결과, 상기 index의 값이 N과 같으면 휘도 변이값을 갖는 예측 후보 블록이 존재하지 않으므로 절차를 종료한다. 그러나 상기 index의 값이 N과 같지 않다면 단계 S54로 분기하여 절차를 반복한다.
그리고 A[index]에 해당하는 예측 후보 블록에 휘도 변이값이 존재하는 경우에는 이 값을 예측값으로 선택한다(S57).
전술한 본 발명의 실시예에 따른 방법들, 즉 이미지 정보 변이값 예측을 위한 예측 후보 블록의 선택 방법, 상기 예측 후보 블록들 사이의 우선순위를 정하는 방법, 상기 이미지 정보 변이값의 예측 방법에 관한 정보 및 신택스의 구조, 및/또는 선택된 예측 후보 블록을 이용하여 예측 이미지 정보 변이값을 구하는 방법을 조합함으로써, 현재 영상(현재 블록)에 대한 예측 이미지 정보 변이값을 구하기 위한 여러 가지 방법을 만들어 낼 수가 있다. 이하에서는 예측 휘도 변이값을 구하는 방법을 예로 들어서, 본 발명의 몇 가지 실시예에 대하여 설명한다.
우선 현재 영상이 P-픽쳐이고 현재 블록이 리스트0(list0)을 참조하는 블록이며, 그리고 예측 후보 블록 집합은 도 5에 도시되어 있는 블록들 중에서 블록 'A', 'B', 'C', 'D', 'Pf', 'a', 'b', 'c', 'd', 'e', 'f', 'g', 및 'h'로 구성되며, 휘도 변이값이 존재하는 모든 예측 후보 블록에 대해서 중간값을 취하여 예측 휘도 변이값을 구하는 경우에 대해서 설명한다. 이러한 방법의 일례는 도 11에 도시되어 있으며, 그 알고리즘은 다음과 같다.
우선, 상기 예측 후보 블록 집합에서 휘도 변이값이 존재하는 블록의 개수를 계산하여 그 값을 N으로 설정한다(S61).
그리고 상기 N의 값이 0과 같은지 여부를 판단한다(S62). 판단 결과, N의 값이 0과 같으면 휘도 변이값을 갖는 예측 후보 블록이 존재하지 않으므로 절차를 종료한다. 그러나 N의 값이 0이 아니라면 다음 단계(S63)로 분기한다.
계속해서 상기 N개의 예측 후보 블록들의 휘도 변이값들의 중간값을 취하여 그 값을 예측값으로 선택한다(S63). 이 경우, N이 짝수일 경우에 중간값의 위치 결정 방법은 'N/2'의 인덱스를 사용하거나 'N/2+1'의 인덱스를 사용할 수 있다.
예를 들어, 휘도 변이값이 존재하는 예측 후보 블록들이 블록 'B', 'C', 'Pf', 'a', 및 'd'였다면, 전술한 실시예에 따라 예측 휘도 변이값을 구하는 방법은 다음과 같다. 우선, 예측 후보 블록 집합 'A', 'B', 'C', 'D', 'Pf', 'a', 'b', 'c', 'd', 'e', 'f', 'g', 및 'h'에서 휘도 변이값이 블록 'B', 'C', 'Pf', 'a', 및 'd'에 존재하므로 블록의 개수(N)를 5로 설정한다. 그리고 블록의 개수(N)가 0이 아니므로, 휘도 변이값이 존재하는 상기 5개의 예측 후보 블록의 휘도 변이값들 중에서 중간값을 취한다. 이 경우에 만일 중간값으로 블록 'Pf'가 선택되었다면, 현재 블록에 대한 예측 휘도 변이값은 블록 'Pf'의 휘도 변이값이 된다.
그리고 상기 예측 방법을 표 12와 같이 슬라이스 단위로 설정하여 신택스 구조를 형성할 경우에는 "use_list0_temporal_prediction_flag"를 '1'로 할당할 수 있다. 또는 상기 예측 방법을 표 17과 같이 매크로 블록 단위로 설정하고 리스트0(list0)을 참조하는 매크로 블록 타입의 경우에는 "use_list0_temporal_prediction_flag"를 '1'로 할당할 수 있다.
다음으로 현재 영상이 B-픽쳐이고 현재 블록이 리스트0(list0)과 리스트1(list1)을 참조하는 블록이며, 그리고 예측 후보 블록 집합은 도 5의 블록 'A', 'B', 'C', 'D', 'Pf', 및 'Pb'로 구성되며, 또한 예측 후보 블록들 사이의 우선순위는 시간 방향의 참조 거리에 의하여 적응적으로 결정하며 휘도 변이값이 존재하는 모든 예측 후보 블록들 중에서 3개를 택해 중간값을 취함으로써 예측 휘도 변이값을 구하는 경우에 대해서 설명한다. 이러한 방법의 일례는 도 12에 도시되어 있으며, 그 알고리즘은 다음과 같다.
도 12를 참조하면, 우선 예측 후보 블록들 중에서 중간값을 취할 블록의 개수(N)를 우선순위에 따라 3으로 설정한다(S71).
그리고 예측 후보 블록들 사이의 우선순위를 시간 방향의 참조 거리에 따라 적응적으로 부여하여 우선순위를 결정한다(S72). 이와 같이 우선순위를 정하는 방법의 일례는 표 20에 기술되어 있는데, 표 20에서 D0은 리스트0(list0)의 시간 방향의 참조의 거리이고, D1은 리스트1(list1)의 시간 방향의 참조의 거리이다.
계속해서, 예측 후보 블록 집합 중에 휘도 변이값이 존재하는 블록의 개수(B)를 계산한다(S73). 본 단계는 전술한 단계 S71 및 S72의 이전에 수행하는 것도 가능하다.
계속해서, 휘도 변이값이 존재하는 예측 후보 블록의 개수(B)가 상기 중간값을 취하기 위하여 설정한 블록의 개수(N), 즉 3 이상이 되는지를 판단한다(S74). 판단 결과, B가 3이상이면 단계 S77로 분기한다. 그러나 B가 3보다 작은 경우에는 단계 S75로 분기한다.
단계 S75에서는 N의 값에 1을 뺀 값을 새로운 N(예컨대 2, 1, 0)으로 설정하여 저장한다(S75).
계속해서, 새롭게 설정된 N의 값이 0과 같은지를 판단한다(S76). 판단 결과, 상기 N의 값이 0과 같으면 휘도 변이값을 갖는 예측 후보 블록이 존재하지 않으므로 절차를 종료한다. 그러나 상기 N의 값이 0이 아니라면 다시 단계 S74로 분기한다.
계속해서, 단계 S74에서의 판단 결과가 B가 3이상(또는 2, 1)인 경우에는 예측 후보 블록의 우선순위에 따라 휘도 변이값이 존재하는 예측 후보 블록 3개를 선택한 다음 이들의 중간값을 취하여 그 값을 예측값으로 선택한다(S77).
리스트0(list0)(D0) 리스트1(list1)(D1) 우선순위
D0 = 1 D1 = 1 'Pf', 'Pb', 'A', 'B', 'C', 'D'
D0 = 1 1 < D1 ≤ 3 'Pf', 'A', 'B', 'Pb', 'C', 'D'
D0 = 1 D1 > 3 'Pf', 'A', 'B', 'C', 'D', 'Pb
1 < D0 ≤ 3 D1 = 1 'Pb', 'A', 'B', 'Pf', 'C', 'D'
1 < D0 ≤ 3 1 < D1 ≤ 3 'A', 'B', 'Pf', 'Pb' , 'C', 'D'
1 < D0 ≤ 3 D1 > 3 'A', 'B', 'Pf', 'C', 'D', 'Pb'
D0 > 3 D1 = 1 'Pb', 'A', 'B', 'C', 'D', 'Pf'
D0 > 3 1 < D1 ≤ 3 'A', 'B', 'Pb', 'C', 'D', 'Pf'
D0 > 3 D1 > 3 'A', 'B', 'C', 'D', 'Pf', 'Pb'
예를 들어, D0가 1이고 D1이 2이며 휘도 변이값이 존재하는 예측 후보 블록이 블록 'Pf', 'Pb', 'A', 'B', 및 'C'라면, 예측 휘도 변이값을 구하는 방법은 다음과 같다.
우선 N의 값으로 3을 설정하여 저장한다. 그리고 D0가 1이고 D1이 2이므로 표 20을 참조하면, 우선순위를 블록 'Pf', 'A', 'B', 'Pb', 'C', 'D'의 순서로 정한다. 계속해서, 예측 후보 블록 중에 휘도 변이값이 존재하는 블록이 3개 이상 있기 때문에 상기 우선순위에 따라 블록 'Pf', 'A', 'B'를 선택하고 이 선택된 3개의 블록에 대해 중간값을 취한다. 계속해서, 상기 중간값으로 블록 'A'가 선택되었다면, 현재 블록의 휘도 변이값에 대한 예측값은 블록 'A'의 휘도 변이값이 된다.
이상으로 본 발명에 따른 이미지 정보 변이값의 예측 방법에 대하여 첨부 도면을 참조하여 구체적으로 설명하였다. 그러나 위에서 설명한 구체적인 실시예 외에도, 전술한 이미지 정보 변이값 예측을 위한 예측 후보 블록의 선택 방법, 상기 예측 후보 블록들 사이의 우선순위를 정하는 방법, 상기 이미지 정보 변이값의 예측 방법에 관한 정보 및 신택스의 구조, 및/또는 선택된 예측 후보 블록을 이용한 예측 이미지 정보 변이값을 구하는 방법을 조합한 다양한 실시예가 가능하다는 것은 당업자에게 자명하다.
<다시점 비디오 부호화 장치>
계속해서 본 발명의 일 실시예에 따른 다시점 비디오 부호화 장치 및 이를 이용한 부호화 방법에 대하여 설명한다. 본 실시예에서는 휘도 변이값에 대해서만 예를 들어 설명하고 있지만, 색차 변이값 및 RGB 칼라 정보 변이값에 대해서도 동일하게 적용할 수 있다는 것은 당업자에게 자명하다.
도 13은 본 발명의 일 실시예에 따른 휘도 변이값 예측 방법을 구현하기 위한 다시점 영상 부호화 장치의 구성을 개략적으로 보여주는 블록도이다. 도 13을 참조하면, 다시점 비디오 부호화 장치(100)는 영상 단위 시간 방향 예측 가능 여부 선택부(110), 움직임 예측부(120), 움직임 보상부(130), 블록 단위 예측 휘도 변이값 계산부(140), 변환 및 양자화부(152, 153), 엔트로피 코딩부(154), 역양자화 및 역변화부(155, 156), 및 다수의 가산기(162, 164, 166)를 포함하여 구성된다. 이하, 도 13을 참조하여 본 발명의 실시예에 따른 다시점 영상 부호화 장치(100)의 구성 및 동작에 대하여 설명한다.
영상 단위 시간 방향 예측 가능 여부 선택부(110)는 인터 픽쳐로 코딩될 입력 영상이 부호화 장치(100)로 입력되었을 때, 휘도 변이값의 예측값을 시간 방향으로 픽쳐 단위로 예측을 하는 것이 가능한지 여부에 대해 판단하여 그 정보를 출력한다. 영상 단위 시간 방향 예측 가능 여부 선택부(110)의 보다 구체적인 구성 및 동작에 대해서는 후술한다.
그리고 움직임 예측부(120)는 종래의 움직임 예측부와 마찬가지로 참조 영상(list0, list1, 또는 list0과 list1 모두)으로부터 블록 단위의 움직임 예측을 수행하여 움직임 벡터를 출력한다. 그리고 움직임 예측부(120)는 움직임 예측을 수행하는 과정과 병행하거나 또는 순차적으로 휘도 변이값의 사용 여부에 대한 판단을 하고 그 판단 결과를 나타내는 정보도 함께 출력한다. 만일 휘도 변이값을 사용한다고 판단한 경우에는 휘도 변이값 계산부(122)에서 휘도 변이값을 계산하여 함께 출력한다. 비록 도면에서는 휘도 변이값 계산부(122)가 움직임 예측부(120)의 일 구성 요소인 것으로 도시되어 있지만, 휘도 변이값 계산부(122)는 움직임 예측부(120)와는 구분되는 독립적인 구성 요소일 수도 있다.
그리고 움직임 보상부(130)는 통상적인 움직임 보상 과정을 수행하며, 휘도 변이값이 있는 경우에는 휘도 보상부(132)에서 휘도 보상 과정을 함께 진행한다. 그 결과 움직임 및 휘도가 보상된 예측 영상을 가산기(162)로 출력하며, 가산기(162)는 입력 영상과 상기 예측 영상을 차분하여 차분 영상을 출력한다. 계속해서 변환 및 양자화부(152, 153)는 차분 영상에 대하여 통상적인 변환 및 양자화 과정을 수행하며, 이 후에 엔트로피 코딩부(154)가 엔트로피 코딩을 수행하여 비트스트림을 생성하여 출력한다.
역양자화 및 역변환부(155, 156)는 양자화까지 마친 데이터에 대하여 역양자화와 역변환 과정을 수행하여 차분 영상을 복원한다. 복원된 차분 영상은 가산기(166)로 입력되며, 가산기(166)에서는 움직임 보상부(130)로부터 출력되는 예측 영상과 복원된 차분 영상을 더하여 재구성된 현재 영상을 얻는다. 재구성된 현재 영상, 보다 정확하게는 현재 영상에서 현재 블록보다 이전에 부호화되어 복원된 상기 현재 블록의 주변 블록(예측 후보 블록)의 데이터(휘도 변이값)는 블록 단위 예측 휘도 변이값 선택부(140)로 입력된다.
블록 단위 예측 휘도 변이값 선택부(140)는 입력되는 상기 현재 블록의 주변 블록 및 참조 영상(list0, list1)을 구성하는 예측 후보 블록의 휘도 변이값으로부터 현재 블록에 대한 휘도 변이값을 예측한다. 이를 위하여 휘도 변이값 계산부(122)로부터 입력되는 휘도 변이값의 사용 여부에 대한 정보를 이용한다. 휘도 변이값을 예측하는 구체적인 방법은 전술한 본 발명의 실시예 중의 한 방법이 적용될 수 있다. 그리고 이 과정에서 블록 단위로 휘도 변이값을 시간 방향으로 예측하는 것이 가능한지 여부에 대해 조사하여 그 정보를 출력한다. 블록 단위 예측 휘도 변이값 선택부(140)의 구체적인 구성에 대해서는 후술한다.
그리고 블록 단위 예측 휘도 변이값 선택부(140)에 의해 선택된 예측 휘도 변이값은 가산기(164)로 입력된다. 가산기(164)는 예측 휘도 변이값과 휘도 변이값 계산부(122)로부터 입력되는 휘도 변이값을 이용하여 차분 휘도 변이값을 구하여 출력한다.
블록 단위 예측 휘도 변이값 선택부
도 14는 도 13의 블록 단위 예측 휘도 변이값 선택부(140)의 일례를 보여주는 블록도이다. 도 14를 참조하면, 블록 단위 예측 휘도 변이값 선택부(140)는 예측 블록 선택부(142), 우선순위 결정부(144), 블록 단위 시간 방향 예측 여부 결정부(146), 및 예측 휘도 변이값 계산부(148)를 포함하여 구성된다. 이하에서는 전술한 휘도 변이값을 예측하는 방법을 참조하여, 블록 단위 예측 휘도 변이값 선택부(140)의 구성 및 동작을 설명한다.
도 14를 참조하면, 예측 블록 선택부(142)는 예컨대 도 5에 도시되어 있는 예측 후보 블록들 중에서 전술한 <예측 후보 블록의 선택 방법> 중의 한 가지 방법을 이용하여 예측 후보 블록을 선택한다. 예를 들어, ① 도 5의 예측 후보 블록들의 모든 부분집합을 사용하는 방법, ② 현재 영상이 P-픽쳐인 경우에 도 5의 (a)와 (b)에 해당하는 예측 후보 블록들의 모든 부분집합을 사용하는 방법, ③ 현재 영상이 B-픽쳐인 경우에 도 5의 예측 후보 블록들의 모든 부분집합을 사용하는 방법, 또는 ④ 현재 영상이 B-픽쳐인 경우에 매크로블록의 타입에 따라서 예측 후보 블록을 다르게 주는 방법 등을 이용하여 예측 후보 블록을 선택한다.
그리고 우선 순위 결정부(144)는 전술한 <선택된 예측 후보 블록들 사이의 우선 순위 결정 방법> 중의 한 가지 방법을 이용하여 예측 블록 선택부(142)에서 생성된 예측 후보 블록들 사이의 우선순위를 결정한다. 예를 들어, ① 임의의 어떤 순서도 가질 수 있는 방법, ② 고정적으로 우선순위를 정하는 방법, ③ 적응적으로 시간방향의 참조 프레임의 거리에 따라 우선순위를 정하는 방법, 또는 ④ 현재 블록이 참조하여 휘도 변이값을 계산한 참조 블록의 시간 방향의 움직임 벡터를 이용하여 적응적으로 우선순위를 정하는 방법 등을 이용하여 우선순위를 결정한다.
다음으로, 블록 단위 시간 방향 예측 여부 결정부(146)는 영상 단위로 휘도 변이값을 예측할 경우에 시간 방향으로 예측을 수행하는지 여부 대한 정보와 휘도 변이값을 사용하는지 여부에 대한 정보를 입력 받아서, 블록 단위에서 시간 방향으로 예측을 사용할 것인지에 대한 결정을 한다. 예를 들어, 블록 단위 밝기 정보의 평균의 차이값을 구하여 그 차이가 임계치 α이상일 경우에는 블록 단위 시간 방향의 예측을 수행하지 않고 임계치 α보다 같거나 작을 경우에는 블록 단위 시간 방향의 예측을 수행한다.
그리고 블록 단위 시간 방향 예측 여부 결정부(146)는 전술한 <휘도 변이값의 예측 방법에 관한 정보 및 신택스의 구조> 중의 한 가지 방법을 이용하여 블록 단위로 휘도 변이값을 시간 방향으로 예측할지 여부에 대한 정보를 출력한다. 예를 들어, ① 매크로블록 코딩에서 시간 방향으로 예측을 수행할지에 대한 플래그를 코딩하는 방법, ② 매크로블록 코딩에서 list0과 list1에서의 시간 방향으로 예측을 수행할지에 대한 플래그를 각각 코딩하는 방법, ③ 서브 매크로블록 단위로 코딩될 경우 서브 매크로블록 단위로 시간 방향으로의 예측을 수행할지에 대한 플래그를 코딩하는 방법, 또는 ④ 블록 단위의 시간 방향 예측 수행 여부의 정보 코딩을 슬라이스 헤더의 정보에 따라 코딩하는 방법 등을 나타내는 정보를 출력한다.
다음으로 예측 휘도 변이값 계산부(148)는 전술한 <예측 휘도 변이값을 구하는 방법> 중의 한 가지 방법을 이용하여 예측 휘도 변이값을 구한다. 예를 들어, ① 선택된 예측 후보 블록에 우선순위가 주어졌을 경우 예측 후보 블록들 중에서 휘도 변이값이 존재하는 블록을 순서대로 N개 선택하여 그 N개의 블록들의 휘도 변이값의 중간값을 취하는 방법, ② 선택된 예측 후보 블록들 중에서 휘도 변이값이 존재하는 모든 블록에 대해서 그 휘도 변이값의 중간값을 취하는 방법, ③ 선택된 예측 후보 블록에 우선순위가 주어졌을 경우에 예측 후보 블록들 중에서 휘도 변이값이 존재하는 블록을 순서대로 N개 선택하여 그 N개의 블록들의 휘도 변이값의 평균값을 취하는 방법, ④ 선택된 예측 후보 블록들 중에서 휘도 변이값이 존재하는 모든 블록에 대해서 그 휘도 변이값의 평균값을 취하는 방법, 또는 ⑤ 선택된 예측 후보 블록의 우선순위에 따라 휘도 변이값이 존재하는 가장 높은 우선순위의 휘도 변이값을 예측 휘도 변이값으로 하는 방법 등을 이용하여 예측 휘도 변이값을 구한다.
영상 단위 시간 방향 예측 가능 여부 선택부
도 15는 도 13의 영상 단위 시간 방향 예측 가능 여부 선택부(110)의 일례를 보여주는 블록도이다. 이하에서는 전술한 휘도 변이값을 예측하는 방법을 참조하여, 픽쳐 단위 시간 방향 예측 가능 여부 선택부(110)의 구성 및 동작을 설명한다.
도 15를 참조하면, 먼저 영상 단위 시간 방향 예측 가능 여부 계산부(112)는 현재 입력 영상과 참조 영상(list0, list1)로부터 픽쳐 단위로 시간 방향의 휘도 변이값에 대한 예측이 가능한지에 대한 계산을 수행한다. 예측 가능 여부에 대한 계산을 수행하는 일례로서 픽쳐 단위로 밝기 정보의 평균의 차이값을 구하여 그 차이가 임계치 α이상일 경우에는 시간 방향의 예측을 수행하지 않고 임계치 α보다 같거나 작을 경우에는 시간 방향의 예측을 수행하도록 할 수 있다.
그리고 시간 방향 예측 여부 정보 코딩부(114)는 전술한 <휘도 변이값의 예측 방법에 관한 정보 및 신택스의 구조> 중의 한 가지 방법을 이용하여 시간 방향에서의 예측 여부에 대한 정보를 출력한다. 예를 들어, ① 슬라이스 단위에서 고정 비트 정보를 이용하여 예측 방법을 설정하는 방법, ② 슬라이스 단위에서 가변장 부호화를 이용하여 예측 방법을 설정하는 방법, ③ 블록 단위에서 시간 방향 예측 여부를 허용하는 정보를 코딩하는 방법, ④ 슬라이스 단위에서 list0과 list1에 대한 시간 방향 예측 여부를 각각 코딩하는 방법, 또는 ⑤ 각 블록 단위 코딩을 할 경우에 슬라이스 단위에서 시간 방향 예측 여부에 대해 코딩하지 않는 방법 등을 이용할 수 있다.
<다시점 비디오 복호화 장치>
계속해서 본 발명의 실시예에 따른 다시점 비디오 복호화 장치에 대하여 설명한다. 본 실시예에서도 휘도 변이값에 대해서만 예를 들어 설명하고 있지만, 색차 변이값 및 RGB 칼라 정보 변이값에 대해서도 동일하게 적용할 수 있다는 것은 당업자에게 자명하다.
도 16은 본 발명에 따른 휘도 변이값 예측 부호화 방법에 따라 부호화된 데이터를 디코딩하기 위한 복호화 장치의 구성을 개략적으로 보여주는 블록도이다. 도 16을 참조하면, 다시점 비디오 복호화 장치(200)는 엔트로피 디코딩부(210), 역양자화부(222), 역변환부(224), 움직임 보상부(230), 블록 단위 예측 휘도 변이값 선택부(240), 및 다수의 가산기(252, 254)를 포함하여 구성된다.
도 16을 참조하면, 엔트로피 디코딩부(210)는 입력 비트스트림을 엔트로피 복호화 처리하며, 역영자화부(222) 및 역변환부(224)는 엔트로피 디코딩부(210)로부터 출력되는 데이터에 대한 역양자화 및 역변환을 수행한다.
그리고 복호화 대상이 되는 현재 픽쳐가 인터 픽쳐이고 블록 단위로 휘도 보상을 사용할 경우에, 움직임 보상부(230)는 움직임 벡터를 이용하여 참조 영상(list0, list1, 또는 list0 및 list1)으로부터 움직임 보상을 수행한다. 또한, 움직임 보상부(230)의 휘도 보상부(232)는 가산기(252)로부터 출력되는 휘도 변이값을 이용하여 휘도 보상을 수행한다. 이러한 휘도 보상을 수행하기 위하여 휘도 변이값의 사용 여부에 대한 정보를 이용한다. 움직임 및 휘도 보상된 영상 데이터는 움직임 보상부(230)로부터 가산기(254)로 출력된다.
그리고 블록 단위 예측 휘도 변이값 선택부(240)는 픽쳐 단위로 시간 방향에서 휘도 변이값을 예측하는 것이 가능한지 여부에 대한 정보 및 블록 단위로 시간 방향에서 휘도 변이값을 예측하는 것이 가능한지 여부에 대한 정보를 이용하여, 현재 영상에서 이전에 디코딩된 주변의 예측 후보 블록들과 참조 영상(list0, list1)의 예측 후보 블록들의 휘도 변이값으로부터 예측 휘도 변이값을 구하고, 그 값을 가산기(252)로 출력한다. 블록 단위 예측 휘도 변이값 선택부(240)의 보다 구체적인 구성 및 동작에 대해서는 후술한다.
그리고 가산기(252)는 예측 휘도 변이값과 입력되는 차분 휘도 변이값을 합산하여 현재 블록에 대한 휘도 변이값을 구하고 이를 휘도 보상부(232)로 출력한다. 휘도 보상부(232)로 출력된 상기 휘도 변이값은 휘도 보상부(232)에서 휘도 보상을 수행하는데 이용된다.
그리고 가산기(254)는 움직임 보상부(230)로부터 입력되는 움직임 및 휘도 보상된 영상과 역변환부(224)로부터 입력되는 복원된 차분 영상을 합하여 현재 블록을 재구성한다.
블록 단위 예측 휘도 변이값 선택부
도 17은 도 16의 블록 단위 예측 휘도 변이값 선택부(240)의 구성의 일례를 보여주는 블록도이다. 도 17을 참조하면, 블록 단위 예측 휘도 변이값 선택부(240)는 예측 블록 선택부(242), 우선 순위 결정부(244), 블록 단위 시간 방향 예측 여부 결정부(246), 및 예측 휘도 변이값 계산부(248)를 포함하여 구성된다. 이하에서는 전술한 휘도 변이값을 예측하는 방법을 참조하여, 블록 단위 예측 휘도 변이값 선택부(140)의 구성 및 동작을 설명한다.
도 17을 참조하면, 예측 블록 선택부(242)는 예컨대 도 5에 도시되어 있는 예측 후보 블록들 중에서 전술한 <예측 후보 블록의 선택 방법> 중의 한 가지 방법을 이용하여 예측 후보 블록을 선택한다. 예를 들어, ① 도 5의 예측 후보 블록들의 모든 부분집합을 사용하는 방법, ② 현재 영상이 P-픽쳐인 경우에 도 5의 (a)와 (b)에 해당하는 예측 후보 블록들의 모든 부분집합을 사용하는 방법, ③ 현재 영상이 B-픽쳐인 경우에 도 5의 예측 후보 블록들의 모든 부분집합을 사용하는 방법, 또는 ④ 현재 영상이 B-픽쳐인 경우에 매크로블록의 타입에 따라서 예측 후보 블록을 다르게 주는 방법 등을 이용하여 예측 후보 블록을 선택한다.
그리고 우선 순위 결정부(244)는 전술한 <선택된 예측 후보 블록들 사이의 우선순위 결정 방법> 중의 한 가지 방법을 이용하여 예측 블록 선택부(242)에서 생성된 예측 후보 블록들 사이의 우선순위를 결정한다. 예를 들어, ① 임의의 어떤 순서도 가질 수 있는 방법, ② 고정적으로 우선순위를 정하는 방법, ③ 적응적으로 시간방향의 참조 프레임의 거리에 따라 우선순위를 정하는 방법, 또는 ④ 적응적으로 뷰 방향의 참조 프레임이 동일한 시간의 참조 프레임을 참조하였을 경우에 그 움직임 벡터의 변위에 따라 우선순위를 정하는 방법 등을 이용하여 우선순위를 결정한다.
다음으로, 블록 단위 시간 방향 예측 여부 결정부(246)는 영상 단위 휘도 변이값 예측 시 시간 방향의 예측 여부 정보, 휘도 변이값 사용 여부 정보, 및 블록 단위 휘도 변이값 예측 시 시간 방향 예측 여부 정보를 입력 받아서, 블록 단위에서 시간 방향으로 예측을 사용할 것인지에 대한 결정을 한다.
다음으로 예측 휘도 변이값 계산부(248)는 전술한 <예측 휘도 변이값을 구하는 방법> 중의 한 가지 방법을 이용하여 예측 휘도 변이값을 구한다. 예를 들어, ① 선택된 예측 후보 블록에 우선순위가 주어졌을 경우 예측 후보 블록들 중에서 휘도 변이값이 존재하는 블록을 순서대로 N개 선택하여 중간값을 취하는 방법, ② 선택된 예측 후보 블록들 중에서 휘도 변이값이 존재하는 모든 블록에 대해서 중간값을 취하는 방법, ③ 선택된 예측 후보 블록에 우선순위가 주어졌을 경우에 예측 후보 블록들 중에서 휘도 변이값이 존재하는 블록을 순서대로 N개 선택하여 평균값을 취하는 방법, ④ 선택된 예측 후보 블록들 중에서 휘도 변이값이 존재하는 모든 블록에 대해서 평균값을 취하는 방법, 또는 ⑤ 선택된 예측 후보 블록의 우선순위에 따라 휘도 변이값이 존재하는 가장 높은 우선순위의 휘도 변이값을 예측 휘도 변이값으로 선택하는 방법 등을 이용하여 예측 휘도 변이값을 구한다.
본 발명에서는 다시점 비디오 장치에서 뷰 사이의 이미지 정보 변이를 보상하기 위한 이미지 정보 변이값을 예측함에 있어서, 이미지 정보 변이값에 대한 동일한 뷰 내에서의 시간 방향의 예측을 도입하였다. 이러한 본 발명에 의하면, 영 상의 국부적인 위치에 따라서 뷰 사이에서 이미지 정보 변이값의 차이가 많이 생기는 경우에는 동일한 뷰 내에서의 시간 방향으로 이미지 정보 변이값을 예측하여 부호화 및 복호화를 수행할 수 있기 때문에, 여러 개의 카메라에서 입력되는 영상들 사이에서 국부적인 밝기와 색차의 차이로 인하여 다시점 영상에 대한 부호화 효율이 저하되는 것을 방지할 수가 있다.

Claims (38)

  1. 다시점 영상의 뷰간 이미지 정보 보상을 위하여 이미지 정보 변이값을 예측하는 방법에 있어서,
    같은 뷰 내의 현재 영상과 다른 시간에서의 참조 영상을 구성하는 블록의 이미지 정보 변이값을 이용하여, 상기 현재 영상을 구성하는 현재 블록에 대한 예측 이미지 정보 변이값을 구하는 것을 특징으로 다시점 영상 처리에서의 이미지 정보 변이값의 예측 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 참조 영상을 구성하는 블록은 ① 상기 현재 영상에서 상기 현재 블록의 위치에 대응하는 위치의 블록, ② 상기 ①에 인접한 주변 블록, 또는 ③ 상기 ① 및 ②의 블록을 모두 포함하는 것을 특징으로 하는 다시점 영상 처리에서의 이미지 정보 변이값의 예측 방법.
  5. 제1항에 있어서,
    상기 현재 영상과 같은 시간에서의 상기 현재 블록에 인접한 주변 블록의 이미지 정보 변이값도 함께 이용하여 상기 예측 이미지 정보 변이값을 구하는 것을 특징으로 하는 다시점 영상 처리에서의 이미지 정보 변이값의 예측 방법.
  6. 삭제
  7. 삭제
  8. ① 같은 뷰 내의 현재 영상보다 이전 시간에서의 영상에 위치하는 현재 블록에 공간적으로 대응하는 위치의 블록과 이에 인접한 주변 블록, ② 같은 뷰 내의 상기 현재 영상보다 이후 시간에서의 영상에 위치하는 상기 현재 블록에 공간적으로 대응하는 위치의 블록과 이에 인접한 주변 블록, 및 ③ 상기 현재 영상과 같은 시간에서의 상기 현재 블록에 인접한 주변 블록 중의 전부 또는 일부로 구성된 예측 후보 블록 집합을 설정하는 단계;
    상기 예측 후보 블록 집합을 구성하는 블록 사이에 우선순위를 결정하는 단계; 및
    상기 우선순위에 따른 상기 예측 후보 블록 집합을 구성하는 전부 또는 일부 블록의 이미지 정보 변이값을 이용하여 상기 현재 블록의 예측 이미지 정보 변이값을 구하는 단계를 포함하는 다시점 영상 처리에서의 이미지 정보 변이값의 예측 방법.
  9. 삭제
  10. 삭제
  11. 제8항에 있어서,
    상기 우선순위가 결정된 블록 중의 전부 또는 일부의 이미지 정보 변이값에 대한 중간값, 평균값, 또는 상기 우선순위가 가장 앞서는 블록의 이미지 정보 변이값을 취하여 이를 상기 예측 이미지 정보 변이값으로 하는 것을 특징으로 하는 다시점 영상 처리에서의 이미지 정보 변이값의 예측 방법.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 예측 이미지 정보 변이값을 구하기 위한 예측 방법을 슬라이스 단위에서 나타내기 위한 부호를 구성하는 방법으로서, 상기 부호는
    ① 현재 영상과 같은 시간에서의 현재 블록에 인접한 주변 블록의 이미지 정보 변이값을 이용하여 상기 예측 이미지 정보 변이값을 구하는 것을 나타내는 제1 부호;
    ② 같은 뷰 내의 상기 현재 영상과 다른 시간에서의 영상에 위치하는 참조 블록의 이미지 정보 변이값을 이용하여 상기 예측 이미지 정보 변이값을 구하는 것을 나타내는 제2 부호;
    ③ 상기 ①과 ②의 방법을 함께 수행하여 상기 예측 이미지 정보 변이값을 구하는 것을 나타내는 제3 부호; 및
    ④ 각 블록 단위로 상기 예측 방법에 관한 정보를 할당하여 상기 예측 방법을 선택하는 것을 나타내는 제4 부호를 포함하도록 구성하는 것을 특징으로 하는 다시점 영상 처리에서의 이미지 정보 변이값의 예측 방법을 나타내는 부호의 구성 방법.
  17. 제16항에 있어서,
    상기 부호는 2비트 코드, 가변장 부호, 또는 Exp-Golomb 코드인 것을 특징으로 하는 다시점 영상 처리에서의 이미지 정보 변이값의 예측 방법을 나타내는 부호의 구성 방법.
  18. 삭제
  19. 예측 이미지 정보 변이값을 구하기 위한 예측 방법을 슬라이스 단위에서 나타내기 위한 부호의 구성 방법으로서, 상기 부호는
    ① 각 블록 단위로 예측 방법에 관한 정보를 할당하여 상기 예측 방법을 선택하는 것을 나타내는 제1 부호;
    ② 현재 영상과 같은 시간에서의 상기 현재 블록에 인접한 주변 블록의 이미지 정보 변이값을 이용하여 상기 예측 이미지 정보 변이값을 구하는 것을 나타내는 제2 부호;
    ③ 같은 뷰 내의 상기 현재 영상보다 이전 시간에서의 영상에 위치하는 참조 블록의 이미지 정보 변이값을 이용하여 상기 예측 이미지 정보 변이값을 구하는 것을 나타내는 제3 부호;
    ④ 상기 ②와 ③의 방법을 함께 수행하여 상기 예측 이미지 정보 변이값을 구하는 것을 나타내는 제4 부호;
    ⑤ 같은 뷰 내의 상기 현재 영상보다 이후 시간에서의 영상에 위치하는 참조 블록의 이미지 정보 변이값을 이용하여 상기 예측 이미지 정보 변이값을 구하는 것을 나타내는 제5 부호;
    ⑥ 상기 ②와 ⑤의 방법을 함께 수행하여 상기 예측 이미지 정보 변이값을 구하는 것을 나타내는 제6 부호;
    ⑦ 상기 ③과 ⑥의 방법을 함께 수행하여 상기 예측 이미지 정보 변이값을 구하는 것을 나타내는 제7 부호; 및
    ⑧ 상기 ②, ③, 및 ⑥의 방법을 함께 수행하여 상기 예측 이미지 정보 변이값을 구하는 것을 나타내는 제8 부호를 포함하도록 구성하는 것을 특징으로 하는 다시점 영상 처리에서의 이미지 정보 변이값의 예측 방법을 나타내는 부호의 구성 방법.
  20. 삭제
  21. 삭제
  22. 삭제
  23. 같은 뷰 내의 현재 영상과 다른 시간에서의 참조 영상을 구성하는 참조 블록의 이미지 정보 변이값을 이용하여, 상기 현재 영상을 구성하는 현재 블록에 대한 예측 이미지 정보 변이값을 구하는 단계; 및
    상기 예측 이미지 정보 변이값과 상기 현재 블록에 대한 차분 이미지 정보 변이값을 합산하는 단계를 포함하는 다시점 영상의 복호화 방법.
  24. 삭제
  25. 제23항에 있어서, 상기 예측 이미지 정보 변이값을 구하는 단계 이전에,
    ① 같은 뷰 내의 현재 영상보다 이전 시간에서의 영상에 위치하는 현재 블록에 공간적으로 대응하는 위치의 블록과 이에 인접한 주변 블록; ② 같은 뷰 내의 상기 현재 영상보다 이후 시간에서의 영상에 위치하는 상기 현재 블록에 공간적으로 대응하는 위치의 블록과 이에 인접한 주변 블록; 및 ③ 상기 현재 영상과 같은 시간에서의 상기 현재 블록에 인접한 주변 블록 중의 전부 또는 일부로 구성된 예측 후보 블록 집합을 설정하는 단계; 및
    상기 예측 후보 블록 집합을 구성하는 블록 사이에 우선순위를 결정하는 단계를 더 포함하고,
    상기 예측 이미지 정보 변이값을 구하는 단계에서는
    상기 우선순위에 따른 상기 예측 후보 블록 집합을 구성하는 전부 또는 일부 블록의 이미지 정보 변이값을 이용하여 상기 현재 블록의 예측 이미지 정보 변이값을 구하는 것을 특징으로 하는 다시점 영상의 복호화 방법.
  26. 삭제
  27. 같은 뷰 내의 현재 영상과 다른 시간에서의 참조 영상을 구성하는 참조 블록의 이미지 정보 변이값을 이용하여 현재 블록에 대한 예측 이미지 정보 변이값을 구하는 단계; 및
    상기 현재 블록의 이미지 정보 변이값과 상기 예측 이미지 정보 변이값을 차분하여 차분 이미지 정보 변이값을 구하는 단계를 포함하는 다시점 영상의 부호화 방법.
  28. 삭제
  29. 제27항에 있어서, 상기 예측 이미지 정보 변이값을 구하는 단계 이전에,
    ① 같은 뷰 내의 현재 영상보다 이전 시간에서의 영상에 위치하는 현재 블록에 공간적으로 대응하는 위치의 블록과 이에 인접한 주변 블록; ② 같은 뷰 내의 상기 현재 영상보다 이후 시간에서의 영상에 위치하는 상기 현재 블록에 공간적으로 대응하는 위치의 블록과 이에 인접한 주변 블록; 및 ③ 상기 현재 영상과 같은 시간에서의 상기 현재 블록에 인접한 주변 블록 중의 전부 또는 일부로 구성된 예측 후보 블록 집합을 설정하는 단계; 및
    상기 예측 후보 블록 집합을 구성하는 블록 사이에 우선순위를 결정하는 단계를 더 포함하고,
    상기 예측 이미지 정보 변이값을 구하는 단계에서는
    상기 우선순위에 따른 상기 예측 후보 블록 집합을 구성하는 전부 또는 일부 블록의 이미지 정보 변이값을 이용하여 상기 현재 블록의 예측 이미지 정보 변이값을 구하는 것을 특징으로 하는 다시점 영상의 부호화 방법.
  30. 삭제
  31. 같은 뷰 내의 현재 영상과 다른 시간에서의 참조 영상을 구성하는 참조 블록의 이미지 정보 변이값을 이용하여, 상기 현재 영상을 구성하는 현재 블록에 대한 예측 이미지 정보 변이값을 구하는 예측 이미지 정보 변이값 계산부; 및
    상기 예측 이미지 정보 변이값과 상기 현재 블록에 대한 차분 이미지 정보 변이값을 합산하는 가산기를 포함하는 다시점 영상의 복호화 장치.
  32. 삭제
  33. ① 같은 뷰 내의 현재 영상보다 이전 시간에서의 영상에 위치하는 현재 블록에 공간적으로 대응하는 위치의 블록과 이에 인접한 주변 블록; ② 같은 뷰 내의 상기 현재 영상보다 이후 시간에서의 영상에 위치하는 상기 현재 블록에 공간적으로 대응하는 위치의 블록과 이에 인접한 주변 블록; 및 ③ 상기 현재 영상과 같은 시간에서의 상기 현재 블록에 인접한 주변 블록 중의 전부 또는 일부로 구성된 예측 후보 블록 집합을 설정하는 예측 블록 선택부;
    상기 예측 후보 블록 집합을 구성하는 블록 사이에 우선순위를 결정하는 우선순위 결정부;
    상기 우선순위에 따른 상기 예측 후보 블록 집합을 구성하는 전부 또는 일부 블록의 이미지 정보 변이값을 이용하여 상기 현재 블록의 예측 이미지 정보 변이값을 구하는 예측 이미지 정보 변이값 계산부; 및
    상기 예측 이미지 정보 변이값과 상기 현재 블록에 대한 차분 이미지 정보 변이값을 합산하는 가산기를 포함하는 다시점 영상의 복호화 장치.
  34. 삭제
  35. 같은 뷰 내의 현재 영상과 다른 시간에서의 참조 영상을 구성하는 참조 블록의 이미지 정보 변이값을 이용하여 현재 블록에 대한 예측 이미지 정보 변이값을 구하는 예측 이미지 정보 변이값 계산부; 및
    상기 현재 블록의 이미지 정보 변이값과 상기 예측 이미지 정보 변이값을 차 분하여 차분 이미지 정보 변이값을 구하는 가산기를 포함하는 다시점 영상의 부호화 장치.
  36. 삭제
  37. 삭제
  38. 삭제
KR1020060043338A 2006-05-15 2006-05-15 이미지 정보 변이값의 예측 방법과 이를 이용한 다시점영상의 부호화/복호화 방법 및 장치 KR100794855B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060043338A KR100794855B1 (ko) 2006-05-15 2006-05-15 이미지 정보 변이값의 예측 방법과 이를 이용한 다시점영상의 부호화/복호화 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060043338A KR100794855B1 (ko) 2006-05-15 2006-05-15 이미지 정보 변이값의 예측 방법과 이를 이용한 다시점영상의 부호화/복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20070110636A KR20070110636A (ko) 2007-11-20
KR100794855B1 true KR100794855B1 (ko) 2008-01-14

Family

ID=39089831

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060043338A KR100794855B1 (ko) 2006-05-15 2006-05-15 이미지 정보 변이값의 예측 방법과 이를 이용한 다시점영상의 부호화/복호화 방법 및 장치

Country Status (1)

Country Link
KR (1) KR100794855B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013157822A1 (ko) * 2012-04-16 2013-10-24 삼성전자주식회사 깊이 영상의 부호화 장치 및 방법, 그리고 복호화 장치 및 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012050301A2 (ko) * 2010-10-14 2012-04-19 엘지전자 주식회사 영상 부호화 및 복호화 방법과 이를 이용한 장치
KR101465977B1 (ko) * 2012-04-15 2014-12-01 삼성전자주식회사 병렬 처리를 위한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
WO2013162273A1 (ko) * 2012-04-24 2013-10-31 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US10230956B2 (en) * 2012-09-26 2019-03-12 Integrated Device Technology, Inc. Apparatuses and methods for optimizing rate-distortion of syntax elements
US10277907B2 (en) 2012-10-25 2019-04-30 Integrated Device Technology, Inc. Rate-distortion optimizers and optimization techniques including joint optimization of multiple color components

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11161800A (ja) 1997-11-28 1999-06-18 Toshiba Corp 多視点画像符号化／復号化装置および多視点画像符号化／復号化方法ならびに三次元物体の画像符号化／復号化装置
JP2002369222A (ja) 2001-06-06 2002-12-20 Kddi Corp 勾配法を利用した三次元動画像の動き補償予測における動きベクトル検出方法
KR20060108952A (ko) * 2005-04-13 2006-10-19 연세대학교 산학협력단 다시점 동영상 부호화/복호화 시스템의 부호화 방법 및시점간 보정 변이 추정 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11161800A (ja) 1997-11-28 1999-06-18 Toshiba Corp 多視点画像符号化／復号化装置および多視点画像符号化／復号化方法ならびに三次元物体の画像符号化／復号化装置
JP2002369222A (ja) 2001-06-06 2002-12-20 Kddi Corp 勾配法を利用した三次元動画像の動き補償予測における動きベクトル検出方法
KR20060108952A (ko) * 2005-04-13 2006-10-19 연세대학교 산학협력단 다시점 동영상 부호화/복호화 시스템의 부호화 방법 및시점간 보정 변이 추정 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013157822A1 (ko) * 2012-04-16 2013-10-24 삼성전자주식회사 깊이 영상의 부호화 장치 및 방법, 그리고 복호화 장치 및 방법

Also Published As

Publication number Publication date
KR20070110636A (ko) 2007-11-20

Similar Documents

Publication Publication Date Title
JP6585200B2 (ja) ビデオコード化における視差ベクトル予測
JP5199123B2 (ja) 多視点ビデオの処理
KR101039204B1 (ko) 다시점 비디오 코딩에서의 움직임 벡터 예측 방법 및 이를이용한 다시점 영상의 부호화/복호화 방법 및 장치
KR102109803B1 (ko) 움직임 정보 저장 방법 및 이를 이용한 시간적 움직임 벡터 예측자 유도 방법
JP5021739B2 (ja) 信号処理方法及び装置
KR101639334B1 (ko) 움직임 벡터의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR20180134764A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR100941608B1 (ko) 다시점 영상의 부호화 및 복호화 방법과 그를 위한 장치
KR20180008445A (ko) 적응적 가중치 예측을 위한 신택스 시그널링을 이용하여 영상을 부호화 또는 복호화하는 방법 및 장치
WO2014153382A1 (en) Disparity vector derivation in 3d video coding for skip and direct modes
WO2013138621A1 (en) Disparity vector construction method for 3d-hevc
Zhang et al. Fast encoder decision for texture coding in 3D-HEVC
US20230396760A1 (en) Inter prediction encoding and decoding method using combination of prediction blocks, and computer-readable storage medium bitstream to be decoded thereby
KR20130085393A (ko) 쌍방향 예측 및 블록 병합을 제한하는 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR100794855B1 (ko) 이미지 정보 변이값의 예측 방법과 이를 이용한 다시점영상의 부호화/복호화 방법 및 장치
KR20150018239A (ko) 병합 모드 결정 방법 및 장치
KR20080006495A (ko) 비디오 신호의 디코딩 방법 및 장치
TW202038624A (zh) 視訊編碼中用於畫面內分區之轉換類型分配方法和裝置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130115

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140109

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20141020

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee