KR101460362B1 - 다시점 비디오 코딩에서 휘도 보상 방법 및 장치 - Google Patents

다시점 비디오 코딩에서 휘도 보상 방법 및 장치 Download PDF

Info

Publication number
KR101460362B1
KR101460362B1 KR1020080014999A KR20080014999A KR101460362B1 KR 101460362 B1 KR101460362 B1 KR 101460362B1 KR 1020080014999 A KR1020080014999 A KR 1020080014999A KR 20080014999 A KR20080014999 A KR 20080014999A KR 101460362 B1 KR101460362 B1 KR 101460362B1
Authority
KR
South Korea
Prior art keywords
block
luminance compensation
current block
value
prediction value
Prior art date
Application number
KR1020080014999A
Other languages
English (en)
Other versions
KR20080114481A (ko
Inventor
정도영
박태성
오윤제
서덕영
이영렬
박광훈
김규헌
박민우
임성창
Original Assignee
삼성전자주식회사
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 경희대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to US12/145,578 priority Critical patent/US8259792B2/en
Priority to EP08766604A priority patent/EP2165544A4/en
Priority to PCT/KR2008/003645 priority patent/WO2009002092A2/en
Priority to CN2008800218428A priority patent/CN101715652B/zh
Publication of KR20080114481A publication Critical patent/KR20080114481A/ko
Application granted granted Critical
Publication of KR101460362B1 publication Critical patent/KR101460362B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

본 발명은 다시점 비디오 코딩에서 휘도 보상 방법에 있어서, 휘도 보상을 수행하는 현재 블록이 스킵 모드인 경우, 상기 현재 블록의 주변 블록의 정보를 이용하여 휘도 보상 예측 값을 유도하는 과정과, 유도한 휘도 보상 예측 값이 0인 경우, 현재 블록의 휘도 보상을 수행하지 않도록 설정하는 과정과, 유도한 휘도 보상 예측 값이 0이 아닌 경우, 현재 블록의 휘도 보상을 수행하도록 설정하는 과정을 포함한다.
MPEG, 스케일러블 비디오 코딩(Scalable Video Coding), 다시점 비디오 코딩(Multi-view Video Coding), 휘도 보상(Illumination Compensation)

Description

다시점 비디오 코딩에서 휘도 보상 방법 및 장치{METHOD AND APPARATUS FOR ILLUMINATION COMPENSATION OF MULTI-VIEW VIDEO CODING}
본 발명은 다시점 비디오 코딩(Multi-view Video Coding, MVC)에 관한 것으로, 특히 다시점 비디오 코딩시 휘도 보상(Illumivation Compensation) 과정에서 휘도 보상 예측 값 및 휘도 보상 플래그(flag) 값을 유도하는 방법 및 장치에 관한 것이다.
영상 기술의 발달로 기존의 아날로그 방식의 영상처리 방법이 디지털 방식으로 대체되고 있다. 이로 인하여 기존의 영상보다 선명하고 고화질의 영상을 사용자들에게 제공할 수 있게 되었고 영상의 화질이 높아짐으로 인하여 사용자들은 더 높은 현장감을 느낄 수 있게 되었다. 최근에는 고화질 영상을 방송하는 HDTV 서비스가 부분적으로 제공되고 있고 디지털 방식으로 영상을 전송하여 어디서나 선명하고 깨끗한 화질의 영상을 이용할 수 있는 DMB(Digital Multimedia Broadcast) 서비스도 상용화 준비중이다. 그러나 고화질 디지털 영상 서비스는 영상 자체의 품질만을 향상시키기 때문에 사용자가 느끼는 현장감과 자유도를 높이는데 한계가 있다. 영상을 사용하는데에 현장감을 떨어뜨리는 대표적인 요소는 카메라의 시점이 고정 되어 있는 것과 영상의 입체감이 없는 것이다. 고정된 카메라 시점은 사용자가 영상을 보는 도중에 현재 시점 이외의 시점의 영상을 볼 수 없기 때문에 자유도를 떨어뜨리게 된다. 또한 사람은 같은 방향에서 서로 다른 위치를 갖는 두 눈으로 사물을 보고 두 눈의 양안 시차를 이용하여 입체감을 느낄 수 있다. 하지만 기존의 영상은 양안 시차에 대한 고려가 없기 때문에 입체감을 느낄 수 없다. 이를 해결하기 위해 복수의 카메라를 이용하여 동시에 여러 시점에서 영상을 획득한 다시점 영상을 이용한 방법이 개발중이다.
이러한 다시점 영상을 코딩하는 방식을 다시점 비디오 코딩(Multi-view Video Coding, MVC)이라 한다. 다시점 비디오 코딩은 복수의 카메라로부터 획득한 각 뷰의 영상 시퀀스들을 처리하는 것이다. 이들 복수의 카메라들은 동일한 객체(object)에 대하여 거리 및/또는 대향 방향에 있어서 다소 차이가 있도록 배치된다. 이러한 복수의 카메라들을 통해서 획득한 다시점 영상은, 동일한 객체의 표면에서 빛이 반사되는 정도가 그 방향에 따라서 다소 차이가 있는 반면에 각 뷰의 영상이 상관관계가 높다는 특성을 갖는다. 다시점 영상이 갖는 상기의 특성으로 인하여 동일한 객체에 대한 각 뷰의 영상 사이에도 밝기와 색차의 차이가 존재하므로, 다시점 비디오 코딩에서 부호화 효율을 향상시키기 위해서는 다시점 영상이 갖는 상기의 특성을 고려해야 한다.
현재 표준화가 활발하게 진행 중인 다시점 비디오 코딩에서는, 기존의 동영상 코딩에 관한 국제 표준인 H.264/MPEG-4 part 10 Advanced Video Coding(이하, H.264/AVC라 한다)을 기반으로 하면서, 전술한 다시점 영상의 2가지 특성을 고려하 여 부호화 효율을 향상시키는 방법을 모색하고 있다. 예를 들어, H.264/AVC에 규정되어 있는 조인트 스케일러블 비디오 코딩(Joint Scalable Video Coding, JSVC)에서 시간적 스케일러빌리티(Temporal scalability)를 지원하기 위해 수행되는 방법인 계층적인 B-영상(hierarchical B-pictures) 코딩 처리를 다시점 비디오 코딩에서의 뷰내(intra-view) 예측 코딩에도 적용하고 있다. 그리고 다시점 비디오 코딩에서는 뷰간(inter-view) 예측 처리도 병행해서 수행하여 부호화 효율의 향상을 이루고자 한다.
도 1은 다시점 비디오 코딩에서의 뷰내 예측 및 뷰간 예측 관계를 보여주는 예측 구조의 일 예를 도시한 도면이다. 도 1은 8개의 뷰가 존재하는 경우의 예로써, 시간 방향의 영상 그룹(Group of Pictures, GOP)의 크기가 8인 경우이다. 도 1에서 S0, S1, S2, S3, …, S7은 각각 하나의 뷰(view)를 나타내 며, T0, T1, T2, T3, …, T100은 시간 방향을 나타낸다.
도 1을 참조하면, 각 뷰 내에서는 H.264/AVC에 규정되어 있는 계층적인 B-영상 구조가 사용되어 시간 방향으로의 예측 부호화를 수행하고 있는 것을 알 수 있다. 그리고 각 뷰의 첫번째 시간(T0)의 영상들과 그 이후로 시간 방향으로 8 프레임씩 떨어져 있는 영상 즉, 시간 방향의 영상 그룹(GOP)의 크기만큼 떨어져 있는 영상들(T8, T16, T24, … 의 영상)을 앵커영상(anchor picture)라고 부른다. 앵커영상은 이웃하는 뷰로부터의 예측(뷰간 예측, inter-view prediction)만을 수행하고 있다. 예컨데, 시간 T0, T8, T16, T24, … 에서, S2 뷰는 동일한 시간대의 S0 뷰로부터, S1 뷰는 동일한 시간대의 S0 뷰와 S2 뷰로부터, S4 뷰는 동일한 시간대 의 S2 뷰로부터, S3 뷰는 동일한 시간대의 S2 뷰와 S4 뷰로부터, S6 뷰는 동일한 시간대의 S4 뷰로부터, S5 뷰는 동일한 시간대의 S4 뷰와 S6 뷰로부터, S7 뷰는 동일한 시간대의 S6 뷰로부터 예측을 수행한다. S7 뷰의 경우는 마지막 뷰이기 때문에 S6 뷰로부터 예측을 수행한다.
그리고 앵커가 아닌 영상(non-anchor picture)에서는 기본적으로 시간 방향(temporal-direction)의 예측을 수행하고, 추가적으로 매 두번째 뷰(즉, S1, S3, S5, S7)에서는 이웃하는 뷰로부터의 예측을 함께 수행한다. 즉, 시간 방향의 뷰내 예측 외에도 S1 뷰는 S0 뷰와 S2 뷰로부터, S3 뷰는 S2 뷰와 S4 뷰로부터, S5 뷰는 S4 뷰와 S6 뷰로부터 뷰간 예측을 수행한다.
현재 국제 표준화가 진행중인 다시점 비디오 코딩에서는 뷰간 또는 시간 방향에 존재하는 휘도 신호의 차이를 보상하여 코딩 효율을 높여주기 위한 방법으로 휘도 보상(illumination compensation) 방법을 사용한다.
휘도 보상 관련 데이터는 현재 블록에서 휘도 보상을 사용하는지에 대한 여부를 나타내는 플래그(flag) 정보와 휘도 보상 값(IC offset 또는 DVIC(Difference Value of Illumination Change, 현재 블록과 참조 블록 간의 휘도 신호 평균의 차이값))을 전송하거나, 주변 블록으로부터 휘도 보상 수행 여부와 휘도 보상 예측 값을 유도하여 사용하게 된다.
본 발명은 다시점 비디오 코딩시, 휘도 보상 수행 여부에 관한 플래그와 휘도 보상 예측 값을 효율적으로 예측하는 휘도 보상 방법 및 장치를 제공하고자 한다.
이를 달성하기 위한 본 발명의 일 형태에 따르면, 다시점 비디오 코딩에서 휘도 보상 방법에 있어서, 휘도 보상을 수행하는 현재 블록이 스킵 모드인 경우, 상기 현재 블록의 주변 블록의 정보를 이용하여 휘도 보상 예측 값을 유도하는 과정과, 상기 유도한 휘도 보상 예측 값이 0인 경우, 상기 현재 블록의 휘도 보상을 수행하지 않도록 설정하는 과정과, 상기 유도한 휘도 보상 예측 값이 0이 아닌 경우, 상기 현재 블록의 휘도 보상을 수행하도록 설정하는 과정을 포함함을 특징으로 하며,
상기 현재 블록이 B 스킵 모드인 경우, 상기 현재 블록의 주변 블록은, 현재 블록의 인접한 상단 블록인 제1블록과, 현재 블록의 인접한 좌측 블록인 제2블록과, 상기 제1블록의 인접한 우측 블록인 제3블록과, 상기 제2블록의 인접한 상단 블록인 제4블록임을 특징으로 하며,
상기 현재 블록의 휘도 보상 예측 값 유도는, 상기 현재 블록이 B 스킵 모드인 경우, 현재 블록의 인접한 상단 블록인 제1블록이 휘도 보상을 사용하고, 제1블록이 참조하는 영상(Picture)과 현재 블록이 참조하는 영상이 동일한지 판단하 여, 동일한 경우에는 제1블록의 휘도 보상 값을 현재 블록의 휘도 보상 예측 값으로 설정하며, 상기 제1블록이 참조하는 영상과 현재 블록이 참조하는 영상이 동일하지 않은 경우에는, 현재 블록의 인접한 좌측 블록인 제2블록이 휘도 보상을 사용하고, 제2블록이 참조하는 영상과 현재 블록이 참조하는 영상이 동일한지 판단하여, 상기 제2블록이 참조하는 영상과 현재 블록이 참조하는 영상이 동일한 경우에는, 상기 제2블록의 휘도 보상 값을 현재 블록의 휘도 보상 예측 값으로 설정하며, 상기 제2블록이 참조하는 영상과 현재 블록이 참조하는 영상이 동일하지 않은 경우에는, 상기 제1블록의 인접한 우측 블록인 제3블록이 휘도 보상을 사용하고, 제2블록이 참조하는 영상과 현재 블록이 참조하는 영상이 동일한지 판단하여, 상기 제3블록이 참조하는 영상과 현재 블록이 참조하는 영상이 동일한 경우에는, 상기 제3블록의 휘도 보상 값을 현재 블록의 휘도 보상 예측 값으로 설정하며, 상기 제3블록이 참조하는 영상과 현재 블록이 참조하는 영상이 동일하지 않은 경우에는, 상기 제2블록의 인접한 상단 블록인 제4블록이 휘도 보상을 사용하고, 제4블록이 참조하는 영상과, 현재 블록이 참조하는 영상이 동일한지 판단하여, 상기 제4블록이 참조하는 영상과 현재 블록이 참조하는 영상이 동일한 경우에는, 상기 제4블록의 휘도 보상 값을 현재 블록의 휘도 보상 예측 값으로 설정하며, 상기 제4블록이 참조하는 영상이 현재 블록이 참조하는 영상과 동일하지 않은 경우에는, 상기 제1블록과 제2블록과 제3블록이 모두 휘도 보상을 사용하는지 판단하여, 상기 제1블록과 제2블록 제3블록이 모두 휘도 보상을 사용하면, 상기 제1블록과 제2블록과 제3블록의 휘도 보상 값의 중간값(Median)을 현재 블록의 휘도 보상 예측 값으로 설정하며, 상기 제1블록과 제2블록과 제3블록이 모두 휘도 보상을 사용하는 경우가 아니면, 현재 블록의 휘도 보상 예측 값을 0으로 설정하는 것을 특징으로 한다.
본 발명의 다른 형태에 따르면, 다시점 비디오 코딩에서 휘도 보상 장치에 있어서, 현재 블록이 스킵 모드인 경우, 상기 현재 블록의 주변 블록들의 정보와 현재 블록의 참조 픽쳐 인덱스를 입력받아 휘도 보상 예측 값을 유도하여 출력하는 휘도 보상 예측 값 유도부와, 상기 유도한 휘도 보상 예측 값을 입력받으며, 상기 휘도 보상 예측 값에 따라 현재 블록의 휘도 보상 수행 여부를 나타내는 플래그를 설정하여 출력하는 플래그 설정부와, 상기 휘도 보상 여부를 나타내는 플래그 값과, 상기 휘도 보상 예측 값, 참조 픽쳐, 움직임 벡터를 이용하여 휘도 보상 및 움직임 보상을 수행하는 휘도 보상부 및 움직임 보상부를 포함함을 특징으로 하며,
상기 플래그 설정부는, 상기 입력받은 휘도 보상 예측 값이 0인 경우, 휘도 보상 수행 여부를 나타내는 플래그 값을 0으로 설정하며, 상기 입력받은 휘도 보상 예측 값이 0이 아닌 경우, 휘도 보상 수행 여부를 나타내는 플래그 값을 1로 설정하는 것을 특징으로 한다.
본 발명은 다시점 비디오 코딩시 휘도 보상 방법에서, 유도된 휘도 보상 예측 값에 따라 휘도 보상 여부를 나타내는 플래그를 설정하여, 휘도 보상 여부를 나타내는 플래그를 유도하는 연산을 수행하지 않아 연산량을 감소시킬 수 있으며, 각 블록 타입에서 휘도 보상 수행 여부 플래그가 1로 유도되며 동시에 휘도 보상 예측 값이 0으로 유도되는 문제가 발생 되지 않도록 하는 효과가 있다. 따라서 본 발명 은 다시점 비디오 코딩시 휘도 보상 수행 여부에 관한 플래그와 휘도 보상 예측 값을 더욱 효율적으로 예측하여 코딩 효율을 향상시킬 수 있는 효과가 있다.
이하 첨부된 도면을 참조하여 본 발명을 구성하는 장치 및 동작 방법을 본 발명의 실시 예를 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
도 2는 다시점 비디오 코딩에서 휘도 보상 예측 값을 유도시에 사용하는 주변 블록을 나타내는 도면이다. 상기 주변 블록으로부터 휘도 보상 수행 여부와 휘도 보상 예측 값을 유도하여 사용할 경우에는 도 2에 도시한 현재 블록의 주변 블록 A, B, C, D를 사용하게 된다. 여기서 휘도 보상 값을 전송할 경우에는 주변 블록으로부터 휘도 보상 예측 값을 유도하여 휘도 보상 차분 값(휘도 보상 값 - 휘도 보상 예측 값)을 전송한다.
휘도 보상 수행 여부에 대한 정보와 휘도 보상 예측 값을 유도하는 방법은 기본적으로 블록의 타입마다 다른 방법을 수행하는데, 블록 타입은 세 가지로 나눌 수 있다. 첫 번째 경우는 휘도 보상 여부에 대한 플래그 및 휘도 보상 차분 값을 전송하는 경우(인터 16x16 모드, B direct 16x16 모드)와, 두 번째 경우는 P 스킵 모드인 경우, 세 번째 경우는 B 스킵 모드인 경우이다.
첫 번째, 플래그 및 휘도 보상 차분 값을 전송하는 경우(인터 16x16 블록 모드 B Direct 16x16 모드)의 현재 블록의 주변에 위치한 블록(도 2의 A, B, C, D 블록)으로부터 휘도 보상 예측 값을 유도하는 방법을 도 3을 참조하여 살펴보기로 한다.
도 3은 휘도 보상 여부 플래그 및 휘도 보상 차분 값을 전송하는 경우의 블록에서 휘도 보상 예측 값을 유도하는 동작의 흐름도이다.
도 3을 참조하면, 먼저 305단계에서 현재 블록의 인접한 상단 블록인 A 블록이 휘도 보상을 사용하고, 현재 블록이 참조하는 영상과 A 블록이 참조하는 영상이 같은지 판단한다. 상기 판단결과 A 블록이 휘도 보상을 사용하고 현재 블록과 A 블록이 참조하는 영상이 같으면, 330단계로 진행하여 A 블록의 휘도 보상 값을 현재 블록의 휘도 보상 예측 값으로 설정하고 종료한다.
상기 305단계에서 판단결과 그렇지 않으면, 310단계로 진행하여 현재 블록의 인접한 좌측 블록인 B 블록이 휘도 보상을 사용하고, 현재 블록이 참조하는 영상과 B 블록이 참조하는 영상이 같은지 판단한다. 상기 판단결과 B 블록이 휘도 보상을 사용하고 현재 블록과 B 블록이 참조하는 영상이 같으면, 335단계로 진행하여 B 블록의 휘도 보상 값을 현재 블록의 휘도 보상 예측 값으로 설정하고 종료한다.
상기 310단계에서 판단결과 그렇지 않으면, 315단계로 진행하여 상기 A 블록의 인접한 우측 블록인 C 블록이 휘도 보상을 사용하고, 현재 블록이 참조하는 영상과 C 블록이 참조하는 영상이 같은지 판단한다. 상기 판단결과 C 블록이 휘도 보상을 사용하고 현재 블록과 C 블록이 참조하는 영상이 같으면, 340단계로 진행하여 C 블록의 휘도 보상 값을 현재 블록의 휘도 보상 예측 값으로 설정하고 종료한다.
상기 315단계에서 판단결과 그렇지 않으면, 320단계로 진행하여 상기 B 블록의 인접한 상단 블록인 D 블록이 휘도 보상을 사용하고, 현재 블록이 참조하는 영상과 D 블록이 참조하는 영상이 같은지 판단한다. 상기 판단결과 D 블록이 휘도 보상을 사용하고 현재 블록과 D 블록이 참조하는 영상이 같으면, 345단계로 진행하여 D 블록의 휘도 보상 값을 현재 블록의 휘도 보상 예측 값으로 설정하고 종료한다.
상기 320단계에서 판단결과 그렇지 않으면, 325단계로 진행하여 A, B, C 블록이 모두 휘도 보상을 사용하는지 판단한다. 상기 판단결과 A, B, C 블록이 모두 휘도 보상을 사용한다면 350단계로 진행하여 A, B, C 블록의 중간값(median)을 현재 블록의 휘도 보상 예측 값으로 설정하고 종료한다.
상기 325단계에서 판단결과 그렇지 않으면, 현재 블록의 휘도 보상 예측 값을 0으로 설정하고 종료한다.
상기 350단계에서 중간값은 수들의 집합에서 수의 반은 중간값보다 큰 값을 가지고 나머지 반은 중간값보다 작은 값을 가지도록 하는 값이다. 만약 집합의 개수가 짝수이면 가운데 두 수의 평균을 중간값으로 결정한다.
두 번째 타입인 P 스킵(skip) 모드 블록의 경우에는 현재 블록의 주변에 위 치한 A, B 블록으로부터 유도한 휘도 보상 예측 값을 그대로 휘도 보상 값으로 사용한다. P 스킵 모드에서 휘도 보상 예측 값을 유도하는 방법을 도 4를 참조하여 살펴보기로 한다.
도 4는 P 스킵 모드의 블록에서 휘도 보상 예측 값 및 휘도 보상 여부 플래그를 유도하는 동작의 흐름도이다. 도 4를 참조하면, 410단계에서 현재 블록의 인접한 상단 블록인 A 블록과 현재 블록의 인접한 좌측 블록인 B 블록이 모두 휘도 보상을 사용하는지 판단한다. 상기 판단결과 A 블록과 B 블록이 모두 휘도 보상을 사용한다면, 440단계로 진행하여 A 블록과 B 블록의 휘도 보상 값의 평균값을 현재 블록의 휘도 보상 예측 값으로 설정하고, 현재 블록의 휘도 보상 여부를 나타내는 플래그를 1로 설정하고 종료한다.
상기 410단계에서 판단결과 A 블록과 B 블록이 하나라도 휘도 보상을 사용하지 않았을 경우에는 420단계로 진행하여 A 블록이 휘도 보상을 사용하고, B 블록은 휘도 보상을 사용하지 않는지 판단한다. 상기 판단결과 A 블록만 휘도 보상을 사용한다면, 450단계로 진행하여 A 블록의 휘도 보상 값을 현재 블록의 휘도 보상 예측 값으로 설정하고, 현재 블록의 휘도 보상 여부를 나타내는 플래그를 1로 설정하고 종료한다.
상기 420단계에서 판단결과 A블록만 휘도 보상을 사용하지 않는다면 430단계로 진행하여 B 블록이 휘도 보상을 사용하고 A 블록은 휘도 보상을 사용하지 않는지 판단한다. 상기 판단결과 B 블록만 휘도 보상을 사용하면, 460단계로 진행하여 B 블록의 휘도 보상 값을 현재 블록의 휘도 보상 예측 값으로 설정하고, 현재 블록의 휘도 보상 여부를 나타내는 플래그를 1로 설정하고 종료한다.
상기 430단계에서 판단결과 B블록만 휘도 보상을 사용하지 않는다면 470단계로 진행하여 현재 블록의 휘도 보상 예측값을 0으로 설정하고 현재블록의 휘도 보상 여부를 나타내는 플래그를 0으로 설정하고 종료한다.
B 스킵 모드 블록의 경우에는, 휘도 보상 여부에 대한 플래그 정보를 현재 블록의 주변 블록인 A, B, C 블록으로부터 유도한다.
유도한 휘도 보상 여부 플래그가 1인 경우에는, 휘도 보상 여부 플래그 및 휘도 보상 차분 값을 전송하는 경우(인터 16x16 블록 모드 B Direct 16x16 모드)의 블록 타입에서 사용하는 휘도 보상 예측 값 유도 방법(도 3의 방식)을 그대로 사용한다. 또한, 유도한 휘도 보상 여부 플래그가 0인 경우에는 휘도 보상 값을 0으로 설정한다.
휘도 보상 여부 플래그를 유도할 때는 기본적으로 A, B, C 블록을 사용하며, C 블록이 사용 가능하지 않을 경우(not available)에는 D 블록을 C 블록 대신 사용한다. B 스킵 모드 블록의 휘도 보상 여부 플래그 유도 방법은 하기와 같다.
먼저 현재 블록의 주변에 위치한 A, B, C 블록 중에서 오직 하나의 블록의 참조 픽쳐가 현재 블록의 참조 픽쳐와 같은 경우, 상기 현재 블록과 참조 픽쳐가 같은 블록의 휘도 보상 여부 플래그를 현재 블록의 휘도 보상 여부 플래그로 설정한다. 그러나 A, B, C 블록 중 오직 하나의 블록의 참조 픽쳐가 현재 블록의 참조 픽쳐와 같은 경우가 아니면 A, B, C 블록의 휘도 보상 여부 플래그들의 중앙값을 현재 블록의 휘도 보상 여부 플래그 값으로 설정한다.
현재 다시점 비디오 코딩 국제 표준에 포함되어 있는 휘도 보상 예측 값 유도 방법 중에서 B 스킵 모드의 경우에는 크게 두 부분으로 동작이 수행된다. 하나는 휘도 보상 여부에 대한 플래그 값의 예측에 대한 부분이고, 다른 하나는 휘도 보상 예측 값을 유도하는 부분이다. 그런데 기존의 방법에서는 두 부분에서 일관성 있게 예측을 수행하지 못한다.
B 스킵 모드에서 휘도 보상 여부 플래그 값의 예측은 A, B, C 블록을 기본적으로 사용하고(D 블록은 C 블록이 사용 가능하지 않을 때만 사용), 휘도 보상 예측 값 유도는 A, B, C, D 블록을 모두 사용한다.
또한 A, B, C, D 블록 모두 현재 블록과 다른 영상를 참조할 경우, A, B, C 블록에서 2개의 블록이 휘도 보상을 사용한다면, 휘도 보상 여부 플래그를 예측할 경우 휘도 보상 여부 플래그는 1로 예측이 되나, 휘도 보상 예측 값 유도 방법에서는 휘도 보상 예측 값이 0으로 유도된다.
위와 같이 기존의 휘도 보상 여부 플래그와 휘도 보상 예측 값 유도 방법을 사용하는 경우에는 휘도 보상 여부 플래그가 1일 때, 휘도 보상 예측 값이 0이 되는 경우가 발생할 수 있다. 이런 경우에는 지속적으로 예측에 영향을 주기 때문에 전체적인 코딩 성능이 저하될 수 있다.
본 발명에서는 다시점 비디오 코딩의 휘도 보상 동작에서, 스킵 모드에서 휘도 보상 여부에 대한 플래그 정보와 휘도 보상 예측 값 유도시 간단하며 일관성 있는 예측을 수행하는 방법과, 휘도 보상 여부 플래그와 휘도 보상 차분 값을 전송하는 블록 모드에서 휘도 보상 수행 여부에 대한 플래그와 휘도 보상 예측값의 정 보를 효율적으로 전송하는 방법을 제안한다.
[ B 스킵 모드의 휘도 보상 방법 ]
본 발명의 일 실시 예에 따른 B 스킵 모드에서 휘도 보상 값 및 휘도 보상 여부 플래그를 예측하는 방법은 다음과 같다.
먼저 B 스킵 모드에서 기존의 휘도 보상 예측 값 유도 방법을 사용하여 휘도 보상 예측 값을 유도한 후에, 유도한 휘도 보상 예측 값에 따라 휘도 보상 값이 0인 경우에는 휘도 보상 여부 플래그 값을 0으로 하고, 휘도 보상 값이 0이 아닐 경우에는 휘도 보상 여부 플래그 값을 1로 설정한다.
도 5는 본 발명의 일 실시 예에 따른 B 스킵 모드의 블록에서 휘도 보상 여부 플래그 예측 동작의 흐름도이다. 도 5를 참조하면, 본 발명의 일 실시 예에 따른 B 스킵 모드에서 휘도 보상 값 및 휘도 보상 여부 플래그 예측 동작은 먼저 510단계에서 휘도 보상 예측 값 유도를 수행한다. 여기서 휘도 보상 예측 값 유도는 상기 도 3에서 설명한 B 스킵 모드의 휘도 보상 예측 값 유도 방법(플래그 및 휘도 보상 차분 값을 전송하는 블록 타입의 휘도 보상 예측 값 유도 방법)이다. 다음 520단계에서는 상기 510단계에서 유도한 휘도 보상 예측 값을 이용하여 구한 휘도 보상 값이 0인지 판단한다. 판단 결과 휘도 보상 값이 0이면 530단계로 진행하여 현재 블록의 휘도 보상 여부 플래그(flag)를 0으로 설정하고, 상기 520단계에서 판단 결과 휘도 보상 값이 0이 아니면 540단계로 진행하여 현재 블록의 휘도 보상 여부 플래그를 1로 설정한다.
도 6a, 6b, 6c는 기존의 B 스킵 모드의 블록에서 휘도 보상 여부 플래그 예측 동작을 실제 구현한 프로그래밍 예시도이다.
또한 도 6a, 6b, 6c는 하나의 프로그래밍 예를 지면의 제약으로 인하여 분리하여 도시한 것으로서, 전체가 순차적으로 하나의 도면을 구성할 수 있다. 도 6a, 6b, 6c에서 진하게 강조되어 표시된 부분을 살펴보면 기존의 방식은 'getlcpFlagPredictor()' 함수를 사용하여 현재 블록의 주변 블록인 A,B,C 블록을 이용하여 먼저 플래그 정보를 유도(도 6c의 29째줄부터 38째줄)한 후에 그 플래그 정보에 따라 동작을 수행한다.
도 7은 본 발명의 일 실시 예에 따른, B 스킵 모드의 블록에서 휘도 보상 여부 플래그 예측 동작을 실제 구현한 프로그래밍 예시도이다. 도 7에서 진하게 표시된 부분을 살펴보면 도 6a, 6b, 6c에 도시된 기존의 방식에서 주변 블록(도 2의 A, B, C블록)을 이용하여 플래그 정보를 유도하는 부분(도 6의 getlcpFlagPredictor()함수)을 수행하지 않고, 먼저 유도된 휘도 보상 값이 0인지 판단하여('if( clcp.getPredOffset()==0)') 그 결과에 따라 플래그 값을 설정하여 동작을 수행하는 방식을 나타낸다. 상기 도 6a, 6b, 6c에 도시된 예와 도 7에 도시된 예를 비교하면, 본 발명의 일 실시 예에 따른 플래그 예측 방법은 플래그 정보를 유도하는 부분('getlcpFlagPredictor()')을 따로 수행하지 않기 때문에 기존의 방법에 비하여 플래그 정보 예측을 수행하는 부분을 상당히 간단한 연산으로 구현 가능한 것을 알 수 있다.
[ B 스킵 블록의 휘도 보상 장치 ]
도 8은 본 발명의 일 실시 예에 따른, 스킵 모드의 블록에서 휘도 보상 여부 플래그와 휘도 보상 예측 값 유도 장치의 블록 구성도이다. 도 8을 참조하여 본 발명의 일 실시 예에 따른 스킵 블록에서 휘도 보상 여부 플래그와 휘도 보상 예측 값을 유도하는 장치에 대하여 상세히 살펴보기로 한다.
본 발명의 일 실시 예에 따른 스킵 블록에서 휘도 보상 여부 플래그와 휘도 보상 예측 값 유도 장치는 휘도 보상 예측 값 유도부(1210)와, 플래그 설정부(1220)와, 휘도 보상부 및 움직임 보상부(1230)를 포함하여 구성된다.
상기 휘도 보상 예측 값 유도부(1210)는 기존의 휘도 보상 예측 값 유도 방법을 사용하여 현재 블록의 주변 블록들(도 2의 A, B, C, D블록)의 정보(휘도 보상 여부 플래그, 휘도 보상 값, 참조 픽쳐 인덱스, 블록 타입 등)와, 현재 블록의 참조 픽쳐 인덱스를 입력받아 휘도 보상 예측 값을 유도하고 출력한다.
현재 국제 표준화가 진행중인 다시점 비디오 코딩 방법에서는 B-스킵 모드에서 A, B, C, D 블록을 사용하고, P-스킵 모드에서 A, B 블록을 사용하고 있다. 구체적으로 B-스킵 모드에서는 기존의 휘도 보상 여부 플래그 및 휘도 보상의 차분 값을 비트 스트림에 코딩해서 전송하는 블록 모드에서 사용하는 휘도 보상 예측 값 유도 방법을 사용하고, P-스킵 모드에서는 기존의 휘도 보상 값 예측 방법을 그대로 사용한다.
상기 플래그 설정부(1220)는 상기 휘도 보상 예측 값 유도부(1210)에서 유도한 휘도 보상 예측 값을 입력받으며, 본 발명에서 제안하는 방법을 이용하여 휘 도 보상 여부 플래그를 설정하여 출력한다.
B-스킵 모드의 경우에는 기존의 휘도 보상 수행 여부 플래그와 휘도 보상 값을 비트 스트림에 코딩해서 보내주는 블록 모드에서 사용하는 휘도 보상 예측 값 유도 방법으로 휘도 보상 예측 값을 유도하며 유도한 예측 값이 0인 경우에는 휘도 보상 여부 플래그를 0으로 설정하고, 유도한 휘도 보상 예측 값이 0이 아닌 경우에는 휘도 보상 여부 플래그를 1로 설정한다.
상기 휘도 보상부 및 움직임 보상부(1230)는 휘도 보상 여부 플래그, 휘도 보상 예측 값, 참조 픽쳐, 움직임 벡터를 이용하여 휘도 보상 및 움직임 보상을 수행하여 디코딩된 영상을 출력한다.
도 9, 도 10은 각각 Race1 VGA 30Hz 영상 시퀀스 및 Ballroom VGA 25Hz 영상 시퀀스에 대한 기존의 방식과 본 발명의 일 실시 예에 따른 휘도 보상 방식의 성능을 비교하여 나타낸 예시도이다.
기존의 방법과 본 발명에서 제안하는 방법을 JMVM 4.0을 이용하여 Race1 VGA 30Hz, Ballroom VGA 25Hz 영상 시퀀스를 각각 양자화 계수(QP)를 22, 27, 32, 37로 변경하여 실험을 수행하였다. 결과는 각각 도 9, 도 10과 같으며, 실제 기존의 방법과 제안하는 방법의 성능이 거의 비슷함을 볼 수 있다.
상기와 같이 본 발명의 일 실시 예에 따른 다시점 비디오 코딩에서 휘도 보상 방법 및 장치의 동작 및 구성이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다.
도 1은 다시점 비디오 코딩에서의 뷰내 예측 및 뷰간 예측 관계를 보여주는 예측 구조의 일 예를 도시한 도면
도 2는 다시점 비디오 코딩에서 휘도 보상 예측 값을 유도시에 사용하는 주변 블록을 나타내는 도면
도 3은 휘도 보상 여부 플래그 및 휘도 보상 차분 값을 전송하는 경우의 블록에서 휘도 보상 예측 값을 유도하는 동작의 흐름도
도 4는 P 스킵 모드의 블록에서 휘도 보상 예측 값 및 휘도 보상 여부 플래그를 유도하는 동작의 흐름도
도 5는 본 발명의 일 실시 예에 따른 B 스킵 모드의 블록에서 휘도 보상 여부 플래그 예측 동작의 흐름도
도 6a, 6b, 6c는 기존의 B 스킵 모드의 블록에서 휘도 보상 여부 플래그 예측 동작을 실제 구현한 프로그래밍 예시도
도 7은 본 발명의 일 실시 예에 따른, B 스킵 모드의 블록에서 휘도 보상 여부 플래그 예측 동작을 실제 구현한 프로그래밍 예시도
도 8은 본 발명의 일 실시 예에 따른, 스킵 모드의 블록에서 휘도 보상 여부 플래그와 휘도 보상 예측 값 유도 장치의 블록 구성도
도 9는 Race1 VGA 30Hz 영상 시퀀스에 대한 기존의 휘도 보상 방식과 본 발명의 일 실시 예에 따른 휘도 보상 방식의 성능을 비교하여 나타낸 예시도
도 10은 Ballroom VGA 25Hz 영상 시퀀스에 대한 기존의 휘도 보상 방식과 본 발명의 일 실시 예에 따른 휘도 보상 방식의 성능을 비교하여 나타낸 예시도

Claims (10)

  1. 다시점 영상에 대한 휘도 보상 방법에 있어서,
    상기 다시점 영상에서 휘도 보상을 수행하는 현재 블록이 스킵 모드인 경우, 상기 현재 블록의 주변 블록들의 정보를 이용하여 휘도 보상 예측 값을 유도하는 과정과,
    상기 유도한 휘도 보상 예측 값이 0인 경우, 상기 현재 블록의 휘도 보상을 수행하지 않도록 설정하는 과정과,
    상기 유도한 휘도 보상 예측 값이 0이 아닌 경우, 상기 현재 블록의 휘도 보상을 수행하도록 설정하는 과정을 포함함을 특징으로 하는 다시점 영상에 대한 휘도 보상 방법.
  2. 제 1항에 있어서, 상기 현재 블록의 주변 블록들의 정보는,
    해당 주변 블록들의 휘도 보상 여부를 나타내는 플래그 값, 휘도 보상 값, 참조 픽쳐 인덱스, 블록 타입을 포함하는 것을 특징으로 하는 다시점 영상에 대한 휘도 보상 방법.
  3. 제 1항에 있어서, 상기 현재 블록이 스킵 모드인 경우, 상기 현재 블록의 주변 블록은,
    현재 블록의 인접한 상단 블록인 제1블록과, 현재 블록의 인접한 좌측 블록인 제2블록과, 상기 제1블록의 인접한 우측 블록인 제3블록과, 상기 제2블록의 인접한 상단 블록인 제4블록임을 특징으로 하는 다시점 영상에 대한 휘도 보상 방법.
  4. 제 1항에 있어서, 상기 현재 블록의 휘도 보상 예측 값 유도는, 상기 현재 블록이 스킵 모드인 경우,
    현재 블록의 인접한 상단 블록인 제1블록이 휘도 보상을 사용하고, 제1블록이 참조하는 영상(Picture)과 현재 블록이 참조하는 영상이 동일한지 판단하여, 동일한 경우에는 제1블록의 휘도 보상 값을 현재 블록의 휘도 보상 예측 값으로 설정하며,
    상기 제1블록이 참조하는 영상과 현재 블록이 참조하는 영상이 동일하지 않은 경우에는, 현재 블록의 인접한 좌측 블록인 제2블록이 휘도 보상을 사용하고, 제2블록이 참조하는 영상과 현재 블록이 참조하는 영상이 동일한지 판단하여, 상기 제2블록이 참조하는 영상과 현재 블록이 참조하는 영상이 동일한 경우에는, 상기 제2블록의 휘도 보상 값을 현재 블록의 휘도 보상 예측 값으로 설정하며,
    상기 제2블록이 참조하는 영상과 현재 블록이 참조하는 영상이 동일하지 않은 경우에는, 상기 제1블록의 인접한 우측 블록인 제3블록이 휘도 보상을 사용하고, 제2블록이 참조하는 영상과 현재 블록이 참조하는 영상이 동일한지 판단하여, 상기 제3블록이 참조하는 영상과 현재 블록이 참조하는 영상이 동일한 경우에는, 상기 제3블록의 휘도 보상 값을 현재 블록의 휘도 보상 예측 값으로 설정하며,
    상기 제3블록이 참조하는 영상과 현재 블록이 참조하는 영상이 동일하지 않은 경우에는, 상기 제2블록의 인접한 상단 블록인 제4블록이 휘도 보상을 사용하고, 제4블록이 참조하는 영상과, 현재 블록이 참조하는 영상이 동일한지 판단하여, 상기 제4블록이 참조하는 영상과 현재 블록이 참조하는 영상이 동일한 경우에는, 상기 제4블록의 휘도 보상 값을 현재 블록의 휘도 보상 예측 값으로 설정하며,
    상기 제4블록이 참조하는 영상이 현재 블록이 참조하는 영상과 동일하지 않은 경우에는, 상기 제1블록과 제2블록과 제3블록이 모두 휘도 보상을 사용하는지 판단하여, 상기 제1블록과 제2블록 제3블록이 모두 휘도 보상을 사용하면, 상기 제1블록과 제2블록과 제3블록의 휘도 보상 값의 중간값(Median)을 현재 블록의 휘도 보상 예측 값으로 설정하며,
    상기 제1블록과 제2블록과 제3블록이 모두 휘도 보상을 사용하는 경우가 아니면, 현재 블록의 휘도 보상 예측 값을 0으로 설정하는 것을 특징으로 하는 다시점 영상에 대한 휘도 보상 방법.
  5. 제 1항에 있어서, 상기 현재 블록의 휘도 보상을 수행하지 않도록 설정하는 것은, 상기 현재 블록의 휘도 보상 수행 여부를 나타내는 플래그 값을 '0'으로 설정하는 것이며,
    상기 현재 블록의 휘도 보상을 수행하도록 설정하는 것은, 상기 현재 블록의 휘도 보상 수행 여부를 나타내는 플래그 값을 '1'로 설정하는 것임을 특징으로 하는 다시점 영상에 대한 휘도 보상 방법.
  6. 다시점 영상에 대한 휘도 보상 장치에 있어서,
    상기 다시점 영상에서 현재 블록이 스킵 모드인 경우,
    상기 현재 블록의 주변 블록들의 정보와 현재 블록의 참조 픽쳐 인덱스를 입력받아 휘도 보상 예측 값을 유도하여 출력하는 휘도 보상 예측 값 유도부와,
    상기 유도한 휘도 보상 예측 값을 입력받으며, 상기 휘도 보상 예측 값에 따라 현재 블록의 휘도 보상 수행 여부를 나타내는 플래그를 설정하여 출력하는 플래그 설정부와,
    상기 휘도 보상 여부를 나타내는 플래그 값과, 상기 휘도 보상 예측 값, 참조 픽쳐, 움직임 벡터를 이용하여 휘도 보상 및 움직임 보상을 수행하는 휘도 보상부 및 움직임 보상부를 포함함을 특징으로 하는 다시점 영상에 대한 휘도 보상 장치.
  7. 제 6항에 있어서, 상기 현재 블록의 주변 블록들의 정보는,
    해당 주변 블록들의 휘도 보상 여부를 나타내는 플래그 값, 휘도 보상 값, 참조 픽쳐 인덱스, 블록 타입을 포함하는 것을 특징으로 하는 다시점 영상에 대한 휘도 보상 장치.
  8. 제 6항에 있어서, 상기 현재 블록이 스킵 모드인 경우, 상기 현재 블록의 주변 블록은,
    현재 블록의 인접한 상단 블록인 제1블록과, 현재 블록의 인접한 좌측 블록인 제2블록과, 상기 제1블록의 인접한 우측 블록인 제3블록과, 상기 제2블록의 인접한 상단 블록인 제4블록임을 특징으로 하는 다시점 영상에 대한 휘도 보상 장치.
  9. 제 6항에 있어서, 상기 현재 블록의 휘도 보상 예측 값 유도는, 상기 현재 블록이 스킵 모드인 경우,
    현재 블록의 인접한 상단 블록인 제1블록이 휘도 보상을 사용하고, 제1블록이 참조하는 영상(Picture)과 현재 블록이 참조하는 영상이 동일한지 판단하여, 동일한 경우에는 제1블록의 휘도 보상 값을 현재 블록의 휘도 보상 예측 값으로 설정하며,
    상기 제1블록이 참조하는 영상과 현재 블록이 참조하는 영상이 동일하지 않은 경우에는, 현재 블록의 인접한 좌측 블록인 제2블록이 휘도 보상을 사용하고, 제2블록이 참조하는 영상과 현재 블록이 참조하는 영상이 동일한지 판단하여, 상기 제2블록이 참조하는 영상과 현재 블록이 참조하는 영상이 동일한 경우에는, 상기 제2블록의 휘도 보상 값을 현재 블록의 휘도 보상 예측 값으로 설정하며,
    상기 제2블록이 참조하는 영상과 현재 블록이 참조하는 영상이 동일하지 않은 경우에는, 상기 제1블록의 인접한 우측 블록인 제3블록이 휘도 보상을 사용하고, 제3블록이 참조하는 영상과 현재 블록이 참조하는 영상이 동일한지 판단하여, 상기 제3블록이 참조하는 영상과 현재 블록이 참조하는 영상이 동일한 경우에는, 상기 제3블록의 휘도 보상 값을 현재 블록의 휘도 보상 예측 값으로 설정하며,
    상기 제3블록이 참조하는 영상과 현재 블록이 참조하는 영상이 동일하지 않은 경우에는, 상기 제2블록의 인접한 상단 블록인 제4블록이 휘도 보상을 사용하고, 제4블록이 참조하는 영상과 현재 블록이 참조하는 영상이 동일한지 판단하여, 상기 제4블록이 참조하는 영상과 현재 블록이 참조하는 영상이 동일한 경우에는, 상기 제4블록의 휘도 보상 값을 현재 블록의 휘도 보상 예측 값으로 설정하며,
    상기 제4블록이 참조하는 영상이 현재 블록이 참조하는 영상과 동일하지 않은 경우에는, 상기 제1블록과 제2블록과 제3블록이 모두 휘도 보상을 사용하는지 판단하여, 상기 제1블록과 제2블록 제3블록이 모두 휘도 보상을 사용하면, 상기 제1블록과 제2블록과 제3블록의 휘도 보상 값의 중간값(Median)을 현재 블록의 휘도 보상 예측 값으로 설정하며,
    상기 제1블록과 제2블록과 제3블록이 모두 휘도 보상을 사용하는 경우가 아니면, 현재 블록의 휘도 보상 예측 값을 0으로 설정하는 것을 특징으로 하는 다시점 영상에 대한 휘도 보상 장치.
  10. 제 6항에 있어서, 상기 플래그 설정부는,
    상기 입력받은 휘도 보상 예측 값이 0인 경우, 휘도 보상 수행 여부를 나타내는 플래그 값을 0으로 설정하며,
    상기 입력받은 휘도 보상 예측 값이 0이 아닌 경우, 휘도 보상 수행 여부를 나타내는 플래그 값을 1로 설정하는 것을 특징으로 하는 다시점 영상에 대한 휘도 보상 장치.
KR1020080014999A 2007-06-25 2008-02-19 다시점 비디오 코딩에서 휘도 보상 방법 및 장치 KR101460362B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US12/145,578 US8259792B2 (en) 2007-06-25 2008-06-25 Method and apparatus for illumination compensation in multi-view video coding
EP08766604A EP2165544A4 (en) 2007-06-25 2008-06-25 METHOD AND DEVICE FOR ILLUMINATING COMPENSATION IN MORE VIEW VIDEO CODING
PCT/KR2008/003645 WO2009002092A2 (en) 2007-06-25 2008-06-25 Method and apparatus for illumination compensation in multi-view video coding
CN2008800218428A CN101715652B (zh) 2007-06-25 2008-06-25 用于多视点视频编码中的亮度补偿的方法和设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20070062513 2007-06-25
KR1020070062513 2007-06-25

Publications (2)

Publication Number Publication Date
KR20080114481A KR20080114481A (ko) 2008-12-31
KR101460362B1 true KR101460362B1 (ko) 2014-11-14

Family

ID=40371559

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080014999A KR101460362B1 (ko) 2007-06-25 2008-02-19 다시점 비디오 코딩에서 휘도 보상 방법 및 장치

Country Status (5)

Country Link
US (1) US8259792B2 (ko)
EP (1) EP2165544A4 (ko)
KR (1) KR101460362B1 (ko)
CN (1) CN101715652B (ko)
WO (1) WO2009002092A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019066449A1 (ko) * 2017-09-28 2019-04-04 삼성전자주식회사 조건부 적용 로컬 휘도 보상에 의한 비디오 복호화 방법 및 장치, 조건부 적용 로컬 휘도 보상에 의한 비디오 부호화 방법 및 장치

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9161041B2 (en) * 2011-01-09 2015-10-13 Mediatek Inc. Apparatus and method of efficient sample adaptive offset
US9008170B2 (en) 2011-05-10 2015-04-14 Qualcomm Incorporated Offset type and coefficients signaling method for sample adaptive offset
CN103533374B (zh) * 2012-07-06 2018-02-16 乐金电子(中国)研究开发中心有限公司 一种视频编码、解码的方法及装置
EP2733933A1 (en) * 2012-09-19 2014-05-21 Thomson Licensing Method and apparatus of compensating illumination variations in a sequence of images
WO2014166104A1 (en) * 2013-04-12 2014-10-16 Mediatek Singapore Pte. Ltd. Removal of parsing dependency for illumination compensation
CN105122796B (zh) * 2013-04-12 2019-03-29 寰发股份有限公司 三维或多视图编码及解码系统中照度补偿的方法
WO2015139187A1 (en) * 2014-03-17 2015-09-24 Mediatek Inc. Low latency encoder decision making for illumination compensation and depth look-up table transmission in video coding
CN107810635A (zh) * 2015-06-16 2018-03-16 Lg 电子株式会社 图像编译系统中基于照度补偿预测块的方法和设备
KR20180074000A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 비디오 디코딩 방법, 이를 수행하는 비디오 디코더, 비디오 인코딩 방법, 및 이를 수행하는 비디오 인코더
CN107147911B (zh) * 2017-07-05 2019-07-26 中南大学 基于局部亮度补偿lic的快速帧间编码模式选择方法及装置
EP3468194A1 (en) * 2017-10-05 2019-04-10 Thomson Licensing Decoupled mode inference and prediction
EP3518543A1 (en) 2018-01-26 2019-07-31 Thomson Licensing Illumination compensation flag in frame rate up-conversion with template matching

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001309384A (ja) 2000-04-18 2001-11-02 Oki Electric Ind Co Ltd 画像圧縮装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060023787A1 (en) 2004-07-27 2006-02-02 Microsoft Corporation System and method for on-line multi-view video compression
CN101023673B (zh) 2004-09-16 2011-06-08 汤姆逊许可证公司 具有利用局部亮度变化的加权预测的视频编解码器
JP5587552B2 (ja) 2005-10-19 2014-09-10 トムソン ライセンシング スケーラブル映像符号化を用いた多視点映像符号化
EP1977593A4 (en) * 2006-01-12 2010-06-16 Lg Electronics Inc PROCESSING MORE VIEW VIDEO
JP5156088B2 (ja) * 2007-03-23 2013-03-06 エルジー エレクトロニクス インコーポレイティド ビデオ信号のデコーディング／エンコーディング方法及び装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001309384A (ja) 2000-04-18 2001-11-02 Oki Electric Ind Co Ltd 画像圧縮装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019066449A1 (ko) * 2017-09-28 2019-04-04 삼성전자주식회사 조건부 적용 로컬 휘도 보상에 의한 비디오 복호화 방법 및 장치, 조건부 적용 로컬 휘도 보상에 의한 비디오 부호화 방법 및 장치

Also Published As

Publication number Publication date
WO2009002092A2 (en) 2008-12-31
CN101715652B (zh) 2013-02-13
CN101715652A (zh) 2010-05-26
EP2165544A2 (en) 2010-03-24
KR20080114481A (ko) 2008-12-31
EP2165544A4 (en) 2011-03-02
US20090010340A1 (en) 2009-01-08
US8259792B2 (en) 2012-09-04
WO2009002092A3 (en) 2009-02-26

Similar Documents

Publication Publication Date Title
KR101460362B1 (ko) 다시점 비디오 코딩에서 휘도 보상 방법 및 장치
JP5970609B2 (ja) ３ｄビデオ符号化における統一された視差ベクトル導出の方法と装置
KR20080114482A (ko) 다시점 비디오 코딩에서 휘도 보상 방법 및 장치
US7817866B2 (en) Processing multiview video
KR101834688B1 (ko) 저 지연 조명 보상 프로세스 및 깊이 룩업 테이블 기반 코딩을 위한 방법
EP2163103B1 (en) Method and system for encoding a 3d video signal, enclosed 3d video signal, method and system for decoder for a 3d video signal
KR102092822B1 (ko) 복호 장치 및 복호 방법, 및 부호화 장치 및 부호화 방법
US8553771B2 (en) Derivation process of boundary filtering strength, and deblocking filtering method and apparatus using the derivation process
US9113196B2 (en) Method and device for processing a video signal using inter-view prediction
JP5602192B2 (ja) 映像符号化方法および映像復号化方法並びにその装置
US6999513B2 (en) Apparatus for encoding a multi-view moving picture
KR101227601B1 (ko) 시차 벡터 예측 방법, 그 방법을 이용하여 다시점 동영상을부호화 및 복호화하는 방법 및 장치
KR101039204B1 (ko) 다시점 비디오 코딩에서의 움직임 벡터 예측 방법 및 이를이용한 다시점 영상의 부호화/복호화 방법 및 장치
KR20080034752A (ko) 다시점 영상의 부호화 및 복호화 방법과 그를 위한 장치
KR100704938B1 (ko) 스테레오스코픽 영상의 부호화/복호화 방법 및 장치
KR20070098429A (ko) 비디오 신호의 디코딩 방법
WO2006110007A1 (en) Method for coding in multiview video coding/decoding system
Rusanovskyy et al. Depth-based coding of MVD data for 3D video extension of H. 264/AVC
EP2717572B1 (en) Encoding/decoding method and apparatus using a skip mode
US20140049608A1 (en) Video processing device and video processing method
Balasubramaniyam et al. A parallel encoding approach to H. 264 stereo video
Khattak Low complexity multiview video coding
Joveluro Perceptual quality estimation techniques for 2D and 3D videos

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171030

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee