KR20080029944A - 비디오 신호 처리 방법 및 장치 - Google Patents

비디오 신호 처리 방법 및 장치 Download PDF

Info

Publication number
KR20080029944A
KR20080029944A KR1020070098782A KR20070098782A KR20080029944A KR 20080029944 A KR20080029944 A KR 20080029944A KR 1020070098782 A KR1020070098782 A KR 1020070098782A KR 20070098782 A KR20070098782 A KR 20070098782A KR 20080029944 A KR20080029944 A KR 20080029944A
Authority
KR
South Korea
Prior art keywords
block
current block
feature point
value
picture
Prior art date
Application number
KR1020070098782A
Other languages
English (en)
Inventor
양정휴
이상화
이상헌
조남익
최승종
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20080029944A publication Critical patent/KR20080029944A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/231—Analysis of motion using block-matching using full search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 비디오 신호를 처리하는 방법에 있어서, 현재 픽쳐의 특징점에 대응되는 다른 픽쳐의 특징점의 특성을 나타내는 벡터 정보를 획득하는 단계와 상기 벡터 정보에 따라 상기 대응되는 다른 픽쳐의 특징점의 데이터 정보를 획득하는 단계 및 상기 획득된 다른 픽쳐의 특징점의 데이터 정보를 이용하여 현재 픽쳐의 조명 보상을 수행하는 단계를 포함하되, 상기 특징점은 밝기 변화율이 가장 큰 위치를 나타내는 것을 특징으로 하는 방법을 제공한다.
다시점, 조명 보상

Description

비디오 신호 처리 방법 및 장치{A method and apparatus for processing a video signal}
본 발명은 비디오 신호의 코딩에 관한 기술이다.
압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하는 일련의 신호 처리 기술을 의미한다. 압축 부호화의 대상에는 음성, 영상, 문자 등의 대상이 존재하며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다. 비디오 영상의 일반적인 특징은 공간적 중복성, 시간적 중복성을 지니고 있는 점에 특징이 있다. 그 중에서 다시점 비디오(Multi-view video)의 각 시점 영상(view sequence)들은 각기 다른 카메라에서 취득된 영상들이기 때문에 카메라의 내외적 요인으로 인하여 조명 (illumination) 차이가 발생하게 된다. 예를 들어, 카메라의 이질성(camera heterogeneity), 카메라 측정(camera calibration)의 차이, 또는 카메라의 정렬 (camera alignment)의 차이 등이 원인이 된다. 이러한 조명 차이는 다른 시점들 간의 상관도를 현저히 떨어뜨려 효과적인 부호화를 저해하므로, 이를 방지하기 위해서 조명 보상 부호화(illumination compensated coding) 기술이 필요하다.
본 발명의 목적은 블록 간 또는 시점 간의 상관관계를 효과적으로 이용하여 비디오 신호의 코딩 효율을 높이는데 있다.
본 발명의 다른 목적은 다시점 영상에 있어서, 시점들 간의 조명 차이를 효율적으로 보상하고자 하는데 있다.
본 발명의 또 다른 목적은 조명 보상 정보를 예측하는 방법을 제공함으로써 비디오 신호를 효율적으로 코딩하고자 함에 있다.
본 발명의 또 다른 목적은 시점 방향의 조명 보상 정보를 예측하는 방법을 제공함으로써 비디오 신호를 효율적으로 코딩하고자 함에 있다.
본 발명에서는 다시점 영상 간에 발생하는 조명 변화 및 밝기 차이를 효과적으로 추정 및 보상하는 방법을 제안함으로써, 움직임 추정 및 다시점 비디오 압축 성능을 개선시키고자 함에 있다.
상기 목적을 달성하기 위하여 본 발명은 비디오 신호를 처리하는 방법에 있어서, 현재 픽쳐의 특징점에 대응되는 다른 픽쳐의 특징점의 특성을 나타내는 벡터 정보를 획득하는 단계와 상기 벡터 정보에 따라 상기 대응되는 다른 픽쳐의 특징점의 데이터 정보를 획득하는 단계 및 상기 획득된 다른 픽쳐의 특징점의 데이터 정보를 이용하여 현재 픽쳐의 조명 보상을 수행하는 단계를 포함하되, 상기 특징점은 밝기 변화율이 가장 큰 위치를 나타내는 것을 특징으로 하는 방법을 제공한다.
또한, 본 발명은 비디오 신호를 처리하는 방법에 있어서, 픽쳐들로부터 밝기 변화율이 가장 큰 위치를 나타내는 특징점들을 확인하는 단계와 상기 확인된 특징점들 사이에서 현재 픽쳐의 특징점 정보와 가장 유사한 정보를 가지고 있는 특징점을 서치하는 단계 및 상기 서치된 특징점과 현재 픽쳐의 특징점 사이의 위치 차이를 나타내는 벡터 정보를 추정하는 단계를 포함하는 것을 특징으로 하는 방법을 제공한다.
다시점 비디오의 각 시점 영상들은 카메라의 내외적 요인으로 인하여 조명 차이가 발생하게 된다. 이러한 조명 차이는 다른 시점들 간의 상관도를 현저히 떨어뜨려 효과적인 부호화를 저해하게 된다. 따라서, 본 발명을 통하여 조명 및 밝기 차이를 더욱 정확하게 추정 및 보상할 수 있으며, 이를 바탕으로 영상의 밝기를 보정하여 더욱 우수한 움직임 추정 및 보상을 수행할 수 있다. 즉, 움직임 추정을 수행하기 전에 정확하게 영상간의 밝기를 보정함으로써, 밝기 값에 기반한 기존의 에너지 함수를 그대로 이용하여 정확한 움직임 추정을 수행할 수 있다. 정확한 움직임 추정 결과는 압축 성능의 향상으로 이어질 수 있다.
또한, 본 발명에서는 현재 블록의 오프셋 값을 이웃 블록의 정보를 이용하여 예측하고 그 차이값만을 전송함으로써, 조명 보상을 위해서 전송해야 하는 정보를 최소화할 수 있다. 또한, 2이상의 참조 블록을 이용하여 예측 코딩된 경우, 오프셋 값과 플래그 정보를 각각 적어도 하나 이상의 다양한 방법으로 적용함으로써 보다 효율적인 코딩이 가능해질 수 있다. 또한, 비디오 신호의 각 영역 범위 별로 조명 보상 기술의 사용 여부를 나타내는 플래그 비트를 할당함으로써, 효과적으로 조명 보상 기술을 사용할 수 있다. 또한, 움직임 추정을 수행하는 과정에서 조명 차이를 반영하여 비용 계산을 함으로써 보다 정확한 예측 코딩을 수행할 수 있게 된다.
또한, 상기 현재 블록의 오프셋 값을 예측할 때, 현재 블록과 이웃 블록의 참조 번호가 동일한지 여부를 확인함으로써 보다 정확한 예측을 수행할 수 있게 된다. 그리고, 현재 블록의 조명 보상 수행 여부를 나타내는 플래그 정보도 예측하여 그 차이값만을 전송함으로써 전송해야 하는 정보를 최소화할 수 있고, 마찬가지로 현재 블록과 이웃 블록의 참조 번호가 동일한지 여부도 확인함으로써 보다 정확한 예측을 수행할 수 있게 된다.
비디오 신호 데이터를 압축 부호화하는 기술은 공간적 중복성, 시간적 중복성, 스케일러블한 중복성, 시점간 존재하는 중복성을 고려하고 있다. 또한, 이러한 압축 부호화 과정에서 시점 간 존재하는 상호 중복성을 고려하여 압축 코딩을 할 수 있다. 시점간 상관 관계를 고려하는 압축 코딩에 대한 기술은 본 발명의 실시예일 뿐이며, 본 발명의 기술적 사상은 시간적 중복성, 스케일러블한 중복성 등에도 적용될 수 있다. 또한, 본 명세서에서 코딩이라 함은 인코딩과 디코딩의 개념을 모두 포함할 수 있고, 본 발명의 기술적 사상 및 기술적 범위에 따라 유연하게 해석할 수 있을 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예의 구성과 그 작용을 설명하며, 도면에 의해서 설명되는 본 발명의 구성과 작용은 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다. 아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어를 사용하여 설명한다. 그러한 경우에는 해당 부분의 상세 설명에서 그 의미를 명확히 기재하므로, 본 발명의 설명에서 사용된 용어의 명칭만으로 단순 해석되어서는 안 될 것이며 그 해당 용어의 의미까지 파악하여 해석되어야 함을 밝혀두고자 한다.
도 1은 본 발명이 적용되는 비디오 신호 디코딩 장치의 개략적인 블록도를 나타낸다.
상기 디코딩 장치는 크게 파싱부(100), 엔트로피 디코딩부(200), 역양자화/역변환부(300), 인트라 예측부(400), 디블록킹 필터부(500), 복호 픽쳐 버퍼부(600), 인터 예측부(700) 등을 포함한다. 그리고, 인터 예측부(700)는 조명 차분 예측부(710), 조명 보상부(720), 움직임 보상부(730) 등을 포함한다.
파싱부(100)에서는 수신된 비디오 영상을 복호하기 위하여 NAL 단위로 파싱을 수행한다. 일반적으로 하나 또는 그 이상의 시퀀스 파라미터 셋과 픽쳐 파라미터 셋이 슬라이스 헤더와 슬라이스 데이터가 디코딩되기 전에 디코더로 전송된다. 이 때 NAL 헤더 영역 또는 NAL 헤더의 확장 영역에는 여러 가지 속성 정보가 포함될 수 있다. MVC는 기존 AVC 기술에 대한 추가 기술이므로 무조건적으로 추가하기보다는 MVC 비트스트림인 경우에 한해 여러 가지 속성 정보들을 추가하는 것이 더 효율적일 수 있다. 예를 들어, 상기 NAL 헤더 영역 또는 NAL 헤더의 확장 영역에서 MVC 비트스트림인지 여부를 식별할 수 있는 플래그 정보를 추가할 수 있다. 상기 플래그 정보에 따라 입력된 비트스트림이 다시점 영상 코딩된 비트스트림일 경우에 한해 다시점 영상에 대한 속성 정보들을 추가할 수 있다. 예를 들어, 상기 속성 정보들은 시간적 레벨(temporal level) 정보, 시점 레벨(view level) 정보, 인터 뷰 픽쳐 그룹 식별 정보, 시점 식별(view identification) 정보 등을 포함할 수 있다.
파싱된 비트스트림은 엔트로피 디코딩부(200)를 통하여 엔트로피 디코딩되고, 각 매크로브록의 계수, 움직임 벡터 등이 추출된다. 역양자화/역변환부(300)에서는 수신된 양자화된 값에 일정한 상수를 곱하여 변환된 계수값을 획득하고, 상기 계수값을 역변환하여 화소값을 복원하게 된다. 상기 복원된 화소값을 이용하여 인트라 예측부(400)에서는 현재 픽쳐 내의 디코딩된 샘플로부터 화면내 예측을 수행하게 된다. 한편, 디블록킹 필터부(500)에서는 블록 왜곡 현상을 감소시키기 위해 각각의 코딩된 매크로블록에 적용된다. 필터는 블록의 가장자리를 부드럽게 하여 디코딩된 픽쳐의 화질을 향상시킨다. 필터링 과정의 선택은 경계 세기(boundary strenth)와 경계 주위의 이미지 샘플의 변화(gradient)에 의해 좌우된다. 필터링을 거친 픽쳐들은 출력되거나 참조 픽쳐로 이용하기 위해 복호 픽쳐 버퍼부(600)에 저장된다.
복호 픽쳐 버퍼부(Decoded Picture Buffer unit)(600)에서는 화면간 예측을 수행하기 위해서 이전에 코딩된 픽쳐들을 저장하거나 개방하는 역할 등을 수행한다. 이 때 복호 픽쳐 버퍼부(600)에 저장하거나 개방하기 위해서 각 픽쳐의 frame_num 과 POC(Picture Order Count)를 이용하게 된다. 따라서, MVC에 있어서 상기 이전에 코딩된 픽쳐들 중에는 현재 픽쳐와 다른 시점에 있는 픽쳐들도 있으므 로, 이러한 픽쳐들을 참조 픽쳐로서 활용하기 위해서는 상기 frame_num 과 POC 뿐만 아니라 픽쳐의 시점을 식별하는 시점 정보도 함께 이용할 수 있다. 상기와 같이 관리되는 참조 픽쳐들은 인터 예측부(700)에서 이용될 수 있다.
인터 예측부(700)에서는 복호 픽쳐 버퍼부(600)에 저장된 참조 픽쳐를 이용하여 화면간 예측을 수행한다. 인터 코딩된 매크로블록은 매크로블록 파티션으로 나누어질 수 있으며, 각 매크로블록 파티션은 하나 또는 두개의 참조 픽쳐로부터 예측될 수 있다. 상기 인터 예측부(700)는 조명 차분 예측부(710), 조명 보상부(720) 및 움직임 보상부(730) 등을 포함한다.
입력된 비트스트림이 다시점 영상에 해당되는 경우, 각 시점 영상(view sequence)들은 각기 다른 카메라에서 취득된 영상들이기 때문에 카메라의 내외적 요인으로 인하여 조명(illumination) 차이가 발생하게 된다. 이를 방지하기 위해서 조명 보상부(720)에서는 조명 보상(illumination compensation)을 수행하게 된다. 조명 보상을 수행함에 있어서, 비디오 신호의 일정 계층에 대한 조명 보상 수행여부를 나타내는 플래그 정보를 이용할 수 있다. 예를 들어, 해당 슬라이스 또는 해당 매크로블록의 조명 보상 수행여부를 나타내는 플래그 정보를 이용하여 조명 보상을 수행할 수 있다. 또한, 상기 플래그 정보를 이용하여 조명 보상을 수행함에 있어서, 여러 가지 매크로블록의 타입(예를 들어, 인터16×16모드 또는 B-skip모드 또는 직접 모드 등)에 적용될 수 있다.
또한, 조명 보상을 수행함에 있어서, 현재 블록을 복원하기 위하여 주변 블록의 정보 또는 현재 블록과 다른 시점에 있는 블록의 정보를 이용할 수 있으며, 현재 블록의 조명 차분값(IC offset value)을 이용할 수도 있다. 이 때 현재 블록이 다른 시점에 있는 블록들을 참조하게 되는 경우, 상기 복호 픽쳐 버퍼부(600)에 저장되어 있는 시점간 예측을 위한 참조 픽쳐 리스트에 대한 정보를 이용하여 조명 보상을 수행할 수 있다. 여기서 현재 블록의 조명 차분 값이란, 현재 블록의 평균 화소값과 그에 대응하는 참조 블록의 평균 화소값 사이의 차이를 말한다. 상기 조명 차분 값을 이용하는 일례로, 상기 현재 블록의 이웃 블록들을 이용하여 상기 현재 블록의 조명 차분 예측값을 획득하고, 상기 조명 차분 값과 상기 조명 차분 예측값와의 차이값인 조명 차분 레지듀얼(IC offset residual)을 이용할 수 있다. 따라서, 디코딩부에서는 상기 조명 차분 레지듀얼과 상기 조명 차분 예측값을 이용하여 상기 현재 블록의 조명 차분 값을 복원할 수 있다.
또한, 현재 블록의 조명 차분 예측값을 획득함에 있어서, 이웃 블록의 정보를 이용할 수 있다. 예를 들어, 이웃 블록의 조명 차분값을 이용하여 현재 블록의 조명 차분값을 예측할 수 있는데, 이에 앞서 상기 현재 블록의 참조 번호와 상기 이웃 블록의 참조 번호가 동일한지 여부를 확인하고, 그 확인 결과에 따라 어떤 이웃 블록을 이용할지, 또는 어떤 값을 이용할지가 결정될 수 있다.
또한, 시점 방향의 코딩 정보 상관도를 이용하여 현재 블록의 코딩 정보를 예측할 수 있다. 예를 들어, 상기 코딩 정보에는 조명 보상 정보, 예측 방향 정보 또는 파티션 정보 등을 포함할 수 있다. 그 구체적 예로, 현재 블록의 조명 보상 정보를 예측하기 위해서 상기 현재 블록에 이웃하는 블록들의 조명 보상 정보를 이용할 수 있다. 또한, 상기 현재 블록의 시점과 동일한 시점에 있고, 상기 현재 블 록에 대응되는 다른 픽쳐의 블록의 조명 보상 정보를 이용할 수도 있다.
움직임 보상부(730)에서는 엔트로피 디코딩부(200)로부터 전송된 정보들을 이용하여 현재 블록의 움직임을 보상한다. 비디오 신호로부터 현재 블록에 이웃하는 블록들의 움직임 벡터를 추출하고, 상기 현재 블록의 움직임 벡터 예측값을 획득한다. 상기 획득된 움직임 벡터 예측값과 상기 비디오 신호로부터 추출되는 차분 벡터를 이용하여 현재 블록의 움직임을 보상한다. 또한, 이러한 움직임 보상은 하나의 참조 픽쳐를 이용하여 수행될 수도 있고, 복수의 픽쳐를 이용하여 수행될 수도 있다. 다시점 비디오 코딩에 있어서, 현재 픽쳐가 다른 시점에 있는 픽쳐들을 참조하게 되는 경우, 상기 복호 픽쳐 버퍼부(600)에 저장되어 있는 시점간 예측을 위한 참조 픽쳐 리스트에 대한 정보를 이용하여 움직임 보상을 수행할 수 있다. 또한, 그 픽쳐의 시점을 식별하는 시점 정보를 이용하여 움직임 보상을 수행할 수도 있다. 또한, 직접 예측 모드(direct mode)는 부호화가 끝난 블록의 움직임 정보로부터 현재 블록의 움직임 정보를 예측하는 부호화 모드이다. 이러한 방법은 움직임 정보를 부호화할 때 필요한 비트수가 절약되기 때문에 압축 효율이 향상된다. 예를 들어, 시간 직접 예측 모드(temporal direct mode)는 시간 방향의 움직임 정보 상관도를 이용하여 현재 블록의 움직임 정보를 예측하게 된다.
상기와 같은 과정을 통해 인터 예측된 픽쳐들과 인트라 예측된 픽쳐들은 예측 모드에 따라 선택되어 현재 픽쳐를 복원하게 된다. 이하에서는 비디오 신호의 효율적인 디코딩 방법을 제공하기 위한 다양한 실시예들을 설명하도록 한다.
도 2는 본 발명이 적용되는 일실시예로서, 현재 블록의 조명 차분값을 획득 하는 과정을 설명하기 위한 도면을 나타낸다.
현재 블록과 후보 참조 블록(candidate reference block)의 유사성을 비교할 때 양 블록 사이의 조명 차이를 고려하여야 한다. 상기 조명 차이를 보상하기 위하여 새로운 움직임 추정 및 움직임 보상이 수행된다. 새로운 SAD는 다음 수학식 1을 이용하여 구할 수 있다.
Figure 112007070662147-PAT00001
Figure 112007070662147-PAT00002
여기서, Mcurr 는 현재 블록의 평균 화소값을 나타내고, Mref 는 참조 블록의 평균 화소값을 나타낸다. f(i,j) 는 현재 블록의 화소값을 나타내고, r(i+x, j+y) 는 참조 블록의 화소값를 나타낸다. 상기 수학식 2의 새로운 SAD에 기초하여 움직임 추정을 수행함으로써 상기 현재 블록과 상기 참조 블록 사이의 평균 화소값 차이가 획득될 수 있다. 상기 획득된 평균 화소값 차이를 조명 차분값(IC_offset)이라 한다.
조명 보상이 적용된 움직임 추정이 수행되는 경우, 조명 차분값과 움직임 벡터가 구해지고 조명 보상은 상기 조명 차분값과 상기 움직임 벡터를 이용하여 수학 식 3과 같이 수행된다.
Figure 112007070662147-PAT00003
여기서, NewR(i,j)는 조명 보상이 수행된 오차값(residual)을 나타내고, (x,, y,)는 움직임 벡터를 나타낸다.
조명 차분값(Mcurr- Mref)은 디코딩부로 전송되어야 한다. 디코딩부에서의 조명 보상은 다음과 같이 수행된다.
Figure 112007070662147-PAT00004
NewR,,(i,j)는 복원된, 조명 보상이 수행된 오차값(residual)을 나타내고, f,(i,j)는 복원된 현재 블록의 화소값을 나타낸다.
현재 블록을 복원하기 위해서는 조명 차분값이 디코딩부에 전송되어야 하고, 상기 조명 차분값은 이웃 블록들의 정보로부터 예측될 수 있다. 상기 조명 차분값을 코딩할 비트수를 더 감소시키기 위하여, 현재 블록의 조명 차분값(IC_offset)과 이웃 블록의 조명 차분값(predIC_offset)과의 차이값(RIC_offset)만 보낼 수 있다. 이는 아래 수학식 5와 같다.
RIC _offset = IC _offset ― predIC _offset
도 3은 본 발명이 적용되는 실시예로서, 밝기의 변화율과 방향성을 이용하여 조명 보상을 수행하는 방법의 흐름도를 나타낸다.
본 실시예에서는 여러 대의 카메라를 이용하여 취득된 다시점 비디오 신호에서 카메라 간의 노출 및 렌즈특성의 차이에 의하여 발생하는 각 비디오 영상의 밝기 변화를 추정하고 보정하는 기법을 다룬다. 여러 대의 카메라를 이용하여 영상을 취득하는 경우, 동일한 장면을 촬영하더라도, 카메라의 위치가 다르기 때문에 조명조건도 달라지게 되어 노출 및 영상의 밝기에서 차이가 존재한다. 이러한 조명 조건 및 밝기 차이는 다시점 비디오 압축을 수행하기 위하여 요구되는 시점 간 움직임 추정에서 많은 오류를 유발하며, 압축 성능의 저하로 이어진다. 본 발명에서는 다시점 비디오 신호를 효과적으로 압축하기 위하여 각 시점 영상 간의 조명 차이를 보다 정확히 추정하고 그 조명 차이를 보정하는 기술을 다루고 있다. 본 발명에서 제안하는 기법은 다시점 비디오 압축에서만 적용되는 것이 아니라, 다시점 카메라를 이용할 때 발생하는 조명 조건의 차이를 보정하기 위한 일반적인 기술로서 적용할 수 있다.
먼저, 현재 픽쳐의 특징점에 대응되는 다른 픽쳐의 특징점에 대한 벡터 정보를 획득할 수 있다. 그리고, 현재 픽쳐의 특징점의 데이터 정보와 상기 대응되는 다른 픽쳐의 특징점의 데이터 정보 사이의 차이값을 수신된 비디오 신호로부터 획득할 수 있다(S310). 여기서, 상기 데이터 정보는 조명 및/또는 밝기에 대한 정보 일 수 있다. 예를 들어, 상기 데이터 정보는 화소값을 나타낼 수 있으며, 또는 밝기의 변화율에 대한 값일 수 있으며, 또는 밝기의 방향성을 나타내는 정보일 수 있다. 이러한 정보는 특징점을 중심으로 일정한 영역에 대하여 히스토그램으로 구할 수 있고, 상기의 히스토그램을 벡터 형식으로 표현한다. 상기 획득된 벡터 정보에 따라 상기 대응되는 다른 픽쳐의 특징점의 데이터 정보를 획득할 수 있다(S320). 그리고, 상기 획득된 다른 픽쳐의 특징점의 데이터 정보를 상기 현재 픽쳐의 특징점의 데이터 정보로 예측할 수 있다(S330). 이렇게 획득된 상기 데이터 정보 차이값과 상기 예측값을 이용하여 조명 보상을 수행할 수 있게 된다. 이하, 상기 과정들에 대해서 보다 상세히 살펴보도록 한다.
정확한 밝기 차이를 추정하기 위해서는 영상의 밝기 변화에 민감하지 않고 일관된 특성을 보여주는 특징 성분을 이용하여 다시점 영상 간의 대응관계를 우선적으로 추정하고, 이 대응관계를 바탕으로 국소적으로 다시점 영상간의 밝기 차이를 측정할 수 있다. 다시점 영상의 밝기 차이 및 조명 변화가 추정되면, 영상보정을 수행하여 동일한 밝기 및 조명 조건의 다시점 영상으로 변환할 수 있다. 그리고 보정된 영상을 이용하여 움직임 추정 및 압축 과정을 수행한다.
본 발명이 적용되는 실시예에서는 특징점 추출 부분, 특징점의 대응관계 추정 부분, 조명 및 밝기 변화 추정과 보정 부분의 세 가지 부분으로 나누어 설명할 수 있다.
특징점 추출 부분에서는 움직임 추정을 수행하기 위하여 필요한 다시점 비디오 신호의 프레임들에 대하여 특징점 추출을 수행할 수 있다. 여기서, 특징점이란 어떤 영상처리 과정을 통하여 가장 명확하고 두드러진 크기를 갖는 위치와 그 특성을 정의한 데이터 형식을 의미할 수 있다. 본 발명에서는 조명 변화에 보다 안정적인 특성을 이용하고자 한다. 예를 들어, 영상의 밝기 값이 아닌 밝기의 변화율 및/또는 방향성을 이용하여 새로운 데이터 형식을 정의하여 사용할 수 있다. 구체적 예로,상기 밝기의 변화율과 방향성을 이용한 새로운 데이터 형식을 스케일 불변 특징 변환(scale invariant feature transform, 이하 SIFT라 한다.)이라 정의하여 사용할 수 있다. 영상처리를 통하여 추출된 SIFT 특징점은 각 프레임에 대하여 비균일하게 분포하며, 프레임마다 추출된 개수도 다를 수 있다. 그러나 영상의 조명변화에 대해서 강인하고 안정적인 특성을 보이기 때문에, 다른 조명 조건을 갖는 프레임에 대해서도 매우 유사한 특성을 가질 수 있다.
특징점 대응관계 추정 부분은 각 프레임에서 추출된 SIFT 특징점을 비교하여 서로 가장 유사한 것들끼리 대응관계를 연결한다. 즉, 영상 간에 가장 잘 정합되는 위치를 SIFT 특징점을 이용하여 추정할 수 있다. 예를 들어, 일반적인 움직임 추정 방법을 적용할 수 있다. 다만, 움직임 추정은 매크로 블록 단위로 SAD 같은 밝기 값을 이용하여 대응 위치를 찾지만, 본 발명에서는 SIFT 특징 벡터를 이용한다는 점에서 다를 수 있다.
조명 및 밝기 변화 추정과 보정 부분에서는 SIFT 특징벡터의 대응관계를 이용하여 다시점 프레임 간의 조명변화를 추정한다. 우선 SIFT 특징점을 중심으로 일정한 크기의 블록을 설정한다, 이 설정된 블록내의 밝기 값의 평균을 계산하고, SIFT 특징점이 대응하는 다른 시점의 프레임에 대해서도 밝기 값의 평균을 계산하 여 그 차이를 구한다. 이 차이가 프레임 간에 대응되는 그 위치의 밝기 차이이다. 이러한 방식으로 대응관계를 갖는 모든 SIFT 특징점에 대한 밝기 차이를 계산한다. 그리고 그 밝기 차이를 이용하여 SIFT 특징점을 중심으로 하는 국소적인 블록의 밝기 보정을 수행한다. SIFT 특징점은 비균일하게 존재하므로 블록들이 서로 겹치는 화소들은 여러 밝기 차이를 평균하여 보정할 수 있다. 그리고, SIFT 특징점을 중심으로 하는 블록에 포함되지 않는 화소들에 대해서는 인접한 SIFT 특징점에 의하여 계산된 밝기 차이를 이용하여 보정할 수 있다. 이와 같이, 하나의 프레임에 대해서 SIFT 특징점 대응관계를 이용하여 비균일하게 밝기 보정을 수행한 후에 움직임 추정 및 움직임 보상을 수행할 수 있다. 위와 같이 비균일한 보정 방식을 이용하게 될 경우, 밝기 변화를 보다 정확하게 측정할 수 있다. 본 발명이 적용되는 다른 실시예로서, 각 SIFT 특징점에 의하여 구해진 밝기 차이를 전체적으로 평균하여 프레임 단위로 보정을 수행할 수도 있다.
본 발명이 적용되는 다른 실시예로서, 조명 보상을 고려한 움직임 벡터 예측 방법을 제공한다.
블록 기반의 움직임 벡터를 예측할 때, 현재 블록과 참조 블록 사이의 조명 차이가 큰 경우, 조명 보상 기술을 적용함으로써, 코딩 이득을 얻을 수 있다. 그러나, 조명 보상 기술을 적용하여 움직임 벡터를 예측하게 되면, 조명 보상을 적용하지 않은 경우와 비교할 때, 움직임 벡터가 가리키는 위치가 달라질 수 있다. 따라서, 조명 보상 기술이 적용되는 블록과 적용되지 않는 블록들 사이의 움직임 벡터의 유사성은 낮아질 수 있다. 이는 움직임 벡터 예측시 영향을 주게 되고, 코딩 성 능을 악화시킬 수 있다.
따라서, 움직임 벡터 예측시 조명 보상에 관한 정보를 추가하여, 보다 정확한 움직임 벡터를 예측할 수 있다. 상기 조명 보상 기술이 블록 단위로 적용이 되면, 각 블록(또는 파티션) 별로 조명 보상에 관한 정보를 갖게 된다. 움직임 벡터 예측 과정에서 이웃 블록과 현재 블록의 조명 보상 적용 여부를 나타내는 정보(예를 들어, IC 플래그 정보)들을 비교할 수 있다. 예를 들어, 조명 보상이 적용되는 블록의 움직임 정보는 조명 보상이 적용되는 이웃 블록들의 움직임 정보를 이용해서 예측할 수 있고, 조명 보상이 적용되지 않는 블록의 움직임 정보는 조명 보상이 적용되지 않은 이웃 블록들의 움직임 정보를 이용해서 예측할 수 있다. 즉, 참조 번호의 동일성 여부 체크뿐만 아니라, 조명 보상의 적용 여부를 나타내는 플래그 정보의 동일성 여부 체크도 수행할 수 있다. 이하, 구체적인 실시예를 살펴보도록 한다.
디코딩 장치에서는 움직임 보상을 수행하기 위하여 비디오 신호로부터 참조 블록의 움직임 정보, 상기 현재 블록과 상기 참조 블록의 참조 번호 등을 추출하고, 이러한 정보들을 이용하여 현재 블록의 움직임 벡터 예측값을 획득할 수 있다. 그리고, 현재 블록의 움직임 벡터 값과 상기 움직임 벡터 예측값 사이의 차이값인 움직임 벡터 레지듀얼을 획득하고, 상기 획득된 움직임 벡터 레지듀얼과 상기 움직임 벡터 예측값을 이용하여 상기 현재 블록의 움직임 벡터 값을 복원할 수 있다. 이때, 현재 블록의 움직임 벡터 예측값을 획득함에 있어서, 이웃 블록의 정보를 이용할 수 있다. 예를 들어, 상기 이웃 블록의 움직임 벡터 값을 이용하여 상기 현재 블록의 움직임 벡터 값을 예측할 수 있는데, 이에 앞서 현재 블록의 참조 번호(reference index)와 상기 이웃 블록의 참조 번호가 동일한지 여부를 확인하고, 그 확인 결과에 따라 어떤 이웃 블록을 이용할지, 또는 어떤 값을 이용할지가 결정될 수 있다. 이 때, 참조 번호의 동일성 여부 체크뿐만 아니라, 조명 보상의 적용 여부를 나타내는 플래그 정보(이하, IC 플래그라 한다.)의 동일성 여부 체크도 수행할 수 있다.
그 구체적 실시예로, 현재 블록의 움직임 벡터 값과 움직임 벡터 예측값 사이의 차이값인 움직임 벡터 레지듀얼을 비디오 신호로부터 추출한다. 현재 블록의 참조 번호 및 IC 플래그와 이웃 블록들의 참조 번호 및 IC 플래그가 동일한지 여부를 확인한다. 확인 결과, 현재 블록의 참조 번호 및 IC 플래그와 동일한 참조 번호 및 IC 플래그를 가지는 이웃 블록이 존재하는 경우, 그 이웃 블록이 1개만 존재하는지 여부를 확인한다. 확인 결과, 현재 블록의 참조 번호 및 IC 플래그와 동일한 참조 번호 및 IC 플래그를 가지는 이웃 블록이 1개만 존재하는 경우, 상기 참조 번호 및 IC 플래그가 동일한 이웃 블록의 움직임 벡터값을 현재 블록의 움직임 벡터 예측값에 할당하게 된다. 즉, 아래 수학식 6과 같다.
mvpLX = mvLXN
상기 확인 결과에 따라 현재 블록의 참조 번호 및 IC 플래그와 동일한 참조 번호 및 IC 플래그를 가지는 이웃 블록이 존재하지 않는 경우 또는 현재 블록의 참조 번호 및 IC 플래그와 동일한 참조 번호 및 IC 플래그를 가지는 이웃 블록이 2이 상 존재하는 경우에는 상기 이웃 블록들의 움직임 벡터값들(mvpLXN, N = A, B or C)의 중간값(Median)을 현재 블록의 움직임 벡터 예측값에 할당하게 된다. 즉, 아래 수학식 7과 같다.
mvpLX[ 0 ] = Median( mvLXA[0], mvLXB[0], mvLXC[0] )
mvpLX[ 1 ] = Median(　mvLXA[1],　mvLXB[1],　mvLXC[1] )
상기 실시예에서는, 참조 번호 및 IC 플래그의 동일성 모두를 확인하였다. 그러나, 다른 실시예로서, 먼저 참조 번호의 동일성을 확인하고, 그 결과에 따라 다시 IC 플래그의 동일성을 확인할 수도 있다. 또는 IC 플래그의 동일성을 먼저 확인하고, 그 이후에 참조 번호의 동일성을 확인할 수도 있다.
본 발명이 적용되는 다른 실시예로서, 현재 블록의 조명 보상 수행 여부를 나타내는 플래그 정보와 현재 블록의 조명 차분 값을 이용하여 조명 보상을 수행하는 과정을 설명하고자 한다.
디코딩부에서는 조명 보상을 수행하기 위하여 비디오 신호로부터 상기 현재 블록의 이웃 블록들의 플래그 정보 및 조명 차분 값, 상기 현재 블록과 그 이웃 블록들의 해당 참조 블록들의 인덱스 정보 등을 추출하고, 이러한 정보들을 이용하여 현재 블록의 조명 차분 예측값을 획득할 수 있다. 그리고, 현재 블록의 조명 차분 값과 상기 조명 차분 예측값 사이의 차이값(residual)을 획득하고, 상기 획득된 차이값과 상기 조명 차분 예측값을 이용하여 상기 현재 블록의 조명 차분 값을 복원할 수 있다. 여기서, 현재 블록의 조명 차분 값을 복원할 때, 상기 현재 블록의 조 명 보상 수행 여부를 나타내는 플래그 정보(IC_flag)를 이용할 수 있다. 먼저 비디오 신호로부터 현재 블록의 조명보상 수행여부를 나타내는 플래그 정보를 획득한다. 상기 플래그 정보에 따라 조명보상이 수행되는 경우, 상기 현재 블록의 평균 화소값과 참조 블록의 평균 화소값의 차이를 나타내는 현재 블록의 조명 차분 값을 복원할 수 있다. 이처럼, 조명 보상 기술은 서로 다른 픽쳐에 속한 블록들의 평균 화소값의 차이값을 코딩한다. 각 블록에 대해서 조명 보상 기술의 적용 여부를 나타내는 플래그가 사용될 때, 해당 블록이 P 슬라이스에 속한 블록인 경우에는 하나의 플래그 정보와 하나의 조명 차분 값을 부호화/복호화하면 된다. 그러나, 해당 블록이 B 슬라이스에 속한 블록인 경우에는 여러 가지 방법이 가능할 수 있다.
도 4와 도 5는 본 발명이 적용된 일실시예로서, 각각 P 슬라이스 및 B 슬라이스에 속한 블록에 대해 플래그 정보와 조명 차분 값을 이용하여 조명 보상을 수행하는 방법을 설명하기 위해 나타낸 것이다.
상기 도 4에서, "C"는 현재 블록(C)을 나타내고, "N"는 현재 블록(C)에 이웃하는 블록을, "R"은 현재 블록(C)이 참조하는 블록을, "S"는 현재 블록(C)에 이웃하는 블록(N)이 참조하는 블록을 나타낸다. "mc"는 현재 블록의 평균 화소값을 나타내고, "mr"은 현재 블록이 참조하는 블록의 평균 화소값을 나타낸다. 현재 블록(C)의 조명 차분 값을 "IC_offset" 이라 하면, IC_offset = mc - mr 이 된다. 마찬가지로 이웃 블록(N)의 조명 차분 값을 "IC_offset_pred"라 하면, 인코딩부에서는 현재 블록(C)의 조명 차분 값인 "IC_offset"을 복원하기 위해 그 값을 그대로 전송하 지 않고, 현재 블록의 조명 차분 값(IC_offset)과 이웃 블록의 조명 차분 값(IC_offset_pred)과의 차이값(RIC_offset)만을 보낼 수 있다. 여기서, RIC_offset는 상기 수학식 5와 같다. 여기서 이웃 블록의 플래그 정보 또는 조명 차분 값으로부터 현재 블록의 조명 차분 예측값를 생성할 때는 다양한 방법이 적용될 수 있다. 예를 들어, 이웃 블록 하나만의 정보를 이용할 수도 있고, 2이상의 이웃 블록의 정보를 이용할 수도 있다. 2이상의 이웃 블록의 정보를 이용하는 경우에는 평균값을 이용할 수도 있고, 중간값(median)을 이용할 수도 있다. 이처럼, 현재 블록이 하나의 참조 블록을 이용하여 예측 코딩된 경우에는 하나의 조명 차분 값과 하나의 플래그 정보를 이용하여 조명 보상을 수행할 수 있다.
그러나, 해당 블록이 B 슬라이스에 속한 블록인 경우, 즉 현재 블록이 2이상의 참조 블록을 이용하여 예측 코딩된 경우에는 여러 가지 방법이 가능할 수 있다. 예를 들어, 도 5에서 "C"는 현재 블록(C)을 나타내고, "N"은 현재 블록(C)에 이웃하는 블록을, "R0"는 현재 블록이 참조하는 List 0의 참조 픽쳐 1에 있는 참조 블록을, "S0"는 이웃 블록이 참조하는 List 0의 참조 픽쳐 1에 있는 참조 블록을 나타낸다고 가정한다. 그리고, "R1"은 현재 블록이 참조하는 List 1의 참조 픽쳐 3에 있는 참조 블록을, "S0"는 이웃 블록이 참조하는 List 1의 참조 픽쳐 3에 있는 참조 블록을 나타낸다고 가정한다. 이 때, 현재 블록의 플래그 정보와 조명 차분 값은 각 참조 블록에 대해 존재하므로 각각 두 개의 값이 존재한다. 따라서, 상기 플래그 정보와 조명 차분 값을 이용함에 있어서, 각각 적어도 하나 이상을 이용할 수 있다.
예를 들어, 움직임 보상을 통하여 두 개의 참조 블록에 대한 정보의 조합으로 현재 블록의 예측값이 구해질 수 있다. 여기서, 현재 블록에 조명 보상를 적용할지 여부를 하나의 플래그 정보로 나타내고, 상기 플래그 정보가 참인 경우, 상기 현재 블록과 상기 예측값로부터 하나의 조명 차분 값을 획득하여 부호화/복호화를 수행할 수 있다. 다른 예로, 움직임 보상을 수행하는 과정에서 두 개의 참조 블록에 대해서 각각 조명 보상을 적용할지 여부가 결정된다. 각각의 참조 블록에 대해서 플래그 정보가 부여되고, 상기 플래그 정보를 이용하여 획득된 하나의 조명 차분 값이 부호화/복호화될 수 있다. 이 경우, 플래그 정보는 참조 블록을 기준으로 2개, 조명 차분 값은 현재 블록을 기준으로 1개 사용될 수 있다. 또 다른 예로, 현재 블록을 기준으로, 이 블록에 대해서 조명 보상을 적용할 것인지 여부를 하나의 플래그 정보에 나타낼 수 있다. 그리고, 두 개의 참조 블록에 대해서 각각의 조명 차분 값이 부호화/복호화될 수 있다. 부호화 과정에 있어서, 어느 한쪽의 참조 블록에 대해서 조명 보상을 적용하지 않는 경우에는 그에 해당하는 조명 차분 값을 0으로 한다. 이 경우, 플래그 정보는 현재 블록을 기준으로 1개, 조명 차분 값은 참조 블록을 기준으로 2개 사용될 수 있다. 또 다른 예로, 각 참조 블록에 대해서 각각의 플래그 정보와 조명 차분 값이 부호화/복호화될 수 있다. 이 경우, 플래그 정보와 조명 차분 값은 모두 참조 블록을 기준으로 각각 2개씩 사용될 수 있다.
각 경우에 대해서, 조명 차분 값은 그대로 부호화되지 않고, 이웃 블록의 조명 차분 값으로부터 예측한 후, 그 오차값만을 부호화할 수 있다.
본 발명이 적용되는 다른 실시예로서, 현재 블록이 2개의 참조 블록을 이용 하여 예측 코딩된 경우에 있어서 조명 보상을 수행하는 방법을 설명하고자 한다.
현재 블록이 B 슬라이스에 속한 블록인 경우, 조명 보상을 수행하기 위하여 비디오 신호로부터 상기 현재 블록의 이웃 블록들의 플래그 정보 및 조명 차분 값, 상기 현재 블록과 그 이웃 블록들의 해당 참조 블록들의 인덱스 정보 등을 추출하고, 이러한 정보들을 이용하여 현재 블록의 조명 차분 예측값을 획득할 수 있다. 그리고, 현재 블록의 조명 차분 값과 상기 조명 차분 예측값 사이의 차이값(residual)을 획득하고, 상기 획득된 차이값과 상기 조명 차분 예측값을 이용하여 상기 현재 블록의 조명 차분 값을 복원할 수 있다. 이때, 현재 블록의 조명 차분 값을 복원할 때, 상기 현재 블록의 조명 보상 수행 여부를 나타내는 플래그 정보(IC_flag)를 이용할 수 있다. 먼저 비디오 신호로부터 현재 블록의 조명보상 수행여부를 나타내는 플래그 정보를 획득한다. 상기 플래그 정보에 따라 조명보상이 수행되는 경우, 상기 현재 블록의 평균 화소값과 참조 블록의 평균 화소값의 차이를 나타내는 현재 블록의 조명 차분 값을 복원할 수 있다. 그런데, 이와 같이 현재 블록이 2개의 참조 블록을 이용하여 예측 코딩된 경우에는 디코더에서 각 참조 블록에 대응되는 오프셋 값을 직접적으로 알 수 없게 된다. 왜냐하면, 현재 블록의 오프셋 값을 획득할 때, 상기 2개의 참조 블록을 평균한 화소값을 이용하였기 때문이다. 따라서, 본 발명의 일실시예에서는 각 참조 블록마다 대응되는 조명 차분 값을 획득하여 보다 정확한 예측을 가능하게 할 수 있다. 현재 블록이 2개의 참조 블록을 이용하여 예측 코딩된 경우, 상기 조명 차분 값을 이용하여 각 참조 블록에 대응하는 조명 차분 값을 획득할 수 있다. 이는 아래 수학식 6과 같다.
IC_offset = mc - w1* mr,1 - w2* mr,2
IC_offsetL0 = mc - mr,1 = IC_offset + (w1-1)* mr,1 + w2* mr,2
IC_offsetL1 = mc - mr,2 = IC_offset + w1 * mr,1 + (w2-1)* mr,2
여기서, mc 는 현재 블록의 평균 화소값을 나타내고, mr,1 , mr,2는 각각 참조 블록의 평균 화소값을 나타낸다. w1 , w2 는 쌍방향 예측 코딩(bi-predictive coding)시의 가중치 계수를 나타낸다.
본 발명의 다른 실시예로서, 현재 블록이 2개의 참조 블록을 이용하여 예측 코딩된 경우, 하나의 평균화된 조명 차분 값으로부터 각 참조 블록과 관련된 2개의 조명 차분 값을 복원하는 방법을 설명하도록 한다.
인코딩부에서 조명 차분 값은 다음 수학식 9와 같을 수 있다.
ICoffset = ( ICoffsetL0 + ICoffsetL1 + 1 ) >> 1;
디코딩부에서 상기 조명 보상 오프셋(ICoffset) 값을 복원해 냈을 때, 상기 ICoffsetL0와 상기 ICoffsetL1을 복원하는 방법은 다음 수학식 10과 같다.
ICoffsetL0 = ICoffset + ICoffsetBias
ICoffsetL1 = ICoffset + ICoffsetBias - Error
여기서, ICoffsetBias 는 2개의 참조 블록 중 하나의 참조 블록의 평균 화소값으로부터 나머지 하나의 참조 블록의 평균 화소값을 뺀 뒤 2로 나눈 값을 의미할 수 있다. Error 는 상기 ICoffsetBias 를 2로 나눈 나머지 값을 의미할 수 있다. 상기 방법들은 정수연산에서 생길 수 있는 오차를 해결하기 위함이다. 상기와 같은 방법을 통해서, 하나의 평균 ICoffset 값과 디코딩부에서 구한 참조 블록의 평균값을 이용하여 오차없는 ICoffsetLX들을 유도할 수 있다.
이러한 방법으로 조명 보상을 수행하게 되는 경우, 각 참조 블록에 대응하는 정확한 조명 차분 값을 별도로 획득하여 이용할 수 있게 되므로 보다 정확한 예측 코딩을 할 수 있게 된다. 상기 현재 블록의 조명 차분 값을 복원할 때, 복원된 조명 차분 값의 차이값(residual)과 조명 차분 예측값을 더하여 조명 차분 값을 획득할 수 있다. 이 때, List0, List1 각각에 대한 예측값을 구하고, 이들을 조합하여 현재 블록의 조명 차분 값을 복원할 때 필요한 예측값을 구할 수 있다.
본 발명이 적용되는 다른 실시예로서, 비디오 신호의 일정 계층에 대한 조명 보상 수행여부를 나타내는 플래그 정보를 이용하여 조명 보상을 수행하는 과정을 설명하기 위한 흐름도를 나타낸다.
조명 보상 기술은 카메라 사이의 조명 또는 색상(color) 차이를 보상하기 위한 것이다. 이 기술은 좀더 확장하여, 같은 카메라에서 획득된 시퀀스 영상들 사이에서도 적용할 수 있다. 이 기술을 통해서 조명이나 색상 차이가 움직임 추정에 크게 영향을 미치지 않도록 할 수 있다. 그러나, 실제 부호화 과정에서는 조명 보상의 적용 여부를 나타내는 플래그 정보를 사용하게 된다. 조명 보상의 적용 범위는 시퀀스(sequence), 시점(view), GOP(Group Of Picture), 픽쳐(picture), 슬라이스(slice), 매크로블록(macroblock), 서브블록(sub-block) 등이 될 수 있다. 작은 영역 범위에 조명 보상 기술이 쓰이면, 좀더 로컬(local)한 영역에 대해서 조절이 가능하지만, 그대신 플래그 정보를 위한 비트가 그만큼 많이 소요된다. 또한, 많은 경우에 조명 보상 기술이 필요없을 수도 있다. 따라서, 각 영역 범위 별로 조명 보상 기술의 사용 여부를 나타내는 플래그 비트를 할당함으로써, 효과적으로 조명 보상 기술을 사용할 수 있게 된다. 먼저 비디오 신호의 일정 계층에 대해 조명 보상을 수행하도록 유도하는 플래그 정보를 획득한다. 예를 들어, 각 영역 범위 별로 다음과 같이 플래그 정보를 설정할 수 있다. 시퀀스 계층에 대해서는 "seq_IC_flag", 시점 계층에 대해서는 "view_IC_flag", GOP 계층에 대해서는 "GOP_IC_flag", 픽쳐 계층에 대해서는 "pic_IC_flag", 슬라이스 계층에 대해서는 "slice_IC_flag", 매크로블록 계층에 대해서는 "mb_IC_flag", 블록 계층에 대해서는 "blk_IC_flag" 로 플래그 비트를 할당할 수 있다. 이에 대해서는 도 8a ~ 도 8c에서 상세히 설명하도록 한다. 그리고, 상기 플래그 정보에 따라 조명 보상이 수행된 상기 비디오 신호의 일정 계층을 디코딩할 수 있게 된다.
본 발명이 적용되는 다른 실시예로서, 현재 블록의 조명 보상 수행하도록 유도하는 플래그 정보의 사용 범위를 설명하고자 한다.
조명 보상을 수행하도록 유도하는 플래그 정보의 적용 범위를 계층별로 구분할 수 있다. 예를 들어, 시퀀스 계층에 대해서는 "seq_IC_flag", 시점 계층에 대해서는 "view_IC_flag", GOP 계층에 대해서는 "GOP_IC_flag", 픽쳐 계층에 대해서는 "pic_IC_flag", 슬라이스 계층에 대해서는 "slice_IC_flag", 매크로블록 계층에 대해서는 "mb_IC_flag", 블록 계층에 대해서는 "blk_IC_flag" 로 나타낼 수 있다. 여기서, 각 플래그는 1비트 정보이며, 상기 플래그들은 적어도 하나 이상 존재할 수 있다. 또한, 시퀀스/시점/픽쳐/슬라이스 범위 등의 플래그들은 해당 파라미터 세트 또는 헤더에 위치할 수 있으며, 또는 다른 파라미터 세트에도 위치할 수 있다. 예를 들어, "seq_IC_flag"는 시퀀스 파라미터 세트(sequence parameter set)에 위치할 수 있고, "view_IC_flag"는 시점 파라미터 세트(view parameter set)에 위치할 수 있으며, "pic_IC_flag"는 픽쳐 파라미터 세트(picture parameter set)에 위치할 수 있다. 또한, "slice_IC_flag"는 슬라이스 헤더에 위치할 수 있다.
상기 플래그 정보가 2이상 존재하는 경우, 2이상의 일정 계층 중 하위 계층의 조명 보상 수행 여부는 상위 계층의 조명 보상 수행 여부에 의해 제어될 수 있다. 즉, 각 플래그 비트값이 1로 설정이 되면, 그 하위 범위에서 조명 보상 기술이 적용되는 경우가 있을 수 있음을 나타낸다. 예를 들어, pic_IC_flag = 1인 경우, 해당 픽쳐 범위 내의 각 슬라이스에 대해서 slice_IC_flag값을 1 또는 0으로 셋팅할 수 있고, 또는 각 매크로블록에 대해서 mb_IC_flag값을 1 또는 0으로 셋팅할 수 있으며, 또는 각 블록에 대해서 blk_IC_flag값을 1 또는 0으로 셋팅할 수 있다. 시점 파라미터 세트가 있는 경우, seq_IC_flag = 1 이라면, 각 시점에 대해서 view_IC_flag값을 1 또는 0으로 셋팅할 수 있게 된다. 다만, view_IC_flag=1인 경우에는, 해당 시점에 속하는 각 GOP, 픽쳐, 슬라이스, 매크로블록, 또는 블록에 대한 플래그 비트값을 1 또는 0으로 셋팅할 수도 있고, 그렇지 않은 경우도 있을 수 있다. 여기서, 그렇지 않은 경우는 각 GOP, 픽쳐, 슬라이스, 매크로블록, 또는 블록에 대한 플래그들이 시점에 대한 플래그 정보에 의해 제어되지 않는 경우를 말한다.
상위 범위의 플래그 비트값이 0인 경우, 하위 범위의 플래그 비트값들은 자동적으로 0이 된다. 예를 들어, seq_IC_flag = 0인 경우, 해당 시퀀스에 대해서 조명 보상 기술이 적용되지 않는다는 것을 의미하며, 따라서 view_IC_flag, GOP_IC_flag, pic_IC_flag, slice_IC_flag, mb_IC_flag, blk_IC_flag는 모두 0으로 셋팅된다. 그리고, mb_IC_flag와 blk_IC_flag는 조명 보상 기술의 구체적인 구현 방법에 따라 하나만 사용될 수도 있다. 또한, 시점에 대한 플래그 정보(view_IC_flag)는 다시점 비디오 코딩에서 시점 파라미터 세트가 새로이 적용될 경우에 적용될 수 있다. 제일 하위 단위인 매크로블록 또는 서브블록에서의 플래그 비트값에 따라 현재 블록의 조명 차분 값이 추가적으로 부호화/복호화 될 수 있다.
또한, IC 기술 적용에 대한 플래그가 슬라이스와 매크로블록 계층에만 적용되는 실시예도 생각할 수 있다. 예를 들어, slice_IC_flag 가 0 인 경우는 해당 슬라이스에서 IC가 적용되지 않음을 의미할 수 있다. slice_IC_flag가 1 인 경우는 해당 슬라이스에서 IC가 적용됨을 의미할 수 있으며, 이 경우 mb_IC_flag가 1이면 해당 매크로블록에서 IC_offset 이 복원된다. mb_IC_flag 가 0 이면 해당 매크로블록에서 IC가 적용되지 않음을 의미할 수 있다.
또한, 본 발명의 다른 일실시예로서, 매크로블록 계층보다 상위 계층의 플래그 정보가 참인 경우, 현재 블록의 평균 화소값과 참조 블록의 평균 화소값 차이를 나타내는 현재 블록의 조명 차분 값을 획득할 수 있는데, 이 때 상기 매크로블록 계층 또는 상기 블록 계층에 대한 플래그 정보는 이용하지 않을 수 있다. 조명 보상 기술을 적용할 때, 각 블록에 대해서 조명 보상 기술을 적용할 것인지 여부를 플래그 정보를 통해서 나타낼 수 있다. 그러나, 움직임 벡터처럼 그 값만을 나타내는 것으로도 충분할 수도 있다. 이는 조명 보상 기술의 적용범위와 함께 운용이 가능할 수 있으며, 상위 범위(sequence, view, GOP, picture)에 대해서는 플래그 정보를 통해서 그 하위 범위에서 조명 보상이 적용되는지를 나타낼 수 있다. 제일 하위 범위인 매크로블록 계층 또는 블록 계층에서는 플래그 비트를 사용함이 없이 오프셋 값만으로 충분할 수 있다. 이는 기본적으로 움직임 벡터와 유사한 방식으로 예측 및 부호화를 수행할 수 있다. 예를 들어, 현재 블록에 대해서 예측 코딩을 수행하는 경우, 이웃 블록의 조명 차분 값을 현재 블록의 조명 차분 값에 할당하게 된다. 그리고, 쌍방향 예측 코딩인 경우, List 0, List 1에서 찾아진 참조 블록과의 계산을 통해서 각 참조 블록에 대한 조명 차분 값이 획득된다. 따라서, 현재 블록의 조명 차분 값들을 부호화할 때, 이웃 블록들의 조명 차분 값들을 이용해서 상기 각 참조 블록에 대한 조명 차분 값을 직접 부호화 하지 않고, 예측 오차만을 부호화/복호화 한다. 조명 차분 값의 예측방법은 위의 조명 차분 예측 방법이나 움직임 벡터 예측시 사용되는 중간값(median)을 획득하는 방법을 사용할 수도 있다. 쌍방향 예측의 직접 모드(direct mode)일 때도, 움직임 벡터와 같은 방법으로 부가 정보의 부호화/복호화 없이 이미 주어진 정보를 통해서 조명 차분 값들을 구할 수 있다.
또한, 본 발명의 다른 일실시예로서, MVC 디코더가 아닌 디코더(예를 들어,H.264)를 이용하게 되는 경우, 기존의 디코더와 호환성을 가지는 시점 영상은 기존의 디코더로 디코딩될 수 있어야 하므로 "view_IC_flag = false or 0" 으로 설정해야 된다. 상기 view_IC_flag 는 시점 파라미터 세트 영역으로부터 추출될 수 있다. 여기서 기준 시점(base views)에 대한 개념을 설명할 필요가 있다. 우리는 H.264/AVC 디코더와 호환성을 가지기 위한 적어도 하나의 시점 영상(view sequence)이 필요할 수 있다. 따라서, 독립적으로 복호화가 가능한 시점들을 정의할 필요가 있는데, 이를 기준 시점이라 한다. 이러한 기준시점은 다시점 중 부호화의 기준이 되며, 이는 참조 시점(reference view)에 해당된다. MVC에서 기준 시점에 해당되는 영상은 종래 일반적인 영상 부호화 방식(MPEG-2, MPEG-4, H.263, H.264 등)에 의해 부호화되어 독립적인 비트스트림으로 형성하게 된다. 기준 시점에 해당되는 영상은 H.264/AVC와 호환될 수도 있고, 되지 않을 수도 있다. 하지만, H.264/AVC와 호환될 수 있는 시점의 영상은 기준 시점이 된다.
본 발명이 적용되는 다른 실시예로서, 현재 블록에 대한 조명 보상을 수행하는 과정을 설명하고자 한다.
현재 블록의 조명 보상 플래그가 0 인 경우에는 현재 블록에 대한 조명 보상이 수행되지 않는다. 플래그가 1인 경우에 현재 블록의 조명 차분 값을 복원하는 과정이 수행된다. 이 때, 현재 블록의 예측값을 획득함에 있어서, 이웃 블록의 정보를 이용할 수 있다. 먼저 현재 블록의 참조 번호와 이웃 블록의 참조 번호가 동일한지 여부를 판단한다. 상기 판단 결과에 기초하여 현재 블록의 조명 보상을 위 한 예측값을 획득한다. 상기 획득된 예측값을 이용하여 현재 블록의 조명 차분 값을 복원한다. 여기서, 상기 현재 블록의 참조 번호와 이웃 블록의 참조 번호가 동일한지 여부를 판단하고, 그 판단 결과에 기초하여 예측값을 획득하는 단계에 대해서 보다 상세히 살펴볼 필요가 있다.
본 발명이 적용되는 다른 실시예로서, 현재 블록과 이웃 블록의 참조 번호 동일 여부에 기초하여 예측값을 획득하는 방법을 설명하고자 한다.
디코딩부에서는 조명 보상을 수행하기 위하여 비디오 신호로부터 현재 블록의 이웃 블록들의 플래그 정보 및 조명 차분 값, 상기 현재 블록과 그 이웃 블록들의 해당 참조 블록들의 참조 번호 등을 추출하고, 이러한 정보들을 이용하여 현재 블록의 예측값을 획득할 수 있다. 그리고, 현재 블록의 조명 차분 값과 상기 예측값 사이의 차이값(residual)을 획득하고, 상기 획득된 차이값과 상기 예측값을 이용하여 상기 현재 블록의 조명 차분 값을 복원할 수 있다. 이때, 현재 블록의 예측값을 획득함에 있어서, 이웃 블록의 정보를 이용할 수 있다. 예를 들어, 상기 이웃 블록의 조명 차분 값을 이용하여 상기 현재 블록의 조명 차분 값을 예측할 수 있는데, 이에 앞서 현재 블록의 참조 번호(reference index)와 상기 이웃 블록의 참조 번호가 동일한지 여부를 확인하고, 그 확인 결과에 따라 어떤 이웃 블록을 이용할지, 또는 어떤 값을 이용할지가 결정될 수 있다. 또한, 상기 이웃 블록의 플래그 정보가 참인지 여부를 확인하고, 그 확인 결과에 따라 상기 이웃 블록을 이용할지를 결정할 수 있다.
그 구체적 실시예로, 현재 블록의 참조 번호와 동일한 참조 번호를 가지는 이웃 블록이 존재하는지 여부를 판단한다. 상기 판단 결과, 현재 블록의 참조 번호와 동일한 참조 번호를 가지는 이웃 블록이 1개만 존재하는 경우, 상기 참조 번호가 동일한 이웃 블록의 조명 차분 값을 현재 블록의 조명 차분 예측값에 할당하게 된다. 상기 판단 결과에 따라 현재 블록의 참조 번호와 동일한 참조 번호를 가지는 이웃 블록이 2개 존재하는 경우에는 동일한 참조 번호를 가지는 2개의 이웃 블록들의 조명 차분 값들의 평균값이 현재 블록의 조명 차분 예측값에 할당된다. 또한, 상기 판단 결과에 따라 현재 블록의 참조 번호와 동일한 참조 번호를 가지는 이웃 블록이 3개 존재하는 경우에는 동일한 참조 번호를 가지는 3개의 이웃 블록들의 조명 차분 값들의 중간값(Median)이 현재 블록의 조명 차분 예측값에 할당된다. 또한, 상기 판단 결과에 따라 현재 블록의 참조 번호와 동일한 참조 번호를 가지는 이웃 블록이 존재하지 않는 경우, 현재 블록의 조명 차분 예측값은 "0"으로 할당된다. 위의 참조 번호의 동일성을 확인하는 과정에서 해당 이웃 블록의 플래그가 1인지 여부를 확인하는 조건을 포함할 수 있다.
또 다른 실시예로서, 이웃 블록이 현재 블록의 참조 번호와 동일한 참조 번호를 가지는지 여부를 확인하고, 상기 이웃 블록의 플래그가 1인지를 확인한다. 상기 두가지 조건이 모두 만족되는 이웃 블록이 있으면, 그 이웃 블록의 조명 차분 값을 현재 블록의 조명 차분 예측값으로 할 수 있다. 이때, 이웃 블록을 체크하는 순서는 좌측, 상단, 상우측, 상좌측 순으로 할 수도 있고, 상단, 좌측, 상우측, 상좌측 순으로 할 수도 있다. 상기 두가지 조건이 모두 만족되는 이웃 블록이 없는 경우에는, 좌측, 상단, 상우측(또는 상좌측)의 세 이웃블록의 플래그가 1이면, 세 블록의 조명 차분 값의 중간값(median)을 상기 조명 차분 예측값으로 하고, 이 또한 만족하지 않으면, 현재 블록의 조명 차분 예측값은 "0"으로 할당될 수 있다.
본 발명이 적용되는 다른 실시예로서, 현재 블록의 프리딕션 타입에 기초하여 조명 보상을 수행하는 방법을 설명하고자 한다.
현재 블록의 프리딕션 타입에 따라 참조하는 이웃 블록이 달라질 수 있다. 예를 들어, 현재 블록과 이웃 블록의 형상이 동일한 경우에는 현재 블록은 이웃 블록들의 중간값(Median)을 이용하여 예측을 수행한다. 그러나, 그 형상이 다른 경우에는 다른 방법이 적용된다. 예를 들어, 현재 블록의 좌측에 있는 블록이 여러 블록으로 나뉘어져 있을 경우 그 중 가장 상단에 위치한 블록을 예측에 사용한다. 또는 현재 블록의 상단에 있는 블록이 여러 개로 나뉘어져 있을 경우 그 중 가장 좌측에 위치한 블록을 예측에 사용한다. 이와 같이 현재 블록의 프리딕션 타입이 어느 이웃 블록을 사용할 것인지에 따라 그 예측값이 달라질 수 있다. 따라서, 본 발명의 일실시예에서는 먼저 현재 블록의 프리딕션 타입에 따라 참조하는 이웃 블록을 결정한다. 상기 결정된 이웃 블록의 참조 번호와 상기 현재 블록의 참조 번호가 동일한지 여부를 판단한다. 여기서, 위의 참조 번호의 동일여부를 확인하는 과정에서 해당 이웃 블록의 플래그가 1인지 여부를 확인하는 조건도 포함할 수 있다. 상기 판단 결과에 기초하여 현재 블록의 조명 보상을 위한 예측값을 획득한다. 상기 획득된 예측값을 이용하여 현재 블록의 조명 차분 값을 복원함으로써 조명 보상을 수행할 수 있다. 이 부분에 대한 구체적 실시예들은 상기에서 설명한 방식과 유사한 방식으로 적용될 수 있다.
예를 들어, 현재 블록의 프리딕션 타입이 현재 블록의 좌측 블록을 참조하여 예측을 수행하는 경우라면, 상기 현재 블록의 좌측 블록의 참조 번호가 상기 현재 블록의 참조 번호와 동일한지 여부를 판단한다. 상기 판단 결과, 참조 번호가 동일한 경우 상기 좌측 블록의 조명 차분 값을 현재 블록의 조명 차분 예측값에 할당한다. 또한, 현재 블록의 프리딕션 타입이 현재 블록의 좌측 블록과 상단 블록 2개를 참조하여 예측을 수행하는 경우, 또는 현재 블록의 좌측 블록과 상단 블록, 그리고 우측 상단 블록 3개를 참조하는 경우 등 각각의 경우는 상기에서 설명한 방식과 동일하게 적용될 수 있다.
본 발명이 적용되는 다른 실시예로서, 해당 블록의 조명 보상 수행여부를 나타내는 플래그 정보를 이용하여 조명 보상을 수행하는 방법을 설명하고자 한다.
현재 블록의 조명 차분 값을 복원할 때, 상기 현재 블록의 조명 보상 수행 여부를 나타내는 플래그 정보(IC_flag)도 이용할 수 있다. 또는 상기에서 설명했던 참조 번호를 확인하는 방법과 플래그 정보를 예측하는 방법 모두를 이용하여 상기 조명 차분 예측값을 획득할 수도 있다. 먼저 현재 블록의 참조 번호와 동일한 참조 번호를 가지는 이웃 블록이 존재하는지 여부를 판단한다. 상기 판단 결과에 기초하여 현재 블록의 조명 보상을 위한 조명 차분 예측값을 획득한다. 이때 이웃 블록의 플래그가 1인지 여부를 판단 기준으로 포함할 수 있다. 또한 상기 판단 결과에 기초하여 현재 블록의 플래그 정보를 예측한다. 상기 획득된 조명 차분 예측값과 상기 예측된 플래그 정보를 이용하여 현재 블록의 조명 차분 값을 복원함으로써 조명 보상을 수행할 수 있게 된다.
본 발명이 적용되는 다른 실시예로서, 현재 블록과 이웃 블록의 참조 번호 동일 여부에 기초하여 현재 블록의 플래그 정보를 예측하는 방법을 설명하고자 한다.
먼저 현재 블록의 참조 번호와 동일한 참조 번호를 가지는 이웃 블록이 존재하는지 여부를 판단한다. 상기 판단 결과, 현재 블록의 참조 번호와 동일한 참조 번호를 가지는 이웃 블록이 1개만 존재하는 경우, 상기 참조 번호가 동일한 이웃 블록의 플래그 정보로부터 현재 블록의 플래그 정보를 예측한다. 상기 판단 결과에 따라 현재 블록의 참조 번호와 동일한 참조 번호를 가지는 이웃 블록이 2개 존재하는 경우에는 동일한 참조 번호를 가지는 2개의 이웃 블록들의 플래그 정보 중 어느 하나의 플래그 정보로부터 현재 블록의 플래그 정보를 예측한다. 또한, 상기 판단 결과에 따라 현재 블록의 참조 번호와 동일한 참조 번호를 가지는 이웃 블록이 3개 존재하는 경우에는 동일한 참조 번호를 가지는 3개의 이웃 블록들의 플래그 정보 중 중간값(Median)으로부터 현재 블록의 플래그 정보를 예측한다. 또한, 상기 판단 결과에 따라 현재 블록의 참조 번호와 동일한 참조 번호를 가지는 이웃 블록이 존재하지 않는 경우, 현재 블록의 플래그 정보 예측은 수행하지 않는다.
이상에서 설명한 바와 같이, 본 발명이 적용되는 디코딩/인코딩 장치는 DMB(Digital Multimedia Broadcasting)과 같은 멀티미디어 방송 송/수신 장치에 구비되어, 비디오 신호 및 데이터 신호 등을 복호화하는데 사용될 수 있다. 또한 상기 멀티미디어 방송 송/수신 장치는 이동통신 단말기를 포함할 수 있다.
또한, 본 발명이 적용되는 디코딩/인코딩 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명에 따른 데이터 구조를 가지는 멀티미디어 데이터도 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 인코딩 방법에 의해 생성된 비트스트림은 컴퓨터가 읽을 수 있는 기록 매체에 저장되거나, 유/무선 통신망을 이용해 전송될 수 있다.
이상, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것으로, 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 다양한 다른 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.
도 1은 본 발명이 적용되는 비디오 신호 디코딩 장치의 개략적인 블록도를 나타낸다.
도 2는 본 발명이 적용되는 일실시예로서, 현재 블록의 조명 차분값을 획득하는 과정을 설명하기 위한 도면을 나타낸다.
도 3은 본 발명이 적용되는 실시예로서, 밝기의 변화율과 방향성을 이용하여 조명 보상을 수행하는 방법의 흐름도를 나타낸다.
도 4와 도 5는 본 발명이 적용된 일실시예로서, 각각 P 슬라이스 및 B 슬라이스에 속한 블록에 대해 플래그 정보와 조명 차분 값을 이용하여 조명 보상을 수행하는 방법을 설명하기 위해 나타낸 것이다.

Claims (13)

  1. 비디오 신호를 처리하는 방법에 있어서,
    픽쳐들로부터 밝기 변화율이 가장 큰 위치를 나타내는 특징점들을 확인하는 단계;
    상기 확인된 특징점들 사이에서 현재 픽쳐의 특징점 정보와 가장 유사한 정보를 가지고 있는 특징점을 서치하는 단계; 및
    상기 서치된 특징점과 현재 픽쳐의 특징점 사이의 위치 차이를 나타내는 벡터 정보를 추정하는 단계
    를 포함하는 것을 특징으로 하는 방법.
  2. 제 1항에 있어서,
    상기 특징점 정보는 밝기의 방향성을 나타내는 데이터 정보를 더 포함하는 것을 특징으로 하는 방법.
  3. 제 1항에 있어서,
    하나의 픽쳐 내에 복수개의 특징점이 존재하는 경우, 미리 정해진 값에 기초하여 상기 복수개의 특징점들을 확인하는 것을 특징으로 하는 방법.
  4. 제 1항에 있어서,
    상기 확인된 특징점을 중심으로 일정 크기의 블록을 설정하는 단계;
    상기 설정된 블록 내의 평균 화소값을 계산하는 단계;
    상기 현재 픽쳐의 특징점을 중심으로 설정된 블록 내의 평균 화소값과 상기 현재 픽쳐의 특징점에 대응되는 특징점을 중심으로 설정된 블록 내의 평균 화소값 사이의 차이값을 획득하는 단계
    상기 획득된 차이값을 이용하여 상기 설정된 블록들의 조명 보상을 수행하는 단계
    를 더 포함하는 것을 특징으로 하는 방법.
  5. 비디오 신호를 처리하는 방법에 있어서,
    현재 픽쳐의 특징점에 대응되는 다른 픽쳐의 특징점의 특성을 나타내는 벡터 정보를 획득하는 단계;
    상기 벡터 정보에 따라 상기 대응되는 다른 픽쳐의 특징점의 데이터 정보를 획득하는 단계; 및
    상기 획득된 다른 픽쳐의 특징점의 데이터 정보를 이용하여 현재 픽쳐의 조명 보상을 수행하는 단계를 포함하되,
    상기 특징점은 밝기 변화율이 가장 큰 위치를 나타내는 것을 특징으로 하는 방법.
  6. 제 5항에 있어서,
    상기 특징점의 데이터 정보는 밝기의 방향성을 나타내는 데이터 정보를 더 포함하는 것을 특징으로 하는 방법.
  7. 제 5항에 있어서,
    하나의 픽쳐 내에 복수개의 특징점이 존재하는 경우, 미리 정해진 값에 기초하여 상기 복수개의 특징점들에 대한 데이터 정보를 획득하는 것을 특징으로 하는 방법.
  8. 제 5항에 있어서,
    상기 현재 픽쳐의 특징점을 중심으로 설정된 일정 영역에 대해서 조명 보상을 수행하는 것을 특징으로 하는 방법.
  9. 제 8항에 있어서,
    상기 현재 픽쳐의 특징점을 중심으로 설정된 영역 내의 평균 화소값과 상기 대응되는 다른 픽쳐의 특징점을 중심으로 설정된 영역 내의 평균 화소값 사이의 차이값을 획득하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  10. 제 5항에 있어서,
    상기 대응되는 다른 픽쳐는 현재 픽쳐의 시점과 다른 시점에 있는 픽쳐인 것을 특징으로 하는 방법.
  11. 제 5항에 있어서,
    상기 비디오 신호는, 방송 신호로서 수신된 것임을 특징으로 하는 방법.
  12. 제 5항에 있어서,
    상기 비디오 신호는, 디지털 미디엄을 통해 수신된 것임을 특징으로 하는 방법.
  13. 제 5항에 기재된 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.
KR1020070098782A 2006-09-29 2007-10-01 비디오 신호 처리 방법 및 장치 KR20080029944A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US84793006P 2006-09-29 2006-09-29
US60/847,930 2006-09-29

Publications (1)

Publication Number Publication Date
KR20080029944A true KR20080029944A (ko) 2008-04-03

Family

ID=39532282

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070098782A KR20080029944A (ko) 2006-09-29 2007-10-01 비디오 신호 처리 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20080029944A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100944903B1 (ko) * 2008-03-18 2010-03-03 한국전자통신연구원 비디오 신호의 특징 추출 장치 및 그 추출 방법, 비디오인식 시스템 및 그 인식 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100944903B1 (ko) * 2008-03-18 2010-03-03 한국전자통신연구원 비디오 신호의 특징 추출 장치 및 그 추출 방법, 비디오인식 시스템 및 그 인식 방법
US8620107B2 (en) 2008-03-18 2013-12-31 Electronics And Telecommunications Research Institute Apparatus and method for extracting features of video, and system and method for identifying videos using same

Similar Documents

Publication Publication Date Title
US11190795B2 (en) Method and an apparatus for processing a video signal
US8953679B2 (en) Methods and apparatus for implicit block segmentation in video encoding and decoding
US8553073B2 (en) Processing multiview video
US8270472B2 (en) Methods and apparatus for adaptive reference filtering (ARF) of bi-predictive pictures in multi-view coded video
US20070177671A1 (en) Processing multiview video
WO2008054176A1 (en) Method and apparatus for video predictive encoding and method and apparatus for video predictive decoding
KR20090113281A (ko) 비디오 신호 처리 방법 및 장치
KR101631183B1 (ko) 다시점 화상 부호화 방법, 다시점 화상 복호 방법, 다시점 화상 부호화 장치, 다시점 화상 복호 장치 및 그 프로그램
KR20150034729A (ko) 비디오 신호 처리 방법 및 장치
EP2207357A1 (en) Method and apparatus for video coding using large macroblocks
KR20080006494A (ko) 비디오 신호의 디코딩 방법 및 장치
KR101366288B1 (ko) 비디오 신호의 디코딩 방법 및 장치
KR101276847B1 (ko) 다시점 비디오의 처리
KR20080029944A (ko) 비디오 신호 처리 방법 및 장치
KR20080068277A (ko) 움직임 추정을 이용한 영상의 부호화, 복호화 방법 및 장치
KR20080029788A (ko) 비디오 신호의 디코딩 방법 및 장치
WO2009139569A2 (ko) 비디오 신호 디코딩 방법 및 장치

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination