KR101358889B1 - Ｃｆａ를 이용하여 획득한 샘플링된 컬러 영상을 부호화/복호화하기 위한 장치 및 그 방법 - Google Patents

Ｃｆａ를 이용하여 획득한 샘플링된 컬러 영상을 부호화/복호화하기 위한 장치 및 그 방법 Download PDF

Info

Publication number
KR101358889B1
KR101358889B1 KR20110122336A KR20110122336A KR101358889B1 KR 101358889 B1 KR101358889 B1 KR 101358889B1 KR 20110122336 A KR20110122336 A KR 20110122336A KR 20110122336 A KR20110122336 A KR 20110122336A KR 101358889 B1 KR101358889 B1 KR 101358889B1
Authority
KR
South Korea
Prior art keywords
color
coordinate system
image
color coordinate
signal
Prior art date
Application number
KR20110122336A
Other languages
English (en)
Other versions
KR20130056625A (ko
Inventor
이철희
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR20110122336A priority Critical patent/KR101358889B1/ko
Priority to US13/684,102 priority patent/US20130128959A1/en
Publication of KR20130056625A publication Critical patent/KR20130056625A/ko
Application granted granted Critical
Publication of KR101358889B1 publication Critical patent/KR101358889B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명에 의한 CFA를 이용하여 획득한 샘플링된 컬러 영상을 부호화/복호화하기 위한 장치 및 그 방법이 개시된다.
본 발명에 따른 컬러 영상을 부호화하기 위한 장치는 제1 색좌표계의 컬러 영상을 획득하는 획득부; 획득한 상기 제1 색좌표계의 컬러 영상을 기 설정된 개수의 화소 단위로 제2 색좌표계의 컬러 영상으로 변환하는 변환부; 및 변환된 상기 제2 색좌표계의 컬러 영상을 부호화하여 압축된 영상을 생성하는 부호화부를 포함한다.
이를 통해, 본 발명은 컬러 영상의 보간 없이 YUV 색좌표계로 변환할 수 있고, YUV 색좌표계로의 변환으로 인해 생성되는 데이터의 크기를 감소시킬 수 있을 뿐 아니라, 코딩 효율의 저하 가능성을 제거할 수 있다.

Description

ＣＦＡ를 이용하여 획득한 샘플링된 컬러 영상을 부호화/복호화하기 위한 장치 및 그 방법{APPARATUS FOR ENCODING/DECODING SAMPLED COLOR IMAGE ACQUIRED BY CFA AND METHOD THEREOF}
본 발명은 컬러 영상 부호화에 관한 것으로, 특히, CFA(Color Filter Array)를 이용하여 획득한 RGB 색좌표계의 샘플링된 컬러 영상을 복수 개의 화소를 하나의 단위로 다른 색좌표계의 컬러 영상으로 변환한 후에 이를 부호화할 수 있도록 하는 CFA를 이용하여 획득한 샘플링된 컬러 영상을 부호화/복호화하기 위한 장치 및 그 방법에 관한 것이다.
대부분 디지털 카메라, 디지털 캠코더, 휴대용 카메라 폰 등의 영상 장치들은 영상을 디지털 포맷으로 저장한다. 예컨대, 대부분의 디지털 카메라는 JPEG(Joint Photographic Expert Group) 등과 같은 압축 기법을 사용하여 영상을 압축한다. 또한, 많은 디지털 캠코더 역시 동영상을 디지털 포맷으로 저장한다.
점점 더 많은 수의 영상 장치가 정지영상 및 동영상을 디지털 포맷으로 저장한다. 그리고 대부분의 휴대폰이 카메라를 장착하고 있고, 디지털 통신을 통해 정지영상 및 동영상을 전송할 수 있다.
CFA를 구비한 단일 영상 센서를 사용하는 영상 시스템에서 샘플링된 컬러 영상은 보간 알고리즘에 의하여 풀컬러(full color) 영상으로 보간 된다. 이러한 보간 과정에 의해 생성된 풀컬러 영상의 데이터량은 샘플링된 컬러 영상의 데이터량의 3배에 달한다.
따라서 이러한 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 CFA(Color Filter Array)를 이용하여 획득한 샘플링된 RGB 색좌표계의 컬러 영상을 복수 개의 화소를 하나의 단위로 다른 색좌표계의 컬러 영상으로 변환한 후에 이를 부호화할 수 있도록 하는 CFA를 이용하여 획득한 샘플링된 컬러 영상을 부호화/복호화하기 위한 장치 및 그 방법을 제공하는데 있다.
본 발명의 다른 목적은 CFA를 이용하여 획득한 샘플링된 RGB 색좌표계의 컬러 영상을 기 설정된 각도로 회전시킨 후 복수 개의 화소를 하나의 단위로 다른 색좌표계의 컬러 영상으로 변환하여 이를 부호화할 수 있도록 하는 CFA를 이용하여 획득한 샘플링된 컬러 영상을 부호화/복호화하기 위한 장치 및 그 방법을 제공하는데 있다.
본 발명의 또 다른 목적은 단일 영상 센서를 복수개의 화소를 한 단위로 하여 컬러 영상을 획득하고, 이를 다른 색좌표계로 변환하여 이를 부호화할 수 있도록 하는 CFA를 이용하여 획득한 샘플링된 컬러 영상을 효울적으로 부호화/복호화하기 위한 장치 및 그 방법을 제공하는데 있다.
그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적들을 달성하기 위하여, 본 발명의 한 관점에 따른 컬러 영상을 부호화하기 위한 장치는 제1 색좌표계의 샘플링된 컬러 영상을 획득하는 영상 센싱부; 획득한 상기 제1 색좌표계의 컬러 영상을 기 설정된 개수의 화소 단위로 제2 색좌표계의 컬러 영상으로 변환하는 컬러 변환부; 및 변환된 상기 제2 색좌표계의 컬러 영상을 부호화하여 압축된 영상을 생성하는 부호화부를 포함할 수 있다.
바람직하게, 상기 제1 색좌표계는 RGB 색좌표계인 것을 특징으로 한다.
바람직하게, 상기 제2 색좌표계는 YUV 색좌표계인 것을 특징으로 한다.
바람직하게, 상기 컬러 변환부는 상기 제1 색좌표계의 컬러 영상을 서로 인접한 위치에 존재하는 4개의 화소 단위로 상기 제2 색좌표계의 컬러 영상으로 변환할 수 있다.
바람직하게, 상기 컬러 변환부는 상기 제1 색좌표계의 컬러 영상의 서로 인접한 위치에 존재하는 R, G1, G2, B의 화소를 상기 제2 색좌표계의 컬러 영상의 동일한 가로축에 위치하는 (Y1, u, v), (Y2, u, v) 신호로 변환할 수 있다.
바람직하게, 상기 부호화부는 Y1, Y2가 원래 서로 다른 가로축에 위치하는 것을 고려하여 예측을 수행하는 것을 특징으로 한다.
본 발명의 다른 한 관점에 따른 컬러 영상을 부호화하기 위한 장치는 제1 색좌표계의 컬러 영상을 획득하는 영상 센싱부; 획득한 상기 제1 색좌표계의 컬러 영상을 기 설정된 각도로 회전시키는 영상 회전부; 회전된 상기 제1 색좌표계의 컬러 영상을 기 설정된 개수의 화소 단위로 제2 색좌표계의 컬러 영상으로 변환하는 컬러 변환부; 및 변환된 상기 제2 색좌표계의 컬러 영상을 부호화하여 압축된 영상을 생성하는 부호화부를 포함할 수 있다.
바람직하게, 상기 영상 회전부는 획득한 상기 제1 색좌표계의 컬러 영상을 45도 각도 회전시키는 것을 특징으로 한다. 바람직하게, 상기 부호화부는 Y1, Y2가 회전하여 얻는 것을 고려하여 예측을 수행하고, 잔여오차를 계산하여 변환계수를 출력하는 것을 특징으로 한다. 또한 영상이 회전된 것을 고려하여 잔여 오차에 적용되는 변환함수를 최적화하여 설계할 수 있다. 현재는 직사각형 단위로 움직임 예측을 수행하고, DCT과 같은 변환함수도 직사각형 구조를 가정하여 설계 하였으나, 회전된 영상에서는 이와 같은 방식을 비효율적일 수 있다. 이러한 문제를 해결하기 위하여, 본 발명에서는 움직임 예측, 움직임 보상, 잔여오차 계산, 잔여오차에 적용되는 변환함수 구조 등을 모두 회전된 직사각형 구조로 최적화하여 코딩 효율을 향상 시킨다. 즉 영상을 회전한 후 기존 방식으로 부호화 하면, 도 7의 좌측 그림과 같이 직사각형 구조로 부호화가 수행되게 된다 (움직임 예측, 움직임 보상, 잔여오차 계산, 잔여오차에 적용되는 변환함수). 본 발명에서는 도 7의 우측 그림과 같이 회전된 직사각형 구조로 움직임 예측, 움직임 보상, 잔여오차 계산, 잔여오차에 적용되는 변환함수 등의 작업을 수행한다. 이 때 회전 각도는 동일하게 설정함은 물론이다.
본 발명의 또 다른 한 관점에 따른 CFA를 갖는 단일 영상 센서를 이용하여 샘플링된 컬러 신호를 보간 없이 부호화하는 부호화 장치는 상기 CFA를 이용하여 샘플링된 제1 색좌표계의 컬러 신호를 보간 없이 제2색 좌표계로 변환하는 제1 컬러 변환부; 상기 제2 색좌표계의 컬러 신호를 부호화하는 부호화부; 상기 부호화된 제2 색좌표계의 컬러 신호를 복호화하여 제2 색좌표계의 복호화된 컬러 신호를 생성하는 복호화부; 상기 제2 색좌표계의 복호화된 컬러 신호를 역변환하여 제1 색좌표계의 샘플링된 복호화 컬러 신호를 생성하는 제2 컬러 변환부; 상기 제1 색좌표계의 샘플링된 복호화 컬러 신호를 보간하여 제1 색좌표계의 풀해상도(full resolution) 복호화 컬러 신호를 생성하는 풀컬러 보간부; 및 상기 생성된 제 1좌표계의 풀해상도 복호화 컬러 신호를 변환하여 제2 색좌표계의 풀해상도 복호화 컬러 신호를 생성하는 제3 컬러 변환부를 포함하고, 상기 부호화부는 상기 제3 컬러 변환부에서 생성된 제2 색좌표계의 풀해상도 복호화 컬러 신호를 현재 부호화 되고 있는 블록 예측에 이용하는 예측부를 포함하는 것을 특징으로 한다.
바람직하게, 상기 부호화부는 인트라모드 부호화부인 것을 특징으로 한다.
바람직하게, 상기 부호화부는 인터모드 부호화부인 것을 특징으로 한다.
본 발명의 또 다른 한 관점에 따른 컬러 영상을 부호화하는 부호화 장치는 수직 방향에서 45도 각도가 기울어져 4개의 화소 단위로 마름모 형태를 이루도록 배열된 단일 영상 센서를 포함할 수 있다.
바람직하게, 상기 단일 영상 센서에 배열된 상기 4개의 화소 중 2개는 녹색, 1개는 적색, 나머지 1개는 청색인 것을 특징으로 한다.
본 발명의 또 다른 한 관점에 따른 컬러 영상을 부호화하기 위한 부호화 장치는 4개의 화소 단위로 마름모 형태를 이루도록 배열된 단일 영상 센서에서 생성된 색 신호를 수신하는 수신부; 수신된 상기 색 신호를 상기 디스플레이부의 격자 구조에 맞게 보간하는 보간부; 및 보간된 상기 색 신호를 표시하는 디스플레이부를 포함할 수 있다.
본 발명의 또 다른 한 관점에 따른 동영상 부호화 부호화 장치는 양자화 크기를 결정하는 양자화 결정부; 결정된 상기 양자화 크기에 따라 LPF(Low Pass Filter)를 설계하여 설계된 상기 LPF를 입력 영상에 적용하는 LPF 적용부; 및 상기 LPF 적용부로부터 출력된 영상을 부호화하여 압축된 영상을 생성하는 부호화부를 포함할 수 있다.
본 발명의 또 다른 한 관점에 따른 동영상 부호화 장치는 제1의 양자화 크기를 이용하여 변환 계수를 양자화하는 제1양자화부; 양자화된 상기 변환 계수의 특정 주파수 대역의 에너지 값을 계산하는 에너지 계산부; 및 계산된 상기 에너지 값이 기 설정된 임계치 이상이면, 제2의 양자화 크기를 결정하여 결정된 상기 제2 양자화 크기를 이용하여 상기 변환 계수를 다시 양자화하여 출력하는 제2 양자화부를 포함할 수 있다.
본 발명의 또 다른 한 관점에 따른 CFA를 이용하여 샘플링된 컬러 신호를 보간 없이 부호화한 압축 신호를 복호화하는 복호화 장치는 수신된 상기 압축 신호를 복호화하여 제2 색좌표계의 복호화된 컬러 신호를 생성하는 복호화부; 상기 제2 색좌표계의 복호화된 컬러 신호를 역변환하여 제1 색좌표계의 샘플링된 복호화 컬러 신호를 생성하는 제1 컬러 변환부; 상기 제1 색좌표계의 샘플링된 복호화 컬러 신호를 보간하여 제1 색좌표계의 풀해상도 복호화 컬러 신호를 생성하는 풀컬러 보간부; 및 상기 생성된 제1 색좌표계의 풀해상도 복호화 컬러 신호를 변환하여 제2 색좌표계의 풀해상도 복호화 컬러 신호를 생성하는 제2 컬러 변환부를 포함하고, 상기 복호화부는 상기 제2 변환부에서 생성된 제2 색좌표계의 풀해상도 복호화 컬러 신호를 현재 복호화 되고 있는 블록의 기준 영상으로 사용하는 것을 특징으로 한다.
본 발명의 또 다른 한 관점에 따른 컬러 영상을 복호화하기 위한 장치는 수신된 상기 압축 신호를 복호화하여 제2 색좌표계의 복호화된 컬러 신호를 생성하는 복호화부; 양자화된 변환 계수를 산출하는 양자화계수 산출부; 산출된 상기 양자화된 변환 계수에 상응하는 특정 주파수 대역의 에너지 값을 계산하는 에너지 계산부; 및 산출된 상기 에너지 값과 기 설정된 임계치를 비교하여 그 비교한 결과에 따라 서로 다른 양자화 크기를 사용하여 상기 양자화된 변환 계수를 역양자화하는 역양자화부를 포함할 수 있다.
본 발명의 또 다른 한 관점에 따른 컬러 영상을 부호화하기 위한 방법은 제1 색좌표계의 컬러 영상을 획득하는 단계; 획득한 상기 제1 색좌표계의 컬러 영상을 기 설정된 개수의 화소 단위로 제2 색좌표계의 컬러 영상으로 변환하는 단계; 및 변환된 상기 제2 색좌표계의 컬러 영상을 부호화하여 압축된 영상을 생성하는 단계를 포함할 수 있다.
바람직하게, 상기 제1 색좌표계는 RGB 색좌표계인 것을 특징으로 한다.
바람직하게, 상기 제2 색좌표계는 YUV 색좌표계인 것을 특징으로 한다.
본 발명의 또 다른 한 관점에 따른 CFA를 갖는 단일 영상 센서를 이용하여 샘플링된 컬러 신호를 보간 없이 부호화하는 부호화 방법은 상기 CFA를 이용하여 샘플링된 제1 색좌표계의 컬러 신호를 보간 없이 제2색 좌표계로 변환하는 단계; 상기 제2 색좌표계의 컬러 신호를 부호화하는 단계; 상기 부호화된 제2 색좌표계의 컬러 신호를 복호화하여 제2 색좌표계의 복호화된 컬러 신호를 생성하는 단계; 상기 제2 색좌표계의 복호화된 컬러 신호를 역변환하여 제1 색좌표계의 샘플링된 복호화 컬러 신호를 생성하는 단계; 상기 제1 색좌표계의 샘플링된 복호화 컬러 신호를 보간하여 제1 색좌표계의 풀해상도 복호화 컬러 신호를 생성하는 단계; 및 상기 생성된 제 1좌표계의 풀해상도 복호화 컬러 신호를 변환하여 제2 색좌표계의 풀해상도 복호화 컬러 신호를 생성하는 단계; 를 포함하고, 상기 부호화하는 단계는 생성된 상기 제2 색좌표계의 풀해상도 복호화 컬러 신호를 현재 부호화 되고 있는 블록 예측에 이용하는 것을 특징으로 한다.
본 발명의 또 다른 한 관점에 따른 동영상 부호화 방법은 양자화 크기를 결정하는 단계; 결정된 상기 양자화 크기에 따라 LPF(Low Pass Filter)를 설계하여 설계된 상기 LPF를 입력 영상에 적용하는 단계; 및 상기 LPF 적용부로부터 출력된 영상을 부호화하여 압축된 영상을 생성하는 단계를 포함할 수 있다.
본 발명의 또 다른 한 관점에 따른 동영상 부호화 방법은 제1의 양자화 크기를 이용하여 변환 계수를 양자화하는 단계; 양자화된 상기 변환 계수의 특정 주파수 대역의 에너지 값을 계산하는 단계; 및 계산된 상기 에너지 값이 기 설정된 임계치 이상이면, 제2의 양자화 크기를 결정하여 결정된 상기 제2 양자화 크기를 이용하여 상기 변환 계수를 양자화하는 단계를 포함할 수 있다.
본 발명의 또 다른 한 관점에 따른 CFA를 이용하여 샘플링된 컬러 신호를 보간 없이 부호화한 압축 신호를 복호화하는 복호화 방법은 수신된 상기 압축 신호를 복호화하여 제2 색좌표계의 복호화된 컬러 신호를 생성하는 단계; 상기 제2 색좌표계의 복호화된 컬러 신호를 역변환하여 제1 색좌표계의 샘플링된 복호화 컬러 신호를 생성하는 단계; 상기 제1 색좌표계의 샘플링된 복호화 컬러 신호를 보간하여 제1 색좌표계의 풀해상도 복호화 컬러 신호를 생성하는 단계; 및 상기 생성된 제1 색좌표계의 풀해상도 복호화 컬러 신호를 변환하여 제2 색좌표계의 풀해상도 복호화 컬러 신호를 생성하는 단계; 를 포함하고, 상기 복호화하는 단계는 생성된 상기 제2 색좌표계의 풀해상도 복호화 컬러 신호를 현재 복호화 되고 있는 블록의 기준 영상으로 사용하는 것을 특징으로 한다.
본 발명의 또 다른 한 관점에 따른 컬러 영상을 복호화하기 위한 방법은 수신된 상기 압축 신호를 복호화하여 양자화된 변환 계수를 산출하는 단계; 산출된 상기 양자화된 변환 계수의 특정 주파수 대역의 에너지 값을 계산하는 단계; 및 산출된 상기 에너지 값과 기 설정된 임계치를 비교하여 그 비교한 결과에 따라 서로 다른 양자화 크기를 사용하여 상기 양자화된 변환 계수를 역양자화하는 단계를 포함할 수 있다.
이를 통해, 본 발명은 CFA를 이용하여 획득한 RGB 색좌표계의 샘플링된 컬러 영상을 복수 개의 화소를 하나의 단위로 YUV 색좌표계의 컬러 영상으로 변환한 후에 이를 부호화함으로써, 컬러 영상의 보간 없이 YUV 색좌표계로 변환할 수 있다.
또한, 본 발명은 CFA를 이용하여 획득한 RGB 색좌표계의 샘플링된 컬러 영상을 복수 개의 화소를 하나의 단위로 YUV 색좌표계의 컬러 영상으로 변환한 후에 이를 부호화함으로써, YUV 색좌표계로의 변환으로 인해 생성되는 데이터의 크기를 감소시킬 수 있다.
또한, 본 발명은 CFA를 이용하여 획득한 RGB 색좌표계의 컬러 영상을 기 설정된 각도로 회전시킨 후 복수 개의 화소를 하나의 단위로 YUV 색좌표계의 컬러 영상으로 변환하여 이를 부호화함으로써, 코딩 효율의 저하 가능성을 제거할 수 있다.
도 1은 본 발명의 일 실시예에 따른 컬러 영상을 부호화하기 위한 장치를 나타내는 제1 도면이다.
도 2는 본 발명의 일 실시예에 따른 베이어(Bayer) 패턴의 CFA를 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 색좌표계의 변환 과정을 설명하기 위한 제1 도면이다.
도 4는 본 발명의 일 실시예에 따른 컬러 영상을 부호화하기 위한 방법을 나타내는 제1 도면이다.
도 5는 본 발명의 일 실시예에 따른 컬러 영상을 복호화하기 위한 장치를 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 컬러 영상을 부호화하기 위한 장치를 나타내는 제2 도면이다.
도 7은 본 발명의 일 실시예에 따른 색좌표계의 변환 과정을 설명하기 위한 제2 도면이다.
도 8은 본 발명의 일 실시예에 따른 컬러 영상을 부호화하기 위한 방법을 나타내는 제2 도면이다.
도 9는 본 발명의 일 실시예에 따른 색좌표계의 변환 과정을 설명하기 위한 제3 도면이다.
도 10은 본 발명의 일 실시예에 따른 컬러 영상을 부호화하기 위한 장치를 나타내는 제3 도면이다.
도 11은 본 발명의 일 실시예에 따른 컬러 영상을 복호화하기 위한 장치를 나타내는 제2 도면이다.
도 12는 Y1, Y2가 서로 다른 축에 위치하는 것을 고려하여 코딩 효율을 향상 시킬 수 있는 과정을 보여주는 도면이다.
도 13은 H.264의 인트라 예측 모드의 일례를 보여준다.
도14는 Y1, Y2가 서로 다른 축에 위치하는 것을 고려하여 인트라 예측 및 인터 예측의 성능을 개선하는 과정을 보여주는 도면이다.
도 15는 양자화 크기를 조절하여 부호화하는 과정을 보여주는 도면이다.
도 16은 도 15의 방식으로 산출된 압축 데이터의 복호화 과정을 보여주는 도면이다.
도 17은 양자화 크기에 따라 LPF를 설계하고 적용하여 부호화하는 과정을 보여주는 도면이다.
도 18은 본 발명의 일 실시예에 따른 색좌표계의 변환 과정을 설명하기 위한 제3 도면이다.
이하에서는, 본 발명의 실시예에 따른 CFA(Color Filter Array)를 이용하여 획득한 샘플링된 컬러 영상을 부호화/복호화하기 위한 장치 및 그 방법을 첨부한 도 1 내지 도 18을 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는데 필요한 부분을 중심으로 상세히 설명한다. 명세서 전체를 통하여 각 도면에서 제시된 동일한 참조 부호는 동일한 구성 요소를 나타낸다.
특히, 본 발명에서는 CFA를 이용하여 획득한 RGB 색좌표계의 컬러 영상을 복수 개의 화소 또는 픽셀을 하나의 단위로 YUV 색좌표계의 컬러 영상으로 변환한 후에 그 변환된 YUV 색좌표계의 컬러 영상을 부호화할 수 있도록 하는 새로운 방안을 제안한다.
이때, 본 발명에서는 CFA를 이용하여 획득한 RGB 색좌표계의 컬러 영상을 기 설정된 각도로 회전시킨 후 복수 개의 화소를 하나의 단위로 YUV 색좌표계의 컬러 영상으로 변환하여 이를 부호화할 수도 있다.
도 1은 본 발명의 일 실시예에 따른 컬러 영상을 부호화하기 위한 장치를 나타내는 제1 도면이다.
도 1에 도시한 바와 같이, 본 발명에 따른 컬러 영상을 부호화하기 위한 장치는 영상 센싱부(110), 컬러 변환부(120), 부호화부(130) 등을 포함하여 구성될 수 있다. 여기서 컬러 영상은 정지 영상, 및 동영상 등을 모두 포괄하는 개념일 수 있다.
영상 센싱부(110)는 CFA를 갖는 단일 영상 센서를 이용하여 RGB 색좌표계의 샘플링된 컬러 영상(sampled color image)들을 획득할 수 있다. 여기서, 샘플링된 컬러 영상은 CFA를 이용하여 획득된 영상으로서 한 화소가 하나의 색만을 갖는 영상을 일컫는다.
이때, 이렇게 획득된 컬러 영상은 베이어 패턴의 CFA일 수 있다.
도 2는 본 발명의 일 실시예에 따른 베이어 패턴의 CFA를 나타내는 도면이다.
도 2에 도시한 바와 같이, 본 발명에 따른 컬러 영상으로 적색(R) 화소, 녹색(G) 화소, 청색(B) 화소들로 이루어진 베이어 패턴(bayer pattern)의 CFA를 보여주고 있다.
컬러 변환부(120)는 RGB 색좌표계의 컬러 영상을 기 설정된 개수의 화소 단위로 YUV 색좌표계의 컬러 영상으로 변환할 수 있다. 이를 도 3을 참조하여 설명한다.
도 3은 본 발명의 일 실시예에 따른 색좌표계의 변환 과정을 설명하기 위한 제1 도면이다.
도 3에 도시한 바와 같이, 본 발명에 따른 컬러 변환부(120)는 RGB 색좌표계의 컬러 영상을 서로 인접한 위치에 존재하는 4개의 화소 단위로 YUV 색좌표계의 컬러 영상으로 변환할 수 있다.
예컨대, RGB 색좌표계의 컬러 영상의 서로 인접한 위치에 존재하는 화소 R, G1, G2, B를 YUV 색좌표계의 컬러 영상의 동일한 가로축에 위치하는 (Y1, u, v), (Y2, u, v) 신호로 변환하게 된다.
이때, (Y1, Y2, u, v) 신호는 다음의 [수학식 1]을 이용하여 구할 수 있다.
[수학식 1]
Y1=w11*R+w12*G1+w13*B
Y2=w21*R+w22*G1+w23*B
u=w31*R+w32*G1+w32*G2+w33*B
v=w41*R+w42*G1+w42*G2+w43*B
여기서, w11, w12, w13, w21, w22, w23, w31, w32, w32, w33, w41, w42, w42, w43는 가중치를 나타낸다. 여기서, w11=w21, w12=w22, w13=w23일 수 있다.
또한, [수학식 1]을 변형하여 다음의 [수학식 2]와 같이 정의하여 사용할 수 있다.
[수학식 2]
Y1=w11*R+w12*G1+w13*B
Y2=w21*R+w22*G2+w23*B
u=w31*R+w32*G1+w33*B
v=w41*R+w42*G2+w43*B.
여기서, u와 v의 신호 생성시 하나의 G 신호를 사용하는 것을 특징으로 한다. 이는 u,v 신호 생성 시 동일 가로축에 위치하는 G 신호를 사용함으로 수평선이 많은 영상에 유리한다. 여기서도, w11=w21, w12=w22, w13=w23일 수 있다.
이때, 다음의 [수학식 3]과 같이 G1과 G2의 역할을 바꾸어 u와 v 신호를 생성할 수 있다.
[수학식 3]
Y1=w11*R+w12*G1+w13*B
Y2=w21*R+w22*G2+w23*B
u=w31*R+w32*G2+w33*B
v=w41*R+w42*G1+w43*B.
이렇게 서로 인접한 위치에 존재하는 RGB 신호들로 YUV 신호들을 생성하는 경우 YUV422 구조가 되는데, 이러한 YUV422 구조는 기존의 코덱에 적용 가능할 수 있다.
부호화부(130)는 변환된 YUV 색좌표계의 컬러 영상을 부호화하여 압축된 영상을 생성할 수 있다. 이렇게 압축된 영상은 저장 수단(미도시)에 저장될 수도 있다.
도 4는 본 발명의 일 실시예에 따른 컬러 영상을 부호화하기 위한 방법을 나타내는 제1 도면이다.
도 4에 도시한 바와 같이, 본 발명에 따른 컬러 영상을 부호화하기 위한 장치(이하, 부호화 장치라고 한다)는 제1 색좌표계의 컬러 영상을 획득할 수 있다 (S410).
다음으로, 부호화 장치는 획득한 제1 색좌표계의 컬러 영상을 서로 인접한 위치에 존재하는 기 설정된 개수의 화소 단위로 제2 색좌표계의 컬러 영상으로 변환할 수 있다. 여기서, 부호화 장치는 제1 색좌표계를 4개의 화소 단위로 제2 색좌표계로 변환할 수 있다 (S420).
다음으로, 부호화 장치는 변환된 제2 색좌표계의 컬러 영상을 부호화하여 압축된 영상을 생성할 수 있다 (S430). 여기서, 제1 색좌표계는 RGB 색좌표계를 나타내고 제2 색좌표계는 YUV 색좌표계를 나타낼 수 있는데 반드시 이에 한정되지 않는다.
도 5는 본 발명의 일 실시예에 따른 컬러 영상을 복호화하기 위한 장치를 나타내는 제1 도면이다.
도 5에 도시한 바와 같이, 본 발명에 따른 컬러 영상을 복호화하기 위한 장치는 복호화부(140), 컬러 역변환부(150), 풀컬러 보간부(160), 및 디스플레이부(170) 등을 포함하여 구성될 수 있다.
복호화부(140)는 압축된 영상을 입력 받으면, 그 압축된 영상을 복호화하여 YUV 색좌표계의 샘플링된 컬러 영상을 복원할 수 있다. 이때, 복호화부(140)는 RGB 색좌표계의 컬러 영상, YUV 색좌표계의 컬러 영상 등을 부호화시 압축된 포맷으로 복원하게 된다.
컬러 역변환부(160)는 복원된 YUV 색좌표계의 컬러 영상을 RGB 색좌표계의 컬러 영상으로 역변환할 수 있다.
풀컬러 보간부(150)는 변환된 RGB 컬러 영상을 보간하여 풀컬러 영상을 생성할 수 있다.
디스플레이부(170)는 생성된 풀컬러 영상을 디스플레이할 수 있다. 이때, 디스플레이부(170)는 그 디스플레이 형식에 따라 입력된 풀컬러 영상을 변환할 수 있다.
도 6은 본 발명의 일 실시예에 따른 컬러 영상을 부호화하기 위한 장치를 나타내는 제2 도면이다.
도 6에 도시한 바와 같이, 본 발명에 따른 컬러 영상을 부호화하기 위한 장치는 영상 센싱부(110), 영상 회전부(111), 컬러 변환부(120), 부호화부(130) 등을 포함하여 구성될 수 있다.
영상 센싱부(110)는 CFA를 갖는 단일 영상 센서를 이용하여 RGB 색좌표계의 샘플링된 컬러 영상(sampled color image)들을 획득할 수 있다.
영상 회전부(111)는 획득한 RGB 색좌표계의 컬러 영상을 기 설정된 각도로 회전시킬 수 있다. 이때, 영상 회전부(111)는 상기 RGB 색좌표계의 컬러 영상을 시계 방향으로 45도 각도로 회전시키거나 반시계 방향으로 45도 각도로 회전시킬 수 있다.
이렇게 영상을 회전시키는 이유는 서로 다른 세로축의 2개의 화소를 동일한 가로축에 위치시키는 경우 고주파 성분이 발생하여 코딩 효율을 저하시킬 수 있기 때문이다.
도 7은 본 발명의 일 실시예에 따른 색좌표계의 변환 과정을 설명하기 위한 제2 도면이다.
도 7에 도시한 바와 같이, 본 발명에 따른 컬러 변환부(120)는 RGB 색좌표계의 컬러 영상을 45도 각도로 회전시켜 서로 인접한 위치에 존재하는 4개의 화소 단위로 YUV 색좌표계의 컬러 영상으로 변환할 수 있다.
예컨대, 서로 다른 세로축의 2개의 화소 G1, G2가 동일한 가로축에 위치하게 된다.
컬러 변환부(120)는 RGB 색좌표계의 컬러 영상을 기 설정된 개수의 화소 단위로 YUV 색좌표계의 컬러 영상으로 변환할 수 있다.
부호화부(130)는 변환된 YUV 색좌표계의 컬러 영상을 부호화하여 압축된 영상을 생성할 수 있다. 이렇게 압축된 영상은 저장 수단(미도시)에 저장될 수도 있다.
도 8은 본 발명의 일 실시예에 따른 컬러 영상을 부호화하기 위한 방법을 나타내는 제2 도면이다.
도 8에 도시한 바와 같이, 본 발명에 따른 컬러 영상을 부호화하기 위한 장치(이하, 부호화 장치라고 한다)는 제1 색좌표계의 컬러 영상을 획득할 수 있다(S810).
다음으로, 부호화 장치는 획득한 상기 제1 색좌표계의 컬러 영상을 기 설정된 각도로 회전시킬 수 있다(S811).
다음으로, 부호화 장치는 회전된 제1 색좌표계의 컬러 영상을 서로 인접한 위치에 존재하는 기 설정된 개수의 화소 단위로 제2 색좌표계의 컬러 영상으로 변환할 수 있다. 여기서, 부호화 장치는 제1 색좌표계를 4개의 화소 단위로 제2 색좌표계로 변환할 수 있다(S820).
다음으로, 부호화 장치는 변환된 제2 색좌표계의 컬러 영상을 부호화하여 압축된 영상을 생성할 수 있다(S830). 여기서, 제1 색좌표계는 RGB 색좌표계를 나타내고 제2 색좌표계는 YUV 색좌표계를 나타낼 수 있는데 반드시 이에 한정되지 않는다. 또한 부호화시 Y1, Y2가 회전하여 구한 것을 고려하여 예측을 수행하고, 잔여 오차를 계산하여 변환과정을 수행하여 코딩 효율을 향상 시킬 수 있다. 즉 영상이 회전된 것을 고려하여 잔여 오차에 적용되는 변환함수를 설계할 수 있다. 기존 방식에서는 직사각형 단위로 움직임 예측을 수행하고, DCT과 같은 변환함수도 직사각형 구조를 가정하여 설계 하였으나, 회전된 영상에서는 이와 같은 방식을 비효율적일 수 있다. 이러한 문제를 해결하기 위하여, 본 발명에서는 움직임 예측, 움직임 보상, 잔여오차 계산, 잔여오차에 적용되는 변환함수 구조 등을 모두 회전된 직사각형 구조로 최적화하여 코딩 효율을 향상 시킨다. 즉 영상을 회전한 후 기존 방식으로 부호화 하면, 도 7의 좌측 그림과 같이 직사각형 구조로 부호화가 수행되게 된다 (움직임 예측, 움직임 보상, 잔여오차 계산, 잔여오차에 적용되는 변환함수). 본 발명에서는 도 7의 우측 그림과 같이 회전된 직사각형 구조로 움직임 예측, 움직임 보상, 잔여오차 계산, 잔여오차에 적용되는 변환함수 등의 작업을 수행한다. 이 때 회전 각도는 동일하게 설정함은 물론이다.
한편, 도3과 같이 다른 가로축에 위치하는 G1, G2 값은 동일 가로축의 Y1, Y2로 변환하는 경우, 원래 영상에는 존재하지 않았던 고주파 성분이 발생할 수 있고 이를 코딩 효율의 저하를 가져오게 된다. 또한 다른 가로축에 위치하는 G1, G2 값은 동일 가로축의 Y1, Y2로 변환하는 경우 움직임 예측 및 보상(motion estimation, motion compensation)에도 오류가 발생할 수 있어 최적의 해를 얻기가 어렵다. 본 발명에서는 이러한 문제를 해결하는 방법을 도 9 내지 도 14를 참조하여 설명한다.
도 9는 본 발명의 일 실시예에 따른 색좌표계의 변환 과정을 설명하기 위한 제3 도면이다.
도9에 도시한 바와 같이, Y1, Y2는 원래 다른 가로축에 위치하는 것을 고려하여 부호화 함으로 코딩 효율을 향상시킬 수 있다. 즉 움직임 보상의 경우 인접 프레임에서 유사한 블록을 검색하는데 이 때 Y1, Y2는 원래 다른 가로축에 위치하는 것을 고려하여 최적의 움직임 벡터를 구한다. 인트라 모드의 경우 인접 블록/화소에서 현재 블록의 값을 예측하는데 이 경우도 Y1, Y2는 원래 다른 가로축에 위치하는 것을 고려하여 최적의 해를 구한다. 즉 서로 다른 가로축에 위치한 Y1, Y2가 동일한 가로축에 저장되어 있지만, 예측을 통한 잔여오차 축소 하는 과정에서, Y1, Y2는 원래 다른 가로축에 위치하는 것을 고려하여 최적의 해를 구한다.
구체적으로 설명하면 다음과 같다. 동영상 부호화에서 인터 예측(inter prediction)은 인접 프레임 정보를 이용하여 잔여오차(residual error)를 축소하여 코딩 효율을 높이고 있다. 이를 위해 움직임 보상 (motion compensation) 기법이 사용되는데, 이 때 움직임 예측(motion estimation)이 필요하다. 본 발명에서는 이러한 움직임 예측 시, Y1, Y2는 원래 다른 가로축에 위치하는 것을 고려하여 움직임 예측을 수행하여 성능을 향상시키고자 한다.
즉, 복호화 과정에서 Yuv 레퍼런스(reference) 영상에 생성되면, 이에 해당하는 레퍼런스 RGB 영상을 생성하여, 이 레퍼런스 RGB 영상을 인접 프레임 부호화 및 복호화에 사용한다. 본 발명에서는 레퍼런스 RGB 영상이 샘플링된 RGB 영상으로 생성되기 때문에 demosaicking 기법이 필요하게 되는데 이 때는 다양한 demosaicking 기술을 이용할 수 있다. 복호화기에서 Yuv 레퍼런스 영상이 생성되면, 이에 상응하는 레퍼런스 RGB 영상을 생성하여 생성된 레퍼런스 RGB 영상에 demosaicking 과정을 적용한 후 풀해상도 YUV 영상으로 변환하고, 이 레퍼런스 RGB 풀해상도 YUV 영상을 인접 프레임의 부호화 및 복호화에 사용한다.
도 10은 본 발명의 일 실시예에 따른 컬러 영상을 부호화하기 위한 장치를 나타내는 제3 도면이다.
도 10에 도시한 바와 같이, 본 발명에 따른 컬러 영상을 부호화하기 위한 장치는 제1 컬러 변환부(1010), 부호화부(1020), 복호화부(1030), 제2 컬러 변환부(1040), 풀컬러 보간부(1050), 및 제3 컬러 변환부(1060) 등을 포함하여 구성될 수 있다.
본 발명에서는 YUV 영상을 복호화 하여 컬러 변환하면 레퍼런스 RGB 영상이 샘플링된 RGB 영상으로 생성되기 때문에 디모자이킹(demosaicking) 기법이 필요하게 되는데 이 때는 다양한 기술을 이용할 수 있다.
복호화부(1030)는 압축된 영상을 입력 받으면, 그 압축된 영상을 복호화하여 YUV 색좌표계의 복호화된 컬러 영상을 복원할 수 있다.
제2 컬러 변환부(1040)는 복호화된 Yuv 영상을 컬러 역변환하여 원래 CFA 패턴의 샘플링된 RGB 영상을 생성할 수 있다.
풀컬러 보간부(1050)는 복호화된 샘플링된 RGB 영상를 보간 즉, 샘플링된 RGB 신호에 디모자이킹 기법을 적용하여 full resolution RGB 컬러 영상을 생성할 수 있다.
제3 컬러 변환부(1060)는 full resolution 레퍼런스 RGB 영상에서부터 full resolution Yuv 레퍼런스 신호를 생성할 수 있다. 이 full resolution Yuv 레퍼런스 신호를 부호화부(1020)에서 움직임 예측 및 움직임 보상에 사용함으로 코딩 효율을 향상 시킬 수 있다.
도 11은 본 발명의 일 실시예에 따른 컬러 영상을 복호화하기 위한 장치를 나타내는 제2 도면이다.
도 11에 도시한 바와 같이, 본 발명에 따른 컬러 영상을 복호화하기 위한 장치는 복호화부(1110), 제1 컬러 변환부(1120), 풀컬러 보간부(1130), 제2 컬러 변환부(1140) 등을 포함하여 구성될 수 있다.
이렇게 구성되는 복호화 장치에서도 앞서 설명한 부호화 장치와 동일한 과정을 통하여 full resolution Yuv 레퍼런스 신호를 생성하고 이를 복호화부에서 기준영상으로 사용할 수 있다.
현재 대부분 코딩의 경우에는 먼저 Y 신호를 사용하여 먼저 움직임 예측을 수행하고, Y,u,v 신호의 코딩을 진행한다. 즉 움직임 예측, 움직임 보상, 변환(예컨대, DCT: Discrete Cosine Transform), 양자화, 엔트로피 코딩 등의 일련의 과정을 3채널(예컨대, Y, u, v) 신호에 대하여 동시에 진행하여 최적의 해를 구한다. 다양한 코딩 방식에서 사용되는 움직임 예측, 움직임 보상, 변환(예컨대, DCT), 양자화, 엔트로피 코딩 등의 일련의 부호화 과정은 많은 종래 기술에 상세히 기재되어 있으므로 본 명세서에는 생략한다.
본 발명에서는 인트라 모드(intra mode) 예측에서도 3채널에 대하여 동시에 부호화를 진행하여 타 채널의 정보를 이용하여 코딩 성능을 향상 시킬 수 있다.
도 12는 Y1, Y2가 서로 다른 축에 위치하는 것을 고려하여 코딩 효율을 향상 시킬 수 있는 과정을 보여주는 도면이다.
도 12에 도시한 바와 같이, 원래 녹색 화소의 위치는 그림(a)와 같고 이에 해당하는 Y 화소의 위치는 그림 (b)와 같으나 메모리에는 그림(c)와 같이 저장되게 된다. 움직임 벡터 예측, 움직임 보상 및 인트라 예측을 다른 가로축에 위치한 Y1, Y2를 그림 (c)와 같이 동일 가로축에 놓인 것을 가정하고 수행됨으로 코딩 효율이 저하될 수 있다. 이러한 문제를 해결하기 위하여 본 발명에서는 부호화된 Y 신호를 복호화하여(그림 (d)), 이를 다시 원래 위치에 배치한다(그림 (e)). 또한 복화화된 uv 신호(그림 (f))와 재배치된 복호화된 Y 신호(를 사용하여 원래 CFA에 해당하는 복호화된 RGB 영상을 얻게 된다(그림 (g)). 이를 보간하면 (demosaicking), full resolution 영상을 얻게 되고, 여기서 복호화된 full resolution Y 영상을 구할 수 있다(그림 (h)). 즉 이미 부호화된 프레임이나 블록에 해당하는 full resolution Y 영상을 구할 수 있으므로 이를 이용하여 움직임 벡터 예측, 움직임 보상 및 인트라 예측을 효율적으로 수행할 수 있다.
도 13은 H.264의 인트라 예측 모드의 일례를 보여준다. 도14는 Y1, Y2가 서로 다른 축에 위치하는 것을 고려하여 인트라 예측 및 인터 예측의 성능을 개선하는 과정을 보여주는 도면이다.
기 부호화된 블록은 앞서 설명한 방법으로 full resolution Y 영상을 얻는다 (
Figure 112011092490976-pat00001
). 현재 부호와 되고 있는 블록(회색)을 기 부호화된 블록에서 예측하는 경우, Y1과 Y2를 비록 메모리에는 동일 가로축에 위치한 것으로 저장되었지만 인트라 예측, 인터 모드 움직임 예측/보상에서는 도14와 같이 Y1과 Y2를 다른 가로축에 위치한 것을 고려하여 예측을 수행한다. 도 14의 그림 (a), (b)는 프레임간 움직임 예측과정을 보여준다. 현재 부호화 되고 있는 블록(회색, 도 14(b))에 해당하는 블록을 기 부호화된 기준 영상(reference image, 도 14(a))에서 찾는 경우 Y1과 Y2를 다른 가로축에 위치한 것을 고려하면, 정확한 움직임 벡터 검색과 움직임 보상이 가능하다. 특히 움직임 벡터가 정수가 아닌 경우 예측의 정확성을 높일 수 있게 된다.
또한 서로 다른 가로축에 위치하는 Y1과 Y2를 도 12의 그림 (c)와 같이 동일 가로축으로 이동 후, 도 13과 같은 인트라 모드 예측을 수행하는 경우 예측 정확성의 저하가 발생한다. 그러나 도 14(c)와 같이 기 부호화된 블록은 앞서 설명한 방법으로 full resolution Y 영상을 얻고, Y1과 Y2는 다른 가로축에 위치한 것을 고려하여 인트라 예측을 수행하는 경우 예측 정확성을 향상시킬 수 있다.
일반적으로 움직임 예측(motion estimation)이 부정확한 경우 큰 잔여오차가 발생한다. 이러한 경우 DCT 등을 사용하여 변환하여도 큰 에너지를 갖게 된다. 이러한 부분을 정확하게 부호화 하기 위하여는 양자화 크기(quantization step)를 작게 하여야 한다. 그러나 양자화 크기를 작게 하는 경우 많은 비트가 생성되게 되어, 코딩 효율을 저하하게 된다.
본 발명에서는 이러한 문제를 해결하기 위하여 잔여오차 에너지에 따라 양자화 크기를 적응적으로 변동하는 방법을 개시한다.
도 15는 양자화 크기를 조절하여 부호화하는 과정을 보여주는 도면이다. 도 15에 도시한 바와 같이, 본 발명은 부호화 과정에서 각 블록(block) 또는 코딩 단위의 잔여 오차에 DCT 등과 같은 변환을 적용하여 양자화한 후 출력되는 비트 스트림을 조사하여 에너지가 특정 값보다 큰 경우, 양자화 크기를 축소하여 다시 양자화하여 비트스트림을 생성한다. 이 때 양자화 크기를 축소하였음으로 비트스트림에 포함된 에너지는 증가하게 된다.
즉, 제1 양자화부는 기 설정된 제1 양자화 크기가 결정되면, 제1 양자화 크기 (예, QP: Quantization Parameter)를 사용하여 양자화 변환 계수를 양자화할 수 있다(S1510).
에너지 계산부는 제1 양자화부(1211a)에서 양자화된 양자화 변환 계수에 상응하는 특정 주파수 대역의 에너지 값을 계산할 수 있다(S1520).
에너지 계산부는 계산된 에너지 값과 기 설정된 임계치를 비교하여(S1530) 그 비교한 결과에 따라 제2 양자화부는 계산된 에너지 값이 기 설정된 임계치 이상이면 기 설정된 제2 양자화 크기를 결정하고, 결정된 제2 양자화 크기를 사용하여 다시 변환 계수를 양자화할 수 있다(S1540).
반면, 제1 양자화부는 계산된 에너지 값이 기 설정된 임계치 미만이면 제1 양자화 크기를 사용하여 양자화되어 출력된 양자화 변환 계수를 그대로 사용할 수 있다.
또한, 본 발명은 복호화 과정에서도, 비트스트림에 포함된 에너지가 특정값 보다 큰 경우, 양자화 크기를 적응적으로 조절하여 복호화함은 물론이다.
도 16은 도 15의 방식으로 산출된 압축 데이터의 복호화 과정을 보여주는 도면이다.
도 16에 도시한 바와 같이, 양화화 변환 계수의 특정 주파수 대역의 에너지를 계산하여 이 값이 특정 문턱치(T)보다 작은 경우, 양자화 크기 (D1)을 사용하여 역양자화 하고, 문턱치(T)보다 큰 경우 양자화 크기 (D2)을 사용하여 역양자화 한다.
즉, 에너지 계산부는 복호화된 양자화 변환 계수의 특정 주파수 대역의 에너지 값을 계산할 수 있다(S1610).
에너지 계산부는 계산된 에너지 값과 기 설정된 임계치를 비교하여(S1620) 그 비교한 결과에 따라 제1 역양자화부는 계산된 에너지 값이 기 설정된 임계치보다 작거나 같으면, 제1 양자화 크기를 사용하여 역양자화할 수 있다(S1630).
반면, 제2 역양자화부는 계산된 에너지 값이 기 설정된 임계치보다 크거나 같은 경우 제2 양자화 크기를 이용하여 역양자화를 수행할 수 있다(S1640).
예컨대, QP=32를 사용하여 부호화하였을 때, 특정 블록에서 발생한 비트스트림의 에너지가 특정값보다 큰 경우, 해당 블록을 더 작은 값의 QP(예, 27)을 사용하여 다시 부호화한다.
또한, 본 발명은 복호화 과정에서 특정 블록의 비트스트림 에너지가 특정값을 초과하는 경우 QP=27을 사용하고, 특정 블록의 비트스트림 에너지가 특정값보다 작거나 같은 경우 QP=32를 사용하여 복호화한다. 여기서, 본 발명은 비트스트림 전체 에너지를 고려하는 대신 특정 주파수 대역(예컨대, 고주파 성분)에 포함된 에너지를 고려하여 QP 값을 가변적으로 조절할 수 있다. 예컨대, 4x4 DCT를 사용하는 경우, 다음의 [수학식 4]와 같이 16개의 변환 계수가 생성된다.
[수학식 4]
Figure 112011092490976-pat00002
여기서,
Figure 112011092490976-pat00003
는 DC 성분을 나타내고,
Figure 112011092490976-pat00004
는 최고 주파수를 나타낸다. 이렇게 생성된 16개의 변환 계수를 양자화 하면, 다음의 [수학식 5]와 같은 양자화된 변환 계수가 생성된다.
[수학식 5]
Figure 112011092490976-pat00005
이때, 전체 양자화된 계수의 에너지 Etotal은 다음의 [수학식 6]과 같이 계산할 수 있다.
[수학식 6]
Figure 112011092490976-pat00006
일반적으로 곱셉은 많은 연산이 요구되기 때문에 연산량을 고려하여 다음의 [수학식 7]과 같이 절대값의 합을 전체 에너지로 대체할 수 있음은 물론이다.
[수학식 7]
Figure 112011092490976-pat00007
또한, 본 발명은 만일 특정 주파수 대역의 에너지만을 고려한다면, 특정 주파수 대역의 에너지 Esub를 다음의 [수학식 8]과 같이 계산할 수 있다.
[수학식 8]
Figure 112011092490976-pat00008
이와 같이 비트스트림 에너지에 따라 상이한 양자화 크기를 사용하는 경우, 양자화 크기를 조절하는 방법에 대한 정보를 부호화기와 복호화기가 공용하여야 함은 물론이다. 이 또한 가변적으로 적용할 수 있고 부호화기는 양자화 크기 변동 방법에 대한 정보를 동영상 압축데이터와 함께 전송할 수 있다.
또한, 다른 수평선상에 있는 G 신호를 사용하여 동일선 상에 있는 Y 신호를 생성하는 경우 원래 영상에 존재하지 않은 고주파 성분이 발생하여 코딩 효율을 저하시킨다.
이러한 문제를 해결하기 위하여 본 발명에서는 양자화 크기를 고려하여 선택적으로 필터를 적용한다.
도 17은 양자화 크기에 따라 LPF를 설계하고 적용하여 부호화하는 과정을 보여주는 도면이다.
도 17에 도시한 바와 같이, 큰 값의 양자화 크기를 사용하여 부호화하는 경우, 먼저 low pass filter를 적용한 후 Yuv 신호를 생성한다. 또한 일반적으로 양자화 크기에 따라 압축된 동영상에 포함되는 최고 주파수 에너지가 결정된다. 부호화 및 복호화를 하나의 압축전송 시스템으로 생각하면, 여러 QP에 따라 압축전송시스템의 주파수 응답을 변하게 된다. 물론 이 시스템은 입력 영상에 따라 주파수 응답이 일정하지 않지만, 큰 틀에서는 유사한 주파수 응답을 보이게 된다. 따라서, 양자화 크기가 정해지면 압축하여 전송할 수 있는 고주파수 에너지가 어느 정도 한정됨으로 본 발명에서는 이를 고려하여 양자화 크기에 따라 먼저 신호에 LPF를 적용한 후 부호화한다.
즉, 양자화 결정부가 양자화 크기를 결정하고(S1710), LPF 적용부가 결정된 상기 양자화 크기에 따라 LPF(Low Pass Filter)를 설계하여 설계된 상기 LPF를 입력 영상에 적용할 수 있다(S1720).
부호화부는 LPF 적용부로부터 출력된 영상을 부호화하여 압축된 영상을 생성할 수 있다(S1730).
색 변환 후, 불필요한 고주파 성분 발생 문제를 해결하기 위하여 CFA를 도 18과 같이 설계할 수 있다.
도 18은 본 발명의 일 실시예에 따른 색좌표계의 변환 과정을 설명하기 위한 제3 도면이다.
도 18에 도시한 바와 같이, 이러한 구조에서 마름모 형태의 4 화소가 하나의 단위를 이루고 이를 색변환하게 되면, 정사각형 격자에 Y 신호가 위치하게 되어 코딩 효율을 향상 시킬 수 있다. 다만, 대부분의 디스플레이는 사각형의 격자 구조를 갖기 때문에 이러한 신호를 표시하기 위하여는 보간이 필요하게 된다. 즉 기존 디스플레이와의 호환성을 위하여 복호화기는 최종 신호를 디스플레이부의 격자 구조에 맞게 보간하여 출력할 수 있다.
즉, 본 발명에 따른 컬러 영상을 부호화/복호화 장치는 단일 영상 센서에서 생성된 색 신호를 표시하는 디스플레이부를 더 포함할 수 있다. 여기서, 디스플레이부는 단일 영상 센서에서 생성된 색 신호를 수신하는 수신부, 및 수신된 색 신호를 디스플레이부의 격자 구조에 맞게 보간하는 보간부로 구성될 수 있다.
본 발명에 의한 CFA를 이용하여 획득한 샘플링된 컬러 영상을 부호화/복호화하기 위한 장치 및 그 방법이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110: 영상 센싱부
111: 영상 회전부
120: 컬러 변환부
130: 부호화부
140: 복호화부
150: 컬러 역변환부
160: 풀컬러 보간부
170: 디스플레이부

Claims (27)

  1. 제1 색좌표계의 샘플링된 컬러 영상을 획득하는 영상 센싱부;
    획득한 상기 제1 색좌표계의 샘플링된 컬러 영상을 보간 없이 기 설정된 개수의 화소 단위로 제2 색좌표계의 컬러 영상으로 변환하는 컬러 변환부; 및
    변환된 상기 제2 색좌표계의 컬러 영상을 부호화하여 압축된 영상을 생성하는 부호화부;
    를 포함하되, 상기 컬러 변환부는 상기 제1 색좌표계의 컬러 영상의 서로 인접한 위치에 존재하는 R, G1, G2, B의 화소를 상기 제2 색좌표계의 컬러 영상의 동일한 가로축에 위치하는 (Y1, u, v), (Y2, u, v) 신호로 변환하며,
    상기 u와 상기 v의 신호 생성시 하나의 G1 또는 G2 신호를 사용하는 것을 특징으로 하는 컬러 영상을 부호화하기 위한 장치.
  2. 제1 항에 있어서,
    상기 제1 색좌표계는 RGB 색좌표계인 것을 특징으로 하는 컬러 영상을 부호화하기 위한 장치.
  3. 제1 항에 있어서,
    상기 제2 색좌표계는 YUV 색좌표계인 것을 특징으로 하는 컬러 영상을 부호화하기 위한 장치.
  4. 삭제
  5. 삭제
  6. 제1 항에 있어서,
    상기 부호화부는 Y1, Y2가 서로 다른 가로축에 위치하는 것을 고려하여 예측을 수행하는 것을 특징으로 하는 컬러 영상을 부호화하기 위한 장치.
  7. 제1 색좌표계의 샘플링된 컬러 영상을 획득하는 영상 센싱부;
    획득한 상기 제1 색좌표계의 컬러 영상을 기 설정된 각도로 회전시키는 영상 회전부;
    회전된 상기 제1 색좌표계의 컬러 영상을 기 설정된 개수의 화소 단위로 제2 색좌표계의 컬러 영상으로 변환하는 컬러 변환부; 및
    변환된 상기 제2 색좌표계의 컬러 영상을 부호화하여 압축된 영상을 생성하는 부호화부;
    를 포함하되, 상기 컬러 변환부는 상기 제1 색좌표계의 컬러 영상의 서로 인접한 위치에 존재하는 R, G1, G2, B의 화소를 상기 제2 색좌표계의 컬러 영상의 동일한 가로축에 위치하는 (Y1, u, v), (Y2, u, v) 신호로 변환하며,
    상기 u와 상기 v의 신호 생성시 하나의 G1 또는 G2 신호를 사용하는 것을 특징으로 하는 컬러 영상을 부호화하기 위한 장치.
  8. 제7항에 있어서,
    상기 영상 회전부는 획득한 상기 제1 색좌표계의 컬러 영상을 45도 각도 회전시키는 것을 특징으로 하는 컬러 영상을 부호화하기 위한 장치.
  9. 제7항에 있어서,
    상기 부호화부는 Y1, Y2가 서로 다른 가로축에 위치하는 것을 고려하여 예측을 수행하고, 잔여 오차를 계산하여 변환과정을 수행하는 것을 특징으로 하는 컬러 영상을 부호화하기 위한 장치.
  10. CFA를 갖는 단일 영상 센서를 이용하여 샘플링된 컬러 신호를 보간 없이 부호화하는 부호화 장치에 있어서,
    상기 CFA를 이용하여 샘플링된 제1 색좌표계의 컬러 신호를 보간 없이 제2색 좌표계로 변환하는 제1 컬러 변환부;
    상기 제2 색좌표계의 컬러 신호를 부호화하는 부호화부;
    상기 부호화된 제2 색좌표계의 컬러 신호를 복호화하여 제2 색좌표계의 복호화된 컬러 신호를 생성하는 복호화부;
    상기 제2 색좌표계의 복호화된 컬러 신호를 역변환하여 제1 색좌표계의 샘플링된 복호화 컬러 신호를 생성하는 제2 컬러 변환부;
    상기 제1 색좌표계의 샘플링된 복호화 컬러 신호를 보간하여 제1 색좌표계의 풀해상도 복호화 컬러 신호를 생성하는 풀컬러 보간부; 및
    상기 생성된 제 1좌표계의 풀해상도 복호화 컬러 신호를 변환하여 제2 색좌표계의 풀해상도 복호화 컬러 신호를 생성하는 제3 컬러 변환부;
    를 포함하되, 상기 부호화부는 상기 제3 컬러 변환부에서 생성된 제2 색좌표계의 풀해상도 복호화 컬러 신호를 현재 부호화 되고 있는 블록 예측에 이용하는 예측부를 포함하고,
    상기 컬러 변환부는 상기 제1 색좌표계의 컬러 영상의 서로 인접한 위치에 존재하는 R, G1, G2, B의 화소를 상기 제2 색좌표계의 컬러 영상의 동일한 가로축에 위치하는 (Y1, u, v), (Y2, u, v) 신호로 변환하며,
    상기 u와 상기 v의 신호 생성시 하나의 G1 또는 G2 신호를 사용하는 것을 특징으로 하는 컬러 영상을 부호화하기 위한 장치.
  11. 제10 항에 있어서,
    상기 부호화부는 인트라모드 부호화부인 것을 특징으로 하는 컬러 영상을 부호화하기 위한 장치.
  12. 제10 항에 있어서,
    상기 부호화부는 인터모드 부호화부인 것을 특징으로 하는 컬러 영상을 부호화하기 위한 장치.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. CFA를 이용하여 샘플링된 컬러 신호를 보간 없이 부호화한 압축 신호를 복호화하는 복호화 장치에 있어서,
    수신된 상기 압축 신호를 복호화하여 제2 색좌표계의 복호화된 컬러 신호를 생성하는 복호화부;
    상기 제2 색좌표계의 복호화된 컬러 신호를 역변환하여 제1 색좌표계의 샘플링된 복호화 컬러 신호를 생성하는 제1 컬러 변환부;
    상기 제1 색좌표계의 샘플링된 복호화 컬러 신호를 보간하여 제1 색좌표계의 풀해상도 복호화 컬러 신호를 생성하는 풀컬러 보간부; 및
    상기 생성된 제1 색좌표계의 풀해상도 복호화 컬러 신호를 변환하여 제2 색좌표계의 풀해상도 복호화 컬러 신호를 생성하는 제2 컬러 변환부;
    를 포함하되, 상기 복호화부는 상기 제2 변환부에서 생성된 제2 색좌표계의 풀해상도 복호화 컬러 신호를 현재 복호화 되고 있는 블록의 기준 영상으로 사용하고,
    상기 제2 컬러 변환부는 상기 제1 색좌표계의 컬러 영상의 서로 인접한 위치에 존재하는 R, G1, G2, B의 화소를 상기 제2 색좌표계의 컬러 영상의 동일한 가로축에 위치하는 (Y1, u, v), (Y2, u, v) 신호로 변환하며,
    상기 u와 상기 v의 신호 생성시 하나의 G1 또는 G2 신호를 사용하는 것을 특징으로 하는 컬러 영상을 복호화하기 위한 장치.
  19. 삭제
  20. 제1 색좌표계의 컬러 영상을 획득하는 단계;
    획득한 상기 제1 색좌표계의 샘플링된 컬러 영상을 보간 없이 기 설정된 개수의 화소 단위로 제2 색좌표계의 컬러 영상으로 변환하는 단계; 및
    변환된 상기 제2 색좌표계의 컬러 영상을 부호화함에 있어 제2좌표계의 화소가 원래 서로 다른 가로축에 위치하는 것을 고려하여 예측을 수행하고, 잔여 오차를 계산하여 변환과정을 수행하는 것을 부호화하여 압축된 영상을 생성하는 단계;
    를 포함하되, 상기 변환하는 단계는 상기 제1 색좌표계의 컬러 영상의 서로 인접한 위치에 존재하는 R, G1, G2, B의 화소를 상기 제2 색좌표계의 컬러 영상의 동일한 가로축에 위치하는 (Y1, u, v), (Y2, u, v) 신호로 변환하며,
    상기 u와 상기 v의 신호 생성시 하나의 G1 또는 G2 신호를 사용하는 것을 특징으로 하는 컬러 영상을 부호화하기 위한 방법.
  21. 제20 항에 있어서,
    상기 제1 색좌표계는 RGB 색좌표계인 것을 특징으로 하는 컬러 영상을 부호화하기 위한 방법.
  22. 제20 항에 있어서,
    상기 제2 색좌표계는 YUV 색좌표계인 것을 특징으로 하는 컬러 영상을 부호화하기 위한 방법.
  23. CFA를 갖는 단일 영상 센서를 이용하여 샘플링된 컬러 신호를 보간 없이 부호화하는 부호화 방법에 있어서,
    상기 CFA를 이용하여 샘플링된 제1 색좌표계의 컬러 신호를 보간 없이 제2색 좌표계로 변환하는 단계;
    상기 제2 색좌표계의 컬러 신호를 부호화하는 단계;
    상기 부호화된 제2 색좌표계의 컬러 신호를 복호화하여 제2 색좌표계의 복호화된 컬러 신호를 생성하는 단계;
    상기 제2 색좌표계의 복호화된 컬러 신호를 역변환하여 제1 색좌표계의 샘플링된 복호화 컬러 신호를 생성하는 단계;
    상기 제1 색좌표계의 샘플링된 복호화 컬러 신호를 보간하여 제1 색좌표계의 풀해상도 복호화 컬러 신호를 생성하는 단계; 및
    상기 생성된 제 1좌표계의 풀해상도 복호화 컬러 신호를 변환하여 제2 색좌표계의 풀해상도 복호화 컬러 신호를 생성하는 단계;
    를 포함하되, 상기 부호화하는 단계는 생성된 상기 제2 색좌표계의 풀해상도 복호화 컬러 신호를 현재 부호화 되고 있는 블록 예측에 이용하고,
    상기 변환하는 단계는 상기 제1 색좌표계의 컬러 영상의 서로 인접한 위치에 존재하는 R, G1, G2, B의 화소를 상기 제2 색좌표계의 컬러 영상의 동일한 가로축에 위치하는 (Y1, u, v), (Y2, u, v) 신호로 변환하며,
    상기 u와 상기 v의 신호 생성시 하나의 G1 또는 G2 신호를 사용하는 것을 특징으로 하는 컬러 영상을 부호화하기 위한 방법.
  24. 삭제
  25. 삭제
  26. CFA를 이용하여 샘플링된 컬러 신호를 보간 없이 부호화한 압축 신호를 복호화하는 복호화 방법에 있어서,
    수신된 상기 압축 신호를 복호화하여 제2 색좌표계의 복호화된 컬러 신호를 생성하는 단계;
    상기 제2 색좌표계의 복호화된 컬러 신호를 역변환하여 제1 색좌표계의 샘플링된 복호화 컬러 신호를 생성하는 단계;
    상기 제1 색좌표계의 샘플링된 복호화 컬러 신호를 보간하여 제1 색좌표계의 풀해상도 복호화 컬러 신호를 생성하는 단계; 및
    상기 생성된 제1 색좌표계의 풀해상도 복호화 컬러 신호를 변환하여 제2 색좌표계의 풀해상도 복호화 컬러 신호를 생성하는 단계;
    를 포함하되, 상기 복호화하는 단계는 생성된 상기 제2 색좌표계의 풀해상도 복호화 컬러 신호를 현재 복호화 되고 있는 블록의 기준 영상으로 사용하고,
    하되, 상기 제2 색좌표계의 풀해상도 복호화 컬러 신호를 생성하는 단계는 상기 제1 색좌표계의 컬러 영상의 서로 인접한 위치에 존재하는 R, G1, G2, B의 화소를 상기 제2 색좌표계의 컬러 영상의 동일한 가로축에 위치하는 (Y1, u, v), (Y2, u, v) 신호로 변환하며,
    상기 u와 상기 v의 신호 생성시 하나의 G1 또는 G2 신호를 사용하는 것을 특징으로 하는 컬러 영상을 복호화하기 위한 방법.
  27. 삭제
KR20110122336A 2011-11-22 2011-11-22 Ｃｆａ를 이용하여 획득한 샘플링된 컬러 영상을 부호화/복호화하기 위한 장치 및 그 방법 KR101358889B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR20110122336A KR101358889B1 (ko) 2011-11-22 2011-11-22 Ｃｆａ를 이용하여 획득한 샘플링된 컬러 영상을 부호화/복호화하기 위한 장치 및 그 방법
US13/684,102 US20130128959A1 (en) 2011-11-22 2012-11-21 Apparatus for encoding/decoding sampled color image acquired by cfa and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20110122336A KR101358889B1 (ko) 2011-11-22 2011-11-22 Ｃｆａ를 이용하여 획득한 샘플링된 컬러 영상을 부호화/복호화하기 위한 장치 및 그 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020130017969A Division KR101339764B1 (ko) 2013-02-20 2013-02-20 Ｃｆａ를 이용하여 획득한 샘플링된 컬러 영상을 부호화/복호화하기 위한 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20130056625A KR20130056625A (ko) 2013-05-30
KR101358889B1 true KR101358889B1 (ko) 2014-02-07

Family

ID=48426917

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20110122336A KR101358889B1 (ko) 2011-11-22 2011-11-22 Ｃｆａ를 이용하여 획득한 샘플링된 컬러 영상을 부호화/복호화하기 위한 장치 및 그 방법

Country Status (2)

Country Link
US (1) US20130128959A1 (ko)
KR (1) KR101358889B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140046055A (ko) * 2011-09-08 2014-04-17 모토로라 모빌리티 엘엘씨 계수들의 직사각형 블록의 양자화 및 역양자화를 위한 방법들 및 장치
KR101523767B1 (ko) * 2013-01-17 2015-06-01 연세대학교 산학협력단 컬러 영상 부호화/복호화 장치 및 방법
CN106845316A (zh) * 2017-01-22 2017-06-13 深圳前海量子云码科技有限公司 一种用于移动设备的图像处理方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1169377A (ja) * 1997-08-25 1999-03-09 Sanyo Electric Co Ltd 画像情報符号化装置及びそれを応用した装置
KR20050114411A (ko) * 2004-06-01 2005-12-06 학교법인연세대학교 컬러 영상 부호화/복호화 방법 및 장치
KR20050116498A (ko) * 2004-06-08 2005-12-13 엠텍비젼 주식회사 Cmos 이미지 센서
JP2010239337A (ja) 2009-03-31 2010-10-21 Sony Corp 固体撮像装置、固体撮像装置の信号処理方法および撮像装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5065229A (en) * 1989-07-24 1991-11-12 Eastman Kodak Company Compression method and apparatus for single-sensor color imaging systems
TW293227B (ko) * 1994-11-24 1996-12-11 Victor Company Of Japan
JP3813387B2 (ja) * 1998-07-28 2006-08-23 富士写真フイルム株式会社 情報埋込方法および装置並びに記録媒体
US7570810B2 (en) * 2005-02-24 2009-08-04 Seiko Epson Corporation Method and apparatus applying digital image filtering to color filter array data
US7903306B2 (en) * 2005-07-22 2011-03-08 Samsung Electronics Co., Ltd. Sensor image encoding and/or decoding system, medium, and method
TWI350701B (en) * 2006-06-06 2011-10-11 Realtek Semiconductor Corp Method and apparatus for adjusting saturation level
EP2122615B1 (en) * 2006-10-20 2011-05-11 Dolby Sweden AB Apparatus and method for encoding an information signal
US8379039B2 (en) * 2009-06-07 2013-02-19 Apple Inc. Reformatting content with proper color-region conversion

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1169377A (ja) * 1997-08-25 1999-03-09 Sanyo Electric Co Ltd 画像情報符号化装置及びそれを応用した装置
KR20050114411A (ko) * 2004-06-01 2005-12-06 학교법인연세대학교 컬러 영상 부호화/복호화 방법 및 장치
KR20050116498A (ko) * 2004-06-08 2005-12-13 엠텍비젼 주식회사 Cmos 이미지 센서
JP2010239337A (ja) 2009-03-31 2010-10-21 Sony Corp 固体撮像装置、固体撮像装置の信号処理方法および撮像装置

Also Published As

Publication number Publication date
KR20130056625A (ko) 2013-05-30
US20130128959A1 (en) 2013-05-23

Similar Documents

Publication Publication Date Title
RU2564245C2 (ru) Адаптивная поддержка для интерполяционных значений субпикселя для кодирования видеосигнала
RU2578724C2 (ru) Импульсно-кодовая модуляция с квантованием при кодировании видеоинформации
US10158880B2 (en) Method and apparatus for encoding/decoding video using high-precision filter
CA2720128A1 (en) Advanced interpolation techniques for motion compensation in video coding
CA2719540A1 (en) Advanced interpolation techniques for motion compensation in video coding
JP5607236B2 (ja) 混合タップフィルタ
US20150350643A1 (en) Method and apparatus for generating a reference frame and method and apparatus for encoding/decoding image using the same
US20110317764A1 (en) Inclusion of switched interpolation filter coefficients in a compressed bit-stream
CN111801941B (zh) 用于利用自适应乘数系数进行图像滤波的方法及装置
KR20160055769A (ko) 인트라 예측 모드를 기초로 양자화 계수를 예측하는 방법 및 이를 이용하는 장치
CN111869208B (zh) 使用自适应乘数系数进行图像滤波的方法及装置
KR101358889B1 (ko) Ｃｆａ를 이용하여 획득한 샘플링된 컬러 영상을 부호화/복호화하기 위한 장치 및 그 방법
RU2477576C2 (ru) Поддержка интерполяционного фильтра для субпиксельного разрешения в видеокодировании
JP2011193363A (ja) 符号化装置、復号装置及びプログラム
KR101339764B1 (ko) Ｃｆａ를 이용하여 획득한 샘플링된 컬러 영상을 부호화/복호화하기 위한 장치 및 그 방법
KR102111437B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR20110087871A (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
CN111279640A (zh) 图像处理

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170123

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190128

Year of fee payment: 6