KR20060108253A - 컬러 영상의 신축적 부호화, 복호화 방법 및 장치 - Google Patents
컬러 영상의 신축적 부호화, 복호화 방법 및 장치 Download PDFInfo
- Publication number
- KR20060108253A KR20060108253A KR1020060080649A KR20060080649A KR20060108253A KR 20060108253 A KR20060108253 A KR 20060108253A KR 1020060080649 A KR1020060080649 A KR 1020060080649A KR 20060080649 A KR20060080649 A KR 20060080649A KR 20060108253 A KR20060108253 A KR 20060108253A
- Authority
- KR
- South Korea
- Prior art keywords
- component
- color
- image
- format
- luminance
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Color Television Systems (AREA)
Abstract
동영상의 색 정보에 기반을 둔 신축 부호화, 복호화 방법 및 장치가 개시된다. 본 발명에 따라, 컬러 영상 부호화 방법에 있어서, (a) 영상의 휘도성분을 입력받아 움직임 예측 부호화 방법에 따라 부호화하여, 부호화된 휘도성분 비트스트림을 출력하는 단계; 및 (b) 적어도 하나의 컬러포맷의 색차성분을 입력받아, 상기 움직임 예측 부호화 방법에 의해 생성된 움직임 벡터를 이용하여 부호화하여, 부호화된 색차성분 비트 스트림을 적어도 하나 출력하는 단계를 포함하는 것을 특징으로 한다. 이에 의해, 하나의 동영상을 다양한 컬러 포맷으로 부호화할 때 주변 여건에 따라 신축적으로 부호화하여, 효율적으로 저장, 전송, 재생할 수 있다.
Description
도 1은 색의 공간 해상도를 떨어뜨려 손실 부호화하는 것을 설명하기 위한 도면,
도 2는 일반적인 컬러 동영상 부호화 장치의 블록도,
도 3은 본 발명의 일실시예에 따른 컬러 동영상 부호화 장치의 블록도,
도 4는 본 발명의 일실시예에 따른 동영상 복호화기의 블록도,
도 5는 본 발명의 컬러 영상 부호화 방법의 플로우차트,
도 6은 본 발명의 컬러 영상 복호화 방법의 플로우차트,
도 7은 본 발명의 다른 일실시예에 따른 컬러 동영상 부호화 장치의 블록도,
도 8은 본 발명의 일실시예에 따른 동영상 복호화 장치의 블록도,
도 9는 본 발명의 다른 실시예에 따른 신축적 컬러 영상 부호화 방법의 플로우차트,
도 10은 본 발명의 다른 실시예에 따른 신축적 컬러 영상 복호화 방법의 플로우차트이다.
본 발명은 동영상의 신축 부호화 및 복호화에 관한 것으로, 보다 상세하게는 동영상의 색 정보에 기반을 둔 신축 부호화, 복호화 방법 및 장치에 관한 것이다.
동영상을 부호화할 때, 동영상을 구성하는 픽처의 가로방향의 화소 라인에 포함되는 화소들의 휘도정보(luminance)와 색차정보(chrominance)의 비율을 표시함으로써, 동영상의 컬러포맷을 나타낸다. 이하에서는 휘도정보를 Y 로 표시하고, 색차정보를 Cb/Cr로 표시한다. 휘도란 영상의 밝기를 나타내는 정도로써, ITU-R 권고에서 하나의 화소의 휘도는 8 비트로 나타낸다. 색차란 영상의 색을 나타내는 정보로써, 두 개(Cb/Cr)의 8 비트값으로 화소의 색을 나타낸다. 색을 나타내는 좌표계를 색 공간(color space)이라고 부르는데, 동영상 부호화 표준인 MPEG에서는 Y, Cb, Cr 이라는 3개의 8 비트 정보로 동영상의 컬러 포맷을 표현한다.
Y, Cb, Cr을 사용하여 하나의 동영상을 표현하는데 있어, 그 비율에 따라서 여러 가지 컬러 포맷이 있을 수 있는데, 서로 다른 컬러 포맷의 경우에도 휘도성분인 Y 성분은 모두 동일하기 때문에, 서로 다른 컬러 포맷으로 동영상을 부호화하고자 하는 경우에도 그 때마다 Y 성분의 부호화를 다시 수행하는 것은 비효율적이다.
그러나, 종래의 MPEG-2, MPEG-4, JVT(Joint Video Team) 등 표준화 단체에서 제시하는 동영상 부호화 기술에서는, 하나의 동영상을 4:4:4 컬러 포맷, 4:2:2 컬러 포맷 및 4:2:0 컬러 포맷으로 각각 부호화 할 때 휘도성분 Y 의 부호화를 중복적으로 수행하기 때문에, 동영상을 다양한 컬러 포맷으로 부호화하여 저장하거나 전송할 때 데이터 양이 불필요하게 많아져서 비효율적이다.
그리고, 종래의 동영상 부호화 기술에서는, 컬러 영상의 포맷을 신축적으로 부호화하거나 복호화하는 것에 대하여 개시하고 있지 않다.
따라서, 본 발명이 이루고자 하는 기술적 과제는 다양한 컬러 포맷으로 동영상을 신축적으로 부호화하고 복호화하는 동영상의 신축적 부호화, 복호화 방법 및 그 장치를 제공하는 것이다.
상기 기술적 과제는 본 발명에 따라, 컬러 영상 부호화 방법에 있어서, (a) 영상의 휘도성분을 입력받아 움직임 예측 부호화 방법에 따라 부호화하여, 부호화된 휘도성분 비트스트림을 출력하는 단계; 및 (b) 적어도 하나의 컬러포맷의 색차성분을 입력받아, 상기 움직임 예측 부호화 방법에 의해 생성된 움직임 벡터를 이용하여 부호화하여, 부호화된 색차성분 비트 스트림을 적어도 하나 출력하는 단계를 포함하는 것을 특징으로 하는 부호화 방법에 의해 달성된다.
상기 (b) 단계는, 4:2:0, 4:2:2 및 4:4:4 컬러포맷의 색차성분을 각각 독립적으로 입력받아 부호화하는 것이 바람직하다.
또한, 상기 기술적 과제는 컬러 영상 부호화 방법에 있어서, (a) 원영상의 색차성분을 다운 샘플링하고 이를 다운샘플링하지 않은 휘도성분과 함께 움직임 예측 부호화 방법에 따라 부호화하여 부호화된 기본계층 비트 스트림을 생성하는 단계; 및 (b) 상기 생성된 기본계층 비트 스트림을 복호화하여 얻어진 색차성분을 업샘플링한 값과, 다운샘플링하지 않은 상기 원 영상의 색차성분값과의 차이인 차분 색차 성분을 부호화하여, 부호화된 향상계층 비트스트림을 출력하는 단계를 포함하는 것을 특징으로 하는 부호화 방법에 의해서도 달성된다.
또한, 상기 기술적 과제는 컬러 영상 복호화 방법에 있어서, (a) 영상의 휘도성분만을 가지고 움직임 예측 부호화 방법에 따라 부호화된 휘도성분 비트스트림을 입력받아 이를 복호화하여, 휘도 영상을 출력하는 단계; (b) 부호화된 색차성분 비트 스트림을 적어도 하나 입력받아 이를 복호화하여, 적어도 하나의 색차 영상을 출력하는 단계; 및 (c) 상기 복호화된 휘도영상과 색차영상을 합하여 적어도 하나의 컬러포맷의 영상을 출력하는 단계를 포함하는 것을 특징으로 하는 복호화 방법에 의해서도 달성된다.
또한, 상기 기술적 과제는 컬러 영상 복호화 방법에 있어서, (a) 영상의 색차성분을 다운 샘플링하고 다운샘플링하지 않은 휘도성분과 함께 움직임 예측 부호화 방법에 따라 부호화하여 만들어진 기본계층 비트 스트림을 수신하여 복호화하는 단계; (b) 상기 생성된 기본계층 비트 스트림을 복호화하여 얻은 색차성분을 업샘플링한 값과 다운샘플링하지 않은 상기 원 영상의 색차성분값과의 차이인 차분 색차 성분을 부호화하여 만들어진 향상계층 비트스트림을 수신하여 복호화하는 단계; 및 (c) 상기 (a) 단계의 기본계층 스트림으로부터 복호화한 색차영상과 상기 (b) 단계의 향상계층 스트림으로부터 복호화한 색차영상을 더하여 만들어진 색차영상을 상기 (a) 단계의 기본계층 스트림으로부터 복호화된 휘도영상과 합하여 적어도 하나의 향상계층 컬러포맷 영상을 출력하는 단계를 포함하는 것을 특징으로 하는 복호화 방법에 의해서도 달성된다.
한편, 본 발명의 다른 분야에 따르면, 상기 기술적 과제는 컬러 영상 부호화 장치에 있어서, 영상의 휘도성분을 입력받아 움직임 예측 부호화 방법에 따라 부호화하여, 부호화된 휘도성분 비트스트림을 출력하는 휘도성분 부호화부; 및 적어도 하나의 컬러포맷의 색차성분을 입력받아, 상기 움직임 예측 부호화 방법에 의해 생성된 움직임 벡터를 이용하여 부호화하여, 부호화된 색차성분 비트 스트림을 적어도 하나 출력하는 색차성분 부호화부를 포함하는 것을 특징으로 하는 부호화 장치에 의해서도 달성된다.
상기 색차성분 부호화부는, 4:2:0 컬러포맷의 색차성분을 입력받아 부호화하는 제1색차성분 부호화부; 4:2:2 컬러포맷의 색차성분을 입력받아 부호화하는 제2색차성분 부호화부; 및 4:4:4 컬러포맷의 색차성분을 입력받아 부호화하는 제3색차성분 부호화부를 포함하는 것이 바람직하다.
또한, 상기 기술적 과제는 컬러 영상 부호화 장치에 있어서, 원영상의 색차성분을 다운 샘플링하는 다운 샘플링부; 상기 다운 샘플링한 색차성분을 다운샘플링하지 않은 휘도성분과 함께 움직임 예측 부호화 방법에 따라 부호화하여 부호화된 기본계층 비트 스트림을 생성하는 기본계층 부호화부; 및 상기 생성된 기본계층 비트 스트림을 복호화하여 얻어진 색차성분을 업샘플링한 값과, 다운샘플링하지 않은 상기 원 영상의 색차성분값과의 차이인 차분 색차 성분을 부호화하여 부호화된 향상계층 비트스트림을 출력하는 향상계층 부호화부를 포함하는 것을 특징으로 하는 부호화 장치에 의해서도 달성된다.
한편, 본 발명의 다른 분야에 따르면, 상기 기술적 과제는 컬러 영상 복호화 장치에 있어서, 영상의 휘도성분만을 가지고 움직임 예측 부호화 방법에 따라 부호화된 휘도성분 비트스트림을 입력받아 이를 복호화하여, 휘도 영상을 출력하는 휘도성분 복호화부; 및 부호화된 색차성분 비트 스트림을 적어도 하나 입력받아 이를 복호화하여, 적어도 하나의 색차 영상을 생성하고, 이를 상기 복호화된 휘도영상과 합하여 적어도 하나의 컬러포맷의 영상을 출력하는 색차성분 복호화부를 포함하는 것을 특징으로 하는 복호화 장치에 의해서도 달성된다.
또한, 상기 기술적 과제는 컬러 영상 복호화 장치에 있어서, 영상의 색차성분을 다운 샘플링하고 다운샘플링하지 않은 휘도성분과 함께 움직임 예측 부호화 방법에 따라 부호화하여 만들어진 기본계층 비트 스트림을 수신하여 복호화하는 기본계층 복호화부; 상기 생성된 기본계층 비트 스트림을 복호화하여 얻은 색차성분을 업샘플링한 값과 다운샘플링하지 않은 상기 원 영상의 색차성분값과의 차이인 차분 색차 성분을 부호화하여 만들어진 향상계층 비트스트림을 수신하여 복호화하는 향상계층 복호화부; 및 상기 기본계층 스트림으로부터 복호화한 색차영상과 상기 향상계층 스트림으로부터 복호화한 색차영상을 더하여 만들어진 색차영상을 상기 기본계층 스트림으로부터 복호화된 휘도영상과 합하여 적어도 하나의 향상계층 컬러포맷 영상을 출력하는 향상계층 컬러영상 출력부를 포함하는 것을 특징으로 하는 복호화 장치에 의해서도 달성된다.
한편, 본 발명의 다른 분야에 따르면, 상기 기술적 과제는 부호화된 컬러 영상을 기록한 정보저장매체에 있어서, 영상의 휘도성분을 입력받아 움직임 예측 부호화 방법에 따라 부호화하여, 부호화된 휘도성분 비트스트림; 및 적어도 하나의 컬러포맷의 색차성분을 입력받아, 상기 움직임 예측 부호화 방법에 의해 생성된 움직임 벡터를 이용하여 부호화하여, 부호화된 색차성분 비트 스트림을 포함하는 것을 특징으로 하는 정보저장매체에 의해서도 달성된다.
상기 휘도성분 비트 스트림은, 영상의 휘도성분을 입력받아 움직임 벡터를 찾고, 그 움직임 벡터에 기반을 둔 움직임 예측 부호화 방법에 따라 부호화하여 만들어진 휘도성분의 텍스쳐 정보와 상기 움직임 벡터를 다중화하여 만들어진 것이 바람직하다.
상기 색차성분 비트 스트림은, 4:2:0, 4:2:2 및 4:4:4 컬러포맷의 색차성분이 각각 독립적으로 부호화되어 있는 것이 바람직하다.
또한, 상기 기술적 과제는 부호화된 컬러 영상을 기록한 정보저장매체에 있어서, 원 영상의 색차성분을 다운 샘플링하고, 이를 다운샘플링하지 않은 휘도성분과 함께 움직임 예측 부호화 방법에 따라 부호화하여 만들어진 부호화된 기본계층 비트 스트림; 및 상기 부호화된 기본 계층 비트 스트림을 복호화하여 얻은 복호화된 색차성분을 업샘플링한 값과 다운샘플링하지 않은 상기 원 영상의 색차성분과의 차이인 차분 색차 성분을 부호화하여 만들어진 부호화된 향상계층 비트스트림을 포함하는 것을 특징으로 하는 정보저장매체에 의해서도 달성된다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대해 상세히 설명한다.
도 1은 색의 공간 해상도를 떨어뜨려 손실 부호화하는 것을 설명하기 위한 도면이다.
상술한 바와 같이 일반적으로 하나의 화소에 Y, Cb, Cr 각각 8 비트, 모두 24 비트를 할당하여 화소값을 표현하지만, 손실 부호화 방법에서는 인간의 시각이 밝기 정보보다 색 정보에 둔감한 특성을 고려하여 Y, Cb, Cr 중에서 색 정보인 Cb, Cr의 공간 해상도를 떨어뜨려 손실 부호화한다. 공간 해상도를 떨어뜨리지 않은 4:4:4 포맷 컬러 영상은, N X N 화소로 구성된 영상에서 밝기 정보(Y)과 색 정보(Cb/Cr)가 모두, N x N 화소의 크기를 가짐으로써 밝기 정보에 해당하는 색차 정보(Cb/Cr)가 하나씩 각각 존재하여 고화질의 색 정보를 유지하도록 한 영상이다.
반면, 4:2:2 포맷 컬러 영상은 4:4:4 포맷의 Cr, Cb의 색 정보를 수직방향은 원래대로 하고, 수평 방향으로 1/2 다운 샘플링하여 얻어진 영상이다. 따라서, 4:4:4 포맷의 Cb, Cr 영상의 크기가 NxN이면, 4:2:2 포맷의 Cb, Cr 영상의 크기는 N x (N/2)가 된다. 그리고, 4:2:0 포맷의 영상은 4:4:4 포맷의 Cr, Cb의 색 정보를 수직방향과 수평 방향 각각 1/2 다운 샘플링하여 얻어진 영상이다. 따라서, 4:4:4 포맷의 Cb, Cr 영상의 크기가 N x N이면, 4:2:0 포맷의 Cb, Cr 영상의 크기는 (N/2) x (N/2) 가 된다.
도 2는 일반적인 컬러 동영상 부호화 장치의 블록도이다.
동영상 부호화 장치에, Y, Cr, Cb로 구성된 4:4:4 포맷의 영상이 입력되면 4:4:4 포맷의 부호화된 비트 스트림이 출력되고, 4:2:2 포맷의 영상이 입력되면 4:2:2 포맷의 부호화된 비트 스트림이 출력되며, 4:2:0 포맷의 영상이 입력되면 4:2:0 포맷의 부호화된 비트 스트림이 출력된다.
동영상 부호화 장치는 휘도성분 부호화부(210), 색차성분 부호화부(220) 및 다중화부(230)를 포함한다. 입력되는 영상의 컬러 포맷에 따라서 색차성분 부호화부(320)에 입력되는 색차성분이 달라지고 휘도성분 부호화부(310)에 입력되는 휘도성분은 동일하다. 왜냐하면, 도 1을 참조하여 설명한 바와 같이 4:4:4, 4:2:2, 4:2:0 포맷 모두 휘도성분은 동일하기 때문이다. 휘도성분 부호화부(210)는 입력된 휘도성분 Y 신호로부터 움직임 벡터를 예측하여 움직임을 보상하고 보상된 영상을 DCT, 양자화, 엔트로피 코딩의 과정을 거쳐 얻어진 Y 성분의 텍스쳐 정보를 출력한다. 색차성분 부호화부(220)는 휘도성분 Y 신호로부터의 움직임벡터를 기반으로 움직임 보상하여 얻어진 Cb, Cr 성분의 텍스쳐 정보를 출력한다. 다중화부(230)는 움직임 벡터, Y 성분의 텍스쳐 정보 및 Cr, Cb 성분의 텍스쳐 정보를 다중화하여, 하나의 4:4:4 또는 4:2:2 또는 4:2:0 동영상 부호화 비트스트림을 생성한다.
휘도성분 부호화부(210)의 동작을 보다 상세하게 설명하면 다음과 같다. 움직임 추정부(201)는 현재 프레임의 매크로 블록의 움직임 예측치를 참조 프레임에서 찾아 그 움직임의 차이를 움직임 벡터로써 출력한다. 즉, 찾고자 하는 매크로 블록을 참조 프레임의 소정의 탐색영역내에서 탐색하여, 가장 유사한 매크로 블록을 찾아 그 이동정도를 움직임 벡터로써 출력한다. 움직임 보상부(202)는 구해진 움직임 벡터에 해당하는 예측 매크로 블럭을 참조 프레임으로부터 얻는다.
원 영상 프레임의 매크로 블록에서 움직임 보상이 수행된 참조 영상 프레임의 예측 매크로 블록을 빼서 그 차이를 DCT 수행부(203)에서 DCT하고, 그 DCT 계수가 양자화부(204)에 의해서 양자화되어 엔트로피 코딩부(205)를 거쳐 텍스쳐 정보로 출력된다. 이 텍스쳐 정보는 움직임 벡터와 함께 다중화부(230)에서 다중화되어 인코딩된 비트 스트림을 구성한다.
원 영상 프레임의 매크로 블록에서 움직임 보상된 참조영상 프레임의 매크로 블록을 뺀 것을 잔차(residual)이라고 하는데 인코딩시의 데이터량을 줄이기 위해서 이 잔차값을 부호화한다. 양자화 과정에서 에러가 발생하므로, 비트 스트림으로 만들어지는 동영상 데이터에는 DCT 및 양자화 과정에서 발생한 에러가 포함되어 있다.
그리고 참조 영상을 얻기 위해, 양자화된 잔차 신호는 역양자화부(206)와 IDCT 수행부(207)를 거쳐 움직임 예측 및 보상이 수행된 영상과 합쳐져 복호화된 Y 성분 저장부(208)에 저장된다. 따라서, 복호화된 Y 성분 저장부(208)에 저장된 참조영상은 원 영상에서 DCT 및 양자화 과정에서 발생한 부호화 에러를 포함한 영상이 된다. 색차성분 부호화부(220)도 휘도성분 부호화부(210)와 유사하게 색차성분인 Cb, Cr에 대해서 부호화를 수행한다.
만일, 하나의 원 동영상을 4:4:4 포맷, 4:2:2 포맷, 4:2:0 포맷으로 각각 부호화하고자 하는 경우에는 색차성분 부호화부(220)는 각각 4:4:4 포맷, 4:2:2 포맷, 4:2:0 포맷의 Cb/Cr 성분을 입력받아 부호화를 각각 수행한 후, 이를 Y 성분과 다중화하여야 하므로 Y 성분의 부호화를 중복적으로 수행하여야 한다.
도 3은 본 발명의 일실시예에 따른 컬러 동영상 부호화 장치의 블록도이다.
본 발명의 컬러 동영상 부호화 장치는 휘도성분 부호화부(310), 색차성분 부호화부(320) 및 다중화부(330)를 포함하며, 색차성분 부호화부(320)는 제1색차성분 부호화부(322), 제2색차성분 부호화부(324), 제3색차성분 부호화부(326)를 포함한 다.
휘도성분 부호화부(310)는 Y 성분을 입력받아 움직임 예측을 기반으로 한 부호화 방법에 따라 부호화하여 Y 성분의 텍스처 정보와 움직임 벡터를 출력한다. 부호화 과정은 도 2를 참조하여 상술한 바와 같다. 제1색차성분 부호화부(322)는 4:2:0 포맷의 Cb/Cr 성분을 입력받아, Y 성분의 움직임 벡터를 이용하여 움직임 보상하여 부호화하여 4:2:0 향상계층 비트 스트림을 출력한다. 제2색차성분 부호화부(324)는 4:2:2 포맷의 Cb/Cr 성분을 입력받아, Y 성분의 움직임 벡터를 이용하여 움직임 보상하여 부호화하여 4:2:2 향상계층 비트 스트림을 출력한다. 제3색차성분 부호화부(326)는 4:4:4 포맷의 Cb/Cr 성분을 입력받아, Y 성분의 움직임 벡터를 이용하여 움직임 보상하여 부호화하여 4:4:4 향상계층 비트 스트림을 출력한다. 이렇게 휘도성분 및 색차성분의 부호화에 사용되는 방법은 종래의 움직임 예측에 의한 부호화 방법들 중 어느 것이든 사용할 수 있다. 다중화부(330)는 부호화된 Y 성분의 텍스쳐 정보와 움직임 벡터를 다중화하여 기본계층 비트 스트림으로써 출력한다.
도 4는 본 발명의 일실시예에 따른 동영상 복호화기의 블록도이다.
본 발명의 동영상 복호화기는 휘도성분 복호화부(410), 색차성분 복호화부(420)를 포함하며 색차성분 복호화부(420)는 제1색차성분 복호화부(422), 제2색차성분 복호화부(424) 및 제3색차성분 복호화부(426)를 포함한다.
휘도성분 복호화부(410)는 휘도성분 부호화부(310)와 다중화부(330)에 의해 만들어진 기본계층 비트 스트림을 수신하여 움직임 벡터를 추출하고 이 움직임 벡 터를 사용해서, 엔트로피 디코딩, 역양자화, IDCT 변환 등의 복호화 과정을 거쳐, Y 성분만의 휘도영상을 출력한다.
제1색차성분 복호화부(422)는 4:2:0 컬러 포맷으로 만들어진 4:2:0 향상계층 비트 스트림을 입력받아, 휘도성분 복호화부(410)에서 만들어진 움직임 벡터를 이용하여 4:2:0 색차성분을 만들고, 휘도성분 복호화부(410)에서 출력된 휘도성분과 합하여 4:2:0 포맷의 컬러 영상을 출력한다.
제2색차성분 복호화부(424)는 4:2:2 컬러 포맷으로 만들어진 4:2:2 향상계층 비트 스트림을 입력받아, 휘도성분 복호화부(410)에서 만들어진 움직임 벡터를 이용하여 4:2:2 색차성분을 만들고, 휘도성분 복호화부(410)에서 출력된 휘도성분과 합하여 4:2:2 포맷의 컬러 영상을 출력한다.
제3색차성분 복호화부(426)는 4:4:4 컬러 포맷으로 만들어진 4:4:4 향상계층 비트 스트림을 입력받아, 휘도성분 복호화부(410)에서 만들어진 움직임 벡터를 이용하여 4:4:4 색차성분을 만들고, 휘도성분 복호화부(410)에서 출력된 휘도성분과 합하여 4:4:4 포맷의 컬러 영상을 출력한다.
도 5는 본 발명의 컬러 영상 부호화 방법의 플로우차트이다.
영상의 휘도성분을 입력받아 상술한 움직임 예측 부호화 방법들중 어느 한 가지 방법에 따라 부호화하여, 부호화된 휘도성분 비트 스트림을 출력한다(S510). 그리고, 4:2:0, 4:2:2 및 4:4:4 컬러 포맷의 색차성분을 각각 입력받아, 휘도성분 비트 스트림을 만들면서 검출된 움직임 벡터를 이용하여 각각 부호화한다(S520). 그러면, 4:2:0, 4:2:2 및 4:4:4 컬러 포맷의 색차성분 비트 스트림이 출력된다. 네 트워크의 상태가 좋지 않은 경우에는 색차성분의 비트 스트림을 전송하지 않기 때문에 주변 여건에 따른 신축적인 부호화가 가능하다.
도 6은 본 발명의 컬러 영상 복호화 방법의 플로우차트이다.
본 발명의 컬러 영상 부호화 방법에 따라 만들어진 부호화된 휘도성분 비트스트림을 입력받아 디코딩하여 휘도 영상을 출력한다(S610). 출력된 휘도 영상은 색차 성분이 포함되어 있지 않기 때문에 명암으로 구분되는 흑백영상이다. 다음으로, 4:2:0, 4:2:2, 4:4:4 컬러 포맷의 색차성분 비트 스트림을 각각 입력받아, 각각 디코딩하여 4:2:0, 4:2:2, 4:4:4 컬러 포맷의 색차영상을 만든다(S620). 이렇게 만든 색차영상을 미리 만든 휘도영상과 합하면, 4:2:0, 4:2:2, 4:4:4 컬러 포맷의 컬러영상이 생성된다(S630). 네트워크의 상태가 좋지 않아 색차성분 비트 스트림을 수신할 수 없는 경우 또는 수신된 색차성분 비트 스트림에 에러가 존재하는 경우에는 휘도 영상만으로 동영상을 출력한다. 따라서, 주변 여건에 따른 신축적인 복호화가 가능하다.
도 7은 본 발명의 다른 일실시예에 따른 컬러 동영상 부호화 장치의 블록도이다.
컬러 동영상 부호화 장치는 다운 샘플링부(710), 기본계층 부호화부(720), 제1향상계층 부호화부(730) 및 제2향상계층 부호화부(740)를 구비한다.
NxN 화소로 구성된 4:4:4 포맷의 Y, Cb, Cr 컬러 영상에서 Cb/Cr 성분은 제1다운샘플링부(712)에 의해서 N/2 x N/2 화소로 구성된 4:2:0 포맷의 Cb/Cr 영상으로 만들어지고, 제2다운샘플링부(714)에 의해서 N x N/2 화소로 구성된 4:2:2 포맷 의 Cb/Cr 영상으로 만들어진다. Y 성분과 제1다운샘플링에 의해 만들어진 4:2:0 포맷의 Cb/Cr 성분은 기본계층 부호화부(720)에 입력되어 4:2:0 포맷의 기본계층 비트 스트림으로 만들어진다. 이 과정에서 만들어진, 복호영상 저장부(722)에 저장된 복호화된 Cb/Cr 성분은 제1향상계층 부호화부(730)의 제1업샘플링부(732)로 입력된다. 제1업샘플링부(732)는 4:2:0 포맷의 복호화된 Cb/Cr 성분을 업샘플링하여 4:2:2 포맷의 Cb/Cr 영상으로 만든다. 제1업샘플링부(732)에서의 업샘플링은 MPEG 표준에서 사용하는 칼라 업샘플링 필터를 사용하여 수행될 수 있다.
제1향상계층 부호화부(730)는 제2다운샘플링부(714)에 의해서 다운샘플링된 4:2:2 포맷의 원영상 Cb/Cr 성분과 제1업샘플링부(732)에서 만들어진 4:2:2 포맷의 복호화된 Cb/Cr 성분과의 차이인 차분 영상에 대해 DCT, 양자화, 엔트로피 코딩을 수행하여 부호화하여 4:2:2 포맷의 Cb/Cr 비트 스트림을 만든다. 상기 4:2:2 포맷의 Cb/Cr 비트 스트림 생성과정에서 엔트로피 코딩부에 입력되는 색차 성분에 대해 역양자화와 IDCT를 수행하여 얻어진 색차 영상을 제1업샘플링부(732)에서 만들어진 4:2:2 포맷의 복호화된 Cb/Cr 영상과 합하여 복호 영상 저장부(734)에 저장한다.
복호영상 저장부(734)에 저장된 복호화된 Cb/Cr 성분은 제2향상계층 부호화부(740)의 제2업샘플링부(742)로 입력된다. 제2업샘플링부(742)는 4:2:2 포맷의 복호화된 Cb/Cr 성분을 업샘플링하여 4:4:4 포맷의 Cb/Cr 영상으로 만든다. 업샘플링은 MPEG 표준에서 사용하는 칼라 업샘플링 필터를 사용하여 수행할 수 있다. 제2향상계층 부호화부(740)는 4:4:4 포맷의 원영상 Cb/Cr 성분과 제2업샘플링부(742)에서 만들어진 4:4:4 포맷의 복호화된 Cb/Cr 성분과의 차이인 차분 영상에 대해 DCT, 양자화, 엔트로피 코딩을 수행하여 부호화하여 4:4:4 포맷의 Cb/Cr 비트 스트림을 만든다.
여기서 기본계층 부호화부(720), 제1향상계층 부호화부(730) 및 제2향상계층 부호화부(740)에서 수행되는 부호화 방법은 종래의 움직임 예측에 의한 부호화 방법들 중 어느 것이든 사용할 수 있다.
도 8은 본 발명의 일실시예에 따른 동영상 복호화 장치의 블록도이다.
동영상 복호화 장치는 기본계층 복호화부(810), 제1향상계층 복호화부(820), 제2향상계층 복호화부(830) 및 향상계층 컬러영상 출력부(840)를 구비한다.
수신된 4:2:0 포맷의 기본계층 비트스트림은 기본계층 복호화부(810)에 의해 복호화되어 4:2:0 포맷의 컬러영상으로 출력된다. 기본계층 복호화부(810)에 구비된 복호영상 저장부(812)에는 4:2:0 포맷의 Y 성분과 4:2:0 포맷의 Cb/Cr 성분이 저장된다. 이중 Cb/Cr 성분은 제1향상계층 복호화부(820)에 입력된다. 입력된 4:2:0 포맷의 디코딩된 Cb/Cr 성분은 제1업샘플링부(822)에 의해 4:2:2 포맷의 Cb/Cr 성분으로 만들어진다. 그리고, 제1향상계층 복호화부(820)는 인코딩된 4:2:2 포맷의 Cb/Cr 비트스트림을 수신하여, 엔트로피 디코딩, 역양자화 및 IDCT를 수행하고, 이를 상기 제1업샘플링부(822)에 의해 만들어진 4:2:2 포맷의 Cb/Cr 성분과 합하여 복호화된 Cb/Cr 영상을 만들어 디코딩된 Cb/Cr 성분 저장부(824)에 저장한다. 저장된 Cb/Cr 성분은 향상계층 컬러영상 출력부(840)로 입력되어 기본계층 복호화부(810)의 복호영상 저장부(812)에 저장된 Y 성분과 결합되어 4:2:2 포맷 컬러 영상을 출력한다.
제1향상계층 복호화부(820)의 디코딩된 Cb/Cr 성분 저장부(824)로부터 수신된 4:2:2 포맷의 복호화된 Cb/Cr 성분은 제2향상계층 복호화부(830)에 입력된다. 제2향상계층 복호화부(830)에 입력된 4:2:2 포맷의 디코딩된 Cb/Cr 성분은 제2업샘플링부(832)에 의해 4:4:4 포맷의 Cb/Cr 성분으로 만들어진다. 그리고, 제2향상계층 복호화부(830)는 인코딩된 4:4:4 포맷의 Cb/Cr 비트스트림을 수신하여, 엔트로피 디코딩, 역양자화 및 IDCT를 수행하여 4:4:4 포맷의 Cb/Cr 성분을 만들고, 이를 상기 업샘플링된 4:4:4 포맷의 Cb/Cr 성분과 합하여, 복호화된 4:4:4 포맷의 Cb/Cr 영상을 만들어 디코딩된 Cb/Cr 성분 저장부(834)에 저장한다. 저장된 Cb/Cr 성분은 향상계층 컬러영상 출력부(840)로 입력되어 기본계층 복호화부(810)의 복호영상 저장부(812)에 저장된 Y 영상과 결합되어 4:4:4 포맷 컬러 영상을 출력한다.
도 9는 본 발명의 다른 실시예에 따른 신축적 컬러 영상 부호화 방법의 플로우차트이다.
4:4:4 포맷의 원 동영상 데이터를 수신한다(S910). 원 동영상의 4:4:4 Cb/Cr 성분을 입력받아 다운 샘플링하여 4:2:2 포맷의 Cb/Cr 성분과 4:2:0 포맷의 Cb/Cr 성분을 만든다(S920). 4:2:0 포맷의 Cb/Cr 성분을 원 영상의 Y 성분과 함께 상술한 움직임 예측 부호화 방법에 따라 부호화하여 기본계층 비트 스트림을 생성한다(S930). 기본계층 비트 스트림 생성시에 만들어진 복호화된 4:2:0 포맷의 Cb/Cr 성분을 업샘플링하여 만들어진 4:2:2 포맷의 Cb/Cr 성분과, S920에서 만들어진 원래의 4:2:2 포맷의 Cb/Cr 성분의 차이인 차분 4:2:2 Cb/Cr 성분을 생성하고 이를 부호화하여 4:2:2 포맷의 제1향상계층 Cb/Cr 비트 스트림을 만든다(S940).
S940 단계에서 만들어진 제1향상계층 Cb/Cr 비트 스트림으로부터 복호화된 4:2:2 포맷의 Cb/Cr 성분과, 기본계층 비트 스트림 생성시에 만들어진 복호화된 4:2:0 포맷의 Cb/Cr 성분을 업샘플링하여 만들어진 4:2:2 포맷의 Cb/Cr 성분을 합하여 복호화된 4:2:2 Cb/Cr 성분을 생성한다(S950). S950에서 만들어진 4:2:2 포맷의 Cb/Cr 성분을 업샘플링하여 만들어진 4:4:4 포맷의 Cb/Cr 성분과 S920에서 만들어진 원래의 4:4:4 포맷의 Cb/Cr 성분의 차분 4:4:4 Cb/Cr 성분을 생성하고 이를 부호화하여 4:4:4 포맷의 제2향상계층 Cb/Cr 비트 스트림을 출력한다(S960).
도 10은 본 발명의 다른 실시예에 따른 신축적 컬러 영상 복호화 방법의 플로우차트이다.
4:2:0 포맷의 기본계층 비트 스트림을 수신하여 상술한 움직임 예측 복호화 방법에 따라 복호화하여 4:2:0 포맷의 컬러 영상을 출력한다(S1010). 상기 S1010 단계에서 만들어진 복호화된 4:2:0 포맷의 Cb/Cr 성분을 업샘플링하여 4:2:2 포맷의 Cb/Cr 성분으로 만든다(S1020). 제1향상계층 Cb/Cr 비트 스트림을 수신하여 4:2:2 포맷의 향상 계층 Cb/Cr 성분을 복호화한다(S1030). S1020에서 만들어진 4:2:2 포맷의 Cb/Cr 성분과 S1030에서 만들어진 4:2:2 포맷의 Cb/Cr 성분을 합하여 복호화된 4:2:2 포맷 Cb/Cr 성분을 생성한다(S1040). 상기 S1020 단계에서 만들어진 Y 성분과 상기 S1040 단계에서 만들어진 4:2:2 포맷 Cb/Cr 성분을 합쳐 4:2:2 포맷의 컬러영상을 출력한다(S1050).
상기 S1040 단계에서 만들어진 복호화된 4:2:2 포맷의 Cb/Cr 성분을 업샘플링하여 4:4:4 포맷의 Cb/Cr 성분으로 만든다(S1060). 제2향상계층 Cb/Cr 비트 스트 림을 수신하여 4:4:4 포맷의 향상 계층 Cb/Cr 성분을 복호화한다(S1070). 상기 S1060 단계에서 만들어진 4:4:4 포맷의 Cb/Cr 성분과 상기 S1070 단계에서 만들어진 4:4:4 포맷의 향상 계층 Cb/Cr 성분을 합하여 복호화된 4:4:4 포맷의 Cb/Cr 성분을 생성한다(S1080). 상기 S1020 단계에서 만들어진 Y 성분과 상기 S1080 단계에서 만들어진 4:4:4 포맷 Cb/Cr 성분을 합쳐 4:4:4 포맷의 컬러영상을 출력한다(S1090).
한편, 전술한 컬러영상 부호화 및 복호화 방법은 컴퓨터 프로그램으로 작성 가능하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 컬러영상 부호화 및 복호화 방법을 구현한다. 상기 정보저장매체는 자기 기록매체, 광 기록매체, 및 캐리어 웨이브 매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
전술한 바와 같이 본 발명에 따르면, 하나의 동영상을 다양한 컬러 포맷으로 부호화할 때 주변 여건에 따라 신축적으로 부호화하여, 효율적으로 저장, 전송, 재생할 수 있다.
Claims (4)
- 컬러 영상 복호화 방법에 있어서,(a) 영상의 휘도성분만을 가지고 움직임 예측 부호화 방법에 따라 부호화된 휘도성분 비트스트림을 입력받아 이를 복호화하여, 휘도 영상을 생성하는 단계;(b) 서로 다른 컬러포맷의 부호화된 색차성분 비트 스트림을 입력받아 이를 복호화하여, 서로 다른 컬러포맷의 색차 영상을 생성하는 단계;(c) 상기 복호화된 휘도영상과 색차영상을 합하여 서로 다른 컬러포맷의 영상을 생성하는 단계; 및(d) 상기 생성된 휘도영상 또는 상기 휘도영상과 합하여 생성된 서로 다른 컬러포맷의 영상을 네트워크 상태에 따라 선택적으로 출력하는 단계를 포함하는 것을 특징으로 하는 복호화 방법.
- 제1항에 있어서, 상기 (b) 단계는4:2:0, 4:2:2 및 4:4:4 컬러포맷의 부호화된 색차성분 비트 스트림을 각각 독립적으로 입력받아 복호화하는 것을 특징으로 하는 복호화 방법.
- 컬러 영상 복호화 장치에 있어서,영상의 휘도성분만을 가지고 움직임 예측 부호화 방법에 따라 부호화된 휘도성분 비트스트림을 입력받아 이를 복호화하여, 휘도 영상을 생성하는 휘도성분 복 호화부; 및서로 다른 컬러포맷의 부호화된 색차성분 비트 스트림을 입력받아 이를 복호화하여, 서로 다른 컬러포맷의 색차 영상을 생성하고, 이를 상기 복호화된 휘도영상과 합하여 서로 다른 컬러포맷의 영상을 생성하는 색차성분 복호화부를 포함하고,상기 복호화 장치는 상기 생성된 휘도영상 또는 상기 휘도영상과 합하여 생성된 서로 다른 컬러포맷의 영상을 네트워크 상태에 따라 선택적으로 출력하는 것을 특징으로 하는 복호화 장치.
- 제3항에 있어서, 상기 색차성분 복호화부는4:2:0, 4:2:2 및 4:4:4 컬러포맷의 부호화된 색차성분 비트 스트림을 각각 독립적으로 입력받아 복호화하는 것을 특징으로 하는 복호화 장치.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060080649A KR100708209B1 (ko) | 2006-08-24 | 2006-08-24 | 컬러 영상의 신축적 부호화, 복호화 방법 및 장치 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060080649A KR100708209B1 (ko) | 2006-08-24 | 2006-08-24 | 컬러 영상의 신축적 부호화, 복호화 방법 및 장치 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020040055081A Division KR100657268B1 (ko) | 2004-07-15 | 2004-07-15 | 컬러 영상의 신축적 부호화, 복호화 방법 및 장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20060108253A true KR20060108253A (ko) | 2006-10-17 |
KR100708209B1 KR100708209B1 (ko) | 2007-04-18 |
Family
ID=37628085
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020060080649A KR100708209B1 (ko) | 2006-08-24 | 2006-08-24 | 컬러 영상의 신축적 부호화, 복호화 방법 및 장치 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100708209B1 (ko) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010074407A2 (ko) * | 2008-12-23 | 2010-07-01 | 에스케이텔레콤 주식회사 | 컬러 영상 부호화/복호화 방법 및 장치 |
KR101030638B1 (ko) * | 2007-01-12 | 2011-04-20 | 미쓰비시덴키 가부시키가이샤 | 동화상 부호화 장치, 동화상 부호화 방법, 동화상 복호 장치 및 동화상 복호 방법 |
WO2024093317A1 (zh) * | 2022-10-31 | 2024-05-10 | 华为技术有限公司 | 图像分层编码方法和装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3913957A1 (de) * | 1988-04-30 | 1989-11-16 | Hitachi Ltd | Verfahren und vorrichtung zum verarbeiten von farbvideosignalen |
KR100375222B1 (ko) * | 2000-07-19 | 2003-03-08 | 엘지전자 주식회사 | 스케일러블 칼라 히스토그램 엔코딩 방법 |
US6714257B2 (en) * | 2001-06-29 | 2004-03-30 | Koninklijke Philips Electronics N.V. | Color key preservation during sample rate conversion |
-
2006
- 2006-08-24 KR KR1020060080649A patent/KR100708209B1/ko not_active IP Right Cessation
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101030638B1 (ko) * | 2007-01-12 | 2011-04-20 | 미쓰비시덴키 가부시키가이샤 | 동화상 부호화 장치, 동화상 부호화 방법, 동화상 복호 장치 및 동화상 복호 방법 |
US8369404B2 (en) | 2007-01-12 | 2013-02-05 | Mitsubishi Electric Corporation | Moving image decoding device and moving image decoding method |
WO2010074407A2 (ko) * | 2008-12-23 | 2010-07-01 | 에스케이텔레콤 주식회사 | 컬러 영상 부호화/복호화 방법 및 장치 |
WO2010074407A3 (ko) * | 2008-12-23 | 2010-08-26 | 에스케이텔레콤 주식회사 | 컬러 영상 부호화/복호화 방법 및 장치 |
US8824562B2 (en) | 2008-12-23 | 2014-09-02 | Sk Telecom Co., Ltd. | Method and apparatus for encoding/decoding color image |
WO2024093317A1 (zh) * | 2022-10-31 | 2024-05-10 | 华为技术有限公司 | 图像分层编码方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
KR100708209B1 (ko) | 2007-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100657268B1 (ko) | 컬러 영상의 신축적 부호화, 복호화 방법 및 장치 | |
CN111869212B (zh) | 视频解码方法、装置和可读介质 | |
CN112042188B (zh) | 用于视频压缩中非正方形块的帧内预测的方法和装置 | |
US8619854B2 (en) | Scalable video encoding and decoding method using switching pictures and apparatus thereof | |
KR101053628B1 (ko) | 영상 신호의 스케일러블 인코딩 및 디코딩 방법 | |
US8155181B2 (en) | Multilayer-based video encoding method and apparatus thereof | |
KR20060105409A (ko) | 영상 신호의 스케일러블 인코딩 및 디코딩 방법 | |
US8306342B2 (en) | Method and apparatus to encode/decode image efficiently | |
CN112106371A (zh) | 用于视频编码的方法和装置 | |
US20090103613A1 (en) | Method for Decoding Video Signal Encoded Using Inter-Layer Prediction | |
KR20060088461A (ko) | 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치 | |
KR20080093386A (ko) | 컬러 동영상 신축 부호화와 복호화 방법 및 그 장치 | |
JP6409516B2 (ja) | ピクチャ符号化プログラム、ピクチャ符号化方法及びピクチャ符号化装置 | |
KR100880640B1 (ko) | 스케일러블 비디오 신호 인코딩 및 디코딩 방법 | |
JP2007266749A (ja) | 符号化方法 | |
KR100883604B1 (ko) | 스케일러블 비디오 신호 인코딩 및 디코딩 방법 | |
KR100878824B1 (ko) | 스케일러블 비디오 신호 인코딩 및 디코딩 방법 | |
US20150312579A1 (en) | Video encoding and decoding method and device using said method | |
KR100708209B1 (ko) | 컬러 영상의 신축적 부호화, 복호화 방법 및 장치 | |
JP2007266748A (ja) | 符号化方法 | |
KR100878825B1 (ko) | 스케일러블 비디오 신호 인코딩 및 디코딩 방법 | |
CN116325723B (zh) | 用于视频解码的方法、计算机设备及介质 | |
CN112118452B (zh) | 视频解码的方法和装置、计算机设备 | |
JP2013524554A (ja) | 高効率な動画符号化のための符号語の制約 | |
KR20060059770A (ko) | 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment | ||
FPAY | Annual fee payment | ||
FPAY | Annual fee payment |
Payment date: 20160330 Year of fee payment: 10 |
|
FPAY | Annual fee payment |
Payment date: 20170330 Year of fee payment: 11 |
|
LAPS | Lapse due to unpaid annual fee |