KR20060027796A - 영상의 그룹을 인코딩 및/또는 디코딩하기 위한 방법 - Google Patents

영상의 그룹을 인코딩 및/또는 디코딩하기 위한 방법 Download PDF

Info

Publication number
KR20060027796A
KR20060027796A KR1020057022298A KR20057022298A KR20060027796A KR 20060027796 A KR20060027796 A KR 20060027796A KR 1020057022298 A KR1020057022298 A KR 1020057022298A KR 20057022298 A KR20057022298 A KR 20057022298A KR 20060027796 A KR20060027796 A KR 20060027796A
Authority
KR
South Korea
Prior art keywords
screen
sequence
determining
motion
configuration information
Prior art date
Application number
KR1020057022298A
Other languages
English (en)
Other versions
KR101011894B1 (ko
Inventor
에도워드 프랑소이스
도미니꿰 토리우
귈라움 보이슨
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20060027796A publication Critical patent/KR20060027796A/ko
Application granted granted Critical
Publication of KR101011894B1 publication Critical patent/KR101011894B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/62—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding by frequency transforming in three dimensions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 영상의 그룹을 인코딩 및/또는 디코딩하기 위한 방법에 관한 것이다. 본 발명은 영상 플로(flow)의 시간적 분해 동안 3D 웨이블릿을 처리하는 프레임워크에 그 방법을 제공하는데, 영상(GOP1, GOP2,,,)의 수, 기준 화면(R)의 선택 및 GOP 타입의 각 영상 시퀀스에 대한 시간적 분해(S)의 방향을 채택하여, 연결되지 않은 픽셀들의 수를 최소화한다.
시간적 분해, 3D 웨이블릿, 기준 화면, 영상 시퀀스, 시간적 분해

Description

영상의 그룹을 인코딩 및/또는 디코딩하기 위한 방법{METHOD FOR ENCODING AND/OR DECODING GROUPS OF IMAGES}
본 발명은 화면(picture)들의 그룹들을 코딩 및/또는 디코딩하는 방법에 관한 것이다.
본 발명은 3D 웨이블릿 분해법(wavelet decomposition)에 기초한 비디오 압축의 환경에 적용한다.
본 기술분야에 있어서, 2차원 또는 2D 화면에 웨이블릿 분해법을 적용하는 프로세스에 따라 화면들의 그룹 또는 GOP(group of pictures)를 분해하는 3D 웨이블릿 화면 분해의 기술은 이미 제안되었었다. 이에 기초하여, 3차원의 역할을 하는 시간 차원을 따라 데이터 스트림을 압축한다.
본 기술분야에 있어서, 가장 까다로운 일은 웨이블릿 시간적 분해(temporal decomposition) 동안에 발생한다. 시간적 분해가 수행될 때, GOP 화면 시퀀스에서 모션 벡터(motion vector)로 인해 결합하는 픽셀들은 태그(tag) 된다. 이제, 시간 차원을 따라 압축 동작을 수행할 때, 모션 벡터가 통과하지 않은 픽셀들은 누락되었다고 인식한다.
이러한 문제를 해결하고, 프로세싱 동안의 정보 손실을 예방하기 위해서는, 이러한 픽셀들에 특별한 프로세싱을 적용하여, 웨이블릿 프로세싱의 능률(efficiency)을 감소시키는 것이 필요하다.
일반적인 비디오 코딩 방식에 있어서, 모션(motion)은, 예를 들어 16 픽셀 폭 × 16 픽셀 높이의 블록들에 의해 기술한다. 이에 의해 상술한 문제는 블록들의 경계로 이동한다.
이 문제를 해결하기 위해서는, 화면 시퀀스의 2개 가동 방향(running direction), 즉 GOP 화면 시퀀스의 순방향(natural direction) 및 역방향(opposite direction)에서의 픽셀의 경로(trajectory)를 또한 고려한다. 그러나 모션 정보의 양을 종래 기술에 비해 2배로 한다.
본 기술분야의 이러한 단점을 해결하기 위하여, 본 발명은, 각 시퀀스에 대한 구성 데이터(configuration data)를 선택하고, 각 GOP 화면 시퀀스에서의 언커넥티드(unconnected) 픽셀들의 수를 감소시킬 수 있는 최적화 기준(criterion)을 선택하는 것으로 구성한다.
본 발명에 따르면, 3D 웨이블릿 분해법에 따른 많은 프로세싱을 요구하지 않으면서도, 언커넥티드 픽셀들의 수는 상당히 감소한다.
구체적으로 설명하면, 본 발명은 3D 웨이블릿 프로세싱에 기초하여 화면 시퀀스들을 코딩 및/또는 디코딩하는 방법에 관한 것이다. 본 발명에 따른 방법은,
3D 웨이블릿 코딩을 구성하기 위한 적어도 하나의 정보 항목을, 사전설정된 최적의 기준에 기초하여, 연속 화면들의 시퀀스에 대한 기준 화면의 선택으로서 결정하기 위한 단계,
상기 화면들의 시퀀스에 대한 기준 화면의 자료를 포함하는 구성 정보 유닛을 생성하기 위한 단계, 및
상기 구성 정보에 기초하여 상기 3D 웨이블릿 코딩을 실행하기 위한 단계
를 포함하는 코딩 단계를 포함하여,
화면들의 각 시퀀스에 대한 구성 정보 유닛 및/또는 화면 시퀀스의 화면들에 대한 3D 웨이블릿 코딩 데이터의 연합(union)을 포함한 코딩된 데이터 스트림을 생성한다.
본 발명의 양상에 따르면, 적어도 하나의 구성 정보 항목을 결정하기 위한 단계는, 기준 화면으로서 적어도 하나의 테스트 화면에서의 웨이블릿 분해의 단계, 모션 평가의 단계, 모션 평가 단계 동안의 언커넥티드 픽셀의 수가 최소가 되는 화면 시퀀스의 화면을 기준 화면으로서 결정하는 단계를 포함한다.
본 발명의 양상에 따르면, 적어도 하나의 구성 정보 항목을 결정하기 위한 단계는, 적어도 하나의 테스트 화면에서의 모션의 크기를 결정하는 단계, 화면에서의 모션의 크기가 최소가 되는 화면 시퀀스의 화면을 기준 화면으로서 결정하는 단계를 포함한다.
본 발명의 양상에 따르면, 적어도 하나의 구성 정보 항목을 결정하기 위한 단계는, 적어도 하나의 테스트 화면에서의 고주파 성분들을 측정함으로써 텍스처 정보 항목을 결정하는 단계, 텍스처 정보 항목이 가장 풍부하게 되는 화면 시퀀스의 화면을 기준 화면으로서 결정하는 단계를 포함한다.
본 발명의 양상에 따르면, 적어도 하나의 구성 정보 항목을 결정하기 위한 단계는, 상기 화면 시퀀스에서의 화면들의 수에 대한 판정을 또한 포함한다.
본 발명의 양상에 따르면, 적어도 하나의 구성 정보 항목을 결정하기 위한 단계는, 화면 시퀀스에 대한 시간 분해의 적어도 하나의 방향에 대한 판정을 또한 포함한다.
본 발명의 양상에 따르면, 적어도 하나의 구성 정보 항목을 결정하기 위한 단계는,
사전설정된 크기의 화면 시퀀스들 GOP를 구성하는 제1 단계,
각각의 화면 시퀀스에 대하여, 언커넥티드 픽셀들의 수를 최소화하도록 선택함으로써, 화면 시퀀스의 최초 화면을 기준 화면으로 포워드 방향을 시간 분해의 방향으로서 선택하고, 화면 시퀀스의 최종 화면을 기준 화면으로 백워드 방향을 시간 분해의 방향으로서 선택하는 제2 단계
로 구성한다.
본 발명의 양상에 따르면, 적어도 하나의 구성 정보 항목을 결정하기 위한 단계는,
사전설정된 크기의 GOP 화면 시퀀스를 구성하는 제1 단계,
기준 화면의 선택을 실행하는 제2 단계로 구성하고,
시간 분해의 방향은, 선택된 기준 화면에 후속하는 화면 시퀀스의 화면들에 대한 포워드 방향 및 선택된 기준 화면에 선행하는 화면 시퀀스의 화면들에 대한 백워드 방향으로 결정한다.
본 발명의 양상에 따르면, 적어도 하나의 구성 정보 항목을 결정하기 위한 단계는,
화면들 간의 포워드 방향에서는, 모션을 평가하는 단계, 포워드 모션 평가에서의 모션점들의 경로들을 구성하는 단계, 및 경로들을 구성하는 단계 동안 언커넥티드 픽셀들의 수를 계산하는 단계
화면들 간의 백워드 방향에서는, 화면들 간의 백워드 방향에서의 모션을 평가하는 단계, 포워드 모션 평가에서의 모션점들의 경로들을 구성하는 단계, 및 경로들을 구성하는 단계 동안 언커넥티드 픽셀들의 수를 계산하는 단계
언커넥티드 픽셀들의 가장 적은 수에 기초하여 최적의 기준 화면을 선택하는 단계
를 포함한다.
본 발명의 양상에 따르면, 적어도 하나의 구성 정보 항목을 결정하기 위한 단계는,
화면들 간의 포워드 방향에서의 모션을 평가하는 단계, 동시에, 화면들 간의 백워드 방향에서의 모션을 평가하는 단계,
GOP 시퀀스의 각 화면에 대해 적응화 루프를 수행하는 과정 중에 연속적으로 실행되는 경로들을 구성하는 단계, 언커넥티드 픽셀들의 수를 계산하는 단계,
언커넥티드 포인트들의 가장 적은 수에 기초하여, 적응중인 GOP 화면 시퀀스에서의 최적의 기준 화면을 선택하는 단계
를 포함한다.
본 발명의 양상에 따르면, 본 방법은,
주어진 2진 데이터 스트림에 대해 수행한 3D 웨이블릿 코딩의 특징을 결정하는 구성 정보 유닛을 디코딩하고,
3D 웨이블릿 디코딩 프로세싱 회로들을 업데이트하며,
화면 시퀀스를 나타내는 2진 데이터 스트림을 디코딩하여, 상기 주어진 2진 데이터 스트림에 포함된 적어도 하나의 화면들의 시퀀스를 출력에 제공하는
디코딩 단계를 포함한다.
본 발명의 양상에 따르면, 본 방법은 3D 웨이블릿 기반의 비디오 압축기/역압축기 방식으로 통합된다.
본 발명의 양상에 따르면, 본 방법은 MPEGTM 코딩/디코딩 방식으로 통합된다.
GOP에서 모션의 계산을 수행하는데 기초가 되는 기준 화면(reference picture)의 선택, 시간적 분해의 방향 선택은, 이 모션에 의해 연결되는 픽셀들의 수의 함수로서 수행되고, 그 정보는 모션 벡터 필드 텍스처 또는 모션 데이터와 결합될 수도 있다. 2D+T 웨이블릿 분해의 효율은 시간적으로 연결되는 픽셀들의 수를 이용해 개선된다.
본 발명의 다른 특징 및 장점은, 이하의 설명 및 첨부한 도면들에 의해 더욱 명백해질 것이다.
도 1 내지 5는 본 기술분야의 해결책들을 나타내는 도면들이다.
도 6 내지 9는 본 발명에 따른 방법의 다양한 단계들을 나타내는 도면들이다.
도 10 및 11은 본 발명에 따른 방법을 구현하는 디바이스의 특정 실시예를 나타내는 도면들이다.
도 1은 본 기술분야에 따른 3D 웨이블릿 압축 방식의 실시예를 나타낸다. 이 3D 웨이블릿 압축 방식은 본 발명에 따른 방법이 실행된 후에 또한 이용될 수도 있음을 알게 될 것이다. 본 방법의 관점에서 기술하는 것은 화면 시퀀스를 처리하기 위한 컴퓨터에서의 프로세싱 블록의 형태로 구현될 수 있음을 또한 알게 될 것이다.
단계 1에서, N개 연속하는 화면을 포함하는 화면들의 시퀀스 GOP를 획득 또는 합성한다. 다음으로, GOP 시퀀스는 화면 간의 모션을 평가하는 단계 3에 병렬인 웨이블릿 분해 단계 2로 전송한다.
웨이블릿 분해 단계는, 시간 도메인에서 분석하는 단계 2a와, 공간 도메인에서 분석하는(패턴 반복 주파수 등) 단계 2b를 포함한다.
실제로 본 기술분야에서, 모션 평가 단계 3은, 시퀀스의 최종 화면인 GOP 화면 시퀀스에서의 베이스 화면(base picture)의 선택으로부터 시작한다. 화면_2와 화면_1 간의 차이점, 다음으로 화면_3과 화면_2 간의 차이점 등과 같은 화면들의 차이점을 통해 모션의 평가가 이루어진다. 이러한 모션 평가를 달성한 경우, 모션 평가 정보 항목 8은, 웨이블릿 분해를 위한 시간 도메인에서의 분석 단계 2a에 모션 평가 정보 항목을 전송하여, 모션 방향에서의 1차원 웨이블릿 분해를 실행한다.
이 웨이블릿 분해 동안, 상이한 시간 주파수에 대응하는 변환된 화면의 시퀀스가 생성된다. 시간 주파수로 변환된 화면의 시퀀스는, 2D 웨이블릿 변환에 의한 공간 분해의 단계 2b에서 처리한다.
단계 3의 모션 평가 단계의 종료 시, GOP 화면 시퀀스에서의 모션 벡터를 나타내는 모션 계수는, GOP 화면 시퀀스에서의 모션을 나타내는 벡터 필드를 코딩하는 단계로 전송한다.
공간 분석의 단계 2b의 종료 시, 화면 시퀀스의 각 화면에서의 공간 주파수를 나타내는 계수는, 엔트로피 코딩(entropy coding) 회로의 입력부로 전송한다.
단계 4에서 수행하는 엔트로피 코딩은 2개의 단계(phase), 즉 사전 모델링 및 적절한 코딩을 포함한다. 모델링은 처리중인 데이터 플로(data flow)에서의 각 심벌에 대한 확률(probability)의 할당을 가능하게 한다. 코딩은 할당된 확률에 좌우되는 길이를 갖는 2진 워드(binary word)를 각 심벌에 할당한다. 이를 위하여, Huffman 코드와 같은 인코딩 방식 또는 산술 코딩(arithmetic coding)을 이용한다.
엔트로피 코딩(4)에서 발생하는 코딩 계수는 데이터 스트림 형성 프로세싱 회로(6)의 제1 입력부로 전송하는데, 그 회로의 제2 입력부는 단계 3에서 발생하는 모션 벡터 필드의 성분을 수신한다. 그래서 전체적으로는, 암호화, 저장 또는 전송 프로세싱과 같은 어떤 적합한 후속 프로세싱에 적용할 수도 있는 2진 데이터 트 레인(7)을 생성하는 방식으로 나열되는 3D 웨이블릿 계수 데이터 스트림을 구성한다.
도 2는 4개 화면의 GOP 화면 시퀀스의 경우에서의 1차원 변환 기술을 나타내는 다이어그램을 나타낸다. 시간 필터링은, 모션 평가 단계 3에서 선택한 베이스 화면의 각 포인트의 경로를 따라 수행한다. 도 2에서 화면_1, 화면_2 등으로 나타낸 각 화면은, 1차원 웨이블릿 변환을 위한 종래 방식에 대응하는 화면의 픽셀들이 나열되는 형태로 나타낸다. 도 2에서 고려되는 경로는, 화면_1에서의 ×1, 화면_2에서의 ×2 등으로 각각 태그된 위치를 통과한다. 화살표 F1, F2 및 F3은, 화면 간 변위(inter-picture displacement)를 나타내고, GOP 화면 시퀀스의 전체에 대해 고려되는 경로에 대응하는 웨이블릿 계수를 식별할 수 있게 한다.
도 3은 도 1의 단계 2에서 설명한 1차원 웨이블릿 분해의 단계를 나타낸다. 이 예에서, 길이가 2인 시간 필터링을 이용해 길이가 4인 GOP의 2-레벨 분해를 고려한다. 계수의 시퀀스 [×1,×2,×3,×4]에 그러한 분해를 적용하는 경우, 먼저 저역통과 필터링(low-pass filtering)의 단계 10 및 2에 의한 서브샘플링을 적용하여, 한 쌍의 저주파 계수 [L1,L2]를 생성한다. 동시에, 고역통과 필터링(high-pass filtering)의 단계 11 및 2에 의한 서브샘플링을 적용하여, 한 쌍의 고주파 계수 [H1,H2]를 생성한다.
다음으로, 한 쌍의 저주파 계수 [L1,L2]에 대해, 2에 의한 저역통과 필터링 및 서브샘플링의 단계 12를 다시 적용하여, 가장 낮은 시간 주파수 성분을 나타내는 계수 [LL]을 생성하고, 동시에, 2에 의한 고역통과 필터링 및 서브샘플링의 단 계 13을 다시 적용하여, 중간 주파수 성분을 나타내는 계수 [LH]를 생성한다. 따라서 4개의 시간 주파수 웨이블릿 변환 계수 [LL,LH,H1,H2]의 배치(batch)를 얻는다. 게다가, 3D 웨이블릿 화면 압축을 위한 최근의 방식에 있어서, 화면 2와 3 간의 필드 F2는 평가하지 않고, 필터링 12 및 13은 실제로는 L1과 L2 사이에서 평가된 필드를 이용해 수행한다.
이러한 변환은 기준 화면(reference picture)에서 발생하는 경로마다 수행되고, 이에 의해, 도 4에서 각각 화면_H1, 화면_H2, 화면_LH 및 화면_LL로 나타낸 시간 주파수로 변환되는 화면들을 생성할 수 있다. 도 2의 화면_1, 화면_2 등의 화면에서 태그된 모션점(motion dot)에 대응하는 4개의 계수는, 각각 자신의 시간 주파수 전위(transposition)의 형태, 즉 화면_H1에서의 H1, 화면_H2에서의 H2, 화면_LH에서의 LH 및 화면_LL에서의 LL이다. 경로는 도 4의 시간 주파수 도메인에서 고려된다.
본 출원의 서두에서 나타낸 바와 같이, 도 4에서 도시한 시간 분해가 완료되면, 모션 벡터가 통과하지 않은 픽셀에는 도 5의 시간 주파수 도메인에서의 어떤 값이 할당되지 않는다. 본 기술분야에서, 그러한 픽셀은 언커넥티드(unconnected) 픽셀로 부른다. 모션 벡터에 할당되는 다른 모든 픽셀은 정확하게 처리한다. 그러나 마지막 변환 8에 있어서, 시퀀스 {화면_1, 화면_2, 화면_3, 화면_4}의 다이어그램들의 다른 픽셀들을 연결하는 모션 벡터가 도달하지 않아, 도 5의 좌측 기준 "화면_1"상의 다이어그램에서 "×"로 마크된 언커넥티드 픽셀에 관한 정보가 추가되지 않는 경우, 그러한 시퀀스의 복원으로는 GOP 화면 시퀀스를 신뢰성 있게 시작하 지 못할 것이다.
본 발명에 따른 방법은, 위에서 정의한 바와 같은 본 기술상태의 엘리먼트를 정확하게 도입한다. 데이터 스트림은, 카메라를 이용해 생성한 화면 또는 합성 화면의 생성기를 이용해 생성한 화면 등의 "내처럴" 화면의 스트림으로 구성한다. 본 발명에 따른 방법은, 3D 웨이블릿 코딩을 위한 구성 정보 유닛을, 종래 코더(coder)의 출력부(7)에서 기술하는 데이터 스트림과 관련시킴으로써 주로 구성한다. 코딩을 위한 구성 정보는 코딩 방식 비용 기준에 대한 최적의 응답을 보장한다.
2개 모드가 구현될 수도 있다.
- 단방향 모드(unidirectional mode) 또는 포워드/백워드 모드(forward/backward mode). 이 모드에 있어서, 모션 보상의 방향은 GOP 내에서 일정해야 한다. 이 모드에 있어서, GOP의 최초 및 최종 화면만이 기준 화면의 선택을 위한 후보이다.
- GOP의 모든 화면이 기준 화면의 선택을 위한 후보인 양방향 모드(bidirectional mode). 이 모드에 있어서, 모션 보상의 양쪽 방향은 기준 화면의 어느 한쪽에 대해 이용할 수 있다. 도 6 및 7은 단방향 모드 또는 "포워드/백워드" 모드를 나타내고, 도 8 및 9는 양방향 모드를 나타낸다.
도 6은 단방향 모드에서의 화면 분해를 나타내는데, GOP 화면 시퀀스당 단일 방향의 보상을 허용한다. 각 화면은 수직 스트로크(stroke)에 의해 시간 도메인에서 나타낸다. 화면 스트림은, 좌측에서 우측으로의 화면의 시간 시퀀스에서, GOP1, GOP2 및 GOP3에 의해 시간적으로 연속해서 지정되는 3개의 GOP 화면 시퀀스로 분리된다.
본 발명에 따르면, 각 시퀀스 GOP1, GOP2, GOP3 등의 화면의 수는, GOP당 언커넥티드 픽셀의 수에 대한 상한 제약(upper bound constraint)과 관련이 있다.
본 발명에 따르면, 굵은 스트로크로 마크한 기준 화면 R의 선택은 주어진 기준에 의해 이루어진다. 기준에 대한 복수의 예를 이하에서 설명한다.
제1 기준은 GOP에서의 언커넥티드 픽셀의 수의 최소화이다. 이 경우, 모션 보상의 2개 방향 각각에 대한 GOP에서의 언커넥티드 픽셀의 수를 계산한다. 다음으로, 전체 GOP에 대한 언커넥티드 픽셀의 수를 최소화하는 방향 및 기준 화면을 선택한다.
제2 기준은 모션의 크기의 최소화이다. 이 경우, 2개 방향 각각에 대해, 예를 들어 각 필드의 각 모션 벡터 성분의 제곱의 합을 계산함으로써, 전체 GOP에서의 모션의 크기를 측정한다. 다음으로, 모션의 최소 크기를 나타내는 방향 및 기준 화면을 선택한다.
제3 기준은 기준 화면의 풍부한 정보이다. 이 경우, 각각의 웨이블릿 분해의 고주파의 크기에 의해 최초 및 최종 화면의 텍스처(texture) 정보 항목을 측정하고, 가장 풍부한 것을 기준 화면으로서 선택한다.
도 6에 나타낸 예에 있어서, 화면 스트림에서의 화면의 시퀀스는 다음의 방식으로 표에서 정의한다.
시퀀스 크기 기준 화면 방향
GOP1 4 화면 최종 화면 <백워드>
GOP2 8 화면 최종 화면 <백워드>
GOP3 4 화면 최초 화면 <포워드>
도 7은 본 발명에 따른 방법의 실시예를 나타내며, 단방향 모드에서는, 언커넥티드 픽셀의 수의 최소화를 이용한다. 식별되는 단계들은 본 방법을 실행하기 위한 회로 형태에서의 식별가능한 프로세서 또는 식별가능한 프로세서의 부분상에서 각각 실행할 수도 있고, 구현 디바이스는 그 프로세서로부터 직접적으로 구동한다.
단계 20에서는 화면 스트림을 획득하여, 화면 간의 포지티브(positive) 방향에서의 모션을 평가하는 단계 21로 전송하고, 동시에, 화면 간의 네거티브(negative) 방향에서의 모션을 평가하는 단계 22로 전송한다.
다음으로, 단계 24에서는 포워드 모션 평가 21에 대해, 그리고 단계 25에서는 백워드 모션 평가 22에 대해 모션점의 경로를 구성한다.
그 다음, 단계 26에서는 단계 24의 경로 구성에 대해, 그리고 단계 27은 단계 25의 경로 구성에 대해 언커넥티드 픽셀의 수를 계산한다.
마지막으로, 단계 28에서는 모션 보상의 최적의 방향을 선택하고, 단계 29에서는 채택되는 GOP 화면 시퀀스의 공간 변환을 나타내는 2진 스트림을 생성한다.
단계 28에서는 단계 26 또는 단계 27에서 기록된 언커넥티드 픽셀의 가장 적은 수를 통해 모션 보상의 최적 방향을 선택한다.
언커넥티드 픽셀의 수를 최소화함으로써 포지티브 방향이 검출되는 경우, 선 택되는 기준 화면은 적응중인 GOP 화면 시퀀스의 최종 화면임을 알게 된다. 반대로, 언커넥티드 픽셀의 수를 최소화함으로써 네거티브 방향이 검출되는 경우, 선택되는 기준 화면은 적응중인 GOP 화면 시퀀스의 최초 화면이다.
본 발명은 GOP의 모든 화면을 기준 화면의 선택을 위한 후보로 허용가능 하게 확장할 수도 있다. 이는 양방향 모드이다. 시간적 분해의 양쪽 방향은, 기준 화면의 다른 쪽에 대한 어떤 GOP 화면 시퀀스 및 동일한 GOP 화면 시퀀스를 위해 채택할 수도 있다.
도 8은, 도 6을 참조하여 설명한 코딩과 동일한 코딩을 채택하는 3개의 GOP 화면 시퀀스로 분리되는 화면 스트림의 부분을 나타낸다. 그러나 각 GOP 시퀀스는 분해 S 및 S'의 1개 방향 또는 2개 방향을 포함한다. 분해 S 및 S'의 2개 방향이 제공되는 경우, 기준 화면은 GOP 시퀀스 내에서 결정된다.
이 모드에 있어서, 기준 화면 R의 선택은 단방향 모드에서의 기준과 동일한 기준, 즉 전체 GOP에 대한 언커넥티드 픽셀의 수의 최소화, 전체 GOP에서의 모션의 크기의 최소화 및 화면의 선택에 의해 이루어진다.
도 9는, 언커넥티드 픽셀의 수의 최소화 기준을 이용해, GOP의 모든 화면이 기준 화면의 선택을 위한 후보인 양방향 모드에서의 본 발명에 따른 방법의 실시예를 나타낸다. 다시 한번, 식별되는 단계들은 본 방법을 실행하기 위한 회로 형태에서의 식별가능한 프로세서 또는 식별가능한 프로세서의 부분상에서 각각 실행할 수도 있고, 구현 디바이스는 그 프로세서로부터 직접적으로 구동한다.
단계 30에서는 화면 스트림을 획득하여, 화면 간의 포지티브 방향에서의 모 션을 평가하는 단계 31로 전송하고, 동시에, 화면 간의 네거티브 방향에서의 모션을 평가하는 단계 32로 전송한다.
다음으로, GOP 시퀀스의 각 화면에 대해 적응화 루프 33이 수행되는데, 그 과정에 있어서, 경로를 구성하는 단계 34 및 언커넥티드 픽셀의 수를 계산하는 단계 35가 연속적으로 실행된다.
그 다음, 적응중인 GOP 화면 시퀀스에서의 최적의 기준 화면 R을 선택하는 단계가 수행된다. 도 9에 있어서, 최적의 기준 화면을 선택하기 위한 기준은 가장 적은 수의 언커넥티드 포인트이다.
본 발명에 따른 방법은 3D 웨이블릿 비디오 압축기/역압축기 방식으로 통합된다. 그러한 애플리케이션에서, 본 발명에 따른 방법은 3개의 상이한 플레이스(place), 즉
- 코딩 단계가 구현되는 플레이스
- 구성 정보 유닛 및 3D 웨이블릿 코딩 데이터를 포함하는 2진 데이터 스트림이, 전송 신호 또는 기록된 데이터의 캐리어(carrier)의 형태로 존재하는 상태인 플레이스
- 디코딩 단계가 구현되는 플레이스
에서 구현된다.
본 발명의 양상에 따르면, 본 방법은 MPEGTM 코딩/디코딩 방식으로 통합된다. 이러한 조정(arrangement)은 MPEG-7 표준의 구현의 프레임워크(framework) 내 에 특히 관련이 있다.
도 10은 본 발명에 따른 방법을 구현하는 3D 웨이블릿 코딩 디바이스의 실시예에 대한 상세한 블록도를 나타낸다.
그러한 디바이스는 화면 그룹 분석기 회로(101)의 입력부에 링크하는 비디오 데이터 스트림(106)을 위한 입력단(100)을 포함하고, 분석기 회로의 제1 출력단(107)은, 3D 웨이블릿 코딩을 위한 구성 정보 유닛을 생성하는 회로(103)의 입력단(109')과, 적절한 3D 웨이블릿 코더(102)의 입력단(109)에 연결하여, 본 발명의 상술한 방법에 의해 적용되는 3D 웨이블릿 프로세싱을 정의하는 구성 데이터를 화면에 제공한다. 마지막으로, 회로(101)는 3D 웨이블릿 프로세싱을 적절한 3D 웨이블릿 코더(102)상에서 계속하기 위한 제2 출력단을 포함한다.
코더(102)의 출력단(110) 및 생성 회로(103)의 출력단(111)은 회로(104)의 대응 입력부에 연결하는데, 회로(104)는 2진 데이터 스트림 FDB를 형성하여 출력부(105)에 제공하며, 결정된 프로토콜에 의해 시퀀스, 즉
- GOP 화면 시퀀스와 관련된 3D 웨이블릿 코딩 구성 정보 유닛의 시퀀스, 및
- 대응하는 GOP 화면 시퀀스의 3D 웨이블릿 코딩의 결과에 대응하는 2진 데이터 스트림의 시퀀스
를 포함한다.
따라서, 구성되는 데이터 스트림은, 새로운 프로세싱 회로, 기록 디바이스 또는 전송 라인으로 전송할 수 있다.
도 11은 본 발명에 따른 방법을 구현하는 3D 웨이블릿 디코딩 디바이스의 실 시예에 대한 상세한 블록도를 나타낸다.
그러한 디바이스는 식별 회로(121)에 연결하는 입력단(120)을 포함하고, 식별 회로의 출력단 126 및 127은, 3D 디코딩 구성 정보 생성 회로(122) 및 3D 웨이블릿 디코딩 회로(123)에 각각 연결한다. 식별기(121)는 도 10의 회로에서 발생한 2진 데이터의 스트림을 분석하여, 2진 데이터 스트림에 적용하는 3D 웨이블릿 코딩의 정보 특징을 식별기(121)의 제1 출력단(126)에 제공한다.
다음으로, 2진 데이터 스트림은 식별기의 출력단(127)에 제공되고, 디코더(123)에 로드된다. 디코더는 구성 입력단을 포함하여, 기준 화면의 자료(datum), 분해의 방향 및/또는 데이터 스트림(120)에서 나타낸 화면 시퀀스의 화면의 수와 같은 각각의 구성 정보 유닛에 포함된 정보에 기초해 구성 정보를 생성하는 회로(122)의 단자(128)에서 발생하는 구성 정보를 수신한다. 디코드된 GOP 화면의 시퀀스는 출력단(124)에 제공한다.
본 발명은 3D 웨이블릿 분해법에 기초한 비디오 압축 분야에서의 애플리케이션을 발견한다. 그러므로 3D 웨이블릿 기반의 비디오 압축기/역압축기 방식으로 통합될 수 있다.
본 발명은 종래의 하이브리드 코딩 방식, 특히 타입 I 화면 및 타입 P 화면이 기준 화면의 역할을 하는 MPEG 타입 방식에서의 애플리케이션을 발견한다. 이 경우, 본 발명에 따른 방법은 MPEG 코딩/디코딩 방식으로 통합된다.

Claims (13)

  1. 3D 웨이블릿 프로세싱에 기초하여 화면 시퀀스들을 코딩 및/또는 디코딩하는 방법으로서,
    상기 방법은,
    3D 웨이블릿 코딩을 구성하기 위한 적어도 하나의 정보 항목을, 사전설정된 최적의 기준에 기초하여, 연속 화면들의 시퀀스에 대한 기준 화면의 선택으로서 결정하기 위한 단계,
    상기 화면들의 시퀀스에 대한 기준 화면의 자료를 포함하는 구성 정보 유닛을 생성하기 위한 단계, 및
    상기 구성 정보에 기초하여 상기 3D 웨이블릿 코딩을 실행하기 위한 단계
    를 포함하는 코딩 단계를 포함하여,
    화면들의 각 시퀀스에 대한 구성 정보 유닛 및/또는 화면 시퀀스의 화면들에 대한 3D 웨이블릿 코딩 데이터의 연합(union)을 포함한 코딩된 데이터 스트림을 생성하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 적어도 하나의 구성 정보 항목을 결정하기 위한 단계는, 기준 화면으로서 적어도 하나의 테스트 화면에서의 웨이블릿 분해의 단계, 모션 평가의 단계, 모션 평가 단계 동안의 언커넥티드 픽셀의 수가 최소가 되는 화면 시퀀스의 화면을 기준 화면으로서 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    상기 적어도 하나의 구성 정보 항목을 결정하기 위한 단계는, 적어도 하나의 테스트 화면에서의 모션의 크기를 결정하는 단계, 화면에서의 모션의 크기가 최소가 되는 화면 시퀀스의 화면을 기준 화면으로서 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 적어도 하나의 구성 정보 항목을 결정하기 위한 단계는, 적어도 하나의 테스트 화면에서의 고주파 성분들을 측정함으로써 텍스처 정보 항목을 결정하는 단계, 텍스처 정보 항목이 가장 풍부하게 되는 화면 시퀀스의 화면을 기준 화면으로서 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
  5. 제1항에 있어서,
    상기 적어도 하나의 구성 정보 항목을 결정하기 위한 단계는, 상기 화면 시퀀스에서의 화면들의 수에 대한 판정을 또한 포함하는 것을 특징으로 하는 방법.
  6. 제1항에 있어서,
    상기 적어도 하나의 구성 정보 항목을 결정하기 위한 단계는, 화면 시퀀스에 대한 시간 분해의 적어도 하나의 방향에 대한 판정을 또한 포함하는 것을 특징으로 하는 방법.
  7. 제1항에 있어서,
    상기 적어도 하나의 구성 정보 항목을 결정하기 위한 단계는,
    사전설정된 크기의 화면 시퀀스들 GOP를 구성하는 제1 단계,
    각각의 화면 시퀀스에 대하여, 언커넥티드 픽셀들의 수를 최소화하도록 선택함으로써, 화면 시퀀스의 최초 화면을 기준 화면으로 포워드 방향을 시간 분해의 방향으로서 선택하고, 화면 시퀀스의 최종 화면을 기준 화면으로 백워드 방향을 시간 분해의 방향으로서 선택하는 제2 단계
    로 구성하는 것을 특징으로 하는 방법.
  8. 제1항에 있어서,
    상기 적어도 하나의 구성 정보 항목을 결정하기 위한 단계는,
    사전설정된 크기의 GOP 화면 시퀀스를 구성하는 제1 단계,
    기준 화면의 선택을 실행하는 제2 단계
    로 구성하고,
    시간 분해의 방향은, 선택된 기준 화면에 후속하는 화면 시퀀스의 화면들에 대한 포워드 방향 및 선택된 기준 화면에 선행하는 화면 시퀀스의 화면들에 대한 백워드 방향으로 결정하는 것을 특징으로 하는 방법.
  9. 제8항에 있어서,
    상기 적어도 하나의 구성 정보 항목을 결정하기 위한 단계는,
    화면들 간의 포워드 방향에서는, 모션을 평가하는 단계(21), 포워드 모션 평가에서의 모션점들의 경로들을 구성하는 단계(24), 및 경로들을 구성하는 단계(25) 동안 언커넥티드 픽셀들의 수를 계산하는 단계(26)
    화면들 간의 백워드 방향에서는, 화면들 간의 백워드 방향에서의 모션을 평가하는 단계(22), 포워드 모션 평가에서의 모션점들의 경로들을 구성하는 단계(25), 및 경로들을 구성하는 단계(25) 동안 언커넥티드 픽셀들의 수를 계산하는 단계
    언커넥티드 픽셀들의 가장 적은 수에 기초하여 최적의 기준 화면을 선택하는 단계(28)
    를 포함하는 것을 특징으로 하는 방법.
  10. 제1항에 있어서,
    상기 적어도 하나의 구성 정보 항목을 결정하기 위한 단계는,
    화면들 간의 포워드 방향에서의 모션을 평가하는 단계(31), 동시에, 화면들 간의 백워드 방향에서의 모션을 평가하는 단계(32),
    GOP 시퀀스의 각 화면에 대해 적응화 루프(33)를 수행하는 과정 중에 연속적으로 실행되는 경로들을 구성하는 단계(34), 언커넥티드 픽셀들의 수를 계산하는 단계(35),
    언커넥티드 포인트들의 가장 적은 수에 기초하여, 적응중인 GOP 화면 시퀀스에서의 최적의 기준 화면(R)을 선택하는 단계(36)
    를 포함하는 것을 특징으로 하는 방법.
  11. 선행 항 중 어느 한 항에 있어서,
    주어진 2진 데이터 스트림에 대해 수행한 3D 웨이블릿 코딩의 특징을 결정하는 구성 정보 유닛을 디코딩하고,
    3D 웨이블릿 디코딩 프로세싱 회로들을 업데이트하며,
    화면 시퀀스를 나타내는 2진 데이터 스트림을 디코딩하여, 상기 주어진 2진 데이터 스트림에 포함된 적어도 하나의 화면들의 시퀀스를 출력에 제공하는
    디코딩 단계를 포함하는 것을 특징으로 하는 방법.
  12. 선행 항 중 어느 한 항에 있어서,
    3D 웨이블릿 기반의 비디오 압축기/역압축기 방식으로 통합되는 것을 특징으로 하는 방법.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    MPEGTM 코딩/디코딩 방식으로 통합되는 것을 특징으로 하는 방법.
KR1020057022298A 2003-05-23 2004-05-12 영상의 그룹을 코딩 또는 디코딩하기 위한 방법 KR101011894B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0306197A FR2855356A1 (fr) 2003-05-23 2003-05-23 Procede de codage et/ou de decodage de groupe d'images
FR0306197 2003-05-23

Publications (2)

Publication Number Publication Date
KR20060027796A true KR20060027796A (ko) 2006-03-28
KR101011894B1 KR101011894B1 (ko) 2011-02-01

Family

ID=33396691

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057022298A KR101011894B1 (ko) 2003-05-23 2004-05-12 영상의 그룹을 코딩 또는 디코딩하기 위한 방법

Country Status (9)

Country Link
US (1) US7864863B2 (ko)
EP (1) EP1636996A1 (ko)
JP (1) JP4990622B2 (ko)
KR (1) KR101011894B1 (ko)
CN (1) CN100591127C (ko)
FR (1) FR2855356A1 (ko)
MY (1) MY135286A (ko)
TW (1) TWI339071B (ko)
WO (1) WO2004107761A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983835B2 (en) 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
US9083378B2 (en) 2013-06-24 2015-07-14 Intel Corporation Dynamic compression/decompression (CODEC) configuration
US10846760B2 (en) * 2014-10-28 2020-11-24 Rakuten, Inc. Information processing device, information processing method, program and storage medium
KR102301232B1 (ko) 2017-05-31 2021-09-10 삼성전자주식회사 다채널 특징맵 영상을 처리하는 방법 및 장치
EP3635953B1 (en) 2018-08-31 2023-10-04 Samsung Electronics Co., Ltd. Electronic device for high-speed compression processing of feature map of cnn utilizing system and controlling method thereof
US11996934B2 (en) * 2020-06-09 2024-05-28 Qualcomm Incorporated Broadcasting packets using network coding with feedback

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000295622A (ja) * 1999-04-02 2000-10-20 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化方法、動画像符号化装置、動画像復号方法、動画像復号装置及びそれらのプログラムを記憶した記憶媒体
US6549673B1 (en) * 1999-10-28 2003-04-15 Lucent Technologies Inc. Wavelet-based compression of images for storage, transmission and reconstruction using hierarchical subband decomposition
EP1277347A1 (en) * 2000-04-11 2003-01-22 Koninklijke Philips Electronics N.V. Video encoding and decoding method
US6795504B1 (en) * 2000-06-21 2004-09-21 Microsoft Corporation Memory efficient 3-D wavelet transform for video coding without boundary effects
US20030202599A1 (en) * 2002-04-29 2003-10-30 Koninklijke Philips Electronics N.V. Scalable wavelet based coding using motion compensated temporal filtering based on multiple reference frames
US20060171462A1 (en) * 2002-11-27 2006-08-03 Koninklijke Philips Electronics, N.V. Video encoding method
TWI255146B (en) * 2003-12-04 2006-05-11 Nec Corp Moving picture encoding method and device, and moving picture decoding method and device, and storage medium

Also Published As

Publication number Publication date
CN1784906A (zh) 2006-06-07
JP4990622B2 (ja) 2012-08-01
WO2004107761A1 (fr) 2004-12-09
KR101011894B1 (ko) 2011-02-01
CN100591127C (zh) 2010-02-17
JP2007503782A (ja) 2007-02-22
US7864863B2 (en) 2011-01-04
TW200509702A (en) 2005-03-01
MY135286A (en) 2008-03-31
FR2855356A1 (fr) 2004-11-26
EP1636996A1 (fr) 2006-03-22
US20060233256A1 (en) 2006-10-19
TWI339071B (en) 2011-03-11

Similar Documents

Publication Publication Date Title
US20010054973A1 (en) Variable length decoder
US7289673B2 (en) Decoding macroblock type and coded block pattern information
US20050175250A1 (en) Image decoding apparatus
US7302105B2 (en) Moving image coding apparatus, moving image decoding apparatus, and methods therefor
US8189687B2 (en) Data embedding apparatus, data extracting apparatus, data embedding method, and data extracting method
KR19990074806A (ko) 격행 부호화에서의 움직임 추정을 위한 텍스쳐 패딩 장치 및그 패딩 방법
US8073054B2 (en) Unit for and method of estimating a current motion vector
KR101011894B1 (ko) 영상의 그룹을 코딩 또는 디코딩하기 위한 방법
CN108401185B (zh) 参考帧选择方法、视频转码方法、电子设备和存储介质
JPH0775111A (ja) デジタル信号符号化装置
US6249548B1 (en) Motion vector processing
JP2003085566A (ja) 対応点探索方法及びこれを用いたマッチング装置
JPH09261660A (ja) 輪郭線符号化方法及び輪郭線符号化装置
US20040057518A1 (en) Compression of motion vectors
JP4154772B2 (ja) 画像情報変換装置および変換方法
JPH1169147A (ja) 直交変換符号化画像の画像サイズ変換方法
JPH0918350A (ja) 符号化復号化装置及び符号化復号化方法
WO2000003545A2 (en) Motion vector processing
KR100657714B1 (ko) 3차원 스캐닝을 이용한 영상데이터 부호화 방법
JPH0946709A (ja) 画像符号化装置
JP2003319401A (ja) 動画像符号化装置及び動画像復号化装置
KR19990058281A (ko) 이진 형상신호 부호화 방법 및 장치
JPH10136366A (ja) 符号化装置、復号化装置及びその方法
JPH11187394A (ja) ２値形状信号符号化装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131219

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20141230

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20151217

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee