KR20100024436A - 이미지 품질 강화 - Google Patents

이미지 품질 강화 Download PDF

Info

Publication number
KR20100024436A
KR20100024436A KR1020097027016A KR20097027016A KR20100024436A KR 20100024436 A KR20100024436 A KR 20100024436A KR 1020097027016 A KR1020097027016 A KR 1020097027016A KR 20097027016 A KR20097027016 A KR 20097027016A KR 20100024436 A KR20100024436 A KR 20100024436A
Authority
KR
South Korea
Prior art keywords
image
decoding
resolution
lower resolution
encoded
Prior art date
Application number
KR1020097027016A
Other languages
English (en)
Other versions
KR101376666B1 (ko
Inventor
라얀 락스만 조쉬
제임스 아써 판처
안나 베렌 베니테즈
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20100024436A publication Critical patent/KR20100024436A/ko
Application granted granted Critical
Publication of KR101376666B1 publication Critical patent/KR101376666B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

적어도 하나의 특별한 방법 및 장치가 DCP 비트 스트림에서 크기 조절 가능한 높은 해상도의 비트 스트림으로부터 추출된 강화된 품질의 낮은 해상도 이미지를 제공한다. 다양한 구현예들에서, 강화된 낮은 해상도의 이미지를 만들기 위해 강화 층이 사용된다. 이 강화 층은, 예컨대 DCP 비트 스트림으로부터 추출된 통상적인 낮은 해상도의 이미지를 강화하기 위해 사용될 공간-영역 또는 주파수-영역 정보를 포함할 수 있다. 한 가지 특정 공정은 디지털 이미지를 인코딩된 이미지로 인코딩하는 단계(102,302)를 포함한다. 인코딩된 이미지는 디지털 이미지의 더 높은 해상도의 디코딩을 제공하고, 디지털 이미지의 더 낮은 해상도의 디코딩을 제공하기 위해 처리될 수 있다. 이 공정은 또한 강화된 더 낮은 해상도의 이미지를 제공하도록 더 낮은 해상도의 디코딩을 강화하기 위한 추가 정보를 인코딩하는 단계(112,326)를 포함한다. 이러한 공정들을 수행하기 위한 구조들과 함께 상보 신호와 디코딩 공정이 또한 제공된다.

Description

이미지 품질 강화{ENHANCING IMAGE QUALITY}
본 발명은 이미지 프로세싱에 관한 것이다. 더 구체적으로 적어도 하나의 구현예가 이미지 처리 시스템들에 관한 해상도 크기 조정 능력(scalability)에 관련된다.
해상도 크기 조정 능력은 다수의 이미지 처리 시스템에서의 하나의 특징이다. "이미지 처리 시스템(imaging system)"이라는 용어는 움직이는 이미지들이나 비디오들뿐만 아니라 정지 이미지들을 처리하고 표현하는 시스템들을 포함하기 위해 사용된다. 많은 알려진 이미지 처리 시스템들은 상이한 해상도의 비디오 프레임으로의 액세스를 제공한다. 예컨대, 디지털 시네마(DC: Digital Cinema)나 디지털 인터미디에이트(DI: Digitral Intermediate)들에 관한 4K 작업흐름들에서는, 4K 해상도 이미지들의 더 낮은 해상도 버전들(프록시들)이 이용 가능하다. 비디오 프레임들은 압축된 포맷으로 저장되고, 비디오 프레임의 더 낮은 해상도 버전(압축된 포맷으로 된)이 간단한 끊기(truncation)나 문장 분석(parsing)에 의해 더 높은 해상도의 압축된 코드-스트림으로부터 얻어질 수 있다. 문장 분석이라는 용어는 압축 해제(decompresing)를 수행하지 않고 압축된 코드-스트림의 연속되지 않은 부분들을 액세스한다는 점에서 사용된다. 해상도 크기 조정 능력이 없을 때에는, 더 낮은 해상도를 얻기 위해 시스템이 높은 해상도의 비디오 프레임을 디코딩하여, 더 낮은 해상도로의 다운스케일링(downscaling)을 수행할 수 있다. 다운스케일링은 시스템 제공자들이 다운스케일링을 위한 상이한 알고리즘들을 사용하는 것을 허용한다.
일반적인 일 양상에 따르면, 디지털 이미지는 인코딩된 이미지로 인코딩된다. 인코딩된 이미지는 디지털 이미지의 더 높은 해상도의 디코딩을 제공하고, 디지털 이미지의 더 낮은 해상도의 디코딩을 제공하도록 처리될 수 있다. 강화된 더 낮은 해상도의 이미지를 제공하기 위해, 더 낮은 해상도의 디코딩을 강화하기 위한 추가 정보가 인코딩된다.
또 다른 일반적인 양상에 따르면, 인코딩된 이미지 데이터가 액세스된다. 액세스된 인코딩된 이미지 데이터는 이미지의 더 높은 해상도의 디코딩을 제공하고 이미지의 더 낮은 해상도의 디코딩을 제공하도록 처리될 수 있다. 강화된 더 낮은 해상도의 이미지를 제공하기 위해, 더 낮은 해상도의 디코딩을 강화하기 위한 추가 인코딩된 정보가 액세스된다.
또 다른 일반적인 양상에 따르면, 장치는 인코딩된 이미지 데이터와 추가 인코딩된 데이터를 수신하도록 구성되는 프로세서를 포함한다. 이 장치는, 프로세서에 결합되고, 인코딩된 이미지 데이터 내에 포함된 높은 해상도의 압축된 이미지 데이터로부터 낮은 해상도의 추출된 이미지 데이터를 발생시키도록 구성된 높은 해상도의 처리 그룹을 포함한다. 이 장치는 또한, 프로세서에 결합되고, (a) 낮은 해상도의 추출된 이미지 데이터와, (b) 추가 인코딩된 데이터를 사용하여, 강화된 낮은 해상도의 이미지를 발생시키도록 구성된 낮은 해상도의 처리 그룹을 포함한다.
또 다른 일반적인 양상에 따르면, 정보를 나타내는 신호가 제 1 신호 부분과 제 2 신호 부분을 포함한다. 제 1 신호 부분은 인코딩된 이미지에 관한 인코딩된 데이터를 나타내는데, 이 인코딩된 데이터는 인코딩된 이미지의 더 높은 해상도의 디코딩을 만들고, 인코딩된 이미지의 더 낮은 해상도의 디코딩을 만들도록 처리될 수 있다. 제 2 신호 부분은 더 낮은 해상도 디코딩을 강화하기 위한 추가 인코딩된 정보를 나타낸다.
하나 이상의 구현예들의 세부 내용이 첨부 도면과 아래의 상세한 설명부에서 설명된다. 비록 한 가지 특별한 방식으로 설명되더라도, 이러한 구현예들은 다양한 방식으로 구성되거나 구현될 수 있음이 명백하다. 예컨대, 일 구현예는 방법으로서 수행될 수 있거나, 동작들의 한 세트를 수행하도록 구성된 장치로서 구현될 수 있거나 동작들의 한 세트를 수행하기 위한 명령어들을 저장하는 장치로서 구현될 수 있다. 다른 양상 및 특성은 첨부 도면들과 청구항들과 관련하여 고려된 후속하는 상세한 설명으로부터 분명해진다.
일반적으로 도면에서 유사한 참조 번호들은 도면 전체에 걸쳐 유사한 구성 성분들을 표시한다.
도 1은 높은 해상도 이미지의 해상도 크기 조절 가능한 인코딩과 관련하여 사용될 낮은 해상도의 강화 층을 생성하기 위한 방법의 흐름도.
도 2는 도 1의 생성된 낮은 해상도 강화 층을 사용하여, 강화된 낮은 해상도 이미지를 생성하기 위한 방법의 흐름도.
도 3은 2K 강화 층 압축된 코드-스트림을 만들기 위한 방법의 흐름도.
도 4는 도 3의 만들어진 2K 강화 층 압축된 코드-스트림을 사용하여, 강화된 2K 해상도 이미지를 만들기 위한 방법의 흐름도.
도 5는 2K 강화 층 압축된 코드-스트림을 만들기 위한 방법의 또 다른 구현예의 흐름도.
도 6은 도 5의 만들어진 2K 해상도 강화 층 압축된 코드-스트림을 사용하여, 강화된 2K 해상도 이미지를 만들기 위한 방법의 또 다른 구현예의 흐름도.
도 7은 낮은 해상도 강화 층을 만들기 위한 인코더의 블록도.
도 8은 강화된 낮은 해상도의 이미지를 만들기 위한 디코더의 블록도.
도 9는 또 다른 구현예에 따른 2K 강화 층 압축된 코드-스트림을 만들기 위한 인코더의 블록도.
도 10은 또 다른 구현예에 따른 강화된 2K 해상도 이미지를 만들기 위한 디코더의 블록도.
도 11은 일 구현예에 따른 강화된 낮은 해상도 이미지를 만들기 위한 인코딩 방법의 흐름도.
도 12는 일 구현예에 따른 강화된 낮은 해상도 이미지를 만들기 위한 디코딩 방법의 흐름도.
도 13은 강화된 2K 해상도 이미지를 만들기 위한 DCP 규격을 따르는 방법의 흐름도.
도 14는 강화된 2K 해상도 이미지를 만들기 위한 DCP 규격을 따르는 방법의 흐름도.
해상도 크기 조절 능력의 경우, 압축 방법과 사용된 파일 포맷은 더 낮은 해상도 이미지에 제약을 둔다. 일 예로서, 디지털 시네마 발의(DCI: Digital Cinema Initiative), LLC에서 2005년 7월 발의된 DCI 규격(specificaion) V1.0은, 2K 버전이 4K 버전에 포함될 것과, 간단한 끊기에 의해 액세스 가능할 것을 명령한다. 하지만, 이는 다운스케일링 필터가 JPEG2000에 의해 사용된 탭이 9개인 저역 필터로 국한됨을 의미한다. 2K 프로젝터(projector)가 2K 해상도 비디오를 재구성하기 위해 2K 추출된 코드-스트림을 사용해야 한다면, 처음에 4K 해상도 비디오를 다운스케일링함으로써 만들어진 다운스케일링된 2K 버전을 압축하는 2K 압축된 자료에 액세스하는 2K 프로젝터들에 비해 불리한 입장에 놓일 수 있다. 하지만, 다운스케일링 동작을 수행하는 것은 통상 계산상 복잡하다. 크기 조절 가능한 높은 해상도의 코드-스트림으로부터 추출된 낮은 해상도의 이미지 품질을 강화시키는 방법을 제공하는 것이 바람직할 수 있다.
강화 층들은 보통 품질 크기 조절 능력을 제공하기 위해 사용된다. 이러한 경우의 일 예는 MPEG-4 비디오 표준에서의 MPEG-4 미세 크기 조절 능력(Fine Grain Scalability)이다. 통상적으로, 강화 층의 목적은 본래의 이미지에 더 가까운 재구성된 이미지를 만드는 것이다.
하지만, 적어도 일 구현예에서는, 강화 층이 본래의 이미지의 다운스케일링된 버전에 더 가까운 - 그리고 본래의 이미지 자체에는 반드시 더 가까운 것은 아닌 재구성된 이미지를 만들기 위해 사용된다. 본 발명의 발명자들은 그러한 직관에 반한 동작이 DCI와 유사한 시스템이나 표준과 같은 환경 내에서 향상된 품질과 같은 기술적인 장점들을 제공한다는 점을 인식하였다. DCI와 유사한 표준은 더 높은 해상도의 압축된 비트스트림과 더 낮은 해상도의 압축된 비트스트림 모두 압축된 코드-스트림을 압축 해제하기 전에 추출될 수 있는 압축된 코드-스트림을 제공하는 표준으로서 정의될 수 있다.
위에서 참조된 강화 층 구현예는 또한 본래의 인코딩(층)과 추가 (강화) 인코딩(층)을 만들기 위해 상이한 코딩 공정들을 사용한다. 이는 주어진 이미지의 반복 인코딩을 위해 더 많은 알갱이(granular) 정보를 점진적으로 생성하고 보내는 보통의 알고리즘을 사용하는 시스템과는 상이하다. 그러한 시스템들에서는, 연속되는 인코딩들(층들) 각각은 서로 관련된다. 일 예는, 각 층에서 이산 코사인 변환(DCT: discrete cosine transform) 계수들의 점진적으로 미세한 양자화들을 보내는 시스템이다. 하지만, 위에서 참조된 강화 층 구현예는 2개의 분리되고 독립적인 인코딩 공정들을 사용하고, 또한 상이한 이미지들로 시작한다.
적어도 일 구현예는 크기 조절 가능한 높은 해상도의 코드-스트림으로부터 추출된 낮은 해상도의 이미지의 품질을 증가 또는 강화시키기 위한 방법을 제공한다. 일 구현예에 따르면, 본 발명의 원리들의 다운스케일링 방법은 높은 해상도의 이미지에 직접 동작함으로써 강화된 낮은 해상도의 이미지를 만들기 위해 강화 층을 이용한다. 이제 본 발명의 원리들의 일 구현예가 Digital Cinema Initiatives, LLC에 의해 2005년 7월 발표된 Digital Cinema System Specification V1.0을 참조하여 설명된다.
일 예에 의하면, 높은 해상도의 이미지는 4K(4096 ×2160) 이미지이고, 낮은 해상도의 이미지는 2K(2048 ×1080) 이미지이다. DCI를 따르는 4K 압축된 코드-스트림을 만들기 위해, JPEG2000을 사용하는 DCI 규격에 따라 인코딩되는 본래의 4K 이미지를 고려한다. 당업자라면 본 명세서에서 사용된 전문용어가 JPEG2000 표준으로부터 온 것이라는 점을 인지하게 된다.
4K 압축된 코드-스트림이 2K 디코더에 공급된다면, 디코더는 2K 해상도에 대응하는 압축된 코드-스트림을 추출하고, 2K 해상도 추출된 이미지를 만들기 위해 그 압축된 코드-스트림을 디코딩한다. 하지만, 이러한 2K 해상도 이미지는 JPEG2000에서 사용된 소파동 변환에 의해 만들어진 해상도 체계로부터의 다음 더 낮은 해상도에서 LL 대역(알려진 바와 같이, LL 대역은 수평 방향 및 수직 방향 모두에서 낮은 주파수이다)의 압축된 버전인 것으로 한정된다. 전술한 바와 같이, 이는 다운스케일링 동작을 위한 최상의 선택이 아닐 수 있다. 예컨대, 다운스케일링 방법은 향상된 또는 강화된 2K 이미지를 만들기 위해 더 나은 필터와 적응 처리를 사용할 수 있다. 그러므로, 프로젝터가 2K 디코더를 가지는 2K 프로젝터라면, 다운스케일링된 2K 이미지를 만들기 위해 더 높은 해상도의 4K 본래의 이미지에 대한 다운스케일링 동작을 수행하는 것이 더 나을 수 있다. 그런 다음, 2K 프로젝터에 공급되는 2K 분포를 만들기 위해, DCI 규격에 의해 허용된 최대 속도로 2K이미지가 압축될 수 있다. 하지만, 비용을 줄이기 위해 보내는 측(예컨대, 스튜디오)에서 단일 물품 명세서(inventory)를 가지려는 욕구가 존재한다. 단일 물품 명세서는 4K 분포이다. 이는 물품 명세서에서 향상된 또는 강화된 2K 이미지뿐만 아니라, 4K 분포를 제공해야 하는 것과 비교된다. 단일 물품 명세서의 경우, 2K 프로젝터들이 불리한 처지에 놓일 수 있다.
이러한 단점을 줄이는 한 가지 방법은 본 발명의 원리들의 일 구현예를 통하는 것이다. 도 1은 강화된 낮은 해상도의 이미지를 만들기 위해, 높은 해상도의 이미지에 대해 해상도 크기 조절 가능한 인코딩하는 것과 관련하여 사용될 낮은 해상도의 강화 층을 생성하는 일 구현예를 보여준다.
높은 해상도의 본래의 이미지(100)(즉, 4K 이미지)가 액세스되고, 해상도의 크기 조절 가능한 인코딩(102)이 거쳐, 높은 해상도의 압축된 코드-스트림(114)이 만들어진다. "접근(Accessing)"은, 예컨대 다양한 방식으로 얻고, 검색하며, 수신하고, 조작하거나 처리하는 것을 포함하는 광범위한 전문용어이다. "인코딩"과 "압축"이라는 전문 용어는 본 명세서에서 교환 가능할 수 있게 사용된다.
예컨대, DCI 규격(JPEG2000) 인코딩은 본질적으로 DC-레벨 시프팅(shifting), 구성 성분 간(inter-component) 변환, 소파동 변환, 양자화, 및 엔 트로피 코딩을 포함한다. 전술한 바와 같이, 낮은 해상도의 다운스케일링된 이미지(105)를 생성하기 위해, 높은 해상도의 본래 이미지(100)가 또한 다운스케일링(104)을 거친다. 다운스케일링은 바라는 품질 또는 바라는 특징을 가지는 다운스케일링된 이미지를 만들기 위해, 독점(proprietary) 동작을 포함하는 임의의 바라는 다운스케일링 동작일 수 있다.
낮은 해상도의 압축된 코드-스트림(107)이, 높은 해상도의 압축된 코드-스트림(114)으로부터 추출되고(106), 낮은 해상도의 압축된 코드-스트림(107)이 낮은 해상도 디코딩(108)을 거쳐 낮은 해상도 추출된 이미지를 만든다(109). 낮은 해상도의 다운스케일링된 이미지(105)와 낮은 해상도의 추출된 이미지(109) 사이의 차이를 취하여 낮은 해상도의 강화 층(111)을 만든다. 강화 층(111)은 인코딩되어(112) 낮은 해상도의 강화 층 압축된 코드-스트림(116)을 만든다.
더 일반적으로, 이러한 구현예는 추가 정보(111)를 만들어낸다. 이 추가 정보(111)는, 도 1의 특별한 구현예에서, 강화 층(111)이라고 부른다. 다양한 구현예들에서, 이러한 추가 정보는 정확히 강화 층과 같다. 다른 구현예들에서는, 추가 정보가 강화 층의 특별한 포맷으로 포맷될 때까지는 이러한 추가 정보는 강화 층이라고 부르지 않는다.
당업자라면 무손실을 포함하여, 임의의 품질로 낮은 해상도의 강화 층을 인코딩하는 것이 가능하다는 점을 인지하게 된다. 이는 낮은 해상도의 층 압축된 코드-스트림(116)의 크기에 영향을 미친다. 적어도 일 구현예에서, 강화 층 압축된 코드-스트림(116)의 크기는 고정된 개수의 바이트를 초과하지 않을 수 있다. 바이 트 한계는, 예컨대 사용자 입력에 기초하여 결정될 수 있다.
도 2는 어떻게 낮은 해상도의 강화 층 압축된 코드-스트림(116)이 대응하는 높은 해상도의 압축된 코드-스트림(114)과 결합하여, 강화된 낮은 해상도의 이미지를 만들어낼 수 있는지를 보여준다. 낮은 해상도의 압축된 코드-스트림(204)은 높은 해상도의 압축된 코드-스트림(114)으로부터 추출된다(202). 그런 다음 낮은 해상도의 압축된 코드-스트림(204)은 낮은 해상도 디코딩되어(206), 낮은 해상도의 추출된 이미지(208){이미지(109)와 동일한 것으로 예상된}를 얻는다. 한편, 낮은 해상도의 강화 층(212)이 낮은 해상도의 강화 층 압축된 코드-스트림(116)을 디코딩함(210)으로써 만들어진다. 디코딩된 낮은 해상도의 강화 층(212)은 낮은 해상도의 추출된 이미지(208)에 더해져서(214), 강화된 낮은 해상도의 이미지(216)를 만든다. 강화된 낮은 해상도의 이미지(216)는, 낮은 해상도의 강화 층을 인코딩하기 위해 무손실 인코딩이 사용된다면(112), 낮은 해상도의 다운스케일링된 이미지(105)와 동일한 것으로 예상된다.
또한 당업자라면 각각 상이한 해상도에 대응하는 다수의 낮은 해상도의 강화 층을 생성하는 것이 가능하다는 점을 인식할 것이다. 일 예로서, 2K 강화 층과 또 다른 1K 강화 층을 가질 수 있다. 각 층이 대응하는 추출된 해상도와 결합될 때, 낮은 해상도에서 강화된 이미지를 생성하게 된다.
도 7과 도 8은 각각 도 1과 도 2에 도시된 구현예들에 따른 인코더(700)와 디코더(800)의 블록도를 보여준다. 인코더(700)는 높은 해상도의 본래 이미지 데이터를 수신하도록 구성된 프로세서(702), 프로세서와 통신하는 메모리(703), 높은 해상도의 처리 그룹(720), 및 낮은 해상도의 처리 그룹(730)을 포함한다.
프로세서(702)는 메모리(703), 인코더(704), 및 다운스케일러(706)에 직접 결합된다. 프로세서(702)는 추출기(708), 디코더(709), 및 인코더(700) 내의 다른 유닛들과는 간접적으로 결합된다. 명백한 것처럼, "결합된(coupled)"이란 용어는 직접(개재된 유닛들이 없는) 연결과 간접(개재된 유닛들이 있는) 연결 모두를 가리키고, 그러한 연결은 예컨대 유선 또는 무선 및 영구적이거나 일시적일 수 있다.
프로세서(702)는 높은 해상도의 처리 그룹(720)과 낮은 해상도의 처리 그룹(730) 모두에 높은 해상도의 이미지 데이터를 보낸다. 높은 해상도의 처리 그룹(720)은 높은 해상도의 본래의 이미지 데이터를 해상도 크기 조절 가능한 인코더(704)에 입력한다. 인코더(704)는 추출기(708)와 송신기(712)에 모두 입력되는 높은 해상도의 압축된 코드-스트림을 출력한다. 추출기(708)는 높은 해상도의 압축된 코드-스트림으로부터 낮은 해상도의 압축된 코드-스트림을 추출하고, 추출된 코드-스트림을 낮은 해상도의 디코더(709)에 입력하여, 낮은 해상도의 추출된 이미지를 만든다. 낮은 해상도의 처리 그룹(730)은 높은 해상도의 본래의 이미지 데이터를, 높은 해상도의 본래 이미지 데이터를 낮은 해상도의 다운스케일링된 이미지로 다운스케일링하는 다운스케일러(706)에 입력한다. 감산기(710)는 낮은 해상도의 다운스케일링된 이미지와, 높은 해상도의 처리 그룹(720)으로부터의 낮은 해상도의 추출된 이미지 사이의 차이를 출력하여, 낮은 해상도의 강화 층을 만든다. 낮은 해상도의 강화 층은 인코딩되어(711), 송신을 위해 송신기(712)에 입력되는 낮은 해상도의 강화 층 압축된 코드-스트림을 만든다. 당업자라면 송신/보내기 단계(712) 의 구현이, 예컨대 높은 해상도의 압축된 코드-스트림과 강화 층 압축된 코드-스트림을 하드 드라이브나 다른 물리적인 매체에 저장하는 것과, 그것을 또 다른 위치에 운반하는 것을 포함할 수 있다는 것을 이해할 것이다.
명백해지는 바와 같이, 강화 층은 높은 해상도의 처리 그룹(720)과 낮은 해상도의 처리 그룹(730) 모두의 결합된 행동에 의해 발생된다. 따라서, 2개의 그룹(720,730)의 결합을 강화 층 발생기라고 부른다.
도 8은 일 구현예에 따른 디코더 측(800)을 보여준다. 높은 해상도의 압축된 코드-스트림과 낮은 해상도의 강화 층 압축된 코드-스트림 모두를 포함하는, 인코더(700)로부터 수신된 데이터는, 프로세서(802)나, 메모리(803)를 포함할 수 있는 다른 처리 디바이스에 의해 수신된다. 프로세서(802)는 높은 해상도의 압축된 코드-스트림을 높은 해상도의 처리 그룹(820)으로 향하게 하고, 낮은 해상도의 강화 층 압축된 코드-스트림을 낮은 해상도의 처리 그룹(830)으로 향하게 한다. 높은 해상도의 처리 그룹(820)은 높은 해상도의 압축된 코드-스트림을 낮은 해상도의 압축된 코드-스트림을 추출하는 추출기(804)에 입력한다. 추출기(804)로부터 출력된 낮은 해상도의 압축된 코드-스트림은 낮은 해상도로 디코딩되어(806), 낮은 해상도의 추출된 이미지를 만든다. 낮은 해상도의 처리 그룹(830)은 낮은 해상도의 강화 층 압축된 코드-스트림을 강화 층 디코더(808)로 향하게 한다. 디코딩된 낮은 해상도의 강화 층은 낮은 해상도의 추출된 이미지(높은 해상도의 이미지 데이터로부터 발생된)로 더해져서(810), 강화된 낮은 해상도의 이미지를 만든다. 그러한 이미지는, 예컨대 디스플레이(812) 상에 디스플레이하기 위해 사용될 수 있다.
도 7의 논의와 유사하게, 강화된 이미지는 높은 해상도의 처리 그룹(820)과 낮은 해상도의 처리 그룹(830) 모두의 결합된 행동에 의해 발생된다는 점이 분명하다. 따라서, 2개의 그룹(820,830)의 결합을 강화된 이미지 발생기라고 부른다.
도 2와 도 3, 및 도 7과 도 8의 위 구현예는 공간-영역의 강화 층을 예시한다. 공간-영역의 구현예에서, 강화 층은 예컨대 2개의 이미지(109,105)를 서로로부터 감산(110)함으로써 결정된 데이터를 포함한다. 이 이미지는 모두 공간 영역에 있고, 통상 픽셀 값들을 포함한다.
대조적으로, 도 3과 도 4의 환경에서 설명된 아래의 구현예는, 주파수-영역 강화 층을 예시한다. 주파수-영역 구현예에서, 강화 층은 예컨대 소파동 계수들의 2개의 세트(314,320)를 서로로부터 감산(322)함으로써 결정된 데이터를 포함한다. 그 계수들은 밑에 있는 이미지들의 주파수-영역 표현들의 부분이다.
이제 본 발명의 원리들의 또 다른 구현예가 DCI를 따르는 4K 인코딩의 체제에서 논의된다. 전술한 바와 같이, 이 시나리오에서는 높은 해상도의 이미지가 4K 이미지이고, 낮은 해상도의 이미지가 2K 이미지이다. 일 구현예에 따른 2K 강화 층 압축된 코드-스트림을 만들기 위한 흐름도가 도 3에 도시되어 있다. DCI를 따르는 4K 압축된 코드-스트림(306)을 만들기 위해 DCI 규격(JPEG2000)에 의해 본래의 4K 이미지(300)가 인코딩된다(302). 2K 해상도의 압축된 코드-스트림(310)이 간단한 끊기에 의해 DCI를 따르는 4K 압축된 코드-스트림(306)으로부터 추출된다(308). 2K 해상도의 추출된 압축 코드-스트림(310)은 엔트로피 디코딩 및 양자화 해제(312)를 거쳐, 추출된 2K 이미지에 관한 재구성된 소파동 계수들(314)을 만든다. 이 구현예 에서, 동작(312)은 역 소파동 변환을 포함하지 않는데, 이는 예컨대 공간-영역 픽셀 데이터보다는 소파동 계수들이 요구되기 때문이다.
본래의 4K 이미지는 다운스케일링된 2K 이미지(316)를 만들기 위해, 수평 및 수직 방향(304)에서의 인자 2만큼 다운스케일링을 거친다. 다운스케일링된 2K 이미지(316)는 DC 레벨-시프팅되어(318), 0 부근에 중심을 둔 픽셀 값들을 만들고, 그런 다음 JPEG2000 표준에서 명시된 바와 같은 불가역 컬러 변환(ICT: inversible color transform)(318)과, JPEG2000(9,7) 필터들을 통한 소파동 변환(318)을 거쳐, 다운스케일링된 2K 이미지에 관한 소파동 계수들(320)을 만든다. ICT(318)는 DCI 4K 인코딩 단계(302)가 ICT를 사용하는 경우에만 적용된다. 소파동 변환에 관한 분해 레벨들의 개수는 DCI 4K 인코딩에 관해 사용된 분해 레벨들보다 1만큼 적다.
추출된 2K 이미지에 관한 재구성된 소파동 계수들(314)은 다운스케일링된 2K 이미지에 관한 소파동 계수들(320)로부터 감산되어(322), 2K 강화 층에 관한 소파동 계수들(324)을 만든다. 2K 강화 층에 관한 소파동 계수들(324)은 JPEG2000을 이용하여 양자화되고 엔트로피 인코딩되어(326), 2K 강화 층 압축된 코드-스트림(328)을 만든다. 앞에서와 같이, 양자화 레벨은 사용자 특정될 수 있는 고정된 개수 이하의 바이트를 만들도록 설정될 수 있다.
도 4는 2K 강화 층 압축된 코드-스트림이 어떻게 강화된 2K 이미지를 만들기 위해 대응하는 DCI를 따르는 4K 압축된 코드-스트림과 결합될 수 있는지를 보여준다. 2K 해상도 압축된 코드-스트림(404)은 DCI를 따르는 4K 압축된 코드-스트림(306)으로부터 추출된다(402). 2K 해상도 압축된 코드-스트림(404)은 JPEG2000 체제에서 엔트로피 디코딩 및 양자화 해제(406)를 거쳐, 추출된 2K 이미지에 관한 재구성된 소파동 계수들을 만든다(408). 유사하게, 대응하는 2K 강화 층 압축된 코드-스트림(328)은 JPEG2000 체제에서 엔트로피 디코딩 및 양자화 해제(410)를 거쳐, 2K 강화 층에 관한 재구성된 소파동 계수들을 만든다(412). 추출된 2K 이미지와 2K 강화 층(412)에 관해 재구성된 소파동 계수들(408)이 더해져서(414), 강화된 2K 이미지에 관한 소파동 계수들을 만든다(416). 강화된 추출된 2K 이미지(416)에 관한 소파동 계수들은 소파동 합성 및 역 ICT를 거치고, 그런 다음 DC 레벨-시프팅되고 적절한 비트-깊이로 클리핑되어(418), 강화된 2K 이미지(420)를 만든다. 역 ICT는 DCI를 따르는 4K 압축된 코드-스트림(306)이 ICT를 사용하여 만들어진 경우에만 적용된다. 소파동 합성들은 역 소파동 변환을 가리킨다.
도 5와 도 6은 본 발명의 원리들에 따라 본래의 4K 이미지로부터 강화된 2K 이미지를 만들기 위한 대안적인 일 구현예를 보여준다. 도 5와 도 6의 구현예는 또한 DCI를 따르지만, 소파동 계수들(주파수 영역)이나 이미지 데이터의 다른 설명자(descriptor)들보다는 이미지들 데이터(공간 영역)와 작용한다.
도 5를 참조하면, 본래의 4K 이미지(502)가 DCI 규격에 의하여 DCI 4K 인코딩되어(504) DCI를 따르는 4K 압축된 코드-스트림(506)을 만든다. 2K 해상도 압축된 코드-스트림(510)은 간단한 끊기에 의해 DCI를 따르는 4K 코드-스트림으로부터 추출된다(508). 2K 해상도의 추출된 압축 코드-스트림(510)은 JPEG2000 디코딩(역 소파동 변환을 포함하는)(512)을 거쳐, 재구성된 추출 2K 이미지(514)를 만든다. 이 경우 JPEG2000 디코딩은 엔트로피 디코딩, 양자화 해제(dequantization), 역 ICT(필요하다면), DC 레벨-시프팅, 및 적절한 비트-깊이로의 클리핑(clipping)을 포함한다. 본래의 4K 이미지는 또한 수평 및 수직 방향으로 2의 인자만큼 다운스케일링을 거쳐(516), 다운스케일링된 2K 이미지(518)를 만든다. 재구성된 추출된 2K 이미지(514)는 다운스케일링된 2K 이미지(518)로부터 감산되어(520) 2K 강화 층(522)을 만든다. 2K 강화 층(522)은 JPEG2000을 사용하여 인코딩되어(524), 2K 강화 층 압축된 코드-스트림(526)을 만든다. 앞에서와 같이, 양자화 레벨은 사용자-특정될 수 있는 고정된 개수 이하의 바이트들을 만들어내도록 설정될 수 있다.
도 6에서, 2K 해상도 압축된 코드-스트림(604)이 DCI를 따르는 4K 압축된 코드-스트림(506)으로부터 추출된다. 2K 해상도 압축된 코드-스트림(604)은 JPEG2000 디코딩(606)을 거쳐, 재구성된 추출된 2K 이미지(608)를 만든다. 유사하게, 대응하는 2K 강화 층 압축된 코드-스트림(526)이 JPEG2000 디코딩(610)을 거쳐, 재구성된 2K 강화 층(612)을 만든다. 재구성된 추출된 2K 이미지(608)와 재구성된 2K 강화 층(612)이 적절한 비트-깊이까지 더해지고(614) 클리핑되어(616), 강화된 2K 이미지(618)를 만든다. 강화된 2K 이미지(618)는 무손실 인코딩이 2K 강화 층(522)을 인코딩(524)하기 위해 사용된다면, 다운스케일링된 2K 이미지(518)에 대응하는 것으로 예상된다.
도 9는 도 3의 방법을 구현하기 위해 사용될 수 있는 인코더(900)의 일 구현예를 보여준다. 유사하게, 도 10은 도 4의 방법을 구현하기 위해 사용될 수 있는 디코더(1000)의 일 구현예를 보여준다.
도 9를 참조하면, 본래의 4k 이미지가 프로세서(902)나 다른 입력 디바이스 에 의해 수신된다. 프로세서(902)는 메모리(903)에 결합되고, 본래의 4k 이미지를 높은 해상도의 처리 그룹(920)과 낮은 해상도의 처리 그룹(930)에 입력하도록 구성된다. 높은 해상도의 처리 그룹(920)은 본래의 4K 이미지를 수신하고, 그러한 본래의 4K 이미지를 DCI 4K 인코더(904)에 입력한다. DCI 4K 인코더(904)는 DCI를 따르는 4K 압축된 코드-스트림을 만들고, 이러한 4K 압축된 코드-스트림은 송신을 위해 송신기(918)에 입력되며 또한 DCI를 따르는 4K 압축된 코드-스트림으로부터 2K 해상도 압축된 코드-스트림을 추출하기 위해 추출기(906)에 입력된다. 일단 추출되면, 2K 해상도 압축된 코드-스트림은 디코딩되어(908)(엔트로피 디코딩 및 양자화 해제), 추출된 2K 이미지에 관한 재구성된 소파동 계수들을 만든다. 동작중인 디코더(908)는 또한 부분적인 디코딩이라고 부를 수 있는데, 이는 코드-스트림이 소파동 계수들을 제공하는 점으로만 디코딩되고, 어떠한 소파동 역 변환도 수행되지 않기 때문이다. 또한, 추출 동작(906)과 디코딩 동작(908)은 일반적으로 집합적으로 처리 또는 심지어 디코딩이라고 부를 수 있다.
낮은 해상도의 처리 그룹(930)은 본래의 4K 이미지를 수신하고, 수신한 본래의 4K 이미지를 다운스케일링하여(910) 다운스케일링된 2K 이미지를 만든다. 다운스케일링된 2K 이미지에 관한 소파동 계수들은, 레벨 시프팅 및 소파동 변환(912)에 의해 발생된다. 추출된 2K 이미지(높은 해상도의 처리 그룹에 의해 발생된)에 관한 재구성된 소파동 계수들과, 다운스케일링된 2K 이미지에 관한 소파동 계수들 사이의 차이가 감산기(914)에 의해 결정되어, 2K 강화 층에 관한 소파동 계수들을 만든다. 이들 소파동 계수들은 인코딩된(916) 강화 층이고, 송신을 위해 송신 기(918)에 보내진다.
송신/보내기 유닛(918)은 인코딩된 강화 층(916)과 DCI를 따르는 4K 압축된 코드-스트림(904)을 결합하여 단일 송신 또는 저장 유닛으로 만들 수 있다. 예컨대, 도 11과 도 13에 관해 아래에 논의된 것처럼, 유닛(918)은 압축된 코드-스트림과, (1) 강화-층 압축된 코드-스트림 또는 (2) 강화-층 압축된 코드-스트림으로의 포인터(pointer) 중 적어도 하나를 포함하는 DC 패킷을 형성할 수 있다. 따라서, 유닛(918)은 "결합기(combiner)"라고 부를 수 있다.
도 7의 논의와 유사하게, 강화 층이 높은 해상도의 처리 그룹(920)과 낮은 해상도의 처리 그룹(930) 모두의 결합된 동작에 의해 발생된다는 것이 분명하다. 따라서, 2개의 그룹(920,930)의 결합을 강화 층 발생기라고 부른다.
도 10은 일 구현예에 따른 디코더(1000)를 보여준다. 디코더(1000)는 프로세서(1002)와, 그 프로세서가 인코더로부터 데이터를 수신하도록 구성되는 메모리(1003)를 포함한다. 인코더로부터 수신된 데이터는 DCI를 따르는 4K 압축된 코드-스트림과 2K 해상도 강화 층 압축된 코드-스트림을 포함한다. 프로세서(1002)는 4K 해상도 압축된 코드-스트림을 높은 해상도의 처리 그룹(1020)으로 보내고, 2K 해상도 강화 층 압축된 코드-스트림을 낮은 해상도의 처리 그룹(1030)으로 보낸다. 추출기(1004)는 2K 해상도 압축된 코드-스트림을 4K 해상도 이미지 데이터로부터 추출하고, 디코더(예컨대, JPEG2000 디코더)(1006)가 추출된 2K 해상도 압축된 코드-스트림을 디코딩하여, 추출된 2K 해상도 이미지에 관한 재구성된 소파동 계수들을 만든다.
낮은 해상도의 처리 그룹(1030)은 2K 해상도 강화 층 압축된 코드-스트림을 수신하고, 2K 해상도 강화 층에 관한 재구성된 소파동 계수들을 만들도록 구성되는 강화 층 디코더(1008)를 포함한다. 그런 다음 추출된 2K 해상도 이미지(높은 해상도의 처리 그룹에 의해 발생된)에 관해 재구성된 소파동 계수들이, 2K 해상도 강화 층에 관하 재구성된 소파동 계수들(낮은 해상도의 처리 그룹에 의해 발생된)과 더해져서(1010), 강화된 추출된 낮은 해상도의 이미지에 관한 소파동 계수들을 만든다. 그런 다음 이들 소파동 계수들은 합성되고, 역 ICT를 거친 다음, 레벨 시프팅되고 클리핑되어(1012), 강화된 2K 해상도 이미지를 만든다. 역 ICT 단계는 DCI를 따르는 4K 압축된 코드-스트림이 ICT를 사용하여 발생될 경우에만 수행된다. 앞에서와 같이, 이들 이미지는 디스플레이(1014) 상에 디스플레이될 수 있다.
도 8의 논의와 유사하게, 강화된 이미지는 높은 해상도의 처리 그룹(1020)과 낮은 해상도의 처리 그룹(1030) 모두의 결합된 동작에 의해 발생된다는 것이 분명하다. 따라서, 2개의 그룹(1020,1030)의 결합을 강화 이미지 발생기라고 부른다.
도 9와 도 10은 도 5와 도 6의 방법들을 구현하도록 적응될 수 있다. 당업자라면 특히, 도 7과 도 8의 개시물과 논의를 생각하면, 어떻게 그러한 수정예를 만드는지를 쉽게 이해할 것이다.
도 3과 도 4의 구현예의 경우에서의 소파동 분해 레벨들에 대한 제한은 별 문제로 하고, 2K 강화 층을 인코딩하기 위한 대부분의 다른 파라미터가 자유롭게 선택될 수 있다. 2K 강화 층에 관한 비트-깊이는 불필요한 클리핑을 회피하도록 선택되어야 한다. DCI 체제에서, 4K 이미지와 2K 이미지는 12비트이다. 그러면 도 5 에서는, 2K 강화 층이 부호가 있는(signed) 13비트 이미지로서 인코딩되어야 한다. 감산이 도 3에서와 같이 소파동 영역에서 일어나게 된다면, 필요한 비트-깊이의 분석이 더 복잡하게 될 수 있다. 분석 필터들(저역 및 고역) 모두가 Taubman과 Marcellin에 의해 설명된 바("JPEG2000 image compression fundamentals, standards and practice" Kluwer Academic Publishers, ISBN 0-7923-7519-x, 2000)와 같은 (1,1) 정규화(normalization)로 구현된다고 가정한다. 그런 다음, 본래의 4K 이미지의 비트-깊이가 N이라면, (N+1) 비트들이 임의의 클리핑 없이 각각의 하위대역(subband)을 나타내기에 충분하다. 다운스케일링된 2K 이미지가 또한 N의 비트 깊이를 가진다고 가정하면, 그것의 소파장 계수들은 (N+1) 비트들로 표현될 수 있다. 그러므로, 차이로서 계산되는 2K 강화 층에 관한 소파장 계수들은 (N+2) 비트들에 의해 표현될 수 있다. 그러므로, JPEG2000 인코딩 목적들을 위해, 강화 층의 소파동 계수들이 (N+1) 비트의 부호가 있는 이미지의 소파동 분해에 의해 발생되었다고 가정될 수 있다.
당업자라면, 도 5에서, 2K 강화 층이 JPEG2000 인코딩 대신 임의의 다른 압축 방법을 사용하여 압축될 수 있음을 인식할 것이다. 유사하게, 도 3에서, 2K 강화 층에 관한 소파장 계수들은 JPEG2000 인코딩 대신 임의의 다른 압축 방법을 사용하여 압축될 수 있다. 게다가, JPEG2000 인코딩 기술들은 JPEG2000을 따르는 코드-스트림을 만들지 않고, 2K 강화 층을 압축하기 위해 사용될 수 있다. 이는, 예컨대 2K 강화 층 인코딩 엔진이 4K JPEG2000 인코딩 엔진과 등가인 파라미터들을 사용하도록 강제함으로써 달성된다. 그러한 경우, 다수의 마커(marker) 세그먼트들 을 반드시 저장할 필요는 없다. 하지만, 압축 효율에 있어서의 그 결과 이득은 통상적으로 작다.
DC 분해는 릴(reel)들의 순서가 정해진 시퀀스로서 정의된다. 각 릴은 발표 동안 나란히 재현될 다수의 매체 트랙(track) 파일들을 포함할 수 있다. 릴은 단일 주요 화상, 주요 음향, 및 주요 서브타이틀(subtitle) 트랙 파일들을 가질 수 있다. 하지만, 현재의 표준 규격은 또한 미래의 사용들을 위해 추가 트랙 파일들을 지원한다. DC 분해는 극장이나 다른 개최지로의 배포를 위한 하나 이상의 DC 패키지들에 삽입될 수 있다.
또 다른 구현예에 따르면, 낮은 해상도의 강화가 DCP 스트림과는 분리된 강화 데이터를 유지함으로써 수행될 수 있다. 도 11과 도 12는 각각 송신기측(즉, 생성)과 수신(즉, 재생)측으로부터의 이러한 개념의 예시적인 구현예를 보여준다.
도 11을 참조하면, DCI를 따르는 4K 압축된 코드-스트림(1102)이 DC 화상 트랙 파일들(1106)을 생성하고, 2K 강화 층 압축된 코드-스트림(1104)을 생성하기 위해 사용된다. 일단 완성되면, 2K 강화 층 압축된 코드-스트림(1104)이 별도의 파일(1108)에 놓인다. 강화 층 파일에 대한 파일이름 또는 포인터를 포함하는 하나 이상의 DC 패킷이 이전에 생성된 DC 화상 트랙 파일들을 사용하여 생성된다(1110). "포인터(pointer)"는, 예컨대 주소, 이름(예컨대, 파일이름), 또는 강화 층 파일이 위치하는 곳을 표시하는 다른 설명자를 포함하는 광범위한 전문 용어임을 주목하라. 일 구현예에서, 파일 이름, 또는 포인터는 표준이 정의하는 메타데이터(metadata) 필드에 포함된다. 이 메타데이터 필드는, 예컨대 일 구현예가 다양한 목적을 위해 필드를 사용하는 것을 효과적으로 허용하는 자유로운 형태의 텍스트 필드일 수 있다.
이 단계(stage)에서는, 하나 이상의 DC 패키지와 강화 층 파일이 보내질 수 있다(1112)(메일을 통해 수작업으로 또는 임의의 적절한 타입의 통신 네트워크를 통해 전자적으로). 당업자라면 또한 강화 층 파일이 DC 패키지 정보로부터 완전히 분리되어 송신될 수 있음을 인식할 것이다. DCI를 따르는 4K 압축된 코드-스트림과 2K 강화 층 압축된 코드-스트림의 생성은, 예컨대 전술한 바와 같을 수 있다.
도 12는 일 구현예에 따른 강화 파일 데이터를 수신하고 처리하기 위한 방법(1200)을 보여준다. 도시된 바와 같이, 하나 이상의 DC 패키지가 수신된다(1202). 그런 다음 DC 패키지들이 강화 층 파일에 대한 파일 이름이나 다른 포인터를 포함하는지에 대한 결정이 이루어진다(1204). 강화 층 파일 이름이나 포인터가 존재하지 않는다면, DC 화상 트랙이 디코딩되고, 낮은 해상도(2K)의 이미지가 DCI 규격에 따라 발생된다(1206). DC 패키지 정보 내에 포함된 강화 파일 이름이나 포인터가 존재한다면, 메타데이터에서 이름이 지어진 강화 층 파일이 식별되고, 위치가 정해지며, 액세스된다(1208). 일단 식별되고 액세스되면, DC 화상 트랙 파일(들)이 디코딩되고, 강화된 낮은 해상도(2K)의 이미지가 강화 층 파일 데이터를 사용하여 발생된다(1210).
그러한 송신들의 수신 단에서, 예컨대 강화 층 데이터를 알지 못하는 영화 극장들이나 다른 재생 위치들이 DC 화상 트랙 파일(들)로부터 직접 추출된 2K 버전을 재생하게 된다. 강화 층 데이터를 알고 있는 재생 시스템들은 DC 주된 화상 트 랙 파일(들)과 강화 층 화상 트랙 파일(들)로부터 강화된 2K 버전을 만들게 된다. 그러므로, 이러한 구현예는 DCI 규격을 구현하는 레거시와, 다른 기존의 시스템들과 역 호환된다(backward compatible). 그러한 시스템들은 통상적으로 데이터를 가질 것으로 예상되지 않는 필드를 무시하거나, 그러한 시스템이 그러한 필드에서 데이터로 무엇을 할지를 무시할 것이다.
도 13과 도 14는 본 발명의 원리들의 DCP 규격을 따르는 구현예의 대표적인 구현예를 보여준다. 도 13의 방법(1300)은 높은 해상도의 압축된 코드-스트림과 낮은 해상도의 강화 층 압축된 코드-스트림 모두가 결합되어, 낮은 해상도의 강화 층 압축된 코드-스트림이 생성된 DC 패키지들에 포함되는 것을 보여준다. 즉, 낮은 해상도의 강화 층 압축된 코드-스트림은 DC 패키지들 내의 추가 화상 트랙에 포함된다. 높은 해상도의 압축된 코드-스트림은 DC 주된 화상 트랙에 포함되고(1302), 낮은 해상도의 강화 층 압축된 코드-스트림은 DC 추가 화상 트랙 파일(들)에 포함된다(1304). 일단 포함되면, DC 패키지(들)가 생성된다(1306). 그런 다음 생성된 DC 패키지들은 이미지 데이터의 각각의 수신기(예컨대, 영화 극장)에 보내지거나(즉, 릴들이나 다른 저장 매체로 수작업으로), 또는 전자적으로 송신된다(1308).
도 14는 DC 패키지 데이터의 수신 단(1400)을 보여준다. DC 패키지 데이터는 수신되고(1402), 그런 다음 DC 패키지 데이터가 추가 화상 트랙 파일로서 낮은 해상도의 강화 층 데이터를 포함하는지에 대한 결정이 이루어진다(1404). 만약 포함한다면, DC 주된 화상 트랙과 추가 화상 트랙이 디코딩되고(1408), 강화된 낮은 해상도 화상의 이미지가 추출된 2K 이미지와, DC 주된 화상 트랙 파일과 추가 화상 트랙 파일에 포함된 강화 층 데이터를 사용하여 발생된다(1408). DC 패키지(들)에서 추가 화상 트랙으로서 어떠한 강화 층 데이터도 포함되어 있지 않다면, DC 패키지(들)가 디코딩되고(1406), 낮은 해상도(2K)의 이미지가 표준 DCI 규격 요구 조건에 따라 발생된다. 그러므로, 도 11과 도 12의 앞선 논의에서처럼, 시스템이 추가 화상 트랙 파일을 알지 못한다면(또는 알지만, 추가 화상 트랙 파일로 무엇을 할지를 모른다면), 시스템은 통상적으로 추가 화상 트랙 파일을 무시한다.
위 구현예들은 다양한 방식으로 결합될 수 있음을 주목하라. 예컨대, 시스템은 제 1 강화 층에 관한 추가 화상 트랙 파일(DC 패키지에서)과 함께, 제 2 강화 층에 대한 포인터를 포함할 수 있다. 또 다른 예로서, 시스템은 임의의 주어진 DC 패키지에서 추가 화상 트랙 파일이나 포인터 중 하나만을 포함할 수 있지만, 시스템은 각각의 DC 패키지에 관한 메커니즘을 사용하자 선택하는 것을 허용할 수 있다. 그러한 선택은, 예컨대 주어진 DC 패키지에 관한 강화 층의 크기에 기초하여 실시간으로 이루어질 수 있다. 대안적으로, 시스템은 예컨대 DC 패키지의 주어진 영화 또는 주어진 의도된 수령인에 관한 바람직한 메커니즘을 표시하는 룩업(look-up) 테이블을 참고함으로써 사용자-중재 없이 선택을 내릴 수 있다.
구현예들은 상이한 레벨의 계산상 복잡도를 가진다. 예컨대, 도 4와 도 6의 구현예들이 비교될 수 있다. 도 4는 적어도 하나의 역 소파동 변환을 요구하는 디코더를 설명하고(유닛 418), 도 6은 적어도 2개의 역 소파동 변환을 요구하는 디코더를 설명한다(유닛 606과 유닛 610).
설명된 구현예들의 특성과 양상은 다양한 응용예들에 적용될 수 있다. 응용 예들에는, 예컨대 전-처리기(pre-processor), 또는 DC 패키지들이나 다른 데이터 패키지들을 생성하기 위한 인코더 또는 디코더, 또는 전술한 바와 같은 다른 비디오 수신/처리 장치가 포함된다. 물론, 예컨대 전-처리기와 인코더와 같은 다양한 유닛들이 통합될 수 있다. 하지만 본 명세서에서의 특성들과 양상들은 다른 응용 영역들에 관해 적응될 수 있다.
본 명세서에서 설명된 구현예들은, 예컨대, 방법 또는 공정, 장치, 또는 소프트웨어 프로그램으로 구현될 수 있다. 비록 단일 형태의 구현예의 환경에서만 논의되었지만(예컨대, 방법으로서만 논의됨), 논의된 특성들의 구현예는 또한 다른 형태들(예컨대, 장치 또는 프로그램)로 구현될 수 있다. 장치는, 예컨대 적절한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수 있다. 방법들은, 예컨대 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그래밍 가능한 논리 디바이스를 포함하는, 일반적으로 처리 디바이스들을 가리키는 프로세서와 같은 장치에서 구현될 수 있다.
본 명세서에서 설명된 다양한 공정들과 특성들의 구현예들은, 다양한 상이한 장비 또는 응용예들, 특히 예컨대 비디오 송신과 연관된 장비 또는 응용예들에서 구현될 수 있다. 장비의 예들에는, 비디오 코더, 비디오 디코더, 비디오 코덱(codec), 웹 서버, 및 개인용 컴퓨터가 포함된다. 이들 예로부터 분명하게 되듯이, 인코딩들은 예컨대 유선 또는 무선 경로, 인터넷, 케이블 텔레비전 라인들, 전화 라인들, 및 이더넷(Ethernet) 연결들을 포함하는 다양한 경로들을 통해 보내지거나 수신될 수 있다. 추가로, 분명하게 되듯이, 장비는 이동성인 것이거나 심지어 이동 차량에 설치될 수 있다.
추가로, 이러한 방법들은 프로세서에 의해 수행되는 명령어들에 의해 구현될 수 있고, 그러한 명령어들은 예컨대 집적 회로, 소프트웨어 운반체(carrier), 또는 예컨대 하드 디스크, 컴팩트 디스켓, RAM(random access memory), 또는 ROM(read-only memory)과 같은 다른 저장 디바이스와 같은 프로세서 판독 가능한 매체에 저장될 수 있다. 프로세서는 또한, 예컨대 공정을 실행하기 위한 명령어들을 가지는 프로세서 판독 가능한 매체를 포함할 수 있다.
당업자에게 명백해 지듯이, 구현예들은 또한 예컨대 저장되거나 송신될 수 있는 정보를 운반하도록 포맷된 신호를 만들 수 있다. 이 신호는, 예컨대 전자기파로서 송신될 수 있고, 예컨대 하나 이상의 반송파 주파수를 변조함으로써 정보를 운반할 수 있다. 이 정보는 예컨대 방법을 수행하기 위한 명령어들, 또는 설명된 구현예들 중 하나에 의해 만들어진 데이터를 포함할 수 있다.
다수의 구현예들이 설명되었다. 그렇지만, 다양한 수정예가 만들어질 수 있음이 이해될 것이다. 예컨대, 다른 구현예들을 만들기 위해 상이한 구현예들의 요소들이 결합되고, 보충되며, 수정되거나 제거될 수 있다. 또한 당업자라면 다른 구조와 공정이 본 명세서에 개시된 것들을 대체할 수 있고, 그 결과로 생긴 구현예들이 개시된 구현예들과 적어도 실질적으로 동일한 결과(들)을 달성하기 위해, 적어도 실질적으로 동일한 방식으로 적어도 실질적으로 동일한 기능(들)을 수행하게 됨을 이해할 것이다. 따라서 이들 및 다른 구현예들은 본 출원에 의해 예측되고, 후속하는 청구항들의 범위 내에 있다.
전술한 바와 같이, 본 발명은 이미지 프로세싱 분야, 특히 이미지 처리 시스템들에 관한 해상도 크기 조정 능력(scalability)이 중요시되는 분야에 이용 가능하다.

Claims (29)

  1. 방법으로서,
    디지털 이미지를, 상기 디지털 이미지의 더 높은 해상도의 디코딩을 제공하고, 상기 디지털 이미지의 더 낮은 해상도의 디코딩을 제공하도록 처리될 수 있는 인코딩된 이미지로 인코딩하는 단계(102,302)와,
    강화된 더 낮은 해상도의 이미지를 제공하기 위해, 더 낮은 해상도의 디코딩을 강화하기 위한 추가 정보를 인코딩하는 단계(112,326)를
    포함하는, 방법.
  2. 제 1항에 있어서,
    상기 추가 정보는 상기 디지털 이미지의 더 낮은 해상도의 디코딩과 결합하기 위해 강화된 더 낮은 해상도의 이미지에 관련된 공간-영역(spatial-domain)의 데이터를 포함하는, 방법.
  3. 제 1항에 있어서,
    상기 추가 정보는 강화된 더 낮은 해상도의 이미지에 관련된 주파수-영역의 데이터를 포함하고, 상기 주파수-영역의 데이터는 강화된 더 낮은 해상도의 이미지를 제공하기 위해 더 낮은 해상도의 디코딩에 관련된 다른 주파수-영역 데이터와 결합하기 위한 것인, 방법.
  4. 제 3항에 있어서,
    상기 강화된 더 낮은 해상도의 이미지에 관련된 주파수-영역의 데이터는, 강화된 더 낮은 해상도의 이미지에 관련된 소파동(wavelet) 계수를 포함하는, 방법.
  5. 제 1항에 있어서,
    상기 인코딩은 DCI 규격(specification)에 따라 수행되는, 방법.
  6. 제 1항에 있어서,
    (a) 인코딩된 이미지로부터 추출된 낮은 해상도의 압축된 코드-스트림으로부터 디코딩된 더 낮은 해상도의 디코딩과, (b) 디지털 이미지로부터 다운스케일링된 이미지 사이의 차이를 결정하는 단계,
    상기 차이에 기초하여 추가 정보를 결정하는 단계, 및
    인코딩된 추가 정보에 기초하여 강화 층을 형성하는 단계를
    더 포함하는, 방법.
  7. 제 1항에 있어서,
    디지털 이미지의 인코딩은 더 높은 해상도의 압축된 코드-스트림을 만들기 위해 디지털 이미지의 해상도 크기 조절 가능한 인코딩을 포함하고, 상기 방법은
    다운스케일링된 이미지를 만들기 위해 디지털 이미지를 다운스케일링하는 단 계와,
    더 높은 해상도의 압축된 코드-스트림으로부터 추출된 더 낮은 해상도의 압축된 코드-스트림으로부터 디코딩된 더 낮은 해상도의 디코딩과, 다운스케일링된 이미지를 사용하여 추가 정보를 유도하는 단계를
    더 포함하는, 방법.
  8. 제 7항에 있어서,
    상기 유도하는 단계는
    다운스케일링된 이미지와 더 낮은 해상도의 디코딩 사이의 차이를 결정하는 단계와,
    상기 차이에 기초하여 추가 정보를 형성하는 단계를
    포함하는, 방법.
  9. 제 1항에 있어서,
    디지털 이미지의 인코딩은 더 높은 해상도의 압축된 코드-스트림을 만들기 위해, 디지털 이미지의 해상도 크기 조절 가능한 인코딩을 포함하고, 상기 방법은
    다운스케일링된 이미지를 만들기 위해, 디지털 이미지를 다운스케일링하는 단계,
    다운스케일링된 이미지로부터 소파동 계수들을 유도하는 단계,
    인코딩된 이미지로부터 추출된 더 낮은 해상도의 압축된 코드-스트림을 디코 딩함으로써 재구성된 소파동 계수들을 유도하는 단계, 및
    추가 정보를 만들기 위해, 소파동 계수들과 재구성된 소파동 계수들 사이의 차이를 결정하는 단계를
    더 포함하는, 방법.
  10. 제 1항에 있어서,
    추가 정보를 인코딩하는 단계는
    디지털 이미지를 다운스케일링된 이미지로 다운스케일링하는 단계,
    인코딩된 이미지로부터 더 낮은 해상도의 압축된 코드-스트림을 추출하는 단계,
    더 낮은 해상도의 디코딩을 만들기 위해, 더 낮은 해상도의 압축된 코드-스트림을 디코딩하는 단계,
    더 낮은 해상도의 디코딩과 다운스케일링된 이미지 사이의 차이를 결정하는 단계,
    차이에 기초하여 추가 정보를 결정하는 단계,
    추가 정보를 포함하는 강화 층을 형성하는 단계, 및
    강화 층 코드-스트림을 만들기 위해, 강화 층을 인코딩하는 단계를
    포함하는, 방법.
  11. 장치로서,
    디지털 이미지를, 상기 디지털 이미지의 더 높은 해상도의 디코딩을 제공하고, 상기 디지털 이미지의 더 낮은 해상도의 디코딩을 제공하도록 처리될 수 있는 인코딩된 이미지로 인코딩하는 인코더(704)와,
    강화된 더 낮은 해상도의 이미지를 제공하기 위해, 더 낮은 해상도의 디코딩을 강화하기 위한 추가 정보를 인코딩하는 제 2 인코더(711)를
    포함하는 장치.
  12. 제 11항에 있어서,
    디지털 이미지를 다운스케일링된 이미지로 다운스케일링하도록 구성된 다운스케일러(downscaler)(706,910),
    인코딩된 이미지로부터 낮은 해상도의 압축된 코드-스트림을 추출하기 위한 추출기(708,906),
    낮은 해상도의 압축된 코드-스트림을 디코딩하여 낮은 해상도의 추출된 이미지를 만들어내기 위한 디코더(709), 및
    강화 층으로서 추가 정보를 만들어내기 위해 추출된 낮은 해상도의 이미지와 다운스케일링된 이미지를 결합하기 위한 결합기(710,914)를
    더 포함하고, 상기 제 2 인코더는 강화 층 압축된 코드-스트림을 만들어내기 위해, 강화 층을 인코딩하는, 장치.
  13. 장치로서,
    디지털 이미지의 더 높은 해상도의 디코딩을 제공하고, 디지털 이미지의 더 낮은 해상도의 디코딩을 제공하도록 처리될 수 있는 인코딩된 이미지로 디지털 이미지를 인코딩하는 수단과,
    강화된 더 낮은 해상도의 이미지를 제공하도록 더 낮은 해상도의 디코딩을 강화하기 위한 추가 정보를 인코딩하는 수단을
    포함하는, 장치.
  14. 명백히 구현된 응용 프로그램을 가지는 프로그램 저장 디바이스로서,
    상기 응용 프로그램은 적어도
    디지털 이미지의 더 높은 해상도의 디코딩을 제공하고, 디지털 이미지의 더 낮은 해상도의 디코딩을 제공하도록 처리될 수 있는 인코딩된 이미지로 디지털 이미지를 인코딩하는 것과,
    강화된 더 낮은 해상도의 이미지를 제공하도록 더 낮은 해상도의 디코딩을 강화하기 위한 추가 정보를 인코딩하는 것을
    수행하기 위한 명령어들을 포함하는, 프로그램 저장 디바이스.
  15. 방법으로서,
    디지털 이미지의 더 높은 해상도의 디코딩을 제공하고, 디지털 이미지의 더 낮은 해상도의 디코딩을 제공하도록 처리될 수 있는 인코딩된 이미지 데이터를 액세스하는 단계(202 내지 206)와,
    강화된 더 낮은 해상도의 이미지를 제공하도록 이미지의 더 낮은 해상도의 디코딩을 강화하기 위한 추가 인코딩된 정보를 액세스하는 단계(210)를
    포함하는, 방법.
  16. 제 15항에 있어서,
    인코딩된 이미지 데이터는 높은 해상도의 압축된 코드-스트림을 포함하고, 추가 인코딩된 정보는 낮은 해상도의 강화 층 압축된 코드-스트림을 포함하는, 방법.
  17. 제 15항에 있어서,
    인코딩된 이미지 데이터를 갖는 수신된 디지털 시네마 패키지에 포함된 메타데이터에서 추가 인코딩된 정보로의 포인터(pointer)를 수신하는 단계를 더 포함하는, 방법.
  18. 제 15항에 있어서,
    적어도
    인코딩된 이미지 데이터로부터 낮은 해상도의 압축된 코드-스트림을 추출하는 단계,
    더 낮은 해상도의 디코딩을 만들기 위해, 추출된 낮은 해상도의 압축된 코드-스트림을 디코딩하는 단계,
    디코딩된 강화 층을 만들기 위해, 추가 인코딩된 정보를 디코딩하는 단계, 및
    강화된 더 낮은 해상도의 이미지를 제공하기 위해, 디코딩된 강화 층과 더 낮은 해상도의 디코딩을 결합하는 단계를
    수행함으로써 강화된 더 낮은 해상도의 이미지를 발생시키는 단계를 더 포함하는, 방법.
  19. 제 15항에 있어서,
    적어도
    인코딩된 이미지 데이터로부터 낮은 해상도의 압축된 코드-스트림을 추출하는 단계,
    더 낮은 해상도의 디코딩에 관한 재구성된 소파동 계수들을 만들기 위해, 추출된 낮은 해상도의 압축된 코드-스트림을 디코딩하는 단계,
    더 낮은 해상도의 디코딩을 강화하기 위한 재구성된 소파동 계수들을 만들기 위해, 추가 인코딩된 정보를 디코딩하는 단계
    강화된 더 낮은 해상도의 이미지에 관한 소파동 계수들을 발생시키기 위해, (a) 더 낮은 해상도의 디코딩에 관한 재구성된 소파동 계수들과, (b) 더 낮은 해상도의 디코딩을 강화하기 위한 재구성된 소파동 계수들을 결합하는 단계, 및
    강화된 더 낮은 해상도의 이미지를 만들기 위해, 발생된 소파동 계수들을 처리하는 단계를
    수행함으로써 강화된 더 낮은 해상도의 이미지를 발생시키는 단계를 더 포함하는, 방법.
  20. 장치로서,
    인코딩된 이미지 데이터와 추가 인코딩된 데이터를 수신하도록 구성된 프로세서(802),
    상기 프로세서에 결합되고, 상기 인코딩된 이미지 데이터 내에 포함된 높은 해상도의 압축된 이미지로부터 낮은 해상도의 추출된 이미지 데이터를 발생시키도록 구성된 높은 해상도의 처리 그룹(820,1020), 및
    상기 프로세서에 결합되고, (a) 낮은 해상도의 추출된 이미지 데이터와 (b) 추가 인코딩된 데이터를 사용하여, 강화된 낮은 해상도의 이미지를 발생시키도록 구성된 낮은 해상도의 처리 그룹(830,1030)을
    포함하는, 장치.
  21. 제 20항에 있어서,
    상기 높은 해상도의 처리 그룹(820,1020)은
    높은 해상도의 압축된 이미지 데이터를 수신하고, 낮은 해상도의 압축된 코드-스트림을 추출하도록 구성된 추출기(804)와,
    낮은 해상도의 압축된 코드-스트림으로부터 낮은 해상도의 추출된 이미지를 발생시키도록 구성된 디코더(806)를
    더 포함하는, 장치.
  22. 제 20항에 있어서,
    상기 낮은 해상도의 처리 그룹(830,1030)은
    추가 인코딩된 데이터로부터 디코딩된 낮은 해상도의 강화 층을 발생시키도록 구성된 강화 층 디코더(808)와,
    디코딩된 낮은 해상도의 강화 층과 낮은 해상도의 추출된 이미지 데이터를 결합하여 강화된 낮은 해상도의 이미지를 만들어내도록 구성된 결합기(810)를
    더 포함하는, 장치.
  23. 장치로서,
    이미지의 더 높은 해상도의 디코딩을 제공하고, 이미지의 더 낮은 해상도의 디코딩을 제공하도록 처리될 수 있는 인코딩된 이미지 데이터를 액세스하기 위한 수단과,
    강화된 더 낮은 해상도의 이미지를 제공하도록 이미지의 더 낮은 해상도의 디코딩을 강화하기 위한 추가 인코딩된 정보를 액세스하기 위한 수단을
    포함하는, 장치.
  24. 제 23항에 있어서,
    강화된 더 낮은 해상도의 이미지를 발생시키기 위한 발생 수단을 더 포함하 고, 상기 발생 수단은
    인코딩된 이미지 데이터로부터 낮은 해상도의 압축된 코드-스트림을 추출하기 위한 수단,
    더 낮은 해상도의 디코딩을 위한 재구성된 소파동 계수들을 만들어내기 위해, 낮은 해상도의 압축된 코드-스트림을 디코딩하기 위한 수단,
    더 낮은 해상도의 디코딩을 강화하도록 재구성된 소파동 계수들을 만들어내기 위해, 추가 인코딩된 정보를 디코딩하기 위한 수단,
    강화된 더 낮은 해상도의 이미지에 관한 소파동 계수들을 발생시키기 위해, (a) 더 낮은 해상도의 디코딩을 위한 재구성된 소파동 계수들과, (b) 더 낮은 해상도의 디코딩을 위한 재구성된 소파동 계수들을 결합하기 위한 수단, 및
    강화된 더 낮은 해상도의 이미지를 만들어내기 위해, 발생된 소파동 계수들을 처리하기 위한 수단을
    포함하는, 장치.
  25. 명백히 구현된 응용 프로그램을 가지는 프로그램 저장 디바이스로서,
    상기 응용 프로그램은 적어도
    이미지의 더 높은 해상도의 디코딩을 제공하고, 이미지의 더 낮은 해상도의 디코딩을 제공하도록 처리될 수 있는 인코딩된 이미지 데이터로의 액세스와,
    강화된 더 낮은 해상도의 이미지를 제공하도록 이미지의 더 낮은 해상도의 디코딩을 강화하기 위한 추가 인코딩된 정보로의 액세스를
    수행하기 위한 명령어들을 포함하는, 프로그램 저장 디바이스.
  26. 정보를 나타내는 신호로서,
    상기 신호는
    인코딩된 이미지에 관한 인코딩된 데이터를 나타내는 제 1 신호 부분으로서, 상기 인코딩된 데이터는 인코딩된 이미지의 더 높은 해상도의 디코딩을 만들어내고, 인코딩된 이미지의 더 낮은 해상도의 디코딩을 만들어내기 위해 처리될 수 있는, 제 1 신호 부분과,
    더 낮은 해상도의 디코딩을 강화하기 위한 추가 인코딩된 정보를 나타내는 제 2 신호 부분을
    포함하는, 정보를 나타내는 신호.
  27. 제 26항에 있어서,
    상기 제 2 신호 부분은 메타데이터(metadata)를 포함하는 추가 인코딩된 정보를 나타내는, 정보를 나타내는 신호.
  28. 제 26항에 있어서,
    상기 제 2 신호 부분은 하나 이상의 공간-영역 데이터나 주파수-영역 데이터를 포함하는 추가 인코딩된 정보를 나타내는, 정보를 나타내는 신호.
  29. 제 26항에 있어서,
    상기 제 1 신호 부분은 하나 이상의 반송파(carrier) 주파수를 변조함으로써, 인코딩된 데이터를 나타내도록 포맷팅되고,
    상기 제 2 신호 부분은 하나 이상의 반송파 주파수를 변조함으로써, 추가 인코딩된 정보를 나타내도록 포맷팅되는,
    정보를 나타내는 신호.
KR1020097027016A 2007-06-27 2007-06-27 이미지 품질 강화 KR101376666B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2007/014961 WO2009002313A1 (en) 2007-06-27 2007-06-27 Enhancing image quality

Publications (2)

Publication Number Publication Date
KR20100024436A true KR20100024436A (ko) 2010-03-05
KR101376666B1 KR101376666B1 (ko) 2014-03-21

Family

ID=39316395

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097027016A KR101376666B1 (ko) 2007-06-27 2007-06-27 이미지 품질 강화

Country Status (7)

Country Link
US (1) US8644632B2 (ko)
EP (1) EP2172025A1 (ko)
JP (1) JP4920110B2 (ko)
KR (1) KR101376666B1 (ko)
CN (1) CN101682759B (ko)
BR (1) BRPI0721640A2 (ko)
WO (1) WO2009002313A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8611726B2 (en) 2010-11-17 2013-12-17 Electronics And Telecommunications Research Institute Apparatus and method for generating digital cinema content and apparatus and method for playing digital cinema content

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2204046B1 (en) * 2007-10-16 2019-12-04 InterDigital Madison Patent Holdings Methods and apparatus for artifact removal for bit depth scalability
US9699242B2 (en) 2007-12-07 2017-07-04 Dan Atsmon Multimedia file upload
US8243824B2 (en) * 2008-01-16 2012-08-14 Sony Corporation Information processing apparatus and method
JP5504336B2 (ja) * 2009-05-05 2014-05-28 テレフオンアクチーボラゲット エル エム エリクソン（パブル） スケーラブルビデオ符号化方法、符号器及びコンピュータプログラム
US8589999B1 (en) * 2009-08-11 2013-11-19 Arris Solutions, Inc. Methods and systems for splicing between media streams
EP2315445A1 (en) * 2009-10-09 2011-04-27 Vidast Oy Video compression
US20110317755A1 (en) * 2010-06-24 2011-12-29 Worldplay (Barbados) Inc. Systems and methods for highly efficient compression of video
TWI574555B (zh) 2011-02-22 2017-03-11 太格文 Ｉｉ有限責任公司 影像編碼方法及影像編碼裝置
TWI523499B (zh) * 2011-02-22 2016-02-21 Panasonic Ip Corp America An image coding method, an image decoding method, an image coding apparatus, an image decoding apparatus, and an image coding / decoding apparatus
CN102724522B (zh) * 2011-03-29 2014-07-09 雷欧尼斯（北京）信息技术有限公司 一种基于dci标准的4d数字电影实现方法和系统
EP3661201B1 (en) 2011-07-19 2021-02-17 Tagivan Ii Llc Filtering method, moving image decoding method, moving image encoding method, moving image decoding apparatus, moving image encoding apparatus, and moving image encoding/decoding apparatus
CA2844361C (en) 2011-07-26 2017-09-19 Lg Electronics Inc. Apparatus and method for transmitting and receiving a uhd video stream which is downsampled into hd video and residual sub-streams
WO2013090120A1 (en) 2011-12-15 2013-06-20 Dolby Laboratories Licensing Corporation Backwards-compatible delivery of digital cinema content with extended dynamic range
JP2014093569A (ja) * 2012-10-31 2014-05-19 Toshiba Corp 情報処理装置、制御方法及び制御プログラム
US20150016502A1 (en) * 2013-07-15 2015-01-15 Qualcomm Incorporated Device and method for scalable coding of video information
US8879858B1 (en) * 2013-10-01 2014-11-04 Gopro, Inc. Multi-channel bit packing engine
CN104090709B (zh) * 2014-06-11 2017-11-21 小米科技有限责任公司 图片切换方法和装置
US10880566B2 (en) * 2015-08-28 2020-12-29 Boe Technology Group Co., Ltd. Method and device for image encoding and image decoding
CN108681988B (zh) * 2018-04-17 2022-03-29 中国科学院光电技术研究所 一种基于多幅图像的鲁棒的图像分辨率增强方法
WO2021060808A1 (en) * 2019-09-24 2021-04-01 Lg Electronics Inc. Signal processing device and image display apparatus including same

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5621660A (en) 1995-04-18 1997-04-15 Sun Microsystems, Inc. Software-based encoder for a software-implemented end-to-end scalable video delivery system
US6801665B1 (en) * 1998-09-15 2004-10-05 University Of Maryland Method and apparatus for compressing and decompressing images
US6639943B1 (en) * 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
US6907073B2 (en) 1999-12-20 2005-06-14 Sarnoff Corporation Tweening-based codec for scaleable encoders and decoders with varying motion computation capability
CN1258922C (zh) * 2000-09-22 2006-06-07 皇家菲利浦电子有限公司 细粒可分级性的最佳传输/流式顺序
US7463683B2 (en) * 2000-10-11 2008-12-09 Koninklijke Philips Electronics N.V. Method and apparatus for decoding spatially scaled fine granular encoded video signals
US6937772B2 (en) * 2000-12-20 2005-08-30 Eastman Kodak Company Multiresolution based method for removing noise from digital images
JP2003032496A (ja) * 2001-07-12 2003-01-31 Sanyo Electric Co Ltd 画像符号化装置および方法
AUPS271002A0 (en) 2002-05-31 2002-06-20 Canon Kabushiki Kaisha Embedding a multiresolution compressed thumbnail image in a compressed image file
US7200277B2 (en) * 2003-07-01 2007-04-03 Eastman Kodak Company Method for transcoding a JPEG2000 compressed image
JP4081680B2 (ja) * 2003-11-10 2008-04-30 ソニー株式会社 記録装置、記録方法、記録媒体、再生装置、再生方法およびコンテンツの伝送方法
JP4448714B2 (ja) * 2004-03-03 2010-04-14 パイオニア株式会社 デジタル画像信号復号化装置及び復号化方法
EP1743485B1 (en) * 2004-04-09 2021-02-17 Warner Bros. Entertainment Inc. Motion picture distribution system and related method
US7400653B2 (en) * 2004-06-18 2008-07-15 Dolby Laboratories Licensing Corporation Maintaining synchronization of streaming audio and video using internet protocol
WO2006008681A1 (en) * 2004-07-13 2006-01-26 Koninklijke Philips Electronics N.V. Method of spatial and snr picture compression
EP1816870A4 (en) 2004-11-19 2009-07-29 Panasonic Corp VIDEO CODING METHOD AND VIDEO CODING METHOD
WO2006058921A1 (en) 2004-12-03 2006-06-08 Thomson Licensing Method for scalable video coding
KR100886191B1 (ko) * 2004-12-06 2009-02-27 엘지전자 주식회사 영상 블록을 디코딩 하는 방법
JP2006197074A (ja) 2005-01-12 2006-07-27 Fuji Xerox Co Ltd 画像処理装置、画像処理方法及びそのプログラム
US7110605B2 (en) * 2005-02-04 2006-09-19 Dts Az Research, Llc Digital intermediate (DI) processing and distribution with scalable compression in the post-production of motion pictures
KR101092539B1 (ko) * 2005-02-18 2011-12-14 삼성전자주식회사 화이트 밸런스를 자동 조정하는 영상장치 및 그의 화이트밸런스 조정 방법
JP2007013706A (ja) 2005-06-30 2007-01-18 Sony Corp 画像データ生成装置、画像データ生成方法及び画像データ生成プログラム
EP1902445B1 (en) * 2005-07-14 2013-11-27 Thomson Licensing Method and apparatus for providing an auxiliary media in a digital cinema composition playlist
JP2009508395A (ja) * 2005-09-09 2009-02-26 トムソン ライセンシング ビデオ透かし挿入のための係数修正
US20070273798A1 (en) * 2006-05-26 2007-11-29 Silverstein Barry D High efficiency digital cinema projection system with increased etendue
US8170334B2 (en) * 2011-10-13 2012-05-01 University Of Dayton Image processing systems employing image compression and accelerated image decompression

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8611726B2 (en) 2010-11-17 2013-12-17 Electronics And Telecommunications Research Institute Apparatus and method for generating digital cinema content and apparatus and method for playing digital cinema content

Also Published As

Publication number Publication date
US8644632B2 (en) 2014-02-04
EP2172025A1 (en) 2010-04-07
JP2010532133A (ja) 2010-09-30
US20100142836A1 (en) 2010-06-10
WO2009002313A1 (en) 2008-12-31
BRPI0721640A2 (pt) 2013-01-29
CN101682759A (zh) 2010-03-24
CN101682759B (zh) 2013-01-09
KR101376666B1 (ko) 2014-03-21
JP4920110B2 (ja) 2012-04-18

Similar Documents

Publication Publication Date Title
KR101376666B1 (ko) 이미지 품질 강화
Taubman et al. JPEG2000: Standard for interactive imaging
KR100681168B1 (ko) 미세 입상 스케일 가능한 비디오를 위한 잔류 신호의인코딩 및 디코딩 시스템 및 그 방법
EP2735166B1 (en) Transmission of reconstruction data in a tiered signal quality hierarchy
AU2007319699B2 (en) Techniques for variable resolution encoding and decoding of digital video
US8165212B2 (en) Video encoding method, and video decoding method
JP2003503975A (ja) スケーラブルビデオコーディングのシステム及び方法
CA2543947A1 (en) Method and apparatus for adaptively selecting context model for entropy coding
EP2041976A2 (en) Signaling of region-of-interest scalability information in media files
JP2010263657A (ja) 複数記述符号化のための装置及び方法
US20080152002A1 (en) Methods and apparatus for scalable video bitstreams
JP2017120979A (ja) 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体
Su et al. A practical design of high-volume steganography in digital video files
CN101888553B (zh) 用于可伸缩视频编码的方法和装置
WO2009002321A1 (en) Enhancing image quality
US20140152767A1 (en) Method and apparatus for processing video data
Richardson Video compression codecs: a survival guide
WO2017115482A1 (ja) ビットストリーム変換装置、ビットストリーム変換方法、配信システム、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体
Taubman et al. High throughput JPEG 2000 for video content production and delivery over IP networks
US20240048764A1 (en) Method and apparatus for multi view video encoding and decoding, and method for transmitting bitstream generated by the multi view video encoding method
KR0171749B1 (ko) 호환 부호기
Pandiammal et al. An Enhanced Approach for Video Compression
JP3617358B2 (ja) 映像符号化方法および装置
US20100074327A1 (en) Video quantizer unit and method thereof
Militzer et al. LLV1: layered lossless video format supporting multimedia servers during realtime delivery

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170220

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180219

Year of fee payment: 5