KR20100097126A - 스케일링 및 퀄리티-컨트롤 파라미터의 변경에 의한 변환이 가능한 이미지의 파일 사이즈 예측 시스템 및 방법 - Google Patents

스케일링 및 퀄리티-컨트롤 파라미터의 변경에 의한 변환이 가능한 이미지의 파일 사이즈 예측 시스템 및 방법 Download PDF

Info

Publication number
KR20100097126A
KR20100097126A KR20107012055A KR20107012055A KR20100097126A KR 20100097126 A KR20100097126 A KR 20100097126A KR 20107012055 A KR20107012055 A KR 20107012055A KR 20107012055 A KR20107012055 A KR 20107012055A KR 20100097126 A KR20100097126 A KR 20100097126A
Authority
KR
South Korea
Prior art keywords
image
file size
size prediction
quality
conversion
Prior art date
Application number
KR20107012055A
Other languages
English (en)
Other versions
KR101428671B1 (ko
Inventor
스티븐 피젼
장-프랑수아 프랑쉐
스테판 꾸롱베
Original Assignee
에꼴 드 테크놀로지 수페리에르
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에꼴 드 테크놀로지 수페리에르 filed Critical 에꼴 드 테크놀로지 수페리에르
Publication of KR20100097126A publication Critical patent/KR20100097126A/ko
Application granted granted Critical
Publication of KR101428671B1 publication Critical patent/KR101428671B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

스케일링 및 적어도 하나의 퀄리티-컨트롤 파라미터의 변경에 의한 변환이 가능한 이미지의 파일 사이즈를 예측하는 시스템 및 방법에 있어서, (a) 변환 전의 이미지의 파일 사이즈, (b) 변환 전의 이미지의 적어도 하나의 퀄리티-컨트롤 파라미터에 관한 정보, (c) 변환 동안 이미지로의 적용을 위한 적어도 하나의 퀄리티-컨트롤 파라미터에 관한 정보 및 (d) 변환 동안 이미지로의 적용을 위한 스케일링 팩터를 수신하는 입력을 가지는 예측 시스템 및 방법이 제안된다. 상대적인 사이즈 예측값은 수신된 퀄리티 컨트롤 파라미터 정보와 스케일링 팩터에 기초하여 계산된다. 변환 후의 이미지의 파일 사이즈는 최종적으로 변환 전의 이미지의 파일 사이즈 및 계산된 상대적인 사이즈 예측값의 함수로서 계산된다.

Description

스케일링 및 퀄리티-컨트롤 파라미터의 변경에 의한 변환이 가능한 이미지의 파일 사이즈 예측 시스템 및 방법{SYSTEM AND METHOD FOR PREDICTING THE FILE SIZE OF IMAGES SUBJECT TO TRANSFORMATION BY SCALING AND A CHANGE OF QUALITY-CONTROLLING PARAMETERS}
본 발명은 일반적으로 이미지 트랜스코딩에 관한 것으로서, 보다 상세하게는, 스케일링(scaling) 및 퀄리티-컨트롤 파라미터(quality-controlling parameter)의 변경에 의한 변환이 가능한(subject to transformation) 이미지의 파일 사이즈를 예측하기 위한 시스템 및 방법에 관한 것이다.
오늘날 모바일 단말, 전자 장치, 통신 및 멀티미디어 애플리케이션의 이종(heterogeneous) 속성으로 인해 멀티미디어의 트랜스코딩이 불가피하다. 예를 들어, 최근의 멀티미디어 메시징 서비스(Multimedia Messaging Service, MMS)에서는 서버단에서의 적응(server-end adaptation)을 필요로 하는데, 이는 수신 모바일 단말이 현재의 포맷 하에서 수신된 미디어를 처리할 수 없는 경우, 호환성(interoperability)을 보장하기 위함이다. 이미지와 관련된 호환성 문제는 주로 과도한 해상도(resolution) 또는 파일 사이즈에 기인한다. 따라서, 이미지 트랜스코딩 작업은 일반적으로 이미지 스케일링 및 파일 사이즈 축소(reduction)와 관련된다.
이미지의 해상도를 감소시키는 것이 잘 알려진, 그리고 결정적인 문제임에도 불구하고, 주어진 목표치에 도달하기 위해 이미지의 압축된 파일 사이즈를 효율적으로 줄이는 것은 여전히 어려운 문제이다. 예를 들어, 손실이 많은(lossy) JPEG(Joint Photographic Experts Group) 포맷의 경우, 사용자는 일반적으로 퀄리티 팩터(Quality Factor, QF)를 제어하는데, 이는 양자화(quantization) 과정에 영향을 주어 결과적으로 압축된 파일 사이즈에도 영향을 미친다. 실제로, QF가 높을수록 더 높은 이미지 퀄리티와 더 큰 파일 사이즈를 가지게 된다. 그러나 QF와 압축된 파일 사이즈 사이의 정확한 관계는 여전히 명확히 정리되지 않았는데, 이는 QF와 압축 파일의 크기 사이의 관계를 확립하기 위해서는 이미지의 다른 성질들도 고려되어야 하기 때문이다.
이미지 파일 사이즈 축소를 위한 간단한 트랜스코딩 방식은, 이미지를 디코딩(decoding)하여, 허용되는 한도에서 목표치에 도달할 때까지 다른 QF 값으로 반복적으로 재인코딩(re-encoding)하는 방법으로 구성될 수 있다. 이러한 방식은 기능적(functional)임에도 불구하고, 계산(computation)의 측면에서 매우 비효율적이고, 대용량(high volume) 이미지 트랜스코딩 서버에도 적합하지 않다.
몇몇 연구에서는 양자화와 파일 사이즈 또는 비트 레이트(bitrate)와의 관계에 대해 조사한 바 있다. 이 연구들이 흥미로운 결과를 제시하기는 하나, 제안된 스케일링 및 퀄리티-컨트롤 파라미터의 변경에 의한 변환이 가능한 JPEG 이미지 파일 사이즈 예측에 있어 이러한 결과들이 사용되기는 어렵다. 많은 가정들(assumptions)이 지켜지지 않기 때문이다. 예를 들어, 대부분의 연구들이 오리지널의, 가공되지 않은(artifact-free) 이미지로부터 시작한다. 또한 이 연구들 중 몇몇은 MPEG 비디오 코딩 과정에서 이루어졌는데, 이는 JPEG보다 더 간단한 양자화 기법(scheme)을 사용한다. 더 중요한 것은, 이러한 연구들은 진실된 적응 전략(bona fide adaptation strategy)으로서의 이미지 스케일링을 무시한다는 점이다. 이러한 차이점들의 영향에 대해서는 이하에서 논의될 것이다.
더불어, 구체적인 JPEG 스케일링 문제를 처리하기 위한 흥미로운 방법들이 제안되어 왔다 (Patent US 6,233,359 B1 granted to Ratnakar et al on May 15, 2001 and the article “Efficient transform-domain size and resolution reduction of images”, by J. Ridge, Signal Processing: Image communication, 18(8):621-639, September 2003참고). J. Ridge의 논문(article)에서 논의된 바와 같이, Patent US 6,233,359 B1의 방법은 사용자 경험(user experience)보다 복잡성(complexity)에 더 초점을 둔다. 또한, 이 방법은 파일 사이즈에 이르지 못하기(undershooting) 쉬운데, 이것은 두가지의 주요 결점을 나타낸다. J. Ridge의 방법이 Patent US 6,233,359 B1의 방법보다 훨씬 좋은 결과를 제공한다 하더라도, 이 두 방법은 여전히 주요한 결점 또는 한계를 가지고 있는데, 특히 파일 사이즈 축소 전략으로서의 스케일링 처리가 없다는 점이 문제이다. 따라서 더 많은 연구가 요구되며, 이러한 기존 방법들을 개선시킬 필요성이 있다.
예를 들어, 기존의 알고리즘들은 먼저 얼마간의 이미지 통계(statistics)가 취합될 것을 요한다. 그렇게 함으로써, 그 과정의 복잡성이 증가할 뿐만 아니라, JPEG 인코더/디코더 소프트웨어가 전문적인(specialized) 트랜스코더가 되도록 어떠한 레벨의 이미지 압축 도구의 재설계(re-engineering)를 필요로 한다.
다음으로, 그러한 알고리즘들은 이미지의 해상도를 고정된 것으로 여기거나, 이전의 스테이지에서 독립적으로 변경된 것으로 보고, 파일 사이즈 축소에만 초점을 맞춘다. 그러나, 퀄리티-컨트롤 파라미터 및 스케일링의 양 자 모두에서 그 변경으로 인한 영향에 대한 연구가 필요할 것으로 보인다. 실제로, 이는 단말 제약(constraints)에 부합하는 스케일링 및 QF 값의 가장 우수한 조합을 선택하는 데에 유용할 것이다. 특히, 낮은 해상도의 고품질 이미지가 높은 해상도의 저품질 이미지보다 더 나은 경우가 흔히 있다.
본 발명의 목적은 스케일링 및 퀄리티-컨트롤 파라미터의 변경에 의한 변환이 가능한 이미지 파일 사이즈 예측 시스템 및 방법을 제공하는 것이며, 이러한 시스템 및 방법을 통해 전술한 문제점과 결점들을 극복할 수 있다.
더 구체적으로, 본 발명에 의하면, 스케일링 및 적어도 하나의 퀄리티-컨트롤 파라미터의 변경에 의한 변환이 가능한 이미지의 파일 사이즈를 예측하는 방법에 있어서, (a) 상기 이미지의 변환 전의 이미지의 파일 사이즈, (b) 상기 이미지의 변환 전의 이미지의 적어도 하나의 퀄리티-컨트롤 파라미터에 관한 정보, (c) 상기 이미지의 변환 동안 이미지로의 적용을 위한 적어도 하나의 퀄리티-컨트롤 파라미터에 관한 정보 및 (d) 상기 이미지의 변환 동안 이미지로의 적용을 위한 스케일링 팩터를 수신하는 단계; 상기 수신된 퀄리티-컨트롤 파라미터와 스케일링 팩터에 관한 정보에 기초하여 상대적인 파일 사이즈 예측값을 계산하는 단계; 및 상기 이미지의 변환 후의 이미지의 파일 사이즈 예측값 - 상기 이미지의 변환 후의 이미지의 파일 사이즈 예측값은 상기 이미지의 변환 전의 이미지의 파일 사이즈 및 상기 계산된 상대적인 파일 사이즈 예측값의 함수로서 계산됨 - 을 계산하는 단계를 포함하는 이미지 파일 사이즈 예측 방법이 제안된다.
또한 본 발명은, 스케일링 및 적어도 하나의 퀄리티-컨트롤 파라미터의 변경에 의한 변환이 가능한 이미지 파일 사이즈를 예측하는 시스템에 있어서, (a) 상기 이미지의 변환 전의 이미지의 파일 사이즈, (b) 상기 이미지의 변환 전의 이미지의 적어도 하나의 퀄리티-컨트롤 파라미터에 관한 정보, (c) 상기 이미지의 변환 동안 이미지로의 적용을 위한 적어도 하나의 퀄리티-컨트롤 파라미터에 관한 정보, 및 (d) 상기 이미지의 변환 동안 이미지로의 적용을 위한 스케일링 팩터를 수신하기 위한 입력부; 상기 수신된 퀄리티-컨트롤 파라미터와 스케일링 팩터에 관한 정보에 기초한 상대적인 파일 사이즈 예측값을 계산하는 계산기; 및 상기 이미지의 변환 후의 이미지의 파일 사이즈 예측값 - 상기 이미지의 변환 후의 이미지의 파일 사이즈 예측값은 상기 이미지의 변환 전의 이미지의 파일 사이즈 및 상기 계산된 상대적인 파일 사이즈 예측값의 함수(function)로서 계산됨 - 을 계산하는 계산기를 포함하는 이미지 파일 사이즈 예측 시스템과 관련된다.
전술한, 그리고 그 외의 본 발명의 목적, 특징 및 장점은 첨부된 도면과 그에 따른 예시적인 실시예의 비제한적인 설명을 통해 더욱 분명해질 것이다.
첨부된 도면에서:
도 1은 본 발명의 비제한적이고 예시적인 제 1 실시예에 의한 스케일링 및 퀄리티-컨트롤 파라미터의 변경에 의한 변환이 가능한 이미지 파일 사이즈를 예측하기 위한 제 1 시스템의 개념적인 블록 다이어그램;
도 2는 본 발명의 비제한적이고 예시적인 제 1 실시예에 의한 (도 1의 제 1시스템과 부합하는) 스케일링 및 퀄리티-컨트롤 파라미터의 변경에 의한 변환이 가능한 이미지 파일 사이즈를 예측하기 위한 제 1 방법의 트레이닝 단계를 나타내는 흐름도;
도 3은 본 발명의 비제한적이고 예시적인 제 2 실시예에 의한 스케일링 및 퀄리티-컨트롤 파라미터의 변경에 의한 변환이 가능한 이미지 파일 사이즈를 예측하기 위한 제 2 시스템의 블록 다이어그램;
도 4는 본 발명의 비제한적이고 예시적인 제 2 실시예에 의한 (도 3의 제 2시스템과 부합하는) 스케일링 및 퀄리티-컨트롤 파라미터의 변경에 의한 변환이 가능한 이미지 파일 사이즈를 예측하는 제 2 방법의 트레이닝 단계를 나타내는 흐름도;
도 5는 추정량(estimator)
Figure pct00001
또는 그에 대응하는 어레이
Figure pct00002
의 기하학적인 해석을 나타내는 그래프;
도 6은 클러스터링(clustering)의 예의 그래프; 그리고
도 7a 및 도 7b는 파일 사이즈(bytes)의 함수로서(as a function of) 영점(zeros)의 백분율을 보여주는 그래프이다.
일반적으로, 본 발명의 비제한적이고 예시적인 실시예에 의한 시스템 및 방법은 이미지 파일 사이즈를 예측하는데, 이러한 이미지는 이미 압축되어 있고, 스케일링 및 퀄리티-컨트롤 파라미터의 변경에 의한 변환이 가능하다.
또한, 본 발명의 일 비제한적이고 예시적인 실시예에 의한 시스템 및 방법은 스케일링 및 적어도 하나의 퀄리티-컨트롤 파라미터 - 여기에서는 QF(Quality Factor, 퀄리티 팩터)가 사용됨 - 의 변경에 의한 변환이 가능한 JPEG 이미지 파일 사이즈를 예측하는데, GIF(Graphics Interchange Format)와 같은 다른 종류의 이미지 포맷 및 색의 수(number of colors), 색 농도(color depth), 색 성분 샘플링 구조(color component sampling structure, 4:4:4, 4:2:2, 4:2:0 등), 수평 및 수직 해상도(horizontal and vertical resolutions), 서브샘플링(subsampling) 팩터 등의 다른 퀄리티-컨트롤 파라미터를 가지는 다른 타입의 포맷에도 이와 동일한 개념이 적용될 수 있다. 본 발명에 대한 설명을 명확하고 간단하게 하기 위해 주로 하나의 퀄리티-컨트롤 파라미터를 가지고 기술하나, 많은 퀄리티-컨트롤 파라미터들로 확장이 가능하다; 이는 이하에서 더 상세히 설명될 것이다.
또한, 본 발명의 비제한적이고 예시적인 실시예에 의한 시스템 및 방법은, 어떠한 크기 제약을 만족시키는 스케일링 팩터 및 QF의 적절한 조합을 선택할 것이다. 더불어, 과정의 복잡성을 최소화하기 위해, 파일 사이즈 예측 시스템 - 이하 파일 사이즈 예측기(predictor)라고 언급됨 - 은 이미지로부터 미리 사용 가능하고 쉽게 접근할 수 있는 값들을 사용한다.
그러나, 파일 사이즈 예측기에 대한 더 이상의 설명에 앞서, 이미지 코퍼스(corpus)의 트레이닝 및 테스트의 개념을 설명하기로 한다.
파일 사이즈 예측기 및/또는 파일 사이즈 예측 방법의 테스트를 위해, 이미지 코퍼스가 사용된다. 유용한 코퍼스는 연구할 집단(population)을 대표하는 표본들(exemplars) - 여기에서는 이미지들 - 의 집합(collection)으로 이루어져 있다. 현재, 전형적인 JPEG 데이터베이스는 널리 이용 가능하지 않기 때문에, 고유의 데이터베이스 또는 이미지 코퍼스를 제작해야 한다. 예를 들어, 이미지 코퍼스를 만들기 위해 인터넷을 통해 이미지들을 모을 수 있다. 실제로, 크롤러(crawler)는 인기 있는 웹 페이지로부터 링크를 따라가서 어떠한 이미지 개체를 발견하고 이를 획득할 수 있다. 더불어, 독특한 식별자(identifiers)를 이용하여 파일의 이름을 바꿈으로써 이미지 코퍼스의 이미지의 익명성(anonymization) 및 독창성을 확보할 수 있는데, 예를 들어 전체 파일에 적용되는 MD5(Message Digest 5)와 같은 강력한 해쉬 함수(hash function)에 의해 만들어지는 식별자를 이용할 수 있다. 또한 충돌(collisions)은 안전하게 무시될 수 있다. MD5와 같은 강력한 해쉬 함수는 문서로부터 디지털 서명을 수행하는데, 이는 그 서명이 수행된 문서를 식별하는 데에 믿을만하게(reliably) 사용될 수 있다. MD5와 같은 매우 강력한 해쉬 함수는 두 개의 다른 문서에 같은 디지털 서명을 하는 일이 거의 없어서, 매우 믿을 수 있는 동일 파일 탐지 방법이 된다.
또한, 이미지 코퍼스는 두 개의 임의의 디스조인트(disjoint) 세트: 이미지 트레이닝 세트와 이미지 테스트 세트로 나누어진다. 트레이닝 세트는 예측 모델 및 방법을 최적화하기 위한 이미지들을 포함하고, 테스트 세트는 최적화된 예측 모델 및 방법을 실제로 테스트하기 위해 사용된다. 코퍼스는 다소 제한된 수의 표본들을 나타내기 때문에, 새로운 표본들은 퀄리티-컨트롤 파라미터 및 스케일링에 의한 많은 가능한 변환들을 적용시킴으로써 생성된다. 그리하여 모델은 훨씬 크고 유용한 표본 집단으로 채워질 수 있다.
i) 다항식(polynomial) 예측 및 ii)
Figure pct00003
- domain 예측 시스템 및 방법과 같은, 현재 사용되는 이미지 파일 예측 시스템 및 방법을 설명하기로 한다.
i) 다항식( Polynomial ) 예측
다항식 예측은 예측을 공식화(formulate)하기 위해 저차의 다항식을 이용한다. 일차원(one-dimensional)의 데이터에 적합한 다항식을 계산하는 것은 간단한 일일지라도, 여기에 변수들을 추가할 경우 계산되어야 할 포인트의 수는 기하급수적으로 증가한다. 실제로, Lin et al.의 테크닉(Article “Rate control using spline-interpolated R-D characteristics”, in Procs. VCIP'96, pages 111-122, 1996)이 n개의 변수를 가진 d차 다항식에 사용되도록 일반화된 것이라면, (d + 1)n 개의 미지수(unknown)를 가진 (d + 1)n 개의 식을 풀 필요가 있다. (d + 1)n 개의 각각의 식에서 커브(curve) 상의 포인트가 평가(evaluate)될 필요가 있다. 이러한 Lin et al.에 의해 제안된 기법에 의한다면, 각각의 포인트에 대한 부분적인 트랜스코딩이 수행되어야 한다는 의미가 되는데, 이는 수용할 수 없는 양의 계산을 수반하게 된다.
또한, 다항식의 최적의 차수 d가 무엇인지 (혹은 그것이 다항식인지조차도) 및 어떠한 n개의 변수들이 예측에 포함되어야 하는지가 불명확하다. 적어도 스케일링 팩터와 원하는 출력 퀄리티 팩터 QFout은 예측을 공식화하기 위해 사용되어야 한다; 입력 퀄리티 팩터 QFin은 이미지 자체에 내재되어 있어서, (d + 1)n 포인트들이 계산될 때 이에 관여하게 된다. 이러한 절차는 계산상 거의 불가능하므로, 더 깊게 연구하지 않기로 결정되었다.
QPs(Quantization Parameters, 양자화 파라미터) 와 QFs(Quality Factors, 퀄리티 팩터) 는 긴밀히 연관되어 있다는 점에 주목해야 한다. 높은 QP는 더 적극적인(aggressive) 양자화를 의미하고, 높은 QF는 더 높은 퀄리티와 그에 따른 덜 적극적인 양자화를 의미한다. QPs는 표준 H.263에서 사용된 것과 같은 기법의 양자화에 직접적으로 관련되어 있다. 그러나, JPEG에서는 QFs가 두 연속적인 단계를 통해 양자화에 관여한다: 첫 번째 단계에서는 구분적으로(piecewise) 전달 함수(transfer function)가 사용되고, 두 번째 단계에서는 양자화 매트릭스가 사용된다. 양자화 매트릭스는 인코딩 전에 DCT(Discrete Cosine Transform) 계수를 스케일한다. 본 명세서에서, QF는 Independent JPEG Group(IJG)에 의해 이해된 바와 같이, JPEG 퀄리티 팩터를 말한다.
ii )
Figure pct00004
- domain 예측
Figure pct00005
- domain 예측에서, 비트 레이트의 정확한 예측은 양자화에 기인한 영점들의 개수의 추정치(estimate)에 기초하여 계산된다.
Figure pct00006
- domain 예측에서, i) 이미지는 절대 리사이즈(resize)되지 않고, ii) 목표 비트 레이트는 매우 낮으며, iii) 오리지널 이미지는 압축기(compressor)에서 이용 가능하다는 점을 가정한다. 표준 H.263에 의할 때, i) 및 ii) 의 두 가정은 유효할 수 있다. 그러나, 오리지널 이미지가 압축기에서 이용 가능하다는 가정 iii)은 이미지 적응(adaptation) 및 트랜스코딩에 있어서 유효하지 않다: 위에서 언급한 바와 같이, 오리지널 및 원래의(raw) 이미지들은 일반적으로 트랜스코딩 엔진에서 이용 가능하지 않다.
Figure pct00007
- domain 예측은 표준 H.263의 대략적인(cruder) 양자화를 이용한다. JPEG가 설정 가능한(can be customized) 양자화 매트릭스를 사용하는 반면에, 표준 H.263은 더 간단한 균일한(uniform) 양자화기를 사용한다. 양자화 매트릭스에 의해 발생하는 추가적인 복잡성은
Figure pct00008
- domain 예측 모델을 JPEG 적응에 덜 따르도록(less amenable) 한다.
도 7a 및 7b는
Figure pct00009
- domain 예측에 따르는 예측기가 매우 낮은 QF 지역에서 선형적(linear)이라는 점을 보여준다. 더 구체적으로, 영점(zeros)의 수는 비트 레이트에 따라, 단 낮은 비트 레이트에서만, 선형적으로 변화한다. 그러나, 도 7b에서와 같이 더 넓은 범위의 비트 레이트가 고려되는 경우에는 선형성이 상실된다. 또한, 매우 낮은 QF는 JPEG를 사용하는 정지 화상(still picture) 코딩에 적합하지 않은데, 왜냐하면 그들은 인식된 이미지의 퀄리티를 낮추고 가공(artifacts)을 야기하기 때문이다. 사용자 경험(user experience)을 최대화할 때, 가능한 가장 높은 QF는 파일 사이즈 제약에 맞춤과 동시에 고려되어야 한다.
더불어,
Figure pct00010
- domain 예측은 계산의 측면에서 비용이 많이 들고, 다양한 범위의 양자화 파라미터 값들을 요한다.
다항식 예측 및
Figure pct00011
- domain 예측 모두 다소 복잡하고, 결점들을 가진다. 첫째로, 다항식 예측 및
Figure pct00012
- domain 예측은, 종종 오리지널 이미지를 사용하는 것과 같이 트랜스코딩에서 맞지 않는 가정을 한다. 둘째로, 다항식 예측 및
Figure pct00013
- domain 예측은 파일 사이즈 축소를 위한 스케일링 작업을 무시한다. 따라서, 이들의 판단(estimation)은 스케일링 및 QF 감소의 합동(joint) 판단과 맞지 않는다.
Figure pct00014
- domain 예측은, 스케일링이 일어났을 때, 그것이 트랜스코딩된 파일 사이즈 예측 이전에 발생한 것으로 가정하는데, 이는 스케일링 및 퀄리티 팩터에 기반한 파일 사이즈 축소를 위한 적응 전략을 공식화하는 것을 허용하지 않는다. 다항식 예측은, 이론적으로는, 스케일링도 포함할 수 있으나, 사용되는 변수가 증가함에 따라 필요한 트랜스코딩의 수도 기하급수적으로 증가하게 되므로, 이를 위한 계산 비용은 허용될 수 없는 수준이다. 적응 전략으로서 스케일링을 무시하는 것은 주요한 결점인데, 사용자 경험을 최대화하기 위해서는, 이미지가 스케일 다운(scale down)되어야 하고, 단순히 낮은 QF로 재압축 되기보다는 높은 QF로 인코딩 되어야 하기 때문이다. 따라서, 파일 사이즈 예측기는 QF 변경과 더불어 스케일링까지도 고려할 수 있어야 한다.
더불어, 이미지의 폭(width), 높이(height), 스케일링 및 QF를 제외한 이미지 데이터를 사용하지 않는 파일 사이즈 예측기를 얻는 것은 흥미로운 일이다. 또한, 파일 사이즈 예측기는 현재 이미지에 관한 예측을 공식화할 수 있도록 다른 이미지들에 관한 정보를 사용할 수 있어야 한다. 따라서, 논-파라메트릭(non-parametric) 방법이 유리하게 이용될 수 있다.
논-파라메트릭 모델링은 파라메트릭(parametric) 모델링과 내부의 파라미터들의 수에서 다른데, 보통 더 크고, 이러한 파라미터들은 구조의 발견이 가능하도록 느슨하게 조직되어 있다. 반면에, 파라메트릭 모델링은 고정된 작은 수의 파라미터들을 사용하고, 이들 각각은 선험적인(priori) 가정에 의해 매우 구체적인 역할이 할당되어 있다.
1. 제 1 변환된 이미지 파일 사이즈 예측기
일반적으로, 본 발명의 비제한적이고 예시적인 제 1 실시예에 의한 파일 사이즈 예측기는 스케일링 및 퀄리티 팩터 변경에 의한 변환이 가능한 이미지 파일 사이즈를 예측하는 데 있어, 그 이미지의 변환 전의 압축된 파일 사이즈에 어떠한 예측 팩터를 곱한 것, 즉, 이하에서 상대적인 파일 사이즈 예측값이라 칭하는 것을 고려한다.
도 1은 본 발명의 일 비제한적이고 예시적인 제 1 실시예에 의한 파일 사이즈 예측기(10)이다. 파일 사이즈 예측기(10)는 트랜스코딩 엔진(미도시)에서 일반적으로 사용된다. 그러나, 트랜스코딩 엔진이 아닌 장치에서, 예를 들어 인코더 및 디코더 등에서 파일 사이즈 예측기(10)를 이용하는 것 또한 본 발명의 범위에 속한다.
트랜스코딩에서, 미디어의 유형, 해상도 등 미디어의 특성들은 적응이 필요한지를 결정하는 데에 일반적으로 사용된다. 이러한 파라미터들은 보통 압축된 미디어의 복원(decompressing) 없이도 얻을 수 있다. 예를 들어, 압축된 미디어의 파일 헤더를 조사하는 것으로 충분한 경우가 종종 있다. 파일 사이즈 예측기에서, 압축된 파일의 복원 또는 어떤 픽셀 레벨의 계산을 요하는 방법에 기반한 파라미터들을 이용하는 것은 계산의 측면에서 매우 큰 비용이 들고, 실제 트랜스코딩 과정과 거의 동일한 시간 및 전력을 요한다. 따라서, 이러한 유형의 파라미터들은 제외된다.
특징화(characterization) 데이터는 파일 사이즈 예측기(10)의 입력으로 사용된다. 예를 들어, JPEG 이미지에서, 해상도, 이미지의 폭과 높이, 퀄리티 팩터 QF, 서브샘플링(subsampling) 방법 또는 이미지로부터 이용 가능한 어떠한 정보라도 특징화 데이터가 될 수 있다.
도 1에 도시된 본 발명의 일 비제한적이고 예시적인 제 1 실시예에서, 파일 사이즈 예측기(10)는, i) 변환 전의 이미지 I 의 파일 사이즈 S(I), ii) 변환 전의 이미지 I의 오리지널 퀄리티 팩터 QFin , iii) 변환 동안 이미지로의 적용을 위한 목표 출력 퀄리티 팩터 QFout 및 iv) 변환 동안 이미지로의 적용을 위한 스케일링 팩터 (줌(zoom) 팩터) z (0 < z ≤ 1) 를 가지는 입력(11)을 포함한다.
도 1을 참조하면, 파일 사이즈 예측기(10)는 오리지널 퀄리티 팩터 QFin, 출력 퀄리티 팩터 QFout 및 스케일링 팩터 z를 양자화하여 양자화된 퀄리티 팩터
Figure pct00015
및 양자화된 스케일링 팩터
Figure pct00016
를 얻기 위한 양자화기(14)를 포함한다. 양자화기는 종래 기술로서 널리 알려져 있으므로, 이에 대한 상세한 설명을 생략한다.
또한 파일 사이즈 예측기(10)는 이하에서 설명될 예측 어레이 기반의 상대적인 파일 사이즈 예측값을 미리 계산하기 위한 어레이 기반의 상대적인 파일 사이즈 예측값 계산기(16)를 포함한다. 이것은 예측 함수(15)를 산출하는데, 이는 목표 출력 퀄리티 팩터 QFout 및 스케일링 팩터(줌 팩터) z가 적용된 이미지 I의 상대적인 압축된 파일 사이즈 예측값을 제공한다.
마지막으로, 파일 사이즈 예측기(10)는 변환 전의 이미지 I의 압축된 파일 사이즈 S(I) 및 변환 후의 이미지 I (이미지 J)의 파일 사이즈 예측값
Figure pct00017
(19) 계산을 위한 예측 함수와 함께 공급되는 변환된 이미지 파일 사이즈 예측값 계산기(18)를 포함한다. 계산식은 다음과 같다:
Figure pct00018
(1)
여기에서 함수
Figure pct00019
는 상대적인 사이즈 예측값이며, 다음과 같이 주어진다:
Figure pct00020
(2)
이를 통해 도 1의 출력(19)이 산출된다.
함수
Figure pct00021
는 목표 QFout 및 스케일링 z 를 이용하여 변환된 이미지 J의 파일 사이즈의 정확한 함수를 나타내며, 다음과 같이 주어진다.
Figure pct00022
(3)
여기에서 S(J)는 변환된 이미지 J의 압축된 파일 사이즈이고, T(J, QFout, z)는 스케일링 팩터 z 및 QFout으로의 퀄리티 팩터 변경이 적용된 이후의 압축되고 변환된 이미지 J를 반환하는 함수이다. S(T())는 목표 출력 퀄리티 팩터 QFout 및 스케일링 팩터 z를 이용하는 변환된 이미지 J와 관련된 압축 파일 사이즈 함수이다.
여기에서
Figure pct00023
는 트레이닝 세트 T의 이미지 I와 같은 QF를 가지는 이미지들의 서브세트이고,
Figure pct00024
는 서브세트 TQF (I)의 카디널리티(cardinality)이다. 그리고 함수 T()는 예를 들어 완전한 JPEG 트랜스코더가 될 수 있다.
또한,
Figure pct00025
는 최적의 최소 평균 제곱 추정량(least mean square estimator)임을 주목해야 한다. 실제로, 이것은 바로 증명될 수 있다:
Figure pct00026
(4)
그러나,
Figure pct00027
함수는 계산 측면에서 비용이 많이 들기 때문에, 상대적인 파일 사이즈 예측값의 어레이이 계산의 복잡성을 완화하기 위해 미리 계산되어 이용될 수 있다. 따라서, 상대적인 파일 사이즈 예측값 계산기(16)는 미리 계산된 파일 사이즈 예측값의 어레이 M과 함께 사용되는데, 이 어레이는 변환 전의 이미지의 양자화된 퀄리티 팩터
Figure pct00028
, 이미지의 변환 동안 적용을 위한 목표 퀄리티 팩터
Figure pct00029
, 및 이미지의 변환 동안 적용을 위한 스케일링 팩터
Figure pct00030
를 색인으로 가진다. 양자화된 값들은 물결표시(~)로 구별된다.
적절한 양자화를 통해 어레이 M이 효율적으로 검색되도록 하는 도중에 내용의 희석화(dilution)를 막을 수 있다. 값들은 기존의 양자화기(미도시)를 통해 양자화가 가능하다. 이러한 양자화기들은 종래 기술로서 잘 알려진 것이므로, 상세한 설명을 생략한다.
위에서 언급된 바와 같이, 어레이 기반의 상대적인 사이즈 예측값 계산기(16)의 입력은 이미지의 변환 전의 이미지의 양자화된 퀄리티 팩터
Figure pct00031
, 이미지의 변환 동안의 이미지의 양자화된 목표 출력 퀄리티 팩터
Figure pct00032
및 이미지의 변환 동안의 적용을 위한 양자화된 스케일링 팩터
Figure pct00033
를 포함하고, 어레이 기반의 상대적인 파일 사이즈 예측값 계산기(16)는 상대적인 파일 사이즈 예측값의 어레이를 미리 계산하기 위해 이러한 입력들이 공급되는 상대적인 파일 사이즈 예측값 어레이 계산기(미도시)를 포함한다. 어레이 M의 엔트리들은 다음 관계식을 만족한다:
Figure pct00034
(5)
여기에서
Figure pct00035
,
Figure pct00036
는 변환 도중에 사용된 QF 또는 QFout 및 스케일링 팩터 z를 각각 반환하는 함수이다. 식 (5)의 함수
Figure pct00037
는 변환된 이미지 J가 주어진 변환에 적용될 때 관찰되는 상대적인 파일 사이즈 변화를 반환한다. 세트
Figure pct00038
는 모든 이미지의 카디널리티
Figure pct00039
의 세트를 나타내며, 해당하는 양자화 셀들에 포함되는 퀄리티 팩터 및 스케일링 팩터를 가진다.
양자화 셀은 주어진 같은 값으로 양자화하는 모든 값들의 세트이다. 양자화 셀은
Figure pct00040
셀들에 의해, 각각
Figure pct00041
로 양자화하는 QFin, QFout, 및 z의 모든 값들의 세트를 의미한다. 여기에서
Figure pct00042
는
Figure pct00043
로 양자화되는 QFin을 위한 값들,
Figure pct00044
으로 양자화되는 출력 퀄리티 팩터 QFout을 위한 값들 및
Figure pct00045
로 양자화되는 스케일링 팩터 z를 위한 값들을 가지는 이미지들의 집합이다(즉, 세 집합
Figure pct00046
의 교차점이다). 만약 (QF 이외의) 더 많은 퀄리티-컨트롤 파라미터들이 사용되었다면, 그것들 또한 각 파라미터에 적절한 방법으로 양자화되어, 더 많은 관점에서 예측 어레이에 사용되었을 것이다.
Figure pct00047
함수는 이미지 J가 변환되었을 때 관찰된 정확한 상대적인 파일 사이즈 예측값이다.
이에 따라,
Figure pct00048
는 어레이 M의 한 슬라이스(slice), 즉,
Figure pct00049
와
Figure pct00050
를 색인(indices)으로 가지는 어레이를 나타낸다. 예를 들어, 표 1은 이미지 트레이닝 세트 T로부터 최적화된 어레이
Figure pct00051
을 보여준다.
<표 1> 상대적인 파일 사이즈 예측값
Figure pct00052

파일 사이즈 예측기(10)의 어레이 기반의 상대적인 파일 사이즈 예측값 계산기(18)는 상대적인 파일 사이즈 예측값
Figure pct00053
와 변환 전의 이미지 I의 파일 사이즈 S(I)에 응답하여 이미지 I의 변환 후(이미지 J)의 예측된 파일 사이즈(19)를 계산한다. 이때 다음과 같이 변환된 이미지 파일 사이즈 예측값 계산기(18)을 이용한다:
Figure pct00054
(6)
함수 S(I)는 이미지 I에 관한 약간의 정보를 내포한다는 점을 주목해야 하는데, 이러한 정보는 다른 시스템 및 방법이 계산 관점에서 상당히 큰 비용으로 추출(extract)한다. S(I)는 이미지의 특징에 관한 정보를 보유하고, 이를 변환된 이미지 파일 사이즈 예측값 계산기(18)에 주입하는, 이미지 I의 해쉬 함수로 생각할 수 있다.
본 발명의 비제한적이고 예시적인 제 1 실시예에 의한 파일 사이즈 예측기(10)는 논-파라메트릭(non-parametric) 예측기이다.
2. 제 1 어레이 계산기 및 트레이닝 방법
도 2에는 제 1 방법에 의한 어레이 기반의 상대적인 파일 사이즈 예측값 계산기(20)의 트레이닝 단계가 도시되어 있다. 이러한 방법은 상대적인 파일 사이즈 예측기(10)를 위해 시행될 수 있다.
단계(21)에서, 이미지 코퍼스를 얻는다. 이러한 획득 수단은 본 명세서의 범위 밖이나, 웹 크롤러(web crawler) 또는 믿을 만한 실존 이미지들의 조사를 수행하는 어떤 다른 수단이 비제한적이고 예시적인 실시예가 된다. 트랜스코더(transcoder)에 의해 그때그때(on-the-fly) 얻어진 이미지들도 트레이닝을 위해 사용될 수 있다.
단계(22)에서, 이미지 코퍼스 내의 각 이미지는 어떤 목표한 수의 표본들을 만들기 위해 사용된다. 하위 단계(23)에서, 파일 사이즈 예측기(10)에서 사용된 양자화 기법과 양립 가능한 방법으로 퀄리티-컨트롤 파라미터 변경 및 스케일링이 적용된 많은 수의 이미지들이 코퍼스에서 추출된 이미지로부터 생성된다. 각 표본들에는 퀄리티 팩터 QFin, QFout 및 스케일링 팩터 z가 저장되어 있다.
하위 단계(24)에서, 각각의 생성된 표본은 코퍼스의 오리지널 이미지들을 포함하는 표본 목록에 더해진다. 단계(22)는 코퍼스에 위의 과정이 적용되지 않은 이미지들이 있는 한 계속 반복된다.
단계(26)에서, 어레이 M이 계산된다. 단계(22)에서 생성된 각 표본은 어레이 M을 계산하는 절차로 넘어간다.
하위 단계(27)에서, 주어진 표본으로부터 추출된 데이터가 양자화된다. 퀄리티 팩터 QFin, QFout 및 스케일링 팩터 z의 값들은 ,
Figure pct00056
및
Figure pct00057
로 양자화된다.
하위 단계(28)에서, 양자화된 퀄리티 팩터
Figure pct00058
,
Figure pct00059
및 스케일링 팩터
Figure pct00060
는 어레이 M을 업데이트하는 데에 사용된다.
단계(26) 이후에, 어레이 M은 모든 이미지들을 위한 상대적인 파일 사이즈 예측값을 포함한다. 식 (5)에 따르면:
Figure pct00061
여기에서, s()는 식 (3)에 따라 계산된다.
Figure pct00062
는
Figure pct00063
와 같은 양자화된 퀄리티 팩터를 가지는 모든 이미지들의 서브세트이다.
Figure pct00064
은
Figure pct00065
과 같은 양자화된 출력 퀄리티 팩터를 가지는 모든 이미지들의 서브세트이다.
Figure pct00066
는
Figure pct00067
와 같은 양자화된 스케일링 팩터를 가지는 모든 이미지들의 서브세트이다.
Figure pct00068
는 식 (5)에서 표현된 바와 같이, 이러한 3개 세트의 교차점이다.
도 2의 어레이 기반의 상대적인 파일 사이즈 예측값 계산기(20)는 시간 적응적(time adaptive)이다. 예를 들어, 예측을 업데이트하기 위해 식 (2)의 새로운 표본을 추가할 수 있다. 즉, 하위 단계(27) 및 (28)만을 거치는 것이다. 또한 예측 세트로부터 가장 오래된 표본들을 제거함으로써 트렌드 적응적(trend adaptive)으로 만들어질 수도 있다. 다행히도, 그렇게 할 때, 이미지들의 저장 공간은 불필요하다; 오로지 변환 값들(퀄리티 팩터 및 스케일링 팩터), 타임스탬프(timestamp) 및 이미지의 변환 후의 상대적인 파일 사이즈만 저장되면 된다.
도 2의 어레이 기반의 상대적인 파일 사이즈 예측값 계산기(20)의 업데이트 시간은 O(1) 규칙에 의한다는 것을 주목해야 한다. O(1)에 의해, 어레이 기반의 상대적인 파일 사이즈 예측값 계산기(20)를 업데이트하기 위해 필요한 작업의 수는 일정하다는 것, 즉, 트레이닝 세트의 이미지의 수에 의존하지 않는다는 의미가 된다.
3. 수치 예들의 제 1 집합
도 1의 파일 사이즈 예측기(10) 및 도 2의 상대적인 파일 사이즈 예측값 어레이 계산기(20)를 이용한 실험들이 수행되었다. 결과는 표 1에 나와 있다. 예를 들어, 표 1은 이미지 트레이닝 세트로부터 최적화되고 식 (5)에 따라 계산된 어레이
Figure pct00069
을 보여준다.
시뮬레이션에 사용된 코퍼스는 70,300 JPEG 파일들을 포함한다. 코퍼스에는 훼손된(corrupted) 파일이 없었고, EXIF 태그들과 같은 모든 메타데이터(metadata)는 제거되었다. EXIF는 JPEG를 포함한 많은 이미지 포맷들의 일반적인 확장(extension)인데, 이것은 특히 디지털 카메라로부터 획득되는 사진 및 이미지에 대한 추가(extra) 정보를 가지고 있다. EXIF 확장은 노출 상세 정보(exposure details), 색 균형(color balance), 카메라 브랜드명 및 다른 디지털 사진술과 같은 데이터를 저장하기 위해 사용된다. 코퍼스의 각 오리지널 표본(이미지)에 있어, 100개의 표본들은 서로 다른 퀄리티 팩터 QFout 및 스케일링 팩터 z를 사용하여 생성되었다. 트레이닝 세트와 테스트 세트 간의 분리(split)는 80/20 정도이다.
표 2는 예측 어레이
Figure pct00070
의 예상되는 절대 에러(expected absolute error)
Figure pct00071
를 보여준다. 예측 에러는 최소
Figure pct00072
=
Figure pct00073
= 80 및
Figure pct00074
정도이다. 예측 에러는 예를 들어 표 2의 좌측 상단(upper left)과 같이
Figure pct00075
,
Figure pct00076
및 스케일링 팩터가 가장 많이 다를 때 최대이다. 또한, 표 2에서 회색 부분은 예상되는 절대 에러가 10% 또는 그 이하인 지역이다.
<표 2> 예상되는 상대적인 파일 사이즈 예측값 에러
Figure pct00077

표 3은
Figure pct00078
=
Figure pct00079
= 80 인 경우와 같은 전형적인 퀄리티 팩터를 가질 때, 상대적인 에러의 절대값이 어떠한 한계점(threshold)
Figure pct00080
이하에 있는 확률을 제시한다. 확률은 다른
Figure pct00081
및
Figure pct00082
에 대해 다음과 같이 주어진다.
Figure pct00083
(7)
<표 3>
Figure pct00084

예상될 수 있는 바와 같이, 에러의 분포(distribution)는 100%의 스케일링으로부터 더 멀리 펼쳐진다는 점을 주목해야 한다.
도 5에서는, 추정량
Figure pct00085
() 및 양자화된 어레이
Figure pct00086
의 기하학적인 해석이 주어져 있다.
도 5는
Figure pct00087
인 어레이
Figure pct00088
의 열(row)을 나타내는 것과 같은 일련의 박스들(50)을 나타내며, 스케일링 팩터는 10%로까지 양자화되어 있다.
박스(50) 각각의 상부에는, 추정량
Figure pct00089
의 계산에 참여하는 모든 이미지의
Figure pct00090
인 실제 값들의 분포가 도시되어 있다. 이미지들의 분포는 점(points)으로 나타나 있다. 가는 선(51)은 다른 최소 평균 제곱 추정량
Figure pct00091
을 연결한다; 이것은 그 표면이 평탄(smooth)하지 않음을 분명히 보여준다.
도면에는 사분위수(quartile)들((52)와 같은 사각형들)과 (53)과 같은 대시(dash) 부호로 표시된 5%/95% 한계점들이 표시되어 있다. 도 5를 통해 분포가 매우 넓게 되어 있지는 않음을 볼 수 있고, 예측 에러에 있어서, 예를 들어 좋은 어몰타이즈드 바운드(amortized bound)를 제공한다.
사분위수들의 한참 위 또는 아래에 있는 몇몇 점들도 도 5에 표시될 수 있다. 이러한 점들은 아웃라이어(outliers)이다. 몇몇 아웃라이어는 파일들이 대부분 오버헤드(overhead)로 구성된 이미지들이다. 이미지가 매우 낮은 해상도를 가질 때, QF 및 스케일링의 변화는 전체 파일 사이즈에 매우 적은 영향을 미치는데, 압축된 데이터가 헤더(headers), 마커(markers) 등과 같은 파일 포맷 오버헤드와 비교했을 때 이미 작기 때문이다. 그러나, 이미지의 오리지널 스케일이 무시되면, 식 (1)에 의해 주어지는 최소 평균 제곱 계산기가 아웃라이어에 민감하기 때문에, 파일 사이즈 예측기를 못 쓰게 될 수 있다. 따라서, 오리지널 해상도는 예측 파라미터로 포함되어야 한다.
4. 제 2 변환된 이미지 파일 사이즈 예측기
이제 본 발명의 비제한적이고 예시적인 제 2 실시예에 의한 파일 사이즈 예측기(30)를 설명하기로 한다. 파일 사이즈 예측기(30)은 이미지들의 오리지널 해상도를 고려하고, 따라서 아웃라이어의 존재를 고려한다.
도 3에서, 본 발명의 비제한적이고 예시적인 제 2 실시예에 의한 파일 사이즈 예측기(30)는 상대적인 파일 사이즈 예측값(35)의 생성을 위해 파라미터 양자화기(32) 및 클러스터 기반의(cluster-based) 상대적인 파일 사이즈 예측값 계산기(34)를 포함한다.
파일 사이즈 예측기(30)은 변환 전의 이미지 I의 오리지널 파일 사이즈 S(I), 오리지널 퀄리티 팩터 QF(I) (QFin으로 표시), 폭 W(I) 및 높이 H(I)와, 이미지 변환 후의 목표 퀄리티 팩터 QFout 및 목표 스케일링 팩터(줌 팩터) z를 포함하는 입력을 제공받는다. 예측기(30)의 출력(37)은 스케일링 팩터 z 및 퀄리티 팩터 QFout이 적용된 변환 후의 이미지 I의 파일 사이즈 예측값
Figure pct00092
이다.
양자화기(32)는 퀄리티 팩터 QFout 및 스케일링 팩터 z를 양자화된 퀄리티 팩터
Figure pct00093
및 양자화된 스케일링 팩터
Figure pct00094
로 각각 생성하는 작업을 수행하며, 이는 클러스터 기반의 상대적인 파일 사이즈 예측값 계산기(34)의 입력으로 제공된다.
중심(centroid) 결정 또한 양자화기(32)에서 이루어지는데, 이미지 I의 폭 W(I), 높이 H(I) 및 오리지널 퀄리티 팩터 QFin으로부터 어레이
Figure pct00095
를 산출하고, 이는 클러스터 기반의 상대적인 파일 사이즈 예측값 계산기(34)의 입력으로 제공된다. 만약 더 많은 퀄리티-컨트롤 파라미터들이 사용된다면, 그것들은
Figure pct00096
의 벡터 xI (이하에서 정의된다) 에 첨부될 것이다.
클러스터 기반의 상대적인 파일 사이즈 예측값 계산기(34)는 그 입력으로, 양자화기(32)로부터 어레이
Figure pct00097
, 양자화된 퀄리티 팩터
Figure pct00098
및 양자화된 스케일링 팩터
Figure pct00099
를 받아들여, 상대적인 파일 사이즈 예측값(35)을 만들어 낸다.
이후, 변환된 이미지 파일 사이즈 예측값 계산기(36)는 다음과 같이 계산기(34)로부터 나온 출력(35)를 이용하여, 변환 후의 이미지 I(이미지 J)의 파일 사이즈 예측값
Figure pct00100
(37)를 계산한다.
Figure pct00101
(1)
여기에서 함수
Figure pct00102
는 상대적인 파일 사이즈 예측값(35)이다.
전술한 바와 같이, 아웃라이어의 존재와 같은 상황에서는, 이미지의 작은 해상도는 상술한 파일 사이즈 예측기(10)을 못쓰게 한다. 이러한 문제를 극복하기 위해, 이미지 공간을 지역들로 부분화(segmenting)하는 작업이 수행되는데, 이 때 비슷한 해상도를 가지는 지역들이 같은 그룹으로 된다. 이를 위해, 이미지들의 코퍼스로부터 만들어진 표본들이 클러스터를 이용한 클래스(class)로 나뉜다. 더불어, 클러스터링(clustering)의 사용은 각 클래스의 최소 평균 제곱 계산기를 최적화하고, 예측의 에러를 더욱 최소화할 수 있게 한다.
클러스터링은 감독되지 않은(unsupervised) 학습 테크닉이라는 점에 주목할 필요가 있다. 이 기술은, 클래스라고 불리는, 주어진 수의 해체된 서브세트들에 있는 데이터를 각 서브세트의 데이터가 선택된 메트릭(metric) 하에서 최대한으로 유사하도록 분할한다. 각 서브세트에서, 대표 값 또는 프로토타입이 계산된다. 일반적으로, 그 프로토타입은 그 서브세트의 중심이다. 따라서 클러스터링은, 양자화 레벨이 클래스의 중심인, 최적화된 벡터 양자화 확률 분포 함수와 매우 밀접(synonymous)하다.
도 4에서, 클러스터 계산기(44)는 트레이닝 세트 T 내의 각 이미지 I에
Figure pct00103
와 같은 벡터를 연계시킨다. 여기에서
Figure pct00104
는 퀄리티 팩터 차원을 폭과 높이와 같은 규모의 차원으로 가져오기 위한 스케일링 상수이다. W(I), H(I) 및 QF(I)는 각각 이미지 I의 폭, 높이 및 QF이다. 더 많은 퀄리티-컨트롤 파라미터를 사용하려면, 벡터 xI 에 그것들이 첨부되어야 하고, 이 제 2 알고리즘에 의해 고려되어야 한다.
클래스의 수 k는 클러스터링 이전에 선택된다. 이러한 클래스의 수 k를 선택하는 방법은 일반적인 기술에 해당한다. 예를 들어, 파라미터 k는 에러를 줄이기 위해서는 충분히 크고, 문맥 희석화(context dilution)을 피하기 위해서는 충분히 작다.
도 4에서, 코퍼스의 획득(41)은 도 2의 단계(21)과 같은 방법으로 진행된다.
새로운 표본의 생성(42)는 도 2의 단계(22)와 같은 방법으로 진행되는데, 예외적으로 도 2의 하위 단계(24)은 추가적인 정보 QFout 및 z를 가지고 벡터
Figure pct00105
를 생성하는 것으로 구성되는 하위 단계(43)으로 대체된다.
따라서, 단계(42)는 이미지들의 트레이닝 세트 T의 분할 C를 클래스의 수 k로 계산하기 위해 클러스터 계산기(44)에서 필요한 표본 벡터들을 만들어 낸다.
정의에 의해, 분할 C는 C={C1,C2,…,Ck} 로 주어지며,
Figure pct00106
및
Figure pct00107
0 을 만족한다.
더불어, 최적의 분할
Figure pct00108
는
Figure pct00109
인 어떤 벡터
Figure pct00110
와 그 할당된 중심 간의 예상되는 제곱 거리(squared distance)를 최소화한다. 최적의 분할
Figure pct00111
는 다음과 같이 주어진다:
Figure pct00112
(8)
여기에서
Figure pct00113
는 익숙한 L2 공식이고, T는 트랜스포즈(transpose) 함수이며,
Figure pct00114
는 클래스
Figure pct00115
의 프로토타입이다.
클러스터링의 예가 도 6에 나타나 있다. 도 6에서, 모든 이미지들은 계산된 파일 사이즈 예측값이 이차원(two dimensions)으로 시각화되도록 QF=80 의 값을 가진다. 그러나, 실제 분할들은 폭, 높이 및 양자화된 QF의 3차원에 걸쳐 있다.
클래스의 수 k가 결정된 후에, 클러스터 계산기(44)는 k-means 알고리즘을 이용하여 클래스 또는 클러스터를 계산한다(45). 이후 프로토타입 계산기가 중심
Figure pct00116
를 다음과 같이 계산한다:
Figure pct00117
(9)
이는 클래스
Figure pct00118
내의 모든 벡터들의 프로토타입을 나타낸다.
최적의 분할
Figure pct00119
의 계산의 복잡성은 그 계산을 실행 불가능한 것으로 만든다. 그러나, the article by Leon Bottou and Yoshua Bengio entitled “Convergence properties of the K-means algorithms” in G. Tesauro, D. Touretzky and T. Leen, editors, Advances in Neural Information Processing Systems, volume 7, pages 585-592, The MIT Press, 1995에 기재된 k-means 알고리즘을 이용하여 높은 정확도로 근사 계산될 수 있다. Newton's 알고리즘과 마찬가지로, k-means 알고리즘은 수퍼리니어 컨버전스(superlinear convergence)를 가지는데, 이는 실제로 좋은 근사치(approximation)를 위해 상대적으로 적은 수의 반복이 요구된다는 것을 의미한다.
클래스 또는 클러스터 C가 계산되면, 어레이 계산기(도 4의 (47) 내지 (49) 참조)는 각 계산된 중심
Figure pct00120
의 상대적인 파일 사이즈 예측값의 어레이
Figure pct00121
를 계산한다.
이들 예측 어레이 각각은 본 예시적인 실시예에서 2차원을 가진다(그러나 만약 더 많은 퀄리티-컨트롤 파라미터가 사용되었다면 더 높은 차원이 될 수 있다). 이들은 양자화된 퀄리티 팩터
Figure pct00122
및 양자화된 스케일링 팩터
Figure pct00123
이다. 양자화는 단계(48)에서 수행된다. 그 어레이들의 각각의 엔트리는 다음과 같이 계산된다:
Figure pct00124
(10)
여기에서
Figure pct00125
는 클래스
Figure pct00126
에 할당된, 카디널리티(cardinality)
Figure pct00127
및 중심
Figure pct00128
를 가지는 이미지이다.
이미지 I의 변환의 결과인 이미지 J와 관련된 추정량(estimator)를 찾기 위해, 가장 가까운 중심
Figure pct00129
가 다음과 같이 단계(47)에서 먼저 계산된다:
Figure pct00130

마지막으로, 파일 사이즈 예측기(30)의 클러스터 기반의 상대적인 파일 사이즈 예측값 계산기(도 3)는 상대적인 파일 사이즈 예측값(35)을 산출하고, 파일 사이즈 예측값(37)은 다음 식에 의해 계산기(38)에서 계산된다.
Figure pct00131

계산의 측면에서, 예측기(30)의 비용은 가장 가까운 중심을 계산하는 비용으로 제한되어야 한다는 점을 주목해야 한다. 이는 적절한 데이터 구조를 사용하여 효율적으로 계산될 수 있다(상세한 내용은 Jean-Daniel Boissonnat and Mariette Yvinec, “Algorithmic Geometry”, Cambridge University Press, 1998 참조). 위치가 정해지면, 어레이
Figure pct00132
는
Figure pct00133
의 값을 생성하기 위한 일정한 시간 내에 탐색될 수 있다.
5. 제 2 어레이 계산기 및 트레이닝 방법
도 4로 돌아가서, 본 발명의 비제한적이고 예시적인 제 2 실시예에 의한 상대적인 파일 사이즈 예측값 계산기(40)의 제 2 트레이닝 방법을 설명하기로 한다.
파일 사이즈 예측기(30)에서 제 2 트레이닝 방법이 실행될 수 있다.
단계(42)에서, 코퍼스의 각 이미지는 어느 목표한 수의 표본들을 생성하기 위해 사용된다. 단계(42)에서, 전형적으로 클러스터 기반의 상대적인 파일 사이즈 예측값 계산기(34)에서 사용된 기법과 양립 가능한 방법으로, 퀄리티-컨트롤 파라미터 변화 및 스케일링이 적용된 많은 수의 이미지들이 코퍼스로부터 얻어진 이미지로부터 만들어진다. 각각의 표본 J와 함께, 그 벡터
Figure pct00134
와 QFout 및 z가 저장된다.
하위 단계(43)에서, 생성된 각 표본은 코퍼스로부터의 오리지널 이미지들 또한 포함하는 표본 리스트에 더해진다. 단계(42)는 코퍼스에 수행되지 않고 남은 이미지들이 있는 한 반복된다.
클러스터 계산기(44)에서, 클래스 또는 클러스터의 수 k는 구체적으로 지정된다.
단계(45)에서, 클러스트들과 중심들이 계산된다. 중심
Figure pct00135
는 식 (9)를 이용하여 각 클러스터 또는 클래스
Figure pct00136
인
Figure pct00137
를 위해 계산된다. 어레이
Figure pct00138
가 생성되나, 채워지지는 않는다.
단계(46)에서, 중심들에 연계된 어레이들이 채워진다.
단계(47)에서, 각 표본 J에 있어서, 이미지의 변환 전 퀄리티 팩터 QFin(J), 폭 H(J) 및 높이 H(J)가 그에 해당하는 중심 및 연계된 예측 어레이를 찾기 위해 사용된다. 이미지 I에 가장 가까운 중심은 식 (11)을 사용하여 계산된다.
단계(48)에서, 이미지 변환 후의 목표 퀄리티 팩터 QFout 및 스케일링 팩터 z는 각각
Figure pct00139
및
Figure pct00140
로 양자화된다.
마지막으로, 단계(49)에서, 상대적인 파일 사이즈 예측값의 어레이
Figure pct00141
는, 식 (12)를 이용하여 양자화된 목표 퀄리티 팩터 및 스케일링을 적용한 후
Figure pct00142
,
Figure pct00143
및
Figure pct00144
를 이용하여 업데이트된다.
6. 수치 예들의 제 2 집합
실험에서, k는 k=200으로 선택되었다. 경험적으로(empirically)
Figure pct00145
임을 찾아냈다.
결과는 표 4에 나타나 있다. 표 4는 QFin=80인 코퍼스 내의 이미지들의 클러스터화된 예측 어레이
Figure pct00146
의 예상되는 절대 에러를 보여준다. 예상되는 절대 에러는 식 (7)에 의해 주어진다.
<표 4> 예상되는 상대적인 파일 사이즈 예측값 에러
Figure pct00147

파일 사이즈 예측기(10)에서, 파일 사이즈 예측기(30)의 최소 에러는
Figure pct00148
일 때,
Figure pct00149
=
Figure pct00150
= 80 부근에 집중된다. 최대 예측 에러는
Figure pct00151
,
Figure pct00152
및 스케일링 팩터가 가장 많이 다른 표 4의 부분에서 주어지는데, 예를 들어 표 4의 왼쪽 윗부분에 있다. 표 2와 비슷하게, 표 4의 회색 부분은 예측 절대 에러가 10% 또는 그 이하인 경우이다. 그러나, 표 2 및 4의 두 회색 부분을 비교해 보면, 클러스터의 사용 덕에, 표 2보다 표 4의 예상 절대 에러가 분명히 더 작다. 예를 들어, 가장 어려운 트랜스코딩 설정인
Figure pct00153
= 10 및
Figure pct00154
일 때, 에러는 표 2에서 표 4로, 112.93%에서 24.82%로 내려갔다.
다시, 본 발명의 비제한적이고 예시적인 실시예에 의한 시스템 및 방법이 스케일링 및, 여기에서 사용된 QF와 같은, 퀄리티-컨트롤 파라미터의 변경에 의한 변환이 가능한 JPEG 이미지의 파일 사이즈를 예측한다 하더라도, 같은 개념이 GIF와 같은 다른 타입의 포맷들과 색의 수, 색 농도, 색 성분 샘플링 구조 등과 같은 다른 퀄리티-컨트롤 파라미터 및 색 향상(color enhancement)과 크로핑(cropping) 같은 변환에도 적용 가능하다는 점을 유념해야 한다.
본 발명이 전술한 비제한적이고 예시적인 실시예들을 통해 설명되었더라도, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.

Claims (22)

  1. 스케일링(scaling) 및 적어도 하나의 퀄리티-컨트롤 파라미터(quality-controlling parameters)의 변경에 의한 변환이 가능한(subject to transformation) 이미지의 파일 사이즈를 예측하는 시스템에 있어서,
    (a) 상기 이미지의 변환 전의 이미지의 파일 사이즈, (b) 상기 이미지의 변환 전의 이미지의 적어도 하나의 퀄리티-컨트롤 파라미터에 관한 정보, (c) 상기 이미지의 변환 동안 이미지로의 적용을 위한 적어도 하나의 퀄리티-컨트롤 파라미터에 관한 정보, 및 (d) 상기 이미지의 변환 동안 이미지로의 적용을 위한 스케일링 팩터를 수신하기 위한 입력부;
    상기 수신된 퀄리티-컨트롤 파라미터와 스케일링 팩터에 관한 정보에 기초한 상대적인(relative) 파일 사이즈 예측값(prediction)을 계산하는 계산기; 및
    상기 이미지의 변환 후의 이미지의 파일 사이즈 예측값 - 상기 이미지의 변환 후의 이미지의 파일 사이즈 예측값은 상기 이미지의 변환 전의 이미지의 파일 사이즈 및 상기 계산된 상대적인 파일 사이즈 예측값의 함수(function)로서 계산됨 - 을 계산하는 계산기
    를 포함하는 이미지 파일 사이즈 예측 시스템.
  2. 제 1항에 있어서,
    상기 퀄리티-컨트롤 파라미터 정보는
    이미지 퀄리티를 나타내며, 퀄리티 팩터(quality factor), 색의 수(a number of colors), 색 농도(a color depth), 색 성분 샘플링 구조(a color component sampling structure), 수평 및 수직 해상도(horizontal and vertical resolution)로 구성되는 그룹으로부터 선택되는 적어도 하나의 파라미터에 관한 정보를 포함하는
    이미지 파일 사이즈 예측 시스템.
  3. 제 1항에 있어서,
    상기 이미지의 변환 전의 이미지의 파일 사이즈 및 상기 파일 사이즈 예측값은
    압축된 파일 사이즈인
    이미지 파일 사이즈 예측 시스템.
  4. 제1항에 있어서,
    상기 파일 사이즈 예측값을 계산하는 계산기는
    상기 이미지의 변환 전의 이미지의 파일 사이즈에 상기 계산된 상대적인 파일 사이즈 예측값을 승산하는
    이미지 파일 사이즈 예측 시스템.
  5. 제1항에 있어서,
    상기 파일 사이즈 예측값
    Figure pct00155
    을 계산하는 계산기는
    다음의 식,즉

    Figure pct00156


    - 여기에서 S(I) 는 상기 이미지의 변환 전의 이미지 I의 파일 사이즈,
    Figure pct00157
    는 상기 상대적인 파일 사이즈 예측값, QFin은 상기 이미지의 변환 전의 이미지의 퀄리티 팩터, QFout은 변환 후의 이미지의 퀄리티 팩터, z 는 상기 스케일링 팩터임 -
    을 이용하여 상기 이미지의 변환 전의 이미지의 파일 사이즈에 상기 계산된 상대적인 파일 사이즈 예측값을 승산하는
    이미지 파일 사이즈 예측 시스템.
  6. 제1항에 있어서,
    상기 상대적인 파일 사이즈 예측값을 계산하는 계산기는
    상대적인 파일 사이즈 예측값 어레이 계산기에 의해 미리 계산된 상대적인 파일 사이즈 예측값들의 어레이를 포함하고,
    상기 미리 계산된 상대적인 파일 사이즈 예측값들의 어레이는
    상기 이미지의 변환 후의 이미지의 상대적인 파일 사이즈 예측값을 계산하기 위해 상기 상대적인 파일 사이즈 예측값을 계산하는 계산기에 의해 사용되는
    이미지 파일 사이즈 예측 시스템.
  7. 제6항에 있어서,
    상기 이미지의 변환 전의 이미지의 적어도 하나의 퀄리티-컨트롤 파라미터에 관한 정보는 상기 이미지의 변환 전의 이미지의 퀄리티 팩터 QFin을 포함하고,
    상기 이미지의 변환 동안 이미지로의 적용을 위한 적어도 하나의 퀄리티-컨트롤 파라미터에 관한 정보는 상기 이미지의 변환 후의 이미지의 목표 퀄리티 팩터 QFout을 포함하며,
    상기 미리 계산된 상대적인 파일 사이즈 예측값들의 어레이 계산기는,
    양자화된 퀄리티 팩터 및 양자화된 스케일링 팩터
    Figure pct00159
    를 획득하기 위해 상기 퀄리티 팩터 QFin, 상기 퀄리티 팩터 QFout 및 상기 스케일링 팩터 z를 양자화하는 양자화부를 포함하고,
    여기에서
    Figure pct00160
    로 양자화되는 QFin을 위한 값,
    Figure pct00161
    로 양자화되는 출력 퀄리티 팩터 QFout을 위한 값, 및
    Figure pct00162
    로 양자화되는 스케일링 팩터 z를 위한 값을 가지고, 동일한 오리지널 퀄리티 팩터를 가지는 이미지 집합(collection)의 모든 이미지를 포함하는 이미지 세트
    Figure pct00163
    가 결정되며,
    상기 미리 계산된 상대적인 파일 사이즈 예측값들의 어레이 계산기는, 다음의 식, 즉

    Figure pct00164


    - 여기에서
    Figure pct00165
    는 상대적인 크기 관찰(observation),
    Figure pct00166
    는 상기 세트
    Figure pct00167
    의 카디널리티(cardinality)임 -
    을 이용하는
    이미지 파일 사이즈 예측 시스템.
  8. 제7항에 있어서,
    상기 이미지의 변환 후의 이미지의 파일 사이즈 예측값
    Figure pct00168
    을 계산하는 계산기는
    다음의 식, 즉

    Figure pct00169


    - 여기에서 S(I)는 상기 이미지의 변환 전의 이미지 I의 압축된 파일 사이즈임 -
    을 이용하는
    이미지 파일 사이즈 예측 시스템.
  9. 제6항에 있어서,
    상기 상대적인 파일 사이즈 예측값 어레이 계산기는
    (a) 이미지 세트의 각 이미지를 상기 이미지의 특성을 대표하는 벡터와 연계시키며 (b) 상기 이미지 세트를 유사한 벡터와 연계된 이미지 클래스로 분할하기 위한 클러스터 계산기;
    각 이미지 클래스에 대하여, 상기 클래스의 이미지에 연계된 벡터들의 프로토타입을 나타내는 중심(centroid)을 계산하기 위한 프로토타입 계산기; 및
    각 중심에 대하여 상대적인 파일 사이즈 예측값들의 어레이 - 상기 어레이는 적어도 하나의 퀄리티-컨트롤 파라미터 및 스케일링 팩터의 변경에 관한 정보를 포함하는 적어도 이차원을 가짐 - 을 계산하기 위한 어레이 계산기를 포함하는
    이미지 파일 사이즈 예측 시스템.
  10. 제9항에 있어서,
    각 이미지 I에 연계된 상기 벡터는 다음의 식, 즉

    Figure pct00170


    - 여기에서
    Figure pct00171
    는 스케일 상수, W(I), H(I) 및 QF(I)는 각각 상기 이미지 I의 폭, 높이 및 퀄리티 팩터임 -
    으로 표현되는
    이미지 파일 사이즈 예측 시스템.
  11. 제6항에 있어서,
    상기 이미지의 변환 후의 이미지의 파일 사이즈 예측값을 계산하는 계산기는
    상기 이미지의 변환 전의 이미지의 파일 사이즈 및 상기 어레이 계산기에 의해 미리 계산된 상대적인 파일 사이즈 예측값들의 어레이의 엔트리(entry)를 이용하여 상기 이미지의 변환 후의 이미지의 파일 사이즈 예측값을 계산하는
    이미지 파일 사이즈 예측 시스템.
  12. 스케일링 및 적어도 하나의 퀄리티-컨트롤 파라미터의 변경에 의한 변환이 가능한(subject to transformation) 이미지의 파일 사이즈를 예측하는 방법에 있어서,
    (a) 상기 이미지의 변환 전의 이미지의 파일 사이즈, (b) 상기 이미지의 변환 전의 이미지의 적어도 하나의 퀄리티-컨트롤 파라미터에 관한 정보, (c) 상기 이미지의 변환 동안 이미지로의 적용을 위한 적어도 하나의 퀄리티-컨트롤 파라미터에 관한 정보 및 (d) 상기 이미지의 변환 동안 이미지로의 적용을 위한 스케일링 팩터를 수신하는 단계;
    상기 수신된 퀄리티-컨트롤 파라미터와 스케일링 팩터에 관한 정보에 기초하여 상대적인 파일 사이즈 예측값을 계산하는 단계; 및
    상기 이미지의 변환 후의 이미지의 파일 사이즈 예측값 - 상기 이미지의 변환 후의 이미지의 파일 사이즈 예측값은 상기 이미지의 변환 전의 이미지의 파일 사이즈 및 상기 계산된 상대적인 파일 사이즈 예측값의 함수로서 계산됨 - 을 계산하는 단계
    를 포함하는 이미지 파일 사이즈 예측 방법.
  13. 제12항에 있어서,
    상기 퀄리티-컨트롤 파라미터 정보로서, 이미지 퀄리티를 나타내며, 퀄리티 팩터(quality factor), 색의 수(a number of colors), 색 농도(a color depth), 색 성분 샘플링 구조(a color component sampling structure), 수평 및 수직 해상도(horizontal and vertical resolution)로 구성되는 그룹으로부터 선택되는 적어도 하나의 파라미터에 관한 정보를 수신하는 단계
    를 포함하는 이미지 파일 사이즈 예측 방법.
  14. 제12항에 있어서,
    상기 이미지의 변환 전의 이미지의 파일 사이즈로서, 압축된 파일 사이즈를 수신하는 단계; 및
    상기 이미지의 변환 후의 이미지의 파일 사이즈로서, 압축된 파일 사이즈를 계산하는 단계
    를 포함하는 이미지 파일 사이즈 예측 방법.
  15. 제12항에 있어서,
    상기 이미지의 변환 후의 이미지의 파일 사이즈 예측값을 계산하는 단계는
    상기 이미지의 변환 전의 이미지의 파일 사이즈에 상기 계산된 상대적인 파일 사이즈 예측값을 승산하는 단계를 포함하는
    이미지 파일 사이즈 예측 방법.
  16. 제12항에 있어서,
    상기 파일 사이즈 예측값
    Figure pct00172
    을 계산하는 단계는
    다음의 식, 즉

    Figure pct00173


    - 여기에서 S(I) 는 상기 이미지의 변환 전의 이미지 I의 파일 사이즈,
    Figure pct00174
    는 상기 상대적인 파일 사이즈 예측값, QFin은 상기 이미지의 변환 전의 이미지의 퀄리티 팩터, QFout은 변환 후의 이미지의 퀄리티 팩터, z 는 상기 스케일링 팩터임 -
    을 이용하여 상기 이미지의 변환 전의 이미지의 파일 사이즈에 상기 계산된 상대적인 파일 사이즈 예측값을 승산하는
    이미지 파일 사이즈 예측 방법.
  17. 제12항에 있어서,
    상기 상대적인 파일 사이즈 예측값을 계산하는 단계는
    (a) 상대적인 파일 사이즈 예측값들의 어레이를 미리 계산하는 단계; 및
    (b) 상기 상대적인 파일 사이즈 예측값을 계산하기 위해 상기 미리 계산된 상대적인 파일 사이즈 예측값들의 어레이를 이용하는 단계를 포함하는
    이미지 파일 사이즈 예측 방법.
  18. 제17항에 있어서,
    상기 이미지의 변환 전의 이미지의 적어도 하나의 퀄리티-컨트롤 파라미터에 관한 정보는, 상기 이미지의 변환 전의 이미지의 퀄리티 팩터 QFin을 포함하고,
    상기 이미지의 변환 동안 이미지로의 적용을 위한 적어도 하나의 퀄리티-컨트롤 파라미터에 관한 정보는, 상기 이미지의 변환 후의 이미지의 목표 퀄리티 팩터 QFout을 포함하며,
    상기 미리 계산된 상대적인 파일 사이즈 예측값들의 어레이를 미리 계산하는 단계는
    양자화된 퀄리티 팩터
    Figure pct00175
    및 양자화된 스케일링 팩터
    Figure pct00176
    를 획득하기 위해 상기 퀄리티 팩터 QFin, 상기 퀄리티 팩터 QFout 및 상기 스케일링 팩터 z를 양자화하는 단계;
    Figure pct00177
    로 양자화되는 동일한 오리지널 퀄리티 팩터를 가지는 이미지 집합(collection)의 모든 이미지를 포함하는 QFin을 위한 값,
    Figure pct00178
    로 양자화되는 출력 퀄리티 팩터 QFout을 위한 값, 및
    Figure pct00179
    로 양자화되는 스케일링 팩터 z를 위한 값을 가지는 이미지 세트
    Figure pct00180
    를 결정하는 단계; 및
    다음의 식, 즉

    Figure pct00181


    - 여기에서
    Figure pct00182
    는 상대적인 크기 관측값(observation),
    Figure pct00183
    는 상기 세트
    Figure pct00184
    의 카디널리티(cardinality)임 -
    을 이용하여 상기 미리 계산된 상대적인 파일 사이즈 예측값들의 어레이를 계산하는 단계를 포함하는
    이미지 파일 사이즈 예측 방법.
  19. 제18항에 있어서,
    상기 이미지의 변환 후의 이미지의 파일 사이즈 예측값
    Figure pct00185
    을 계산하는 단계는
    다음의 식, 즉

    Figure pct00186


    - 여기에서 S(I)는 상기 이미지의 변환 전의 이미지 I의 압축된 파일 사이즈임 -
    을 이용하는 단계를 포함하는
    이미지 파일 사이즈 예측 방법.
  20. 제17항에 있어서,
    상기 상대적인 파일 사이즈 예측값을 계산하는 단계는
    (a) 이미지 세트의 각 이미지를 상기 이미지 특성을 대표하는 벡터와 연계시키는 단계; 및
    (b) 상기 이미지 세트를 유사한 벡터와 연계된 이미지 클래스로 분할하는 단계;
    각 이미지 클래스에 대하여, 상기 클래스의 이미지에 연계된 벡터들의 프로토타입을 나타내는 중심(centroid)을 계산하는 단계; 및
    각 중심에 대하여 상대적인 파일 사이즈 예측값들의 어레이 - 상기 어레이는 적어도 하나의 퀄리티-컨트롤 파라미터 및 스케일링 팩터의 변경에 관한 정보를 포함하는 적어도 이차원을 가짐 - 을 계산하는 단계
    를 포함하는 이미지 파일 사이즈 예측 방법.
  21. 제20항에 있어서,
    다음의 식, 즉

    Figure pct00187


    - 여기에서
    Figure pct00188
    는 스케일 상수, W(I), H(I) 및 QF(I)는 각각 상기 이미지 I의 폭, 높이 및 퀄리티 팩터임 -
    을 이용하여 각 이미지 I에 연계된 벡터를 계산하는 단계
    를 포함하는 이미지 파일 사이즈 예측 방법.
  22. 제20항에 있어서,
    상기 이미지의 변환 후의 이미지의 파일 사이즈 예측값을 계산하는 단계는
    상기 이미지의 변환 전의 이미지의 파일 사이즈 및 미리 계산된 상대적인 파일 사이즈 예측값들의 어레이의 엔트리(entry)를 이용하는 단계를 포함하는
    이미지 파일 사이즈 예측 방법.
KR20107012055A 2007-11-02 2007-11-02 스케일링 및 퀄리티-컨트롤 파라미터의 변경에 의한 변환이 가능한 이미지의 파일 사이즈 예측 시스템 및 방법 KR101428671B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CA2007/001974 WO2009055896A1 (en) 2007-11-02 2007-11-02 System and method for predicting the file size of images subject to transformation by scaling and a change of quality-controlling parameters

Publications (2)

Publication Number Publication Date
KR20100097126A true KR20100097126A (ko) 2010-09-02
KR101428671B1 KR101428671B1 (ko) 2014-09-17

Family

ID=40590475

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20107012055A KR101428671B1 (ko) 2007-11-02 2007-11-02 스케일링 및 퀄리티-컨트롤 파라미터의 변경에 의한 변환이 가능한 이미지의 파일 사이즈 예측 시스템 및 방법

Country Status (8)

Country Link
US (2) US8224104B2 (ko)
EP (1) EP2210236B1 (ko)
JP (1) JP5176175B2 (ko)
KR (1) KR101428671B1 (ko)
CN (1) CN101842811B (ko)
CA (1) CA2706251C (ko)
IL (1) IL204727A (ko)
WO (1) WO2009055896A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8300961B2 (en) * 2008-12-12 2012-10-30 Ecole De Technologie Superieure Method and system for low complexity transcoding of images with near optimal quality
JP5875084B2 (ja) * 2010-04-29 2016-03-02 ビーマル イメージング リミテッドＢｅａｍｒ Ｉｍａｇｉｎｇ Ｌｔｄ． 圧縮の程度と圧縮済み画像の品質との間に単調な関係を有する、再圧縮のための装置および方法
CN102867314A (zh) * 2011-07-06 2013-01-09 华晶科技股份有限公司 预估影像压缩尺寸的方法
US8913829B2 (en) * 2012-06-05 2014-12-16 Tandent Vision Science, Inc. Automatic processing scale estimation for use in an image process
DE102013211571B4 (de) * 2013-06-19 2016-02-11 Opticom Dipl.-Ing. Michael Keyhl Gmbh Konzept zur bestimmung der qualität eines mediadatenstroms mit variierender qualität-zu-bitrate
CN108805943B (zh) * 2017-04-27 2022-12-09 腾讯科技（深圳）有限公司 图片转码方法和装置
US10757425B2 (en) * 2017-07-24 2020-08-25 United States Postal Service Image encryption through dynamic compression code words
US11061626B2 (en) 2019-05-24 2021-07-13 Kyocera Document Solutions Inc. Machine learning printer control system including pre-press action predictor

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2633118B2 (ja) * 1991-09-30 1997-07-23 富士写真フイルム株式会社 画像データ圧縮装置およびその方法
US6215910B1 (en) * 1996-03-28 2001-04-10 Microsoft Corporation Table-based compression with embedded coding
US6563517B1 (en) * 1998-10-02 2003-05-13 International Business Machines Corp. Automatic data quality adjustment to reduce response time in browsing
US6233359B1 (en) * 1998-10-29 2001-05-15 Seiko Epson Corporation File size bounded JPEG transcoder (FSBJT)
US6421467B1 (en) * 1999-05-28 2002-07-16 Texas Tech University Adaptive vector quantization/quantizer
US6490320B1 (en) * 2000-02-02 2002-12-03 Mitsubishi Electric Research Laboratories Inc. Adaptable bitstream video delivery system
CA2374067C (en) 2000-03-13 2012-09-25 Sony Corporation Method and apparatus for generating compact transcoding hints metadata
US6990146B2 (en) * 2001-11-16 2006-01-24 Koninklijke Philips Electronics N.V. Method and system for detecting intra-coded pictures and for extracting intra DCT precision and macroblock-level coding parameters from uncompressed digital video
US6608924B2 (en) * 2001-12-05 2003-08-19 New Mexico Technical Research Foundation Neural network model for compressing/decompressing image/acoustic data files
US7177356B2 (en) * 2002-01-11 2007-02-13 Webtv Networks, Inc. Spatially transcoding a video stream
US6937759B2 (en) * 2002-02-28 2005-08-30 Nokia Corporation Method and device for reducing image by palette modification
JP3982615B2 (ja) * 2002-03-11 2007-09-26 株式会社Ｋｄｄｉ研究所 符号化動画像データの方式変換装置
FR2840495B1 (fr) 2002-05-29 2004-07-30 Canon Kk Procede et dispositif de selection d'une methode de transcodage parmi un ensemble de methodes de transcodage
GB2398976B (en) * 2003-02-28 2006-03-08 Samsung Electronics Co Ltd Neural network decoder
US7142601B2 (en) * 2003-04-14 2006-11-28 Mitsubishi Electric Research Laboratories, Inc. Transcoding compressed videos to reducing resolution videos
US7551785B2 (en) * 2003-07-03 2009-06-23 Canadian Space Agency Method and system for compressing a continuous data flow in real-time using cluster successive approximation multi-stage vector quantization (SAMVQ)
JP4301366B2 (ja) * 2003-11-27 2009-07-22 株式会社リコー 画像形成システム
US6992686B2 (en) * 2004-06-14 2006-01-31 Xerox Corporation System and method for dynamic control of file size
EP1615447B1 (en) 2004-07-09 2016-03-09 STMicroelectronics Srl Method and system for delivery of coded information streams, related network and computer program product therefor
US7440626B2 (en) * 2004-12-02 2008-10-21 Mitsubishi Electric Research Laboratories, Inc. Image transcoding
FR2880743A1 (fr) * 2005-01-12 2006-07-14 France Telecom Dispositif et procedes de codage et de decodage echelonnables de flux de donnees d'images, signal, programme d'ordinateur et module d'adaptation de qualite d'image correspondants
WO2006085301A2 (en) * 2005-02-09 2006-08-17 Mobixell Networks Image adaptation with target size, quality and resolution constraints
US7724972B2 (en) 2005-03-01 2010-05-25 Qualcomm Incorporated Quality metric-biased region-of-interest coding for video telephony
US7583844B2 (en) * 2005-03-11 2009-09-01 Nokia Corporation Method, device, and system for processing of still images in the compressed domain
WO2006097144A1 (en) 2005-03-15 2006-09-21 Nero Ag Apparatus and method for producing a picture data stream and for processing a picture data stream
EP1862017A4 (en) * 2005-03-25 2011-03-23 Algolith Inc DEVICE AND METHOD FOR OBJECTIVELY EVALUATING THE DCT-CODED VIDEO QUALITY WITH OR WITHOUT AN ORIGINAL VIDEOS SEQUENCE
WO2006110975A1 (en) 2005-04-22 2006-10-26 Logovision Wireless Inc. Multimedia system for mobile client platforms
US8315308B2 (en) * 2006-01-11 2012-11-20 Qualcomm Incorporated Video coding with fine granularity spatial scalability
US7480641B2 (en) * 2006-04-07 2009-01-20 Nokia Corporation Method, apparatus, mobile terminal and computer program product for providing efficient evaluation of feature transformation
US7805292B2 (en) * 2006-04-21 2010-09-28 Dilithium Holdings, Inc. Method and apparatus for audio transcoding
US8761248B2 (en) * 2006-11-28 2014-06-24 Motorola Mobility Llc Method and system for intelligent video adaptation
JP2008283560A (ja) * 2007-05-11 2008-11-20 Canon Inc 画像処理装置およびその方法
WO2009055898A1 (en) 2007-11-02 2009-05-07 Ecole De Technologie Superieure Method and system for generating a quality prediction table for quality-aware transcoding of digital images
US8295624B2 (en) * 2007-12-03 2012-10-23 Ecole De Technologie Superieure Method and system for generating a quality prediction table for quality-aware transcoding of digital images
US8300961B2 (en) * 2008-12-12 2012-10-30 Ecole De Technologie Superieure Method and system for low complexity transcoding of images with near optimal quality

Also Published As

Publication number Publication date
JP5176175B2 (ja) 2013-04-03
US8374443B2 (en) 2013-02-12
IL204727A (en) 2017-05-29
JP2011505083A (ja) 2011-02-17
WO2009055896A1 (en) 2009-05-07
CA2706251A1 (en) 2009-05-07
IL204727A0 (en) 2010-11-30
CN101842811A (zh) 2010-09-22
EP2210236B1 (en) 2018-07-11
CA2706251C (en) 2015-06-30
CN101842811B (zh) 2012-05-23
US20100254629A1 (en) 2010-10-07
US20120237139A1 (en) 2012-09-20
EP2210236A1 (en) 2010-07-28
KR101428671B1 (ko) 2014-09-17
EP2210236A4 (en) 2012-02-15
US8224104B2 (en) 2012-07-17

Similar Documents

Publication Publication Date Title
KR101428671B1 (ko) 스케일링 및 퀄리티-컨트롤 파라미터의 변경에 의한 변환이 가능한 이미지의 파일 사이즈 예측 시스템 및 방법
KR101483137B1 (ko) 근사 최적 퀄리티를 갖는 낮은 복잡성의 이미지 트랜스코딩을 위한 방법 및 시스템
JP5391465B2 (ja) デジタル画像の画質認識トランスコードシステムにおける画質予測テーブルを生成するためのシステム及び方法。
EP3146719B1 (en) Re-encoding image sets using frequency-domain differences
CN103501438B (zh) 一种基于主成分分析的内容自适应图像压缩方法
JP2006141018A (ja) 動的なバッファ容量レベルに基づく圧縮調整を用いた画像の符号化
CN116917926A (zh) 特征图数据的指示
KR102113904B1 (ko) 보간을 이용한 연산 방법, 인코더, 및 디코더
JP7401822B2 (ja) 画像符号化方法、画像符号化装置及びプログラム
Gao et al. Rate-distortion optimization for cross modal compression
JP5391466B2 (ja) 品質制御パラメータの変更及びスケーリングによって変換される画像のファイルサイズを予想するシステム、方法及びプログラム
JP4730144B2 (ja) 復号化装置、逆量子化方法及びこれらのプログラム
CN113473154B (zh) 视频编码、视频解码方法、装置及存储介质
WO2023169501A1 (en) Method, apparatus, and medium for visual data processing
WO2023165596A1 (en) Method, apparatus, and medium for visual data processing
US7747093B2 (en) Method and apparatus for predicting the size of a compressed signal
WO2023155848A1 (en) Method, apparatus, and medium for data processing
CA2703048C (en) System and method for quality-aware selection of parameters in transcoding of digital images
WO2022229495A1 (en) A method, an apparatus and a computer program product for video encoding and video decoding
El-Harby Two Improved Color Images Compression Systems
Balashov et al. Lossless compression of natural images using regressive analysis
Dahl et al. l1 compression of image sequences using the structural similarity index measure
CN117156150A (zh) 一种大批量高倍率图像压缩解压方法
Li et al. Lossless grey image compression using a splitting binary tree
Astola LOSSLESS COMPRESSION OF NATURAL IMAGES USING REGRESSIVE ANALYSIS

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170725

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180724

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190730

Year of fee payment: 6