JP5391465B2 - デジタル画像の画質認識トランスコードシステムにおける画質予測テーブルを生成するためのシステム及び方法。 - Google Patents

Description

本発明は、Stephane Coulombe等に対する２００７年１２月０３日出願の「Quality-Aware Selection of Quality Factor and Scaling Parameters in JPEG Image Transcoding」なる名称の米国特許仮出願第60/991,956号明細書、Stephane Coulombe等に対する２００８年６月３０日出願の「Method and System for Quality-Aware Selection of Parameters in Transcoding of Digital Images」なる名称の米国特許出願第12/164,836号明細書、および、Steven Pigeonに対する２００７年１１月０２日出願の「System and Method for Predicting the File Size of Images Subject to Transformation by Scaling and Change of Quality-Controlling Parameters」なる名称のＰＣＴ特許出願第PCT/CA2007/001974号明細書の恩恵を主張する。

本発明は、概して画像のトランスコードに係り、より具体的には、マルチメディアメッセージングサービス（ＭＭＳ）メッセージに含まれる画像のトランスコードに係る。

ＵＲＬ（http://www.openmobilealliance.org/Technical/release_program/mms_v1_2.aspx）から情報入手可能なＯＭＡマルチメディアメッセージングサービス仕様（承認版１．２、２００５年５月、オープンモバイルアライアンス、OMA-ERP-MMS-V1_2-200504295-A.zip）に記載されているマルチメディアメッセージングサービス（ＭＭＳ）は、主に無線ネットワークを介したテキスト、オーディオ、静止画、および動画を含む様々な種類のデータのピアツーピアおよびサーバツークライアント送信方法を提供している。

ＭＭＳは、データのカプセル化の標準的な方法を提供するが、データの種類は、平文、３ＧＰビデオおよびオーディオ／音声、合成オーディオ用のＳＰ−ＭＩＤＩ、ＪＰＥＧ静止画（これらについての詳細は、ＵＲＬ（http://www.3gpp.org/ftp/Specs/html-info/26140.htm）から情報入手可能な、マルチメディアメッセージングサービス、メディアフォーマットおよびコーデック、3GPP TS 26.140, V7.1.0 (2007-06)を参照のこと）等の多数の標準フォーマットのうちのいずれかにより符号化されている可能性がある。静止画はＪＰＥＧフォーマットで符号化されることが多く、これに関しては、「The independent jpeg group」によりソフトウェアライブラリが記載され、「ftp.uu.net/graphics/jpeg/jpegsrc.v6b.tar.gz」で公開されている。

図１は、ＭＭＳシステムアーキテクチャ１００の一例を示しており、これは、発信元ノード１０２、サービス配信プラットフォーム１０４、発信先ノード１０６、および適合エンジン１０８を含む。発信元ノード１０２は、ネットワーク「Ａ」１１０を介してサービス配信プラットフォーム１０４と通信可能である。同様に発信先ノード１０６も、ネットワーク「Ｂ」１１２を介してサービス配信プラットフォーム１０４と通信可能である。ネットワーク「Ａ」および「Ｂ」は、可能性のある接続のセットを示す例示に過ぎず、他にも多くの構成が可能である。例えば、発信元および発信先ノード（１０２および１０６）は、単一のネットワークを介してサービス配信プラットフォーム１０４と通信可能であってもよいし、発信元ノード１０２がネットワークを介さずにサービス配信プラットフォーム１０４と直接接続されてもよい。

適合エンジン１０８は、図１に示すようにリンク１１４を介して直接サービス配信プラットフォーム１０４と接続されても、または、ネットワーク経由で接続されても、または、サービス配信プラットフォーム１０４内に埋め込まれていてもよい。

稀なケースでは、発信元ノード１０２は、発信先ノード１０６を宛先とする（マルチメディア）メッセージを送信することができる。メッセージは、ネットワーク「Ａ」１１０を介してサービス配信プラットフォーム１０４へと転送されて、そこからメッセージはネットワーク「Ｂ」１１２を介して発信先ノード１０６へと送られる。発信元および発信先ノード（１０２および１０６）は、例えば、無線デバイスであってよく、その場合、ネットワーク「Ａ」および「Ｂ」（１１０および１１２）は無線ネットワークであり、サービス配信プラットフォーム１０４はマルチメディアメッセージ転送サービスを提供してよい。

別の例では、発信元ノード１０２は、データネットワークを介してサービス配信プラットフォーム１０４に接続されたコンテンツプロバイダのサーバであってよい（つまり、ネットワーク「Ａ」１１０がインターネットであり、ネットワーク「Ｂ」１１２が、無線デバイスでありうる発信先ノード１０６に機能を提供する無線ネットワークであってよい）。

マルチメディアメッセージングサービス（ＭＭＳ）のサーバ側の適合の概略については、Stephane Coulombおよび Guido GrasselによるIEEE Communications Magazine, 42巻、第７号、pp.120-126（2004年７月）掲載の「Multimedia Adaptation for the Multimedia Messaging Service」という名称の論文に記されている。

特に画像の場合には、発信元ノード１０２が送信するメッセージは、画像（特にＪＰＥＧ符号化画像）を含みうる。発信先ノード１０６の機能は、元の形式のままで画像を表示する機能を有するとは限らない（例えば、画像の解像度である画素数である画像の高さまたは幅が、発信先ノード１０６の表示デバイスのサイズまたは解像度を超えているという理由等から）。発信先ノード１０６における受信および表示を可能とさせる目的で、画像を、発信先ノード１０６への配信前に、適合エンジン１０８の画像トランスコーダ１１６で修正することができる。画像トランスコーダ１１６による画像の修正は、通常、スケーリング（つまり、画像の解像度および圧縮率の変更）を含みうる。

画像圧縮による画像のファイルサイズの低減は、保存および送信の際の便宜上、または、ネットワークで決められているファイルサイズ制限、またはビットレート制限要件を満たす目的から行われることが多い。さらには、ＭＭＳの受信デバイスもメモリに関する制限要件を有する場合もあり、これにより、ファイルサイズが制限される。ＪＰＥＧ規格は、広く利用されている画像圧縮方法である。公知なように、ＪＰＥＧ圧縮は「ロスが多い」、つまり、圧縮された画像が原画像に含まれていたデジタル情報を１００パーセント含まないことがある。情報のロスは、圧縮時に「画質係数」ＱＦを設定することにより制御可能である。ＱＦが低いということは、高い圧縮率と同等の意味を持ち、概してファイルサイズも小さくなる。逆に、ＱＦが高くなると、ファイルサイズが大きくなり、これは一般的に、認識される「画質」が高いことを意味する。

画像の解像度を端末の機能に合わせて変更、またはスケーリングすることに関する問題には、既に幾らかの解決法が存在する。しかし、画質係数ＱＦ、認識される画質、および、圧縮ファイルサイズ間に広く認められた関係というものがないために、ファイルサイズ面の制約を鑑みて画質を最適化する方法が見つかっていない。スケーリングを単なる解像度適合ではなくて、ファイルサイズ低減のための追加手段として利用する方法の発見となると、さらに難しい課題である。

視覚コンテンツのファイルサイズ低減に関しては既に多く研究されている。Zhijun LeiおよびN.D. GeorganasによるIEEE CCECE 2002. Canadian Conference on Electrical and Computer Engineering, 2巻、pp. 968‐973（2002年）掲載の「Accurate bit allocation and rate control for DCT domain video transcoding」という名称の論文では、ビットレートの低減が、スケーリングではなくて量子パラメータ間の適合により可能であることが示されている。これは、解像度が所定のフォーマット数に限られていることが多い低ビットレートのビデオでは理解できる。Justin RidgeによるSignal Processing: Image Communication, 18巻、第8号、pp. 621-639（2003年９月）掲載の「Efficient transform-domain size and resolution reduction of images」という名称の論文では、スケーリン行った後にＪＰＥＧ画像のファイルサイズを低減させる技法が記載されている。しかしこの技法では、推定スケーリングと画質低減との組み合わせが考慮されていない。既存のＪＰＥＧファイルのサイズを低減させる方法の例は、Viresh RatnakarおよびVictor Ivashinによる「File size bounded JPEG transcoder」なる名称の米国特許第6,233,359号明細書（２００１年５月）に記載されている。しかし、この方法は画像の画質およびビットレートを低下させてはいるものの、画像のスケーリングを含まない。

スケーリングおよびＱＦを同時に変更されるＪＰＥＧ画像の圧縮ファイルサイズの推定については、Data Compression Conference (DCC 2008)、p. 538（２００８年）の「Very Low Cost Algorithms for Predicting the File Size of JPEG Images Subject to Changes of Quality Factor and Scaling」という名称の概略メモで簡単に報告されており、Proceedings of the 24th Queen's Biennial Symposium on Communications, Queen's University, Kingston, Canada, 2008の「Computationally efficient algorithms for predicting the file size of JPEG images subject to changes of quality factor and scaling」という名称の論文(所謂、「Kingston」論文)、および、２００７年１１月０２日出願の「System and Method for Predicting the File Size of Images Subject to Transformation by Scaling and Change of Quality-Controlling Parameters」なる名称のＰＣＴ特許出願第PCT/CA2007/001974号明細書に完全な説明が見つかる。

画像トランスコード分野における近年の進歩にも関わらず、スケーリング、圧縮ファイルサイズ制限および画質を考慮にいれた向上したトランスコード法の開発はまだ完全ではない。
［先行技術文献］
［特許文献］
［特許文献１］米国特許第６９９２６８６号明細書
［特許文献２］米国特許第７２４５８４２号明細書
［特許文献３］米国特許第６２３３３５９号明細書
［特許文献４］米国特許出願公開第２００７／０２３９６３４号明細書
［特許文献５］米国特許出願公開第２００４／０２２０８９１号明細書
［特許文献６］米国特許出願公開第２００３／０１６１５４１号明細書
［特許文献７］国際公開第２００６／０８５３０１号
［特許文献８］国際公開第２００６／０９４０００号
［特許文献９］国際公開第２００６／１１０９７５号
［非特許文献］
［非特許文献１］"The independent JPEG Group" ftp.uu.net/graphics/jpeg/jpegsrc.v6b.tar.gz, August 03, 2007
［非特許文献２］Multimedia Messaging Service, Media formats and codecs 3GPP TS 26. 140, V7.1.0, http://www.3gpp.org/ftp/specs/html-info/26140.htm, June 2007
［非特許文献３］PIGEON, S., COULOMBE, S. "Very Low Cost Algorithms for Predicting the File Size of JPEG Images Subject to Changes of Quality Factor and Scaling" Data Compression Conference p. 528, 2008
［非特許文献４］PIGEON, S., COULOMBE, S. "Computationally Efficient Algorithms for Predicting the File Size of JPEG Images Subject to Changes of Quality Factor and Scaling "Proceedings of ghe 24th Queen"s Biennial Symposium on Communications, Queen's University, Kingston, Canada, 2008
［非特許文献５］WANG, Z., BOVIC, A., RAHIM, H., SHEIKH, SIMONCELLI, E. "Image Quality Assessment: From Error Visibility to Structural Similarity" IEEE Transactions on Image Processing, vol. 13, no.4, p.p. 600-612, April 2004
［非特許文献６］JPEG - Wikipedia, the free encyclopedia, http://en.wikipedia.org/wiki/JPEG, August 05, 2007
［非特許文献７］S. CHANDRA and C.S.ELLIS "JPEG Compression Metric as a Quality Aware Image Transcoding"Proceedings of USITS' 99: The 2nd USENIX Symposium on Internet Technologies and Systems, Boulder, Colorado, USA, October 11-14, 1999.
［非特許文献８］S.COULOMBE and G.GRASSEL, "Multimedia adaptation for the multimedia messaging service, "IEEE Communications Magazine, vol.42, no.7, pp.120-126, July 2004.
［非特許文献９］Z.LEI and N.D.GEORGANS, "Accurate bit allocation and rate control for DCT domain video transcoding," in IEEE CCECE 2002. Canadian Conference on Electrical and Computer Engineering, vol.2, pp.968-973, 2002.
［非特許文献１０］A.VETRO, C.CHRISTOPOULOS, and H.SUN, "Video transcoding architectures and techniques: an overview," IEEE Signal Processing Magazine, vol.20, no.2, pp.18-29, March 2003.
［非特許文献１１］J.RIDGE, "Efficient transform-domain size and resolution reduction of images, "Signal Processing Image Communication, vol.18, no.8, pp.621-639, September 2003
［非特許文献１２］The independent JPEG Group's JPEG Software, release 6b, Documentation Roadmap and associated software, published on the Internet at ftp.uu.net (Internet address 192.48.96.9) on March 27, 1998
［非特許文献１３］S.GRGI'C, M.GRGI'C, and M.MRAK, "Reliability of objective picture quality measures," Journal of Electrical Engineering, vol.55, no.1-2, pp.3-10, 2004
［非特許文献１４］OMA Multimedia Messaging Service, Architecture Overview, Approved Version 1.2 01 March 2005, published by Open Mobile Alliance, available from http://www.openmobilealliance.org/release_program/mms_v1_2.html
［非特許文献１５］3GPP in 3GPP TS 23.140 V6.14.0 (November 06, 2006) Technical Specification 3rd Generation Partnership Project; Technical Specification Group Core Network and Terminals; Multimedia Messaging Service (MMS); Functional description; Stage 2 (Release 6) at http://www.3gpp.org/ftp/Specs/html-info/23140.htm (document http://www.3gpp.org/FTP/Specs/archive/23_series/23.140/23140-6e0.zip)
［非特許文献１６］International Serch Report and Written Opinion rendered by CIPO, dated October 06, 2008

上述に鑑みて、本発明の目的の１つは、先行技術の欠点がない、または軽減された画像スケーリング方法およびシステムを提供することである。

本発明の一側面によると、ファイルサイズおよび画像サイズにおける制約のある端末用に入力画像を出力画像にトランスコードする画像トランスコードシステムであって、コンピュータ実行可能命令を格納するコンピュータ可読格納媒体を有するコンピュータを備え、コンピュータ実行可能命令はコンピュータに実行されると、入力画像のサイズ、ファイルサイズ、および符号化画質係数ＱＦ（Ｉ）を判断する画像特徴抽出モジュールと、トランスコーダスケーリング係数ｚＴとトランスコーダ画質係数ＱＦＴとを含むトランスコードパラメータで、入力画像を出力画像にトランスコードするトランスコードモジュールと、トランスコードの画質メトリックを決定する画質決定ブロックと、出力画像の相対的な出力ファイルサイズを、トランスコードパラメータの関数として決定する画質およびファイルサイズ予測モジュールと、相対的なファイルサイズの最大値を満たす最適なトランスコードパラメータを決定して、最適な品質メトリックを生成する画質認識パラメータ選択モジュールとを提供する画像トランスコードシステムが提供される。

トランスコードモジュールは、入力画像を伸張する伸張モジュールと、伸張された入力画像をトランスコーダスケーリング係数ｚＴでスケーリングするスケーリングモジュールと、伸張されスケーリングされた入力画像を、トランスコーダ画質係数ＱＦＴで圧縮する圧縮モジュールとを含む。

画質認識パラメータ選択モジュールは、入力画像のサイズおよび端末の制約から決定されるスケーリング係数の最大値より小さいスケーリング係数ｚＴと、トランスコーダ画質係数ＱＦＴとの実現可能な組み合わせを選択する計算手段と、画質メトリックが最適化されるまで、特異な値の対（ｚＴ、ＱＦＴ）を反復して選択する計算手段とを含み、実現可能な組み合わせにより、相対的なファイルサイズの最大値を考慮する相対的な出力ファイルサイズ予測が行われる。

画質決定ブロックは、画質メトリックを明示的に計算する画質評価モジュールを含み、画質評価モジュールは、出力画像を伸張する伸張（Ｒ）モジュールと、伸張した出力画像をリスケーリング係数ｚＲでスケーリングするスケーリング（ｚＲ）モジュールと、入力画像を伸張する伸張（Ｖ）モジュールと、伸張した入力画像をスケーリング係数ｚＶでスケーリングするスケーリング（ｚＶ）モジュールと、伸張されスケーリングされた出力画像と、伸張されスケーリングされた入力画像とから、画質メトリックを計算する画質計算モジュールとを含む。

好適には、画質メトリックは、入力画像に対する出力画像のピーク信号対ノイズ比（ＰＳＮＲ）測度に基づく。または、画質メトリックは、入力画像に対する出力画像の極大差（ＭＤ）測度のいずれかに基づく。出入力画像間の他の測度を利用することもできる。

入力画像および出力画像はＪＰＥＧ（ジェイペグ）画像である。

画質決定ブロックは、画質メトリックとして予測された画質メトリックを検索する画質予測テーブルを含み、画質予測テーブルは、予測された画質メトリックを示す複数のテーブル入力値を含み、予測された画質メトリックは、入力画像の符号化画質係数ＱＦ（Ｉ）に等しい入力画質係数QF_inと、トランスコーダスケーリング係数ｚＴまたは出力画像の観察条件に適した別の値に等しくなるよう設定されうる観察スケーリング係数ｚＶと、出力符号化画質係数ＱＦＴと、トランスコーダスケーリング係数ｚＴとにより指標付される。

画質予測テーブルは、予測された画質メトリックを示す複数のテーブル入力値を含み、予測された画質メトリックは、さらに、観察スケーリング係数ｚＶにより指標付され、観察スケーリング係数ｚＶは、トランスコーダスケーリング係数ｚＴとスケーリング係数の最大値との間の範囲の値に等しくなるよう設定される。

画質決定ブロックは、さらに、画質メトリックを明示的に計算する画質評価モジュールを含み、画質評価モジュールは、出力画像を伸張する伸張（Ｒ）モジュールと、伸張した出力画像をリスケーリング係数ｚＲでスケーリングするスケーリング（ｚＲ）モジュールと、入力画像を伸張する伸張（Ｖ）モジュールと、伸張した入力画像をスケーリング係数ｚＶでスケーリングするスケーリング（ｚＶ）モジュールと、伸張されスケーリングされた出力画像と、伸張されスケーリングされた入力画像とから、画質メトリックを計算する画質計算モジュールとを含む。

画質認識パラメータ選択モジュールは、さらに、実現可能な組み合わせ(zT,QFT)の実現可能なセット「Ｆ」を格納する手段と、画質予測テーブルから得られた予測された画質メトリックにより実現可能なセット「Ｆ」の中の入力値をソートする計算手段と、実現可能なセット「Ｆ」の、期待できるサブセットを生成する計算手段と、画質メトリックが最適化されるまで、画質評価モジュールで、期待できるサブセットから特異な値の対(zT,QFT)を反復して選択し、対応する画質メトリックを計算する計算手段とを含む。

本発明の別の側面によると、デバイスファイルサイズおよび画像サイズにおける制約のある端末での表示用に入力画像を出力画像に画質を認識してトランスコードする方法であって、（ａ）端末の制約を取得する段階と、（ｂ）入力画像を取得する段階と、（ｃ）入力画像のサイズとファイルサイズとを含む入力画像の特徴を抽出する段階と、（ｄ）入力画像の画像サイズとサイズとからスケーリング係数の最大値z_maxを決定する段階と、（ｅ）デバイスファイルサイズと入力画像のファイルサイズとから、相対的なファイルサイズの最大値を決定する段階と、（ｆ）複数の実現可能なトランスコードパラメータの値の対を選択する段階であって、各値の対は、スケーリング係数の最大値ｚ＿ｍａｘを超えないトランスコーダスケーリング係数ｚＴと、予測される相対的な出力ファイルサイズが、相対的なファイルサイズの最大値を超えないよう選択されるトランスコーダ画質係数ＱＦＴとを含む段階と、（ｇ）複数の実現可能なトランスコードパラメータの値の対のなかから選択されたものにより入力画像を出力画像にトランスコードする段階と、（ｈ）トランスコードの計測メトリックを決定する段階と、（ｊ）最良の画質メトリックに関連する出力画像を、最良の画像として保存する段階と、（ｋ）複数の実現可能なトランスコードパラメータの値の対の別のいずれかを選択して、最良の画質のメトリックが見つかるまで段階（ｇ）から（ｊ）までを繰り返す段階と、（ｌ）最良の画像を出力する段階とを備える。

段階（ｃ）は、入力画像の符号化画質係数ＱＦ（Ｉ）を抽出する段階を有し、段階（ｅ）は、相対的な出力ファイルサイズを、符号化画質係数ＱＦ（Ｉ）と、トランスコーダスケーリング係数ｚＴと、トランスコーダ画質係数ＱＦＴとの関数として予測する段階を有する。

段階（ｇ）は、トランスコード後の出力画像の実際の相対的なファイルサイズが相対的なファイルサイズの最大値を超える場合に段階（ｋ）を省く段階を有する。

段階段階（ｈ）は、（ｉ）入力画像を伸張して、観察スケーリング係数ｚＶでスケーリングして、第１の中間画像を生成する段階と、（ｉｉ）出力画像を伸張して、リスケーリング係数ｚＲでスケーリングして、第２の中間画像を生成する段階と、（ｉｉｉ）第２の中間画像と第１の中間画像との間のピーク信号対ノイズ比（ＰＳＮＲ）として画質メトリックを計算する段階とを有し、観察スケーリング係数ｚＶは、出力画像に予測される観察条件に基づいてｚＴおよび１の間で選択され、ｚＲはzR = zV / zと計算される。

段階（ｈ）は、２以上の指標により指標付される多次元画質予測テーブルから画質メトリックを読み出す段階を有し、２以上の指標は、（指標１）入力画像の入力画質係数ＱＦ（Ｉ）、（指標２）出力画像に予測される観察条件に基づいてｚＴおよび１の間で選択される観察スケーリング係数ｚＶ、（指標３）トランスコーダ画質係数ＱＦＴ、および（指標４）トランスコーダスケーリング係数ｚＴから選択される。

好適には、段階（ｈ）は、画質予測テーブルの複数の入力値の間を、２以上の指標のうち少なくとも１つについて補間する段階を有する。

段階（ｆ）は、実現可能なトランスコードパラメータの値の対の実現可能なセット「Ｆ」を生成して、セットに対して最高画質メトリックを生じることが予想されるトランスコードパラメータの値の対の定義可能な数C_maxのみがセット内に残り、選択に利用可能なように維持されるまで、切り捨てを行い、予測された画質メトリックは、２以上の指標により指標付される多次元画質予測テーブルから読み出すことにより得られ、２以上の指標は、（指標１）入力画像の入力画質係数ＱＦ（Ｉ）、（指標２）出力画像に予測される観察条件に基づいてｚＴおよび１の間で選択される観察スケーリング係数ｚＶ、（指標３）トランスコーダ画質係数ＱＦＴ、および（指標４）トランスコーダスケーリング係数ｚＴであり、段階（ｈ）は、（ｉ）入力画像を伸張して、観察スケーリング係数ｚＶでスケーリングして、第１の中間画像を生成する段階と、（ｉｉ）出力画像を伸張して、リスケーリング係数ｚＲでスケーリングして、第２の中間画像を生成する段階と、（ｉｉｉ）第２の中間画像と第１の中間画像との間のピーク信号対ノイズ比（ＰＳＮＲ）として画質メトリックを計算する段階とを有し、観察スケーリング係数ｚＶは、出力画像に予測される観察条件に基づいてｚＴおよび１の間で選択され、ｚＲはzR = zV / zと計算される。

適宜、段階（ｆ）は、テーブルの複数の入力値の間を、２以上の指標のうち少なくとも１つについて補間する段階を有する。

プロセッサにより実行されると上述の方法の複数の段階を実行するコンピュータ可読命令を格納して備えるコンピュータ可読媒体、およびコンピュータ可読媒体を備える製品も提供される。

本発明のまた別の１以上の側面によると、デバイスファイルサイズおよび画像サイズにおける制約のある表示デバイスでの表示用に入力画像を出力画像に画質を認識してトランスコードする方法であって、（ａ）表示デバイスの制約を取得する段階と、（ｂ）入力画像を取得する段階と、（ｃ）入力画像の特徴を抽出する段階と、（ｄ）デバイスの制約と抽出された特徴とから出力画像のファイルサイズを予測する段階と、（ｅ）デバイスの制約を充たす実現可能なトランスコードパラメータセットを選択する段階と、（ｆ）選択された実現可能なトランスコードパラメータで、入力画像を出力画像にトランスコードする段階と、（ｇ）出力画像の画質メトリックを決定する段階と、（ｈ）最高画質の画質メトリックが見つかるまで段階（ｅ）から（ｇ）を繰り返す段階とを備える方法が提供される。

上述した方法において、段階（ｇ）は、入力画像に対する出力画像のピーク信号対ノイズ比（ＰＳＮＲ）または極大差（ＭＤ）、または出入力画像間の別の測度の計算に基づいて画質メトリックを決定する段階を有する。

好適には、段階（ｇ）は、画質予測テーブルを検索することにより、画質メトリックを予測する段階を有する。適宜、段階（ｇ）は、テーブルの入力値間を補間する段階を有する。

段階（ｅ）は、高画質メトリックを生じることが予測される実現可能なトランスコードパラメータのみを維持することにより、より小さなセットになるよう実現可能なトランスコードパラメータセットに対して切り捨てを行う段階を有する。段階（ｅ）は、画質予測テーブルを用いて、実現可能なトランスコードパラメータが指標付する画質予測テーブルを予測された画質メトリックを検索するべく用いる段階を有する。

上述のシステムおよび方法が処理する入出力画像は、ＪＰＥＧ画像であることが好ましい。本発明の実施形態の方法およびシステムは、さらに、他のフォーマットで符号化されたデジタル画像（例えば、ロスの多い圧縮モードで利用されている際のＧＩＦ（グラフィック交換フォーマット）およびＰＮＧ（ポータブルネットワークグラフィックス）等）にも応用可能である。

このように、向上したデジタル画像のトランスコードシステムおよび方法が提供された。

以下に、添付図面を参照しながら本発明の実施形態を例示する。

先行技術のＭＭＳシステムアーキテクチャ１００の例を示す。

基本的な画質認識画像トランスコードシステム２００（基本的なシステム）を示す。

基本的なシステム２００の画質評価モジュール２１０の詳細を示す。

基本的なシステム２００に対応するＪＰＥＧ画像トランスコードのパラメータを選択する、基本的な画質認識パラメータ選択方法（基本的な方法）４００のフローチャートである。

基本的な方法４００のステップ４１２「画質認識パラメータ選択およびトランスコードループを実行する」の拡張を示すフローチャートである。

画質予測テーブル生成システム５００を示す。

単純な画質認識画像トランスコードシステム（単純なシステム）６００を示す。

単純なシステム６００に応用可能なＪＰＥＧ画像トランスコードにおける画質認識パラメータ選択の予測方法７００のフローチャートである。

予測方法７００のステップ７０２「予測画質認識パラメータ選択ループを実行する」の拡張を示すフローチャートである。

向上した画質認識トランスコードシステム（向上したシステム）８００のブロック図を示す。

向上したシステム８００に応用可能なＪＰＥＧ画像トランスコードの画質認識パラメータ選択のための、向上した方法９００のフローチャートである。

向上した方法９００の「セット「Ｆ」を生成する」ステップ９０２の拡張を示すフローチャートである。

向上した方法９００のステップ９０４「向上したＱ認識パラメータ選択およびトランスコードを実行する」の拡張を示すフローチャートである。

zV=0.7およびs_max = 1.0におけるソートされたＰＳＮＲ値の例を示す。 zV=0.7および s_max = 0.7におけるソートされたＰＳＮＲ値の例を示す。

図６の画質予測テーブル生成システム５００の機能を示す、画質予測テーブル生成方法１０００のフローチャートである。

本発明の実施形態の目的の１つは、解像度、画像サイズ、およびファイルサイズ面でのディスプレイデバイスの制約を満たしつつ、ユーザ体験またはトランスコードされた画像の目標画質を最大化することのできる、画像をスケーリングするための方法および画質認識画像トランスコーダを提供することである。

第１の実施形態では、多数の画像をトランスコードした結果に基づく予測テーブル（以下のテーブル１）を利用するトランスコーダシステムを記載する。予測テーブル、およびこのようなテーブルの生成方法のさらなる詳細は、上述した、Steven PigeonおよびStephane Coulombeによる「Computationally efficient algorithms for predicting the file size of JPEG images subject to changes of quality factor and scaling」という名称の論文に説明されている。

予測テーブルは３次元のルックアップテーブルであり、トンラスコード前の画像の入力画質係数（QF_in）、スケーリング係数（「z」）、および、スケーリングされた画像の圧縮に利用される出力画質係数（QF_out）という３つの量子化変数の関数として一定の統計的信頼度をもってトランスコードされた画像のファイルサイズを予測することができる。

読者の簡便性のために、上述の論文から予測テーブルの二次元スライスの一例を再現する。

テーブル１：相対的なファイルサイズ予測

テーブル１は、スケーリング係数「ｚ」の関数である入力画質係数QF_in＝８０パーセント、および、出力画質関数QF_outを有する画像をトランスコードする際の相対的なファイルサイズ予測値の二次元スライスである。テーブルでは、相対的なファイルサイズの予測値を１０×１０の相対的なサイズ係数のマトリックスに量子化している。マトリックスの各値は、選択された出力画質係数QF_outおよび量子化されたスケーリング係数「z」の関数である、スケーリングされたＪＰＥＧ画像の相対的なファイルサイズ予測値の平均値の例である。出力画質係数は、マトリックスの行の指標となっている１０から１００の範囲の１０単位の値に量子化されている。１０パーセントから１００パーセントの範囲の量子化されたスケーリング係数「z」は、サブアレイの列の指標となっている。テーブルの各値は、相対的なサイズ係数を表しており、この係数は、選択されたパラメータによる画像のトランスコードにより、画像のファイルサイズがこの値分だけ変化（伸張、スケーリング、再圧縮）することが予想される係数である。

一例として、７０パーセントのスケーリング係数および９０の出力画質係数QF_outでトランスコードされたファイルサイズが１００ＫＢの入力画像により、100 KB * 0.75 = 75 KBのファイルサイズの出力画像が生成されると予想される。この結果は、多数の異なる画像を利用して予め計算された大きなトランスコードセットからの平均値に基づいた予測であり、ある特定の画像をトランスコードすることで、異なるファイルサイズが生じることもある。

上述の論文では詳述されていることでが、テーブルは、多数の画像からなるトレーニングセットから生成され、最適化されてよい。

８０パーセントの入力画質係数QF_inは、ワールドワイドウェブ上で見つかる画像の大多数を代表する値として選択された。予測テーブルは、異なる入力画質係数の画像をトランスコードする際のファイルサイズ予測値を表す、さらなる二次元スライスを含んでよい。さらに、テーブル１をサイズ１０×１０のマトリックスの一例として選択する。これとは異なるサイズのマトリックスを利用することもできる。さらに、以下の記載では、QF_in およびz等のパラメータが量子化されているが、この代わりに、テーブルの値間を補間してもよい。例えばテーブル１では、６５パーセントのスケーリング係数および７５の出力画質係数の相対的なファイルサイズ予測をする際に、線形補間を利用して、相対的なファイルサイズ(0.33+0.42+0.41+0.52) / 4 = 0.42を得ることができる。

本発明の実施形態の残りの説明では、８０パーセントの入力画質係数、および、１０×１０サイズのテーブル１を利用することが前提となる。

テーブル１を調べると明らかなように、QF_outおよびスケーリング係数「z」の異なる組み合わせによっても同じ予測ファイルサイズ概算値が生じているケースがあり、これでは、どの組み合わせが主観的なユーザ体験または客観的な画質を最大化するかという疑問が生じる。

客観的な画質は、幾らかの異なる方法で計算可能である。本発明の第１の実施形態は、入力（トランスコード前）画像と出力（トランスコード後）画像とを比較する画質メトリック（quality metric）を提案する。画像圧縮の際の再構築画質の測度としては、通常、所謂「ピーク信号対ノイズ比（ＰＳＮＲ）」が利用されている。「極大差」（ＭＤ）等の他のメトリックも、一般性を損なわずに利用可能である。

図２は、基本的な画質認識画像トランスコードシステム２００（基本的なシステム）を示し、このシステムはコンピュータを含み、コンピュータは、プロセッサと、コンピュータ実行可能な命令を記憶するコンピュータ可読媒体とを含み、コンピュータ実行可能な命令はプロセッサにより実行されると、画像特徴抽出モジュール２０２、画質およびファイルサイズ予測モジュール２０４、画質認識パラメータ選択モジュール２０６、トランスコードモジュール２０８、および、画質評価モジュール２１０を含む基本的な画質決定ブロック２０９というモジュールを提供する。トランスコードモジュール２０８は、伸張２１２、スケーリング２１４、および圧縮２１６用のモジュールを含む。基本的なシステム２００は、さらに、入力画像（入力画像「Ｉ」）２１８、出力画像（出力画像「Ｊ」）２２０、予測テーブル「Ｍ」２２２、および端末制約（制約）セット２２４を記憶する（例えばデータ記憶）手段を含む。端末制約セット２２４は、最大デバイスファイルサイズＳ（Ｄ）、およびデバイスの最大許容画像サイズ（つまり、最大許容画像幅Ｗ（Ｄ）および最大許容画像高さＨ（Ｄ））を含む。

テーブル「Ｍ」２２２は、上述の「Kingston」論文に示されている方法により得ることができ、これを用いてテーブル「Ｍ」２２２のサブアレイの一例としてテーブル１が再生される。

入力画像「Ｉ」２１８は、トランスコードモジュール２０８の画像入力２２６に連結されて、トランスコードモジュール２０８の画像出力２２８で変換および出力され、出力画像「Ｊ」２２０へと連結される。

入力画像「Ｉ」２１８はさらに、画像特徴抽出モジュール２０２の入力に、および、画質評価モジュール２１０の第１の画像入力２３０に連結される。

出力画像「Ｊ」２２０を出力するトランスコードモジュール２０８の画像出力２２８は、さらに、画質評価モジュール２１０の第２の画像出力２３２に連結される。品質評価モジュール２１０は、画質メトリック「ＱＭ」を出力して、これが、画質認識パラメータ選択モジュール２０６のＱＭ入力２３４に送られる。

画像特徴抽出モジュール２０２の出力は、画質およびファイルサイズ予測モジュール２０４の入力画像パラメータ（ＩＩＰ）入力２３６に、および、画質認識パラメータ選択モジュール２０６の画像パラメータ入力２３８に連結されるＩＩＰのセットである。入力画像パラメータ（ＩＩＰ）のセットは、入力画像「Ｉ」２１８のファイルサイズＳ（Ｉ）、符号化画質係数ＱＦ（Ｉ）、および、幅および高さサイズＷ（Ｉ）およびＨ（Ｉ）を含む。

画質およびファイルサイズ予測モジュール２０４の出力は、テーブル「Ｍ」２２２のサブアレイＭ（Ｉ）である（つまり、入力画像「Ｉ」２１８の量子化された符号化画質係数に対応するQF_in = QF(I)で指標付されているテーブル「Ｍ」２２２の一部分である）。サブアレイＭ（Ｉ）は、画質認識パラメータ選択モジュール２０６のファイルサイズ予測入力２４０に入力される。

画質認識パラメータ選択モジュール２０６の出力は、トランスコーダスケーリング係数「ｚＴ」およびトランスコーダ画質係数「ＱＦＴ」（出力符号化画質係数ＱＦＴとも称される）を含むトランスコードパラメータセットである。これらトランスコードパラメータは、トランスコードモジュール２０８のトランスコードパラメータ入力２４２に連結される。

好適な実施形態では、基本的なシステム２００は、好適にはソフトウェアプログラムに実装されてよく、ここでは、モジュール２０２および２１６がサブルーチン関数のソフトウェアモジュールであり、モジュールの入力および出力が、それぞれ、関数呼び出しパラメータおよび関数戻り値である。入力画像Ｉ ２１８、出力画像Ｉ ２２０、およびテーブル「Ｍ」２２２等のデータが、全ての関数がアクセス可能なグローバルデータとして記憶されてよい。端末制約セット２２４は、デバイス特性のデータベースから入手されてよい。

入力画像「Ｉ」２１８のトランスコードはトランスコードモジュール２０８で行われ、具体的には、伸張モジュール２１２で伸張され、スケーリングモジュール２１４で、トランスコーダスケリーング係数「ｚＴ」でスケーリングされ、スケーリングされた画像を圧縮モジュール２１６で、トランスコーダ画質係数「ＱＦＴ」で圧縮することにより行われる。

このようにトランスコードパラメータｚＴおよびＱＦＴはトランスコード動作を制御するが、これらトランスコードパラメータの値は、画質認識パラメータ選択モジュール２０６により決定される。画質評価モジュール２１０の趣意は、入力画像「Ｉ」２１８を、出力画像「Ｊ」２２０と比較して、画質係数「ＱＭ」（トランスコード処理により生じる歪みの測度）を計算することである。本発明の好適な実施形態では、画質メトリック「ＱＭ」は、画像対（つまり、画像ＪおよびＩ）のＰＳＮＲとして明示的に計算され、ｄＢ単位で計測され、高いｄＢ値ほど少ない歪み（つまり、高画質）を示す。

ファイルサイズ予測モジュール２０４の画質は、入力画像パラメータ「ＩＩＰ」のセットの符号化画質係数ＱＦ（Ｉ）を利用して、テーブル「Ｍ」２２２のサブアレイＭ（Ｉ）を選択するが、ここでサブアレイＭ（Ｉ）は、画質係数ＱＦ（Ｉ）で元々符号化されていた画像（例えば、入力画像「Ｉ」２１８）のトランスコードにより出力が予測される相対的出力ファイルサイズを表す。画質係数ＱＦ（Ｉ）は、実際の入力画質係数QF_inの最も近い量子化数である。

画質認識パラメータ選択モジュール２０６は、トランスコードパラメータｚＴおよびＱＦＴの実現可能な値の対（zT,QFT）を選択するための計算手段を含むが、ここで、実現可能な、とは、以下のように定義される。 トランスコードパラメータの全範囲から、テーブル「Ｍ」２２２の指標範囲（「z」およびQF_out）から特異な値の対（distinct value pair）（zT,QFT）を選択し、 この値の対（zT,QFT）は、トランスコーダスケーリング係数ｚＴがスケーリング係数の最大値「z_max」を超えない場合に許容され（スケーリング係数の最大値「z_max」は、端末制約セット２２４から、最大許容画像幅Ｗ（Ｄ）または高さＨ（Ｄ）を超えないように決定される）、 次にこの値の対（zT,QFT）を利用して、サブアレイＭ（Ｉ）を指標付して、対応する予測された相対的な出力ファイルサイズｓＴを求め、 予測された相対的な出力ファイルサイズｓＴが相対的なファイルサイズの最大値s_maxを超えない場合に、この値の対（zT,QFT）を、「実現可能である」とし（s_maxは、１、または、制約２２４からの最大デバイスファイルサイズＳ（Ｄ）を、入力画像「Ｉ」２１８の実際のファイルサイズＳ（Ｉ）で除算した割合のうちいずれか小さいほうの値）、s_maxを超える場合には、他の特異な値の対が選択される。

画質メトリックＱＭが最適化されるまで特異な値の対（zT,QFT）を反復して探す計算手段は、実現可能なzTおよびQFTの組み合わせ各々のループを含む。つまり、 トランスコード処理（入力画像「Ｉ」２１８から出力画像「Ｊ」２２０まで）を、トランスコードモジュール２０８により行い、 得られた出力画像「Ｊ」２２０は、実際のファイルサイズＳ（Ｊ）を有し、トランスコードは、出力画像「Ｊ」２２０の実際のファイルサイズＳ（Ｊ）を入力画像「Ｉ」２１８の実際のファイルサイズＳ（Ｉ）で除算することで得られた相対的なファイルサイズが、相対的なファイルサイズの最大値s_maxを超える場合には、依然として拒絶され、 トランスコードの画質は、画質メトリックＱＭを特定のトランスコードに生成することで画質評価モジュール２１０により評価され（詳細は以下を参照のこと）、 最大の関連画質係数ＱＭを有する出力画像「Ｊ」２２０を、最良の画像として保持する。

画質評価モジュール２１０における入力画像「Ｉ」２１８と出力画像「Ｊ」２２０との比較は、同じ画像解像度を有する２つの画像を比較するためには、少なくとも１つ追加的スケーリング処理が必要となるという事実により複雑化する。

図３は、基本的なシステム２００の画質評価モジュール２１０の詳細を示す。画質評価モジュール２１０は、伸張（Ｒ）モジュール３０２、スケーリング（ｚＲ）モジュール３０４、伸張（Ｖ）モジュール３０６、スケーリング（ｚＶ）モジュール３０８、および画質計算モジュール３１０を含む。画質評価モジュール２１０の画像入力２３０に連結された入力画像「Ｉ」は、伸張（Ｖ）モジュール３０６により伸張され、スケーリング（ｚＶ）モジュール３０８によりスケーリングされ、画質計算モジュール３１０の第１の入力に連結される。同様に、第２の画像入力２３２に連結された出力画像「Ｊ」は、伸張（Ｒ）モジュール３０２により伸張され、スケーリング（ｚＲ）モジュール３０４によりスケーリングされ、画質計算モジュール３１０の第２の入力に連結される。画質計算モジュール３１０は画質メトリックＱＭを生成する。

ここで、スケーリング（ｚＲ）モジュール３０４で利用されるリスケーリング係数ｚＲと、スケーリング（ｚＶ）モジュール３０８で利用される観察スケーリング係数ｚＶという、２つのリスケーリングパラメータが定義される。

画像解像度が同等になるには、zV = zT * zRでなくてはならず、本式において、ｚＴは上述したトランスコーダスケーリング係数ｚＴである。画質を比較する際には元の画像解像度を増加させたくはないので、観察スケーリング係数ｚＶは１以下でなくてはならない。トランスコーダスケーリング係数ｚＴは常に１以下であり、デバイスの制約を満たすべく選択される。

観察スケーリング係数ｚＶは、出力画像「Ｊ」をスケーリングする観察条件に基づき決定され、観察者の体験を最大化する（最適化する）ように（つまり、期待される主観的な画質が得られるように）選択されるべきである。

３つのケースが対象となる。

観察ケース１：ｚＶ＝１である。入力画像「Ｉ」の解像度で画像間を比較する。これは、zR = 1 / zTに対応しており、出力画像「Ｊ」を拡大する必要がある。

観察ケース２：ｚＶ＝ｚＴである。出力画像「Ｊ」の解像度で画像間を比較するので、zR = 1である。

観察ケース３：zT < zV < 1である。元の（Ｉ）およびトランスコードされた（Ｊ）画像解像度の間のある解像度で画像間を比較するので、zR = zV / zTである。これによりzR > 1となり、出力画像（Ｊ）を拡大する必要がある。

予期される観察条件は、観察スケーリング係数ｚＶの選択に対応しており、トランスコードされた結果に対するユーザの評価に大きな影響を持つ。出力画像「Ｊ」が端末で視られるだけであれば、観察ケース２を選択するとよいであろう。

しかし、出力画像「Ｊ」が別の、より多機能のデバイス（例えばパソコン等）に後に転送され、再度拡大される可能性がある場合には、元の画像（入力画像「Ｉ」）の解像度を考慮する必要があるので、観察ケース１となろう。

観察ケース３は、出力画像「Ｊ」が、トランスコードされた解像度と元の画像の解像度との間のある解像度で視られる際に利用されるであろう（例えば、デバイスがサポートする最大解像度で、ユーザがそれ自身の解像度にとらわれず、デバイスでパンおよびズーム機能を利用する際）。

観察ケース３は、入出力画像両方がスケーリング係数ｚＶおよびｚＲをそれぞれ用いてスケーリングされる場合に最も一般的なケースである。特殊な場合（観察ケース１および観察ケース２）でも、容易に理解されるように、画質計算モジュール３１０において幾らかの処理効率が達成される。

例えば、観察ケース１では（ｚＶ＝１）、比較の際に、入力画像「Ｉ」を実際にリスケーリングする必要はない。この結果、既に伸張された入力画像「Ｉ」が、トランスコードモジュール２０８の伸張モジュール２１２の出力で既に利用可能であり、これを画質計算モジュール３１０が直接利用することができる。

観察ケース２でも同様に、比較の際に、出力画像「Ｊ」を実際にリスケーリングする必要はない。この結果、出力画像「Ｊ」には伸張（Ｒ）モジュール３０２による伸張のみが必要となり、スケーリング（ｚＲ）モジュール３０４によるリスケーリング処理を省略することができる。

スケーリングおよび圧縮処理全般に固有の量子化によって、元の画像（入力画像「Ｉ」）と比べてトランスコードされた画像（出力画像「Ｊ」）には歪みが生じる。同様に、これら画像のいずれかまたは両方に対して画質評価モジュール２１０でリスケーリングが行われることにより、さらなる歪みが導入される。この結果、上述した３つのケースに対応する観察条件は、互いに画質計算において異なる結果を生じ、観察スケーリング係数ｚＶおよび、結果得られるリスケーリング係数ｚＲの選択に基づいて、値の対（zT,QFT）のトランスコードパラメータにおける互いに異なるパラメータ設定で最良画質の画像が得られることになる。基本的なシステム２００が意図している用途においては、観察スケーリング係数ｚＶ（および暗黙のｚＲ）を選択して、画質およびファイルサイズ予測モジュール２０４に設定してよい。最も簡単なケースでは、観察スケーリング係数ｚＶは、トランスコーダスケーリング係数ｚＴと等しくなるよう設定される（観察ケース２）。画像について、端末上での観察用のみの最適化が必要な場合には、観察条件を、デバイスがサポートする最大解像度に対応するように設定することが推奨される。

図４は、基本的なシステム２００に対応するＪＰＥＧ画像トランスコードのパラメータを選択する、基本的な画質認識パラメータ選択方法（基本的な方法）４００のフローチャートである。基本的な方法４００は、以下の連続ステップを含む。
ステップ４０２「デバイス制約を取得する」
ステップ４０４「入力画像Ｉを取得する」
ステップ４０６「画像特徴を抽出する」
ステップ４０８「画質およびファイルサイズを予測する」
ステップ４１０「パラメータを初期化する」
ステップ４１２「画質認識パラメータ選択およびトランスコードループを実行する」
ステップ４１４「結果を確認する」
ステップ４１６「画像Ｊを返す」

ステップ４０２「デバイス制約を取得する」では、ディスプレイデバイス（図１の発信先ノード１０６）の最大デバイスファイルサイズＳ（Ｄ）、最大許容画像幅Ｗ（Ｄ）、および最大許容画像高さＨ（Ｄ）を含む端末制約セット（図２の制約２２４）を、データベースから、または、ネットワークを介して直接ディスプレイデバイスから取得する。

ステップ４０４「入力画像Ｉを取得する」では、トランスコードする画像（入力画像「Ｉ」）を発信元端末またはサーバ（図１の発信元ノード１０２）から受信する。

ステップ４０６「画像特徴を抽出する」では（図２の、画像特徴抽出モジュール２０２参照）、ファイルサイズＳ（Ｉ）、画像幅Ｗ（Ｉ）、画像高さＨ（Ｉ）、および符号化画質係数ＱＦ（Ｉ）を含む入力画像パラメータのセットを入力画像「Ｉ」から取得する。ＪＰＥＧ符号化された画像では、ファイルサイズＳ（Ｉ）、画像幅Ｗ（Ｉ）、および画像高さＨ（Ｉ）は画像ファイルから容易に入手できる。画像の符号化に利用される符号化画質係数ＱＦ（Ｉ）は、画像ファイルには明らかな形で符号化はされてはいないかもしれないが、Surendar ChandraおよびCarla Schlatter EllisによるUnix（登録商標） Symposium on Internet Technologies and Systems（1999年）の「JPEG compression metric as a quality aware transcoding」という名称の論文に記載されている方法を用いることでかなり信頼性高く推定することができる。または、入力画像「Ｉ」の画質係数ＱＦ（Ｉ）を、単に、その用途に典型的な画質係数として仮定してしまうこともできる（例えば８０パーセントといった具合に）。

ステップ４０８「画質およびファイルサイズを予測する」では（図２の画質およびファイルサイズ予測モジュール２０４参照）、観察条件を構築する、つまり、観察スケーリング係数ｚＶに適切な値を選択する。
zV = min ( W(D)/W(I), H(D)/H(I), 1) ここで、ｚＶは最大許容画像幅Ｗ（Ｄ）の入力画像幅Ｗ（Ｉ）に対する比率、最大許容画像高さＨ（Ｄ）の入力画像高さＨ（Ｉ）に対する比率、および１のうちいずれか最小のものである。画像のアスペクト比は通常トランスコードにおいて維持されると仮定する。１を上限とすることで、ディスプレイデバイスが元の入力画像「Ｉ」よりも大きな画像を表示する機能を有する場合においても、ｚＶが１を超えないようにしている。変形例では適宜、水平方向および垂直方向のトランスコードを行う際に異なるスケーリング係数を利用することもできる。

符号化画質係数ＱＦ（Ｉ）を指標QF_inに量子化する際、テーブル「Ｍ」２２２のサブアレイＭ（Ｉ）が、ローカルファイルまたはデータベースから取得される。サブアレイＭ（Ｉ）は、スケーリング係数「ｚ」の関数である相対的なファイルサイズ予測値と、スケーリングされた画像（QF_out）を圧縮するのに利用される出力画質係数QF_outとを含む。サブアレイＭ（Ｉ）は、さらに、ｚＶを超えるスケーリング係数（「ｚ」）およびディスプレイデバイスの相対的なファイルサイズの最大値s_maxを超える相対的なファイルサイズ予測値により指標付される列も含み、サブアレイＭ（Ｉ）の残りの値は、実現可能な指標値の対のセット（「z」,QF_out）により指標付される。

ステップ４１０「パラメータを初期化する」では、幾らかの変数を初期化して、後のステップに備えさせる。変数は以下の通りである。
最良のトランスコーダ画質係数＝０
最良のトランスコーダスケーリング係数＝０
最良の画質メトリックＱＭ＝０、および
最良の画像＝ＮＩＬ

さらに２つの制約である、相対的なファイルサイズの最大値s_maxおよびスケーリング係数の最大値ｚ_maxも初期化する。相対的なファイルサイズの最大値s_maxは、最大デバイスファイルサイズＳ（Ｄ）を、１を上限として、入力画像「Ｉ」２１８の実際のファイルサイズＳ（Ｉ）で除算することで計算される。スケーリング係数の最大値ｚ_maxは、既に前のステップで計算された観察スケーリング係数ｚＶにより与えられる（つまり、z_max = zV）。

ステップ４１２「画質認識パラメータ選択およびトランスコードループを実行する」は、特異な値の対（z,QF_out）をサブアレイＭ（Ｉ）から取り、ｚＴおよびＱＦＴをこれら値に割り当て、入力画像「Ｉ」を、ｚＴおよびＱＦＴで出力画像「Ｊ」にトランスコードして、結果得られる画質メトリックＱＭを計算し、最良の画像が見つかるまでループを実行するが、ここで「最良」とは、最高の画質のメトリックＱＭが得られるという意味である。同時に、ループは、トランスコードステップで利用され、最良の出力画像（図５には不図示）が得られたトランスコーダ画質係数ＱＦＴおよびトランスコーダスケーリング係数ｚＴの記録を残してよいが、最終的に最良の画像のみが対象となるという観点からはこれは必須ではない。

図５は、基本的な方法４００のステップ４１２「画質認識パラメータ選択およびトランスコードループを実行する」の拡張を示すフローチャートであり、以下のサブステップを含む。
ステップ４５２「次の値の対を入手する」
ステップ４５４「値の対は利用可能か？」
ステップ４５６「値の対は実現可能か？」
ステップ４５８「ＩをＪにトランスコードする」
ステップ４６０「実際のサイズＯＫ？」
ステップ４６２「Ｊを伸張して、ｚＲでＸにスケーリングする」
ステップ４６４「Ｉを伸張して、ｚＶでＹにスケーリングする」
ステップ４６６「メトリックＱＭ＝ＰＳＮＲ（Ｘ，Ｙ）を計算」
ステップ４６８「ＱＭ＞最良のＱ？」
ステップ４７０「最良のＱ：＝ＱＭ、最良の画像：=Ｊに設定する」
ステップ４７２「Ｊ：＝最良の画像に設定する」

ステップ４６２から４６６は、組み合わせられて、画質評価機能を有する「画質評価ステップ」４７４（図２の画質評価モジュール２１０参照）となる。

ステップ４５２「次の値の対を入手する」で、特異な値の対が利用可能な限り、サブアレイＭ（Ｉ）を指標付する次の値の対（「z」，QF_out）を取っていく。

ステップ４５４「値の対は利用可能か？」で、特異な値の対が利用可能か否かをテストする。利用可能であれば（ステップ４５４「ＹＥＳ」）、次いでステップ４５６「値の対は実現可能か？」を実行し、利用できないということであれば（ステップ４５４「ＮＯ」）、全ての特異な値の対を使い切っているということなので、ループはステップ４７２「Ｊ：＝最良の画像に設定する」へと抜ける。

ステップ４５６「値の対は実現可能か？」では２つのテストを行う。先ず、値の対（「z」，QF_out）からのスケーリング係数「ｚ」を、スケーリング係数の最大値「ｚ_max」と比較する。スケーリング係数「ｚ」がスケーリング係数の最大値ｚ_maxを超える場合には、値の対（「z」，QF_out）は無効であり、実現不可能である。値の対（「z」，QF_out）が無効の場合には、ステップ４５６「値の対は実現可能か？」を（「ＮＯ」）で早急に退出して、ループの初めにジャンプして戻る。

そして、予測された相対的ファイルサイズｓを、特異な値の対（「z」，QF_out）が指標付するサブアレイＭ（Ｉ）から読み出し、相対的なファイルサイズの最大値s_maxと比較する。予測された相対的ファイルサイズｓが許容可能な場合（つまり、相対的なファイルサイズの最大値s_maxを超えない場合）、ステップ４５６「値の対は実現可能か？」を「ＹＥＳ」で抜けて、続いてステップ４５８「ＩをＪにトランスコードする」を行い、許容不可能な場合には（ステップ４５６：ＮＯ）、ループの初めにジャンプして戻る（つまりステップ４５２「次の値の対を入手する」へ戻る）。

ステップ４５８「ＩをＪにトランスコードする」で、入力画像「Ｉ」を伸張して、トランスコーダスケーリング係数ｚＴ＝「ｚ」でスケーリングして、スケーリングされた画像をトランスコーダ画質係数QFT = QF_outで圧縮することで、出力画像「Ｊ」を得る。

ステップ４６０「実際のサイズＯＫ？」で、出力画像「Ｊ」のファイルサイズを、入力画像「Ｉ」のファイルサイズで除算することにより、実際の相対的サイズs_outを計算する。実際の相対的サイズs_outが相対的ファイルサイズの最大値s_maxを超えない場合（ステップ４６０がＹＥＳの場合）、続いてステップ４７４「画質評価ステップ」を行い、超える場合には（ステップ４６０：ＮＯ）、ループの初めにジャンプして戻る（つまりステップ４５２「次の値の対を入手する」へ戻る）。実際の相対的サイズs_outは、実際には、予測された相対的ファイルサイズ「ｓ」よりも大きい場合があることに留意されたい。

ステップ４７４「画質評価ステップ」のステップ４６２「Ｊを伸張して、ｚＲでＸにスケーリングする」では、出力画像「Ｊ」を伸張してリスケーリング係数ｚＲ（zR = zV / zT）でスケーリングすることで、リスケーリングされた出力画像「Ｘ」である第１の中間画像を得る。同様にして、ステップ４６４「Ｉを伸張して、ｚＶでＹにスケーリングする」では、入力画像「Ｉ」を伸張して観察スケーリング係数ｚＶでスケーリングすることで、リスケーリングされた入力画像「Ｙ」である第２の中間画像を得る。上述したように、観察スケーリング係数ｚＶは、ユーザ体験を最大化する値に、前もって選択されている。３つの観察ケース１から３を考慮することができる。

ステップ４６６「メトリックＱＭ＝ＰＳＮＲ（Ｘ，Ｙ）を計算」で、画質メトリックＱＭの値を、リスケーリングされた出力画像「Ｊ」および入力画像「Ｉ」のピーク信号対ノイズ比（ＰＳＮＲ）として計算する。または、例えば「極大差（ＭＤ）」に基づくもののような、これとは異なるメトリックも、一般性を損なわずに利用可能である。

ステップ４６８「ＱＭ＞最良のＱ？」では、計算された画質メトリックＱＭを、ループでそれまでに見つかっているもののうちの最良の画質メトリックと比較する。ここで、「最良なＱ」とは、ステップ４１２「画質認識パラメータ選択およびトランスコードループを実行する」の開始前にゼロに初期化されたものであるので、それまでに見つかっているもののうちの最良の画質メトリックである。計算された画質メトリックＱＭが最良の画質メトリックよりも大きい場合（「最良のＱ」、ステップ４６８：ＹＥＳ）、続いてステップ４７０「最良のＱ：＝ＱＭ、最良の画像：=Ｊに設定する」を行い、大きくない場合には（ステップ４６８：ＮＯ）、ループの初めにジャンプして戻る（つまりステップ４５２「次の値の対を入手する」へ戻る）。

ステップ４７０「最良のＱ：＝ＱＭ、最良の画像：=Ｊに設定する」では、それまでで最良の結果を保存する、つまり、最大の画質メトリック「最良のＱ」を、計算された画質メトリックＱと等しいものとして設定して、最良の画像を出力画像「Ｊ」と等しいものとして設定して、トランスコードパラメータQF_outおよびzTを、それぞれ最良のトランスコーダ画質係数および最良のトランスコーダスケーリング係数（図５には不図示）として保存してよい。ステップ４７０の後、ループの初めにジャンプして戻り（つまりステップ４５２「次の値の対を入手する」へ戻る）、全ての実現可能なパラメータの対が使い果たされるまでに、入力画像「Ｉ」のより良いトランスコードが見つかる可能性もある。ループを最終的に抜けると（ステップ４５４「値の対は利用可能か？」：ＮＯ）、続いてステップ４７２「Ｊ：＝最良の画像に設定する」を行い、出力画像「Ｊ」を、ループの実行中に見つかった最良の画像と等しいものとして設定する。

これにより、ステップ４１２「画質認識パラメータ選択およびトランスコードループを実行する」を拡張したステップが終了し、続いてステップ４１４「結果を確認する」に移る（図４）。

ステップ４１４「結果を確認する」では、有効な最良の画像が実際に見つかり、出力画像「Ｊ」に割り当てられたことを確認する、という単純なチェックを行う（つまり、「Ｊ」はＮＩＬではない）。ステップ４１２「画質認識パラメータ選択およびトランスコードループを実行する」の実行中に、実現可能なトランスコードパラメータが見つからない場合があり、最良の画像がＮＩＬのままである場合には出力画像「Ｊ」をＮＩＬに設定する。これは異常または欠陥的な条件とも考えられるので、例外的エラーを適合エンジン１０８に返してもよい。

最終ステップ４１６「画像Ｊを返す」では、トランスコードされた出力画像「Ｊ」をシステムに返すことにより、ＪＰＥＧ画像トランスコードにおける基本的な画質認識パラメータ選択方法４００が終了する。

基本的な画質認識パラメータ選択方法４００を採用する基本的なシステム２００は、このようにして用いられて画質認識トランスコーダを提供するが、処理コストは高価となりうる、というのも、与えられた入力画像「Ｉ」および端末制約セットの元で最良の出力画像「Ｊ」を見つけるには多数のトランスコードおよびスケーリング処理を行う必要がある場合が多いからである。

画質認識パラメータ選択およびトランスコードループを、予測された画質メトリック情報、入力画像制約から得られたテーブル指標、デバイス制約、および観察条件を含むルックアップテーブルで補強する、または置き換えることにより、より効率的なシステムを構築することもできる。入力画像制約には、入力画像の高さ、幅、および元の画質係数が含まれ、デバイス制約には、出力画像のサイズおよび最大ファイルサイズが含まれ、観察条件は、画質が最適であることが意図された所望のスケーリング係数で表される。このようなルックアップテーブルは、後述する予測テーブル生成システム（図６）、および、対応する予測テーブル生成方法（図１５）により、オフラインで生成可能である。

図６は画質予測テーブル生成システム５００を示し、このシステムはコンピュータを含み、コンピュータは、プロセッサと、コンピュータ実行可能な命令を記憶するコンピュータ可読媒体とを含み、コンピュータ実行可能な命令はプロセッサにより実行されると、入力画像のトレーニングセット５０２を含むデータベース、画質予測テーブル計算モジュール５０４、画質予測テーブル「Ｎ」５０６への格納、およびテーブル更新モジュール５０８といったモジュールを提供する。画質予測テーブル生成システム５００はさらに、基本的なシステム２００のものと同じ参照番号を付された同じモジュールである、画像特徴抽出モジュール２０２、トランスコードモジュール２０８、および、画質評価モジュール２１０も含む。

入力画像のトレーニングセット５０２は、多数のＪＰＥＧ画像を含み、例えば、上述のSteven Pigeon等による「Kingston」論文に示されている70,300ファイルの画像トレーニングセットを含むことができる。この結果、基本的なシステム２００の場合と同様に、画像特徴抽出モジュール２０２、トランスコードモジュール２０８、および、画質評価モジュール２１０に個々に入力される入力画像「Ｉ」列が出力される。

画質予測テーブル生成システム５００の趣意は、観察条件（観察スケーリング係数ｚＶ）を表すトランスコーダスケーリング係数ｚＴの範囲について、および入力画質係数QF_outの範囲について、入力画像のトレーニングセット５０２に含まれる各画像をトランスコードすることにより、画質予測テーブル「Ｎ」５０６を生成することである。

画質予測テーブル「Ｎ」５０６は、多次元テーブル（例えば四次元テーブル）であり、入力画像のトレーニングセット５０２からの入力画像の符号化画質係数QF_in、観察スケーリング係数ｚＶ、トランスコーダで出力画像を圧縮するのに利用される符号化画質係数QF_out、および、トランスコーダスケーリング係数ｚＴ、という４つの指標付変数で指標付される画質メトリックＱを含む。これらの指標付変数は以下のようにして生成される。

入力画像の符号化画質係数QF_inは、入力画像のトレーニングセット５０２からの入力画像に固有であり、上述したように、画像抽出モジュール２０２で各画像からＱＦ（Ｉ）として抽出、量子化されてよい。さらには、画像トレーニングセットを、任意の符号化画質係数QF_inの量子化値の周りに集団化された（clustered）（例えば８０％）多数の画像グループに分割すると、より便利であろう。

観察条件には、上述した観察スケーリング係数ｚＶの様々な値により定義される少なくとも３つの特異な観察ケースが含まれる。テーブル「Ｎ」５０６の生成には、ｚＶの値に範囲（例えば１０％の量子化されたステップ）を持たせると好適である。

このように、画質予測テーブル生成システム５００は、基本的なシステム２００に類似してはいるが、トランスコーダ画質係数QF_out、および、トランスコーダスケーリング係数ｚＴを、基本的なシステム２００でのようにデバイス制約を満たすように計算するのではなくて、直接生成する。

入力画像のトレーニングセット５０２は、各画像を入力画像「Ｉ」として、画像特徴抽出モジュール２０２、トランスコードモジュール２０８、および、画質評価モジュール２１０に送る。画像特徴抽出モジュール２０２は、入力画像パラメータ「ＩＩＰ」のセットを画質予測テーブルモジュール５０４の計算用に送り、画質評価モジュール２１０は、計算された画質測度ＱＭを画質予測テーブルモジュール５０４の計算用に送り、画質予測テーブルモジュール５０４の計算により、トランスコードパラメータ対（zT,QFT）でトランスコードモジュール２０８が制御される。トランスコードモジュール２０８は、出力画像「Ｊ」を生成して、画質評価モジュール２１０に送る。

テーブル「Ｎ」５０６は、最初は空の状態である。入力画像のトレーニングセット５０２の各入力画像について、および、観察条件の各範囲（観察スケーリング係数ｚＶにより表される）およびトランスコーダスケーリング係数ｚＴの各範囲について、および、符号化画質係数QF_outの各範囲について、画質予測テーブル生成システム５００は、最良の画質メトリックＱで最良のトランスコードされた画像（出力画像「Ｊ」を生成する。各計算された最良の画質メトリックＱ（「最良のＱ」））は、各計算の４つの指標値（QF_in, zV, QF_out,およびzT）とともに送られ、テーブル更新モジュール５０８によりテーブル「Ｎ」５０６が更新される。

多くの画像により、同じ指標に対するものではあるが僅かに実際の値が異なっている最良の画質メトリックＱが生成されるので、画質予測テーブル生成システム５００が生成する元データを、上述のSteven Pigeon等による「Kingston」論文に示されているような方法によりテーブル更新モジュール５０８で収集および処理すると好適であろう。このようにして、データのグループ化および量子化を行うことで、４つの指標値の組み合わせについて画質メトリックの最適なＬＭＳ（最小２乗平均）推定値を計算して、画質予測テーブル「Ｎ」５０６に格納することができる。

以下のテーブル２、３、および４は、本発明の実施形態による画質予測テーブル生成システム５００により計算された、画質予測テーブル「Ｎ」５０６のインスタンスの二次元サブテーブルの例を示している。

テーブル２および３は、上述した、入力画像の大きなトレーニングセット５０３について観察ケース１および２それぞれについて計算されたQF_in = 80のＰＳＮＲ値の平均値の分布を示している。テーブル４は、観察ケース３のＰＳＮＲ値の平均値を示しており、ここでは、観察条件が元の画像のサイズの９０パーセントの最大ズームに対応している。

テーブル２、３、および４は、以下で記載する向上したトランスコードシステムの画質推定値として利用可能である。

観察ケース１（テーブル２）では、拡大されたトランスコード出力画像を、元の入力画像と比較する。トランスコーダスケーリング係数ｚＴおよび符号化画質係数QF_outの両方が画質の測度に影響を与える。しかし、低符号化画質係数によるブロックアーチファクトに起因するトランスコードされた画像および元の画像の間の差異が、ＰＳＮＲが等しい場合には、スケーリング効果と同等のものと考えられる。ブロックアーチファクトは、よりスムーズな低解像度の画像よりも視覚的には観察者を悩ませるものであるので、これはパラドックスである。従って計測においては、高解像度で低ＱＦの画像が、低解像度で高ＱＦ画像よりも好まれる。この比較では、低解像度の画像を見せたときのユーザが知覚する画質ロスは考慮されていないので、このバイアスは幾らか補償される。

観察ケース２（テーブル３）では、画像間を、トランスコードされた画像解像度において比較する。画質推定値は、スケーリングによってよりも、符号化画質係数によっての影響のほうが大きい、というのも、両画像は比較前に同じ解像度にまで縮小され、スケーリングにより欠陥が平準化されるからである。さらに、ファイルサイズは、符号化画質係数QF_outの変化によってよりも、スケーリングによっての変化のほうが大きいので、高いQF_outで小さな画像のほうが、小さなQF_outで大きな画像よりも好適である。これはトランスコードされた画像が、低解像度でのみ視られる場合には合理的であるが、さもなくば、観察者の体験におけるロスは大きい。観察ケース３（テーブル４）は、ユーザの観察条件に合わせたものであり、画質の推定としてはより正確である。

画質予測テーブル「Ｎ」５０６は、基本的なシステム２００よりも簡略化され効率的な、より単純な画質認識トランスコードシステムにおいて利用されても好適である。

図７は、単純な画質認識画像トランスコードシステム（単純なシステム）６００を示し、このシステムはコンピュータを含み、コンピュータは、プロセッサと、コンピュータ実行可能な命令を記憶するコンピュータ可読媒体とを含み、コンピュータ実行可能な命令はプロセッサにより実行されると、基本的なシステム２００と類似したモジュールを提供するが、ここでは、画質係数の計算について、演算上高価な反復処理を、コンピュータ可読媒体に記憶する画質予測テーブル「Ｎ」５０６の単純なテーブル検索で置き換えている。

単純なシステム６００は、画質評価モジュール２１０を含む基本的な画質決定ブロック２０９を除く、基本的なシステム２００の全ての同じモジュールを含む。これらモジュール（２０２から２０８）は図２と同じ参照番号を持ち、同じ機能を有し、前述したものと変わらない。さらに、単純なシステム６００は、図６からのテーブルＮ５０６を含む単純な画質決定ブロック６０２を含む。

計算される画質測度ＱＭは、単純なシステム６００では、画質評価モジュールが生成するのではなくて、画質予測テーブル「Ｎ」５０６から直接入手される。画質予測テーブル「Ｎ」５０６は、図６に示したものと同じ構成および生成方法を有しており、テーブル２、３、および４に、その部分的な例が示されている。画質予測テーブル「Ｎ」５０６では、画像特徴抽出モジュール２０２から得られる入力画質係数QF_in、１に設定されうる（観察ケース１）または観察条件に応じた別の値に設定されうる観察スケーリング係数ｚＶ、トランスコーダ画質係数ＱＦＴ、およびトランスコーダスケーリング係数ｚＴ、という４つのパラメータが用いられている。ＱＦＴおよびｚＴは、ＱＭ最大化ループにおいて画質認識パラメータ選択モジュール２０６により選択される。このことを、以下の方法例において詳述する。

図８は、単純なシステム６００に応用可能なＪＰＥＧ画像トランスコードにおける画質認識パラメータ選択の予測方法７００のフローチャートである。この予測方法７００は、図４の基本的な方法４００と同じ連続ステップの多くを含み、これらについては同じ参照番号を付している。
ステップ４０２「デバイス制約を取得する」
ステップ４０４「入力画像Ｉを取得する」
ステップ４０６「画像特徴を抽出する」
ステップ４０８「画質およびファイルサイズを予測する」
ステップ４１０「パラメータを初期化する」
ステップ４１４「結果を確認する」
ステップ４１６「画像Ｊを返す」

本予測方法７００では、図４のステップ４１２「画質認識パラメータ選択およびトランスコードループを実行する」の代わりに、ステップ４１０「パラメータを初期化する」およびステップ４１４「結果を確認する」の間に挿入された新たなステップとして、ステップ７０２「予測Ｑ認識パラメータ選択ループを実行する」を含む。

図９は、予測方法７００のステップ７０２「予測画質認識パラメータ選択ループを実行する」の拡張を示すフローチャートであるが、これは、図５のステップ４１２「画質認識パラメータ選択およびトランスコードループを実行する」の拡張ステップと幾らか類似したステップを含むので、同じ参照番号が付され、同じ機能を有している。
ステップ４５２「次の値の対を入手する」
ステップ４５４＊「値の対は利用可能か？」
ステップ４５６＊「値の対は実現可能か？」
ステップ４５８「ＩをＪにトランスコードする」

さらに、ステップ７０２「予測画質認識パラメータ選択ループを実行する」の拡張ステップは、３つの新たなステップを含む。
ステップ７０６「予測される画質メトリックＱＭをテーブルＮから入手する」
ステップ７０８「ＱＭ＞最良のＱ？」
ステップ７１０「最良のQ:= QM, zT := z, QFT := QF_outに設定する」
＊図９においては図５から以下の修正がなされている。ステップ４５４の退出（抜ける）「ＮＯ」は、ステップ４５８にそれぞれ移動した（この後に、トランスコードされた出力画像「Ｊ」を戻すという関数リターンが行われる）。ステップ４５６の退出「ＹＥＳ」は、ステップ７０６に移動した。

ステップ７０６「予測される画質メトリックＱＭをテーブルＮから入手する」では、テーブル「Ｎ」に、４つのパラメータ（ステップ４０６（「画像特徴抽出」（図８））で得られた入力画質係数ＱＦ（Ｉ）、ステップ４０８「画質およびファイルサイズを予測する」で選択された観察スケーリング係数ｚＶ、符号化画質係数QF_out、およびトランスコーダスケーリング係数ｚ）という指標を与えることで、予め計算された画質メトリック値ＱＭをテーブル「Ｎ」から取得する。

ステップ７０６「予測される画質メトリックＱＭをテーブルＮから入手する」の後にステップ７０８「ＱＭ＞最良のＱ？」が行われる。

ステップ７０８「ＱＭ＞最良のＱ？」では、前のステップで得られた画質メトリックＱＭを、それまでに見つかったなかで最高画質のメトリックである「最良のＱ」と比較する。「最良のＱ」は、予めステップ４１０「パラメータを初期化する」（図８）でゼロに初期化され、より高い値が見つかるたびに、比較結果に従って更新される。比較結果が肯定的である場合（ＹＥＳ）、続いてステップ７１０「最良のQ:= QM, zT := z, QFT := QF_outに設定する」を行い、比較結果が否定的である場合には、ステップ４５２「次の値の対を入手する」にループして戻る。

ステップ７１０「最良のQ:= QM, zT := z, QFT := QF_outに設定する」で、最高画質のメトリックである「最良のＱ」を、ステップ７０６「予測される画質メトリックＱＭをテーブルＮから入手する」で見つかったＱＭの値に更新する。さらに、値の対(「z」, QF_out)を、現在の画像における最良のトランスコードパラメータ対(zT, QFT)として記録する。

これにより、ステップ７０２「予測画質認識パラメータ選択ループを実行する」を拡張したステップが終了し、続いてステップ４１４「結果を確認する」に移る（図８）。

最終ステップ４１６「画像Ｊを返す」（図８）では、トランスコードされた出力画像「Ｊ」をシステムに返すことにより（例えば、出力画像「Ｊ」２２０としての格納用に）、ＪＰＥＧ画像トランスコードにおける基本的な画質認識パラメータ選択方法４００が終了する。

画質認識パラメータ選択を行う予測方法７００を採用する単純なシステム６００は、このようにして用いられて画質認識トランスコーダを提供するが、基本的なシステム２００の場合よりも処理コストは大幅に低減されるものの、予測画質メトリックの不完全な性質から実際に最良のトランスコードパラメータが見つからない可能性もある。

より向上した画質認識トランスコードシステムは、基本的なシステム２００を元に構築され、テーブル「Ｎ」により向上したものとなる。本システムでは、最適な画質の検索をテーブル「Ｎ」の利用により大幅に短縮することができる、つまり、全ての可能性ある有効なｚＴおよびＱＦＴの組み合わせに対してステップ４１２「画質認識パラメータ選択およびトランスコードループを実行する」（図４および図５）に含まれる全ループを実行する代わりに、先ずテーブル「Ｎ」を参照することにより、ループにおける多くの反復の高価な処理ステップを避けることができる。

ステップ４１２「画質認識パラメータ選択およびトランスコードループを実行する」の一つの単純な変形例では、テーブル「Ｎ」から予測される画質メトリックにより、既に見つかったものよりも高い画質を有するものが、これらステップが示す全分析によって得られそうにない場合、ステップ４５８「ＩをＪにトランスコードする」、ステップ４６０「実際のサイズＯＫ？」、およびステップ４７４「画質評価ステップ」（図５）を省略することができる。

図１０は、向上した画質認識トランスコードシステム（向上したシステム）８００のブロック図を示し、このシステムはコンピュータを含み、コンピュータは、プロセッサと、コンピュータ実行可能な命令を記憶するコンピュータ可読媒体とを含み、コンピュータ実行可能な命令はプロセッサにより実行されると、向上したシステム８００のそれぞれのモジュールを提供する。向上したシステム８００は、基本的なシステム２００に基づいており、これに対してさらにコンピュータ可読媒体に記憶されたテーブル「Ｎ」５０６を加え、画質認識パラメータ選択モジュール２０６を向上した画質認識パラメータ選択モジュール８０２で置き換えることで形成される。テーブル「Ｎ」５０６と画質認識モジュール２１０とをともに格納する手段が、向上した画質決定ブロック８０４を成している。

テーブル「Ｎ」５０６の出力は、向上した画質認識パラメータ選択モジュール８０２に対して、予測される画質メトリックＱｘを提供する。画質予測テーブル「Ｎ」５０６には、単純なシステム６００におけるものと同じ４つの指標パラメータが用いられる（すなわち、入力画質係数QF_in、観察スケーリング係数ｚＶ、トランスコーダ画質係数ＱＦＴ，およびトランスコーダスケーリング係数ｚＴ）。ＱＦＴおよびｚＴは、向上した画質認識パラメータ選択モジュール８０２では以下に説明する図１１に関する方法により選択される。

簡潔にまとめると、向上した画質認識パラメータ選択モジュール８０２の機能では、複数の実現可能な（つまり、入力画像「Ｉ」およびデバイス制約を満たす）値の対（zT,QFT）の実現可能なセット「Ｆ」８０６が収集される。複数の値の対のセットはその後、値の対により指標付される画質予測テーブル「Ｎ」５０６から予測された画質メトリックＱｘに従ってソートにかけられてよい。そして実際の画質メトリックＱＭを、画質評価モジュール２１０の助けを得て（図２の基本的なシステム２００参照）計算するが、これは、予測される画質メトリックＱｘの最大値を予測する実現可能なセット「Ｆ」８０６からの限定数の値の対（zT,QFT）のうち期待できるサブセットのみに行われる。

図１１は、向上したシステム８００に応用可能なＪＰＥＧ画像トランスコードの画質認識パラメータ選択のための、向上した方法９００のフローチャートである。向上した方法９００は、図４の基本的な方法４００と同じ連続ステップの多くを含み、これらについては同じ参照番号を付している。
ステップ４０２「デバイス制約を取得する」
ステップ４０４「入力画像Ｉを取得する」
ステップ４０６「画像特徴を抽出する」
ステップ４０８「画質およびファイルサイズを予測する」
ステップ４１０「パラメータを初期化する」
ステップ４１４「結果を確認する」
ステップ４１６「画像Ｊを返す」

本向上した方法９００では、図４のステップ４１２「画質認識パラメータ選択およびトランスコードループを実行する」の代わりに、ステップ４１０「パラメータを初期化する」およびステップ４１４「結果を確認する」の間に挿入された２つの新たなステップとして、ステップ９０２「セット「Ｆ」を生成する」およびステップ９０４「向上したＱ認識パラメータ選択およびトランスコードを実行する」を含む。

図１２は、向上した方法９００の「セット「Ｆ」を生成する」ステップ９０２の拡張を示すフローチャートであり、図５のステップ４１２「画質認識パラメータ選択およびトランスコードループを実行する」の拡張ステップのうち同じステップを３つ有し、これには同じ参照番号が付され、同じ機能を有している。
ステップ４５２「次の値の対を入手する」
ステップ４５４＊「値の対は利用可能か？」
ステップ４５６＊「値の対は実現可能か？」

拡張ステップ９０２「セット「Ｆ」を生成する」は、さらに新たなステップを有する。
ステップ９０６「空の実現可能なセットＦを生成する」
ステップ９０８「値の対を実現可能なセットＦに追加する」
ステップ９１０「Ｆをソートする」
ステップ９１２「Ｆに切り捨てを行う」
＊図１２において、以下のステップ列が図５から修正されている。ステップ４５４の退出（抜ける）「ＮＯ」は、関数リターンに移動し（ここで実現可能なセット「Ｆ」が返される）、ステップ４５６の退出「ＹＥＳ」は、ステップ９０８に移動した。

ステップ４５２、４５４、４５６、および９０８は、初期化ステップ９０６の前に行われるループを形成する。

ステップ９０６「空の実現可能なセットＦを生成する」では、実現可能なセット「Ｆ」８０６を空として生成する。以下のステップ（４５２から４５６、および９０８）は、幾らかの特異な値の対を生成し（ステップ４５２）、利用可能性をチェックし（ステップ４５４）、実現可能性をチェックし（ステップ４５６）、実現可能なセット「Ｆ」８０６に追加する（ステップ９０８）ループを形成する。生成された値の対が実現不可能である場合（ステップ４５６の退出「ＮＯ」）、ループを最初から再度行う。もう利用可能な特異な値の対がない場合（ステップ４５４の退出「ＮＯ」）、ループを抜けて、特異な値の対が指標付する画質予測テーブル「Ｎ」５０６から予測される画質メトリックＱｘにより、ステップ９１０「Ｆをソートする」で、実現可能なセット「Ｆ」８０６をソートする。実現可能なセット「Ｆ」８０６は、この段階で、全ての実現可能な値の対を、予測される画質に応じて降順で含む。

次のステップであるステップ９１２「Ｆに切り捨てを行う」では、実現可能なセット「Ｆ」８０６に対して、実現可能なセット「Ｆ」８０６内に定義可能な数Ｃ＿ｍａｘの値の対のみが残るまで、予測される画質が低い値の対を除去していくことにより、末尾から切り捨てを行う。

図１３は、向上した方法９００のステップ９０４「向上したＱ認識パラメータ選択およびトランスコードを実行する」の拡張を示すフローチャートであり、図５のステップ４１２「画質認識パラメータ選択およびトランスコードループを実行する」の拡張ステップと同じステップを幾らか有し、これには同じ参照番号が付され、同じ機能を有している。
ステップ４５８「ＩをＪにトランスコードする」
ステップ４６０「実際のサイズＯＫ？」
ステップ４６２「Ｊを伸張して、ｚＲでＸに拡大する」
ステップ４６４「Ｉを伸張して、ｚＶでＹにスケーリングする」
ステップ４６６「メトリックＱＭ＝ＰＳＮＲ（Ｘ，Ｙ）を計算」
ステップ４６８「ＱＭ＞最良のＱ？」
ステップ４７０「最良のＱ：＝ＱＭ、最良の画像：=Ｊに設定する」
ステップ４７２「Ｊ：＝最良の画像に設定する」

拡張ステップ９０４「向上したＱ認識パラメータ選択およびトランスコードを実行する」は、さらに新たなステップを有する。
ステップ９１４「Ｆは空？」
ステップ９１６「Ｆから最上の値の対を取得する」
ステップ９１８「Ｆから最上の値の対を除去する」

拡張ステップ９０４「向上したＱ認識パラメータ選択およびトランスコードを実行する」は、基本的なシステム２００のものと類似した最良の画像（画質評価ステップ４７４で最良の画質であると評価される画像のこと（ステップ４６２から４６６の列））を探すループを形成する。全ての実現可能な値の対についてループを実行する（基本的な方法４００）代わりに、向上した方法９００のループは、実現可能なセット「Ｆ」８０６の値の対への適用に制限される。ステップ９１０「Ｆをソートする」およびステップ９１２「Ｆに切り捨てを行う」は、トランスコードおよび画質評価対象の値の対の数を、予測される画質測度が高いもののみに限定することができるメカニズムを提供する。

ステップ９１４「Ｆは空？」でループに入る。

ステップ９１４「Ｆは空？」では、実現可能なセット「Ｆ」８０６を検査する。これが空である場合（ステップ９１４の退出「ＹＥＳ」）、ループを抜けて、ステップ４７２「Ｊ：＝最良の画像に設定する」にジャンプして、拡張ステップ９０４「向上したＱ認識パラメータ選択およびトランスコードを実行する」を抜ける（リターン「Ｊ」）。

ステップ９１６「Ｆから最上の値の対を取得する」では、予測される最高画質のメトリック（「最上の値の対」）を、実現可能なセット「Ｆ」８０６からトランスコーダ値の対（zT,QFT）にコピーする。

ステップ９１８「Ｆから最上の値の対を除去する」では、「最上の値の対」を実現可能なセット「Ｆ」８０６から除去して、次のステップ４５８「ＩをＪにトランスコードする」に移動する。

基本的な方法４００同様に、後続するステップでは、画質メトリックが評価され、最良の画質メトリックと最良の画像とを保存し、ループの初めにジャンプして戻る（ステップ９１４で）。

図１２で実現可能なセット「Ｆ」８０６をソートし、切り捨てを行うことの利点は以下の通りである。実現可能なセット「Ｆ」８０６に対して切り捨てを行わず、ソートのみを行うとすると、全ての値の対を、単に予測される画質の順に評価することになる（トランスコードされてから画質を評価される必要がある）。これは、基本的な方法２００のものと同じ最良の画像が生じることになり、処理コスト面の利点がない。

実現可能なセット「Ｆ」８０６に対して切り捨てを行うことにより、Ｃ＿ｍａｘの値の対の数がセットに残ることになる。セットは先ずソートされるので、これらＣ＿ｍａｘの値の対は、最も期待のもてる画質のメトリックを生じることが予期される値の対である。故に、基本的な方法と比して、完全な評価を行うべき値の対の数が減り、（基本的なシステム２００で）低画質を生じる値の対の評価に対して費やされていた処理分を節約できる。

Ｃ＿ｍａｘを１に設定する場合、１つの値の対のみを完全に評価することになるが、これは実際の画質の評価に関わらず行われ、この結果生じる最良の画像は、単純なシステム６００の予測方法７００のものと同じになる。

１）故に、予測される最高画質は必ずしも実際の最高品質ではないため、Ｃ＿ｍａｘは１よりも大きい値に設定されるべきである。Ｃ＿ｍａｘを値５に設定することで良好な結果が生じるということが分かっており、実際に最良の値の対を含む可能性が非常に高いことも分かっている。または、画質閾値を設けることも可能である。予測される画質メトリックが、それまで予測されたうち最良の画質のメトリックよりも任意のマージン分（例えば３ｄＢ等）小さくなった段階で処理を停止する。さらなる変形例としては、セット「Ｆ」を以下のようにソートしておくことも考えられる。
２）各実現可能なスケーリング値「ｚ」について、予測される画質値が最良の、実現可能なセット「Ｆ」内の値の対を見つける。例えばこのような値の対がＰ個あると仮定する（つまり、ｚ＝１０パーセントの最良の値の対を見つけ、次に２０パーセントについて見つける、等である）。
３）ステップ１で得られたＰ個の値の対を、最高予測画質値から最低予測画質値へとソートする。これらステップは、実現可能なセット「Ｆ」の開始時に挿入される。
４）そして、最高予測画質値から最低予測画質値へと、得られた値の対の残りをソートする。これは、前のＰ個の値の対の後の、実現可能なセット「Ｆ」に対して挿入される。

前述同様に、C_max >= Pを行う。

図１４Ａおよび図１４Ｂに示されるチャートは、ソート後に実現可能な「Ｆ」に記録される画質メトリック値（ＰＳＮＲ）のグラフィック表現を示す。図１４Ａは、ｚＶ＝０．７についてソートされたＰＳＮＲ値の例を示し、図１４Ｂは、図１４Ａと同じ画像に対して、ｚＶ＝０．７、ｓ＿ｍａｘ＝０．７でソートされたＰＳＮＲ値の例を示す。

図１５は、図６の画質予測テーブル生成システム５００の機能を示す、画質予測テーブル生成方法１０００のフローチャートである。画質予測テーブル生成方法１０００は、図４および５の基本的な方法４００のステップと同じステップを幾らか有し、これには同じ参照番号が付され、同じ機能を有している（ステップ４０６、４５８、および４７４）。画質予測テーブル生成方法１０００は以下のステップを有する。
ステップ１００２「N(QF_in,zV)を初期化する」
ステップ１００４「QF(I)= QF_inである画像がまだ他に利用可能？」
ステップ１００６「次の画像「Ｉ」を取得する」
ステップ４０６「画像特徴を抽出する」
ステップ１００８「値の対（z,QF_out）をループにかけるべくパラメータを設定する」
ステップ１０１０「最初の値の対(z,QF_out)を取得する」
ステップ４５８「ＩをＪにトランスコードする」
ステップ４７４「画質評価ステップ」
ステップ１０１２「N(QF_in,zV)を更新する」
ステップ１０１４「他に利用可能な値の対(z,QF_out)が存在するか？」
ステップ１０１６「次の値の対(z,QF_out)を取得する」

上述したように、画質予測テーブル「Ｎ」５０６（図６）は、四次元テーブルであり、４つの指標付変数（入力画像のトレーニングセット５０２からの入力画像の符号化画質係数QF_in、観察スケーリング係数ｚＶ、トランスコーダの出力画像を圧縮するのに利用される符号化画質係数QF_out、およびトランスコーダで出力画像を圧縮するのに利用されるスケーリング係数「ｚ」）が指標付する画質メトリックＱを含む。図１５は、画質予測テーブル生成方法１０００を示し、これは、入力符号化画質係数QF_inの１つの値および観察スケーリング係数ｚＶの１つの値についてのサブテーブルである、画質予測テーブル「Ｎ」の１つのサブテーブル（つまり、N(QF_in,zV)）の生成に限定されている。QF_inおよびzVのさらなる値を含む画質予測テーブル「Ｎ」全体は、画質予測テーブル生成方法１０００のステップをこれらさらなる値QF_inおよびzVについて繰り返すことで生成されうる。

ステップ１００２「N(QF_in,zV)を初期化する」では、サブテーブルN(QF_in,zV)がゼロにクリアされる。

ステップ１００４「QF(I)=QF_である画像がまだ他に利用可能？」では、画像トレーニングセット５０２内に、まだ他に利用可能な入力符号化画質係数QF(I) = QF_inがあるか否かを判断する（図６）。もしもこれ以上利用可能な画像がないという場合には（つまり、このような画像が全て処理済みとなっている場合）、判断結果は「ＮＯ」となり、サブテーブルN(QF_in,zV)をポピュレートして、画質予測テーブル生成方法１０００を抜け、判断結果が「ＹＥＳ」の場合には、続いてステップ１００６「次の画像「Ｉ」を取得する」へ進む。

ステップ１００６「次の画像「Ｉ」を取得する」では、次の画像を、画像トレーニングセット５０２から取得して、入力画像「Ｉ」とする。

ステップ４０６「画像特徴を抽出する」では、上述したように（図４で）、入力画像「Ｉ」の特徴（幅および高さ等）を決定する。

ステップ１００８「値の対（z,QF_out）をループにかけるべくパラメータを設定する」では、値の対(z,QF_out)について画像毎のループ１０１８を準備して、画像毎のループ１０１８は、ステップ１０１０、４５８、４７４、１０１２、１０１４、および１０１６を含む。画像毎のループ１０１８は、集合{K, 2*K, 3*K, ... , 100%}からのスケーリング係数「ｚ」および集合{L, 2*L, 3*L, ... , 100}からの出力画質係数QF_outの各組み合わせについて実行され、例えば、増分「Ｋ」および「Ｌ」は、Ｋ＝１０パーセントおよびＬ＝１０として選択されてよい。テーブル２から４は、これら値で計算されている。「ｚ」およびQF_outの組み合わせは、値の対(z,QF_out)と称される。

ステップ１０１０「最初の値の対(z,QF_out)を取得する」では、最初の値の対(z,QF_out)を決定する（例えば、(z = 10%, QF_out = 10)と決定する）。

ステップ４５８「ＩをＪにトランスコードする」では、トランスコードパラメータｚＴ＝「ｚ」およびＱＦＴ＝QF_outとして、入力画像「Ｉ」を出力画像「Ｊ」にトンラスコードする（図５で上述したように）。

ステップ４７４「画質評価ステップ」では、トランスコードの画質メトリックＱＭを決定する（図５で上述したように）。

ステップ１０１２「N(QF_in,zV)を更新する」では、サブテーブルN(QF_in,zV)を、値の対(z,QF_out)で示されるテーブル位置において、画質メトリックで更新される（より詳しくは、そのテーブル位置の予測される画質メトリックを、同じテーブル位置の全ての画像からの画質メトリック値の単純な平均値で更新する）。

ステップ１０１４「他に利用可能な値の対(z,QF_out)が存在するか？」で、まだ他に利用可能なスケーリング係数「ｚ」と画質係数QF_outとの組み合わせが残っていないかを確かめる。これ以上利用可能な特異な値の対(z,QF_out)がないということであれば（既に全ての組み合わせが処理済である場合）、判断結果は「ＮＯ」となり、画像毎のループ１０１８を抜けて、ステップ１００４「QF(I)=QF_である画像がまだ他に利用可能？」に移り、画像トレーニングセット５０２から次の画像を見つけて処理を開始するが、さもなくば（判断結果が「ＹＥＳ」の場合）、画像毎のループ１０１８をステップ１０１６「次の値の対(z,QF_out)を取得する」で続ける。

ステップ１０１６「次の値の対(z,QF_out)を取得する」で、次の値の対(z,QF_out)を判断する。

先に示したように、画像トレーニングセット５０２は、同じ値の対の指標について最良な画質メトリックの僅かに異なる実際の値を生成する多くの画像を含みうる。上述した画質予測テーブル生成方法１０００では、計算される画質メトリックを用いて、画質予測テーブル「Ｎ」５０６を直接更新するが、その方法についてはここでは詳述しない。好適には、画質予測テーブル生成方法１０００により生成される原データは、上述のSteven Pigeon等による「Kingston」論文に示されている方法で収集および処理される。このようにして、データのグループ化および量子化を行い、さらに統計的処理を行うことにより、画質メトリックの最適なＬＭＳ（最小２乗平均）推定値を計算して、画質予測テーブル「Ｎ」５０６に保存することができる。

本発明の実施形態のシステムおよび方法は、スケーリング、圧縮されたファイルサイズ制限、および画像画質を考慮に入れることでトランスコードを向上させる。本発明の実施形態は、ＪＰＥＧ符号化画像との関連で記載されたが、ロスの多い圧縮モードで利用された際の例えばＧＩＦ（グラフィック交換フォーマット）およびＰＮＧ（ポータブルネットワークグラフィック）等の他のフォーマットで符号化されたデジタル画像のトランスコードに本原理を応用することもできる。本発明の実施形態のシステムは、ＣＰＵおよびコンピュータ可読媒体（例えばメモリ）を有する汎用および専用コンピュータを含むことができる、あるいはシステムが、ファームウェアに対して、またはファームウェアと専用コンピュータとの組み合わせに対して実装可能である。本発明の実施形態では、画質予測テーブルは、４つのパラメータで指標付された四次元テーブルであった。画質予測テーブルは一般的に多次元テーブルであってよく、４より大きくても小さくてもよい任意の必要数のパラメータによる指標付が可能である。

実行されると本発明の実施形態の方法のステップを実行するコンピュータ可読命令を格納したＤＶＤ，ＣＤ−ＲＯＭ、フロッピー（登録商標）等のコンピュータ可読媒体、または例えば不揮発性メモリ等のメモリも提供される。

本発明の実施形態を詳述してきたが、当業者には、実施形態の変形例および変更例が請求項の範囲に含まれることが明らかである。
［項目１］
ファイルサイズおよび画像サイズにおける制約のある端末用に入力画像を出力画像にトランスコードする画像トランスコードシステムであって、
コンピュータ実行可能命令を格納するコンピュータ可読格納媒体を有するコンピュータを備え、前記コンピュータ実行可能命令は前記コンピュータに実行されると、
前記入力画像のサイズ、ファイルサイズ、および符号化画質係数ＱＦ（Ｉ）を判断する画像特徴抽出モジュールと、
トランスコーダスケーリング係数ｚＴとトランスコーダ画質係数ＱＦＴとを含むトランスコードパラメータで、前記入力画像を前記出力画像にトランスコードするトランスコードモジュールと、
前記トランスコードの画質メトリックを決定する画質決定ブロックと、
前記出力画像の相対的な出力ファイルサイズを、前記トランスコードパラメータの関数として決定する画質およびファイルサイズ予測モジュールと、
相対的なファイルサイズの最大値を満たす最適なトランスコードパラメータと、前記出力画像の最高画質に対応する前記画質メトリックとを決定する画質認識パラメータ選択モジュールとを提供する画像トランスコードシステム。
［項目２］
前記トランスコードモジュールは、
前記入力画像を伸張する伸張モジュールと、
前記伸張された入力画像を前記トランスコーダスケーリング係数ｚＴでスケーリングするスケーリングモジュールと、
前記伸張されスケーリングされた入力画像を、前記トランスコーダ画質係数ＱＦＴで圧縮する圧縮モジュールとを含む項目１に記載の画像トランスコードシステム。
［項目３］
前記画質認識パラメータ選択モジュールは、
前記入力画像のサイズおよび前記端末の制約から決定されるスケーリング係数の最大値より小さい前記スケーリング係数ｚＴと、前記トランスコーダ画質係数ＱＦＴとの実現可能な組み合わせを選択する計算手段と、
前記出力画像の最高画質に対応する前記画質メトリックが見つかるまで、特異な値の対（ｚＴ、ＱＦＴ）を反復して選択する計算手段とを含み、
前記実現可能な組み合わせにより、前記相対的なファイルサイズの最大値を考慮する相対的な出力ファイルサイズ予測が行われる項目２に記載の画像トランスコードシステム。
［項目４］
前記画質決定ブロックは、前記画質メトリックとして予測された画質メトリックを検索する画質予測テーブルを含み、
前記画質予測テーブルは、前記予測された画質メトリックを示す複数のテーブル入力値を含み、
前記予測された画質メトリックは、
前記入力画像の前記符号化画質係数ＱＦ（Ｉ）に等しい入力画質係数QF_inと、
前記トランスコーダスケーリング係数ｚＴまたは前記出力画像の観察条件に適した別の値に等しくなるよう設定されうる観察スケーリング係数ｚＶと、
前記トランスコーダ画質係数ＱＦＴと、
前記トランスコーダスケーリング係数ｚＴとにより指標付される項目３に記載の画像トランスコードシステム。
［項目５］
前記画質予測テーブルは、前記予測された画質メトリックを示す複数のテーブル入力値を含み、
前記予測された画質メトリックは、さらに、前記観察スケーリング係数ｚＶにより指標付され、
前記観察スケーリング係数ｚＶは、前記トランスコーダスケーリング係数ｚＴと前記スケーリング係数の最大値との間の範囲の値に等しくなるよう設定される項目４に記載の画像トランスコードシステム。
［項目６］
前記画質決定ブロックは、前記画質メトリックを明示的に計算する画質評価モジュールを含み、
前記画質評価モジュールは、
前記出力画像を伸張する伸張（Ｒ）モジュールと、
前記伸張した出力画像をリスケーリング係数ｚＲでスケーリングするスケーリング（ｚＲ）モジュールと、
前記入力画像を伸張する伸張（Ｖ）モジュールと、
前記伸張した入力画像を前記観察スケーリング係数ｚＶでスケーリングするスケーリング（ｚＶ）モジュールと、
前記伸張されスケーリングされた出力画像と、前記伸張されスケーリングされた入力画像とから、前記画質メトリックを計算する画質計算モジュールとを含む項目４または５に記載の画像トランスコードシステム。
［項目７］
前記画質認識パラメータ選択モジュールは、
前記実現可能な組み合わせ(zT,QFT)の実現可能なセット「Ｆ」を格納する手段と、
前記画質予測テーブルから得られた前記予測された画質メトリックにより前記実現可能なセット「Ｆ」の中の入力値をソートする計算手段と、
前記実現可能なセット「Ｆ」の、期待できるサブセットを生成する計算手段と、
前記画質メトリックが最適化されるまで、前記画質評価モジュールで、前記期待できるサブセットから特異な値の対(zT,QFT)を反復して選択し、対応する画質メトリックを計算する計算手段とを含む項目６に記載の画像トランスコードシステム。
［項目８］
前記画質メトリックは、前記入力画像と比較した前記出力画像の測度に基づく項目１から７のいずれか一項に記載の画像トランスコードシステム。
［項目９］
前記測度は、前記入力画像に対する前記出力画像のピーク信号対ノイズ比（ＰＳＮＲ）測度、または、前記入力画像に対する前記出力画像の極大差（ＭＤ）測度のいずれかである項目８に記載の画像トランスコードシステム。
［項目１０］
前記入力画像および前記出力画像はＪＰＥＧ画像である項目１から９のいずれか一項に記載の画像トランスコードシステム。
［項目１１］
デバイスファイルサイズおよび画像サイズにおける制約のある端末での表示用に入力画像を出力画像に画質を認識してトランスコードする方法であって、
（ａ）前記端末の前記制約を取得する段階と、
（ｂ）前記入力画像を取得する段階と、
（ｃ）前記入力画像のサイズと前記ファイルサイズとを含む前記入力画像の特徴を抽出する段階と、
（ｄ）前記端末の前記制約と前記抽出された特徴とから前記出力画像のファイルサイズを予測する段階と、
（ｅ）前記端末の前記制約を充たす実現可能なトランスコードパラメータセットを選択する段階と、
（ｆ）選択された実現可能なトランスコードパラメータで、前記入力画像を前記出力画像にトランスコードする段階と、
（ｇ）前記出力画像の画質メトリックを決定する段階と、
（ｈ）前記出力画像の最高画質に対応する前記画質メトリックが見つかるまで前記段階（ｅ）から（ｇ）を繰り返す段階とを備える方法。
［項目１２］
前記段階（ｄ）は、
前記入力画像の前記画像サイズとサイズとから、スケーリング係数の最大値ｚ＿ｍａｘを決定する段階と、
前記デバイスファイルサイズと前記入力画像の前記ファイルサイズとから、相対的なファイルサイズの最大値を決定する段階とを有する項目１１に記載の方法。
［項目１３］
前記段階（ｅ）は、
複数の実現可能なトランスコードパラメータの値の対を選択する段階を有し、
各値の対は、前記スケーリング係数の最大値ｚ＿ｍａｘを超えないトランスコーダスケーリング係数ｚＴと、予測される相対的な出力ファイルサイズが、前記相対的なファイルサイズの最大値を超えないよう選択されるトランスコーダ画質係数ＱＦＴとを含む項目１２の記載の方法。
［項目１４］
前記段階（ｃ）は、前記入力画像の符号化画質係数ＱＦ（Ｉ）を抽出する段階を有し、
前記段階（ｅ）は、前記相対的な出力ファイルサイズを、前記符号化画質係数ＱＦ（Ｉ）と、前記トランスコーダスケーリング係数ｚＴと、前記トランスコーダ画質係数ＱＦＴとの関数として予測する段階を有する項目１３に記載の方法。
［項目１５］
前記段階（ｇ）は、
（ｉ）前記入力画像を伸張して、観察スケーリング係数ｚＶでスケーリングして、第１の中間画像を生成する段階と、
（ｉｉ）前記出力画像を伸張して、リスケーリング係数ｚＲでスケーリングして、第２の中間画像を生成する段階と、
（ｉｉｉ）前記第１の中間画像と比較した前記第２の中間画像の測度に基づいて前記画質メトリックを計算する段階とを有し、
前記観察スケーリング係数ｚＶは、前記出力画像に予測される観察条件に基づいてｚＴおよび１の間で選択され、
ｚＲはzR = zV / zと計算される項目１３または１４に記載の方法。
［項目１６］
前記段階（ｅ）は、前記画質メトリックを検索するべく画質予測テーブルを用いる段階を有し、前記画質予測テーブルは前記複数の実現可能なトランスコードパラメータにより指標付される項目１１から１５の何れか１項に記載の方法。
［項目１７］
前記段階（ｇ）は、２以上の指標により指標付される多次元画質予測テーブルから前記画質メトリックを読み出す段階を有し、
前記２以上の指標は、
（指標１）前記入力画像の前記符号化画質係数ＱＦ（Ｉ）、
（指標２）前記出力画像に予測される観察条件に基づいてｚＴおよび１の間で選択される観察スケーリング係数ｚＶ、
（指標３）前記トランスコーダ画質係数ＱＦＴ、および、
（指標４）前記トランスコーダスケーリング係数ｚＴから選択される項目１６に記載の方法。
［項目１８］
前記段階（ｇ）は、前記画質予測テーブルの複数の入力値の間を、前記２以上の指標のうち少なくとも１つについて補間する段階を有する項目１７に記載の方法。
［項目１９］
前記段階（ｇ）は、前記入力画像と比較した前記出力画像の測度に基づいて前記画質メトリックを計算する段階を有する項目１１から１８のいずれか一項に記載の方法。
［項目２０］
前記測度は、前記出力画像と前記入力画像との間のピーク信号対ノイズ比（ＰＳＮＲ）測度、または、前記出力画像と前記入力画像との間の極大差（ＭＤ）測度のいずれかである項目１９に記載の方法。
［項目２１］
プロセッサに実行されると項目１１から２０のいずれか一項に記載の前記方法の前記複数の段階を実行するコンピュータ可読命令を格納して備えるコンピュータ可読媒体。

Claims (18)

1. 画像トランスコードにおいて画像の画質を予測するための画質予測テーブルを生成するためのシステムであって、
   プロセッサと、前記プロセッサによって実行するためのコンピュータ可読命令を格納するコンピュータ可読媒体とを有するコンピュータであって、
   トランスコーダスケーリング係数の範囲及び出力符号化画質係数の範囲について、入力画像を出力画像にトランスコードするトランスコードモジュールと、
   前記出力画像と、前記出力画像に対応する入力画像との比較を通して、各トランスコードのために画質メトリックを決定する画質評価モジュールであって、前記画質メトリックは前記画質予測テーブルの形式で前記コンピュータ可読媒体に格納され、前記コンピュータ可読媒体は、前記トランスコードにおいて使用される前記トランスコーダスケーリング係数及び前記出力符号化画質係数のそれぞれによって指標付けされた画質メトリックの格納位置を有する、画質評価モジュールと、
   前記画質予測テーブル、前記トランスコーダスケーリング係数の範囲及び前記出力符号化画質係数の範囲を生成し、トランスコード対象となる複数の入力画像を取得し、前記画質予測テーブル内の、各指標の位置の、前記画質メトリックを更新する計算モジュールと、
   を形成するコンピュータ
   を備えるシステム。
2. 前記コンピュータ可読媒体に格納された複数の入力画像を含むトレーニングセットを更に備える、請求項１に記載のシステム。
3. 前記入力画像の入力符号化画質係数と、前記入力画像の画像解像度とを決定する画像特徴抽出モジュールであって、前記入力符号化画質係数及び前記画像解像度は、前記画質予測テーブル内に指標付けする、画像特徴抽出モジュールを更に備える請求項１または２に記載のシステム。
4. 前記画質予測テーブルは、さらに、前記出力画像の観察者によって体験される画像の質を最適化するために選択される観察条件によってインデックスされている請求項１から３のいずれか１項に記載のシステム。
5. 前記画質メトリックは、入力画像に対する出力画像の測度に基づく、請求項１から４のいずれか１項に記載のシステム。
6. 前記測度は、前記入力画像に対する前記出力画像のピーク信号対ノイズ比（ＰＳＮＲ）測度、及び前記入力画像に対する前記出力画像の極大差（ＭＤ）測度のうちの１つである、請求項５に記載のシステム。
7. 前記トランスコーダスケーリング係数は、０％から１００％まで増加され、前記出力符号化画質係数は１０から１００の、それぞれ予め定められたサイズを有するステップで増加される、請求項１から６のいずれか１項に記載のシステム。
8. 前記入力画像及び前記出力画像は、ＪＰＥＧ画像である、請求項１から７のいずれか１項に記載のシステム。
9. 画像トランスコードにおいて画像の画質を予測するための画質予測テーブルを生成する方法であって、
   （ａ）画像のトレーニングセットから入力画像を取得する段階と、
   （ｂ）トランスコーダスケーリング係数の範囲内のトランスコーダスケーリング係数及び出力符号化画質係数の範囲内の出力符号化画質係数で、前記入力画像を出力画像にトランスコードする段階と、
   （ｃ）前記出力画像と、前記出力画像に対応する前記入力画像との比較を通して、前記出力画像の画質メトリックを決定する段階と、
   （ｄ）前記決定された前記画質メトリックで、前記画質予測テーブルを更新する段階と、
   （ｅ）前記トランスコーダスケーリング係数の範囲及び前記出力符号化画質係数の範囲で、前記段階（ｂ）から前記段階（ｄ）を繰り返す段階と、
   （ｆ）前記トレーニングセット内に全ての画像に対して、前記段階（ａ）から前記段階（ｅ）を繰り返す段階とを備える方法。
10. 前記段階（ｄ）は、前記トランスコードにおいて使用された前記トランスコーダスケーリング係数及び前記出力符号化画質係数によって指標付けされた、メモリ内の前記画質予測テーブル内に前記画質メトリックを格納する段階を有する、請求項９に記載の方法。
11. 前記入力画像の入力符号化画質係数及び画像解像度を決定する段階と、前記入力符号化画質係数及び前記画像解像度によって前記画質予測テーブルを指標付けする段階とを更に備える、請求項９または１０に記載の方法。
12. 前記出力画像の観察者によって体験される画像の画質を最適化するべく観察条件を選択することを含む、前記観察条件によって前記画質予測テーブルを指標付けする段階を更に備える請求項９から１１のいずれか１項に記載の方法。
13. 前記段階（ｃ）は、前記入力画像に対する前記出力画像の測度に基づいて前記画質メトリックを決定する、請求項９から１２のいずれか１項に記載の方法。
14. 前記測度は、前記入力画像に対する前記出力画像のピーク信号対ノイズ比（ＰＳＮＲ）測度、及び前記入力画像に対する前記出力画像の極大差（ＭＤ）測度のうちの１つである、請求項１３に記載の方法。
15. 前記段階（ｅ）は、前記トランスコーダスケーリング係数を１０％から１００％まで増加することと、予め定められたサイズ毎に前記出力符号化画質係数を１０から１００に増加することとを備える、請求項９から１４のいずれか１項に記載の方法。
16. 前記入力画像及び前記出力画像は、ＪＰＥＧ画像である、請求項９から１５のいずれか１項に記載の方法。
17. 前記画質予測テーブル内の計算された入力値間を補間することによって、前記画質予測テーブル内に中間エントリを作成する段階を更に備える、請求項９から１６のいずれか１項に記載の方法。
18. プロセッサにより実行されると、請求項９から１７のいずれか１項に記載の方法を実行するコンピュータ可読命令を格納したコンピュータ可読媒体。

Images