JP4138459B2 - 低解像度画像作製方法及び装置 - Google Patents
低解像度画像作製方法及び装置 Download PDFInfo
- Publication number
- JP4138459B2 JP4138459B2 JP2002336773A JP2002336773A JP4138459B2 JP 4138459 B2 JP4138459 B2 JP 4138459B2 JP 2002336773 A JP2002336773 A JP 2002336773A JP 2002336773 A JP2002336773 A JP 2002336773A JP 4138459 B2 JP4138459 B2 JP 4138459B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- wavelet
- resolution image
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000004519 manufacturing process Methods 0.000 title description 5
- 238000012545 processing Methods 0.000 claims description 147
- 238000000034 method Methods 0.000 claims description 93
- 238000000354 decomposition reaction Methods 0.000 claims description 35
- 238000005070 sampling Methods 0.000 claims description 9
- 230000000704 physical effect Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 description 44
- 238000013459 approach Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 14
- 230000003247 decreasing effect Effects 0.000 description 12
- 238000013461 design Methods 0.000 description 11
- 238000005192 partition Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000002372 labelling Methods 0.000 description 8
- 230000001419 dependent effect Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000000638 solvent extraction Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000012805 post-processing Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013213 extrapolation Methods 0.000 description 3
- CIWBSHSKHKDKBQ-JLAZNSOCSA-N Ascorbic acid Chemical compound OC[C@H](O)[C@H]1OC(=O)C(O)=C1O CIWBSHSKHKDKBQ-JLAZNSOCSA-N 0.000 description 2
- 241000556720 Manga Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 244000186140 Asperula odorata Species 0.000 description 1
- 235000008526 Galium odoratum Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
- G09G5/373—Details of the operation on graphic patterns for modifying the size of the graphic pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/393—Enlarging or reducing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/162—User input
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
- H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
- H04N19/647—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
- G09G2340/0414—Vertical resolution change
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
- G09G2340/0421—Horizontal resolution change
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/14—Solving problems related to the presentation of information to be displayed
- G09G2340/145—Solving problems related to the presentation of information to be displayed related to small screens
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
- Digital Computer Display Output (AREA)
- Editing Of Facsimile Originals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理の分野に係り、特に、画像の小さい表現である低解像度画像を作製する方法及び装置に関する。
【０００２】
本願発明は、本願の優先権主張日と同日の２００２年１月１０日に出願され、本願と同一出願人に譲渡された米国特許出願第０２−０４４４２０号に関連している。
【０００３】
【従来の技術】
サムネイルは、殆どのマルチメディア・アプリケーション及び文書アプリケーションに対して非常に望ましいグラフィカル・ユーザ・インタフェース構成要素である。サムネイルは、完全な画像を表すためサイズ変更された小型の画像であり、一部のアプリケーションでは、サムネイルをクリックすることによって完全な画像が表示される。サイズ変更は、典型的に、従来の平滑化と、引き続くダウンサンプリングとによって行われる。ウェブページ上の一覧表のような殆どの従来のアプリケーションでは、サムネイルのサイズは固定されている。このようなサムネイル表示における共通の問題は、屡々、観察者は画像情報を認識できず、画像情報が希望通りに役に立たない、ということである。
【０００４】
最近のマルチメディア通信ツールは、夫々のキャンバスに様々なソースの画像を自由形式で構成することができる。この場合、サムネイルのサイズは変化しても構わない。このようなアプリケーションでは、固定サイズのサムネイルへの表示の仕方の問題の他に、所与の画像に対する適切なサムネイルサイズ若しくは形状を構成する付加的な問題が生じる。例えば、訪問者のキオスクから撮影されるような人物の写真を表現する場合、写真の顔部分のダウンサンプル画像はサムネイルとして十分であるが、ウェブ文書の場合、タイトルは完全解像度で表示するようが役に立つ。
【０００５】
非特許文献１には、モニター若しくは携帯電話のような特定の装置へ画像をトランスコーディングする方法が記載されている。非特許文献２に記載されたアプローチは、画像の明確に選択されたパーツだけが特定の解像度で送信されるように拡張される。この明確化は送信者によって行われるものであり、自動的には行われない。
【０００６】
サムネイルを作製する幾つかのソフトウェアパッケージが存在する。これらのソフトウェアパッケージは速度を重点的に取り扱うが、何れのソフトウェアパッケージも、従来のダウンサンプリングを用いて、画像全体のサイズを、ユーザ定義サイズ、若しくは、アプリケーション定義サイズにサイズ変換する。このため、画像は、屡々、観察者によって認識できなくなる。
【０００７】
非特許文献３では、強調サムネイルが文書のより優れた表現を与えるため導入される。強調は、従来通りに作製されたサムネイルのコントラストを低下させ、光学式文字認識（ＯＣＲ）システムを用いて検出されるより大きいフォントにキーワードを重ね合わせることによって行われる。この結果として、改良度は制限され、テキストを含む画像だけに適用可能である。
【０００８】
ダウンサンプリング前の画像のフィルタリング（コントラスト強調、エッジ強調）は、観察者がサムネイルを認識する能力を高める（非特許文献４を参照。）。そうであるとしても、画像情報は、屡々、観察者に気付かれない。
【０００９】
ビデオ要約を作製するため、個別のフレームに特定のサイズ／解像度が与えられたビデオフレームのグループ分けを表示する方法がある（非特許文献５を参照。）。フレームのサイズ変更は、実際の画像内容ではなく、ビデオシーケンスにおけるフレームの重要性を測定することによって決定される。
【００１０】
ページレイアウトの領域は多数の論文で議論されている。典型的に、文書の画像内容は、不都合なことに、殆どの場合にある小さい画像若しくはグラフィックスを伴うテキストであると考えられるので、連結したコンポーネントを判定するためのクラスタリング技術を含むテキスト固有の演算を実行する。ページレイアウトの一般的な方法の一つは、非特許文献６に記載されている。
【００１１】
従来の一つの画像ファイルフォーマットは、（例えば、ラプラシアン・ピラミッドによって作製される）多数の解像度の画像を保持する。その結果として、この画像ファイルフォーマットは、通常、ウェーブレット符号化画像のファイルよりも大規模になるという点で不利である。この画像ファイルフォーマットは、オプションとして、特定のパラメータをファイルに組み込む。これらのパラメータは、例えば、アスペクト比、対象の矩形、フィルタリング若しくはコントラストの調整に関連する。パラメータは、ファイルの作成者によって設定され、ファイルの受取者はこのパラメータを使用しても使用しなくてもよい。
【００１２】
【非特許文献１】
モーハン(Mohan, R)、スミス(Smith, J.R.)及びリー(Li, C. ?S.)著、「ユニバーサルアクセスのためのマルチメディア・インターネット・コンテンツ適合(Adapting Multimedia Internet Content for Universal Access)」、IEEE Trans. Multimedia、第１巻、第１号、１９９９年、ｐ．１０４−１１４
【非特許文献２】
リー(Lee, K.)、チャン(Chang, H.S.)、チョウイ(Choi, H.)及びサル(Sull, S.)著、「ユニバーサルマルチメディアアクセスのための認知に基づく画像トランスコーディング(Perception-based image transcoding for universal multimedia access)」、ICIP 2001、画像処理国際会議予稿集、ギリシャ、２００１年
【非特許文献３】
ウッドラフ(Woodruff, A.)、フォールリング(Faulring, A.)、ローゼンホルツ(Rosenholtz, R.)、モリソン(Morrison, J.)及びピローリ(Pirolli, P.)著、「ウェブ検索のためのサムネイルの用法(Using Thumbnails to Search Web)」、ＳＩＧＣＨＩ’０１予稿集、シアトル、２００１年４月
【非特許文献４】
バートン(Burton, C.A)、ジョンストン(Johnston, L.J.)及びゾネンベルグ(Sonenberg, E.A.)著、「事例研究：サムネイル画像認識の経験的調査(Case study: an empirical investigation of thumbnail image recognition)」、ビジュアライゼーション・コンファレンス１９９５(Visualization Conference 1995)予稿集
【非特許文献５】
ウチハシ(Uchihasi, S.)、フート(Foote, J.)、ギルゲンゾーン(Girgensohn, A.)及びボレツキー(Boreczky, J.)著、「ビデオマンガ：意味的に重要なビデオサマリーの作製(Video Manga: Generating Semantically Meaningful Video Summaries)」、第７回ＡＣＭ国際マルチメディア・コンファレンス(Seventh ACM International Multimedia Conference)予稿集、オーランド、１９９９年
【非特許文献６】
オー・ゴーマン(O’Gorman, L.)著、「ページレイアウト解析のための文書スペクトラム(The Document Spectrum for Page Layout Analysis)」、IEEE Trans. Image Proc.、第１５巻、第１１号、１９９３年、ｐ．１１６２−１１７３
【００１３】
【発明が解決しようとする課題】
本発明は、画像を受け取り、画像のウェーブレット表現から低解像度画像を作製する方法及び装置を提供する。
【００１４】
【課題を解決するための手段】
低解像度画像の表示の形式（例えば、サイズ、形状、マルチスケールコラージュ）は、画像の内容と、低解像度画像を表示するための表示装置の物理特性と、を補償するように選択される。
【００１５】
【発明の実施の形態】
本発明は、以下の詳細な記述と、種々の実施例についての添付図面とによって、完全に理解されるであろう。但し、本発明は特定の実施例に限定して理解されるべきではなく、実施例は説明と理解のためだけに用いられる。
【００１６】
以下では、特定の表示装置に表示されるときに視覚的に認識できる情報を含む画像表現を計算するため、画像内容、並びに、例えば、非限定的な例として、１インチ当たりのドット数（ｄｐｉ）解像度、絶対画素解像度、視野角当たりの画素数、利得関数（ガンマ応答）、コントラスト及び輝度のような表示装置の物理特性を考慮して画像の小サイズの表現を自動作製する方法及び装置を説明する。以下で説明する技術は、画像のウェーブレット表現と、画像内容を表すパラメータとを使用する。
【００１７】
さらに、ここでの技術は、表示装置の物理特性にリンクされたパラメータを使用する。典型的なインターネットアプリケーションでは、画像は、モニター、メディアボード、デジタルカメラディスプレイ、個人情報端末（ＰＤＡ）、携帯電話機のような数種類の表示装置に表示される。これらの表示装置は、例えば、１インチ当たりのドット数、画素数、コントラスト、輝度などの物理特性が異なる。
【００１８】
以下の記述では、多数の細部について説明される。しかし、本発明は、これらの特定の細部を用いることなく実施されることが当業者に明らかであろう。それ以外の場合に、周知の構造及び装置は、本発明を分かり難くすることを避けるため、詳細ではなく、ブロック図形式で示される。
【００１９】
以下の詳細な説明の一部分は、コンピュータメモリ内でのデータビットに対する演算のアルゴリズム及び記号表現の観点で記述されている。これらのアルゴリズム的な記述及び表現は、データ処理技術の当業者が自分の業績の要旨を他の当業者へ最も効率的に伝えるために使用する手段である。ここで説明するアルゴリズムは、一般的なアルゴリズムがそうであるように、所望の結果を導く首尾一貫した手順の系列である。手順（ステップ）は、物理量の物理的操作を必要とする手順である。必然的ではないが通常は、これらの量は、記憶、転送、合成、比較、及び、その他の操作を行うことができる電気信号又は磁気信号の形式をとる。主として、一般的な用法であるとの理由から、これらの信号は、ビット、値、要素、シンボル、文字、項、数などによって指定することが時に好都合であることがわかる。
【００２０】
しかし、これらの用語及び類義語は、適切な物理量と関連付けられ、物理量に与えられた便宜的なラベルに過ぎない。特に断らない限り、以下の説明から明らかであるように、「処理」、「コンピューティング」、「計算」、「決定」、或いは、「表示」のような用語を利用する記述は、コンピュータシステム若しくは類似した電子コンピューティング装置の動作及び処理を示すものであり、コンピュータシステムのレジスタ及びメモリ内で物理（電子）量として表現されたデータを操作し、同じように、コンピュータシステムのメモリ若しくはレジスタ、又は、他の情報記憶装置、情報伝送装置、若しくは、情報表示装置内で物理量として表現された他のデータへ変換する。
【００２１】
本発明は、以下で説明する動作を実行する装置に関する。この装置は、特に、要求された用途に応じて構成されるか、或いは、選択的に作動され、若しくは、コンピュータに記憶されたコンピュータプログラムを用いて再構成される汎用コンピュータを含む。このようなコンピュータプログラムは、たとえば、フレキシブルディスク、光ディスク、ＣＤ−ＲＯＭ、光磁気ディスクなどを含む任意のタイプのディスクや、読み出し専用メモリ（ＲＯＭ）や、ランダム・アクセス・メモリ（ＲＡＭ）や、ＥＰＲＯＭや、ＥＥＰＲＯＭや、磁気若しくは光カードや、電子命令を記憶するため適した任意のタイプの媒体のような、コンピュータシステムバスに接続された、コンピュータ読み取り可能な記憶媒体に記憶されるが、これらの例示的な記憶媒体に制限されるものではない。
【００２２】
ここで説明するアルゴリズム及びディスプレイは、本来的に特定のコンピュータ若しくはその他の装置に関連付けられたものではない。種々の汎用システムが、ここで教示された事項に応じたプログラムと共に使用される。或いは、要求された方法の手順を実行するため、より専用化された装置を構成した方が便利な場合もある。多様なこれらのシステムに対し要求される構成は、以下の記載から明らかになる。さらに、本発明は、特定のプログラミング言語に基づいて説明されていない。以下で説明するような本発明の教示事項を実現するために、多様なプログラミング言語を使用できることが認められるであろう。
【００２３】
機械読み取り可能な媒体は、機械（たとえば、コンピュータ）によって読み取り可能な形式で情報を記憶若しくは伝送する任意のメカニズムを含む。たとえば、機械読み取り可能な媒体は、読み出し専用メモリ（ＲＯＭ）と、ランダム・アクセス・メモリ（ＲＡＭ）と、磁気ディスク記憶媒体と、光記憶媒体と、フラッシュメモリ装置と、電気的、光学的、音響的若しくはその他の形式の伝搬信号（たとえば、搬送波、赤外線信号、デジタル信号など）と、を含む。
【００２４】
図１は、表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。この処理は、後述の他の処理と同様に、ハードウェア、ソフトウェア、或いは、両者の組み合わせにより構成された処理ロジックによって実行される。
【００２５】
図１を参照するに、処理ロジックは、最初に画像を受け取る（処理ステップ１０１）。処理ロジックは、次に、画像のウェーブレット表現から低解像度画像を作製する（処理ステップ１０２）。低解像度画像のサイズは、画像の内容と、低解像度画像を表示する表示装置の物理特性と、に基づいて選択される。
【００２６】
図２は、表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。図２を参照するに、処理ロジックは、最初に画像を受け取る（処理ステップ２０１）。処理ロジックは、次に、画像のウェーブレット表現から低解像度画像を作製し、このとき、低解像度画像のサイズは、画像の内容と、低解像度画像を表示する表示装置の物理特性と、に基づいて選択される（処理ステップ２０２）。図１に対して、図２では、物理特性は、１インチ当たりのドット数（ｄｐｉ）解像度と、絶対画素解像度と、観察距離と、コントラストと、輝度を含む。
【００２７】
〔ダウンサンプリング倍率の表示装置依存レンジの決定〕
ウェーブレット表現は、画像情報を種々の解像度レベル１．．．Ｌの情報に分離する。図３は、典型的なウェーブレット分解の説明図である。サイズＮ×Ｍの画像３０１が、例えば、各次元において４倍の倍率でダウンサンプリングされるウェーブレット分解で与えられる場合、ウェーブレット逆変換は、レベル３．．．Ｌで実行される。この逆変換の結果は、レベル２のＬＬ成分（すなわち、原画像をダウンサンプリングしたもの）である。ダウンサンプリング後の画像のサイズは、Ｍ／（２２）×Ｎ／（２２）である。縮小画像は、ウェーブレット分解のレベル１及び２における高域通過係数に含まれる詳細情報を含まない。
【００２８】
表示装置パラメータに基づいて、レベル１とレベルＬの間の適当な表示レベルのレンジは、以下のように決定される。一実施例において、画像のサイズが表示装置の画素サイズよりも大きい場合（例えば、画像のサイズが２０４８×２０４８であり、モニター解像度のサイズが１０２４×７６８である場合）、画像は、モニターディスプレイ上で完全に見えるようにするために、少なくとも２回以上ダウンサンプリングしなければならない。従って、絶対表示解像度は、ダウンサンプリング倍率に下限を与える（すなわち、表示レベルＬに関するいわゆるＬｍｉｎ）。
【００２９】
図４は、 表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。図４を参照するに、処理ロジックは画像を受け取る（処理ステップ４０１）。処理ロジックは、次に、画像のウェーブレット表現から低解像度画像を作製し、このとき、低解像度画像のサイズは、画像の内容と、低解像度画像を表示する表示装置の物理特性と、に基づいて選択される（処理ステップ４０２）。図４に示されるように、低解像度画像の作製の一部として、処理ロジックは、画像を何回（何倍）もダウンサンプリングする（処理ステップ４０３）。ダウンサンプリングの回数（倍率）は、低解像度画像が表示装置で完全に見えるようにするため十分に大きい。例えば、画像が２０４８×２０４６画素であり、モニターの表示解像度が１０２４×７６８画素であり、ダウンサンプリングが１回行われたとき、画像は、モニターの表示エリアに収まらないが、ダウンサンプリングが２回行われると、画像はモニターの表示エリアに収まる。
【００３０】
表示装置上の画像の可視性に影響を与える別の要因は、１インチ当たりのドット数（ｄｐｉ）で表される相対表示解像度である。例えば、モニターの相対解像度が７５ｄｐｉであり、プリンタの解像度が６００ｄｐｉであり、大型ディスプレイのステイ解像度は２５ｄｐｉである。別のテストでは他の結果も得られる（例えば、テキスト認識）。主観的なテストから判定されるように、視覚的に認識可能な対象若しくは構造の最小サイズは、直径が約２ｍｍである。このサイズは、所与のｄｐｉ解像度に対するドットサイズに変換される。７５ｄｐｉモニターの場合、このサイズは４７ドットになる。一実施例において、最小可視対象直径Ｄｍｉｎは、ドット数単位で、
Dmin＝（最小対象直径ｍｍ単位）*（ｄｐｉ解像度）/25.4
によって表される。
【００３１】
コントラストや輝度のような表示装置の物理特性に基づいて、Ｄｍｉｎの選定は少し変化する。一実施例において、この変化は、式中、定数Ｃｄｅｖｉｃｅとして表現され、特定の表示装置のため調整される。一実施例において、コントラスト又は輝度が小さい場合、この定数Ｃｄｅｖｉｃｅは大きい。
Dmin=Cdevice*（最小可視対象直径ｍｍ単位）*（ｄｐｉ解像度）/25.4 （０）
Ｄｍｉｎは、観察距離及び視野角にも依存する。一実施例において、ｄｐｉ解像度と観察距離の間の比は一定である。
【００３２】
小スケール構造は、高解像度スケールと関連した多数の分解レベルに亘る分解レベルにウェーブレット係数として現れる。一実施例において、ｎ回のダウンサンプリング後に視覚的に認識できるようにするため、小スケール構造のドットサイズＤは、ｎ回のダウンサンプリング後のＤｍｉｎよりも大きい。したがって、不等式：
D/2n>Dmin
が有効である。その結果として、レベルｎ．．．Ｌで非零であるウェーブレット係数に対応する構造だけが、選択された表示装置で視覚的に認識できるものとして適格である。このように、レベル１．．．ｎ−１は、逆変換中に全く考慮されないので、視覚的に認識可能な情報を与えない。以下のレベル：
Lmax(D)=log2(D/Dmin)=log2(D)-log2(Dmin) （１）
は、ドットサイズ直径Ｄの対象のダウンサンプリング倍率の上限を与える。この直接の結果として、
【００３３】
【数１】
は、サイズＮ×Ｍの画像全体に対するダウンサンプリング倍率の上限である。Ｌｍａｘ及びＬｍｉｎは、実現可能な表示スケールのレンジ：
λ＝［Ｌｍｉｎ，Ｌｍａｘ］ （３）
を形成する。
【００３４】
限界Ｌｍａｘは、おそらく、殆どの画像に対して非常に大きい。屡々、画像は、自然画像のように、粗い構造と細かい構造を略同程度の割合で含むか、若しくは、テキスト画像のような多数の細かい構造を含む。粗い構造と細かい構造の割合に応じて、自然画像はテキスト画像よりも多数回に亘ってダウンサンプリングされ、それにもかかわらず、視覚的に認識可能な情報を提示する。したがって、一実施例において、ウェーブレット係数に含まれる情報は、
Ｌｍｉｎ≦Ｌｄｉｓｐｌａｙ≦Ｌｍａｘ （４）
という条件と、レベルＬｄｉｓｐｌａｙにおけるＬＬ成分は重要な画像情報を含むという条件の下で、所与の画像に対して、最大ダウンサンプリング倍率Ｌｄｉｓｐｌａｙを決定するため使用される。図５は、サンプリング倍率（表示スケール）の概要の説明図である。倍率は、実現可能な全てのダウンサンプリング倍率のライン５０１に沿って示されている。レンジの限界Ｌｍｉｎ５０２及びＬｍａｘ５０３は、ｄｐｉ解像度、絶対画素解像度、輝度及びコントラスト、観察距離のような表示パラメータ、並びに、画像サイズのような画像パラメータに依存する。これらのパラメータの他に、Ｌｄｉｓｐｌａｙ５０４は画像内容に依存する。別の係数、ｌｏｇ２（画像サイズ）５０６は、実現可能な全てのダウンサンプリング倍率のライン５０１の一方の端に存在する。
【００３５】
図６は、表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。図６を参照するに、処理ロジックは画像を受け取る（処理ステップ６０１）。処理ロジックは、次に、画像のウェーブレット表現から低解像度画像を作製し、このとき、低解像度画像のサイズは、画像の内容と、低解像度画像を表示する表示装置の物理特性と、に基づいて選択される（処理ステップ６０２）。本例の場合、低解像度画像のサイズは、画像内の対象の最小可視対象直径に依存する。最小可視対象直径は、少なくとも多数のドットである。ドット数は、表示装置の１インチ当たりドット数に比例的に依存する。
【００３６】
図７は、表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。図７を参照するに、処理ロジックは画像を受け取る（処理ステップ７０１）。処理ロジックは、次に、画像のウェーブレット表現から低解像度画像を作製し、このとき、低解像度画像のサイズは、画像の内容と、低解像度画像を表示する表示装置の物理特性と、に基づいて選択される（処理ステップ７０２）。本例の場合、低解像度画像のサイズは、画像内の対象の最小可視対象直径に依存する。最小可視対象直径は、少なくともドット数である。ドット数は、表示装置の１インチ当たりドット数に比例的に依存する。図７に示されるように、低解像度画像の作製の一部として、処理ロジックは、画像をある回数ダウンサンプリングする（処理ステップ７０３）。この回数は、対象の直径におけるドット数が少なくとも最小可視対象直径のドット数よりも多くなるようなあまり大きくない数である。例えば、最小対象直径が２０ドットであり、対象直径が１００ドットである場合、２回のダウンサンプリングによって得られる直径は２５ドットである。３回のダウンサンプリングによって得られる直径は１２ドットである。１２ドットは２０ドット未満であるため、対象をダウンサンプリングすることができる回数は、２回に過ぎない。
【００３７】
図８は、表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。図８を参照するに、処理ロジックは画像を受け取る（処理ステップ８０１）。処理ロジックは、次に、画像のウェーブレット表現から低解像度画像を作製し、このとき、低解像度画像のサイズは、画像の内容と、低解像度画像を表示する表示装置の物理特性と、に基づいて選択される（処理ステップ８０２）。図８に示されるように、低解像度画像の作製の一部として、処理ロジックは、画像をある回数ダウンサンプリングする（処理ステップ８０３）。この回数は、画像内の粗い構造と画像内の細かい構造の比に比例的に依存する。
【００３８】
〔画像及び装置に依存するスケールＬＤＩＳＰＬＡＹの決定〕
表示スケールＬＤＩＳＰＬＡＹは、装置依存型表示レンジ［Ｌｍｉｎ，Ｌｍａｘ］におけるウェーブレット係数の分布から計算される。一実施例において、大きい係数は画像のエッジに対応し、小さい係数は重要ではない小スケール構造と雑音に対応する。一実施例において、分解におけるレベルは、画像の視覚的認識を可能にさせるため、そのレベルのＬＬ成分が最も重要な情報を収容するように決定される。以下に、二つのアプローチを記述する。
【００３９】
一実施例において、最良表示スケールは、ある種の解像度レベルから画像全体に対して決定される（すなわち、大域的スケール選択）。他の一実施例において、画像（又は、そのウェーブレット分解）はセルに分割され、各セルに対する最良表示スケールが独立に決定される（すなわち、局所的スケール選択）。これらのアプローチについては以下で詳述する。
【００４０】
〔大域的スケール選択〕
一実施例において、大域的スケール選択問題は以下の通り数学的に定式化される。サイズＭ×Ｎの画像のウェーブレット分解を考える。Ｗｍ ＬＬ（Ｘ）は、レベルｍにおける画像Ｘの全てのＬＬ係数の集合を表す。同様に、Ｗｍ ＨＬ（Ｘ）、Ｗｍ ＬＨ（Ｘ）及びＷｍ ＨＨ（Ｘ）は、それぞれ、レベルｍにおけるＨＬ帯域、ＬＨ帯域及びＨＨ帯域における全てのウェーブレット係数の集合を表す。
【００４１】
Ｍは、低解像度バージョンＸｍ＝Ｗｍ ＬＬ（Ｘ）に含まれる情報の重要性を反映する指標を表す。この重要性指標は、例えば、非限定的な例として、エネルギー、エントロピーなどのような一つ以上の因子に基づいて定義してもよい。
【００４２】
最良表示レベルＬｄｉｓｐｌｙは、式：
【００４３】
【数２】
によって計算される。実際に得られる結果は、
ＷＬｓｉａｐｌａｙ ＬＬ（Ｘ）＝ＸＬｄｉｓｐｌａｙ
のように定義される。
【００４４】
多種多様なアプローチが存在する。二つの異なるアプローチの中には、最大エネルギー若しくはエントロピーによるスケール選択と、２−クラスラベリングによるスケール選択と、が含まれる。
【００４５】
〔最大エネルギー／エントロピーによるスケール選択〕
一実施例において、表示スケールは、解像度のレベルに亘ってウェーブレット係数の傾向を特徴付け、傾向のレベルの変化を検出することによって決定される。傾向に対する一つの規準はサブバンドにおけるエネルギーである。ＥＬＨ［ｍ］がテキスト画像に対するレベルｍにおけるサブバンドＬＨのウェーブレット係数のエネルギーを表す場合、傾向は、典型的に、
ＥＬＨ［Ｌ］＜ＥＬＨ［Ｌ−１］＜．．．＜ＥＬＨ［１］
である。同じ傾向は、他の二つのサブバンド方向ＨＬ及びＨＨに対しても妥当である。写真的自然画像の傾向は、
ＥＬＨ［Ｌ］＞ＥＬＨ［Ｌ−１］＞．．．＞ＥＬＨ［１］
という反対の挙動を示す。主として小さいフォントのテキストを含む画像は、全てのスケールに対してテキスト傾向に従う。中間サイズのテキストを含む画像は、やや大きいスケールｍ１．．．Ｌではテキスト傾向に従い、小さいスケール１．．．ｍ１−１では写真傾向に切り替わる。したがって、小さい方のスケールに含まれる情報は、大きい方のスケールに含まれる情報よりも少なく、スケールｍ１へのダウンサンプリングは、画像内の殆どの重要な情報を維持し続ける。そこで、表示スケールは、ｍ１となるように選定される。一実施例では、エネルギーはレベルＥ（ｍ）の関数として見なされ、大域的最大値が存在するスケール［Ｌｍｉｎ，Ｌｍａｘ］は、以下の式：
【００４６】
【数３】
によって決定される。
【００４７】
一実施例において、Ｅ（ｍ）は選択されたサブバンド（例えば、ＬＨ若しくはＨＬ若しくはＨＨ）のエネルギーである。他の一実施例において、Ｅ（ｍ）は重み付きサブバンドの和である（例えば、αＥＬＨ（ｍ）＋βＥＨＬ（ｍ）＋γＥＨＨ（ｍ））。更に別の一実施例において、Ｅ（ｍ）は、全てのサブバンドの中の最大エネルギーである（例えば、ｍａｘ（ＥＬＨ（ｍ），ＥＨＬ（ｍ），ＥＨＨ）。
【００４８】
エネルギーに関して、例えば、式（６）を式（５）と比較すると、式１の重要性指標Ｍは、レベルｍにおけるウェーブレット係数のエネルギーを評価し、以下の式：
【００４９】
【数４】
のように表現される。エントロピーＭがサブバンドのエントロピーＨを評価する場合、
【００５０】
【数５】
の用に表現される。それ以外の場合の計算も同じである。
【００５１】
図９は、一実施例による表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。図９を参照するに、処理ロジックは画像を受け取る（処理ステップ９０１）。処理ロジックは、次に、画像のウェーブレット表現から低解像度画像を作製し、このとき、低解像度画像のサイズは、画像の内容と、低解像度画像を表示する表示装置の物理特性と、に基づいて選択される（処理ステップ９０２）。図９に示されるように、低解像度画像の作製の一部として、処理ロジックは、画像をある回数ダウンサンプリングする（処理ステップ９０３）。この回数は、例えば、図３０に示されるように、重要性指標が増加する傾向から重要性指標が減少する傾向へ変化するときの回数である。
【００５２】
図１０は、所与の表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。図１０を参照するに、処理ロジックは画像を受け取る（処理ステップ１００１）。処理ロジックは、次に、画像のウェーブレット表現から低解像度画像を作製し、このとき、低解像度画像のサイズは、画像の内容と、低解像度画像を表示する表示装置の物理特性と、に基づいて選択される（処理ステップ１００２）。図１０に示されるように、低解像度画像の作製の一部として、処理ロジックは、画像をある回数ダウンサンプリングする（処理ステップ１００３）。この回数は、例えば、図３０に示されるように、重要性指標が増加する傾向から重要性指標が減少する傾向へ変化するときの回数である。本例の場合、重要性指標はエネルギーである。従って、この回数は、エネルギーの増加傾向からエネルギーの減少傾向へ傾向が変化する時点での回数である。
【００５３】
図１１は、所与の表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。図１１を参照するに、処理ロジックは画像を受け取る（処理ステップ１１０１）。処理ロジックは、次に、画像のウェーブレット表現から低解像度画像を作製し、このとき、低解像度画像のサイズは、画像の内容と、低解像度画像を表示する表示装置の物理特性と、に基づいて選択される（処理ステップ１１０２）。図４に示されるように、低解像度画像の作製の一部として、処理ロジックは、画像をある回数ダウンサンプリングする（処理ステップ１１０３）。この回数は、例えば、図３０に示されるように、重要性指標が増加する傾向から重要性指標が減少する傾向へ変化するときの回数である。本例の場合、重要性指標は、選択されたサブバンド内のウェーブレット係数の重要性指標である。従って、この回数は、選択されたサブバンド内のウェーブレット係数の重要性指標の増加傾向から、選択されたサブバンド内のウェーブレット係数の重要性指標の減少傾向へ傾向が変化する時点での回数である。
【００５４】
図１２は、所与の表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。図１２を参照するに、処理ロジックは画像を受け取る（処理ステップ１２０１）。処理ロジックは、次に、画像のウェーブレット表現から低解像度画像を作製し、このとき、低解像度画像のサイズは、画像の内容と、低解像度画像を表示する表示装置の物理特性と、に基づいて選択される（処理ステップ１２０２）。図４に示されるように、低解像度画像の作製の一部として、処理ロジックは、画像をある回数ダウンサンプリングする（処理ステップ１２０３）。この回数は、例えば、図３０に示されるように、重要性指標が増加する傾向から重要性指標が減少する傾向へ変化するときの回数である。本例の場合、重要性指標は重み付きサブバンド内のウェーブレット係数の和の重要性指標である。従って、この回数は、重み付きサブバンド内のウェーブレット係数の和の重要性指標の増加傾向から、重み付きサブバンド内のウェーブレット係数の和の重要性指標の減少傾向へ傾向が変化する時点での回数である。
【００５５】
図１３は、所与の表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。図１３を参照するに、処理ロジックは画像を受け取る（処理ステップ１３０１）。処理ロジックは、次に、画像のウェーブレット表現から低解像度画像を作製し、このとき、低解像度画像のサイズは、画像の内容と、低解像度画像を表示する表示装置の物理特性と、に基づいて選択される（処理ステップ１３０２）。図４に示されるように、低解像度画像の作製の一部として、処理ロジックは、画像をある回数ダウンサンプリングする（処理ステップ１３０３）。この回数は、例えば、図３０に示されるように、重要性指標が増加する傾向から重要性指標が減少する傾向へ変化するときの回数である。本例の場合、重要性指標は全てのサブバンドからのウェーブレット係数の最大重要性指標である。従って、この回数は、全てのサブバンドからのウェーブレット係数の最大重要性指標の増加傾向から、全てのサブバンドからのウェーブレット係数の最大重要性指標の減少傾向へ傾向が変化する時点での回数である。
【００５６】
多数の雑音を含む画像の場合、Ｌｄｉｓｐｌａｙの決定によって、主に雑音を含むスケールが生じる。したがって、雑音と画像を区別するための付加的な規準は、このケースを取り除くため有効である。一実施例において、雑音は、ウェーブレット雑音除去を使用してウェーブレット係数から除かれる。このため使用できる一つの雑音除去技術は、
文献：ドノホ(Donoho, D.L.)著、「ソフト・スレシュホールディングによる雑音除去(Denoising by soft-thresholding)」、IEEE Transactions on Information Theory、第４１巻、第３号、１９９５年、ｐ．６１３−６２７
に記載されている。或いは、使用できる別の技術は、本願の優先権主張日と同日の２００２年１月１０日に出願され、本願と同一出願人に譲渡された米国特許出願第０２−０４４４２０号に記載されている。一実施例において、雑音除去後に、表示スケールの決定は、上記の式（６）のように実行される。
【００５７】
図１４は、表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。図１４を参照するに、処理ロジックは画像を受け取る（処理ステップ１４０１）。処理ロジックは、次に、画像のウェーブレット表現から低解像度画像を作製し、このとき、低解像度画像のサイズは、画像の内容と、低解像度画像を表示する表示装置の物理特性と、に基づいて選択される（処理ステップ１４０２）。図１４に示されるように、低解像度画像の作製の一部として、処理ロジックはウェーブレット係数の雑音を除去する（処理ステップ１４０３）。
【００５８】
他の一実施例において、計算の複雑さを低下させるため、ウェーブレット係数は、全てのあり得るスケール（レベル）で同時には考慮されるのではなく、最初に、最も粗いスケールから考慮され始め、次に、一つずつ精細なスケールが取り込まれ、各レベルを取り込んだ後、表示スケールＬｄｉｓｐｌａｙが決定可能であるかどうかが検査される。このようなアプローチの一実施例を説明する。
【００５９】
一つのアプローチでは、処理ロジックは、レベルＥ（ｍ）の関数としてエネルギーを決定する。ｍが増加する場合、
Ｅ（ｍ−１）≦Ｅ（ｍ）
である限り、処理ロジックは、
Ｅ（ｍ＋１）
を計算する。もし、
ｍ＝Ｌｍｉｎ
であるならば、処理ロジックは、
Ｌｄｉｓｐｌａｙ＝Ｌｍｉｎ
として設定する。もし、
Ｅ（ｍ−１）＞Ｅ（ｍ）
であるならば、処理ロジックは、レベルｍ−１での一つ以上のサブバンド内の雑音除去後の係数と元の係数との間の誤りの比率が所定の閾値を上回る場合に、実現可能な表示スケールＬｄｉｓｐｌａｙとして、レベルｍを棄却する。例えば、一実施例において、所定の閾値は０．７である。それ以外の場合、処理ロジックは、
Ｌｄｉｓｐｌａｙ＝ｍ−１
を選定する。
【００６０】
図１５は、二つの例示的な画像に対し表示装置に表示したときに視覚的に認識できる画像表現を計算するアプローチの結果の説明図である。
【００６１】
代替的な一実施例では、重要性指標エネルギーに基づいて傾向を決定する代わりに、重要性指標エントロピーを使用することができる。エントロピーは、係数を符号化するため要するビット数を決定する。表示スケールは、レベルｍで係数のエネルギーをエントロピーで置き換えることによって、式（９）と同じような形式で決定される。
【００６２】
図１６は、表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。図１６を参照するに、処理ロジックは画像を受け取る（処理ステップ１６０１）。処理ロジックは、次に、画像のウェーブレット表現から低解像度画像を作製し、このとき、低解像度画像のサイズは、画像の内容と、低解像度画像を表示する表示装置の物理特性と、に基づいて選択される（処理ステップ１６０２）。図１６に示されるように、低解像度画像の作製の一部として、処理ロジックは、画像をある回数ダウンサンプリングする（処理ステップ１６０３）。この回数は、重要性指標が増加する傾向から重要性指標が減少する傾向へ変化するときの回数である。本例の場合、重要性指標はエントロピーである。したがって、この回数は、エントロピーの増加傾向から、エントロピーの減少傾向へ傾向が変化する時点での回数である。
【００６３】
一実施例において、エネルギーの代用として、全てのサブバンドにおけるエネルギーの和が含まれ、最大エネルギーを使用し、上述のような線形結合を使用する。
【００６４】
〔最大重要比によるスケール選択〕
代替的な一実施例において、式（６）とは異なる規準が表示スケールを決定するため使用される。この規準は、全ウェーブレット係数が重要な係数のクラスと重要ではない係数のクラスに分離される２−クラスラベリングに基づき、重要な係数と重要ではない係数の最大比を有するスケールが、
Ｌｄｉｓｐｌａｙ＝ａｒｇ ｍａｘｍ＝Ｌｍｉｎ，．．．，Ｌｍａｘ（（μ（重要な係数）／μ（重要ではない係数）） （１２）
のように決定される。式中、μはデータのクラスを示す。一実施例において、この指標は、クラス内のデータポイントのカウント数である。他の一実施例では、この指標は、重み付きカウント数である（例えば、画像の中央部分の重みが大きい。）。
【００６５】
２−クラスラベリングにおいて、Ｍは、レベルｍにおける重要ウェーブレット係数のパーセンテージを表す。この重要性は、係数が所定の閾値よりも大きいかどうかを検査することによって決定される。別の方法は、ｍよりも大きいスケールからの情報を決定の際に取り込むことである。一例として、係数が次に大きいスケールにおける係数のエネルギーの所与のパーセンテージを上回るかどうかを検査する。パーセンテージ閾値は、表示装置或いはアプリケーションに依存してもよい。別の例では、係数毎に局所エントロピーを推定し、その値が次に大きいスケールにおける係数のエネルギーの所与のパーセンテージを上回るかどうかを検査する。
【００６６】
一実施例において、式（１）のコスト関数は、以下の通りである。
レベルｍでの重要な係数のパーセンテージが所与の閾値Ｔよりも小さいか、又は、レベルｎ≧ｍにおける重要な係数のパーセンテージが閾値Ｔよりも小さい場合、
Ｃｏｓｔ（Ｍ（Ｗｍ ＬＬ（Ｘ））＝０
であり、
レベルｍでの重要な係数のパーセンテージが所与の閾値Ｔ以上であり、レベルｎ≧ｍにおける重要な係数のパーセンテージが閾値Ｔよりも大きい場合、
Ｃｏｓｔ（Ｍ（Ｗｍ ＬＬ（Ｘ））＝レベルｍでの重要な係数のパーセンテージである。
【００６７】
図１７は、表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。図１７を参照するに、処理ロジックは画像を受け取る（処理ステップ１７０１）。処理ロジックは、次に、画像のウェーブレット表現から低解像度画像を作製し、このとき、低解像度画像のサイズは、画像の内容と、低解像度画像を表示する表示装置の物理特性と、に基づいて選択される（処理ステップ１７０２）。図１７に示されるように、低解像度画像の作製の一部として、処理ロジックは、画像をある回数ダウンサンプリングする（処理ステップ１７０３）。この回数は、重要な係数のクラスのウェーブレット係数と重要でない係数のクラスのウェーブレット係数との比が最高になるときの回数である。
【００６８】
２−クラスラベリング問題を解決するアプローチはパターン認識の分野において周知である。例えば、
文献：デューダ(Duda, R.O.)、ハート(Hart, P.E.)及びストーク(Stork, D.G.)著、「パターン分類(Pattern Classification)」、第２版、ワイリー(Wiley)、ニューヨーク、２０００年
を参照のこと。スケール毎に解決される２−クラスラベリング問題は、ベイズの決定理論を使用して解決される。確率モデルに取り込まれる画像データは係数の大きさ、又は、局所エントロピーである。
【００６９】
〔局所的スケール選択〕
局所的スケール選択は、画像若しくはウェーブレットドメインにおける区分を必要とし、係数若しくは画素のグループ分けを考慮する必要がある。グルーピングは、アプリケーションによって与えても、ユーザが与えてもよく、或いは、画像データから決定してもよい。
【００７０】
画像ドメインのセグメントへのパーティション（区分）
一実施例において、画像は、２次元セグメント（例えば、Ｊ２Ｋにおけるタイル）に分割され、次に、大域的スケール選択が上述のように実行される。
【００７１】
一実施例では、表示スケールを選択し、そのスケールでのＬＬ成分を画像表現として選定する代わりに、特定のスケールでの画像の一部（例えば、細かいスケールのテキスト、粗いスケールの背景）が選択される。このような局所的スケール選択を実行するため、画像はセグメントに区分される。一実施例において、セグメントは個別の係数である。他の一実施例において、セグメントは、係数のカバーグループであり、例えば、正方形、長方形などの形状をしている。
【００７２】
区分が（例えば、セグメントサイズ及び形状サイズによって）選定された後、上述の大域的スケール選択の場合と同じアプローチが区分のセグメントＳ毎に適用される。その結果として、各Ｓ（ｉ）は、表示スケールＬｄｉｓｐｌａｙ（ｉ）が割当てられる。パターン認識の観点では、結果は、セグメントの（Ｌｍａｘ−Ｌｍｉｎ）−クラスラベリングである。
【００７３】
図１８Ａは、所与の表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。図１８Ａを参照するに、処理ロジックは画像を受け取る（処理ステップ１８０１）。処理ロジックは、次に、画像のウェーブレット表現から低解像度画像を作製し、このとき、低解像度画像のサイズは、画像の内容と、低解像度画像を表示する表示装置の物理特性と、に基づいて選択される（処理ステップ１８０２）。作製処理の一部として、処理ロジックは、画像をセグメントに区分する（処理ステップ８０３）。処理ロジックは、次に、各セグメントをある回数ダウンサンプリングする（処理ステップ１８０４）。セルのダウンサンプリングは画像のダウンサンプリングと同じ方法で実行される。
【００７４】
一実施例において、特定の表示スケール（例えば、Ｌｄｉｓｐｌａｙ＝２）と関連した画像の一部（例えば、セグメント）だけが表示される。選択されたセグメントは、連結した成分にグループ分けされるか、又は、組み込まれる。例えば、殆どの画像表示装置の場合、画像表示装置は矩形状であるため、画像情報の矩形状の表示が好まれる。多数のアプローチを利用して、ｍ−クラスラベリング結果に基づいて矩形を選択することができる。一実施例では、Ｌｄｉｓｐｌａｙ＝２の全てのセグメントを収容する最大境界ボックスが選定される。この実施例は、ボックスに対する孤立した地帯が非常に大きくなる可能性がある点で不利である。他の一実施例では、以下のような比Ｒ（２）：
Ｒ（２）＝μ（Ｌｄｉｓｐｌａｙ＝２の矩形内のセグメント）／μ（Ｌｄｉｓｐｌａｙ≠２の矩形内のセグメント） （１３）
が最大になる矩形を選択することによって、このような影響を回避するアプローチが使用される。ここで、μは式（１２）における指標を表す。このような矩形の一例が図１８Ｂに示されている。他の一実施例で使用されるアプローチは、
Ｒ（ｍ）＝μ（Ｌｄｉｓｐｌａｙ＝ｍの矩形内のセグメント）／μ（Ｌｄｉｓｐ ｌａｙ≠ｍの矩形内のセグメント） （１４）
を最大にする矩形を選択する。
【００７５】
換言すると、大域的スケール選択と局所的スケール選択を組み合わせる（Ｌｍａｘ−Ｌｍｉｎ）−クラスラベリング問題は、結局、以下で詳述される特定アプリケーションにおける圧縮画像に対する設計上の選択の問題である。
【００７６】
ウェーブレットドメインのセルへの区分
ウェーブレットドメインをセルに区分するとき、ウェーブレットドメインはウェーブレットセルに分割される。測定規準Ｍ（ｘ）は、低解像度データポイントのグループＸｍに対する情報内容を示す。
【００７７】
ｘ∈Ｘｍである場合を考える。ｘの情報内容は、解像度レベルｍでサポート内にｘを含むＭ以上の全てのウェーブレットセルレベルのエネルギー若しくはエントロピーの寄与度を計算することからＭ（ｘ）によって計算される。エネルギー若しくはエントロピーは、ウェーブレットセルの解像度とそのサイズに応じてスケーリングされる。コスト関数は、予め記述された形状（例えば、矩形）又は所与のサイズに適合する全てのデータポイントの測定情報内容を合計する。コスト関数の最大出力を生ずるこれらのポイントを選定することにより、特定の解像度での原画像の一部が認識可能な情報を含むサイズの減少した画像に対して選定される。
【００７８】
図１９は、表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。図１９を参照するに、処理ロジックは画像を受け取る（処理ステップ１９０１）。処理ロジックは、次に、画像のウェーブレット表現から低解像度画像を作製し、このとき、低解像度画像のサイズは、画像の内容と、低解像度画像を表示する表示装置の物理特性と、に基づいて選択される（処理ステップ１９０２）。作製処理の一部として、処理ロジックは、例えば、ＪＰＥＧ２０００符号ユニットを使用して、画像をセグメントに区分する（処理ステップ１９０３）。処理ロジックは、次に、選択されたセル内の係数によって記述された画像内容を表示し、ここで、セルはセグメンテーションアルゴリズムによって選択される。より詳しい情報については、本願の優先権主張日と同日の２００２年１月１０日に出願され、本願と同一出願人に譲渡された米国特許出願第０２−０４４４２０号を参照のこと。
【００７９】
図２０は、大域的スケール選択に基づく画像作製処理の一実施例のフローチャートである。処理ステップ２００１で画像データが受け取られる。処理ステップ２００２で、Ｌ−レベルウェーブレット分解におけるウェーブレット係数の重要性を記述するデータは、計算／抽出される。データは、レベルに依存するべきであり、所与の解像度レベルのウェーブレット係数のエネルギー若しくはエントロピーでもよい。処理ステップ２００３において、表示スケールＬｄｉｓｐｌａｙが決定される。
Ｌｄｉｓｐｌａｙ＜Ｌｍｉｎ
であるならば、ＬｄｉｓｐｌａｙはＬｍｉｎと一致するように設定される。
Ｌｄｉｓｐｌａｙ＞Ｌｍａｘ
であるならば、ＬｄｉｓｐｌａｙはＬｍａｘと一致するように設定される。最後に、処理ステップ２００４において、ウェーブレット分解のレベルＬｄｉｓｐｌａｙでのＬＬ成分が表示される。
【００８０】
図２１は、局所的スケール選択に基づく画像作製処理の一実施例のフローチャートである。処理ステップ２１０１において、出力表示用の画像データ、特定用途設計選択範囲、及び、ユーザ嗜好が受け取られる。処理ステップ２１０２において、Ｌ−レベルウェーブレット分解のセルＣへの区分が選択される。処理ステップ２１０３において、Ｌ−レベルウェーブレット分解におけるウェーブレット係数の重要性を記述するデータが計算／抽出される。データは、レベルに依存するべきであり、所与の解像度レベルのウェーブレット係数のエネルギー若しくはエントロピーでもよい。処理ステップ２１０４において、各セルＣ（ｉ）に対して、表示スケールＬｄｉｓｐｌａｙ（ｉ）が決定される。
Ｌｄｉｓｐｌａｙ（ｉ）＜Ｌｍｉｎ
であるならば、Ｌｄｉｓｐｌａｙ（ｉ）はＬｍｉｎと一致するように設定される。
Ｌｄｉｓｐｌａｙ（ｉ）＞Ｌｍａｘ
であるならば、Ｌｄｉｓｐｌａｙ（ｉ）はＬｍａｘと一致するように設定される。処理ステップ２１０５において、同じ表示スケールをもつセルのクラス（Ｌｍｉｎ−Ｌｍａｘクラス）が形成される。処理ステップ２１０６において、形状及びサイズのような特定用途設計選択範囲が考慮され、所与の設計における同じ表示スケールクラスに属する最も良く適合するセルのグループが決定される。最後に、処理ステップ２１０７において、対応したクラスの表示レベルにおける選択されたグルーピングの純粋なＬＬ成分若しくは修正されたＬＬ成分が表示される。
【００８１】
図２２は、大域的スケール選択と局所的スケール選択の組み合わせに基づく画像作製処理の一実施例のフローチャートである。処理ステップ２２０１において、出力表示用の画像データ、特定用途設計選択範囲、及び、ユーザ嗜好が受け取られる。処理ステップ２２０２において、Ｌ−レベルウェーブレット分解におけるウェーブレット係数の重要性を記述するデータが計算／抽出される。データは、レベル及びセルに依存するべきであり、所与の解像度レベルのウェーブレット係数のエネルギー若しくはエントロピーでもよい。処理ステップ２２０３において、表示スケールＬｄｉｓｐｌａｙが決定される。
【００８２】
判定ステップ２２０４において、
【００８３】
【数６】
である場合、処理ステップ２２０５は、選択されたＬＬ成分の表示レベルが、
【００８４】
【数７】
となり、表示画素サイズ又は固定サイズ及び形状に適合するように、画像に基づいて局所的スケール変換を実行する。それ以外の場合、処理ステップ２２０７において、ウェーブレット分解のレベルＬＤＩＳＰＬＡＹにおけるＬＬ成分が表示される（すなわち、大域的スケール分解）。
【００８５】
一つの拡張例として、最大化は、予め記述された形状に関して計算可能であるが、可変サイズ、固定サイズのフレキシブル形状、又は、可変サイズのフレキシブル形状について計算してもよい。
【００８６】
このことを数学的に定式化すると次のようになる。
【００８７】
集合Ｘの区分Ｐは、集合ｐ１，ｐ２∈Ｐのｐ１≠ｐ２である全てのペアに対して、
【００８８】
【数８】
かつ
【００８９】
【数９】
となるようなＸの部分集合の集合である。
【００９０】
【数１０】
ここで、Ｐｍ ＨＬ、Ｐｍ ＬＨ及びＰｍ ＨＨは、夫々、Ｉｍ ＨＬ、Ｉｍ ＬＨ及びＩｍ ＨＨの区分である。
【００９１】
認識可能な内容を伴う縮小サイズ画像は、出力境界及び出力画像内容によって与えられる。境界は、形状（例えば、矩形）とサイズ（例えば、６８×８０画素）とによって与えられる。境界を画像内容で埋めるため、画像の解像度と、境界を見つけるためのアンカーポイント位置が決定される（例えば、解像度画像Ｘｍにおける座標（１０，２０））。長方形又は正方形のためのアンカーポイントは、左上隅でもよく、円形のためのアンカーポイントは中心でもよい。
【００９２】
第１のケースでは、出力境界の所定の形状及びサイズが与えられた場合、最大化問題は、
【００９３】
【数１１】
のように表される。認識可能な内容を含む縮小サイズ画像は、
【００９４】
【数１２】
のように定義される。
【００９５】
第２のケースでは、更に、認識可能な内容を含む縮小サイズ画像のテンプレートのサイズが可変である場合、最大化問題は、
【００９６】
【数１３】
のようになる。認識可能な内容を含む縮小サイズ画像は、
【００９７】
【数１４】
のように定義される。
【００９８】
第３のケースでは、出力境界のアンカーポイント、認識可能な内容を含む縮小サイズ画像のテンプレートのサイズ及び形状が可変である場合、最大化問題は、
【００９９】
【数１５】
のように表される。認識可能な内容を含む縮小サイズ画像は、
【０１００】
【数１６】
のように定義される。
【０１０１】
このケースでは、ベクトル（Ｌｄｉｓｐｌａｙ，Ａｄｉｓｐｌａｙ，Ｎｄｉｓｐｌａｙ，Ｓｄｉｓｐｌａｙ）は、認識可能な内容を含む縮小サイズ画像を決定する。
【０１０２】
第１のケースにおいて、認識可能な内容を含む固定縮小サイズ画像に対する位置及び解像度の選択は、画像内容及び表示装置に依存する。認識可能な内容境界を含む縮小サイズ画像のサイズ及び形状は、アプリケーション若しくはユーザに依存する。第２のケースでは、位置、解像度及び認識可能な画像サイズを含む縮小サイズが画像が画像内容及び表示装置に依存し、第３のケースでは、認識可能な内容を含む縮小サイズ画像の解像度、サイズ、及び、形状は、画像内容及び表示装置に依存する。
【０１０３】
４次元ベクトル（Ｌｄｉｓｐｌａｙ，Ａｄｉｓｐｌａｙ，Ｎｄｉｓｐｌａｙ，Ｓｄｉｓｐｌａｙ）は、認識可能な内容を含む縮小サイズ画像を決定する。ベクトルのエントリーをベクトル化させることにより、拡張することが可能である。このケースでは、認識可能な内容を含む縮小サイズ画像は、特定の出力境界を含む選択された解像度セグメントの集まりである。これらのセグメントは、これらのセグメントの完全解像度版が、重なり合って、或いは、重なり合い無しに、画像全体を覆うように選定される。これは、マルチステージコラージュと呼ばれる。
【０１０４】
一般的に、画像が与えられると、この方法は、ベクトル（Ｌｄｉｓｐｌａｙ，Ａｄｉｓｐｌａｙ，Ｎｄｉｓｐｌａｙ，Ｓｄｉｓｐｌａｙ）に関する所与の制約条件の組に対して最適サムネイルを作製する。この場合、認識可能な内容を含む縮小サイズ画像は、特別に選択された解像度セグメントの組み合わせである。スカラー及びベクトルの場合、内挿、外挿、ワープ、ぼかしのような後処理が解像度セグメントに適用され得る。
【０１０５】
〔ＪＰＥＧ２０００画像符号器によって作製されたメタデータを使用するスケール選択〕
ＪＰＥＧ２０００（Ｊ２Ｋ）画像符号器によって作製された画像の符号ストリームは、ウェーブレットドメイン画像データを、パケット、符号ブロック、或いは、タイルのような構造的ユニットに並べ替える。これらのユニットは、零ビットプレーン数、又は、単位符号長さのような特徴を含むヘッダ情報を格納する。一実施例において、これらの特徴は、重要性指標Ｍ（例えば、エントロピー）及びコスト関数Ｃｏｓｔを決定するため使用される。ウェーブレットドメイン画像データの区分は、符号ユニット（例えば、符号ブロック）を選定することによって与えられる。これらのデータは、実際の画像データを復号化することなく簡単に入手可能であり、縮小サイズ画像の作製を非常に素早く実現できるようになる。
【０１０６】
Ｊ２Ｋメタデータを使用してスケール選択を実行するため、ウェーブレットドメインのセルへの区分は符号ブロックによって与えられる。画像ドメインはタイルによって与えてもよい。
【０１０７】
大域的スケール選択のため、サブバンドのエントロピーは、サブバンドに含まれる符号ブロックの長さの合計として与えられる。大域的スケール選択と共に説明された上述の指標を適用して、認識可能な内容を含む縮小サイズ画像を計算することができる。
【０１０８】
局所的スケール選択において、画像がタイルで与えられた場合、画像ドメインのセグメントへの区分に関して説明した上述の局所的スケール選択アプローチが使用される。或いは、Ｊ２Ｋメタデータを使用する局所的スケール選択では、ウェーブレットドメインのセルへの区分に関して説明した局所的スケール選択アプローチが使用され、ウェーブレットセルは符号ブロックであり、Ｍは符号ブロックのエントロピーを評価する。
【０１０９】
大域的スケール選択と局所的スケール選択の組み合わせが使用される。例えば、出力境界サイズ及び形状に制約が無い場合、大域的選択が最初に試される。その後、解像度の計算値がレンジｘから外れる場合、局所的スケール選択が開始される。一実施例では、局所的スケール選択は、ある制約条件下（例えば、形状が矩形である。）で開始される。例えば、画像が正方形である場合、大域的スケール選択は正方形を生ずる。大域的スケール選択が巧く作動しないとき、形状は特定のサイズを超えない正方形であるという制約条件下で、局所的スケール選択が適用される。
【０１１０】
以下では、２台の異なる表示装置のため大域的スケール選択と局所的スケール選択を組み合わせた例を説明する。２台の異なる表示装置は、一方がＣＲＴデスクトップ型モニターであり、もう一方がＰＤＡ（携帯情報端末）装置のＬＣＤディスプレイである場合を考える。これらの表示装置の物理特性は、表１に掲載されている通りである。
【０１１１】
【表１】
次の表２は、パラメータＬＬｍｉｎ、Ｄｍｉｎ及びＬｍａｘの計算値の一覧である。パラメータＣｄｅｖｉｃｅは、例えば、表示コントラスト比と、基準ディスプレイのコントラスト比との比を調整することにより、或いは、使用することによって設定される。
【０１１２】
【表２】
大域的スケール選択は、ＣＲＴ装置に対して、Ｌｄｉｓｐｌａｙ＝５を決定する。ＬＣＤ装置に対する大域的スケール選択は、Ｌｄｉｓｐｌａｙ＝５である。しかし、これは、Ｌｍａｘよりも長い。したがって、局所的スケール選択が始まり、３００×３００が正方形形状が固定され、最も良く適合する、すなわち、コスト関数を最大化する、位置と区間［０，Ｌｍａｘ］内の解像度Ｌが探索される。
【０１１３】
〔アプリケーション〕
大域的並びに局所的スケール選択の概念を縮小サイズ画像を作製するため考えられる設計上の選択範囲に組み込む幾つかの方法がある。一般的に、これらの方法は５つのグループに分離される。
【０１１４】
一実施例において、一つの画像セグメントだけの情報を含む画像がこのセグメントの計算された表示スケールでのＬＬ成分が固定サイズの所定の形状（例えば、６８×６８画素の矩形）に適合するように作製される。このようにして。画像は、計算された表示スケールでのセグメントのＬＬ成分を含む。
【０１１５】
図２３は、所与の表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。図２３を参照するに、処理ロジックは画像を受け取る（処理ステップ２３０１）。処理ロジックは、次に、画像のウェーブレット表現から低解像度画像を作製し、このとき、低解像度画像のサイズは、画像の内容と、低解像度画像を表示する表示装置の物理特性と、に基づいて選択される（処理ステップ２３０２）。図２３に示されるように、低解像度画像の作製の一部として、処理ロジックは、画像をある回数ダウンサンプリングする（処理ステップ２３０３）。この回数は、選択されたセグメントが所与の固定サイズを最も良く近似するときの回数である。
【０１１６】
一実施例において、特定のＬＬ解像度レベルＬｄｉｓｐｌａｙでの画像の一つのセグメントだけの情報を含む縮小サイズ画像が作製される。縮小サイズ画像の形状は固定であるが、そのサイズはフレキシブルである。例えば、縮小サイズ画像の形状は、幅と高さの比がある値Ｒの矩形でもよい。縮小サイズ画像は、対象となる比がＲの全ての矩形について最良適合基準を充たすように、関連した解像度における画像セグメントを含む。
【０１１７】
図２４は、所与の表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。図２４を参照するに、処理ロジックは画像を受け取る（処理ステップ２４０１）。処理ロジックは、次に、画像のウェーブレット表現から低解像度画像を作製し、このとき、低解像度画像のサイズは、画像の内容と、低解像度画像を表示する表示装置の物理特性と、に基づいて選択される（処理ステップ２４０２）。図２４に示されるように、低解像度画像の作製の一部として、処理ロジックは、画像をある回数ダウンサンプリングする（処理ステップ２４０３）。この回数は、セグメントの形状が所与の固定形状を最も良く近似するときの回数である。
【０１１８】
一実施例において、特定の解像度での画像の一つのセグメントだけの情報を含む縮小サイズ画像が作製される。縮小サイズ画像の形状及びサイズはフレキシブルである。
【０１１９】
図２５は、所与の表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。図２５を参照するに、処理ロジックは画像を受け取る（処理ステップ２５０１）。処理ロジックは、次に、画像のウェーブレット表現から低解像度画像を作製し、このとき、低解像度画像のサイズは、画像の内容と、低解像度画像を表示する表示装置の物理特性と、に基づいて選択される（処理ステップ２５０２）。図２５に示されるように、低解像度画像の作製の一部として、処理ロジックは、画像をある回数ダウンサンプリングする（処理ステップ２５０３）。この回数は、選択されたセグメントの解像度が所与の固定解像度を最も良く近似するときの回数である。
【０１２０】
一実施例において、画像の幾つかのセグメントを含む縮小サイズ画像が作製され、各セグメントは、その表示レベルにおけるＬＬ成分で表示される（すなわち、マルチスケールコラージュ）。
【０１２１】
一実施例において、画像の幾つかのセグメントを含む縮小サイズ画像が作製される。各セグメントは、表示レベルでのＬＬ成分の値並びに表示されたセグメントの形状に影響を与える後処理がＬＬ成分に対して更に実行され、その表示レベルにおけるＬＬ成分で表示される。このような後処理演算の例には、外挿、ぼかし、定形化、強調、融合、ワーピング、モーフィングなどが含まれる。縮小サイズ画像の設計空間は以下の表３のように抽象化される。
【０１２２】
【表３】
図２６は、一実施例による縮小サイズ画像の設計上の選択範囲の説明図である。一実施例によれば、全画像２６０１から、画像セグメント２６０２が選択される。セグメント２６０２の縮小表現２６０３は、セグメント２６０２をある回数だけダウンサンプリングすることによって作製される。この回数は、セグメントのサイズが所与の固定サイズ（例えば、６８×６８画素）を最も良く近似するときの回数である。他の一実施例によれば、全画像２６０４から、画像セグメント２６０５が選択される。セグメント２６０５の縮小表現２６０６は、セグメント２６０５をある回数だけダウンサンプリングすることによって作製される。この回数は、セグメントの解像度が所与の固定解像度（例えば、固定幅／高さ比の矩形）を最も良く近似するときの回数である。他の一実施例によれば、全画像２６０７から、画像セグメント２６０８が選択される。セグメント２６０８の縮小表現２６０９は、セグメント２６０８をある回数だけダウンサンプリングすることによって作製される。この回数は、セグメントの形状が所与の固定形状（例えば、形状リストから選択されたけ以上と、フレキシブル（＝制約の無い）サイズ）を最も良く近似するときの回数である。
【０１２３】
図２７は、典型的な縮小サイズ画像の設計上の選択範囲の説明図である。一実施例において、選択された画像セグメント２７０１−２７０７は、個別に種々の限度でダウンサンプリングされる。得られたマルチスケールコラージュは、例えば、元のセグメントの対応部分のサイズの２５％のサイズのセグメント２７０８、２７１２及び２７１３を含む。セグメント２７０９及び２７１０は、例えば、元のセグメントの対応部分のサイズの５０％である。セグメント２７１４は、元のセグメントの対応部分のサイズの１２．５％である。最後に、セグメント２７１１は、元の対応部分であるセグメント２７０４のサイズの１００％のサイズのまま維持される。
【０１２４】
一実施例において、選択された画像セグメント２７１５−２７２１は、ＬＬ成分からある倍率でアップサンプリングされる。得られたマルチスケールコラージュにおいて、例えば、セグメント２７２２、２７２６及び２７２７は、スケール選択されたＬＬ成分から２倍の倍率でアップサンプリングされる。セグメント２７２３及び２７２４は、スケール選択されたＬＬ成分から１倍の倍率でアップサンプリングされる。セグメント２７２８は、スケール選択されたＬＬ成分から３倍の倍率でアップサンプリングされる。最後に、セグメント２７２５は、元の対応部分であるセグメント２７１８から元のサイズのまま保たれる。
【０１２５】
一実施例において、選択された画像セグメント２７２９−２７３５は、セグメント２７１５−２７２１と同じようにアップサンプリングされる。さらに、得られたマルチスケールコラージュにおける対応した各セグメント２７３６−２７４２は、強調、ワーピング、ぼかしなどの後処理が施される。
【０１２６】
上記の実施例は、デジタルカメラディスプレイ、デジタル写真アルバムソフトウェア、画像ブラウジング、ビデオ要約、ページレイアウト、及び、ウェブページ設計に適用され得る。このようなアプリケーションにおいて、表示レンジパラメータＬｍｉｎ及びＬｍａｘは、一実施例では、ユーザによって設定され、縮小サイズ画像作製システムの使用中に調整することができる。一実施例のオペレーティングシステムにおいて、絶対画像解像度のようなパラメータは、ユーザの介入を全く要求することなく、ディスプレイ設置条件から抽出される。上記の説明では、ウェーブレット分解に普通に現れる倍率２のダウンサンプリングだけが考慮されている。しかし、当業者には、縮小サイズ画像作製のアプローチは、特定の解像度で選択されたセグメントの内挿又は外挿によって、２の累乗以外のサンプリング比に拡張できることが明らかである。
【０１２７】
図２８は、所与の表示装置に表示したときに視覚的に認識できる画像表現を計算する装置の一実施例の構成図である。装置２８０１は、画像を受け取る受信ユニット２８０２と、受信ユニット２８０２に接続された処理ユニット２８０３と、を含む。処理ユニット２８０３は、画像のウェーブレット表現から低解像度画像を作製する。低解像度画像のサイズは、低解像度画像を表示させるため、画像の内容と、表示装置（図示せず）の物理特性と、を補償するように選択される。一実施例において、画像のウェーブレット表現から低解像度画像を作製するため、処理ユニット２８０３は、低解像度画像を表示装置上で完全に見えるようにするために十分な回数で画像をダウンサンプリングする。一実施例において、画像のウェーブレット表現から低解像度画像を作製するため、処理ユニット２８０３は、画像内の粗い構造と画像内の細かい構造の比に比例的に依存する回数で、画像をダウンサンプリングする。一実施例において、画像のウェーブレット表現から低解像度画像を作製するため、処理ユニット２８０３は、係数から雑音を除去する。一実施例において、画像のウェーブレット表現から低解像度画像を作製するため、処理ユニット２８０３は、重要な特徴のクラス内のウェーブレット係数と，重要でない特徴のクラス内のウェーブレット係数との比が最高になる回数で、画像をダウンサンプリングする。一実施例において、画像のウェーブレット表現から低解像度画像を作製するため、処理ユニット２８０３は、セグメントのサイズが所与の固定サイズを最も良く近似する回数で、画像のセグメントをダウンサンプリングする。一実施例において、画像のウェーブレット表現から低解像度画像を作製するため、処理ユニット２８０３は、セグメントの形状が所与の固定形状を最も良く近似する回数で、画像のセグメントをダウンサンプリングする。一実施例において、画像のウェーブレット表現から低解像度画像を作製するため、処理ユニット２８０３は、セグメントの解像度が所与の固定解像度を最も良く近似する回数で、画像のセグメントをダウンサンプリングする。一実施例において、画像のウェーブレット表現から低解像度画像を作製するため、処理ユニット２８０３は、対象の直径のドット数が少なくとも最小可視対象直径のドット数と同じ大きさになる回数で、画像をダウンサンプリングする。一実施例において、画像のウェーブレット表現から低解像度画像を作製するため、処理ユニット２８０３は、重要性指標の増加から重要性指標の減少へ傾向が変化する回数で、画像をダウンサンプリングする。一実施例において、画像のウェーブレット表現から低解像度画像を作製するため、処理ユニット２８０３は、画像をセルセグメントに区分し、セグメントをダウンサンプリングする。一実施例において、画像をセルに区分するため、処理ユニット２８０３は、ＪＰＥＧ２０００符号ユニットにより画像を区分する。
【０１２８】
上記の技術は、カラーに拡張することができる。カラー画像の場合、これらの全技術は、あるクロマティックバンド（例えば、Ｌ＊ｉｎＣＩＥＬ＊ｕｖ、ＹｉｎＹｕｖ、或いは、ｓＲＧＢのＧ）のうちの一つ、一部、或いは、全部に対して使用され得る。二つ以上のクロマティックバンドが使用される場合、結果を合成するための技術が使用される。また、上記の技術は、時間（例えば、動画、ビデオ）に拡張することができる。このような場合、対象は、サムネイルを追跡するため識別され、及び／又は、キーフレームの所在が見つけられ、次に、処理される。
【０１２９】
〔コンピュータシステムの例〕
図２９は、上記の演算うちの一つ以上の演算を実行するコンピュータシステムのブロック図である。図２９を参照するに、コンピュータシステム２９００は、典型的なクライアント２９５０若しくはサーバー２９００のコンピュータシステムを含む場合もある。コンピュータシステム２９００は、情報を通信するための通信機構若しくはバス２９１１と、バス２９１１に接続され情報を処理するプロセッサ２９１２と、を含む。プロセッサ２９１２は、例えば、Pentium（登録商標）、PowerPC（登録商標）などのマイクロプロセッサを具備するが、これらのマイクロプロセッサに限定されるものではない。
【０１３０】
システム２９００は、バス２９１１に接続され、情報と、プロセッサ２９１２によって実行される命令とを保持するランダム・アクセス・メモリ（ＲＡＭ）、或いは、その他のダイナミック記憶装置２９０４（メインメモリと呼ばれる）を更に具備する。メインメモリ２９０４は、プロセッサ２９１２による命令の実行中に、一時的な値、或いは、その他の中間情報を保持するためにも使用される。
【０１３１】
コンピュータシステム２９００は、バス２９１１に接続され、プロセッサ２９１２用のスタティック情報及び命令を保持するリード・オンリ・メモリ（ＲＯＭ）及び／又はその他のスタティック記憶装置２９０６と、磁気ディスク若しくは光ディスクと対応したディスクドライブのようなデータ記憶装置２９０７と、を更に具備する。データ記憶装置２９０７は、バス２９１１に接続され、情報及び命令を保持する。
【０１３２】
コンピュータシステム２９００は、バス２９１１に接続され情報をコンピュータユーザへ表示する、陰極線管（ＣＲＴ）若しくは液晶ディスプレイ（ＬＣＤ）のような表示装置２９２１にも接続される。英数字及びその他のキーを含む英数字入力装置２９２２は、バス２９１１に接続され、情報及びコマンド選択をプロセッサ２９１２へ通信する。補助ユーザ入力装置は、マウス、トラックボール、スタイラスペン、若しくは、カーソル方向キーのようなカーソル制御器２９２３であり、方向情報及びコマンド選択をプロセッサ２９２１へ通信し、表示装置２９２１上のカーソル移動を制御する。
【０１３３】
バス２９１１に接続された別の装置は、ハードコピー装置２９２４であり、命令、データ、若しくは、その他の情報を、用紙のような媒体、若しくは、同じようなタイプの媒体に印刷するため使用される。更に、スピーカー及び／又はマイクロホンのようなサウンド録音及び再生装置がバス２９１１へ随意的に接続され、コンピュータシステム２９００とのオーディオインタフェースを実現する。バスに接続されるその他の装置には、電話機又はハンドヘルド・パーム型装置と通信するための有線／無縁通信機器２９２５が含まれる。
【０１３４】
尚、コンピュータシステム２９００及び関連したハードウェアのコンポーネントの一部若しくは全部が本発明で使用できる。しかし、これらのコンポーネントの一部若しくは全部を含む他のコンピュータシステムの構成もあり得ることが認められる。
【０１３５】
以上の説明から、本発明の多数の代替及び変更が当業者に明らかになるであろう。しかし、例示のために解説され、図示された具体的な実施例は、本発明を制限することを意図していないことに注意する必要がある。したがって、多数の実施例の詳細の説明は、本発明に不可欠であると考えられる事項だけが記載された請求項に挙げられた事項の範囲を制限することを意図したものではない。
【図面の簡単な説明】
【図１】表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。
【図２】表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。
【図３】典型的なウェーブレット分解の説明図である。
【図４】表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。
【図５】多数のサンプリング係数（表示スケール）の説明図である。
【図６】表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。
【図７】表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。
【図８】表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。
【図９】表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。
【図１０】表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。
【図１１】表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。
【図１２】表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。
【図１３】表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。
【図１４】表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。
【図１５】二つの例示的な画像に対し表示装置に表示したときに視覚的に認識できる画像表現を計算するアプローチの結果の説明図である。
【図１６】表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。
【図１７】表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。
【図１８Ａ】表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。
【図１８Ｂ】選択された矩形の一例の説明図である。
【図１９】表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。
【図２０】大域的スケール選択に基づく画像作製処理の一実施例のフローチャートである。
【図２１】局所的スケール選択に基づく画像作製処理の一実施例のフローチャートである。
【図２２】大域的スケール選択と局所的スケール選択の組み合わせに基づく画像作製処理の一実施例のフローチャートである。
【図２３】表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。
【図２４】表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。
【図２５】表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。
【図２６】設計上の選択の例の説明図である。
【図２７】付加的な設計上の選択の例の説明図である。
【図２８】表示装置に表示したときに視覚的に認識できる画像表現を計算する装置の一実施例のブロック図である。
【図２９】コンピュータシステムの一例のブロック図である。
【図３０】ダウンサンプリングの回数と重要性指標の関係を示す図である。
【発明の属する技術分野】
本発明は、画像処理の分野に係り、特に、画像の小さい表現である低解像度画像を作製する方法及び装置に関する。
【０００２】
本願発明は、本願の優先権主張日と同日の２００２年１月１０日に出願され、本願と同一出願人に譲渡された米国特許出願第０２−０４４４２０号に関連している。
【０００３】
【従来の技術】
サムネイルは、殆どのマルチメディア・アプリケーション及び文書アプリケーションに対して非常に望ましいグラフィカル・ユーザ・インタフェース構成要素である。サムネイルは、完全な画像を表すためサイズ変更された小型の画像であり、一部のアプリケーションでは、サムネイルをクリックすることによって完全な画像が表示される。サイズ変更は、典型的に、従来の平滑化と、引き続くダウンサンプリングとによって行われる。ウェブページ上の一覧表のような殆どの従来のアプリケーションでは、サムネイルのサイズは固定されている。このようなサムネイル表示における共通の問題は、屡々、観察者は画像情報を認識できず、画像情報が希望通りに役に立たない、ということである。
【０００４】
最近のマルチメディア通信ツールは、夫々のキャンバスに様々なソースの画像を自由形式で構成することができる。この場合、サムネイルのサイズは変化しても構わない。このようなアプリケーションでは、固定サイズのサムネイルへの表示の仕方の問題の他に、所与の画像に対する適切なサムネイルサイズ若しくは形状を構成する付加的な問題が生じる。例えば、訪問者のキオスクから撮影されるような人物の写真を表現する場合、写真の顔部分のダウンサンプル画像はサムネイルとして十分であるが、ウェブ文書の場合、タイトルは完全解像度で表示するようが役に立つ。
【０００５】
非特許文献１には、モニター若しくは携帯電話のような特定の装置へ画像をトランスコーディングする方法が記載されている。非特許文献２に記載されたアプローチは、画像の明確に選択されたパーツだけが特定の解像度で送信されるように拡張される。この明確化は送信者によって行われるものであり、自動的には行われない。
【０００６】
サムネイルを作製する幾つかのソフトウェアパッケージが存在する。これらのソフトウェアパッケージは速度を重点的に取り扱うが、何れのソフトウェアパッケージも、従来のダウンサンプリングを用いて、画像全体のサイズを、ユーザ定義サイズ、若しくは、アプリケーション定義サイズにサイズ変換する。このため、画像は、屡々、観察者によって認識できなくなる。
【０００７】
非特許文献３では、強調サムネイルが文書のより優れた表現を与えるため導入される。強調は、従来通りに作製されたサムネイルのコントラストを低下させ、光学式文字認識（ＯＣＲ）システムを用いて検出されるより大きいフォントにキーワードを重ね合わせることによって行われる。この結果として、改良度は制限され、テキストを含む画像だけに適用可能である。
【０００８】
ダウンサンプリング前の画像のフィルタリング（コントラスト強調、エッジ強調）は、観察者がサムネイルを認識する能力を高める（非特許文献４を参照。）。そうであるとしても、画像情報は、屡々、観察者に気付かれない。
【０００９】
ビデオ要約を作製するため、個別のフレームに特定のサイズ／解像度が与えられたビデオフレームのグループ分けを表示する方法がある（非特許文献５を参照。）。フレームのサイズ変更は、実際の画像内容ではなく、ビデオシーケンスにおけるフレームの重要性を測定することによって決定される。
【００１０】
ページレイアウトの領域は多数の論文で議論されている。典型的に、文書の画像内容は、不都合なことに、殆どの場合にある小さい画像若しくはグラフィックスを伴うテキストであると考えられるので、連結したコンポーネントを判定するためのクラスタリング技術を含むテキスト固有の演算を実行する。ページレイアウトの一般的な方法の一つは、非特許文献６に記載されている。
【００１１】
従来の一つの画像ファイルフォーマットは、（例えば、ラプラシアン・ピラミッドによって作製される）多数の解像度の画像を保持する。その結果として、この画像ファイルフォーマットは、通常、ウェーブレット符号化画像のファイルよりも大規模になるという点で不利である。この画像ファイルフォーマットは、オプションとして、特定のパラメータをファイルに組み込む。これらのパラメータは、例えば、アスペクト比、対象の矩形、フィルタリング若しくはコントラストの調整に関連する。パラメータは、ファイルの作成者によって設定され、ファイルの受取者はこのパラメータを使用しても使用しなくてもよい。
【００１２】
【非特許文献１】
モーハン(Mohan, R)、スミス(Smith, J.R.)及びリー(Li, C. ?S.)著、「ユニバーサルアクセスのためのマルチメディア・インターネット・コンテンツ適合(Adapting Multimedia Internet Content for Universal Access)」、IEEE Trans. Multimedia、第１巻、第１号、１９９９年、ｐ．１０４−１１４
【非特許文献２】
リー(Lee, K.)、チャン(Chang, H.S.)、チョウイ(Choi, H.)及びサル(Sull, S.)著、「ユニバーサルマルチメディアアクセスのための認知に基づく画像トランスコーディング(Perception-based image transcoding for universal multimedia access)」、ICIP 2001、画像処理国際会議予稿集、ギリシャ、２００１年
【非特許文献３】
ウッドラフ(Woodruff, A.)、フォールリング(Faulring, A.)、ローゼンホルツ(Rosenholtz, R.)、モリソン(Morrison, J.)及びピローリ(Pirolli, P.)著、「ウェブ検索のためのサムネイルの用法(Using Thumbnails to Search Web)」、ＳＩＧＣＨＩ’０１予稿集、シアトル、２００１年４月
【非特許文献４】
バートン(Burton, C.A)、ジョンストン(Johnston, L.J.)及びゾネンベルグ(Sonenberg, E.A.)著、「事例研究：サムネイル画像認識の経験的調査(Case study: an empirical investigation of thumbnail image recognition)」、ビジュアライゼーション・コンファレンス１９９５(Visualization Conference 1995)予稿集
【非特許文献５】
ウチハシ(Uchihasi, S.)、フート(Foote, J.)、ギルゲンゾーン(Girgensohn, A.)及びボレツキー(Boreczky, J.)著、「ビデオマンガ：意味的に重要なビデオサマリーの作製(Video Manga: Generating Semantically Meaningful Video Summaries)」、第７回ＡＣＭ国際マルチメディア・コンファレンス(Seventh ACM International Multimedia Conference)予稿集、オーランド、１９９９年
【非特許文献６】
オー・ゴーマン(O’Gorman, L.)著、「ページレイアウト解析のための文書スペクトラム(The Document Spectrum for Page Layout Analysis)」、IEEE Trans. Image Proc.、第１５巻、第１１号、１９９３年、ｐ．１１６２−１１７３
【００１３】
【発明が解決しようとする課題】
本発明は、画像を受け取り、画像のウェーブレット表現から低解像度画像を作製する方法及び装置を提供する。
【００１４】
【課題を解決するための手段】
低解像度画像の表示の形式（例えば、サイズ、形状、マルチスケールコラージュ）は、画像の内容と、低解像度画像を表示するための表示装置の物理特性と、を補償するように選択される。
【００１５】
【発明の実施の形態】
本発明は、以下の詳細な記述と、種々の実施例についての添付図面とによって、完全に理解されるであろう。但し、本発明は特定の実施例に限定して理解されるべきではなく、実施例は説明と理解のためだけに用いられる。
【００１６】
以下では、特定の表示装置に表示されるときに視覚的に認識できる情報を含む画像表現を計算するため、画像内容、並びに、例えば、非限定的な例として、１インチ当たりのドット数（ｄｐｉ）解像度、絶対画素解像度、視野角当たりの画素数、利得関数（ガンマ応答）、コントラスト及び輝度のような表示装置の物理特性を考慮して画像の小サイズの表現を自動作製する方法及び装置を説明する。以下で説明する技術は、画像のウェーブレット表現と、画像内容を表すパラメータとを使用する。
【００１７】
さらに、ここでの技術は、表示装置の物理特性にリンクされたパラメータを使用する。典型的なインターネットアプリケーションでは、画像は、モニター、メディアボード、デジタルカメラディスプレイ、個人情報端末（ＰＤＡ）、携帯電話機のような数種類の表示装置に表示される。これらの表示装置は、例えば、１インチ当たりのドット数、画素数、コントラスト、輝度などの物理特性が異なる。
【００１８】
以下の記述では、多数の細部について説明される。しかし、本発明は、これらの特定の細部を用いることなく実施されることが当業者に明らかであろう。それ以外の場合に、周知の構造及び装置は、本発明を分かり難くすることを避けるため、詳細ではなく、ブロック図形式で示される。
【００１９】
以下の詳細な説明の一部分は、コンピュータメモリ内でのデータビットに対する演算のアルゴリズム及び記号表現の観点で記述されている。これらのアルゴリズム的な記述及び表現は、データ処理技術の当業者が自分の業績の要旨を他の当業者へ最も効率的に伝えるために使用する手段である。ここで説明するアルゴリズムは、一般的なアルゴリズムがそうであるように、所望の結果を導く首尾一貫した手順の系列である。手順（ステップ）は、物理量の物理的操作を必要とする手順である。必然的ではないが通常は、これらの量は、記憶、転送、合成、比較、及び、その他の操作を行うことができる電気信号又は磁気信号の形式をとる。主として、一般的な用法であるとの理由から、これらの信号は、ビット、値、要素、シンボル、文字、項、数などによって指定することが時に好都合であることがわかる。
【００２０】
しかし、これらの用語及び類義語は、適切な物理量と関連付けられ、物理量に与えられた便宜的なラベルに過ぎない。特に断らない限り、以下の説明から明らかであるように、「処理」、「コンピューティング」、「計算」、「決定」、或いは、「表示」のような用語を利用する記述は、コンピュータシステム若しくは類似した電子コンピューティング装置の動作及び処理を示すものであり、コンピュータシステムのレジスタ及びメモリ内で物理（電子）量として表現されたデータを操作し、同じように、コンピュータシステムのメモリ若しくはレジスタ、又は、他の情報記憶装置、情報伝送装置、若しくは、情報表示装置内で物理量として表現された他のデータへ変換する。
【００２１】
本発明は、以下で説明する動作を実行する装置に関する。この装置は、特に、要求された用途に応じて構成されるか、或いは、選択的に作動され、若しくは、コンピュータに記憶されたコンピュータプログラムを用いて再構成される汎用コンピュータを含む。このようなコンピュータプログラムは、たとえば、フレキシブルディスク、光ディスク、ＣＤ−ＲＯＭ、光磁気ディスクなどを含む任意のタイプのディスクや、読み出し専用メモリ（ＲＯＭ）や、ランダム・アクセス・メモリ（ＲＡＭ）や、ＥＰＲＯＭや、ＥＥＰＲＯＭや、磁気若しくは光カードや、電子命令を記憶するため適した任意のタイプの媒体のような、コンピュータシステムバスに接続された、コンピュータ読み取り可能な記憶媒体に記憶されるが、これらの例示的な記憶媒体に制限されるものではない。
【００２２】
ここで説明するアルゴリズム及びディスプレイは、本来的に特定のコンピュータ若しくはその他の装置に関連付けられたものではない。種々の汎用システムが、ここで教示された事項に応じたプログラムと共に使用される。或いは、要求された方法の手順を実行するため、より専用化された装置を構成した方が便利な場合もある。多様なこれらのシステムに対し要求される構成は、以下の記載から明らかになる。さらに、本発明は、特定のプログラミング言語に基づいて説明されていない。以下で説明するような本発明の教示事項を実現するために、多様なプログラミング言語を使用できることが認められるであろう。
【００２３】
機械読み取り可能な媒体は、機械（たとえば、コンピュータ）によって読み取り可能な形式で情報を記憶若しくは伝送する任意のメカニズムを含む。たとえば、機械読み取り可能な媒体は、読み出し専用メモリ（ＲＯＭ）と、ランダム・アクセス・メモリ（ＲＡＭ）と、磁気ディスク記憶媒体と、光記憶媒体と、フラッシュメモリ装置と、電気的、光学的、音響的若しくはその他の形式の伝搬信号（たとえば、搬送波、赤外線信号、デジタル信号など）と、を含む。
【００２４】
図１は、表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。この処理は、後述の他の処理と同様に、ハードウェア、ソフトウェア、或いは、両者の組み合わせにより構成された処理ロジックによって実行される。
【００２５】
図１を参照するに、処理ロジックは、最初に画像を受け取る（処理ステップ１０１）。処理ロジックは、次に、画像のウェーブレット表現から低解像度画像を作製する（処理ステップ１０２）。低解像度画像のサイズは、画像の内容と、低解像度画像を表示する表示装置の物理特性と、に基づいて選択される。
【００２６】
図２は、表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。図２を参照するに、処理ロジックは、最初に画像を受け取る（処理ステップ２０１）。処理ロジックは、次に、画像のウェーブレット表現から低解像度画像を作製し、このとき、低解像度画像のサイズは、画像の内容と、低解像度画像を表示する表示装置の物理特性と、に基づいて選択される（処理ステップ２０２）。図１に対して、図２では、物理特性は、１インチ当たりのドット数（ｄｐｉ）解像度と、絶対画素解像度と、観察距離と、コントラストと、輝度を含む。
【００２７】
〔ダウンサンプリング倍率の表示装置依存レンジの決定〕
ウェーブレット表現は、画像情報を種々の解像度レベル１．．．Ｌの情報に分離する。図３は、典型的なウェーブレット分解の説明図である。サイズＮ×Ｍの画像３０１が、例えば、各次元において４倍の倍率でダウンサンプリングされるウェーブレット分解で与えられる場合、ウェーブレット逆変換は、レベル３．．．Ｌで実行される。この逆変換の結果は、レベル２のＬＬ成分（すなわち、原画像をダウンサンプリングしたもの）である。ダウンサンプリング後の画像のサイズは、Ｍ／（２２）×Ｎ／（２２）である。縮小画像は、ウェーブレット分解のレベル１及び２における高域通過係数に含まれる詳細情報を含まない。
【００２８】
表示装置パラメータに基づいて、レベル１とレベルＬの間の適当な表示レベルのレンジは、以下のように決定される。一実施例において、画像のサイズが表示装置の画素サイズよりも大きい場合（例えば、画像のサイズが２０４８×２０４８であり、モニター解像度のサイズが１０２４×７６８である場合）、画像は、モニターディスプレイ上で完全に見えるようにするために、少なくとも２回以上ダウンサンプリングしなければならない。従って、絶対表示解像度は、ダウンサンプリング倍率に下限を与える（すなわち、表示レベルＬに関するいわゆるＬｍｉｎ）。
【００２９】
図４は、 表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。図４を参照するに、処理ロジックは画像を受け取る（処理ステップ４０１）。処理ロジックは、次に、画像のウェーブレット表現から低解像度画像を作製し、このとき、低解像度画像のサイズは、画像の内容と、低解像度画像を表示する表示装置の物理特性と、に基づいて選択される（処理ステップ４０２）。図４に示されるように、低解像度画像の作製の一部として、処理ロジックは、画像を何回（何倍）もダウンサンプリングする（処理ステップ４０３）。ダウンサンプリングの回数（倍率）は、低解像度画像が表示装置で完全に見えるようにするため十分に大きい。例えば、画像が２０４８×２０４６画素であり、モニターの表示解像度が１０２４×７６８画素であり、ダウンサンプリングが１回行われたとき、画像は、モニターの表示エリアに収まらないが、ダウンサンプリングが２回行われると、画像はモニターの表示エリアに収まる。
【００３０】
表示装置上の画像の可視性に影響を与える別の要因は、１インチ当たりのドット数（ｄｐｉ）で表される相対表示解像度である。例えば、モニターの相対解像度が７５ｄｐｉであり、プリンタの解像度が６００ｄｐｉであり、大型ディスプレイのステイ解像度は２５ｄｐｉである。別のテストでは他の結果も得られる（例えば、テキスト認識）。主観的なテストから判定されるように、視覚的に認識可能な対象若しくは構造の最小サイズは、直径が約２ｍｍである。このサイズは、所与のｄｐｉ解像度に対するドットサイズに変換される。７５ｄｐｉモニターの場合、このサイズは４７ドットになる。一実施例において、最小可視対象直径Ｄｍｉｎは、ドット数単位で、
Dmin＝（最小対象直径ｍｍ単位）*（ｄｐｉ解像度）/25.4
によって表される。
【００３１】
コントラストや輝度のような表示装置の物理特性に基づいて、Ｄｍｉｎの選定は少し変化する。一実施例において、この変化は、式中、定数Ｃｄｅｖｉｃｅとして表現され、特定の表示装置のため調整される。一実施例において、コントラスト又は輝度が小さい場合、この定数Ｃｄｅｖｉｃｅは大きい。
Dmin=Cdevice*（最小可視対象直径ｍｍ単位）*（ｄｐｉ解像度）/25.4 （０）
Ｄｍｉｎは、観察距離及び視野角にも依存する。一実施例において、ｄｐｉ解像度と観察距離の間の比は一定である。
【００３２】
小スケール構造は、高解像度スケールと関連した多数の分解レベルに亘る分解レベルにウェーブレット係数として現れる。一実施例において、ｎ回のダウンサンプリング後に視覚的に認識できるようにするため、小スケール構造のドットサイズＤは、ｎ回のダウンサンプリング後のＤｍｉｎよりも大きい。したがって、不等式：
D/2n>Dmin
が有効である。その結果として、レベルｎ．．．Ｌで非零であるウェーブレット係数に対応する構造だけが、選択された表示装置で視覚的に認識できるものとして適格である。このように、レベル１．．．ｎ−１は、逆変換中に全く考慮されないので、視覚的に認識可能な情報を与えない。以下のレベル：
Lmax(D)=log2(D/Dmin)=log2(D)-log2(Dmin) （１）
は、ドットサイズ直径Ｄの対象のダウンサンプリング倍率の上限を与える。この直接の結果として、
【００３３】
【数１】
λ＝［Ｌｍｉｎ，Ｌｍａｘ］ （３）
を形成する。
【００３４】
限界Ｌｍａｘは、おそらく、殆どの画像に対して非常に大きい。屡々、画像は、自然画像のように、粗い構造と細かい構造を略同程度の割合で含むか、若しくは、テキスト画像のような多数の細かい構造を含む。粗い構造と細かい構造の割合に応じて、自然画像はテキスト画像よりも多数回に亘ってダウンサンプリングされ、それにもかかわらず、視覚的に認識可能な情報を提示する。したがって、一実施例において、ウェーブレット係数に含まれる情報は、
Ｌｍｉｎ≦Ｌｄｉｓｐｌａｙ≦Ｌｍａｘ （４）
という条件と、レベルＬｄｉｓｐｌａｙにおけるＬＬ成分は重要な画像情報を含むという条件の下で、所与の画像に対して、最大ダウンサンプリング倍率Ｌｄｉｓｐｌａｙを決定するため使用される。図５は、サンプリング倍率（表示スケール）の概要の説明図である。倍率は、実現可能な全てのダウンサンプリング倍率のライン５０１に沿って示されている。レンジの限界Ｌｍｉｎ５０２及びＬｍａｘ５０３は、ｄｐｉ解像度、絶対画素解像度、輝度及びコントラスト、観察距離のような表示パラメータ、並びに、画像サイズのような画像パラメータに依存する。これらのパラメータの他に、Ｌｄｉｓｐｌａｙ５０４は画像内容に依存する。別の係数、ｌｏｇ２（画像サイズ）５０６は、実現可能な全てのダウンサンプリング倍率のライン５０１の一方の端に存在する。
【００３５】
図６は、表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。図６を参照するに、処理ロジックは画像を受け取る（処理ステップ６０１）。処理ロジックは、次に、画像のウェーブレット表現から低解像度画像を作製し、このとき、低解像度画像のサイズは、画像の内容と、低解像度画像を表示する表示装置の物理特性と、に基づいて選択される（処理ステップ６０２）。本例の場合、低解像度画像のサイズは、画像内の対象の最小可視対象直径に依存する。最小可視対象直径は、少なくとも多数のドットである。ドット数は、表示装置の１インチ当たりドット数に比例的に依存する。
【００３６】
図７は、表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。図７を参照するに、処理ロジックは画像を受け取る（処理ステップ７０１）。処理ロジックは、次に、画像のウェーブレット表現から低解像度画像を作製し、このとき、低解像度画像のサイズは、画像の内容と、低解像度画像を表示する表示装置の物理特性と、に基づいて選択される（処理ステップ７０２）。本例の場合、低解像度画像のサイズは、画像内の対象の最小可視対象直径に依存する。最小可視対象直径は、少なくともドット数である。ドット数は、表示装置の１インチ当たりドット数に比例的に依存する。図７に示されるように、低解像度画像の作製の一部として、処理ロジックは、画像をある回数ダウンサンプリングする（処理ステップ７０３）。この回数は、対象の直径におけるドット数が少なくとも最小可視対象直径のドット数よりも多くなるようなあまり大きくない数である。例えば、最小対象直径が２０ドットであり、対象直径が１００ドットである場合、２回のダウンサンプリングによって得られる直径は２５ドットである。３回のダウンサンプリングによって得られる直径は１２ドットである。１２ドットは２０ドット未満であるため、対象をダウンサンプリングすることができる回数は、２回に過ぎない。
【００３７】
図８は、表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。図８を参照するに、処理ロジックは画像を受け取る（処理ステップ８０１）。処理ロジックは、次に、画像のウェーブレット表現から低解像度画像を作製し、このとき、低解像度画像のサイズは、画像の内容と、低解像度画像を表示する表示装置の物理特性と、に基づいて選択される（処理ステップ８０２）。図８に示されるように、低解像度画像の作製の一部として、処理ロジックは、画像をある回数ダウンサンプリングする（処理ステップ８０３）。この回数は、画像内の粗い構造と画像内の細かい構造の比に比例的に依存する。
【００３８】
〔画像及び装置に依存するスケールＬＤＩＳＰＬＡＹの決定〕
表示スケールＬＤＩＳＰＬＡＹは、装置依存型表示レンジ［Ｌｍｉｎ，Ｌｍａｘ］におけるウェーブレット係数の分布から計算される。一実施例において、大きい係数は画像のエッジに対応し、小さい係数は重要ではない小スケール構造と雑音に対応する。一実施例において、分解におけるレベルは、画像の視覚的認識を可能にさせるため、そのレベルのＬＬ成分が最も重要な情報を収容するように決定される。以下に、二つのアプローチを記述する。
【００３９】
一実施例において、最良表示スケールは、ある種の解像度レベルから画像全体に対して決定される（すなわち、大域的スケール選択）。他の一実施例において、画像（又は、そのウェーブレット分解）はセルに分割され、各セルに対する最良表示スケールが独立に決定される（すなわち、局所的スケール選択）。これらのアプローチについては以下で詳述する。
【００４０】
〔大域的スケール選択〕
一実施例において、大域的スケール選択問題は以下の通り数学的に定式化される。サイズＭ×Ｎの画像のウェーブレット分解を考える。Ｗｍ ＬＬ（Ｘ）は、レベルｍにおける画像Ｘの全てのＬＬ係数の集合を表す。同様に、Ｗｍ ＨＬ（Ｘ）、Ｗｍ ＬＨ（Ｘ）及びＷｍ ＨＨ（Ｘ）は、それぞれ、レベルｍにおけるＨＬ帯域、ＬＨ帯域及びＨＨ帯域における全てのウェーブレット係数の集合を表す。
【００４１】
Ｍは、低解像度バージョンＸｍ＝Ｗｍ ＬＬ（Ｘ）に含まれる情報の重要性を反映する指標を表す。この重要性指標は、例えば、非限定的な例として、エネルギー、エントロピーなどのような一つ以上の因子に基づいて定義してもよい。
【００４２】
最良表示レベルＬｄｉｓｐｌｙは、式：
【００４３】
【数２】
ＷＬｓｉａｐｌａｙ ＬＬ（Ｘ）＝ＸＬｄｉｓｐｌａｙ
のように定義される。
【００４４】
多種多様なアプローチが存在する。二つの異なるアプローチの中には、最大エネルギー若しくはエントロピーによるスケール選択と、２−クラスラベリングによるスケール選択と、が含まれる。
【００４５】
〔最大エネルギー／エントロピーによるスケール選択〕
一実施例において、表示スケールは、解像度のレベルに亘ってウェーブレット係数の傾向を特徴付け、傾向のレベルの変化を検出することによって決定される。傾向に対する一つの規準はサブバンドにおけるエネルギーである。ＥＬＨ［ｍ］がテキスト画像に対するレベルｍにおけるサブバンドＬＨのウェーブレット係数のエネルギーを表す場合、傾向は、典型的に、
ＥＬＨ［Ｌ］＜ＥＬＨ［Ｌ−１］＜．．．＜ＥＬＨ［１］
である。同じ傾向は、他の二つのサブバンド方向ＨＬ及びＨＨに対しても妥当である。写真的自然画像の傾向は、
ＥＬＨ［Ｌ］＞ＥＬＨ［Ｌ−１］＞．．．＞ＥＬＨ［１］
という反対の挙動を示す。主として小さいフォントのテキストを含む画像は、全てのスケールに対してテキスト傾向に従う。中間サイズのテキストを含む画像は、やや大きいスケールｍ１．．．Ｌではテキスト傾向に従い、小さいスケール１．．．ｍ１−１では写真傾向に切り替わる。したがって、小さい方のスケールに含まれる情報は、大きい方のスケールに含まれる情報よりも少なく、スケールｍ１へのダウンサンプリングは、画像内の殆どの重要な情報を維持し続ける。そこで、表示スケールは、ｍ１となるように選定される。一実施例では、エネルギーはレベルＥ（ｍ）の関数として見なされ、大域的最大値が存在するスケール［Ｌｍｉｎ，Ｌｍａｘ］は、以下の式：
【００４６】
【数３】
【００４７】
一実施例において、Ｅ（ｍ）は選択されたサブバンド（例えば、ＬＨ若しくはＨＬ若しくはＨＨ）のエネルギーである。他の一実施例において、Ｅ（ｍ）は重み付きサブバンドの和である（例えば、αＥＬＨ（ｍ）＋βＥＨＬ（ｍ）＋γＥＨＨ（ｍ））。更に別の一実施例において、Ｅ（ｍ）は、全てのサブバンドの中の最大エネルギーである（例えば、ｍａｘ（ＥＬＨ（ｍ），ＥＨＬ（ｍ），ＥＨＨ）。
【００４８】
エネルギーに関して、例えば、式（６）を式（５）と比較すると、式１の重要性指標Ｍは、レベルｍにおけるウェーブレット係数のエネルギーを評価し、以下の式：
【００４９】
【数４】
【００５０】
【数５】
【００５１】
図９は、一実施例による表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。図９を参照するに、処理ロジックは画像を受け取る（処理ステップ９０１）。処理ロジックは、次に、画像のウェーブレット表現から低解像度画像を作製し、このとき、低解像度画像のサイズは、画像の内容と、低解像度画像を表示する表示装置の物理特性と、に基づいて選択される（処理ステップ９０２）。図９に示されるように、低解像度画像の作製の一部として、処理ロジックは、画像をある回数ダウンサンプリングする（処理ステップ９０３）。この回数は、例えば、図３０に示されるように、重要性指標が増加する傾向から重要性指標が減少する傾向へ変化するときの回数である。
【００５２】
図１０は、所与の表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。図１０を参照するに、処理ロジックは画像を受け取る（処理ステップ１００１）。処理ロジックは、次に、画像のウェーブレット表現から低解像度画像を作製し、このとき、低解像度画像のサイズは、画像の内容と、低解像度画像を表示する表示装置の物理特性と、に基づいて選択される（処理ステップ１００２）。図１０に示されるように、低解像度画像の作製の一部として、処理ロジックは、画像をある回数ダウンサンプリングする（処理ステップ１００３）。この回数は、例えば、図３０に示されるように、重要性指標が増加する傾向から重要性指標が減少する傾向へ変化するときの回数である。本例の場合、重要性指標はエネルギーである。従って、この回数は、エネルギーの増加傾向からエネルギーの減少傾向へ傾向が変化する時点での回数である。
【００５３】
図１１は、所与の表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。図１１を参照するに、処理ロジックは画像を受け取る（処理ステップ１１０１）。処理ロジックは、次に、画像のウェーブレット表現から低解像度画像を作製し、このとき、低解像度画像のサイズは、画像の内容と、低解像度画像を表示する表示装置の物理特性と、に基づいて選択される（処理ステップ１１０２）。図４に示されるように、低解像度画像の作製の一部として、処理ロジックは、画像をある回数ダウンサンプリングする（処理ステップ１１０３）。この回数は、例えば、図３０に示されるように、重要性指標が増加する傾向から重要性指標が減少する傾向へ変化するときの回数である。本例の場合、重要性指標は、選択されたサブバンド内のウェーブレット係数の重要性指標である。従って、この回数は、選択されたサブバンド内のウェーブレット係数の重要性指標の増加傾向から、選択されたサブバンド内のウェーブレット係数の重要性指標の減少傾向へ傾向が変化する時点での回数である。
【００５４】
図１２は、所与の表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。図１２を参照するに、処理ロジックは画像を受け取る（処理ステップ１２０１）。処理ロジックは、次に、画像のウェーブレット表現から低解像度画像を作製し、このとき、低解像度画像のサイズは、画像の内容と、低解像度画像を表示する表示装置の物理特性と、に基づいて選択される（処理ステップ１２０２）。図４に示されるように、低解像度画像の作製の一部として、処理ロジックは、画像をある回数ダウンサンプリングする（処理ステップ１２０３）。この回数は、例えば、図３０に示されるように、重要性指標が増加する傾向から重要性指標が減少する傾向へ変化するときの回数である。本例の場合、重要性指標は重み付きサブバンド内のウェーブレット係数の和の重要性指標である。従って、この回数は、重み付きサブバンド内のウェーブレット係数の和の重要性指標の増加傾向から、重み付きサブバンド内のウェーブレット係数の和の重要性指標の減少傾向へ傾向が変化する時点での回数である。
【００５５】
図１３は、所与の表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。図１３を参照するに、処理ロジックは画像を受け取る（処理ステップ１３０１）。処理ロジックは、次に、画像のウェーブレット表現から低解像度画像を作製し、このとき、低解像度画像のサイズは、画像の内容と、低解像度画像を表示する表示装置の物理特性と、に基づいて選択される（処理ステップ１３０２）。図４に示されるように、低解像度画像の作製の一部として、処理ロジックは、画像をある回数ダウンサンプリングする（処理ステップ１３０３）。この回数は、例えば、図３０に示されるように、重要性指標が増加する傾向から重要性指標が減少する傾向へ変化するときの回数である。本例の場合、重要性指標は全てのサブバンドからのウェーブレット係数の最大重要性指標である。従って、この回数は、全てのサブバンドからのウェーブレット係数の最大重要性指標の増加傾向から、全てのサブバンドからのウェーブレット係数の最大重要性指標の減少傾向へ傾向が変化する時点での回数である。
【００５６】
多数の雑音を含む画像の場合、Ｌｄｉｓｐｌａｙの決定によって、主に雑音を含むスケールが生じる。したがって、雑音と画像を区別するための付加的な規準は、このケースを取り除くため有効である。一実施例において、雑音は、ウェーブレット雑音除去を使用してウェーブレット係数から除かれる。このため使用できる一つの雑音除去技術は、
文献：ドノホ(Donoho, D.L.)著、「ソフト・スレシュホールディングによる雑音除去(Denoising by soft-thresholding)」、IEEE Transactions on Information Theory、第４１巻、第３号、１９９５年、ｐ．６１３−６２７
に記載されている。或いは、使用できる別の技術は、本願の優先権主張日と同日の２００２年１月１０日に出願され、本願と同一出願人に譲渡された米国特許出願第０２−０４４４２０号に記載されている。一実施例において、雑音除去後に、表示スケールの決定は、上記の式（６）のように実行される。
【００５７】
図１４は、表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。図１４を参照するに、処理ロジックは画像を受け取る（処理ステップ１４０１）。処理ロジックは、次に、画像のウェーブレット表現から低解像度画像を作製し、このとき、低解像度画像のサイズは、画像の内容と、低解像度画像を表示する表示装置の物理特性と、に基づいて選択される（処理ステップ１４０２）。図１４に示されるように、低解像度画像の作製の一部として、処理ロジックはウェーブレット係数の雑音を除去する（処理ステップ１４０３）。
【００５８】
他の一実施例において、計算の複雑さを低下させるため、ウェーブレット係数は、全てのあり得るスケール（レベル）で同時には考慮されるのではなく、最初に、最も粗いスケールから考慮され始め、次に、一つずつ精細なスケールが取り込まれ、各レベルを取り込んだ後、表示スケールＬｄｉｓｐｌａｙが決定可能であるかどうかが検査される。このようなアプローチの一実施例を説明する。
【００５９】
一つのアプローチでは、処理ロジックは、レベルＥ（ｍ）の関数としてエネルギーを決定する。ｍが増加する場合、
Ｅ（ｍ−１）≦Ｅ（ｍ）
である限り、処理ロジックは、
Ｅ（ｍ＋１）
を計算する。もし、
ｍ＝Ｌｍｉｎ
であるならば、処理ロジックは、
Ｌｄｉｓｐｌａｙ＝Ｌｍｉｎ
として設定する。もし、
Ｅ（ｍ−１）＞Ｅ（ｍ）
であるならば、処理ロジックは、レベルｍ−１での一つ以上のサブバンド内の雑音除去後の係数と元の係数との間の誤りの比率が所定の閾値を上回る場合に、実現可能な表示スケールＬｄｉｓｐｌａｙとして、レベルｍを棄却する。例えば、一実施例において、所定の閾値は０．７である。それ以外の場合、処理ロジックは、
Ｌｄｉｓｐｌａｙ＝ｍ−１
を選定する。
【００６０】
図１５は、二つの例示的な画像に対し表示装置に表示したときに視覚的に認識できる画像表現を計算するアプローチの結果の説明図である。
【００６１】
代替的な一実施例では、重要性指標エネルギーに基づいて傾向を決定する代わりに、重要性指標エントロピーを使用することができる。エントロピーは、係数を符号化するため要するビット数を決定する。表示スケールは、レベルｍで係数のエネルギーをエントロピーで置き換えることによって、式（９）と同じような形式で決定される。
【００６２】
図１６は、表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。図１６を参照するに、処理ロジックは画像を受け取る（処理ステップ１６０１）。処理ロジックは、次に、画像のウェーブレット表現から低解像度画像を作製し、このとき、低解像度画像のサイズは、画像の内容と、低解像度画像を表示する表示装置の物理特性と、に基づいて選択される（処理ステップ１６０２）。図１６に示されるように、低解像度画像の作製の一部として、処理ロジックは、画像をある回数ダウンサンプリングする（処理ステップ１６０３）。この回数は、重要性指標が増加する傾向から重要性指標が減少する傾向へ変化するときの回数である。本例の場合、重要性指標はエントロピーである。したがって、この回数は、エントロピーの増加傾向から、エントロピーの減少傾向へ傾向が変化する時点での回数である。
【００６３】
一実施例において、エネルギーの代用として、全てのサブバンドにおけるエネルギーの和が含まれ、最大エネルギーを使用し、上述のような線形結合を使用する。
【００６４】
〔最大重要比によるスケール選択〕
代替的な一実施例において、式（６）とは異なる規準が表示スケールを決定するため使用される。この規準は、全ウェーブレット係数が重要な係数のクラスと重要ではない係数のクラスに分離される２−クラスラベリングに基づき、重要な係数と重要ではない係数の最大比を有するスケールが、
Ｌｄｉｓｐｌａｙ＝ａｒｇ ｍａｘｍ＝Ｌｍｉｎ，．．．，Ｌｍａｘ（（μ（重要な係数）／μ（重要ではない係数）） （１２）
のように決定される。式中、μはデータのクラスを示す。一実施例において、この指標は、クラス内のデータポイントのカウント数である。他の一実施例では、この指標は、重み付きカウント数である（例えば、画像の中央部分の重みが大きい。）。
【００６５】
２−クラスラベリングにおいて、Ｍは、レベルｍにおける重要ウェーブレット係数のパーセンテージを表す。この重要性は、係数が所定の閾値よりも大きいかどうかを検査することによって決定される。別の方法は、ｍよりも大きいスケールからの情報を決定の際に取り込むことである。一例として、係数が次に大きいスケールにおける係数のエネルギーの所与のパーセンテージを上回るかどうかを検査する。パーセンテージ閾値は、表示装置或いはアプリケーションに依存してもよい。別の例では、係数毎に局所エントロピーを推定し、その値が次に大きいスケールにおける係数のエネルギーの所与のパーセンテージを上回るかどうかを検査する。
【００６６】
一実施例において、式（１）のコスト関数は、以下の通りである。
レベルｍでの重要な係数のパーセンテージが所与の閾値Ｔよりも小さいか、又は、レベルｎ≧ｍにおける重要な係数のパーセンテージが閾値Ｔよりも小さい場合、
Ｃｏｓｔ（Ｍ（Ｗｍ ＬＬ（Ｘ））＝０
であり、
レベルｍでの重要な係数のパーセンテージが所与の閾値Ｔ以上であり、レベルｎ≧ｍにおける重要な係数のパーセンテージが閾値Ｔよりも大きい場合、
Ｃｏｓｔ（Ｍ（Ｗｍ ＬＬ（Ｘ））＝レベルｍでの重要な係数のパーセンテージである。
【００６７】
図１７は、表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。図１７を参照するに、処理ロジックは画像を受け取る（処理ステップ１７０１）。処理ロジックは、次に、画像のウェーブレット表現から低解像度画像を作製し、このとき、低解像度画像のサイズは、画像の内容と、低解像度画像を表示する表示装置の物理特性と、に基づいて選択される（処理ステップ１７０２）。図１７に示されるように、低解像度画像の作製の一部として、処理ロジックは、画像をある回数ダウンサンプリングする（処理ステップ１７０３）。この回数は、重要な係数のクラスのウェーブレット係数と重要でない係数のクラスのウェーブレット係数との比が最高になるときの回数である。
【００６８】
２−クラスラベリング問題を解決するアプローチはパターン認識の分野において周知である。例えば、
文献：デューダ(Duda, R.O.)、ハート(Hart, P.E.)及びストーク(Stork, D.G.)著、「パターン分類(Pattern Classification)」、第２版、ワイリー(Wiley)、ニューヨーク、２０００年
を参照のこと。スケール毎に解決される２−クラスラベリング問題は、ベイズの決定理論を使用して解決される。確率モデルに取り込まれる画像データは係数の大きさ、又は、局所エントロピーである。
【００６９】
〔局所的スケール選択〕
局所的スケール選択は、画像若しくはウェーブレットドメインにおける区分を必要とし、係数若しくは画素のグループ分けを考慮する必要がある。グルーピングは、アプリケーションによって与えても、ユーザが与えてもよく、或いは、画像データから決定してもよい。
【００７０】
画像ドメインのセグメントへのパーティション（区分）
一実施例において、画像は、２次元セグメント（例えば、Ｊ２Ｋにおけるタイル）に分割され、次に、大域的スケール選択が上述のように実行される。
【００７１】
一実施例では、表示スケールを選択し、そのスケールでのＬＬ成分を画像表現として選定する代わりに、特定のスケールでの画像の一部（例えば、細かいスケールのテキスト、粗いスケールの背景）が選択される。このような局所的スケール選択を実行するため、画像はセグメントに区分される。一実施例において、セグメントは個別の係数である。他の一実施例において、セグメントは、係数のカバーグループであり、例えば、正方形、長方形などの形状をしている。
【００７２】
区分が（例えば、セグメントサイズ及び形状サイズによって）選定された後、上述の大域的スケール選択の場合と同じアプローチが区分のセグメントＳ毎に適用される。その結果として、各Ｓ（ｉ）は、表示スケールＬｄｉｓｐｌａｙ（ｉ）が割当てられる。パターン認識の観点では、結果は、セグメントの（Ｌｍａｘ−Ｌｍｉｎ）−クラスラベリングである。
【００７３】
図１８Ａは、所与の表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。図１８Ａを参照するに、処理ロジックは画像を受け取る（処理ステップ１８０１）。処理ロジックは、次に、画像のウェーブレット表現から低解像度画像を作製し、このとき、低解像度画像のサイズは、画像の内容と、低解像度画像を表示する表示装置の物理特性と、に基づいて選択される（処理ステップ１８０２）。作製処理の一部として、処理ロジックは、画像をセグメントに区分する（処理ステップ８０３）。処理ロジックは、次に、各セグメントをある回数ダウンサンプリングする（処理ステップ１８０４）。セルのダウンサンプリングは画像のダウンサンプリングと同じ方法で実行される。
【００７４】
一実施例において、特定の表示スケール（例えば、Ｌｄｉｓｐｌａｙ＝２）と関連した画像の一部（例えば、セグメント）だけが表示される。選択されたセグメントは、連結した成分にグループ分けされるか、又は、組み込まれる。例えば、殆どの画像表示装置の場合、画像表示装置は矩形状であるため、画像情報の矩形状の表示が好まれる。多数のアプローチを利用して、ｍ−クラスラベリング結果に基づいて矩形を選択することができる。一実施例では、Ｌｄｉｓｐｌａｙ＝２の全てのセグメントを収容する最大境界ボックスが選定される。この実施例は、ボックスに対する孤立した地帯が非常に大きくなる可能性がある点で不利である。他の一実施例では、以下のような比Ｒ（２）：
Ｒ（２）＝μ（Ｌｄｉｓｐｌａｙ＝２の矩形内のセグメント）／μ（Ｌｄｉｓｐｌａｙ≠２の矩形内のセグメント） （１３）
が最大になる矩形を選択することによって、このような影響を回避するアプローチが使用される。ここで、μは式（１２）における指標を表す。このような矩形の一例が図１８Ｂに示されている。他の一実施例で使用されるアプローチは、
Ｒ（ｍ）＝μ（Ｌｄｉｓｐｌａｙ＝ｍの矩形内のセグメント）／μ（Ｌｄｉｓｐ ｌａｙ≠ｍの矩形内のセグメント） （１４）
を最大にする矩形を選択する。
【００７５】
換言すると、大域的スケール選択と局所的スケール選択を組み合わせる（Ｌｍａｘ−Ｌｍｉｎ）−クラスラベリング問題は、結局、以下で詳述される特定アプリケーションにおける圧縮画像に対する設計上の選択の問題である。
【００７６】
ウェーブレットドメインのセルへの区分
ウェーブレットドメインをセルに区分するとき、ウェーブレットドメインはウェーブレットセルに分割される。測定規準Ｍ（ｘ）は、低解像度データポイントのグループＸｍに対する情報内容を示す。
【００７７】
ｘ∈Ｘｍである場合を考える。ｘの情報内容は、解像度レベルｍでサポート内にｘを含むＭ以上の全てのウェーブレットセルレベルのエネルギー若しくはエントロピーの寄与度を計算することからＭ（ｘ）によって計算される。エネルギー若しくはエントロピーは、ウェーブレットセルの解像度とそのサイズに応じてスケーリングされる。コスト関数は、予め記述された形状（例えば、矩形）又は所与のサイズに適合する全てのデータポイントの測定情報内容を合計する。コスト関数の最大出力を生ずるこれらのポイントを選定することにより、特定の解像度での原画像の一部が認識可能な情報を含むサイズの減少した画像に対して選定される。
【００７８】
図１９は、表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。図１９を参照するに、処理ロジックは画像を受け取る（処理ステップ１９０１）。処理ロジックは、次に、画像のウェーブレット表現から低解像度画像を作製し、このとき、低解像度画像のサイズは、画像の内容と、低解像度画像を表示する表示装置の物理特性と、に基づいて選択される（処理ステップ１９０２）。作製処理の一部として、処理ロジックは、例えば、ＪＰＥＧ２０００符号ユニットを使用して、画像をセグメントに区分する（処理ステップ１９０３）。処理ロジックは、次に、選択されたセル内の係数によって記述された画像内容を表示し、ここで、セルはセグメンテーションアルゴリズムによって選択される。より詳しい情報については、本願の優先権主張日と同日の２００２年１月１０日に出願され、本願と同一出願人に譲渡された米国特許出願第０２−０４４４２０号を参照のこと。
【００７９】
図２０は、大域的スケール選択に基づく画像作製処理の一実施例のフローチャートである。処理ステップ２００１で画像データが受け取られる。処理ステップ２００２で、Ｌ−レベルウェーブレット分解におけるウェーブレット係数の重要性を記述するデータは、計算／抽出される。データは、レベルに依存するべきであり、所与の解像度レベルのウェーブレット係数のエネルギー若しくはエントロピーでもよい。処理ステップ２００３において、表示スケールＬｄｉｓｐｌａｙが決定される。
Ｌｄｉｓｐｌａｙ＜Ｌｍｉｎ
であるならば、ＬｄｉｓｐｌａｙはＬｍｉｎと一致するように設定される。
Ｌｄｉｓｐｌａｙ＞Ｌｍａｘ
であるならば、ＬｄｉｓｐｌａｙはＬｍａｘと一致するように設定される。最後に、処理ステップ２００４において、ウェーブレット分解のレベルＬｄｉｓｐｌａｙでのＬＬ成分が表示される。
【００８０】
図２１は、局所的スケール選択に基づく画像作製処理の一実施例のフローチャートである。処理ステップ２１０１において、出力表示用の画像データ、特定用途設計選択範囲、及び、ユーザ嗜好が受け取られる。処理ステップ２１０２において、Ｌ−レベルウェーブレット分解のセルＣへの区分が選択される。処理ステップ２１０３において、Ｌ−レベルウェーブレット分解におけるウェーブレット係数の重要性を記述するデータが計算／抽出される。データは、レベルに依存するべきであり、所与の解像度レベルのウェーブレット係数のエネルギー若しくはエントロピーでもよい。処理ステップ２１０４において、各セルＣ（ｉ）に対して、表示スケールＬｄｉｓｐｌａｙ（ｉ）が決定される。
Ｌｄｉｓｐｌａｙ（ｉ）＜Ｌｍｉｎ
であるならば、Ｌｄｉｓｐｌａｙ（ｉ）はＬｍｉｎと一致するように設定される。
Ｌｄｉｓｐｌａｙ（ｉ）＞Ｌｍａｘ
であるならば、Ｌｄｉｓｐｌａｙ（ｉ）はＬｍａｘと一致するように設定される。処理ステップ２１０５において、同じ表示スケールをもつセルのクラス（Ｌｍｉｎ−Ｌｍａｘクラス）が形成される。処理ステップ２１０６において、形状及びサイズのような特定用途設計選択範囲が考慮され、所与の設計における同じ表示スケールクラスに属する最も良く適合するセルのグループが決定される。最後に、処理ステップ２１０７において、対応したクラスの表示レベルにおける選択されたグルーピングの純粋なＬＬ成分若しくは修正されたＬＬ成分が表示される。
【００８１】
図２２は、大域的スケール選択と局所的スケール選択の組み合わせに基づく画像作製処理の一実施例のフローチャートである。処理ステップ２２０１において、出力表示用の画像データ、特定用途設計選択範囲、及び、ユーザ嗜好が受け取られる。処理ステップ２２０２において、Ｌ−レベルウェーブレット分解におけるウェーブレット係数の重要性を記述するデータが計算／抽出される。データは、レベル及びセルに依存するべきであり、所与の解像度レベルのウェーブレット係数のエネルギー若しくはエントロピーでもよい。処理ステップ２２０３において、表示スケールＬｄｉｓｐｌａｙが決定される。
【００８２】
判定ステップ２２０４において、
【００８３】
【数６】
【００８４】
【数７】
【００８５】
一つの拡張例として、最大化は、予め記述された形状に関して計算可能であるが、可変サイズ、固定サイズのフレキシブル形状、又は、可変サイズのフレキシブル形状について計算してもよい。
【００８６】
このことを数学的に定式化すると次のようになる。
【００８７】
集合Ｘの区分Ｐは、集合ｐ１，ｐ２∈Ｐのｐ１≠ｐ２である全てのペアに対して、
【００８８】
【数８】
【００８９】
【数９】
【００９０】
【数１０】
【００９１】
認識可能な内容を伴う縮小サイズ画像は、出力境界及び出力画像内容によって与えられる。境界は、形状（例えば、矩形）とサイズ（例えば、６８×８０画素）とによって与えられる。境界を画像内容で埋めるため、画像の解像度と、境界を見つけるためのアンカーポイント位置が決定される（例えば、解像度画像Ｘｍにおける座標（１０，２０））。長方形又は正方形のためのアンカーポイントは、左上隅でもよく、円形のためのアンカーポイントは中心でもよい。
【００９２】
第１のケースでは、出力境界の所定の形状及びサイズが与えられた場合、最大化問題は、
【００９３】
【数１１】
【００９４】
【数１２】
【００９５】
第２のケースでは、更に、認識可能な内容を含む縮小サイズ画像のテンプレートのサイズが可変である場合、最大化問題は、
【００９６】
【数１３】
【００９７】
【数１４】
【００９８】
第３のケースでは、出力境界のアンカーポイント、認識可能な内容を含む縮小サイズ画像のテンプレートのサイズ及び形状が可変である場合、最大化問題は、
【００９９】
【数１５】
【０１００】
【数１６】
【０１０１】
このケースでは、ベクトル（Ｌｄｉｓｐｌａｙ，Ａｄｉｓｐｌａｙ，Ｎｄｉｓｐｌａｙ，Ｓｄｉｓｐｌａｙ）は、認識可能な内容を含む縮小サイズ画像を決定する。
【０１０２】
第１のケースにおいて、認識可能な内容を含む固定縮小サイズ画像に対する位置及び解像度の選択は、画像内容及び表示装置に依存する。認識可能な内容境界を含む縮小サイズ画像のサイズ及び形状は、アプリケーション若しくはユーザに依存する。第２のケースでは、位置、解像度及び認識可能な画像サイズを含む縮小サイズが画像が画像内容及び表示装置に依存し、第３のケースでは、認識可能な内容を含む縮小サイズ画像の解像度、サイズ、及び、形状は、画像内容及び表示装置に依存する。
【０１０３】
４次元ベクトル（Ｌｄｉｓｐｌａｙ，Ａｄｉｓｐｌａｙ，Ｎｄｉｓｐｌａｙ，Ｓｄｉｓｐｌａｙ）は、認識可能な内容を含む縮小サイズ画像を決定する。ベクトルのエントリーをベクトル化させることにより、拡張することが可能である。このケースでは、認識可能な内容を含む縮小サイズ画像は、特定の出力境界を含む選択された解像度セグメントの集まりである。これらのセグメントは、これらのセグメントの完全解像度版が、重なり合って、或いは、重なり合い無しに、画像全体を覆うように選定される。これは、マルチステージコラージュと呼ばれる。
【０１０４】
一般的に、画像が与えられると、この方法は、ベクトル（Ｌｄｉｓｐｌａｙ，Ａｄｉｓｐｌａｙ，Ｎｄｉｓｐｌａｙ，Ｓｄｉｓｐｌａｙ）に関する所与の制約条件の組に対して最適サムネイルを作製する。この場合、認識可能な内容を含む縮小サイズ画像は、特別に選択された解像度セグメントの組み合わせである。スカラー及びベクトルの場合、内挿、外挿、ワープ、ぼかしのような後処理が解像度セグメントに適用され得る。
【０１０５】
〔ＪＰＥＧ２０００画像符号器によって作製されたメタデータを使用するスケール選択〕
ＪＰＥＧ２０００（Ｊ２Ｋ）画像符号器によって作製された画像の符号ストリームは、ウェーブレットドメイン画像データを、パケット、符号ブロック、或いは、タイルのような構造的ユニットに並べ替える。これらのユニットは、零ビットプレーン数、又は、単位符号長さのような特徴を含むヘッダ情報を格納する。一実施例において、これらの特徴は、重要性指標Ｍ（例えば、エントロピー）及びコスト関数Ｃｏｓｔを決定するため使用される。ウェーブレットドメイン画像データの区分は、符号ユニット（例えば、符号ブロック）を選定することによって与えられる。これらのデータは、実際の画像データを復号化することなく簡単に入手可能であり、縮小サイズ画像の作製を非常に素早く実現できるようになる。
【０１０６】
Ｊ２Ｋメタデータを使用してスケール選択を実行するため、ウェーブレットドメインのセルへの区分は符号ブロックによって与えられる。画像ドメインはタイルによって与えてもよい。
【０１０７】
大域的スケール選択のため、サブバンドのエントロピーは、サブバンドに含まれる符号ブロックの長さの合計として与えられる。大域的スケール選択と共に説明された上述の指標を適用して、認識可能な内容を含む縮小サイズ画像を計算することができる。
【０１０８】
局所的スケール選択において、画像がタイルで与えられた場合、画像ドメインのセグメントへの区分に関して説明した上述の局所的スケール選択アプローチが使用される。或いは、Ｊ２Ｋメタデータを使用する局所的スケール選択では、ウェーブレットドメインのセルへの区分に関して説明した局所的スケール選択アプローチが使用され、ウェーブレットセルは符号ブロックであり、Ｍは符号ブロックのエントロピーを評価する。
【０１０９】
大域的スケール選択と局所的スケール選択の組み合わせが使用される。例えば、出力境界サイズ及び形状に制約が無い場合、大域的選択が最初に試される。その後、解像度の計算値がレンジｘから外れる場合、局所的スケール選択が開始される。一実施例では、局所的スケール選択は、ある制約条件下（例えば、形状が矩形である。）で開始される。例えば、画像が正方形である場合、大域的スケール選択は正方形を生ずる。大域的スケール選択が巧く作動しないとき、形状は特定のサイズを超えない正方形であるという制約条件下で、局所的スケール選択が適用される。
【０１１０】
以下では、２台の異なる表示装置のため大域的スケール選択と局所的スケール選択を組み合わせた例を説明する。２台の異なる表示装置は、一方がＣＲＴデスクトップ型モニターであり、もう一方がＰＤＡ（携帯情報端末）装置のＬＣＤディスプレイである場合を考える。これらの表示装置の物理特性は、表１に掲載されている通りである。
【０１１１】
【表１】
【０１１２】
【表２】
【０１１３】
〔アプリケーション〕
大域的並びに局所的スケール選択の概念を縮小サイズ画像を作製するため考えられる設計上の選択範囲に組み込む幾つかの方法がある。一般的に、これらの方法は５つのグループに分離される。
【０１１４】
一実施例において、一つの画像セグメントだけの情報を含む画像がこのセグメントの計算された表示スケールでのＬＬ成分が固定サイズの所定の形状（例えば、６８×６８画素の矩形）に適合するように作製される。このようにして。画像は、計算された表示スケールでのセグメントのＬＬ成分を含む。
【０１１５】
図２３は、所与の表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。図２３を参照するに、処理ロジックは画像を受け取る（処理ステップ２３０１）。処理ロジックは、次に、画像のウェーブレット表現から低解像度画像を作製し、このとき、低解像度画像のサイズは、画像の内容と、低解像度画像を表示する表示装置の物理特性と、に基づいて選択される（処理ステップ２３０２）。図２３に示されるように、低解像度画像の作製の一部として、処理ロジックは、画像をある回数ダウンサンプリングする（処理ステップ２３０３）。この回数は、選択されたセグメントが所与の固定サイズを最も良く近似するときの回数である。
【０１１６】
一実施例において、特定のＬＬ解像度レベルＬｄｉｓｐｌａｙでの画像の一つのセグメントだけの情報を含む縮小サイズ画像が作製される。縮小サイズ画像の形状は固定であるが、そのサイズはフレキシブルである。例えば、縮小サイズ画像の形状は、幅と高さの比がある値Ｒの矩形でもよい。縮小サイズ画像は、対象となる比がＲの全ての矩形について最良適合基準を充たすように、関連した解像度における画像セグメントを含む。
【０１１７】
図２４は、所与の表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。図２４を参照するに、処理ロジックは画像を受け取る（処理ステップ２４０１）。処理ロジックは、次に、画像のウェーブレット表現から低解像度画像を作製し、このとき、低解像度画像のサイズは、画像の内容と、低解像度画像を表示する表示装置の物理特性と、に基づいて選択される（処理ステップ２４０２）。図２４に示されるように、低解像度画像の作製の一部として、処理ロジックは、画像をある回数ダウンサンプリングする（処理ステップ２４０３）。この回数は、セグメントの形状が所与の固定形状を最も良く近似するときの回数である。
【０１１８】
一実施例において、特定の解像度での画像の一つのセグメントだけの情報を含む縮小サイズ画像が作製される。縮小サイズ画像の形状及びサイズはフレキシブルである。
【０１１９】
図２５は、所与の表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。図２５を参照するに、処理ロジックは画像を受け取る（処理ステップ２５０１）。処理ロジックは、次に、画像のウェーブレット表現から低解像度画像を作製し、このとき、低解像度画像のサイズは、画像の内容と、低解像度画像を表示する表示装置の物理特性と、に基づいて選択される（処理ステップ２５０２）。図２５に示されるように、低解像度画像の作製の一部として、処理ロジックは、画像をある回数ダウンサンプリングする（処理ステップ２５０３）。この回数は、選択されたセグメントの解像度が所与の固定解像度を最も良く近似するときの回数である。
【０１２０】
一実施例において、画像の幾つかのセグメントを含む縮小サイズ画像が作製され、各セグメントは、その表示レベルにおけるＬＬ成分で表示される（すなわち、マルチスケールコラージュ）。
【０１２１】
一実施例において、画像の幾つかのセグメントを含む縮小サイズ画像が作製される。各セグメントは、表示レベルでのＬＬ成分の値並びに表示されたセグメントの形状に影響を与える後処理がＬＬ成分に対して更に実行され、その表示レベルにおけるＬＬ成分で表示される。このような後処理演算の例には、外挿、ぼかし、定形化、強調、融合、ワーピング、モーフィングなどが含まれる。縮小サイズ画像の設計空間は以下の表３のように抽象化される。
【０１２２】
【表３】
【０１２３】
図２７は、典型的な縮小サイズ画像の設計上の選択範囲の説明図である。一実施例において、選択された画像セグメント２７０１−２７０７は、個別に種々の限度でダウンサンプリングされる。得られたマルチスケールコラージュは、例えば、元のセグメントの対応部分のサイズの２５％のサイズのセグメント２７０８、２７１２及び２７１３を含む。セグメント２７０９及び２７１０は、例えば、元のセグメントの対応部分のサイズの５０％である。セグメント２７１４は、元のセグメントの対応部分のサイズの１２．５％である。最後に、セグメント２７１１は、元の対応部分であるセグメント２７０４のサイズの１００％のサイズのまま維持される。
【０１２４】
一実施例において、選択された画像セグメント２７１５−２７２１は、ＬＬ成分からある倍率でアップサンプリングされる。得られたマルチスケールコラージュにおいて、例えば、セグメント２７２２、２７２６及び２７２７は、スケール選択されたＬＬ成分から２倍の倍率でアップサンプリングされる。セグメント２７２３及び２７２４は、スケール選択されたＬＬ成分から１倍の倍率でアップサンプリングされる。セグメント２７２８は、スケール選択されたＬＬ成分から３倍の倍率でアップサンプリングされる。最後に、セグメント２７２５は、元の対応部分であるセグメント２７１８から元のサイズのまま保たれる。
【０１２５】
一実施例において、選択された画像セグメント２７２９−２７３５は、セグメント２７１５−２７２１と同じようにアップサンプリングされる。さらに、得られたマルチスケールコラージュにおける対応した各セグメント２７３６−２７４２は、強調、ワーピング、ぼかしなどの後処理が施される。
【０１２６】
上記の実施例は、デジタルカメラディスプレイ、デジタル写真アルバムソフトウェア、画像ブラウジング、ビデオ要約、ページレイアウト、及び、ウェブページ設計に適用され得る。このようなアプリケーションにおいて、表示レンジパラメータＬｍｉｎ及びＬｍａｘは、一実施例では、ユーザによって設定され、縮小サイズ画像作製システムの使用中に調整することができる。一実施例のオペレーティングシステムにおいて、絶対画像解像度のようなパラメータは、ユーザの介入を全く要求することなく、ディスプレイ設置条件から抽出される。上記の説明では、ウェーブレット分解に普通に現れる倍率２のダウンサンプリングだけが考慮されている。しかし、当業者には、縮小サイズ画像作製のアプローチは、特定の解像度で選択されたセグメントの内挿又は外挿によって、２の累乗以外のサンプリング比に拡張できることが明らかである。
【０１２７】
図２８は、所与の表示装置に表示したときに視覚的に認識できる画像表現を計算する装置の一実施例の構成図である。装置２８０１は、画像を受け取る受信ユニット２８０２と、受信ユニット２８０２に接続された処理ユニット２８０３と、を含む。処理ユニット２８０３は、画像のウェーブレット表現から低解像度画像を作製する。低解像度画像のサイズは、低解像度画像を表示させるため、画像の内容と、表示装置（図示せず）の物理特性と、を補償するように選択される。一実施例において、画像のウェーブレット表現から低解像度画像を作製するため、処理ユニット２８０３は、低解像度画像を表示装置上で完全に見えるようにするために十分な回数で画像をダウンサンプリングする。一実施例において、画像のウェーブレット表現から低解像度画像を作製するため、処理ユニット２８０３は、画像内の粗い構造と画像内の細かい構造の比に比例的に依存する回数で、画像をダウンサンプリングする。一実施例において、画像のウェーブレット表現から低解像度画像を作製するため、処理ユニット２８０３は、係数から雑音を除去する。一実施例において、画像のウェーブレット表現から低解像度画像を作製するため、処理ユニット２８０３は、重要な特徴のクラス内のウェーブレット係数と，重要でない特徴のクラス内のウェーブレット係数との比が最高になる回数で、画像をダウンサンプリングする。一実施例において、画像のウェーブレット表現から低解像度画像を作製するため、処理ユニット２８０３は、セグメントのサイズが所与の固定サイズを最も良く近似する回数で、画像のセグメントをダウンサンプリングする。一実施例において、画像のウェーブレット表現から低解像度画像を作製するため、処理ユニット２８０３は、セグメントの形状が所与の固定形状を最も良く近似する回数で、画像のセグメントをダウンサンプリングする。一実施例において、画像のウェーブレット表現から低解像度画像を作製するため、処理ユニット２８０３は、セグメントの解像度が所与の固定解像度を最も良く近似する回数で、画像のセグメントをダウンサンプリングする。一実施例において、画像のウェーブレット表現から低解像度画像を作製するため、処理ユニット２８０３は、対象の直径のドット数が少なくとも最小可視対象直径のドット数と同じ大きさになる回数で、画像をダウンサンプリングする。一実施例において、画像のウェーブレット表現から低解像度画像を作製するため、処理ユニット２８０３は、重要性指標の増加から重要性指標の減少へ傾向が変化する回数で、画像をダウンサンプリングする。一実施例において、画像のウェーブレット表現から低解像度画像を作製するため、処理ユニット２８０３は、画像をセルセグメントに区分し、セグメントをダウンサンプリングする。一実施例において、画像をセルに区分するため、処理ユニット２８０３は、ＪＰＥＧ２０００符号ユニットにより画像を区分する。
【０１２８】
上記の技術は、カラーに拡張することができる。カラー画像の場合、これらの全技術は、あるクロマティックバンド（例えば、Ｌ＊ｉｎＣＩＥＬ＊ｕｖ、ＹｉｎＹｕｖ、或いは、ｓＲＧＢのＧ）のうちの一つ、一部、或いは、全部に対して使用され得る。二つ以上のクロマティックバンドが使用される場合、結果を合成するための技術が使用される。また、上記の技術は、時間（例えば、動画、ビデオ）に拡張することができる。このような場合、対象は、サムネイルを追跡するため識別され、及び／又は、キーフレームの所在が見つけられ、次に、処理される。
【０１２９】
〔コンピュータシステムの例〕
図２９は、上記の演算うちの一つ以上の演算を実行するコンピュータシステムのブロック図である。図２９を参照するに、コンピュータシステム２９００は、典型的なクライアント２９５０若しくはサーバー２９００のコンピュータシステムを含む場合もある。コンピュータシステム２９００は、情報を通信するための通信機構若しくはバス２９１１と、バス２９１１に接続され情報を処理するプロセッサ２９１２と、を含む。プロセッサ２９１２は、例えば、Pentium（登録商標）、PowerPC（登録商標）などのマイクロプロセッサを具備するが、これらのマイクロプロセッサに限定されるものではない。
【０１３０】
システム２９００は、バス２９１１に接続され、情報と、プロセッサ２９１２によって実行される命令とを保持するランダム・アクセス・メモリ（ＲＡＭ）、或いは、その他のダイナミック記憶装置２９０４（メインメモリと呼ばれる）を更に具備する。メインメモリ２９０４は、プロセッサ２９１２による命令の実行中に、一時的な値、或いは、その他の中間情報を保持するためにも使用される。
【０１３１】
コンピュータシステム２９００は、バス２９１１に接続され、プロセッサ２９１２用のスタティック情報及び命令を保持するリード・オンリ・メモリ（ＲＯＭ）及び／又はその他のスタティック記憶装置２９０６と、磁気ディスク若しくは光ディスクと対応したディスクドライブのようなデータ記憶装置２９０７と、を更に具備する。データ記憶装置２９０７は、バス２９１１に接続され、情報及び命令を保持する。
【０１３２】
コンピュータシステム２９００は、バス２９１１に接続され情報をコンピュータユーザへ表示する、陰極線管（ＣＲＴ）若しくは液晶ディスプレイ（ＬＣＤ）のような表示装置２９２１にも接続される。英数字及びその他のキーを含む英数字入力装置２９２２は、バス２９１１に接続され、情報及びコマンド選択をプロセッサ２９１２へ通信する。補助ユーザ入力装置は、マウス、トラックボール、スタイラスペン、若しくは、カーソル方向キーのようなカーソル制御器２９２３であり、方向情報及びコマンド選択をプロセッサ２９２１へ通信し、表示装置２９２１上のカーソル移動を制御する。
【０１３３】
バス２９１１に接続された別の装置は、ハードコピー装置２９２４であり、命令、データ、若しくは、その他の情報を、用紙のような媒体、若しくは、同じようなタイプの媒体に印刷するため使用される。更に、スピーカー及び／又はマイクロホンのようなサウンド録音及び再生装置がバス２９１１へ随意的に接続され、コンピュータシステム２９００とのオーディオインタフェースを実現する。バスに接続されるその他の装置には、電話機又はハンドヘルド・パーム型装置と通信するための有線／無縁通信機器２９２５が含まれる。
【０１３４】
尚、コンピュータシステム２９００及び関連したハードウェアのコンポーネントの一部若しくは全部が本発明で使用できる。しかし、これらのコンポーネントの一部若しくは全部を含む他のコンピュータシステムの構成もあり得ることが認められる。
【０１３５】
以上の説明から、本発明の多数の代替及び変更が当業者に明らかになるであろう。しかし、例示のために解説され、図示された具体的な実施例は、本発明を制限することを意図していないことに注意する必要がある。したがって、多数の実施例の詳細の説明は、本発明に不可欠であると考えられる事項だけが記載された請求項に挙げられた事項の範囲を制限することを意図したものではない。
【図面の簡単な説明】
【図１】表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。
【図２】表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。
【図３】典型的なウェーブレット分解の説明図である。
【図４】表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。
【図５】多数のサンプリング係数（表示スケール）の説明図である。
【図６】表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。
【図７】表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。
【図８】表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。
【図９】表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。
【図１０】表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。
【図１１】表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。
【図１２】表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。
【図１３】表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。
【図１４】表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。
【図１５】二つの例示的な画像に対し表示装置に表示したときに視覚的に認識できる画像表現を計算するアプローチの結果の説明図である。
【図１６】表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。
【図１７】表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。
【図１８Ａ】表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。
【図１８Ｂ】選択された矩形の一例の説明図である。
【図１９】表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。
【図２０】大域的スケール選択に基づく画像作製処理の一実施例のフローチャートである。
【図２１】局所的スケール選択に基づく画像作製処理の一実施例のフローチャートである。
【図２２】大域的スケール選択と局所的スケール選択の組み合わせに基づく画像作製処理の一実施例のフローチャートである。
【図２３】表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。
【図２４】表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。
【図２５】表示装置に表示したときに視覚的に認識できる画像表現を計算する処理の一実施例のフローチャートである。
【図２６】設計上の選択の例の説明図である。
【図２７】付加的な設計上の選択の例の説明図である。
【図２８】表示装置に表示したときに視覚的に認識できる画像表現を計算する装置の一実施例のブロック図である。
【図２９】コンピュータシステムの一例のブロック図である。
【図３０】ダウンサンプリングの回数と重要性指標の関係を示す図である。
Claims (23)
- 表示装置に表示するための低解像度画像データを画像データから作成する低解像度画像データ作成方法であって、
画像データを受け取る受信ステップと、
前記受信ステップで受信した画像データのウェーブレット表現に含まれるウェーブレット係数と、前記表示装置の物理的特性とに基づいて、ダウンサンプリング回数を決定するダウンサンプリング回数決定ステップと、
前記画像データのウェーブレット表現を、前記ダウンサンプリング回数決定ステップで決定されたダウンサンプリング回数、ダウンサンプリングして低解像度画像データを作成する作成ステップと
からなる低解像度画像データ作成方法。 - 前記ダウンサンプリング回数決定ステップは、
前記表示装置の物理的特性から前記ダウンサンプリング回数の上限と下限とを決定し、
当該ダウンサンプリング回数の上限と下限との間の範囲内のウェーブレット分解レベルのウェーブレット係数に基づいて、前記ダウンサンプリング回数を決定すること
を特徴とする請求項１に記載の低解像度画像データ作成方法。 - 前記ダウンサンプリング回数は、前記ダウンサンプリング回数の上限と下限との範囲に含まれること、
を特徴とする請求項２に記載の低解像度画像データ作成方法。 - 前記ダウンサンプリング回数決定ステップは、
前記ウェーブレット係数から算出される重要性指標に基づいて前記ダウンサンプリング回数を決定すること
を特徴とする請求項２又は３に記載の低解像度画像データ作成方法。 - 前記重要性指標は、
それぞれの前記ウェーブレット分解レベルにおける、選択されたサブバンドのウェーブレット係数から算出されたエネルギーであり、
前記ダウンサンプリング回数は、ウェーブレット分解レベルに応じて、前記算出したエネルギーが増加する傾向から減少する傾向に変化するときのウェーブレット分解レベルに基づいて決定されること
を特徴とする請求項４に記載の低解像度画像データ作成方法。 - 前記ダウンサンプリング回数決定ステップは、
前記受信ステップで受信した画像データのウェーブレット表現に含まれるウェーブレット係数の、重要係数と非重要係数の比に基づいて、前記ダウンサンプリング回数を決定すること
を特徴とする請求項２又は３に記載の低解像度画像データ作成方法。 - 前記重要係数と非重要係数は、
各ウェーブレット係数を第１の閾値と比較することにより判定されること
を特徴とする請求項６に記載の低解像度画像データ作成方法。 - 前記ダウンサンプリング回数は、
各ウェーブレット分解レベルにおける前記重要係数と非重要係数の比を第２の閾値と比較することにより決定されること
を特徴とする請求項６又は７に記載の低解像度画像データ作成方法。 - 前記重要係数と非重要係数の比は、ウェーブレット分解レベルごとに算出され、
前記ダウンサンプリング回数は、前記重要係数と非重要係数の比が最高になるときのウェーブレット分解レベルに基づき決定されること
を特徴とする請求項６又は７に記載の低解像度画像データ作成方法。 - ウェーブレット分解レベルｍのレベルにおける重要係数と非重要係数の比が前記第２の閾値より小さい場合、又は、レベルｎ≧ｍのレベルにおける重要係数と非重要係数の比が前記第２の閾値よりも小さい場合、レベルｍの前記重要係数と非重要 係数の比の費用関数はゼロにされ、
ウェーブレット分解レベルｍのレベルにおける重要係数と非重要係数の比が前記第２の閾値より大きく、且つ、レベルｎ≧ｍのレベルにおける重要係数と非重要係数の比が前記第２の閾値よりも大きい場合、レベルｍの前記重要係数と非重要係数の比の費用関数はレベルｍの前記重要係数と非重要係数の比の値にされること
を特徴とする請求項８に記載の低解像度画像データ作成方法。 - 前記表示装置の物理的特性は、１インチ当たりのドット数解像度、絶対画素解像度、コントラスト比、輝度、観察距離、視野角当たりの画素数、及び、利得関数からなる群より選択された少なくとも一つの特性を含む、請求項１乃至１０のいずれか１に記載の低解像度画像データ作成方法。
- 表示装置に表示するための低解像度画像データを画像データから作成する低解像度画像データ作成装置であって、
画像データを受け取る受信ユニットと、
前記受信ユニットに接続された処理ユニットであり、前記受信ユニットが受信した前記画像データのウェーブレット表現に含まれるウェーブレット係数と、前記表示装置の物理的特性とに基づいて、ダウンサンプリング回数を決定し、且つ、前記画像データのウェーブレット表現を、決定されたダウンサンプリング回数、ダウンサンプリングして低解像度画像データを作成する処理ユニットと
を有する低解像度画像データ作成装置。 - 前記処理ユニットは、
前記表示装置の物理的特性から前記ダウンサンプリング回数の上限と下限とを決定し、
当該ダウンサンプリング回数の上限と下限との間の範囲内のウェーブレット分解レベルのウェーブレット係数に基づいて、前記ダウンサンプリング回数を決定すること
を特徴とする請求項１２に記載の低解像度画像データ作成装置。 - 前記ダウンサンプリング回数は、前記ダウンサンプリング回数の上限と下限との範囲に含まれること、
を特徴とする請求項１３に記載の低解像度画像データ作成装置。 - 前記処理ユニットは、
前記ウェーブレット係数から算出される重要性指標に基づいて前記ダウンサンプリング回数を決定すること
を特徴とする請求項１３又は１４に記載の低解像度画像データ作成装置。 - 前記重要性指標は、
それぞれの前記ウェーブレット分解レベルにおける、選択されたサブバンドのウェーブレット係数から算出されたエネルギーであり、
前記処理ユニットは、ウェーブレット分解レベルに応じて、前記算出したエネルギーが増加する傾向から減少する傾向に変化するときのウェーブレット分解レベルに基づいて、前記ダウンサンプリング回数を決定すること
を特徴とする請求項１５に記載の低解像度画像データ作成装置。 - 前記処理ユニットは、
前記受信ユニットが受信した画像データのウェーブレット表現に含まれるウェーブレット係数の、重要係数と非重要係数の比に基づいて、前記ダウンサンプリング回数を決定すること
を特徴とする請求項１３又は１４に記載の低解像度画像データ作成装置。 - 前記重要係数と非重要係数は、
各ウェーブレット係数を第１の閾値と比較することにより判定されること
を特徴とする請求項１７に記載の低解像度画像データ作成装置。 - 前記処理ユニットは、
各ウェーブレット分解レベルにおける前記重要係数と非重要係数の比を第２の閾値と比較することにより、前記ダウンサンプリング回数を決定すること
を特徴とする請求項１７又は１８に記載の低解像度画像データ作成装置。 - 前記処理ユニットは、
前記重要係数と非重要係数の比を、ウェーブレット分解レベルごとに算出し、
前記重要係数と非重要係数の比が最高になるときのウェーブレット分解レベルに基づき、前記ダウンサンプリング回数を決定すること
を特徴とする請求項１７又は１８に記載の低解像度画像データ作成装置。 - 前記処理ユニットは、
ウェーブレット分解レベルｍのレベルにおける重要係数と非重要係数の比が前記第２の閾値より小さい場合、又は、レベルｎ≧ｍのレベルにおける重要係数と非重要係数の比が前記第２の閾値よりも小さい場合、レベルｍの前記重要係数と非重要係数の比の費用関数をゼロにし、
ウェーブレット分解レベルｍのレベルにおける重要係数と非重要係数の比が前記第２の閾値より大きく、且つ、レベルｎ≧ｍのレベルにおける重要係数と非重要係数の比が前記第２の閾値よりも大きい場合、レベルｍの前記重要係数と非重要係数の比の費用関数をレベルｍの前記重要係数と非重要係数の比の値にすること
を特徴とする請求項１９に記載の低解像度画像データ作成装置。 - 前記表示装置の物理的特性は、１インチ当たりのドット数解像度、絶対画素解像度、コントラスト比、輝度、観察距離、視野角当たりの画素数、及び、利得関数からなる群より選択された少なくとも一つの特性を含む、請求項１２乃至２１のいずれか１に記載の低解像度画像データ作成装置。
- コンピュータによって実行されるときに、請求項１乃至１１のいずれか１に記載の低解像度画像データ作成方法をコンピュータに実行させるためのプログラム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US044603 | 2002-01-10 | ||
| US10/044,603 US7095907B1 (en) | 2002-01-10 | 2002-01-10 | Content and display device dependent creation of smaller representation of images |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003242497A JP2003242497A (ja) | 2003-08-29 |
| JP4138459B2 true JP4138459B2 (ja) | 2008-08-27 |
Family
ID=27787397
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002336773A Expired - Fee Related JP4138459B2 (ja) | 2002-01-10 | 2002-11-20 | 低解像度画像作製方法及び装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US7095907B1 (ja) |
| JP (1) | JP4138459B2 (ja) |
Families Citing this family (46)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8605911B2 (en) | 2001-07-10 | 2013-12-10 | Dolby International Ab | Efficient and scalable parametric stereo coding for low bitrate audio coding applications |
| JP3870193B2 (ja) | 2001-11-29 | 2007-01-17 | コーディング テクノロジーズ アクチボラゲット | 高周波再構成に用いる符号器、復号器、方法及びコンピュータプログラム |
| AUPS271002A0 (en) * | 2002-05-31 | 2002-06-20 | Canon Kabushiki Kaisha | Embedding a multiresolution compressed thumbnail image in a compressed image file |
| SE0202770D0 (sv) | 2002-09-18 | 2002-09-18 | Coding Technologies Sweden Ab | Method for reduction of aliasing introduces by spectral envelope adjustment in real-valued filterbanks |
| US7116716B2 (en) | 2002-11-01 | 2006-10-03 | Microsoft Corporation | Systems and methods for generating a motion attention model |
| US7260261B2 (en) * | 2003-02-20 | 2007-08-21 | Microsoft Corporation | Systems and methods for enhanced image adaptation |
| US20050188326A1 (en) * | 2004-02-25 | 2005-08-25 | Triworks Corp. | Image assortment supporting device |
| US8659619B2 (en) * | 2004-03-26 | 2014-02-25 | Intellectual Ventures Fund 83 Llc | Display device and method for determining an area of importance in an original image |
| US7629989B2 (en) * | 2004-04-02 | 2009-12-08 | K-Nfb Reading Technology, Inc. | Reducing processing latency in optical character recognition for portable reading machine |
| US9053754B2 (en) | 2004-07-28 | 2015-06-09 | Microsoft Technology Licensing, Llc | Thumbnail generation and presentation for recorded TV programs |
| US7986372B2 (en) * | 2004-08-02 | 2011-07-26 | Microsoft Corporation | Systems and methods for smart media content thumbnail extraction |
| US7474793B2 (en) * | 2004-09-02 | 2009-01-06 | Hewlett-Packard Development Company, L.P. | Methods for compression using a denoiser |
| US7697827B2 (en) | 2005-10-17 | 2010-04-13 | Konicek Jeffrey C | User-friendlier interfaces for a camera |
| US20070112811A1 (en) * | 2005-10-20 | 2007-05-17 | Microsoft Corporation | Architecture for scalable video coding applications |
| US8180826B2 (en) | 2005-10-31 | 2012-05-15 | Microsoft Corporation | Media sharing and authoring on the web |
| US7773813B2 (en) | 2005-10-31 | 2010-08-10 | Microsoft Corporation | Capture-intention detection for video content analysis |
| US8196032B2 (en) * | 2005-11-01 | 2012-06-05 | Microsoft Corporation | Template-based multimedia authoring and sharing |
| US7599918B2 (en) | 2005-12-29 | 2009-10-06 | Microsoft Corporation | Dynamic search with implicit user intention mining |
| CN100389591C (zh) * | 2006-04-13 | 2008-05-21 | 北京中星微电子有限公司 | 一种对二维数字信号进行缩放的方法 |
| US7859543B2 (en) * | 2006-06-29 | 2010-12-28 | Apple Inc. | Displaying images |
| US7680348B2 (en) * | 2006-07-21 | 2010-03-16 | Xerox Corporation | System and method for compressing and scaling images |
| KR100820678B1 (ko) * | 2006-09-28 | 2008-04-11 | 엘지전자 주식회사 | 디지털 비디오 레코더에서의 데이터 전송장치 및 방법 |
| US7941002B2 (en) * | 2006-12-01 | 2011-05-10 | Hewlett-Packard Development Company, L.P. | Apparatus and methods of producing photorealistic image thumbnails |
| TW200830859A (en) * | 2007-01-12 | 2008-07-16 | Prolific Technology Inc | Image capture apparatus |
| US8583637B2 (en) * | 2007-03-21 | 2013-11-12 | Ricoh Co., Ltd. | Coarse-to-fine navigation through paginated documents retrieved by a text search engine |
| US8584042B2 (en) * | 2007-03-21 | 2013-11-12 | Ricoh Co., Ltd. | Methods for scanning, printing, and copying multimedia thumbnails |
| US8812969B2 (en) | 2007-03-21 | 2014-08-19 | Ricoh Co., Ltd. | Methods for authoring and interacting with multimedia representations of documents |
| US20080235564A1 (en) * | 2007-03-21 | 2008-09-25 | Ricoh Co., Ltd. | Methods for converting electronic content descriptions |
| US20090003712A1 (en) * | 2007-06-28 | 2009-01-01 | Microsoft Corporation | Video Collage Presentation |
| WO2009051900A2 (en) * | 2007-10-17 | 2009-04-23 | Exxonmobil Upstream Research Company | Method to adapt a template dataset to a target dataset by using curvelet representations |
| WO2009070449A1 (en) * | 2007-11-30 | 2009-06-04 | Mitsubishi Electric Research Laboratories, Inc. | Content aware resizing of images and videos |
| US20090179913A1 (en) * | 2008-01-10 | 2009-07-16 | Ali Corporation | Apparatus for image reduction and method thereof |
| US8290285B2 (en) * | 2008-06-23 | 2012-10-16 | Mediatek Inc. | Method and related apparatuses for decoding multimedia data |
| US8040810B2 (en) * | 2008-11-26 | 2011-10-18 | Mitsubishi Electric Research Laboratories, Inc. | Method for routing packets in wireless ad-hoc networks with probabilistic delay guarantees |
| US8331677B2 (en) * | 2009-01-08 | 2012-12-11 | Microsoft Corporation | Combined image and text document |
| US8400473B2 (en) * | 2009-06-24 | 2013-03-19 | Ariel Shamir | Multi-operator media retargeting |
| US8405681B2 (en) * | 2009-06-24 | 2013-03-26 | Ariel Shamir | Image comparison by asymmetric dynamic warping |
| DE102009043705A1 (de) * | 2009-10-01 | 2011-04-07 | Silicon Micro Sensors Gmbh | Verfahren und Kamerasystem zur Erzeugung von Bildern zur Übermittlung an eine externe Steuereinheit |
| JP2012118832A (ja) * | 2010-12-02 | 2012-06-21 | Sony Corp | 情報処理装置、情報処理方法及びプログラム |
| US9271035B2 (en) | 2011-04-12 | 2016-02-23 | Microsoft Technology Licensing, Llc | Detecting key roles and their relationships from video |
| CN102903094B (zh) * | 2011-07-25 | 2015-09-02 | 株式会社理光 | 电子文档栅格化方法和电子文档栅格化装置 |
| CN103067715B (zh) | 2013-01-10 | 2016-12-28 | 华为技术有限公司 | 深度图像的编解码方法和编解码装置 |
| CN103067716B (zh) * | 2013-01-10 | 2016-06-29 | 华为技术有限公司 | 深度图像的编解码方法和编解码装置 |
| CN104717555B (zh) | 2013-12-11 | 2018-01-02 | 华为技术有限公司 | 视频码流的获取方法及装置 |
| US20160085762A1 (en) * | 2014-09-23 | 2016-03-24 | Smoothweb Technologies Ltd. | Multi-Scene Rich Media Content Rendering System |
| KR102331599B1 (ko) * | 2014-12-03 | 2021-11-30 | 엘지전자 주식회사 | 비디오 신호 처리 방법 및 이를 위한 장치 |
Family Cites Families (117)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3506327A (en) | 1964-04-23 | 1970-04-14 | Battelle Development Corp | Wavefront reconstruction using a coherent reference beam |
| US3950103A (en) | 1972-10-27 | 1976-04-13 | Canadian Patents And Development Limited | Method and apparatus to determine spatial distribution of magnitude and phase of electro-magnetic fields especially optical fields |
| DE2640157C2 (de) | 1976-09-07 | 1982-10-07 | Philips Patentverwaltung Gmbh, 2000 Hamburg | Verfahren und Anordnung zum redundanzvermindernden Codieren von Bildern |
| DE2640140C2 (de) | 1976-09-07 | 1982-10-07 | Philips Patentverwaltung Gmbh, 2000 Hamburg | Verfahren und Anordnung zur redundanzvermindernden Bildcodierung |
| US4136954A (en) | 1976-12-29 | 1979-01-30 | Jamieson John A | Imaging apparatus including spatial-spectral interferometer |
| US4223354A (en) | 1978-08-30 | 1980-09-16 | General Electric Company | Phase corrected raster scanned light modulator and a variable frequency oscillator for effecting phase correction |
| US4393456A (en) | 1981-03-19 | 1983-07-12 | Bell Telephone Laboratories, Incorporated | Digital filter bank |
| EP0070948B1 (fr) | 1981-07-28 | 1985-07-10 | International Business Machines Corporation | Procédé de codage de la voix et dispositif de mise en oeuvre dudit procédé |
| US4437087A (en) | 1982-01-27 | 1984-03-13 | Bell Telephone Laboratories, Incorporated | Adaptive differential PCM coding |
| US4674125A (en) | 1983-06-27 | 1987-06-16 | Rca Corporation | Real-time hierarchal pyramid signal processing apparatus |
| US4599567A (en) | 1983-07-29 | 1986-07-08 | Enelf Inc. | Signal representation generator |
| US4652881A (en) | 1984-01-10 | 1987-03-24 | Lewis Bernard L | Efficient adaptive filter bank |
| FR2577084B1 (fr) | 1985-02-01 | 1987-03-20 | Trt Telecom Radio Electr | Systeme de bancs de filtres d'analyse et de synthese d'un signal |
| US4701006A (en) | 1985-02-20 | 1987-10-20 | Stanford University | Optical-digital hologram recording |
| US4751742A (en) | 1985-05-07 | 1988-06-14 | Avelex | Priority coding of transform coefficients |
| GB2181318B (en) | 1985-10-04 | 1989-12-28 | Sony Corp | Two-dimensional finite impulse response filters |
| US4760563A (en) | 1986-01-09 | 1988-07-26 | Schlumberger Technology Corporation | Seismic exploration using exactly invertible discrete transformation into tau-p space |
| US4929223A (en) | 1986-02-18 | 1990-05-29 | Adolph Coors Company | Packaging alignment system |
| DE3732085A1 (de) | 1986-03-26 | 1989-04-06 | Ant Nachrichtentech | Digitaler filterbaum |
| US4663660A (en) | 1986-06-20 | 1987-05-05 | Rca Corporation | Compressed quantized image-data transmission technique suitable for use in teleconferencing |
| GB8621994D0 (en) | 1986-09-12 | 1986-10-22 | Crosfield Electronics Ltd | Image processing |
| US4868868A (en) | 1986-09-30 | 1989-09-19 | Oki Electric Industry Co., Ltd. | Sub-band speech analyzing and synthesizing device |
| FR2606576B1 (fr) | 1986-11-07 | 1989-02-03 | Labo Electronique Physique | Dispositif pour transmettre des images de television haute definition dans des canaux a bande etroite |
| GB2197766B (en) | 1986-11-17 | 1990-07-25 | Sony Corp | Two-dimensional finite impulse response filter arrangements |
| US4815023A (en) | 1987-05-04 | 1989-03-21 | General Electric Company | Quadrature mirror filters with staggered-phase subsampling |
| US4817182A (en) | 1987-05-04 | 1989-03-28 | General Electric Company | Truncated subband coding of images |
| BE1000643A5 (fr) | 1987-06-05 | 1989-02-28 | Belge Etat | Procede de codage de signaux d'image. |
| EP0294957B1 (en) | 1987-06-09 | 1995-04-12 | Sony Corporation | Motion vector processing in digital television images |
| US4837517A (en) | 1987-07-16 | 1989-06-06 | Schlumberger Technology Corporation | Spatial frequency method and apparatus for investigating earth conductivity with high vertical resolution by induction techniques |
| US4785349A (en) | 1987-10-05 | 1988-11-15 | Technology Inc. 64 | Digital video decompression system |
| US4936665A (en) | 1987-10-25 | 1990-06-26 | Whitney Theodore R | High resolution imagery systems and methods |
| US4881075A (en) | 1987-10-15 | 1989-11-14 | Digital Equipment Corporation | Method and apparatus for adaptive data compression |
| US5156943A (en) | 1987-10-25 | 1992-10-20 | Whitney Theodore R | High resolution imagery systems and methods |
| US4827336A (en) | 1987-12-18 | 1989-05-02 | General Electric Company | Symbol code generation processing from interframe DPCM of TDM'd spatial-frequency analyses of video signals |
| US4858017A (en) | 1988-01-22 | 1989-08-15 | The Trustees Of Columbia University In The City Of New York | System and method for hierarchal image encoding and decoding |
| US5018210A (en) | 1988-03-25 | 1991-05-21 | Texas Instruments Incorporated | Pattern comparator with substage illumination and polygonal data representation |
| US4985927A (en) | 1988-03-25 | 1991-01-15 | Texas Instruments Incorporated | Method of detecting and reviewing pattern defects |
| US5095447A (en) | 1988-03-25 | 1992-03-10 | Texas Instruments Incorporated | Color overlay of scanned and reference images for display |
| US5001764A (en) | 1988-03-25 | 1991-03-19 | Texas Instruments Incorporated | Guardbands for pattern inspector |
| US4897717A (en) | 1988-03-30 | 1990-01-30 | Starsignal, Inc. | Computer-based video compression system |
| EP0339589A3 (en) | 1988-04-28 | 1992-01-02 | Sharp Kabushiki Kaisha | Orthogonal transform coding system for image data |
| US4982283A (en) | 1988-05-06 | 1991-01-01 | General Electric Company | Line-sequential pyramid processing of a plurality of raster-scanned image variables |
| US4899147A (en) | 1988-06-03 | 1990-02-06 | Unisys Corporation | Data compression/decompression apparatus with throttle, start-up and backward read controls |
| US4829378A (en) | 1988-06-09 | 1989-05-09 | Bell Communications Research, Inc. | Sub-band coding of images with low computational complexity |
| US4904073A (en) | 1988-08-10 | 1990-02-27 | Aware, Inc. | Fractal tiling for multiple mirror optical devices |
| FR2637400B1 (fr) | 1988-09-30 | 1990-11-09 | Labo Electronique Physique | Dispositif de traitement ameliore d'un signal echographique |
| US4929946A (en) | 1989-02-09 | 1990-05-29 | Storage Technology Corporation | Adaptive data compression apparatus including run length encoding for a tape drive system |
| FR2643986B1 (fr) | 1989-03-03 | 1991-05-17 | Thomson Csf | Procede d'analyse d'un signal par ondelettes |
| US4918524A (en) | 1989-03-14 | 1990-04-17 | Bell Communications Research, Inc. | HDTV Sub-band coding using IIR filter bank |
| JPH02305182A (ja) | 1989-05-19 | 1990-12-18 | Fuji Photo Film Co Ltd | 画像信号圧縮符号化装置 |
| US5072308A (en) | 1989-06-21 | 1991-12-10 | International Mobile Machines Corporation | Communication signal compression system and method |
| US4987480A (en) | 1989-07-11 | 1991-01-22 | Massachusetts Institute Of Technology | Multiscale coding of images |
| US4974187A (en) | 1989-08-02 | 1990-11-27 | Aware, Inc. | Modular digital signal processing system |
| US5073964A (en) | 1989-08-04 | 1991-12-17 | Aware, Inc. | Signal processing device and method |
| US5241395A (en) | 1989-08-07 | 1993-08-31 | Bell Communications Research, Inc. | Adaptive transform coding using variable block size |
| US5014134A (en) | 1989-09-11 | 1991-05-07 | Aware, Inc. | Image compression method and apparatus |
| US5097261A (en) | 1989-11-22 | 1992-03-17 | International Business Machines Corporation | Data compression for recording on a record medium |
| US5173880A (en) | 1989-12-26 | 1992-12-22 | Exxon Production Research Company | Method of generating seismic wavelets using seismic range equation |
| US5068911A (en) | 1990-02-09 | 1991-11-26 | Aware, Inc. | Method and apparatus for representing an image |
| US4973961A (en) | 1990-02-12 | 1990-11-27 | At&T Bell Laboratories | Method and apparatus for carry-over control in arithmetic entropy coding |
| US5103306A (en) | 1990-03-28 | 1992-04-07 | Transitions Research Corporation | Digital image compression employing a resolution gradient |
| US4999705A (en) | 1990-05-03 | 1991-03-12 | At&T Bell Laboratories | Three dimensional motion compensated video coding |
| DE4016172C1 (ja) | 1990-05-19 | 1991-03-28 | Werner 5900 Siegen De Ackermann | |
| US5101446A (en) | 1990-05-31 | 1992-03-31 | Aware, Inc. | Method and apparatus for coding an image |
| US5128757A (en) | 1990-06-18 | 1992-07-07 | Zenith Electronics Corporation | Video transmission system using adaptive sub-band coding |
| ATE143758T1 (de) | 1990-07-11 | 1996-10-15 | Philips Electronics Nv | Vorrichtung zur ableitung eines kompatiblen zeilensprungfernsehsignals mit geringer auflösung und anderen komponenten eines hochauflösenden zeilensprungfernsehsignals sowie vorrichtung zur wiederherstellung des originalsignals |
| US5148498A (en) | 1990-08-01 | 1992-09-15 | Aware, Inc. | Image coding apparatus and method utilizing separable transformations |
| US5081645A (en) | 1990-08-06 | 1992-01-14 | Aware, Inc. | Novel spread spectrum codec apparatus and method |
| US5128791A (en) | 1990-08-13 | 1992-07-07 | Bell Communications Research, Inc. | Multi-channel HDTV system |
| US5097331A (en) | 1990-08-24 | 1992-03-17 | Bell Communications Research, Inc. | Multiple block-size transform video coding using an asymmetric sub-band structure |
| US5049992A (en) | 1990-08-27 | 1991-09-17 | Zenith Electronics Corporation | HDTV system with receivers operable at different levels of resolution |
| US5049993A (en) | 1990-10-03 | 1991-09-17 | Bell Communications Research, Inc. | Format conversion preprocessing method and circuit |
| GB2252002B (en) | 1991-01-11 | 1995-01-04 | Sony Broadcast & Communication | Compression of video signals |
| JP3012698B2 (ja) | 1991-01-29 | 2000-02-28 | オリンパス光学工業株式会社 | 画像データの符号化装置および符号化方法 |
| US5121191A (en) | 1991-03-15 | 1992-06-09 | Aware, Inc. | Method and apparatus for coding motion pictures |
| US5276525A (en) | 1991-03-22 | 1994-01-04 | Bell Communications Research, Inc. | Two-dimensional block scanning for subband image and video coding |
| US5262958A (en) | 1991-04-05 | 1993-11-16 | Texas Instruments Incorporated | Spline-wavelet signal analyzers and methods for processing signals |
| AU1996292A (en) | 1991-05-17 | 1992-12-30 | Analytic Sciences Corporation, The | Continuous-tone image compression |
| US5235434A (en) | 1991-06-27 | 1993-08-10 | Polaroid Corporation | Method and apparatus for selectively adjusting the brightness of large regions of an image |
| US5349348A (en) | 1991-08-15 | 1994-09-20 | International Business Machines Corporation | Multi-mode data stream generator |
| US5315670A (en) | 1991-11-12 | 1994-05-24 | General Electric Company | Digital data compression system including zerotree coefficient coding |
| US5442458A (en) | 1991-12-18 | 1995-08-15 | Eastman Kodak Company | Method and associated apparatus for encoding bitplanes for improved coding efficiency |
| GB2262854B (en) | 1991-12-24 | 1995-05-24 | Sony Broadcast & Communication | Image processing apparatus |
| US5347479A (en) | 1991-12-27 | 1994-09-13 | Nec Corporation | Small-size wavelet transform apparatus |
| CA2088082C (en) | 1992-02-07 | 1999-01-19 | John Hartung | Dynamic bit allocation for three-dimensional subband video coding |
| US5321776A (en) | 1992-02-26 | 1994-06-14 | General Electric Company | Data compression system including successive approximation quantizer |
| KR0150955B1 (ko) | 1992-05-27 | 1998-10-15 | 강진구 | 비트고정을 위한 영상압축방법과 신장방법 및 그 장치 |
| US5511151A (en) | 1992-06-10 | 1996-04-23 | Canon Information Systems, Inc. | Method and apparatus for unwinding image data |
| US5379355A (en) | 1992-08-24 | 1995-01-03 | Ricoh Corporation | Data encoding using one or more adaptive decision trees |
| US5412741A (en) | 1993-01-22 | 1995-05-02 | David Sarnoff Research Center, Inc. | Apparatus and method for compressing information |
| US5414780A (en) | 1993-01-27 | 1995-05-09 | Immix | Method and apparatus for image data transformation |
| IL104636A (en) | 1993-02-07 | 1997-06-10 | Oli V R Corp Ltd | Apparatus and method for encoding and decoding digital signals |
| US5381145A (en) | 1993-02-10 | 1995-01-10 | Ricoh Corporation | Method and apparatus for parallel decoding and encoding of data |
| US5420891A (en) | 1993-03-18 | 1995-05-30 | New Jersey Institute Of Technology | Multiplierless 2-band perfect reconstruction quadrature mirror filter (PR-QMF) banks |
| GB2281465B (en) | 1993-08-27 | 1997-06-04 | Sony Uk Ltd | Image data compression |
| US5495292A (en) | 1993-09-03 | 1996-02-27 | Gte Laboratories Incorporated | Inter-frame wavelet transform coder for color video compression |
| US5453945A (en) | 1994-01-13 | 1995-09-26 | Tucker; Michael R. | Method for decomposing signals into efficient time-frequency representations for data compression and recognition |
| JP2673778B2 (ja) * | 1994-02-22 | 1997-11-05 | 国際電信電話株式会社 | 動画像の復号化における雑音低減装置 |
| US5541594A (en) | 1994-03-28 | 1996-07-30 | Utah State University Foundation | Fixed quality source coder with fixed threshold |
| US5534925A (en) | 1994-05-02 | 1996-07-09 | Cognitech Inc. | Image compression by optimal reconstruction |
| CA2172559A1 (en) * | 1995-03-24 | 1996-09-25 | Barry H. Schwab | Secure digital interactive system for unique product identification and sales |
| US6141452A (en) * | 1996-05-13 | 2000-10-31 | Fujitsu Limited | Apparatus for compressing and restoring image data using wavelet transform |
| US6055340A (en) * | 1997-02-28 | 2000-04-25 | Fuji Photo Film Co., Ltd. | Method and apparatus for processing digital images to suppress their noise and enhancing their sharpness |
| US5995644A (en) * | 1997-06-30 | 1999-11-30 | Siemens Corporate Research, Inc. | Robust and automatic adjustment of display window width and center for MR images |
| US6707948B1 (en) * | 1997-11-17 | 2004-03-16 | The Regents Of The University Of California | Image compression for memory-constrained decoders |
| US6041143A (en) * | 1998-04-14 | 2000-03-21 | Teralogic Incorporated | Multiresolution compressed image management system and method |
| US6456340B1 (en) * | 1998-08-12 | 2002-09-24 | Pixonics, Llc | Apparatus and method for performing image transforms in a digital display system |
| US6363381B1 (en) * | 1998-11-03 | 2002-03-26 | Ricoh Co., Ltd. | Compressed document matching |
| US6785411B1 (en) * | 1999-08-05 | 2004-08-31 | Matsushita Electric Industrial Co., Ltd. | Image analyzing apparatus and image analyzing method |
| US7236637B2 (en) * | 1999-11-24 | 2007-06-26 | Ge Medical Systems Information Technologies, Inc. | Method and apparatus for transmission and display of a compressed digitized image |
| US20020057385A1 (en) * | 2000-07-14 | 2002-05-16 | Mingui Sun | Data processing for fast transmission of webpages |
| US6975753B2 (en) * | 2000-09-13 | 2005-12-13 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, program for implementing said method, and storage medium therefor |
| JP4612782B2 (ja) * | 2000-09-27 | 2011-01-12 | キヤノン株式会社 | 画像処理装置、及びその方法、並びにプログラム、記憶媒体 |
| AUPR110400A0 (en) * | 2000-10-30 | 2000-11-23 | Canon Kabushiki Kaisha | Image transfer optimisation |
| US6463181B2 (en) * | 2000-12-22 | 2002-10-08 | The United States Of America As Represented By The Secretary Of The Navy | Method for optimizing visual display of enhanced digital images |
| US7024045B2 (en) * | 2001-08-21 | 2006-04-04 | Sun Microsystems, Inc. | Dynamic bandwidth adaptive image compression/decompression scheme |
| US6978211B2 (en) * | 2003-12-08 | 2005-12-20 | Halliburton Energy Services, Inc. | Methods and systems for using wavelet analysis in subterranean applications |
-
2002
- 2002-01-10 US US10/044,603 patent/US7095907B1/en not_active Expired - Fee Related
- 2002-11-20 JP JP2002336773A patent/JP4138459B2/ja not_active Expired - Fee Related
-
2006
- 2006-01-17 US US11/334,175 patent/US7474791B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20070047841A1 (en) | 2007-03-01 |
| US7095907B1 (en) | 2006-08-22 |
| US7474791B2 (en) | 2009-01-06 |
| JP2003242497A (ja) | 2003-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4138459B2 (ja) | 低解像度画像作製方法及び装置 | |
| JP4510069B2 (ja) | 画像処理装置、画像表示装置、画像形成装置、画像処理方法、コンピュータプログラム及び記憶媒体 | |
| US8634644B2 (en) | System and method for identifying pictures in documents | |
| US7613363B2 (en) | Image superresolution through edge extraction and contrast enhancement | |
| USRE43742E1 (en) | Method and system for enhanced detail-in-context viewing | |
| JP5063140B2 (ja) | 書類オブジェクトを選択する方法、装置及び記憶媒体 | |
| JP4427342B2 (ja) | 文書分析情報を使用して文書を再フォーマット化する方法及び製造物 | |
| US8265415B2 (en) | Apparatus and method for transforming image in mobile device | |
| JP4035474B2 (ja) | ウェーブレット係数を用いた非線形画像処理方法、装置 | |
| US8005319B2 (en) | Method for digitally magnifying images | |
| US20040205623A1 (en) | Intelligent virtual paging paradigm | |
| JP2006074770A (ja) | 多重解像度セグメンテーションおよび充填 | |
| US6721458B1 (en) | Artifact reduction using adaptive nonlinear filters | |
| US7305618B2 (en) | Methods for multimedia content repurposing | |
| US20100086207A1 (en) | Content aware image resizing for text and contone images | |
| Li et al. | Example based single-frame image super-resolution by support vector regression | |
| Xie et al. | Feature dimensionality reduction for example-based image super-resolution | |
| Berkner et al. | SmartNails: display-and image-dependent thumbnails | |
| US6927780B2 (en) | Fast text/graphics resolution improvement with chain-code table look-up | |
| JP2013008142A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| Bosch et al. | Anisotropic representations for superresolution of hyperspectral data | |
| Lin et al. | Image super-resolution by estimating the enhancement weight of self example and external missing patches | |
| Safonov et al. | Content-Aware Image Resizing | |
| EP1459552A2 (en) | Methods for multimedia content repurposing | |
| Singhal et al. | Spatially Adaptive Rendering of Images for Display on Mobile Devices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080212 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080414 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080520 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080605 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110613 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110613 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120613 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130613 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |