JP5260425B2 - Image decompression apparatus, method and program - Google Patents

Image decompression apparatus, method and program Download PDF

Info

Publication number
JP5260425B2
JP5260425B2 JP2009165549A JP2009165549A JP5260425B2 JP 5260425 B2 JP5260425 B2 JP 5260425B2 JP 2009165549 A JP2009165549 A JP 2009165549A JP 2009165549 A JP2009165549 A JP 2009165549A JP 5260425 B2 JP5260425 B2 JP 5260425B2
Authority
JP
Japan
Prior art keywords
image
unit
block
compressed
decompression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009165549A
Other languages
Japanese (ja)
Other versions
JP2011023863A (en
Inventor
俊一郎 野中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2009165549A priority Critical patent/JP5260425B2/en
Publication of JP2011023863A publication Critical patent/JP2011023863A/en
Application granted granted Critical
Publication of JP5260425B2 publication Critical patent/JP5260425B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

本発明は、画像データが複数領域に分割されて個別に圧縮処理を施された圧縮画像データの復号化技術に関する。   The present invention relates to a technique for decoding compressed image data in which image data is divided into a plurality of regions and individually compressed.

特許文献1では、JPEGにより圧縮された画像データの可変長復号処理が行われ,直交変換係数が得られる(ステップ31)。また,圧縮画像データの解像度(大きさ)が取得され(ステップ32),目標の縮小画像の解像度と取得した解像度とから,直交変換係数の中から逆変換で用いる一部の直交変換係数が決定される(ステップ33)。決定された直交変換係数が逆変換され,第1の縮小画像が得られる(ステップ34)。得られた第1の縮小画像の解像度が目標となるものでなければ,縮小画像データのデータ量が調整され,目標となる第2の縮小画像が得られる(ステップ35)、とする。   In Patent Document 1, variable length decoding processing is performed on image data compressed by JPEG, and orthogonal transform coefficients are obtained (step 31). Also, the resolution (size) of the compressed image data is acquired (step 32), and some orthogonal transform coefficients to be used in inverse transform are determined from the orthogonal transform coefficients based on the resolution of the target reduced image and the acquired resolution. (Step 33). The determined orthogonal transform coefficient is inversely transformed to obtain a first reduced image (step 34). If the resolution of the obtained first reduced image is not the target, it is assumed that the data amount of the reduced image data is adjusted and the target second reduced image is obtained (step 35).

特許文献2では、圧縮処理されるブロック単位ごとにリスタートインターバルマーカを挿入したデータ構造の圧縮データを作成する。これにより、各ブロックの圧縮データの先頭の直流値は絶対値となり、更に各リスタートインターバルマーカは、アドレス情報のみで(ビット情報なしで)フラッシュROMへの記録位置が特定される。従って、フラッシュROMから任意のブロックを読み出す際にビット位置を指定する必要がなく、また、JPEG伸張ブロックでの伸張時に他のブロックの先頭の直流値を必要としないため、ブロック単独でそのブロックの圧縮データを復号することができる、とする。   In Patent Document 2, compressed data having a data structure in which a restart interval marker is inserted for each block unit to be compressed is created. As a result, the DC value at the head of the compressed data of each block becomes an absolute value, and each restart interval marker specifies the recording position in the flash ROM only with address information (without bit information). Therefore, it is not necessary to specify the bit position when reading an arbitrary block from the flash ROM, and since the DC value at the beginning of another block is not required when decompressing with the JPEG decompression block, the block alone does not require that block. Suppose that the compressed data can be decoded.

特許文献3では、サーバコンピュータ側の画像処理に必要な最小限の解像度に応じた画像データをクライアントコンピュータからサーバコンピュータに対して送信するとする。   In Patent Document 3, it is assumed that image data corresponding to the minimum resolution necessary for image processing on the server computer side is transmitted from the client computer to the server computer.

特許文献4の画像処理装置は、取得された画像情報を複数のブロックに分割する分割部と、分割された複数のブロックの中から文字を含む有意ブロックを選出する有意ブロック選出部と、選出された有意ブロックを複数の圧縮率のいずれかで圧縮し圧縮データを出力する圧縮部と、圧縮データを伸張し伸張画像を出力する伸張部と、複数の圧縮率で画像情報全体を圧縮したときの各予想ファイルサイズを算出する予想ファイルサイズ算出部とを含む。   The image processing apparatus of Patent Document 4 is selected with a dividing unit that divides the acquired image information into a plurality of blocks, a significant block selecting unit that selects a significant block including characters from the plurality of divided blocks. A compression unit that compresses a significant block at one of a plurality of compression ratios and outputs compressed data; a decompression unit that decompresses compressed data and outputs a decompressed image; and when the entire image information is compressed at a plurality of compression ratios An expected file size calculation unit for calculating each expected file size.

図9は、従来のJPEGのデコード処理の概略を示すフローチャートである。JPEGのデコード処理は、ハフマン復号化(S21)、逆量子化(S22)、逆DCT(S23)が伸張ブロックの各々について繰り返される(S24)ことで行われる。1つのブロックの可変長符号には、1個のDC係数と63個のAC係数からなるDCT係数が含まれる。なお、JPEG2000のデコード処理も図9と同様の流れで行われ、ブロック単位のEBCOT(Embedded Block Coding with Optimal Truncation)復号化、逆量子化、および逆離散ウェーブレット変換がそれぞれS21〜S23に相当する。   FIG. 9 is a flowchart showing an outline of a conventional JPEG decoding process. The JPEG decoding process is performed by repeating Huffman decoding (S21), inverse quantization (S22), and inverse DCT (S23) for each decompressed block (S24). A variable length code of one block includes a DCT coefficient including one DC coefficient and 63 AC coefficients. Note that JPEG2000 decoding processing is performed in the same flow as in FIG. 9, and block-by-block EBCOT (Embedded Block Coding with Optimal Truncation) decoding, inverse quantization, and inverse discrete wavelet transform correspond to S21 to S23, respectively.

DC係数の符号は、例えば図10のような符号表で決定される。この符号表自体は、JPEG符号化時に決定され、JPEGファイルのヘッダに記述される。   The sign of the DC coefficient is determined by a code table as shown in FIG. 10, for example. The code table itself is determined at the time of JPEG encoding and is described in the header of the JPEG file.

DC係数は−255〜255までの整数値をとる。この値によって9種のグループに分類される。例えば、DC値が50であれば、当該表に従い、分類が「6」になる。このとき、分類「6」を表す2進数「1110」が符号化され、さらに6ビット分の付加ビットによって分類「6」に含まれる−63〜−32、32〜63の値のうち50であることを指定する。分類「6」には64通りのDC値の可能性が含まれるため、2^6=64で6ビットを上記「1110」の後に付加することでDC値を特定できる。   The DC coefficient takes an integer value from −255 to 255. This value is classified into 9 groups. For example, if the DC value is 50, the classification is “6” according to the table. At this time, the binary number “1110” representing the classification “6” is encoded, and is 50 out of the values of −63 to −32 and 32 to 63 included in the classification “6” by 6 additional bits. Specify that. Since the classification “6” includes the possibility of 64 kinds of DC values, it is possible to specify the DC value by adding 6 bits after the “1110” in 2 ^ 6 = 64.

AC係数については、例えば図11のような符号表で決定される。この表も、JPEG符号化時に決定され、JPEGファイルのヘッダに記述される。   The AC coefficient is determined by a code table as shown in FIG. 11, for example. This table is also determined at the time of JPEG encoding and is described in the header of the JPEG file.

AC係数もDC係数と同様に値によって分類される。分類は、0〜10の値によって表され、付加ビットの数と等しい。AC係数を符号化する際には、係数自体の値と、その係数に先行する0の係数が続く数(ランレングス)を同時に表す点でDC係数と異なる。すなわち、例えば「0、0、4」と続く3つのAC係数を「分類=3、ランレングス=2」に対応するハフマン符号と3ビットの付加ビットで表す。   Similarly to the DC coefficient, the AC coefficient is classified by value. The classification is represented by a value from 0 to 10 and is equal to the number of additional bits. When an AC coefficient is encoded, it differs from the DC coefficient in that it simultaneously represents the value of the coefficient itself and the number (run length) followed by the zero coefficient preceding the coefficient. That is, for example, the three AC coefficients following “0, 0, 4” are represented by a Huffman code corresponding to “classification = 3, run length = 2” and 3 additional bits.

また、このときランレングスが16以上になるときには、ランレングス=16の符号(ZRL)を一旦出力し、次に元々のランレングスから16を減じた数をもとに符号を発行する。   If the run length is 16 or more at this time, a code (ZRL) of run length = 16 is once output, and then a code is issued based on the number obtained by subtracting 16 from the original run length.

復号化する時には、上記表からランレングスと付加ビット数=分類を求め、後続する付加ビットを用いて、AC係数を復号化する。この手順をAC係数が63個復号化されるまで続ける。   At the time of decoding, the run length and the number of additional bits = classification are obtained from the above table, and the AC coefficient is decoded using the subsequent additional bits. This procedure is continued until 63 AC coefficients are decoded.

特開2006−60540号公報JP 2006-60540 A 特開2006−313984号公報JP 2006-313984 A 特開2004−128948号公報JP 2004-128948 A 特開2008−85914号公報JP 2008-85914 A

近年、携帯電話のような小さな表示画面を備えた端末機器の普及に伴い、圧縮記録画像から任意の領域を切り取りつつ、任意の解像度に縮小して画像を当該表示画面に出力したいというニーズがある。   In recent years, with the spread of terminal devices having a small display screen such as a mobile phone, there is a need to output an image on the display screen by reducing the resolution to an arbitrary resolution while cutting out an arbitrary area from the compressed recorded image. .

例えば、新聞のような大きな面積を持つ記録画像を、携帯電話のような小さな端末機器の表示画面で表示する場合を考える。新聞全体を縮小してこの画面全体に表示すると記事が小さすぎて読めないため、読みたい部分を新聞から切り出し、これを拡大し、切り出した部分の記事が読めるように端末機器の表示画面に適した解像度でこれを表示する方が現実的である。   For example, consider a case where a recorded image having a large area such as a newspaper is displayed on a display screen of a small terminal device such as a mobile phone. When the entire newspaper is reduced and displayed on the entire screen, the article is too small to be read, so the part you want to read is cut out from the newspaper and then expanded so that it is suitable for the display screen of the terminal device so that you can read the extracted part It is more realistic to display this at a higher resolution.

この場合、特許文献1のように、一旦圧縮記録画像の全体を復号化した上で表示に必要な部分の画像を切り出すという手順をとると、表示しない部分の復号化が無駄である。   In this case, as in Japanese Patent Application Laid-Open No. H11-260260, if the procedure of once decoding the entire compressed recording image and cutting out the image of the portion necessary for display is performed, decoding of the portion not displayed is useless.

特許文献2では、圧縮処理されるブロック単位ごとにリスタートインターバルマーカを挿入するという処理をそもそも行わなければブロック単独での圧縮データ復号ができない。   In Patent Document 2, unless a process of inserting a restart interval marker is performed for each block unit to be compressed, the compressed data cannot be decoded in a single block.

本発明は、ブロックの単位を示す情報が挿入されない通常の圧縮処理技術に従い、画像データが複数領域に分割されて個別に圧縮処理を施された圧縮画像データから、圧縮記録画像の全体を伸長するという処理を経ることなく、表示、プリントアウト、ネットワーク送信などの各種形態でのデータ出力に必要な部分のみ画像を切り出す技術を提供する。   According to the present invention, in accordance with a normal compression processing technique in which information indicating a block unit is not inserted, the entire compressed recording image is expanded from the compressed image data obtained by dividing the image data into a plurality of regions and individually performing the compression processing. Thus, there is provided a technique for cutting out only an image necessary for data output in various forms such as display, printout, and network transmission without going through the process.

本発明は、ブロック単位で可変長符号化された圧縮画像において出力すべき範囲の指定を受け付ける範囲指定部と、圧縮画像を可変長復号化する復号化部と、範囲指定部が受け付けた範囲に基づいて伸長すべきブロックを抽出する抽出部と、復号化部が可変長復号化した圧縮画像のうち、抽出部の抽出したブロックにのみ伸長を行う伸長部と、を備える画像伸長装置を提供する。   The present invention includes a range designating unit that accepts designation of a range to be output in a compressed image that is variable-length-encoded in units of blocks, a decoding unit that performs variable-length decoding on the compressed image, and a range accepted by the range designating unit. There is provided an image decompression apparatus comprising: an extraction unit that extracts a block to be decompressed based on a decompression unit that decompresses only a block extracted by the extraction unit from a compressed image that has been subjected to variable length decoding by a decoding unit. .

目標解像度を取得する目標解像度取得部と、目標解像度取得部の取得した目標解像度に基づき、抽出部の抽出したブロックから伸長すべき圧縮画像の成分を決定する決定部と、を備え、伸長部は、決定部の決定した圧縮画像の成分を伸長する。   A target resolution acquisition unit that acquires the target resolution, and a determination unit that determines a component of the compressed image to be expanded from the block extracted by the extraction unit based on the target resolution acquired by the target resolution acquisition unit. The components of the compressed image determined by the determination unit are expanded.

画像データはブロック単位の離散周波数領域変換もしくは離散ウェーブレット変換で得られた係数で表現されており、伸長部は、目標解像度取得部の取得した目標解像度に基づき、抽出部の抽出したブロックから伸長すべき周波数成分を決定し、決定された周波数成分の係数に対応する可変長復号化した圧縮画像データ列に逆量子化および逆離散周波数領域変換もしくは逆離散ウェーブレット変換を施すことで伸長する。   The image data is expressed by coefficients obtained by discrete frequency domain transform or discrete wavelet transform in units of blocks, and the decompression unit decompresses from the block extracted by the extraction unit based on the target resolution acquired by the target resolution acquisition unit. The power frequency component is determined, and decompressed by performing inverse quantization and inverse discrete frequency domain transform or inverse discrete wavelet transform on the variable-length-decoded compressed image data sequence corresponding to the determined frequency component coefficient.

係数で表現された圧縮画像データはハフマン符号、EBCOT(Embedded Block Coding with Optimal Truncation)方式または算術符号により可変長符号化されている。   The compressed image data represented by the coefficients is variable-length encoded by Huffman code, EBCOT (Embedded Block Coding with Optimal Truncation) method or arithmetic code.

可変長符号化された画像データはJPEG(Joint Photographic Experts Group)またはJPEG2000画像データを含む。   The variable length encoded image data includes JPEG (Joint Photographic Experts Group) or JPEG2000 image data.

伸長部の伸長した画像データを出力する出力部を備える。   An output unit that outputs the image data expanded by the expansion unit is provided.

出力部は、伸長部の伸長した画像データを表示装置、プリンタ、ネットワークのうち少なくとも1つに出力可能である。   The output unit can output the image data expanded by the expansion unit to at least one of a display device, a printer, and a network.

本発明は、携帯端末から送信要求された画像を配信する画像配信サーバからの要求に応じて画像を画像配信サーバに送信する画像蓄積サーバが、ブロック単位で可変長符号化された圧縮画像において出力すべき範囲の指定を受け付けるステップと、圧縮画像を可変長復号化するステップと、受け付けた範囲に基づいて伸長すべきブロックを抽出するステップと、可変長復号化した圧縮画像のうち、抽出したブロックにのみ伸長を行うステップと、伸長した画像データを画像配信サーバに送信するステップと、を実行する画像伸長方法を提供する。   According to the present invention, an image storage server that transmits an image to an image distribution server in response to a request from an image distribution server that distributes an image requested to be transmitted from a portable terminal outputs a compressed image that is variable-length encoded in units of blocks. A step of accepting designation of a range to be performed; a step of variable-length decoding the compressed image; a step of extracting a block to be decompressed based on the accepted range; and a block extracted from the compressed images subjected to variable-length decoding An image decompression method is provided that performs only the decompression step and the step of transmitting the decompressed image data to an image distribution server.

本発明は、携帯端末から送信要求された画像を画像蓄積サーバに要求し、画像蓄積サーバから画像を受信する画像配信サーバが、ブロック単位で可変長符号化された圧縮画像において出力すべき範囲の指定を受け付けるステップと、圧縮画像を可変長復号化するステップと、受け付けた範囲に基づいて伸長すべきブロックを抽出するステップと、可変長復号化した圧縮画像のうち、抽出したブロックにのみ伸長を行うステップと、伸長した画像データを携帯端末に送信するステップと、を実行する画像伸長方法を提供する。   The present invention requests an image storage server for an image requested to be transmitted from a mobile terminal, and the image distribution server that receives the image from the image storage server has a range to be output in a compressed image that is variable-length encoded in units of blocks. A step of accepting a designation; a step of variable-length decoding the compressed image; a step of extracting a block to be decompressed based on the accepted range; and decompressing only the extracted block of the compressed image subjected to variable-length decoding An image decompression method is provided that performs the steps of performing and transmitting the decompressed image data to a mobile terminal.

本発明は、情報処理装置が、ブロック単位で可変長符号化された圧縮画像において出力すべき範囲の指定を受け付けるステップと、圧縮画像を可変長復号化するステップと、受け付けた範囲に基づいて伸長すべきブロックを抽出するステップと、可変長復号化した圧縮画像のうち、抽出したブロックにのみ伸長を行うステップと、を実行する画像伸長方法を提供する。   The present invention relates to a step in which an information processing device accepts designation of a range to be output in a compressed image that has been variable-length encoded in units of blocks, a step of variable-length decoding the compressed image, and decompression based on the accepted range There is provided an image decompression method for performing a step of extracting a block to be performed and a step of decompressing only an extracted block of compressed images subjected to variable length decoding.

上記の画像伸長方法を情報処理装置に実行させるための画像伸長プログラムも本発明に含まれる。   An image decompression program for causing the information processing apparatus to execute the image decompression method is also included in the present invention.

本発明によると、指定された画像範囲の出力(表示、ネットワーク送信、印刷など)に必要な画像のブロックだけが伸長されるので、画像伸長処理が簡略化され、必要な範囲を即座に出力できる。   According to the present invention, only the image blocks necessary for outputting the specified image range (display, network transmission, printing, etc.) are expanded, so that the image expansion process is simplified and the necessary range can be output immediately. .

画像提供システムの概略構成図Schematic configuration diagram of image providing system 携帯端末の構成を例示した図The figure which illustrated the composition of the portable terminal JPEG画像ファイルの構造を示す図Diagram showing the structure of a JPEG image file 伸長処理の概略フローチャートOutline flowchart of decompression processing 圧縮記録画像データの一例を示す図The figure which shows an example of compression recording image data DCT係数の一部の逆変換処理(S7)の詳細フローチャートDetailed flowchart of part of inverse transform processing (S7) of DCT coefficient 画像提供システムの他の構成例(画像蓄積サーバで伸長処理)を示す図The figure which shows the other structural example (decompression processing with an image storage server) of an image provision system 画像提供システムの他の構成例(画像配信サーバで伸長処理)を示す図The figure which shows the other structural example (decompression processing with an image delivery server) of an image provision system JPEGデコード処理の概略を示すフローチャートFlow chart showing outline of JPEG decoding process DC係数の符号表の一例を示す図The figure which shows an example of the code table of DC coefficient AC係数の符号表の一例を示す図The figure which shows an example of the code table of AC coefficient

<第1実施形態>
図1は本発明の好ましい第1実施形態に係る画像提供システムの概略構成を示す。このシステムは、画像蓄積サーバ1、画像配信サーバ2、携帯電話3、プリンタ4を含む。画像蓄積サーバ1と画像配信サーバ2はLANやインターネットなどの各種ネットワークで接続されている。また、画像配信サーバ2と携帯電話3は移動体電話通信網などの各種ネットワークで接続されている。また、携帯電話3とプリンタ4は、赤外線通信などの各種ネットワークで接続されている。
<First Embodiment>
FIG. 1 shows a schematic configuration of an image providing system according to a first preferred embodiment of the present invention. This system includes an image storage server 1, an image distribution server 2, a mobile phone 3, and a printer 4. The image storage server 1 and the image distribution server 2 are connected by various networks such as a LAN and the Internet. The image distribution server 2 and the mobile phone 3 are connected by various networks such as a mobile telephone communication network. The mobile phone 3 and the printer 4 are connected by various networks such as infrared communication.

画像蓄積サーバ1および画像配信サーバ2は、コンピュータで構成され、CPU、メモリ(RAM,ROM)、HDD、通信ユニット、データ入出力回路、表示回路、操作装置などを備える。   The image storage server 1 and the image distribution server 2 are configured by a computer, and include a CPU, a memory (RAM, ROM), an HDD, a communication unit, a data input / output circuit, a display circuit, an operation device, and the like.

画像配信サーバ2が、携帯電話3からの所望の画像の配信要求に基づき、ネットワーク経由で当該画像の配信を画像配信サーバ2に要求すると、画像配信サーバ2はネットワーク経由で当該画像の送信を画像蓄積サーバ1に要求する。   When the image distribution server 2 requests the image distribution server 2 to distribute the image via the network based on the distribution request for the desired image from the mobile phone 3, the image distribution server 2 transmits the image via the network. A request is made to the storage server 1.

画像蓄積サーバ1は、画像配信サーバ2から当該要求を受信すると、要求で示された画像の識別情報(ハイパーリンク、画像ファイル名など)に対応する圧縮記録画像を画像データベース1aから取得し、この画像を画像配信サーバ2に送信する。圧縮記録画像は、JPEG、JPEG2000、MPEG(動画)などの圧縮方式に従い、オリジナル画像データが複数領域に分割されて個別に圧縮処理を施された圧縮画像データである。JPEG圧縮の場合、オリジナル画像データを離散コサイン変換(DCT)し、ビット配分を決定して量子化を行う。ベースライン方式の場合、量子化データをハフマン符号化により符号化して符号化データを得る。JPEG2000圧縮の場合、オリジナル画像データを離散ウェーブレット変換(DWT)し、量子化およびEBCOT方式によるエントロピー符号化(ビットプレーンを単位としたエントロピー符号化)を行う。   When the image storage server 1 receives the request from the image distribution server 2, the image storage server 1 acquires a compressed recording image corresponding to the identification information (hyperlink, image file name, etc.) of the image indicated in the request from the image database 1a. The image is transmitted to the image distribution server 2. The compressed recording image is compressed image data obtained by dividing original image data into a plurality of areas and individually compressing them according to a compression method such as JPEG, JPEG2000, or MPEG (moving image). In the case of JPEG compression, the original image data is subjected to discrete cosine transform (DCT), bit allocation is determined, and quantization is performed. In the case of the baseline method, the quantized data is encoded by Huffman encoding to obtain encoded data. In the case of JPEG2000 compression, original image data is subjected to discrete wavelet transform (DWT), and quantization and entropy coding (entropy coding in units of bit planes) by the EBCOT method are performed.

画像配信サーバ2は、画像蓄積サーバ1から受信した画像を携帯電話3に送信する。携帯電話3は、受信した画像の全体あるいは一部を表示画面211に表示したり、プリンタ4転送したりできる。   The image distribution server 2 transmits the image received from the image storage server 1 to the mobile phone 3. The mobile phone 3 can display all or part of the received image on the display screen 211 or transfer it to the printer 4.

図2は携帯電話3の内部構成を示すブロック図である。この携帯電話3は、CPU230でその全体が制御されるように構成されている。このCPU230には揮発性のメモリであるRAM231、不揮発性のメモリであるROM232、表示画面211を備えた表示部233、操作キー221、書換可能な不揮発性のメモリである書換可能ROM234および電源部235が配備されている。   FIG. 2 is a block diagram showing the internal configuration of the mobile phone 3. The mobile phone 3 is configured so that the whole is controlled by the CPU 230. The CPU 230 includes a RAM 231 that is a volatile memory, a ROM 232 that is a nonvolatile memory, a display unit 233 that includes a display screen 211, an operation key 221, a rewritable ROM 234 that is a rewritable nonvolatile memory, and a power supply unit 235. Is deployed.

ROM232には、CPU230で実行されるプログラム等が記憶されており、また、書換可能ROM234には、画像配信サーバ2からパケット通信によりダウンロードされたプログラムが記憶され、そのROM232や書換可能ROM234に記憶されたプログラムがCPU230で実行されることにより、この携帯電話3の各部の動作が制御される。   The ROM 232 stores a program executed by the CPU 230, and the rewritable ROM 234 stores a program downloaded from the image distribution server 2 by packet communication, and is stored in the ROM 232 or the rewritable ROM 234. When the program is executed by the CPU 230, the operation of each part of the mobile phone 3 is controlled.

RAM231は、CPU230で実行されるプログラムの作業領域として利用される他、この携帯電話3で取り扱われる画像データの画素数の設定値や画像データ等の格納領域として利用される。   The RAM 231 is used not only as a work area for a program executed by the CPU 230 but also as a storage area for setting values of the number of pixels of image data handled by the mobile phone 3 and image data.

表示部233は、表示画面211を有し、CPU230の指示に応じてこの表示画面211にRAM231の画像を表示する。   The display unit 233 has a display screen 211 and displays an image of the RAM 231 on the display screen 211 in accordance with an instruction from the CPU 230.

表示画面211のアスペクト比は任意であり、例えば4:3、16:9である。また表示画面211の解像度は任意であり、例えば320×180、320×240、640×480、1024×768、1280×768、1920×1080などである。表示画面211のアスペクト比および解像度を示す情報はROM232に記憶されている。   The aspect ratio of the display screen 211 is arbitrary, for example, 4: 3, 16: 9. The resolution of the display screen 211 is arbitrary, for example, 320 × 180, 320 × 240, 640 × 480, 1024 × 768, 1280 × 768, 1920 × 1080, and the like. Information indicating the aspect ratio and resolution of the display screen 211 is stored in the ROM 232.

操作キー221は、ユーザによる操作を受けその操作をCPU230に伝える役割りを担っている。操作キー221が操作されると、CPU230は、その操作に応じて各部を制御する。   The operation key 221 has a role of receiving an operation by the user and transmitting the operation to the CPU 230. When the operation key 221 is operated, the CPU 230 controls each unit according to the operation.

電源部235には、電池(図示せず)が装填されその電池からの電力を、CPU230や、そのCPU230からの指令を受けてこの携帯電話の各部に供給する。   The power supply unit 235 is loaded with a battery (not shown), and the power from the battery is supplied to the CPU 230 and each part of the mobile phone in response to a command from the CPU 230.

また、この携帯電話3には、電話機能を担う構成要素として、アンテナ213、送受信部241、信号処理部242、および通話部243が備えられている。この通話部243には、受話口222の内部に配備されたマイクロホン243aと送話口212の内部に配備されたスピーカ243bが含まれている。   In addition, the cellular phone 3 includes an antenna 213, a transmission / reception unit 241, a signal processing unit 242, and a call unit 243 as components that perform a telephone function. The call unit 243 includes a microphone 243 a provided inside the earpiece 222 and a speaker 243 b provided inside the mouthpiece 212.

送受信部241は、アンテナ213での電波の送受信を担う回路要素であり、アンテナ213での電波受信により送受信部241で得られた信号は信号処理部に入力されて信号処理を受けて通話部243のスピーカ243bから音声として出力される。また、通話部243のマイクロホン243aでピックアップされた音声は信号処理部242で信号処理を送受信部241を介してアンテナ213から電波として送信される。   The transmission / reception unit 241 is a circuit element responsible for transmission / reception of radio waves by the antenna 213, and a signal obtained by the transmission / reception unit 241 by reception of radio waves by the antenna 213 is input to the signal processing unit and subjected to signal processing to receive a call unit 243. Are output as sound from the speaker 243b. The voice picked up by the microphone 243 a of the call unit 243 is transmitted as a radio wave from the antenna 213 via the transmission / reception unit 241 for signal processing by the signal processing unit 242.

また、この携帯電話3はパケット通信機能も備えており、アンテナ213および送受信部241を介して受信したパケット信号は、信号処理部242で適切な信号処理を受けた後一旦RAM231に格納され、あるいはダウンロードされたプログラムの場合は書換可能ROM234に記憶され、操作キー221からの指示を受けたCPU230により、そのRAM231内のパケットデータが表示部233の表示画面211に表示され、あるいは書換可能ROMに記憶されたプログラムが実行される。携帯電話3がパケット通信で受信するデータは何でもよく、例えば、圧縮記録画像データ、文字データ、音声データ、プログラムなどが挙げられる。   The mobile phone 3 also has a packet communication function, and packet signals received via the antenna 213 and the transmission / reception unit 241 are temporarily stored in the RAM 231 after being subjected to appropriate signal processing by the signal processing unit 242, or In the case of a downloaded program, it is stored in the rewritable ROM 234, and the packet data in the RAM 231 is displayed on the display screen 211 of the display unit 233 or stored in the rewritable ROM by the CPU 230 that has received an instruction from the operation key 221. The executed program is executed. Any data may be received by the cellular phone 3 by packet communication, and examples thereof include compressed recording image data, character data, voice data, and a program.

操作キー221で作成されたパケット通信文書等はその作成時点ではRAM231に一旦格納され、操作キー221からの送信指示に応じて信号処理部242に送られて送信用に信号処理を受け、送受信部241およびアンテナ213を介して電波として送信される。   The packet communication document or the like created with the operation key 221 is temporarily stored in the RAM 231 at the time of creation, sent to the signal processing unit 242 in response to a transmission instruction from the operation key 221, and subjected to signal processing for transmission. 241 and the antenna 213 are transmitted as radio waves.

さらに、この携帯電話3には、撮影部251、画像処理部252、および赤外線通信部253が備えられている。   Further, the mobile phone 3 is provided with a photographing unit 251, an image processing unit 252, and an infrared communication unit 253.

撮影部251には、撮影レンズ214および撮影素子251aが備えられており、撮影レンズを経由して取り込まれた被写体が撮影素子251aで提示されて画像信号が生成される。この撮影素子251aで得られた画像信号は画像処理部252で処理されてJPEGやJPEG2000やMPEGなどの各種の規格に準拠したデジタル圧縮画像データに変換され、CPU230を介して一旦RAMに格納され操作キー221の操作に応じて表示部233の表示画面211に表示され、あるいは、赤外線通信部253を介してプリンタ4などの外部機器に向けて送信される。また、この赤外線通信部253は、赤外線信号受信機能も備えており、送信した画像データがプリンタ4で受信された場合にプリンタ4から通信されてくる、画像データを受信したことを表わすアクノリッジ信号を受信する。   The photographing unit 251 includes a photographing lens 214 and a photographing element 251a. A subject captured via the photographing lens is presented by the photographing element 251a to generate an image signal. The image signal obtained by the photographing element 251a is processed by the image processing unit 252 and converted into digital compressed image data compliant with various standards such as JPEG, JPEG2000, and MPEG, and is temporarily stored in the RAM via the CPU 230 and operated. It is displayed on the display screen 211 of the display unit 233 according to the operation of the key 221 or transmitted to an external device such as the printer 4 via the infrared communication unit 253. The infrared communication unit 253 also has an infrared signal reception function. When the transmitted image data is received by the printer 4, the infrared communication unit 253 communicates from the printer 4 with an acknowledge signal indicating that the image data has been received. Receive.

これにより、この携帯電話3では、プリンタ4に向けて画像データを送信してから所定時間以内にアクノリッジ信号を受信できたか否かにより、送信したこれらデータがプリンタ4で正しく受信されたか否かが認識することができる。   As a result, in the cellular phone 3, whether or not the transmitted data is correctly received by the printer 4 depends on whether or not the acknowledge signal can be received within a predetermined time after transmitting the image data to the printer 4. Can be recognized.

なお、ここでいう「携帯電話」とは、ノート型パソコンやPDAなどの各種携帯情報端末の一例にすぎない。また、赤外線通信部253を介してプリンタ4に送信する画像は、撮影部251に由来するものに限らず、画像配信サーバ2から送受信部241を介して受信した圧縮記録画像に由来する画像データでもよい。いずれの画像をプリンタ4に送信するかは操作キー221を介して任意に選択できる。   Here, the “mobile phone” is merely an example of various portable information terminals such as a notebook personal computer and a PDA. Further, the image transmitted to the printer 4 via the infrared communication unit 253 is not limited to that derived from the photographing unit 251, but may be image data derived from a compressed recording image received from the image distribution server 2 via the transmission / reception unit 241. Good. Which image is transmitted to the printer 4 can be arbitrarily selected via the operation key 221.

図3は携帯電話3が受信あるいは撮影する圧縮記録画像データの一例であるJPEG画像ファイルの構造を示す。   FIG. 3 shows the structure of a JPEG image file which is an example of compressed recording image data received or photographed by the mobile phone 3.

まず、JPEGデータの開始を示すSOIマーカー(2バイトの特定のデータ列)の後、DQTやDHTなどと呼ばれる圧縮のパラメータなどを表すセグメントがある。セグメントの先頭には、セグメント種類を表すバイトのマーカーの後、2バイトのセグメント長が記載されているため、セグメントのデータが不要であれば読みとばすことも可能である。セグメントの中にはなくてもよいものもある。いくつかのセグメントの後、SOSマーカーがあり、それ以降が画像データ本体となる。   First, after an SOI marker (a specific data string of 2 bytes) indicating the start of JPEG data, there is a segment representing a compression parameter called DQT or DHT. At the beginning of the segment, a 2-byte segment length is described after the byte marker indicating the segment type, so that if the segment data is unnecessary, it can be skipped. Some segments may not be required. After several segments, there is an SOS marker, and the rest is the image data body.

SOSマーカー以降は、MCUと呼ばれるマクロブロック単位で画像データが格納されている。JPEG方式では、MCUは8×8画素単位または16×16画素単位となる。具体的には、SOFセグメントの中に、色数とサンプリング比の記述があり、そこを参照することで画素単位を判定できる。例えば、色数が1のときや色数が3でサンプリング比が4:4:4のときはMCUは8×8画素単位であり、色数が3でサンプリング比が4:2:0のときはMCUは16×16画素単位である。   After the SOS marker, image data is stored in units of macro blocks called MCUs. In the JPEG system, the MCU is 8 × 8 pixel units or 16 × 16 pixel units. Specifically, the number of colors and the sampling ratio are described in the SOF segment, and the pixel unit can be determined by referring to the description. For example, when the number of colors is 1, or when the number of colors is 3 and the sampling ratio is 4: 4: 4, the MCU is 8 × 8 pixel units, and when the number of colors is 3 and the sampling ratio is 4: 2: 0. The MCU is a unit of 16 × 16 pixels.

図3では、よく使われている組み合わせの色数が3でサンプリング比が4:2:0のケースを想定して記述している。このとき、色数はY,Cb,Crの3色であれば、元画像16×16画素のマクロブロックから、Yの8×8画素ブロック4つと、CbとCrをそれぞれサンプリング(または縮小)した8×8画素のブロック2つの計6つのブロックデータでMCUが構成される。   In FIG. 3, description is made assuming a case where the number of colors of a commonly used combination is 3 and the sampling ratio is 4: 2: 0. At this time, if the number of colors is Y, Cb, and Cr, four 8 × 8 pixel blocks of Y and Cb and Cr are sampled (or reduced) from the macroblock of the original image of 16 × 16 pixels, respectively. The MCU is composed of a total of six block data of two 8 × 8 pixel blocks.

個々のブロックのデータでは、低周波成分(左上)から高周波成分(右下)に至るジグザグ順序に沿った0番から63番までの64個のDCT(離散コサイン変換)係数の量子化代表値が記述されている。すなわち64個の各DCT係数は、所定の量子化表に対応する量子化幅あるいは量子化ステップで除算され、その値の少数以下の桁を丸めることで、各DCT係数が量子化されている。   In the data of each block, there are quantized representative values of 64 DCT (discrete cosine transform) coefficients from 0 to 63 in a zigzag order from a low frequency component (upper left) to a high frequency component (lower right). It has been described. That is, each of the 64 DCT coefficients is divided by a quantization width or a quantization step corresponding to a predetermined quantization table, and each DCT coefficient is quantized by rounding the decimal places of the value.

量子化されたDCT係数はハフマン符号などで可変長符号化(エントロピー符号化)されているため、「何バイト後にブロックが終了する」というような形で出力に不要なブロックを読みとばすことはできない。また、ブロックのDCT係数で、ある番号以降のDCT係数が全て0である場合は、EOBマーカーを記述することで、その番号以降のDCT係数を記述しなくて済む。   Since the quantized DCT coefficients are variable-length encoded (entropy encoded) using Huffman code or the like, blocks that are not necessary for output cannot be skipped in the form of “the block ends after”. . Further, when all the DCT coefficients after a certain number are 0 in the block DCT coefficients, it is not necessary to describe the DCT coefficients after that number by describing the EOB marker.

EOBは、ブロック内の後続のDCT係数の量子化代表値は全てゼロであるという意味のコードである。DCTを行って得られるDCT係数テーブルにおいては、左上に画質の劣化が顕在化しやすい低い空間周波数のDCT係数が配置され、右下に向かうほど画質の劣化が顕在化しにくい高い空間周波数のDCT係数が配置される。量子化代表値は、左上から右下に向かってジグザグの順序でエントロピー符号化されることから、この順序がジグザグ順序と呼ばれる。従って、このジグザグ順序の順にエントロピー復号化を行うと、低い空間周波数のDCT係数を表す量子化代表値ほど先に復元される。そして、ゼロの量子化代表値の列の先頭には、EOBが付加される。   EOB is a code meaning that the quantized representative values of the subsequent DCT coefficients in the block are all zero. In the DCT coefficient table obtained by performing DCT, a low spatial frequency DCT coefficient in which deterioration of image quality is likely to be manifested is arranged in the upper left, and a high spatial frequency DCT coefficient in which degradation of image quality is less likely to be apparent toward the lower right. Be placed. Since the quantized representative values are entropy-coded in the zigzag order from the upper left to the lower right, this order is called the zigzag order. Therefore, when entropy decoding is performed in the order of the zigzag order, the quantized representative value representing the DCT coefficient having a lower spatial frequency is restored earlier. Then, EOB is added to the head of the column of zero quantized representative values.

図4は画像蓄積サーバ1のCPUで実行される伸長処理の概略フローチャートを示す。この処理を画像蓄積サーバ1のCPUで実行させるためのプログラムはROMなどの記憶媒体に記憶されている。なお、このプログラムは画像配信サーバ2などのパソコンのCPUで実行することもできる。   FIG. 4 shows a schematic flowchart of decompression processing executed by the CPU of the image storage server 1. A program for causing the CPU of the image storage server 1 to execute this processing is stored in a storage medium such as a ROM. This program can be executed by a CPU of a personal computer such as the image distribution server 2.

S1では、携帯電話3から画像配信サーバ2を介して所望の圧縮記録画像の送信要求を受信する。そして、当該要求に含まれる画像識別情報(ハイパーリンク、ファイル名など)に対応する圧縮画像ファイルをDB1aからRAMに取得する。   In S <b> 1, a request for transmitting a desired compressed recording image is received from the mobile phone 3 via the image distribution server 2. Then, the compressed image file corresponding to the image identification information (hyperlink, file name, etc.) included in the request is acquired from the DB 1a to the RAM.

S2では、RAMに保存された圧縮記録画像データ画像データの出力範囲(新聞記事の一部など)を示す情報の入力を、画像蓄積サーバ1の操作装置、あるいは携帯電話3の操作キー221を介して受け付ける。例えば、操作キー221に含まれる十字キーおよび確定キーの操作情報を携帯電話3から画像蓄積サーバ1に送信することにより、画像データ全体領域から出力したい領域の開始座標および終了座標、例えば矩形の左上の座標と右下の座標の指定を受け付ける。あわせて、画像の最終出力先の選択(表示画面211への出力、プリンタ4への出力あるいは携帯電話3と接続された他の携帯電話などの各種電子機器)を受け付けてもよい。   In S2, information indicating the output range (a part of a newspaper article, etc.) of compressed recorded image data stored in the RAM is input via the operation device of the image storage server 1 or the operation key 221 of the mobile phone 3. And accept. For example, by transmitting the operation information of the cross key and the confirmation key included in the operation key 221 from the mobile phone 3 to the image storage server 1, the start coordinates and end coordinates of the area to be output from the entire image data area, for example, the upper left corner of the rectangle It accepts specification of the coordinates of and the coordinates of the lower right. In addition, selection of the final output destination of the image (output to the display screen 211, output to the printer 4, or various electronic devices such as other mobile phones connected to the mobile phone 3) may be accepted.

S3では、操作キー221などから受け付けた画像データの出力範囲を示す情報に基づいて、圧縮記録画像データから伸長が必要なブロックを抽出する。   In S3, a block that needs to be decompressed is extracted from the compressed recorded image data based on information indicating the output range of the image data received from the operation key 221 or the like.

例えば、図5のような圧縮記録画像データが画像蓄積サーバ1のRAMに保存されているとする。この画像は、15×10個のブロックに分割され、この各ブロックの画像データが各MCUに格納されている。また、出力範囲Zが指定されたとする。この場合、面積最小で出力範囲Zを包含するマクロブロック群である被覆マクロブロック群Zcovを、伸長が必要なブロックとして抽出する。   For example, assume that compressed recording image data as shown in FIG. 5 is stored in the RAM of the image storage server 1. This image is divided into 15 × 10 blocks, and the image data of each block is stored in each MCU. Further, it is assumed that the output range Z is designated. In this case, a covering macroblock group Zcov that is a macroblock group including the output range Z with the minimum area is extracted as a block that needs to be expanded.

一般的には、開始座標をXsおよび終了座標Ysであり、ブロックの一辺がNのときは、X方向について(Xs/N)番目かつY方向について(Ys/N)番目(ただし整数単位で切捨てし、最初のブロックは0番目とする)のブロックBiが抽出開始ブロックとなる。また、出力範囲Zの大きさすなわち目標解像度がXw×Yhのとき、切り取るべき右下端のブロックはX方向について((Xs+Xw−1)/N)番目かつY方向について((Ys+Yh−1)/N)番目のブロックBtとなる。   Generally, when the start coordinates are Xs and the end coordinates Ys, and one side of the block is N, the (Xs / N) th in the X direction and the (Ys / N) th in the Y direction (however, rounded down in integer units) The first block is assumed to be the 0th block). Further, when the size of the output range Z, that is, the target resolution is Xw × Yh, the lower right block to be cut is ((Xs + Xw−1) / N) in the X direction and ((Ys + Yh−1) / N in the Y direction. ) Th block Bt.

なお、圧縮記録画像データはブロック単位で分割されていればよく、本処理の適用範囲はJPEGに限られない。また、本処理は動画および静止画のいずれにも適用できる。   Note that the compressed recording image data only needs to be divided in units of blocks, and the application range of this processing is not limited to JPEG. In addition, this process can be applied to both moving images and still images.

S4では、ハフマン符号表と圧縮に用いた量子化表とを用いて、ハフマン符号化された各ブロックのDCT係数をハフマン復号化し、ブロックごとに1つのDC係数と63個のAC係数を得る。例えば、図10および図11の符号表に基づいて、図9のS21(ハフマン復号化)のみを全てのブロックについて実行すればよい。換言すると、伸長処理すなわち図9のS22(逆量子化)およびS23(逆DCT)は全てのブロックに行うのではなく、必要なブロックにのみ行う。必要なブロックのみの圧縮データ伸長の処理の詳細は後述する。   In S4, the Huffman code table and the quantization table used for compression are used to Huffman-decode the DCT coefficients of each block subjected to Huffman coding to obtain one DC coefficient and 63 AC coefficients for each block. For example, based on the code tables in FIGS. 10 and 11, only S21 (Huffman decoding) in FIG. 9 may be executed for all blocks. In other words, the decompression process, that is, S22 (inverse quantization) and S23 (inverse DCT) in FIG. 9 is not performed on all blocks, but only on necessary blocks. Details of the compressed data decompression process for only the necessary blocks will be described later.

S5〜S8は、特許文献1と同様である。すなわち、S5では、RAMの圧縮画像データの解像度(画素数)をその圧縮画像データが格納されている画像ファイルのヘッダから取得する。   S5 to S8 are the same as in Patent Document 1. That is, in S5, the resolution (number of pixels) of the compressed image data in the RAM is acquired from the header of the image file in which the compressed image data is stored.

S6では、出力先として表示画面211が選択された場合は、携帯電話3のROM232に保存された表示画面211の解像度(画素数)を取得し、これを目標解像度とする。この目標解像度は携帯電話3から画像蓄積サーバ1への画像の送信要求に含まれていてもよい。   In S6, when the display screen 211 is selected as the output destination, the resolution (number of pixels) of the display screen 211 stored in the ROM 232 of the mobile phone 3 is acquired and set as the target resolution. This target resolution may be included in the image transmission request from the mobile phone 3 to the image storage server 1.

この目標解像度に基づいて、被覆マクロブロック群Zcovに含まれる各ブロックのうちIDCT(逆離散コサイン変換)を施すべきDCT係数の周波数成分を決定する。これは特許文献1と同様、縮小率α=目標解像度/オリジナルの圧縮画像データの解像度を計算し、全DCT係数のうち低周波側からジグザグ順に沿ったαの割合に相当する個数のDCT係数を用いて、オリジナル画像のα倍の画像を生成する。例えば、オリジナル画像の3/8の目標解像度で出力範囲Zを出力しようとする場合は、被覆マクロブロック群Zcovに含まれるMCUを構成する各8×8ブロックの左上(低周波数側からジグザグ順に沿った)の3×3個の係数が、逆変換される係数として決定される。   Based on this target resolution, the frequency component of the DCT coefficient to be subjected to IDCT (Inverse Discrete Cosine Transform) is determined among the blocks included in the cover macroblock group Zcov. As in Patent Document 1, the reduction ratio α = target resolution / original compressed image data resolution is calculated, and among all the DCT coefficients, a number of DCT coefficients corresponding to the ratio of α along the zigzag order from the low frequency side are calculated. Use to generate an image that is α times the original image. For example, when the output range Z is to be output at a target resolution of 3/8 of the original image, the upper left of each 8 × 8 block constituting the MCU included in the cover macroblock group Zcov (in zigzag order from the low frequency side) 3) × 3 coefficients are determined as coefficients to be inversely transformed.

なお、出力先としてプリンタが選択された場合は、プリンタ4から印刷解像度を取得し、これを目標解像度とする。   If a printer is selected as the output destination, the print resolution is acquired from the printer 4 and is set as the target resolution.

S7では、S6で決定された周波数成分のDCT係数のみにIDCTを施し、間引き画像データを得る。目標解像度がオリジナル画像の解像度より小さければ、縮小画像データが得られることになる。ただし、携帯電話3の表示画面211は小さいので、携帯電話3から指定される目標解像度に従うと通常は縮小画像データが得られることになるであろう。DCT係数の逆変換は、S3で抽出された被覆マクロブロック群Zcovに含まれる係数のうちS6で決定されたもののみについて部分的に行うのであって、全てのブロックの全てのDCT係数を逆変換するのではない。この点は下記で詳説する。   In S7, IDCT is performed only on the DCT coefficients of the frequency components determined in S6 to obtain thinned image data. If the target resolution is smaller than the resolution of the original image, reduced image data is obtained. However, since the display screen 211 of the mobile phone 3 is small, reduced image data will normally be obtained according to the target resolution specified from the mobile phone 3. The inverse transform of the DCT coefficients is partially performed only on the coefficients determined in S6 among the coefficients included in the cover macroblock group Zcov extracted in S3, and all the DCT coefficients of all blocks are inversely transformed. Not to do. This point will be described in detail below.

S8では、S7で得られた間引き画像データから、S2で指定された出力範囲に相当する部分を切り取った最終出力データを作成する。この最終出力データの大きさが目標解像度と同じでなければその目標とする解像度となるように画像データのデータ量をさらに調整してこれを改めて最終出力データとしてもよい。このデータ量の調整は,たとえば,原画像の周辺画像を算出して拡大,縮小する双三次補間を利用することができる。最終出力データは、画像蓄積サーバ1から画像配信サーバ2を介して携帯電話3に送信される。携帯電話3は受信した最終出力データを表示画面211に表示したり、プリンタ4に送信するなど各種の用途に供することができる。   In S8, final output data is created by cutting out the portion corresponding to the output range specified in S2 from the thinned image data obtained in S7. If the size of the final output data is not the same as the target resolution, the data amount of the image data may be further adjusted so as to be the target resolution, and this may be changed to the final output data. The adjustment of the data amount can use, for example, bicubic interpolation that calculates and enlarges or reduces the peripheral image of the original image. The final output data is transmitted from the image storage server 1 to the mobile phone 3 via the image distribution server 2. The mobile phone 3 can be used for various purposes such as displaying the received final output data on the display screen 211 and transmitting it to the printer 4.

図6は伸長処理のS7(DCT係数の一部の逆変換)の詳細フローチャートを示す。この処理は、画像データ本体を表すビットストリームを可変長復号化(ハフマン復号化)して得られた各MCUの各ブロックのDCT係数のうち、被覆マクロブロック群Zcovに対応するブロックのDCT係数の一部の周波成分にのみIDCTを施す。   FIG. 6 shows a detailed flowchart of S7 of decompression processing (inverse transformation of a part of DCT coefficients). This process includes the DCT coefficients of the blocks corresponding to the covering macroblock group Zcov among the DCT coefficients of each block of each MCU obtained by variable length decoding (Huffman decoding) of the bit stream representing the image data body. IDCT is applied only to some frequency components.

S10では、画像データ本体の当初からジグザグ順に低周波側から高周波側にかけてハフマン復号化された64個分のDCT係数(DC係数1個、AC係数63個)の計数を行うことで1単位分のブロックを識別する。上述のように、S4ではハフマン復号化でブロックごとにDC係数1個、AC係数63個が得られているため、DC係数1個、AC係数63個を計数すれば1単位分のブロックを識別することができる。なお、計数の途中でEOBマーカーが検出された場合は、その時点でDCT係数の計数を打ち切る。   In S10, 64 units of DCT coefficients (one DC coefficient and 63 AC coefficients) Huffman-decoded from the beginning of the image data main body in zigzag order from the low frequency side to the high frequency side are counted to obtain one unit worth. Identify the block. As described above, in S4, one DC coefficient and 63 AC coefficients are obtained for each block by Huffman decoding. Therefore, if one DC coefficient and 63 AC coefficients are counted, one block is identified. can do. If an EOB marker is detected during the counting, the counting of the DCT coefficient is terminated at that time.

S11では、S10で1単位分のブロックとして識別した、64個分のDCT係数(EOBで打ち切った場合は、最低周波数のDCT係数からEOBまでのDCT係数)が被覆マクロブロック群Zcovに含まれるか否かを判断する。   In S11, whether the covered macroblock group Zcov includes 64 DCT coefficients (DCT coefficients from the lowest frequency DCT coefficient to the EOB when censored by EOB) identified as a block of one unit in S10. Judge whether or not.

例えば、色数が3でサンプリング比が4:2:0のときはMCUは16×16画素単位であるから、画像本体データの当初から識別された6つ目までのブロックはMCU(1)、7個目から12個目までのブロックはMCU(2)・・に所属するが、あるブロックが所属するMCUが被覆マクロブロック群Zcovに含まれれば当該ブロックは被覆マクロブロック群Zcovに含まれることになる。よって、識別されたブロックが所属するMCUが被覆マクロブロック群Zcovに含まれるか否かで当該ブロックが被覆マクロブロック群Zcovに含まれるかを判断すればよい。   For example, when the number of colors is 3 and the sampling ratio is 4: 2: 0, the MCU is in a unit of 16 × 16 pixels. Therefore, the sixth block identified from the beginning of the image body data is MCU (1), The seventh to twelfth blocks belong to MCU (2)... If the MCU to which a certain block belongs is included in the covering macroblock group Zcov, the block is included in the covering macroblock group Zcov. become. Therefore, it is only necessary to determine whether the block is included in the cover macroblock group Zcov by determining whether the MCU to which the identified block belongs is included in the cover macroblock group Zcov.

Yesの場合はS12に進む。Noの場合はS10に戻り、すでに識別された1単位分のブロックの最後(最高周波数に位置する64個目のDCT係数、またはEOBの後に続く0のDCT係数の最後)の次のDCT係数から、ジグザグ順に低周波側から高周波側にかけて64個分のDCT係数の計数を行うことで1単位分のブロックを識別する。   In the case of Yes, it progresses to S12. In the case of No, the process returns to S10, from the next DCT coefficient at the end of the already identified block for one unit (the 64th DCT coefficient located at the highest frequency, or the end of the 0 DCT coefficient following EOB). The blocks for one unit are identified by counting 64 DCT coefficients from the low frequency side to the high frequency side in zigzag order.

S12では、被覆マクロブロック群Zcovに含まれると判断された64個分のDCT係数(または最低周波数のDCT係数からEOBまでのDCT係数)につき、特許文献1と同様に、目標解像度に基づいてIDCT(逆離散コサイン変換)を施すべきDCT係数の周波数成分を決定し(S6)、決定された周波数成分のDCT係数にのみ量子化代表値の逆量子化とIDCTを施し、画像データを得る(S7)。   In S12, the IDCT based on the target resolution is applied to the 64 DCT coefficients (or the DCT coefficients from the lowest frequency DCT coefficient to the EOB) determined to be included in the cover macroblock group Zcov based on the target resolution. The frequency component of the DCT coefficient to be subjected to (inverse discrete cosine transform) is determined (S6), and the quantized representative value is subjected to inverse quantization and IDCT only on the determined DCT coefficient of the frequency component to obtain image data (S7). ).

以上の処理の後、S10に戻り、すでに識別された1単位分のブロックの最後(最高周波数に位置する64個目のDCT係数、またはEOBの後に続く0のDCT係数の最後)の次のDCT係数から、ジグザグ順に低周波側から高周波側にかけて64個分のDCT係数の計数を行うことで次の1単位分のブロックを識別することを繰り返す。なお、S12で被覆マクロブロック群Zcovを構成する全てのブロックについて逆量子化とIDCTが施された場合は、S10に戻らず本ループを抜けS8に進む。   After the above processing, the process returns to S10, and the next DCT at the end of the already identified block of one unit (the 64th DCT coefficient located at the highest frequency or the end of the 0 DCT coefficient following EOB) From the coefficient, the next one block is repeatedly identified by counting 64 DCT coefficients from the low frequency side to the high frequency side in zigzag order. If all blocks constituting the covering macroblock group Zcov are subjected to inverse quantization and IDCT in S12, the process returns to S8 without returning to S10.

以上の処理により、ユーザから指定された画像の出力範囲につき、出力先(表示、ネットワーク送信または印刷)での目標解像度の達成に必要なブロックの一部のDCT係数だけに逆量子化とIDCTが施されるので、画像出力処理が簡略化され、必要な範囲を必要な解像度で即座に出力できる。   With the above processing, inverse quantization and IDCT are applied to only a part of the DCT coefficients of the block necessary for achieving the target resolution at the output destination (display, network transmission or printing) for the output range of the image designated by the user. As a result, the image output process is simplified, and the required range can be immediately output at the required resolution.

なお、JPEG2000の場合は、JPEGのハフマン復号化、逆量子化、および離散逆コサイン変換を、それぞれEBCOT復号化、逆量子化、および逆離散ウェーブレット変換と読み替えれば、JPEG2000についても同様に、出力先での目標解像度の達成に必要なブロックの一部の離散ウェーブレット係数だけに逆量子化および逆離散ウェーブレット変換を施すことができる。   In the case of JPEG2000, if JPEG Huffman decoding, inverse quantization, and discrete inverse cosine transform are read as EBCOT decoding, inverse quantization, and inverse discrete wavelet transform, respectively, the output is the same for JPEG2000. Inverse quantization and inverse discrete wavelet transform can be applied only to some discrete wavelet coefficients of a block necessary for achieving the target resolution.

<第2実施形態>
図4および図6の伸長処理の実行主体は画像蓄積サーバ1である必然性はなく、システム構成および用途に応じて変更しうる。図7および図8は画像提供システムの他の構成例を示す。
Second Embodiment
The execution subject of the decompression processing in FIGS. 4 and 6 is not necessarily the image storage server 1, and can be changed according to the system configuration and application. 7 and 8 show other configuration examples of the image providing system.

例えば図7に示すように、画像配信サーバ2が、携帯電話3から任意の圧縮記録画像の指定を受け付けると、当該指定された圧縮記録画像を画像データベース1aから取得して送信するよう画像蓄積サーバ1に要求し、当該要求に応じて画像蓄積サーバ1から送信された当該圧縮記録画像を受信する。画像配信サーバ2は、当該圧縮記録画像に対する任意の出力範囲の指定を携帯電話3から受け付けると、当該圧縮記録画像について図4および図6の伸長処理を施し、得られた画像データを携帯電話3に送信してもよい。   For example, as shown in FIG. 7, when the image distribution server 2 accepts designation of an arbitrary compressed recording image from the mobile phone 3, the image storage server is configured to acquire and transmit the designated compressed recording image from the image database 1a. 1 and receives the compressed recording image transmitted from the image storage server 1 in response to the request. When the image distribution server 2 receives designation of an arbitrary output range for the compressed recorded image from the mobile phone 3, the image distribution server 2 performs the decompression processing of FIGS. 4 and 6 on the compressed recorded image, and transmits the obtained image data to the mobile phone 3. May be sent to.

あるいは図8に示すように、画像配信サーバ2が、携帯電話3から任意の圧縮記録画像の指定を受け付けると、当該指定された圧縮記録画像を画像データベース1aから取得して送信するよう画像蓄積サーバ1に要求し、当該要求に応じて画像蓄積サーバ1から送信された当該圧縮記録画像を受信して携帯電話3に転送する。携帯電話3は、画像配信サーバ2から受信した圧縮記録画像について図5および図6の伸長処理を施し、得られた画像データをプリンタ4に送信してもよい。   Alternatively, as shown in FIG. 8, when the image distribution server 2 receives designation of an arbitrary compressed recording image from the mobile phone 3, the image storage server is configured to acquire and transmit the designated compressed recording image from the image database 1 a. 1, and the compressed recording image transmitted from the image storage server 1 in response to the request is received and transferred to the mobile phone 3. The cellular phone 3 may perform the decompression processing of FIGS. 5 and 6 on the compressed recording image received from the image distribution server 2 and transmit the obtained image data to the printer 4.

いずれの態様でも、ネットワーク送信する画像のデータ量を削減できる。   In any aspect, it is possible to reduce the amount of image data transmitted over the network.

1:画像蓄積サーバ、2:画像配信サーバ、3:携帯電話、4:プリンタ 1: Image storage server, 2: Image distribution server, 3: Mobile phone, 4: Printer

Claims (11)

ブロック単位で可変長符号化された圧縮画像において出力すべき範囲の座標の指定を受け付ける範囲指定部と、
画像の出力先を選択する選択部と、
前記圧縮画像を可変長復号化する復号化部と、
前記範囲指定部が受け付けた範囲の座標と前記選択部の選択した画像の出力先に対応する目標解像度に基づいて伸長すべきブロックを抽出する抽出部と、
前記復号化部が可変長復号化した圧縮画像のうち、前記抽出部の抽出したブロックにのみ伸長を行う伸長部と、
を備える画像伸長装置。
A range designation unit that accepts designation of coordinates of a range to be output in a compressed image that is variable-length encoded in block units;
A selection section for selecting an output destination of the image;
A decoding unit for variable-length decoding the compressed image;
An extraction unit that extracts a block to be expanded based on the coordinates of the range received by the range specification unit and the target resolution corresponding to the output destination of the image selected by the selection unit ;
Of the compressed image decoded by the decoding unit, the decompressing unit that decompresses only the block extracted by the extracting unit;
An image expansion apparatus comprising:
目標解像度を取得する目標解像度取得部と、
前記目標解像度取得部の取得した目標解像度に基づき、前記抽出部の抽出したブロックから伸長すべき圧縮画像の成分を決定する決定部と、
を備え、
前記伸長部は、前記決定部の決定した圧縮画像の成分を伸長する請求項1に記載の画像伸長装置。
A target resolution acquisition unit for acquiring the target resolution;
A determination unit that determines a component of a compressed image to be decompressed from the block extracted by the extraction unit, based on the target resolution acquired by the target resolution acquisition unit;
With
The image decompression apparatus according to claim 1, wherein the decompression unit decompresses a component of the compressed image determined by the determination unit.
前記圧縮画像はブロック単位の離散周波数領域変換もしくは離散ウェーブレット変換で得られた係数で表現されており、
前記伸長部は、前記目標解像度取得部の取得した目標解像度に基づき、前記抽出部の抽出したブロックから伸長すべき周波数成分を決定し、前記決定された周波数成分の係数に対応する可変長復号化した圧縮画像データ列に逆量子化および逆離散周波数領域変換もしくは逆離散ウェーブレット変換を施すことで伸長する請求項2に記載の画像伸長装置。
The compressed image is represented by coefficients obtained by discrete frequency domain transform or discrete wavelet transform in units of blocks,
The expansion unit determines a frequency component to be expanded from the block extracted by the extraction unit based on the target resolution acquired by the target resolution acquisition unit, and performs variable length decoding corresponding to the coefficient of the determined frequency component The image expansion apparatus according to claim 2, wherein the compressed image data sequence is expanded by performing inverse quantization and inverse discrete frequency domain transform or inverse discrete wavelet transform.
前記係数で表現された圧縮画像データはハフマン符号、EBCOT(Embedded Block Coding with Optimal Truncation)方式または算術符号により可変長符号化されている請求項3に記載の画像伸長装置。   4. The image decompression apparatus according to claim 3, wherein the compressed image data expressed by the coefficients is variable length coded by a Huffman code, an EBCOT (Embedded Block Coding with Optimal Truncation) method, or an arithmetic code. 前記可変長符号化された画像データはJPEG(Joint Photographic Experts Group)またはJPEG2000画像データを含む請求項4に記載の画像伸長装置。   5. The image decompression apparatus according to claim 4, wherein the variable length coded image data includes JPEG (Joint Photographic Experts Group) or JPEG2000 image data. 前記伸長部の伸長した画像データを出力する出力部を備える請求項1〜5のいずれかに記載の画像伸長装置。   The image decompression apparatus according to claim 1, further comprising an output unit that outputs image data decompressed by the decompression unit. 前記出力部は、前記伸長部の伸長した画像データを表示装置、プリンタ、ネットワークのうち少なくとも1つに出力可能である請求項6に記載の画像伸長装置。   The image decompression apparatus according to claim 6, wherein the output unit is capable of outputting the image data decompressed by the decompression unit to at least one of a display device, a printer, and a network. 携帯端末から送信要求された画像を配信する画像配信サーバからの要求に応じて前記画像を前記画像配信サーバに送信する画像蓄積サーバが、
ブロック単位で可変長符号化された圧縮画像において出力すべき範囲の座標の指定を受け付けるステップと、
画像の出力先を選択するステップと、
前記圧縮画像を可変長復号化するステップと、
前記受け付けた範囲の座標と前記選択した画像の出力先に対応する目標解像度に基づいて伸長すべきブロックを抽出するステップと、
前記可変長復号化した圧縮画像のうち、前記抽出したブロックにのみ伸長を行うステップと、
前記伸長した画像データを前記画像配信サーバに送信するステップと、
を実行する画像伸長方法。
An image storage server that transmits the image to the image distribution server in response to a request from an image distribution server that distributes an image requested to be transmitted from a portable terminal,
Receiving a specification of coordinates of a range to be output in a compressed image that is variable-length encoded in block units;
Selecting the output destination of the image;
Variable length decoding the compressed image;
Extracting a block to be decompressed based on the coordinates of the accepted range and a target resolution corresponding to the output destination of the selected image ;
Decompressing only the extracted block of the variable length decoded compressed image;
Transmitting the decompressed image data to the image delivery server;
An image decompression method that executes
携帯端末から送信要求された画像を画像蓄積サーバに要求し、前記画像蓄積サーバから前記画像を受信する画像配信サーバが、
ブロック単位で可変長符号化された圧縮画像において出力すべき範囲の座標の指定を受け付けるステップと、
画像の出力先を選択するステップと、
前記圧縮画像を可変長復号化するステップと、
前記受け付けた範囲の座標と前記選択した画像の出力先に対応する目標解像度に基づいて伸長すべきブロックを抽出するステップと、
前記可変長復号化した圧縮画像のうち、前記抽出したブロックにのみ伸長を行うステップと、
前記伸長した画像データを前記携帯端末に送信するステップと、
を実行する画像伸長方法。
An image distribution server that requests an image storage server for an image requested to be transmitted from a mobile terminal and receives the image from the image storage server,
Receiving a specification of coordinates of a range to be output in a compressed image that is variable-length encoded in block units;
Selecting the output destination of the image;
Variable length decoding the compressed image;
Extracting a block to be decompressed based on the coordinates of the accepted range and a target resolution corresponding to the output destination of the selected image ;
Decompressing only the extracted block of the variable length decoded compressed image;
Transmitting the decompressed image data to the mobile terminal;
An image decompression method that executes
情報処理装置が、
ブロック単位で可変長符号化された圧縮画像において出力すべき範囲の座標の指定を受け付けるステップと、
画像の出力先を選択するステップと、
前記圧縮画像を可変長復号化するステップと、
前記受け付けた範囲の座標と前記選択した画像の出力先に対応する目標解像度に基づいて伸長すべきブロックを抽出するステップと、
前記可変長復号化した圧縮画像のうち、前記抽出したブロックにのみ伸長を行うステップと、
を実行する画像伸長方法。
Information processing device
Receiving a specification of coordinates of a range to be output in a compressed image that is variable-length encoded in block units;
Selecting the output destination of the image;
Variable length decoding the compressed image;
Extracting a block to be decompressed based on the coordinates of the accepted range and a target resolution corresponding to the output destination of the selected image ;
Decompressing only the extracted block of the variable length decoded compressed image;
An image decompression method that executes
請求項10に記載の画像伸長方法を情報処理装置に実行させるための画像伸長プログラム。   An image decompression program for causing an information processing apparatus to execute the image decompression method according to claim 10.
JP2009165549A 2009-07-14 2009-07-14 Image decompression apparatus, method and program Expired - Fee Related JP5260425B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009165549A JP5260425B2 (en) 2009-07-14 2009-07-14 Image decompression apparatus, method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009165549A JP5260425B2 (en) 2009-07-14 2009-07-14 Image decompression apparatus, method and program

Publications (2)

Publication Number Publication Date
JP2011023863A JP2011023863A (en) 2011-02-03
JP5260425B2 true JP5260425B2 (en) 2013-08-14

Family

ID=43633570

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009165549A Expired - Fee Related JP5260425B2 (en) 2009-07-14 2009-07-14 Image decompression apparatus, method and program

Country Status (1)

Country Link
JP (1) JP5260425B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5675383B2 (en) * 2011-01-14 2015-02-25 株式会社東芝 Data processing apparatus and data processing method
JP6060523B2 (en) * 2012-05-23 2017-01-18 ブラザー工業株式会社 Program and image processing apparatus

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0583704A (en) * 1991-09-19 1993-04-02 Sony Corp Picture transmitter
JP3108283B2 (en) * 1994-08-29 2000-11-13 三洋電機株式会社 Partial stretching device and method
JPH10294851A (en) * 1997-04-21 1998-11-04 Dainippon Printing Co Ltd Image data processing method
JP3469747B2 (en) * 1997-08-21 2003-11-25 ソニー株式会社 Image reading device
JP2004096695A (en) * 2002-07-10 2004-03-25 Ricoh Co Ltd Image processing apparatus, image display device, program, storage medium, and image processing method
JP4585479B2 (en) * 2006-03-30 2010-11-24 株式会社東芝 Server apparatus and video distribution method
JP4874941B2 (en) * 2007-11-29 2012-02-15 株式会社リコー Image processing apparatus and image processing method

Also Published As

Publication number Publication date
JP2011023863A (en) 2011-02-03

Similar Documents

Publication Publication Date Title
US20050213830A1 (en) Image processing device and method
US7440624B2 (en) Image compression apparatus, image decompression apparatus, image compression method, image decompression method, program, and recording medium
JP4430845B2 (en) Method and system for processing image data
JP2006229538A (en) Image processing system, image processing method, and program therefor
JP2004228717A (en) Image processing method, image processing apparatus, electronic camera apparatus, program, and recording medium
JP2004221836A (en) Image processor, program, storage medium, and code expanding method
JP3680846B2 (en) MOVING IMAGE COMPRESSION DEVICE AND IMAGING DEVICE USING THE SAME
JP2004356850A (en) Expanding apparatus for compressed moving picture and image display apparatus employing the same
US8463062B2 (en) Image transmission apparatus, method, recording medium, image output apparatus and image transmission system including pattern determination unit
US8755621B2 (en) Data compression method and data compression system
JP5260425B2 (en) Image decompression apparatus, method and program
US7372600B2 (en) Color facsimile device with data recompressing capability
JP3633860B2 (en) Image processing apparatus and image processing method
KR100792247B1 (en) System for processing image data and method therefor
JP2018201143A (en) Picture encoder
JP2000278349A (en) Compressed data transmission equipment and recording medium
WO2024078403A1 (en) Image processing method and apparatus, and device
JP2000032458A (en) Image compression method
KR100786413B1 (en) System for processing image data
JP2993212B2 (en) How to combine images
JP2001128043A (en) Picture photographing/accumulating device and picture displaying/printing device
JP2007295319A (en) Image processing apparatus and image forming apparatus equipped therewith
JP2003153011A (en) Apparatus and method of determining compression parameters of image data compression process, storage medium and program
JPH05268455A (en) Picture transmission system
JP5244841B2 (en) Image processing apparatus, image processing method, and image processing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130425

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160502

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5260425

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees