JP4640942B2 - Server device - Google Patents
Server device Download PDFInfo
- Publication number
- JP4640942B2 JP4640942B2 JP2005065789A JP2005065789A JP4640942B2 JP 4640942 B2 JP4640942 B2 JP 4640942B2 JP 2005065789 A JP2005065789 A JP 2005065789A JP 2005065789 A JP2005065789 A JP 2005065789A JP 4640942 B2 JP4640942 B2 JP 4640942B2
- Authority
- JP
- Japan
- Prior art keywords
- encoded data
- resolution
- image
- conversion
- display area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、画像の符号化データをクライアント装置へ送信するサーバ装置に係り、特に、JPEG2000の符号化データのような、符号状態で画像の解像度変換や回転変換が可能な符号化データを扱うサーバ装置に関する。 The present invention relates to a server device that transmits encoded image data to a client device, and in particular, a server that handles encoded data that can be subjected to image resolution conversion and rotation conversion in an encoded state, such as JPEG 2000 encoded data. Relates to the device.
携帯電話のような携帯端末装置へ画像を送信するサーバ装置に関し、携帯端末装置の画面の縦横サイズ関係(縦長又は横長)と、送信しようとする画像の縦横サイズ関係とが一致しない場合に、送信しようとする画像を90度回転し、さらに、画面に画像全体が具合良く収まるように画像を縮小又は拡大してから送信する発明が知られている(特許文献1,2,3参照)。
Regarding a server device that transmits an image to a mobile terminal device such as a mobile phone, if the vertical / horizontal size relationship (vertical or horizontal) of the screen of the mobile terminal device does not match the vertical / horizontal size relationship of the image to be transmitted There has been known an invention in which an image to be rotated is rotated 90 degrees and further transmitted after being reduced or enlarged so that the entire image fits on the screen (see
また、JPEG2000(IS 15444-1)の符号化データを伸長し画面に表示する装置において、表示画面サイズに最も近い画像サイズとなる階層(解像度レベル)まで伸長し、伸長画像に対し必要に応じて変倍処理を施す伸長方法の発明が知られている(特許文献4参照)。 Also, in a device that decompresses JPEG2000 (IS 15444-1) encoded data and displays it on the screen, it decompresses the image to the layer (resolution level) that is closest to the display screen size, and if necessary, decompresses the decompressed image. An invention of an expansion method for performing a scaling process is known (see Patent Document 4).
携帯電話のような携帯端末装置の場合には、装置の向きを容易に90度回転させることができるため、特許文献1,2,3に記載されている発明のように、画面の縦横サイズ関係に画像の縦横サイズ関係を一致させるように画像を90度回転させて送信しても、画像が見にくくなることはない。しかし、画像を受信する側がパソコンのようなクライアント装置の場合には、携帯電話等のようには装置を容易に回転することができないため、90度回転された画像をクライアント装置が受信して表示したのでは極めて見づらいという問題がある。
In the case of a mobile terminal device such as a mobile phone, the orientation of the device can be easily rotated by 90 degrees, so that the vertical and horizontal size relations of the screen are as in the inventions described in
よって、本発明の目的は、画像の符号化データをパソコンのようなクライアント装置へ送信するサーバ装置において、上記の問題をできる限り回避しつつ、クライアント装置の表示領域に画像全体を表示可能にすることにある。 Therefore, an object of the present invention is to allow a server device that transmits encoded data of an image to a client device such as a personal computer to display the entire image in the display area of the client device while avoiding the above problem as much as possible. There is.
請求項1の発明は、クライアント装置より受信した画像送信要求で指定された画像の符号化データ(以下、指定符号化データと記す)を前記クライアント装置へ送信するサーバ装置であって、
前記指定符号化データに対し、符号状態のままで符号を破棄することにより解像度を下げる解像度変換を行う解像度変換手段と、
前記指定符号化データに対し、符号状態のままで画像を90度回転させる回転変換を行う回転変換手段と、
前記指定符号化データに対し、その伸長画像のサイズと前記画像送信要求に含まれる表示領域サイズ情報とから当該伸長画像が前記クライアント装置の表示領域に収まるか否かの判定を行うサイズ判定手段とを有し、
前記指定符号化データに対し、その伸長画像が前記表示領域に収まると前記サイズ判定手段により判定される解像度まで前記解像度変換手段により解像度変換を行い、当該解像度変換後の指定符号化データを前記クライアントへ送信し、
前記解像度変換手段により最低解像度まで解像度変換を行った後の前記指定符号化データについて、その伸長画像が前記表示領域に収まらないと前記サイズ判定手段により判定された場合には、当該最低解像度まで解像度変換後の指定符号化データを前記回転変換手段により回転変換を行った後に前記クライアント装置へ送信することを特徴とするサーバ装置である。
The invention of
Resolution conversion means for performing resolution conversion for reducing the resolution by discarding the code in the code state with respect to the designated encoded data;
Rotation conversion means for performing rotation conversion for rotating the image by 90 degrees in the encoded state with respect to the designated encoded data;
Size determining means for determining whether or not the expanded image fits in the display area of the client device from the size of the expanded image and display area size information included in the image transmission request for the designated encoded data; Have
When the expanded image fits in the display area with respect to the designated encoded data, the resolution conversion means performs resolution conversion up to the resolution determined by the size determining means, and the specified encoded data after the resolution conversion is converted to the client. Send to
For the designated encoded data after the resolution conversion to the minimum resolution by the resolution conversion means, if the size determination means determines that the expanded image does not fit in the display area, the resolution to the minimum resolution The server device is characterized in that the designated encoded data after conversion is subjected to rotation conversion by the rotation conversion means and then transmitted to the client device.
請求項2の発明は、請求項1の発明に係るサーバ装置において、前記最低解像度まで解像度変換後の指定符号化データの回転変換を行った場合に、当該回転変換後の指定符号化データについて、その伸長画像が前記表示領域に収まる否かの判定を前記サイズ判定手段により行い、前記表示領域に収まらないと判定されたときには、その旨の警告メッセージを前記クライアント装置へ送信し、当該警告メッセージに対する了解の旨の前記クライアント装置からの応答を確認後に、当該回転変換後の指定符号化データを前記クライアント装置へ送信することを特徴とする。
The invention of
請求項3の発明は、請求項1又は2の発明に係るサーバ装置において、前記指定符号化データはJPEG2000の符号化データであることを特徴とする。 According to a third aspect of the invention, in the server device according to the first or second aspect of the invention, the designated encoded data is JPEG2000 encoded data.
請求項1,2の発明によれば、サーバ装置からクライアント装置へ、画像の符号化データをクライアント装置の表示領域のサイズに合わせた解像度に解像度変換してから送信することができるため、クライアント装置で伸長した画像の全体を表示領域に表示できる可能性が高い。そして、最低解像度まで解像度変換されても伸長画像が表示領域に収まらない場合以外は符号化データは回転変換されないので、クライアント装置側で画像は正立状態で表示されるため、クライアント装置が携帯電話のようには向きを容易には変えることが困難なパソコンなどである場合にも表示した画像が見やすくなる。最低解像度まで解像度変換されても伸長画像が表示領域に収まらない場合には回転変換した符号化データが送信されるため、例えば縦長画像の符号化データを、表示領域が横長のクライアント装置へ送信する場合などには、画像全体を表示領域に表示できる可能性が高まる。また、符号化データの解像度変換及び回転変換は符号状態で行うため、元の画像サイズが大きい場合でも、特許文献1,2,3に記載の発明のように画像の画素値データに対し回転、変倍を行う方法に比べ一般に処理負荷が軽減される等々の効果を得られる。
According to the first and second aspects of the invention, the encoded image data can be transmitted from the server device to the client device after the resolution is converted to a resolution that matches the size of the display area of the client device. There is a high possibility that the entire image expanded in
本発明のサーバ装置で扱われる画像の符号化データは符号状態で解像度変換と回転変換が可能な階層符号化されたものであり、そのような符号化データの一つがJPEG2000の符号化データである。ここで説明する本発明の好ましい実施の形態においてはJPEG2000の符号化データを扱うので、まずJPEG2000の概要を説明する。 The encoded data of the image handled by the server apparatus of the present invention is hierarchically encoded that can be subjected to resolution conversion and rotation conversion in the encoded state, and one of such encoded data is JPEG2000 encoded data. . Since the preferred embodiment of the present invention described here handles JPEG2000 encoded data, an outline of JPEG2000 will be described first.
JPEG2000の符号化は概ね図7に示すような流れで行われる。まず、画像は矩形のタイルに分割される(分割数≧1)。タイルは圧縮伸長プロセスを実行する際の基本単位となる。各タイルは、輝度・色差のコンポ−ネントへ色変換される。RGB画像データなどの場合には、ダイナミックレンジの半分を減ずるDCレベルシフトも施される。以下の処理はコンポーネント別に実行される。 JPEG2000 encoding is generally performed as shown in FIG. First, the image is divided into rectangular tiles (number of divisions ≧ 1). A tile is a basic unit for executing a compression / decompression process. Each tile is color-converted to a luminance / color difference component. In the case of RGB image data or the like, a DC level shift that reduces half of the dynamic range is also performed. The following processing is executed for each component.
タイルの各コンポ−ネントは2次元ウェーブレット変換によってサブバンドに分割される。図8にデコンポジションレベル数が3の場合における各デコンポジションレベルにおけるサブバンドを示している。すなわち、タイル画像(デコンポジションレベル0)に対して2次元ウェーブレット変換を1回を施すことにより、デコンポジションレベル1のサブバンド(1LL,1HL,1LH,1HH)に分割する。次に、この階層の低周波成分である1LLサブバンドの係数に対して2回目の2次元ウェーブレット変換を施すことにより、デコンポジションレベル2のサブバンド(2LL,2HL,2LH,2HH)に分割する。同様に、この階層の低周波成分である2LLサブバンドの係数に対して3回目の2次元ウェーブレット変換を施すことにより、デコンポジションレベル3のサブバンド(3LL,3HL,3LH,3HH)に分割する。かくして、図9に示すように1つの3LLサブバンドと、各デコンポジションレベルのHL,LH,HHサブバンドが生成される。図9には各サブバンドの解像度レベルも示されている。
Each component of the tile is divided into subbands by a two-dimensional wavelet transform. FIG. 8 shows subbands at each decomposition level when the number of decomposition levels is three. That is, the tile image (decomposition level 0) is divided into subbands (1LL, 1HL, 1LH, 1HH) of the
JPEG2000では、ウェーブレット変換として可逆の5×3変換と非可逆の9×7変換が規定されている。9×7変換が用いられる場合には、ウェーブレット変換係数に対しサブバンド毎に線形量子化が施される。 In JPEG2000, reversible 5 × 3 conversion and irreversible 9 × 7 conversion are defined as wavelet conversion. When the 9 × 7 transform is used, linear quantization is performed on the wavelet transform coefficient for each subband.
次に、各サブバンドはプリシンクトとよばれる矩形に分割される。プリシンクトとは、サブバンドを矩形に分割したものであり、HL、LH、HHサブバンドのプリシンクトは3つで1まとまりである(図10参照)。ただし、LLサブバンドを分割したプリシンクトは1つで1まとまりである。プリシンクトは、大まかには画像中の場所(Position)を表すものである。プリシンクトはサブバンドと同じサイズにできる。プリシンクトをさらに矩形に分割したものがコードブロックである(図10参照)。よって、物理的な大きさの序列は、画像≧タイル>サブバンド≧プリシンクト≧コードブロックとなる。 Next, each subband is divided into rectangles called precincts. The precinct is obtained by dividing a subband into rectangles, and three precincts for the HL, LH, and HH subbands are grouped together (see FIG. 10). However, one precinct obtained by dividing the LL subband is one. The precinct roughly represents a position in the image. The precinct can be the same size as the subband. A code block is obtained by further dividing the precinct into rectangles (see FIG. 10). Therefore, the physical size order is image ≧ tile> subband ≧ precinct ≧ code block.
以上の分割の後、指定された符号化の順番により符号化の対象となるビットが定められ、その対象ビット周辺のビットからコンテキストが生成され、このコンテキストを利用し算術符号化の一種であるMQ符号化と呼ばれるエントロピー符号化(ビットプレーン符号化)が、コードブロック単位で上位ビットプレーンから下位ビットプレーンへと順に行われる。 After the above division, bits to be encoded are determined according to a specified encoding order, a context is generated from bits around the target bits, and MQ, which is a kind of arithmetic encoding using this context. Entropy encoding (bit plane encoding) called encoding is performed in order from the upper bit plane to the lower bit plane in units of code blocks.
そして、生成されたエントロピー符号より不要な符号を破棄し、必要な符号をまとめてパケットを生成する。最後に、パケットを並べ、必要なタグ及びタグ情報を付加したコードストリーム(符号化データ)を形成する。図11にコードストリームの概略構造を示す。コードストリームの先頭と各タイルを構成する部分タイルの先頭に、メインヘッダ、タイルパートヘッダと呼ばれるタグ情報が付加され、その後に各タイルの符号化データ(パケット列)が続く。コード・ストリームの終端には再びタグが置かれる。 Then, unnecessary codes are discarded from the generated entropy code, and packets are generated by collecting necessary codes. Finally, the packets are arranged to form a code stream (encoded data) to which necessary tags and tag information are added. FIG. 11 shows a schematic structure of the code stream. Tag information called main header and tile part header is added to the head of the code stream and the head of the partial tiles constituting each tile, and the encoded data (packet string) of each tile follows. The tag is again placed at the end of the code stream.
パケットは、プリシンクトに含まれる全てのコードブロックから、ビットプレーンの符号の一部を取り出して集めたもの(例えば、全てのコードブロックのMSBから3枚目までのビットプレーンの符号を集めたもの)にヘッダをつけたものである。パケットヘッダには、当該パケットに含まれる符号に関する情報が含まれ、各パケットは独立に扱うことができる。 Packets are collected by extracting a part of bit plane codes from all code blocks included in the precinct (for example, collecting the code of the MSB to the third bit plane of all code blocks) With a header. The packet header includes information about codes included in the packet, and each packet can be handled independently.
全てのプリシンクト(=全てコードブロック=全てのサブバンド)のパケットを集めると、画像全域の符号の一部(例えば、画像全域のウェーブレット係数の、MSBから3枚目までのビットプレーンの符号)ができるが、これをレイヤと呼ぶ。レイヤは、大まかには画像全体のビットプレーンの符号の一部であるから、復号されるレイヤ数が増えれば画質は上がることになる。 When packets of all precincts (= all code blocks = all subbands) are collected, a part of the code of the entire image (for example, the code of the wave plane coefficient of the entire image from the MSB to the third bit plane) This can be done, but this is called a layer. Since the layer is roughly a part of the code of the bit plane of the entire image, the image quality increases as the number of layers to be decoded increases.
パケットは、どのコンポ−ネント(記号C)に属するか、どの解像度レベル(記号R)に属するか、どのプリシンクト(記号P)に属するか、どのレイヤ(記号L)に属するか、という4つの属性を有する。パケットの配列とは、どの属性の順に階層的に並べるかを意味する。この配列順をプログレッシブ順序と呼び、JPEG2000ではLRCP,RLCP,RPCL,PCRL,CPRLの5通りが規定されている。 The packet has four attributes: which component (symbol C) belongs, which resolution level (symbol R) belongs, which precinct (symbol P) belongs, and which layer (symbol L) belongs to Have The packet arrangement means which attribute order is arranged hierarchically. This arrangement order is called progressive order, and JPEG2000 defines five patterns, LRCP, RLCP, RPCL, PCRL, and CPRL.
RLCPのような解像度プログレッシブな順序の場合には、図12に略示するように、解像度レベル0の属性を持つパケット、次に解像度レベル1の属性を持つパケット、というように解像度レベルの低いパケットから順に並べられる。
In the case of a resolution progressive order such as RLCP, as schematically shown in FIG. 12, a packet having a resolution level 0 attribute, a packet having a
図13に、画像サイズ100×100画素、2レイヤ、階層数3(解像度レベル0,1,2)、3コンポ−ネント、プリシンクトサイズ32×32、RLCPプログレッシブ順序の場合の36個のパケットの配列例を示す。このような符号化データのパケットを先頭から順に全て復号することにより、解像度レベル2の画像が伸長される。仮に、符号化データから解像度レベル2の属性を持つパケット12〜35を破棄すると、その符号化データを復号することにより、縦横サイズがそれぞれ半分に縮小した解像度レベル1の画像が伸長される。さらにパケット6〜11までが破棄された符号化データでは、縦横サイズがさらに半分に縮小した解像度レベル0の画像が伸長される。他のプログレッシブ順序の符号化データでも同様の変換が可能である。
FIG. 13 shows 36 packets in the case of an image size of 100 × 100 pixels, 2 layers, 3 layers (
このように、JPEG2000の符号化データは、符号状態のままで(復号することなく)符号を破棄することによって階層(解像度)変換が可能であり、これ以外にも画像を回転させる変換も符号状態で行うことができる。 In this way, JPEG2000 encoded data can be subjected to hierarchical (resolution) conversion by discarding the code in the code state (without decoding), and in addition to this, conversion for rotating the image is also in the code state. Can be done.
復号化は符号化と丁度逆の処理となり、各コンポーネントの各タイルのコードストリームから画像データを生成する。簡単に説明すると、入力したコードストリームに付加されたタグ情報を解釈し、コードストリームを各コンポーネントの各タイルのコードストリームに分解し、その各コンポーネントの各タイルのコードストリーム毎に復号化処理が行われる。コードストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が決められ、その対象ビット位置の周辺ビット(既に復号化を終えている)の並びからコンテキストが生成される。このコンテキストとコードストリームから確率推定によってエントロピー復号化(MQ復号化)を行って対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたサブバンド係数に対し、必要に応じて逆線形量子化を施した後、2次元逆ウェーブレット変換を行うことにより、各コンポーネントの各タイルが復元される。復元されたデータは逆色変換及び逆DCレベルシフトによって元の表色系のデータに変換される。 Decoding is exactly the reverse of encoding, and image data is generated from the code stream of each tile of each component. Briefly, the tag information added to the input code stream is interpreted, the code stream is decomposed into code streams for each tile of each component, and decoding processing is performed for each code stream of each tile of each component. Is called. The position of the bit to be decoded is determined in the order based on the tag information in the code stream, and the context is generated from the sequence of the peripheral bits (already decoded) of the target bit position. Entropy decoding (MQ decoding) is performed by probability estimation from this context and code stream to generate a target bit and write it in the position of the target bit. The tiles of the respective components are restored by performing inverse linear quantization on the subband coefficients decoded in this manner, if necessary, and then performing two-dimensional inverse wavelet transform. The restored data is converted into original color system data by reverse color conversion and reverse DC level shift.
図1と図2は本発明に係るサーバ装置における送信処理の概要を説明するための模式図であり、1は本発明に係るサーバ装置、2はサーバ装置1とネットワークで接続されたクライアント装置である。サーバ装置1は、クライアント装置2より送信要求のあった画像の符号化データ100を送信する処理を行う。
Figure 1 and Figure 2 is a schematic view for explaining the outline of the transmission processing in the server apparatus according to the present invention, 1 is a server apparatus according to the present invention, 2 is a client apparatus connected with the
ここでは説明を簡単にするため、符号化データ100として、1LLサブバンドの符号(解像度レベル0)、1HL,1LH,1HHの各サブバンドの符号(解像度レベル1)からなる2階層(解像度レベル0,1、デコンポジションレベル数1)の符号化データであるとし、元の画像は縦長であるものとする。そして、クライアント装置2における画像の表示領域3は横長であるものとする。
Here, for the sake of simplicity of explanation, the encoded
サーバ装置1においては、符号化データ100の伸長画像サイズでは表示領域3に画像全体が収まらないと判断し、符号化データ100の解像度レベル1の符号すなわち1HL,1LH,1HHサブバンドの符号を破棄することにより、解像度レベル0の符号化データ101へ解像度変換する。しかし、図1に見られるように、この解像度変換後の符号化データの伸長画像のサイズでは画像全体が表示領域3に収まらない。
The
このように、送信しようとする符号化データ100を最低解像度まで解像度変換した符号化データ101でも、その伸長画像が表示領域3に収まらないと判断した場合、サーバ装置1は、図2に示すように、符号化データ101に対し画像の向きを90度回転させる回転変換を行い、この回転変換後の符号化データ103をクライアント装置2へ送信する。このように回転変換を行うことにより表示領域に画像全体が収まる可能性があり、この例では符号化データ103の伸長画像は表示領域3に収まる。
As described above, when it is determined that even the encoded
このように、本発明は、基本的には回転操作は行わず、最低解像度まで解像度を落とした段階でも表示領域に画像全体が収まらないときに初めて回転操作を行うことにより、画像が見にくくなる画像の回転をできる限り回避する。 As described above, the present invention basically does not perform the rotation operation, and even when the resolution is reduced to the minimum resolution, the image is difficult to see by performing the rotation operation for the first time when the entire image does not fit in the display area. Avoid as much as possible.
しかし、最低解像度まで解像度変換し、さらに回転変換した符号化データでも、その伸長画像が表示領域3に収まらないケースもあり得る。そこで、一つの態様によれば、サーバ装置1は最低解像度の回転変換後の符号化データ103の送信に先立って、その伸長画像が表示領域3に収まるか判定する。そして、図2の例のように伸長画像が表示領域3に収まると判断されたときには直ちに符号化データ103をクライアント装置2へ送信する。しかし、収まらないと判断したときには、その旨の警告を発し、これに対しクライアント装置2からの了解の旨のレスポンスを確認したうえで符号化データ103を送信するという手順をとる。
However, there may be a case where the decompressed image does not fit in the
さらに好ましい態様によれば、画像の縦横サイズ関係と表示領域3の縦横サイズ関係が一致するか判定し、最低解像度の符号化データでも表示領域に収まらない時に、縦横サイズ関係が不一致であることを条件に回転変換を行う。縦横サイズ関係が一致している場合、回転変換を行っても画像の表示される範囲が増えるわけでもなく、逆に画像が見にくくなってしまうため、回転変換を回避するわけである。
Further, according to a preferred aspect, it is determined whether the vertical / horizontal size relationship of the image and the vertical / horizontal size relationship of the
図3は、縦長の画像の4階層(解像度レベル0,1,2,3)の符号からなる符号化データ110の場合における送信処理を説明するための模式図である。この例では、サーバ装置1は、符号化データ110の伸長画像が表示領域に収まるか判定する。収まると判断したときには符号化データ110を送信する。しかし、収まらないと判断したときには、符号化データ110を、1HL,1LH,1HHサブバンドの符号(解像度レベル3)を破棄した符号化データ111へ解像度変換し、その伸長画像が表示領域に収まるか判定する。収まると判断したときには符号化データ111を送信する。しかし、収まらないと判断したときには、符号データ111を、2HL,2LH,2HHサブバンドの符号(解像度レベル2)を破棄した符号化データ112へ解像度変換し、その伸長画像が表示領域に収まるか判定する。収まると判定したときには符号化データ113を送信する。しかし、収まらないと判断したときには、符号化データ112を、2HL,3LH,2HHサブバンドの符号(解像度レベル1)を破棄した符号化データ113へ解像度変換し、その伸長画像が表示領域に収まるか判定する。収まると判定したときには送信データ113を送信する。しかし、収まらないと判定した場合には、符号化データ113を、画像の向きを90度回転させた符号化データ114へ回転変換する(あるいは、縦横サイズ関係が不一致のときのみ回転変換する)。そして、無条件にこの符号化データ114を送信するか、あるいは、表示領域に収まらないと判断したときに警告を発して了解を確認したうえで送信する。
FIG. 3 is a schematic diagram for explaining a transmission process in the case of encoded
さて、JPEG2000の符号化データをネットワークを通してサーバ装置からクライアント装置へ転送するプロトコルJPIP(JPEG2000 Interactive Protocol;IS15444−9)がある。上に述べたような処理を行う本発明に係るサーバ装置は、JPIPにも好適である。 There is a protocol JPIP (JPEG2000 Interactive Protocol; IS15444-9) for transferring encoded data of JPEG2000 from a server device to a client device through a network. The server apparatus according to the present invention that performs the processing as described above is also suitable for JPIP.
すなわち、JPIPにおいては、クライアント装置側でオフセットと縦横サイズを指定することにより、サーバ装置に画像の一部領域の符号化データの送信を要求することができる。この場合、予めサーバ装置からサムネイル画像の符号化データをクライアント装置へ送信し、クライアント装置側で伸長し表示させたサムネイル画像を見て画像全体の概要を確認したうえで、オフセットと縦横サイズの指定を行う。しかし、元の画像が極めて大きい場合には、表示領域にサムネイル画像の全体が収まらないことがある。サムネイル画像から画像全体を見渡すことができることが望ましく、そのスクロールは極力避けたいものである。このようなサムネイル画像の符号化データの送信に以上に述べた本発明の送信処理を適用するならば、極めて大きな画像のサムネイル画像であっても、その全体を表示領域に収まる形で表示できる可能性が高まり、また、サムネイル画像の回転を極力避けることができる。 That is, in JPIP, it is possible to request the server apparatus to transmit encoded data of a partial area of an image by specifying an offset and a vertical and horizontal size on the client apparatus side. In this case, transmitted in advance from the server apparatus the encoded data of the thumbnail image to the client device, after confirming an overview of the entire image viewed thumbnail image displayed extended at the client device side, specify offset and vertical and horizontal sizes I do. However, if the original image is extremely large, the entire thumbnail image may not fit in the display area. It is desirable that the entire image can be viewed from the thumbnail image, and the scrolling is to be avoided as much as possible. If the transmission processing of the present invention described above is applied to transmission of encoded data of such a thumbnail image, even a very large thumbnail image can be displayed in a form that fits in the display area. And the rotation of thumbnail images can be avoided as much as possible.
図4は、本発明の実施形態を説明するための簡略化したブロック図である。図4には、本発明の実施形態の理解に必要な構成のみが示されている。サーバ装置1及びクライアント装置2には、ネットワークを通じて要求、応答、データの交換を行うためのネットワーク・インターフェース手段が当然に存在するが、これは図4では省略されている。
FIG. 4 is a simplified block diagram for explaining an embodiment of the present invention. FIG. 4 shows only the configuration necessary for understanding the embodiment of the present invention. The
クライアント装置2は、画像の表示領域3(ディスプレイ画面上の画像表示用ウィンドウなど)のサイズを算出する表示領域サイズ算出部4を備える。クライアント装置2からネットワーク・インターフェース手段を通じてサーバ装置1に対し送信される画像送信要求には、画像識別情報などのほかに、表示領域サイズ算出部4により求められた表示領域サイズ情報も含まれる。
The
サーバ装置1は、不図示のネットワーク・インターフェース手段を通じて受信した画像送信要求で指定された画像の符号化データ(ここではJPEG2000の符号化データ)を入力する符号入力部11と、入力された符号化データに対し、図1乃至図3に関連して説明したような解像度変換や回転操作を行うための符号変換部12と、この符号変換部12から出される符号化データを出力する符号出力部13を備える。この符号出力部13より出力される符号化データが、最終的に不図示のネットワーク・インターフェース手段を通じクライアント装置2へ送信されることになる。
The
クライアント装置2は、不図示のネットワーク・インターフェース手段を通じて受信される符号化データを入力する符号入力部5と、この符号入力部5により入力された符号化データを復号する復号部6と、この復号部6で復号された伸長画像データを表示領域3に表示させる画像表示部7を備える。
The
図5は、サーバ装置1における送信処理の流れを示す簡略化したフローチャートである。このフローチャートに沿って、クライアント装置2より画像送信要求を受け付けた場合のサーバ装置1の動作を説明する。
FIG. 5 is a simplified flowchart showing the flow of transmission processing in the
サーバ装置1において、画像送信要求に係る画像の符号化データを符号入力部11により入力する(step1)。符号変換部12は、入力された符号化データのヘッダ情報などから認識される当該符号化データの伸長画像のサイズと、画像送信要求に含まれていた表示領域サイズ情報とから、当該符号化データの伸長画像が表示領域3に収まるか調べる(step2)。収まると判断したときには、当該符号化データをそのまま符号出力部13に渡し、当該符号化データをネットワークを通じてクライアント装置1へ送信させる(step9)。
In the
符号変換部12は、step2で表示領域に収まらないと判断したときには、当該符号化データが最低解像度レベルの符号化データであるか調べる(step3)。最低解像度レベルのものでないと判断したならば、当該符号化データを、その最も高い解像度レベルの符号を破棄することにより、解像度が1レベル低い符号化データに解像度変換し(step4)、その伸長画像が表示領域に収まるか調べる(step2)。表示領域に収まると判断したならば、当該符号化データを符号出力部13に渡すことによりクライアント装置2へ送信させる(step9)。
When determining that the encoded data does not fit in the display area in
このように、符号化データの解像度を下げる解像度変換を順次行うことにより、回転変換を行わない符号化データの送信を試みる訳である。 Thus, by sequentially performing resolution conversion that lowers the resolution of encoded data, transmission of encoded data that does not perform rotation conversion is attempted.
しかし、最低解像度まで解像度変換した符号化データでも、その伸長画像が表示領域に収まらないと判断した場合(step3,Yes)、符号変換部12は、符号化データの伸長画像の縦横サイズ関係(縦長,横長)と表示領域の縦横サイズ関係が一致するか判定する(step5)。縦横関係が不一致ならば(例えば画像が縦長で表示領域が横長)、当該最低解像度の符号化データに対し、画像の向きを90度回転させる回転変換を行う(step6)。この回転変換後の符号化データをそのまま送信する態様も本発明に含まれるが、ここに示す例では、回転変換後の符号化データの伸長画像が表示領域に収まるか調べる(step7)。画像の90度回転により、図1及び図2に関連して説明したように、例えば画像と表示領域の縦横サイズ関係が一致して画像が表示領域3に収まる可能性もある。表示領域に収まると判断したときには、当該符号化データを符号出力部13に渡し送信させる(step9)。かくして、図2の例のように、最低解像度の画像90度回転された形で表示領域に表示されることになる。
However, when it is determined that even the encoded data whose resolution has been converted to the minimum resolution does not fit in the display area (
符号変換部12は、回転変換後の符号化データでも、その伸長画像が表示領域3に収まらないと判断したときには、その旨の警告のためのメッセージを符号出力部13へ出してクライアント装置へ送信させ、図5では省略されているが、この警告メッセージに対するクライアント装置2からの了解の旨の応答を確認する。この確認の後、最低解像度の回転変換後の符号化データを符号出力部13に渡しクライアント装置へ送信させる(step9)。この場合、クライアント装置2においては、伸長画像の全部を表示領域3に一度に表示することができないので、伸長画像の全体を見るためには適宜スクロール操作を行う必要がある。
When the
また、step5で縦横サイズ関係が一致すると判定した場合、回転操作を行っても画像全体が表示される可能性はなく、回転変換による逆に見にくくなるだけであるので、回転変換は行わず、step8に進み警告を発し、その了解の応答を確認した後にstep9で当該符号化データを送信する。
If it is determined in
ここまでの説明から明らかなように、符号変換部12は基本的には符号化データの解像度変換と回転変換のための手段であるが、本実施形態における符号化変換部12は、クライアント装置へ送信しようとする符号化データに対し、符号状態のままで、解像度を下げる解像度変換を行う解像度変換手段と、この解像度変換手段による解像度変換前又は解像度変換後の符号化データの伸長画像がクライアント装置側の表示領域に収まるか判定するサイズ判定手段と、前記解像度変換手段により最低解像度まで解像度変換後の符号化データであって、前記判定手段により表示領域に収まらないと判定された符号化データに対し、その縦横サイズ関係と表示領域の縦横サイズ領域との一致を判定する縦横サイズ関係判定手段と、この縦横サイズ判定手段により一致しないと判定された、最低解像度まで解像度変換後の符号化データに対し符号状態のままで画像を90度回転させる変換を行う回転変換手段と、解像度変換前の符号化データ、解像度変換後の符号化データ又は回転変換後の符号化データをクライアント装置へ送信させる手段と、さらにはstep8に対応する手段が統合されたものである。言うまでもなく、これら手段を分離することも可能である。また上述のように、step8に対応する機能を省いてもよい。
As is apparent from the description so far, the
なお、step1の直後に、入力された符号化データが文字原稿画像(又は文字・絵柄混在原稿画像)のものであるか、非文字原稿画像(絵柄原稿画像)のものであるかの判定を行い、文字原稿画像と判定したときにのみstep2以降の送信処理を実行し、非文字原稿と判定したときには別の送信処理とすることも可能である。
It should be noted that immediately after
すなわち、文字原稿画像は90度回転すると内容が極めて読みにくくなるため、前述のような回転を極力行わない形で送信する処理を行う。 In other words, since the contents of a text document image are extremely difficult to read when rotated 90 degrees, the process of transmitting the text document in a form that does not rotate as much as possible is performed.
一方、非文字原稿画像は90度回転したとしても、文字原稿画像の場合ほどには内容が分かりにくくなることはない。そこで、例えば、画像の縦横サイズ関係(縦長又は横長の区別)と表示領域の縦横サイズ関係とを比較し、それが不一致ならば、まず符号化データを90度回転させる変換を行う。その後、表示領域に収まるまで解像度を下げる変換を順次繰り返し、表示領域に収まる解像度の符号化データを送信する。最低解像度まで変換しても表示領域に収まらないときには、その旨の警告を発し、それに対する了解の応答を確認してから送信するような処理とする。 On the other hand, even if the non-character original image is rotated by 90 degrees, the contents are not as difficult to understand as in the case of the character original image. Therefore, for example, the vertical / horizontal size relationship (vertical or horizontal distinction) of the image is compared with the vertical / horizontal size relationship of the display area, and if they do not match, conversion is first performed to rotate the encoded data by 90 degrees. Thereafter, the conversion for lowering the resolution is sequentially repeated until it fits in the display area, and the encoded data having the resolution that fits in the display area is transmitted. If conversion to the minimum resolution does not fit in the display area, a warning to that effect is issued, and after confirming the response to that, the processing is performed.
なお、文字原稿画像/非文字原稿画像の判定であるが、例えば、符号化データのヘッダ情報に予めその識別情報を記述しておくならば極めて容易に行うことができる。そのような識別情報が存在しない場合には、例えば、符号化データのサブバンド毎の符号量などに基づいて判定することも容易である。 The determination of character document image / non-character document image can be performed very easily if, for example, the identification information is described in advance in the header information of the encoded data. When such identification information does not exist, it is easy to make a determination based on, for example, the code amount for each subband of the encoded data.
図4に示した本発明に係るサーバ装置1やクライアント装置2は、CPU、メモリ、ネットワーク・インターフェースなどからなる一般的な構成のコンピュータを利用し、プログラムによって実現可能である。これについて図6により簡単に説明する。
The
図6において、200はサーバ装置1として動作するコンピュータであり、CPU201,メモリ202、ハードディスク装置203、不図示のネットワーク・インターフェースなどがバスにより相互接続された構成である。このコンピュータ200を、符号入力部11、符号変換部12、符号出力部13に対応する手段、換言すれば、図5中のstep1〜step9に対応する手段として機能させるためのプログラムが、例えばハードディスク装置203よりメモリ202にロードされてCPU201で実行されることにより、このコンピュータ200が本発明に係るサーバ装置として動作する。このようなプログラム、及び、同プログラムが記録された磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子などのコンピュータが読み取り可能な情報記録(記憶)媒体も本発明に包含される。
In FIG. 6,
300はクライアント装置2として動作するコンピュータであり、CPU301,メモリ302、モニタ303、不図示のネットワーク・インターフェースなどがバスにより相互接続された構成である。このコンピュータ300を、表示領域サイズ算出部4,符号入力部5、復号部6、画像表示部7に対応する手段、その他のサーバ装置との通信に関連する手段として機能させるためのプログラムがメモリ301にロードされてCPU301で実行されることにより、このコンピュータ300がクライアント装置として動作する。
図6に示す構成において、図5に関連して説明した処理は次のように実行される。クライアント側のCPU301からの画像送信要求に応じて、サーバ側のCPU201の命令により、ハードディスク装置203に蓄積されている送信すべき画像の符号化データがメモリ202に読み込まれる(step1に対応)。CPU201は、メモリ202上の符号化データを読み込み、クライアント側からの表示領域サイズ情報に応じて、step2〜step8に対応する解像度変換、判定、さらには回転変換を実行し、送信しようとする符号化データをメモリ202上に生成する。この符号化データは、CPU201からの命令によりネットワーク経由でクライアント側へ送信され、クライアント側のメモリ302に書き込まれる。クライアント側のCPU301は、この符号データを読み込み復号処理を行い、メモリ302上に伸長画像のデータを生成する。この伸長画像データは、モニタ303の表示領域に表示される。
In the configuration shown in FIG. 6, the processing described in relation to FIG. 5 is executed as follows. In response to the image transmission request from the
以上の説明においてはJPEG2000の符号化データが処理の対象とされたが、これに限られるものではない。例えば、符号ウェーブレット変換を用いる他の符号化方式や、ウェーブレット変換以外の周波数変換を用いる符号化方式による符号化データであっても、符号状態で解像度変換や回転変換が可能なものであるならば本発明を同様に適用可能であることは明らかである。 In the above description, encoded data of JPEG2000 is a processing target, but the present invention is not limited to this. For example, even if the encoded data is based on another encoding method using a code wavelet transform or an encoding method using a frequency transform other than the wavelet transform, the resolution conversion and the rotation conversion can be performed in the code state. It is clear that the present invention is equally applicable.
1 サーバ装置
2 クライアント装置
3 表示領域
4 表示領域サイズ算出部
5 符号入力部
6 復号部
7 画像表示部
11 符号入力部
12 符号変換部
13 符号出力部
DESCRIPTION OF
Claims (3)
前記指定符号化データに対し、符号状態のままで符号を破棄することにより解像度を下げる解像度変換を行う解像度変換手段と、 Resolution conversion means for performing resolution conversion for reducing the resolution by discarding the code in the code state with respect to the designated encoded data;
前記指定符号化データに対し、符号状態のままで画像を90度回転させる回転変換を行う回転変換手段と、 Rotation conversion means for performing rotation conversion for rotating the image by 90 degrees in the encoded state with respect to the designated encoded data;
前記指定符号化データに対し、その伸長画像のサイズと前記画像送信要求に含まれる表示領域サイズ情報とから当該伸長画像が前記クライアント装置の表示領域に収まるか否かの判定を行うサイズ判定手段とを有し、 Size determining means for determining whether or not the expanded image fits in the display area of the client device from the size of the expanded image and display area size information included in the image transmission request for the designated encoded data; Have
前記指定符号化データに対し、その伸長画像が前記表示領域に収まると前記サイズ判定 The size determination is performed when the expanded image fits in the display area with respect to the designated encoded data.
手段により判定される解像度まで前記解像度変換手段により解像度変換を行い、当該解像Resolution conversion by the resolution conversion means up to the resolution determined by the means, and the resolution
度変換後の指定符号化データを前記クライアントへ送信し、Send the specified encoded data after degree conversion to the client,
前記解像度変換手段により最低解像度まで解像度変換を行った後の前記指定符号化データについて、その伸長画像が前記表示領域に収まらないと前記サイズ判定手段により判定された場合には、当該最低解像度まで解像度変換後の指定符号化データを前記回転変換手段により回転変換を行った後に前記クライアント装置へ送信することを特徴とするサーバ装置。 For the designated encoded data after the resolution conversion to the minimum resolution by the resolution conversion means, if the size determination means determines that the expanded image does not fit in the display area, the resolution to the minimum resolution The server apparatus, wherein the encoded data after conversion is subjected to rotation conversion by the rotation conversion means and then transmitted to the client apparatus.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005065789A JP4640942B2 (en) | 2005-03-09 | 2005-03-09 | Server device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005065789A JP4640942B2 (en) | 2005-03-09 | 2005-03-09 | Server device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006253920A JP2006253920A (en) | 2006-09-21 |
JP4640942B2 true JP4640942B2 (en) | 2011-03-02 |
Family
ID=37093947
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005065789A Expired - Fee Related JP4640942B2 (en) | 2005-03-09 | 2005-03-09 | Server device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4640942B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4930102B2 (en) * | 2007-02-27 | 2012-05-16 | カシオ計算機株式会社 | Server apparatus and program |
JP2009135638A (en) * | 2007-11-29 | 2009-06-18 | Sharp Corp | Image sending device, and operation method thereof |
JP5081113B2 (en) * | 2008-09-17 | 2012-11-21 | キヤノン株式会社 | Image encoding apparatus, image decoding apparatus, and control method thereof |
JP5081114B2 (en) * | 2008-09-17 | 2012-11-21 | キヤノン株式会社 | Image encoding apparatus, image decoding apparatus, and control method thereof |
US8446411B2 (en) * | 2010-06-11 | 2013-05-21 | Microsoft Corporation | Adaptive image rendering and use of imposter |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0983981A (en) * | 1995-09-19 | 1997-03-28 | Matsushita Electric Ind Co Ltd | Picture communication equipment |
JP2002108757A (en) * | 2000-10-04 | 2002-04-12 | Kyocera Communication Systems Co Ltd | Server device equipped with image rotating function |
JP2002152744A (en) * | 2000-11-10 | 2002-05-24 | Ricoh Co Ltd | Method for expanding conversion coded image |
JP2002341857A (en) * | 2001-05-11 | 2002-11-29 | Canon Inc | Image display system, image providind device, image display device, image providing method, image display method, storage medium, and program |
JP2003296232A (en) * | 2002-04-02 | 2003-10-17 | Canon Inc | System providing contents and system, information processor, and program generating the contents |
JP2004194152A (en) * | 2002-12-13 | 2004-07-08 | Ricoh Co Ltd | Image processing apparatus, program, storage medium, and image editing method |
JP2004236218A (en) * | 2003-01-31 | 2004-08-19 | Ricoh Co Ltd | Image processor, image processing method, program, and storage medium |
JP2005012686A (en) * | 2003-06-20 | 2005-01-13 | Canon Inc | Image processing method and image processing apparatus |
JP2005020664A (en) * | 2003-06-30 | 2005-01-20 | Kyocera Mita Corp | Image forming method and image forming apparatus |
-
2005
- 2005-03-09 JP JP2005065789A patent/JP4640942B2/en not_active Expired - Fee Related
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0983981A (en) * | 1995-09-19 | 1997-03-28 | Matsushita Electric Ind Co Ltd | Picture communication equipment |
JP2002108757A (en) * | 2000-10-04 | 2002-04-12 | Kyocera Communication Systems Co Ltd | Server device equipped with image rotating function |
JP2002152744A (en) * | 2000-11-10 | 2002-05-24 | Ricoh Co Ltd | Method for expanding conversion coded image |
JP2002341857A (en) * | 2001-05-11 | 2002-11-29 | Canon Inc | Image display system, image providind device, image display device, image providing method, image display method, storage medium, and program |
JP2003296232A (en) * | 2002-04-02 | 2003-10-17 | Canon Inc | System providing contents and system, information processor, and program generating the contents |
JP2004194152A (en) * | 2002-12-13 | 2004-07-08 | Ricoh Co Ltd | Image processing apparatus, program, storage medium, and image editing method |
JP2004236218A (en) * | 2003-01-31 | 2004-08-19 | Ricoh Co Ltd | Image processor, image processing method, program, and storage medium |
JP2005012686A (en) * | 2003-06-20 | 2005-01-13 | Canon Inc | Image processing method and image processing apparatus |
JP2005020664A (en) * | 2003-06-30 | 2005-01-20 | Kyocera Mita Corp | Image forming method and image forming apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP2006253920A (en) | 2006-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4111926B2 (en) | Image processing apparatus, program, storage medium, and image transmission method | |
JP4618676B2 (en) | Structured document code transfer method, image processing system, server device, program, and information recording medium | |
JP2004194146A (en) | Displaying method of thumbnail image, server computer, client computer, and program | |
JP2004088425A (en) | Code converting apparatus, code converting method, program, and storage medium | |
JP4349816B2 (en) | Image processing apparatus, image compression apparatus, image processing method, image compression method, program, and recording medium | |
JP2007142614A (en) | Image processing apparatus and method, program, and information recording medium | |
JP2004221836A (en) | Image processor, program, storage medium, and code expanding method | |
JP4640942B2 (en) | Server device | |
JP2004254298A (en) | Image processing device, program, and storage medium | |
JP4179498B2 (en) | Image processing apparatus and image processing method | |
JP4409897B2 (en) | Image processing apparatus, image processing method, program, and information recording medium | |
JP2004166124A (en) | Image processor, program, storage medium, and image processing method | |
JP2004214828A (en) | Image processing apparatus, image processing method, computer program for image processing, and storage medium for storing the image processing computer program | |
JP4609918B2 (en) | Image processing system, image processing method, program, and information recording medium | |
JP2007014002A (en) | Image processing apparatus, image processing program and recording medium | |
JP4859014B2 (en) | Image processing apparatus, image processing method, program, and information recording medium | |
JP4874941B2 (en) | Image processing apparatus and image processing method | |
JP2004133443A (en) | Image processing device, image display, program, storage medium, method of processing image and image display system | |
JP2004274710A (en) | Information processor, information processing method, program and computer-readable recording medium | |
JP4059399B2 (en) | Image processing apparatus, image processing system, image output control method, program, and recording medium | |
JP4688164B2 (en) | Image processing apparatus, image processing method, program, and information recording medium | |
JP5081663B2 (en) | Encoding device, code conversion device, code expansion device, encoding method, code conversion method, and code expansion method | |
JP2005269323A (en) | Image processor, program, and storing medium | |
JP3989801B2 (en) | Image processing apparatus, image processing program, and storage medium | |
JP2005101677A (en) | Image transmitting apparatus, image processing system, program, and information recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080225 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100908 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101104 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101124 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101125 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4640942 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131210 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |