JP4743820B2 - Image display apparatus and program - Google Patents

Image display apparatus and program Download PDF

Info

Publication number
JP4743820B2
JP4743820B2 JP2004011038A JP2004011038A JP4743820B2 JP 4743820 B2 JP4743820 B2 JP 4743820B2 JP 2004011038 A JP2004011038 A JP 2004011038A JP 2004011038 A JP2004011038 A JP 2004011038A JP 4743820 B2 JP4743820 B2 JP 4743820B2
Authority
JP
Japan
Prior art keywords
image data
image
resolution
read
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004011038A
Other languages
Japanese (ja)
Other versions
JP2005202327A5 (en
JP2005202327A (en
Inventor
真之 小田川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2004011038A priority Critical patent/JP4743820B2/en
Publication of JP2005202327A publication Critical patent/JP2005202327A/en
Publication of JP2005202327A5 publication Critical patent/JP2005202327A5/ja
Application granted granted Critical
Publication of JP4743820B2 publication Critical patent/JP4743820B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

本発明は、たとえば複写機等、装置操作者による指示に応じて画像を迅速に拡大縮小処理して表示する画像表示装置および方法に関し、特に拡大縮小後の画像を表示する画像表示装置および画像表示方法に関するものである。   The present invention relates to an image display apparatus and method for quickly displaying an enlarged / reduced image according to an instruction from an apparatus operator, such as a copying machine, and more particularly to an image display apparatus and an image display for displaying an enlarged / reduced image. It is about the method.

従来、複写機など、画像処理結果を表示できる装置において、一般的に、表示される画像は画像圧縮されメモリまたはPCIバスに接続されたハードディスクなどの記憶装置に格納されている。図9に従来技術での構成例を、図10に従来技術での処理の流れを示す。   2. Description of the Related Art Conventionally, in an apparatus capable of displaying an image processing result, such as a copying machine, an image to be displayed is generally compressed and stored in a storage device such as a hard disk connected to a memory or a PCI bus. FIG. 9 shows a configuration example of the conventional technique, and FIG.

図9に示すように、従来の画像処理装置は、主演算装置(CPU)101、メインメモリ102、画像処理結果の表示をおこなうLCDC103、LCDディスプレイ107、減色処理を行う減色処理ユニット106、ズーム・スクロール処理ユニット105、JPEGデコーダ104、PCIバスコントローラ108などがローカルバスに接続され、PCIバスコントローラ108に接続されたPCIバス109、記憶装置110を備えている。   As shown in FIG. 9, a conventional image processing apparatus includes a main processing unit (CPU) 101, a main memory 102, an LCDC 103 for displaying image processing results, an LCD display 107, a color reduction processing unit 106 for performing color reduction processing, a zoom / A scroll processing unit 105, a JPEG decoder 104, a PCI bus controller 108, and the like are connected to a local bus, and include a PCI bus 109 and a storage device 110 connected to the PCI bus controller 108.

LCDディスプレイ107に表示するための画像は、記憶装置110に格納された25dpi、50dpi、100dpi、200dpiの4種類のJPEG画像圧縮データから生成される。これらの画像は、32ピクセル×32ピクセルのタイル状に分割され、タイルごとにJPEG圧縮されている。なお、画像データの解像度(画像解像度)は、画像サイズ(長さ)を一定とした場合の画素密度を表している。たとえば、200dpiの画像とは、1インチ当たり200画素で出力されるべき画像データである。いいかえれば、200dpiの画像とは200dpiの表示解像度をもつ媒体で出力されると想定されている画像データをいう。あるひとつの画像について、相異なる解像度の画像データを一定の表示解像度を有する表示装置でそのまま表示した場合には、画像解像度の相違は画像サイズの相違として表れる。たとえば、25dpi、50dpi、100dpiの各画像解像度を有する画像のサイズ(長さ)は、200dpiを1として、それぞれ長さ比で1/8、1/4、1/2のサイズとなる。各サイズの画像を圧縮前の元画像のサイズに合わせて表示する場合には、たとえば元画像の画像解像度が200dpiであれば、25dpi、50dpi、100dpiの各画像解像度の画像は、それぞれ8倍、4倍、2倍に拡大して表示される。この場合、拡大後の画像は同一のサイズとなり、見かけ上は、それぞれの解像度で表示されているかのように見える。   Images to be displayed on the LCD display 107 are generated from four types of JPEG image compression data of 25 dpi, 50 dpi, 100 dpi, and 200 dpi stored in the storage device 110. These images are divided into tiles of 32 pixels × 32 pixels, and JPEG compression is performed for each tile. The resolution (image resolution) of the image data represents the pixel density when the image size (length) is constant. For example, a 200 dpi image is image data to be output at 200 pixels per inch. In other words, a 200 dpi image refers to image data that is assumed to be output on a medium having a display resolution of 200 dpi. When image data with different resolutions is displayed as it is on a display device having a constant display resolution for a single image, the difference in image resolution appears as a difference in image size. For example, the size (length) of an image having each image resolution of 25 dpi, 50 dpi, and 100 dpi is 1/8, 1/4, and 1/2 in length ratio, with 200 dpi being 1, respectively. When displaying an image of each size according to the size of the original image before compression, for example, if the image resolution of the original image is 200 dpi, each image resolution of 25 dpi, 50 dpi, and 100 dpi is 8 times, 4x and 2x enlarged images are displayed. In this case, the enlarged images have the same size, and appear to be displayed at the respective resolutions.

LCDディスプレイ107へは、装置の操作者により指示された画像解像度の画像が表示される。表示される画像データは、その画像解像度がJPEG圧縮されて記憶装置110に格納されている画像データの画像解像度と一致すればその画像データを用いて表示される。一致しなければ指定された画像解像度の画像データが生成されてそれが表示される。指定された画像解像度の画像データは、JPEG圧縮されている画像データのうち、指定された画像解像度の直上および直下の画像解像度の画像データから生成される。直上および直下の画像解像度の何れかの画像データがなければ、いずれか存在する方の画像データを用いて生成される。すなわち、上記例では、記憶装置110に格納された4種類の画像解像度のJPEG画像圧縮データから生成される。(特許文献1等参照)
ここで、150dpiの画像解像度が指示された場合を例に図10の処理を説明する。表示する画像の画像解像度が指示されると、JPEGデコーダ104は、150dpiの直下の画像解像度100dpiの画像圧縮データと直上の画像解像度200dpiのJPEG画像圧縮データとから、画像全体のうち表示に必要な部分のタイルのJPEG圧縮データを記憶装置110から読み出す(S1001)。読み出した圧縮画像データを伸張し、伸張した画像データをメインメモリ102へ書き出す(S1002)。ズーム・スクロール処理ユニット105は、伸張された100dpiと200dpiの画像データから150dpiの画像データを生成してメインメモリ102へ書き出す(S1003)。そして表示能力等に応じて生成された画像データについて減色処理を行い(S1004)、生成された画像データをLCDディスプレイ107へ表示する(1005)。
On the LCD display 107, an image with an image resolution designated by the operator of the apparatus is displayed. Displayed image data is displayed using the image data if the image resolution matches the image resolution of the image data stored in the storage device 110 after JPEG compression. If they do not match, image data having the designated image resolution is generated and displayed. The image data with the designated image resolution is generated from the image data with the image resolution immediately above and below the designated image resolution among the image data compressed with JPEG. If there is no image data of the image resolution immediately above or directly below, it is generated using the image data that exists. That is, in the above example, it is generated from JPEG image compression data of four types of image resolution stored in the storage device 110. (See Patent Document 1 etc.)
Here, the processing of FIG. 10 will be described by taking as an example a case where an image resolution of 150 dpi is instructed. When the image resolution of the image to be displayed is instructed, the JPEG decoder 104 is necessary to display the entire image from the compressed image data of 100 dpi immediately below 150 dpi and the compressed JPEG image data of 200 dpi immediately above. The JPEG compressed data of the partial tile is read from the storage device 110 (S1001). The read compressed image data is expanded, and the expanded image data is written to the main memory 102 (S1002). The zoom / scroll processing unit 105 generates 150 dpi image data from the expanded 100 dpi and 200 dpi image data, and writes the image data to the main memory 102 (S1003). Then, color reduction processing is performed on the image data generated in accordance with the display capability or the like (S1004), and the generated image data is displayed on the LCD display 107 (1005).

図7にスクロール処理の一例を示す。150dpiのズーム画像701を表示しているときに、スクロール動作が発生すると、JPEGデコーダ104は、スクロール方向に追加すべきデータ(タイル)を、記憶装置110に格納された100dpi及び200dpiの圧縮画像データから読み出し、伸張したデータをメインメモリ102へ書き出す。ズーム・スクロール処理ユニット105は、伸張されたデータから150dpiのズーム画像を生成し、メインメモリ102へ書き出す。CPU101は表示している画像のうち、スクロール後も表示される部分に生成された画像を追加し、新たな表示画像702をメインメモリ102へ書き出す。そしてLCDディスプレイ107へ表示している画像を、新たに生成された表示画像に切り替え、スクロールが発生したように見せる。
特開2003−202855号公報
FIG. 7 shows an example of the scroll process. When a scroll operation occurs while displaying a zoom image 701 of 150 dpi, the JPEG decoder 104 stores data (tiles) to be added in the scroll direction, 100 dpi and 200 dpi compressed image data stored in the storage device 110. The data read and decompressed is written to the main memory 102. The zoom / scroll processing unit 105 generates a 150 dpi zoom image from the decompressed data and writes it to the main memory 102. The CPU 101 adds the generated image to the portion that is displayed even after scrolling, and writes a new display image 702 to the main memory 102. Then, the image displayed on the LCD display 107 is switched to a newly generated display image to make it appear as if scrolling has occurred.
JP 2003-202855 A

従来の方法では操作者が解像度を指定してから必要なJPEG画像圧縮データを読み出し指定解像度の画像を生成していたため、装置の操作者からの指示があってから画像を表示するまでに時間がかかるという問題があった。一方、装置の操作者は、表示領域内にテキストが含まれている場合、テキストを無理なく読むことができるサイズ(すなわち画像解像度)で画像処理結果を表示することが多い。細かい文字をたとえばA4版の文書全体が表示されるサイズで表示しつづけることは少なく、また逆に見出し文字のような大きな文字を拡大して表示しつづけることは少ない。このため、操作者はテキストの表示サイズに応じて画像の拡大あるいは縮小を指示するが、前述の問題のために、画像の拡大・縮小の指示に対して画像が表示されるまでの応答性が悪かった。   In the conventional method, after the operator designates the resolution, the necessary JPEG image compression data is read and an image having the designated resolution is generated. Therefore, it takes time until the image is displayed after an instruction from the operator of the apparatus is given. There was a problem that it took. On the other hand, when the display area includes text, the operator of the apparatus often displays the image processing result in a size (that is, image resolution) that allows the text to be read without difficulty. For example, small characters rarely continue to be displayed at a size that allows the entire A4 version document to be displayed, and conversely large characters such as headline characters are rarely enlarged and displayed. For this reason, the operator gives an instruction to enlarge or reduce the image according to the display size of the text. However, due to the above-described problem, the response until the image is displayed in response to the instruction to enlarge or reduce the image is high. It was bad.

本発明は上記従来例に鑑みてなされたもので、画像内のテキスト文字を検出し、文字の大きさを認識するとともに、文字のサイズがおおむね一定となるよう画像を拡大あるいは縮小するために必要な解像度のJPEG画像圧縮データを先読みすることで、操作者に指定された大きさの画像を、指示に応じて迅速に表示できる、応答性の良好な画像表示装置及び画像表示装置を提供することを目的とする。   The present invention has been made in view of the above conventional example, and is necessary for detecting text characters in an image, recognizing the size of the character, and enlarging or reducing the image so that the size of the character is substantially constant. To provide an image display device and an image display device with good responsiveness that can quickly display an image of a size specified by an operator according to an instruction by prefetching compressed JPEG image data with a high resolution With the goal.

上記目的を達成するために、本発明は以下の構成を備える。   In order to achieve the above object, the present invention comprises the following arrangement.

ひとつの画像に対応する相異なる解像度を有し所定ピクセルサイズのタイルから構成される画像データを格納する格納手段と、
前記格納手段から読み出された画像データに基づいて画像を表示する表示手段と、
前記表示後ズーム倍率の変更指定が行なわれる前に、前記表示手段により表示される画像に含まれる文字の大きさを認識する認識手段と、
前記表示後ズーム倍率の変更指定が行なわれる前に、前記認識手段により認識された文字の大きさから、前記文字を前記表示手段に所定サイズで表示させるための画像解像度を計算する計算手段と、
前記表示後ズーム倍率の変更指定が行なわれる前に、前記画像解像度に従い、前記相異なる解像度を有する所定ピクセルサイズのタイルから構成される画像データのうち、少なくとも1種類の解像度の画像データを前記格納手段から読み出す読み出し手段と、
前記変更指定されたズーム倍率に従った解像度の画像データを得るための画像データが、前記読み出し手段により読み出されているか判断する判断手段と、
前記判断手段により、前記変更指定されたズーム倍率に従った解像度の画像データを得るための画像データとして2種類の解像度の画像データが必要であって、前記読み出されている画像データが前記2種類の解像度の画像データのいずれか一方のみと判断した場合、前記2種類の画像データの残りの解像度の画像データを読み出し、前記読み出されている画像データと該読み出された残りの解像度の画像データの中間の解像度の画像データを生成し、前記判断手段により、前記変更指定されたズーム倍率に従った解像度の画像データを得るための画像データとして異なる2種類の解像度の画像データが前記読み出し手段により既に読み出されたと判断した場合、前記異なる2種類の解像度の画像データから異なる2種類の解像度の画像データの中間の解像度の画像データを生成するズーム処理手段と
を備える画像表示装置であって、
前記読み出し手段は、前記表示手段により表示される画像領域の中心を基準として、前記表示手段により表示可能な画像領域について、該画像領域の左上から右下に向けて順次下がるように優先度を付与し、該優先度に従って所定ピクセルサイズのタイル単位で所定ピクセルサイズのタイルから構成される画像データを前記格納手段から読み出す。
Storage means for storing image data composed of tiles having a predetermined resolution and different resolutions corresponding to one image;
Display means for displaying an image based on the image data read from the storage means;
Recognizing means for recognizing the size of a character included in the image displayed by the display means before the change of the zoom magnification after display is performed ;
Calculation means for calculating an image resolution for causing the display means to display the character in a predetermined size from the size of the character recognized by the recognition means before the change of the zoom magnification after display is performed ;
The image data of at least one kind of resolution among the image data composed of tiles having a predetermined pixel size having different resolutions according to the image resolution is stored before the zoom magnification after display is designated. Reading means for reading from the means;
Determining means for determining whether image data for obtaining image data having a resolution according to the zoom magnification designated for change is read by the reading means;
The determination means requires image data of two kinds of resolutions as image data for obtaining image data of resolution according to the zoom magnification designated for change, and the read image data is the 2 When it is determined that only one of the two types of resolution image data is read, the remaining resolution image data of the two types of image data is read, and the read image data and the remaining resolution of the read resolution are read. Image data having an intermediate resolution of the image data is generated, and the image data having two different resolutions as the image data for obtaining the image data having the resolution according to the zoom magnification designated by the change is read by the determination unit. If it is determined that the previously read by means, said two different resolutions two different from the image data of the resolution image Day An image display device provided with a zoom processing means for generating an intermediate resolution image data,
The readout means gives priority to the image areas that can be displayed by the display means in order from the upper left to the lower right of the image area with reference to the center of the image area displayed by the display means. Then, image data composed of tiles having a predetermined pixel size is read from the storage means in units of tiles having a predetermined pixel size according to the priority.

本発明によれば、表示されている画像内の文字が、一定の大きさとなるように画像を拡大或いは縮小するために必要な解像度の画像データを、拡大或いは縮小の指示に先んじて予め読んでおくことで、拡大或るいは縮小指示に対する表示の応答性を良好にすることができる。このため、画像表示装置の操作性・生産性を向上させることができる。   According to the present invention, image data having a resolution necessary for enlarging or reducing an image so that characters in the displayed image have a certain size are read in advance prior to an instruction to enlarge or reduce. Accordingly, the display response to an enlargement or reduction instruction can be improved. For this reason, the operability and productivity of the image display apparatus can be improved.

<装置構成>
図1は本発明の実施形態にかかる画像処理装置の構成の一例を示すブロック図である。図1に示すように、この画像処理装置では、主演算ユニット(CPU)301、メインメモリ302、LCDディスプレイ307を制御するLCDコントローラ(LCDC)303、生成された画像データを画像として表示するためのLCDディスプレイ(LCD)307、減色処理を行う減色処理ユニット306、ズーム・スクロール処理ユニット305、JPEGデコーダ304、PCIバスコントローラ308がローカルバスにより接続されている。そして、PCIバス309により、ハードディスクや不揮発性メモリなどの画像データの記憶装置310が接続されている。
<Device configuration>
FIG. 1 is a block diagram showing an example of the configuration of an image processing apparatus according to an embodiment of the present invention. As shown in FIG. 1, in this image processing apparatus, a main arithmetic unit (CPU) 301, a main memory 302, an LCD controller (LCDC) 303 for controlling an LCD display 307, and generated image data are displayed as images. An LCD display (LCD) 307, a color reduction processing unit 306 that performs color reduction processing, a zoom / scroll processing unit 305, a JPEG decoder 304, and a PCI bus controller 308 are connected by a local bus. A storage device 310 for image data such as a hard disk or a nonvolatile memory is connected to the PCI bus 309.

ここで、CPU301は、メモリ302に格納された、図4や図6,図11等に示す手順のプログラムを実行し、装置全体を制御する。たとえば、プログラムの実行により、装置の操作者からの指示入力に応じて、各処理ユニットに対して指示を与える。メインメモリ302内には、プログラムのほかに、画像処理のための情報や、画像処理結果を表示するために必要な情報が格納される。特に、先読みされた画像データは、先読み領域311に格納される。JPEGデコーダ304は、記憶装置310内に格納された、JPEG圧縮された画像データを伸張する。記憶装置310には、JPEGのプログレッシブモードで、段階的なサイズ(画像解像度)で圧縮された画像データが保存されている。ズーム・スクロール処理ユニット305は、指示された解像度の画像の生成や、スクロールにともなう処理を行う。減色処理ユニット306は、誤差拡散による減色処理(量子化処理)を行う。なお、JPEGデコーダ304,ズームスクロール処理ユニット305,減色処理ユニット306は、専用のハードウエアやスレーブCPUにより実現することもできるし、CPU301ににより各処理ユニットに応じたプログラムを、各処理ユニット毎に独立したプロセスとして実行することでも実現できる。記憶装置310には、JPEG圧縮された画像データが格納される。また、本実施形態では、LCD307は1画素あたり8ビット入力のカラーディスプレイである。   Here, the CPU 301 executes a program of the procedure shown in FIG. 4, FIG. 6, FIG. 11, etc. stored in the memory 302 to control the entire apparatus. For example, by executing a program, an instruction is given to each processing unit in response to an instruction input from an operator of the apparatus. In addition to the program, the main memory 302 stores information for image processing and information necessary for displaying the image processing result. In particular, the pre-read image data is stored in the pre-read area 311. The JPEG decoder 304 expands JPEG compressed image data stored in the storage device 310. The storage device 310 stores image data compressed in a stepwise size (image resolution) in the JPEG progressive mode. The zoom / scroll processing unit 305 generates an image with the instructed resolution and performs processing associated with scrolling. The color reduction processing unit 306 performs color reduction processing (quantization processing) by error diffusion. The JPEG decoder 304, the zoom scroll processing unit 305, and the color reduction processing unit 306 can be realized by dedicated hardware or a slave CPU, and a program corresponding to each processing unit is executed by the CPU 301 for each processing unit. It can also be realized by executing it as an independent process. The storage device 310 stores JPEG compressed image data. In this embodiment, the LCD 307 is a color display with 8 bits input per pixel.

図2にメインメモリ302内に格納されるデータを示す。メインメモリ302内には、画像データ先読み領域311が確保されている。また、メインメモリ302内には、ズーム・スクロール処理ユニット305により生成されるズーム画像を格納するズーム画像ワーク領域203、ズーム画像ワーク領域204、JPEGデコーダ304による伸張データを格納するJPEG伸張ワーク領域205、LCD表示用に使用するデータを格納するLCDワーク領域206、LCDワーク領域207が用意されている。   FIG. 2 shows data stored in the main memory 302. An image data prefetch area 311 is secured in the main memory 302. In the main memory 302, a zoom image work area 203 for storing a zoom image generated by the zoom / scroll processing unit 305, a zoom image work area 204, and a JPEG expansion work area 205 for storing expansion data by the JPEG decoder 304 are stored. An LCD work area 206 and an LCD work area 207 for storing data used for LCD display are prepared.

図3に記憶装置310内に格納されるデータを示す。記憶装置310には、ひとつの画像3000について、25dpi、50dpi、100dpi、200dpiの4種類の画像解像度を有する画像データ3002〜3005が格納される。またファイル名や属性値などを保存するための管理情報3001も含まれている。各画像解像度の画像データは32ピクセル×32ピクセルのタイルに分割され、各タイルごとにJPEG圧縮されて格納されている。この画像データは、例えば複写機であればファイル機能により取り込むことができ、汎用コンピュータであれば、接続されたスキャナデジタルカメラ等の画像入力デバイスから取り込むことができる。JPEG圧縮は、入力デバイスにより施されていても良いし、この画像処理装置により、取り込んだ画像データをJPEG圧縮してもよい。   FIG. 3 shows data stored in the storage device 310. The storage device 310 stores image data 3002 to 3005 having four kinds of image resolutions of 25 dpi, 50 dpi, 100 dpi, and 200 dpi for one image 3000. Also included is management information 3001 for storing file names, attribute values, and the like. The image data of each image resolution is divided into 32 × 32 pixel tiles, and each tile is stored after being JPEG compressed. For example, the image data can be captured by a file function in a copying machine, and can be captured from an image input device such as a connected scanner digital camera in a general-purpose computer. JPEG compression may be performed by an input device, or captured image data may be JPEG compressed by this image processing apparatus.

<画像表示処理>
図11は、指定された画像を、指定された画像解像度(すなわちサイズ)で表示するために、CPU301により実行される処理手順である。この手順は、画像と画像解像度とが指定され、表示実行が指示されると実行される。まず、指定されたサイズに応じた画像解像度の画像データを、記憶装置310から読み出して伸張し、メモリ302のズーム画像ワーク領域203に格納する(ステップS1101)。ズーム処理のために2種類の画像解像度の画像データが必要であれば、同様にズーム画像ワーク領域203に伸張した画像データを格納する。伸長処理には、JPEG伸長ワーク領域205が利用される。なお、メモリの余裕があれば、画像全体について画像データを読み出して伸張しても良いが、メモリに余裕がなければ、表示される領域を中心として読み出し、伸張する。
<Image display processing>
FIG. 11 is a processing procedure executed by the CPU 301 in order to display a designated image at a designated image resolution (ie, size). This procedure is executed when an image and an image resolution are designated and display execution is instructed. First, image data having an image resolution corresponding to the designated size is read from the storage device 310, decompressed, and stored in the zoom image work area 203 of the memory 302 (step S1101). If image data of two types of image resolution is necessary for the zoom process, the expanded image data is similarly stored in the zoom image work area 203. The JPEG decompression work area 205 is used for the decompression process. If there is room in the memory, the image data may be read and expanded for the entire image. However, if there is no room in the memory, the image is read and expanded centering on the displayed area.

次に読み出された画像データをズーム処理する(ステップS1102)。従来の技術の欄で説明したように、必要があれば2種類の画像解像度の画像データから指定された画像解像度の画像データを生成する。そして、LCDディスプレイ307の表示能力に応じて、画像データの減色処理、すなわち量子化処理を行う(ステップS1103)。図8に、画像データのフォーマットの一例を示す。図8の例では、1ワードが4オクテットから構成される場合を例示している。画像データ801は、減色処理前の画像データであり、1画素当たりRGB(赤緑青)各色8ビットの24ビットからなる。画像データ892は減色処理後の画像データであり、1画素は、Rが3ビット、Gが3ビット、Bが2ビットの8ビットから構成されている。減色処理では、たとえば、R,Gについては下5ビットが、Bについては下6ビットが切り捨てられて、詰められる。減色された画像データは、メモリ302の、未使用のLCDワーク領域(たとえばLCDワーク領域206)に格納される。   Next, the read image data is subjected to zoom processing (step S1102). As described in the section of the prior art, if necessary, image data having designated image resolution is generated from image data having two types of image resolution. Then, in accordance with the display capability of the LCD display 307, image data color reduction processing, that is, quantization processing is performed (step S1103). FIG. 8 shows an example of the format of image data. In the example of FIG. 8, a case where one word is composed of 4 octets is illustrated. Image data 801 is image data before color reduction processing, and is composed of 24 bits of 8 bits for each color of RGB (red green blue) per pixel. The image data 892 is image data after color reduction processing, and one pixel is composed of 8 bits of R 3 bits, G 3 bits, and B 2 bits. In the subtractive color processing, for example, the lower 5 bits are rounded down for R and G, and the lower 6 bits are rounded down for B. The reduced color image data is stored in an unused LCD work area (for example, LCD work area 206) in the memory 302.

次に、メインメモリ302上のLCDワーク領域206から減色された画像データを読み出し、LCDC303にその画像データを出力する。LCDC303は、画像データに対応する画像をLCD307へ表示する。   Next, the reduced color image data is read from the LCD work area 206 on the main memory 302, and the image data is output to the LCDC 303. The LCDC 303 displays an image corresponding to the image data on the LCD 307.

<画像データの先読み処理>
このように画像を表示した後、処理の合間に図4に示す手順で画像データの先読みが行われる。図11では、説明の便宜上表示後直ちに先読み処理へ移行するよう記載されている。しかし、マルチタスクオペレーティングシステムが実行されているコンピュータにより本実施形態の画像処理装置を実現する場合には、たとえば、図11の表示処理のタスクを終了する際に、図4の先読み処理のタスクを、図11及び図6のズーム処理のタスクよりも低い優先順位でスケジュールする。このようにすることで、表示処理が実行されていないときに、図4の先読み処理が実行される。
<Image data prefetch processing>
After the image is displayed in this way, the image data is pre-read in the procedure shown in FIG. 4 between the processes. In FIG. 11, for convenience of explanation, it is described that the process proceeds to prefetch processing immediately after display. However, when the image processing apparatus according to the present embodiment is realized by a computer on which the multitask operating system is executed, for example, when the task of the display process in FIG. , Schedule with a lower priority than the zoom processing tasks of FIGS. By doing in this way, when the display process is not performed, the prefetch process of FIG. 4 is performed.

図4の処理の流れに従い、本実施形態の画像処理装置による画像データの先読み動作を説明する。先読みは、図11の手順で、あるいは後述の図6の手順で画像が表示された後に表示される蓋然性が高い画像データを対象とする。したがって、図4では、まず表示される蓋然性の高い画像データを選択し、その後選択された画像データを読み出す。   The prefetching operation of the image data by the image processing apparatus of this embodiment will be described according to the processing flow of FIG. Prefetching targets image data that has a high probability of being displayed after the image is displayed in the procedure of FIG. 11 or in the procedure of FIG. 6 described later. Therefore, in FIG. 4, first, image data with a high probability of being displayed is selected, and then the selected image data is read out.

図11の手順により、あるいは後述する図6の手順によりLCD307へズーム画像が表示されると、CPU301は、メインメモリ302内のズーム画像ワーク領域内の画像データを対象として、画像内のテキストの認識を行い(ステップS401)、文字があるか否か判定し(S402)。文字があれば、その文字の大きさを判定する(ステップS403)。   When the zoom image is displayed on the LCD 307 by the procedure of FIG. 11 or the procedure of FIG. 6 described later, the CPU 301 recognizes the text in the image for the image data in the zoom image work area in the main memory 302. (Step S401), it is determined whether there is a character (S402). If there is a character, the size of the character is determined (step S403).

CPU301は、文字の大きさから画像表示領域内に一定数の文字を表示するための画像解像度を計算する(ステップS404)。ここで、表示領域内に、相異なるサイズの複数の文字があった場合、最小のサイズを基準とする。それは、最小サイズの文字を視認しやすいサイズになるまで画像を変倍する操作を操作者が行うであろうことが予想されるからである。また、画像表示領域内に一定数の文字を表示するための画像解像度は、表示媒体(本例ではLCD307)の解像度に応じて予め決定されている。LCD307の解像度がたとえば100dpiであり、操作者が読みやすい文字サイズがたとえば5ミリメートル(1/5インチ)平方程度であるとすれば、一文字のサイズは画素数にして100/5=20画素平方となる。そこで、表示領域内において認識された最小の文字が20画素平方になるように変倍率を決定する。   The CPU 301 calculates an image resolution for displaying a certain number of characters in the image display area from the character size (step S404). Here, when there are a plurality of characters of different sizes in the display area, the minimum size is used as a reference. This is because it is expected that the operator will perform an operation of scaling the image until the size of the minimum size character is easily visible. The image resolution for displaying a certain number of characters in the image display area is determined in advance according to the resolution of the display medium (LCD 307 in this example). If the resolution of the LCD 307 is, for example, 100 dpi and the character size that is easy for the operator to read is, for example, about 5 millimeters (1/5 inch) square, the size of one character is 100/5 = 20 pixel square in terms of the number of pixels. Become. Therefore, the scaling factor is determined so that the minimum character recognized in the display area is 20 pixels square.

これを画像解像度を用いて説明すると、表示されている画像データの画像解像度がXdpiであり、認識された最小文字のサイズがx画素平方であるとする。見やすい文字のサイズがy(上記例では20)画素平方であれば、文字のサイズがy画素平方となる画像解像度Yは、Y=X×(y/x)となる。   This will be described using image resolution. Assume that the image resolution of the displayed image data is Xdpi, and the recognized minimum character size is x pixel square. If the easy-to-see character size is y (20 in the above example) pixel square, the image resolution Y at which the character size is y pixel square is Y = X × (y / x).

ここでCPU301により計算される画像解像度Yが170dpiであれば、先読みする対象として200dpiと100dpiのJPEG画像圧縮データが指定される。CPU301により計算される画像解像度が30dpiであれば、50dpiと25dpiのJPEG画像圧縮データが先読みする対象となる。もちろん先読み対象として決定された画像解像度(以下、先読み画像解像度と呼ぶ。)は、メモリ302等に格納されて先読み時に参照される。   Here, if the image resolution Y calculated by the CPU 301 is 170 dpi, 200 dpi and 100 dpi JPEG image compression data is designated as a prefetch target. If the image resolution calculated by the CPU 301 is 30 dpi, 50 dpi and 25 dpi JPEG image compression data is a target to be prefetched. Of course, the image resolution determined as a prefetch target (hereinafter referred to as prefetch image resolution) is stored in the memory 302 or the like and is referred to when prefetching.

次に、先読み画像解像度を持つ画像データから先読み対象となるタイルを決定する(ステップS405)。画像データはタイル単位に圧縮されて格納されているためである。先読み対象の画像タイルは、現在表示されている画像領域を中心に、予想される変倍後の画像を画像表示領域へ表示させるために必要なタイルである。その領域内のタイルについても、左上部のタイルから順に右上部のタイルへ優先付けが行われ、次に1段下のタイルに対し左端から右端へ優先度が付けられ、順次同じ要領で順位が受けられる。順位付けは、左上が高優先度であり、右下へ行くにつれて優先度は下がる。図5に優先順位付けの例を示す。先読み対象の領域501内において、タイルごとに優先順位が付される。優先順位は、たとえば先読み対象のタイルのタイル座標をならべた表(以下、先読みタイルテーブルと呼ぶ)で表される。その先読みタイルテーブルは、メモリ302に格納される。次に先読みタイルテーブルの作成方法を説明する。   Next, a tile to be prefetched is determined from image data having the prefetched image resolution (step S405). This is because the image data is compressed and stored in tile units. The prefetch target image tile is a tile necessary for displaying an expected image after scaling in the image display area, centering on the currently displayed image area. The tiles in that area are also prioritized from the upper left tile in order to the upper right tile, and then the next lower tile is given priority from the left edge to the right edge. I can receive it. In the ranking, the upper left has a high priority, and the lower the right, the lower the priority. FIG. 5 shows an example of prioritization. In the pre-read target area 501, a priority is assigned to each tile. The priority order is represented by, for example, a table in which tile coordinates of tiles to be prefetched are arranged (hereinafter referred to as a prefetch tile table). The prefetch tile table is stored in the memory 302. Next, a method for creating a prefetch tile table will be described.

先読み対象の範囲は、画像の表示範囲が一定であるとすれば、現在表示されている画像の範囲と、先読みされる画像データの画像解像度とから決定できる。その際に、たとえば表示領域の中心を基準として先読み範囲を決定する方法、あるいは表示領域の角点(たとえば左上角)を基準として決定する方法などが考えられる。基準とするとは、その点を現在の表示位置から変えない、ということである。たとえば、画像全体について、その左上角を原点として、表示領域の左上角点の座標を(xl,yl)、右下角点の座標を(xr,yr)とする。表示領域の左上角点を基準とし、変倍率をnとすれば、変倍後に表示されると想定される範囲は、左上角が(xl,yl)、右下角が(xl+(xr−xl)×n,yl+(yr−yl)×n)となる。   The range of the prefetch target can be determined from the range of the currently displayed image and the image resolution of the prefetched image data if the display range of the image is constant. At that time, for example, a method of determining the prefetch range based on the center of the display area, or a method of determining based on the corner point (for example, the upper left corner) of the display area can be considered. The reference means that the point is not changed from the current display position. For example, for the entire image, the upper left corner is the origin, the coordinates of the upper left corner of the display area are (xl, yl), and the coordinates of the lower right corner are (xr, yr). If the upper left corner point of the display area is used as a reference and the scaling factor is n, the range assumed to be displayed after scaling is (xl, yl) for the upper left corner and (xl + (xr-xl) for the lower right corner. × n, yl + (yr−yl) × n).

この座標値を、先読み対象となる画像解像度の画像データにおける画素位置で表し、それを含むタイル座標を算出する。タイル座標は、画像におけるタイルの位置をタイルを単位とした座標で表したものである。また、画素位置で表した画像上の位置は、画像解像度に応じて変わる。たとえば、画像解像度が200dpiの画像データにおいて或る位置を画素数の座標で表すと、その位置は、画像解像度が100dpiの画像データにおいては、各座標成分を2分の1とすることで表される。画像解像度が50dpiであれば、その位置の座標値は200dpiにおける画素位置の4分の1で表される。たとえば、200dpiの画像データにおける(200,200)の位置は、100dpiの画像データにおいては(100,100)で、50dpiの画像データにおいては(50,50)で表される。そして、タイルのサイズは画像解像度にかかわらず一定であるので、このように表される位置の各座標成分をタイルサイズ(画素数)で割って得た商がタイル座標の座標成分となる。たとえば、タイルサイズが32×32画素であれば、(200,200)の画素位置は、タイル座標にして(6,6)の位置にあるタイルに含まれる。こうして、先読み対象となる画像データの左上角のタイルのタイル座標と、右下角のタイル座標とが決定される。この後には、左上角のタイルのタイル座標と、右下角のタイル座標とで決まる矩形領域内のタイルの座標を、左上から右下に順次並べた先読みタイルテーブルを作成し、それをメモリに格納する。先読みタイルテーブルには、優先順に従ってタイル座標が並べられているので、優先順の情報も含まれる。先読みタイルテーブルは実際の先読み時に参照される。   This coordinate value is represented by a pixel position in the image data of the image resolution to be prefetched, and tile coordinates including the pixel position are calculated. The tile coordinates are the positions of the tiles in the image expressed with coordinates in units of tiles. Further, the position on the image represented by the pixel position changes according to the image resolution. For example, when a certain position is represented by the coordinates of the number of pixels in the image data having an image resolution of 200 dpi, the position is represented by dividing each coordinate component by half in the image data having an image resolution of 100 dpi. The If the image resolution is 50 dpi, the coordinate value of the position is represented by a quarter of the pixel position at 200 dpi. For example, the position of (200, 200) in the 200 dpi image data is represented by (100, 100) in the 100 dpi image data and (50, 50) in the 50 dpi image data. Since the tile size is constant regardless of the image resolution, the quotient obtained by dividing each coordinate component of the position represented in this way by the tile size (number of pixels) becomes the coordinate component of the tile coordinate. For example, if the tile size is 32 × 32 pixels, the pixel position of (200, 200) is included in the tile at the position of (6, 6) in tile coordinates. Thus, the tile coordinates of the upper left corner tile and the lower right corner tile coordinates of the image data to be prefetched are determined. After this, create a look-ahead tile table in which the tile coordinates in the rectangular area determined by the tile coordinates of the upper left corner tile and the tile coordinates of the lower right corner are arranged in order from the upper left to the lower right, and stored in memory To do. Since the tile coordinates are arranged in the priority order in the prefetch tile table, information on the priority order is also included. The prefetch tile table is referred to during actual prefetching.

先読み対象となる画像データおよびタイルが決定されると、次にメモリ302内の画像データ先読み領域201に空きがあるか判定する(ステップS406)。空きがなければ先読みはしない。そのため、ステップS406と同じ判定をステップS401の直前に行い、空きがなければ処理を終えるようにしても良い。   When image data and tiles to be prefetched are determined, it is next determined whether or not there is an empty image data prefetch area 201 in the memory 302 (step S406). Do not look ahead if there is no space. Therefore, the same determination as in step S406 may be performed immediately before step S401, and the process may be terminated if there is no space.

メモリに空きがあれば、CPU301はJPEGデコーダ304に対し、画像データの先読み動作を行わせる(ステップS407)。具体的には、メモリ302内の画像データ先読み領域201に空きがある場合には、CPU301は、JPEGデコーダ304に指示を与え、先読み画像解像度の画像データから、先読みタイルテーブルにしたがって優先順位の高いものから、タイル毎にJPEG圧縮データを読み出させる。そして、読み出したデータについて、JPEGデコーダ304によりJPEG伸張処理を行わせる。JPEGデコーダ304で伸張されたデータは画像データ先読み領域201へ書き出される。   If there is free space in the memory, the CPU 301 causes the JPEG decoder 304 to perform a prefetch operation for image data (step S407). Specifically, when the image data prefetch area 201 in the memory 302 has a free space, the CPU 301 gives an instruction to the JPEG decoder 304, and from the prefetch image resolution image data, the priority is high according to the prefetch tile table. JPEG compressed data is read from each tile. Then, the JPEG decoder 304 performs JPEG expansion processing on the read data. Data decompressed by the JPEG decoder 304 is written to the image data prefetch area 201.

先読み領域201に書き出されたデータは、それがどのようなデータであるのか特定できなければならない。一例として、図12にその先読みされたデータの形式を示す。伸張された画像データは、タイル単位に管理されており、タイル毎にタイル座標1203が付されている。そして、同一画像の同一画像解像度のデータについて、その画像解像度を表す解像度データ1202に関連づけられている。このように、タイルが各画像解像度ごとに管理されて、相異なる画像解像度の画像データが、ひとつの画像の画像データファイル名1201に関連づけられる。これにより、先読みされたデータが、どの画像の、どの画像解像度の、どの部分のデータであるのか特定できる。もちろん、管理の方法はこれに限らず、たとえば先読みした全タイルをつなげてひとつの領域を生成しそのファイル名と画像解像度、生成した領域を示す情報(矩形領域であれば対角の座標等)により、そのデータを管理することもできる。   The data written in the prefetch area 201 must be able to specify what kind of data it is. As an example, FIG. 12 shows the format of the prefetched data. The expanded image data is managed in units of tiles, and a tile coordinate 1203 is assigned to each tile. The data having the same image resolution of the same image is associated with resolution data 1202 representing the image resolution. In this way, tiles are managed for each image resolution, and image data with different image resolutions are associated with the image data file name 1201 of one image. Thus, it is possible to specify which image, which image resolution, and which part of the pre-read data. Of course, the management method is not limited to this. For example, all the prefetched tiles are connected to generate one area, and the file name, image resolution, and information indicating the generated area (in the case of a rectangular area, diagonal coordinates, etc.) Thus, the data can be managed.

ステップS409で先読みすべきデータがまだあるか判定し、あればステップS406から繰り返す。   In step S409, it is determined whether there is still data to be prefetched. If there is, data is repeated from step S406.

先読み動作は、装置の操作者によるズーム倍率の変更およびスクロール動作といったLCD307へ表示する画像に対しての変更作業が発生しない間、メモリ302内の画像データ先読み領域201に空きがあり、先読みできるデータが残っている限りCPU301により継続される。   The pre-reading operation is data in which the image data pre-reading area 201 in the memory 302 is empty and can be pre-read while there is no change work on the image displayed on the LCD 307 such as the zoom magnification change and scrolling operation by the operator of the apparatus. As long as is left, it is continued by the CPU 301.

<ズーム処理>
次に先読みした画像データを使用したズーム動作を、図6の処理の流れに従い説明していく。
<Zoom processing>
Next, the zoom operation using the pre-read image data will be described according to the processing flow of FIG.

装置の操作者により、ズーム処理が開始されると、CPU301によりメモリ302内の画像データ先読み領域201に、必要なデータが先読みされていないかどうか判断をおこなう(ステップS601)。指定されたズーム倍率で画像の変倍及び表示を行うために必要なデータの画像解像度およびタイルは、図4のステップS404,S405と同じ要領で決定できる。必要なデータを含むファイル名は、表示対象の画像のファイル名である。そして、図12に示す構造において、ファイル名1201、画像解像度1202、タイル座標1203を参照して、指定されたズーム倍率で画像の変倍及び表示を行うために必要なデータのファイル名、画像解像度、タイル座標が先読みされたデータに含まれるか判断する。このようにして、ズーム処理によりLCD307に表示するために必要となる部分の画像データが、メモリ302内の画像データ先読み領域201に格納されている場合は、データが先読みされていると判断される。   When zoom processing is started by the operator of the apparatus, the CPU 301 determines whether or not necessary data is pre-read in the image data pre-read area 201 in the memory 302 (step S601). The image resolution and tiles of data necessary to perform image scaling and display at a designated zoom magnification can be determined in the same manner as steps S404 and S405 in FIG. The file name including necessary data is the file name of the image to be displayed. In the structure shown in FIG. 12, referring to the file name 1201, the image resolution 1202, and the tile coordinates 1203, the file name and image resolution of the data necessary for scaling and displaying the image at the designated zoom magnification. Determine whether tile coordinates are included in the prefetched data. In this way, when image data of a portion necessary for displaying on the LCD 307 by zoom processing is stored in the image data prefetch area 201 in the memory 302, it is determined that the data has been prefetched. .

装置の操作者により、指定された解像度の画像をLCD307に表示するため、ズーム・スクロール処理ユニット305は2種類の解像度のデータを用いる。CPU301は、2種類の解像度のデータがメモリ302内の画像データ先読み領域201に格納されている場合と、1種類の解像度のデータのみが格納されている場合で異なる処理を行う。そこで、必要な解像度のデータが揃っているか判定する(ステップS607)。2種類の解像度のデータがどちらも格納されていない場合には、データが先読みされていないと判断され、ステップS602に分岐する。なお、本例では、ひとつの画像解像度のデータが先読みされているとは、その画像解像度の必要なデータ全てが先読みされていることを意味する。   The zoom / scroll processing unit 305 uses two types of resolution data in order to display on the LCD 307 an image with a resolution specified by the operator of the apparatus. The CPU 301 performs different processing when data of two types of resolution is stored in the image data prefetch area 201 in the memory 302 and when only data of one type of resolution is stored. Therefore, it is determined whether data having the necessary resolution is available (step S607). If neither of the two types of resolution data is stored, it is determined that the data has not been prefetched, and the process branches to step S602. In this example, pre-reading data with one image resolution means that all data having that image resolution is pre-read.

ここでは、一例として、操作者により指定された画像解像度が150dpiであるとして説明する。画像解像度が150dpiの画像を生成するためには、画像解像度が100dpiと200dpiの2種類の画像データが必要になる。メインメモリ302内の画像データ先読み領域201内に、100dpi、200dpiの2種類のデータが格納されている場合、CPU301はズーム・スクロール処理ユニット305に対し、画像データ先読み領域201内にある100dpiと200dpiのデータから150dpiの画像データを生成させる。ズーム・スクロール処理ユニット305は、生成した画像データをズーム画像領域2204へ書き出し、ズーム後の画像を生成する(ステップS615)。不要となった先読みされたデータは、先読み領域から削除される(ステップS616)。   Here, as an example, it is assumed that the image resolution specified by the operator is 150 dpi. In order to generate an image with an image resolution of 150 dpi, two types of image data with an image resolution of 100 dpi and 200 dpi are required. When two types of data of 100 dpi and 200 dpi are stored in the image data prefetch area 201 in the main memory 302, the CPU 301 instructs the zoom / scroll processing unit 305 to have 100 dpi and 200 dpi in the image data prefetch area 201. 150 dpi image data is generated from the above data. The zoom / scroll processing unit 305 writes the generated image data to the zoom image area 2204, and generates a zoomed image (step S615). The prefetched data that is no longer needed is deleted from the prefetch area (step S616).

次に、CPU301は減色処理ユニット306に指示を与え、減色処理を実行させる(ステップS617)。減色処理ユニット306はメインメモリ302内のズーム画像ワーク領域2204から画像を読み出し、減色処理を行った後、メインメモリ302内のLCDワーク領域1206へデータを書き出し、LCD307へ表示する画像を生成する(ステップS618)。なお、1種類のデータのみが必要な場合には、それが先読みされていればステップS615へと分岐する。   Next, the CPU 301 gives an instruction to the color reduction processing unit 306 to execute the color reduction processing (step S617). The color reduction processing unit 306 reads an image from the zoom image work area 2204 in the main memory 302, performs color reduction processing, writes data to the LCD work area 1206 in the main memory 302, and generates an image to be displayed on the LCD 307 ( Step S618). If only one type of data is required, if it is prefetched, the process branches to step S615.

メインメモリ302内の画像データ先読み領域201内に、いずれか一方のデータのみ、本例では200dpiの画像データのみが格納されている場合、CPU301はJPEGデコーダ304に対し、記憶装置310内の100dpiのJPEG画像圧縮データを読み出させる(ステップS608)。JPEGデコーダ304は、100dpiのJPEG画像圧縮データを伸張し(ステップS6109)、メインメモリ302内に確保されたJPEG伸張ワーク領域205へデータを書き出す(ステップS610)。   When only one of the data, that is, only 200 dpi image data in this example is stored in the image data prefetch area 201 in the main memory 302, the CPU 301 performs 100 dpi in the storage device 310 with respect to the JPEG decoder 304. JPEG image compressed data is read (step S608). The JPEG decoder 304 decompresses the 100 dpi JPEG image compression data (step S6109), and writes the data to the JPEG decompression work area 205 secured in the main memory 302 (step S610).

CPU301はズーム・スクロール処理ユニット305に対し、画像データ先読み領域201内の200dpiの伸張データと、JPEG伸張ワーク領域205内の100dpiの伸張データから150dpiの画像を生成させる。ズーム・スクロール処理ユニット305は、生成した画像データをズーム画像領域2204へ書き出し、ズーム後の画像を生成する(ステップS611)。不要となった先読みされたデータは、先読み領域から削除される(ステップS612)
次に、CPU301は減色処理ユニット306に指示を与え、減色処理を実行させる(ステップS613)。減色処理ユニット306はメインメモリ302内のズーム画像ワーク領域2204から画像を読み出し、減色処理を行った後、メインメモリ302内のLCDワーク領域1206へデータを書き出し、LCD307へ表示する画像を生成する(ステップS614)。LCDC303は、メインメモリ302上のLCDワーク領域1206から減色された画像を読み出し、LCD307へ表示していく。
The CPU 301 causes the zoom / scroll processing unit 305 to generate a 150 dpi image from the 200 dpi decompression data in the image data prefetch area 201 and the 100 dpi decompression data in the JPEG decompression work area 205. The zoom / scroll processing unit 305 writes the generated image data to the zoom image area 2204, and generates a zoomed image (step S611). The prefetched data that has become unnecessary is deleted from the prefetch area (step S612).
Next, the CPU 301 gives an instruction to the color reduction processing unit 306 to execute the color reduction processing (step S613). The color reduction processing unit 306 reads an image from the zoom image work area 2204 in the main memory 302, performs color reduction processing, writes data to the LCD work area 1206 in the main memory 302, and generates an image to be displayed on the LCD 307 ( Step S614). The LCDC 303 reads out the reduced color image from the LCD work area 1206 on the main memory 302 and displays it on the LCD 307.

メインメモリ302内の画像データ先読み領域201内に、必要なデータが格納されていない場合は、従来技術と同様の動作となる。記憶装置310から必要なJPEG圧縮されたデータを読み出し(ステップS602)、JPEGデコーダ304でデータを伸張した後(ステップS603)、ズーム・スクロール処理ユニット305で表示する画像を生成し(ステップS604)、源色して(ステップS605)、ディスプレイに表示する(ステップS606)。   When necessary data is not stored in the image data prefetch area 201 in the main memory 302, the operation is the same as that of the conventional technique. The necessary JPEG compressed data is read from the storage device 310 (step S602), the data is expanded by the JPEG decoder 304 (step S603), and an image to be displayed by the zoom / scroll processing unit 305 is generated (step S604). The source color is selected (step S605) and displayed on the display (step S606).

[本実施形態の効果]
以上説明したように、操作者は、表示領域内において文字をストレス無く読むことができ、かつ、テキストの内容を判断可能な文字数を表示させる傾向が高い。この傾向を利用し表示領域内に一定の文字数のテキストが収まる解像度(すなわち一定の文字サイズ)を計算し、そのサイズにズーム処理するために必要なデータを先読みするため、先読みしたデータの使用効率が高くなり、高速なズーム動作が可能となる。
[Effect of this embodiment]
As described above, the operator has a high tendency to display the number of characters that can read characters in the display area without stress and can determine the content of the text. Utilizing this tendency, the resolution (that is, a certain character size) that fits a certain number of characters in the display area is calculated, and the data required for zooming to that size is prefetched. And the zoom operation becomes fast.

[変形例1]
上記実施形態では、表示される蓋然性が高いと考える画像解像度YをY=X×(y/x)として求めている。y>xなら拡大、y<xなら縮小、x=yなら変倍しないこととなる。ここで、画像解像度Yを一に定めず、一定の幅を持たせてもよい。すなわち、視認しやすい文字サイズyとして、y1<y2のように予め範囲を定めておく。そして、x<y1であれば、文字をサイズy1にすべく画像解像度YをY=X×(y1/x)として求め、x>y2であれば、文字をサイズy2にすべく画像解像度YをY=X×(y2/x)として求める。表示される蓋然性が高いと考える画像解像度Yが決定されれば、その他は上記実施形態と同様である。なおy1<x<y2であれば、現在表示されている画像は、それに含まれる文字は視認しやすいサイズであると判断して先読みをしない。
[Modification 1]
In the above-described embodiment, the image resolution Y that is considered to be displayed with high probability is obtained as Y = X × (y / x). If y> x, enlargement, if y <x, reduce, and if x = y, do not scale. Here, the image resolution Y may not be set to one but may have a certain width. That is, the range is determined in advance as y1 <y2 as the character size y that is easy to visually recognize. If x <y1, the image resolution Y is obtained as Y = X × (y1 / x) to make the character size y1, and if x> y2, the image resolution Y is made to make the character size y2. Obtained as Y = X × (y2 / x). If the image resolution Y considered to be highly likely to be displayed is determined, the rest is the same as in the above embodiment. If y1 <x <y2, the currently displayed image is determined not to be prefetched because it is determined that the characters included in the image are easily visible.

操作者が視認しやすい文字のサイズには、許容できる範囲があると考えられる。そのため、このように一定の幅をもたせて先読み処理を行わないようにすることで、無駄となる可能性の高い先読み処理を行わずに、他の処理のために資源を利用することができる。   It is considered that there is an allowable range for the size of characters that are easily visible to the operator. Therefore, by avoiding the prefetching process with a certain width in this way, it is possible to use resources for other processes without performing the prefetching process that is likely to be wasted.

[変形例2]
操作者が画像の変倍を指示する場合、その変倍率を整数倍あるいは整数分の1で指定するユーザインターフェースを有する画像処理装置や画像処理アプリケーションプログラムは多い。そのため、本変形例では、先読みする画像データも、指定される蓋然性の高い変倍率を文字サイズから判断し、該当する画像解像度の画像データを先読みする。
[Modification 2]
When an operator instructs image scaling, there are many image processing apparatuses and image processing application programs having a user interface for designating the scaling ratio as an integer multiple or a fraction of an integer. For this reason, in the present modification, the pre-read image data is also pre-determined based on the character size with a specified scaling factor having a high probability of being specified, and pre-read image data with the corresponding image resolution.

表示されている画像データの画像解像度がXdpiであり、認識された最小文字のサイズがx画素平方であるとする。見やすい文字のサイズがy1画素平方<y2画素平方の範囲にあるとする。x<y1であれば、変倍率n=roundup(y1/x)を求める。x>y2であれば、変倍率n=1/(rounddown(x/y2))を求める。なおroudup,rounddownはそれぞれ小数部の切り上げ、切り捨てを示す関数である。そして、求めた変倍率nが、利用者が当該画像に含まれる文字を読むために指定する蓋然性の高い整数倍、または整数分の1で与えられる変倍率である。そのため、現在表示されている画像をn倍に変倍した画像解像度Yは、Y=n×Xとなる。そして、画像解像度Yの画像データを生成するために必要な画像データが先読みされる。このようにYの決定の仕方を除き、実施形態の手順と同様である。なおy1<x<y2であれば、現在表示されている画像は、それに含まれる文字は視認しやすいサイズであると判断して先読みをしない。   Assume that the image resolution of the displayed image data is Xdpi, and the recognized minimum character size is x pixel square. Assume that the size of easy-to-see characters is in the range of y1 pixel square <y2 pixel square. If x <y1, the scaling factor n = roundup (y1 / x) is obtained. If x> y2, the scaling factor n = 1 / (rounddown (x / y2)) is obtained. Here, roundup and rounddown are functions indicating rounding up and rounding down of the decimal part, respectively. The obtained scaling factor n is a scaling factor that is given by an integer multiple or a fraction of an integer that is highly likely to be specified by the user to read characters included in the image. Therefore, the image resolution Y obtained by scaling the currently displayed image by n times is Y = n × X. Then, the image data necessary for generating the image data with the image resolution Y is prefetched. Thus, the procedure of the embodiment is the same except for the method of determining Y. If y1 <x <y2, the currently displayed image is determined not to be prefetched because it is determined that the characters included in the image are easily visible.

以上のようにして、画像の変倍を、変倍率を指定して行うユーザインターフェースを持つ装置であっても、指定される蓋然性の高い変倍率で変倍した画像を生成するために必要な画像データを、予め読んでおくことができ、実際に変倍操作が行われたときの応答性を向上させることができる。   As described above, even in a device having a user interface that performs image scaling by designating a scaling factor, an image necessary for generating an image scaled at a specified scaling factor having a high probability of being specified. The data can be read in advance, and the responsiveness when the scaling operation is actually performed can be improved.

[変形例3]
図6では、必要な解像度のデータが先読みされていると判断されるのは、必要なタイルが全て先読みされている場合としていた。しかし、先読みされていないタイルのみをズーム処理時に読み出せば、先読みしたデータを無駄にすることはない。そこで、図6の手順において、ステップS608乃至ステップS614のみを実行する。ただし、ステップS608において記憶装置から読み出すJPEGデータは、必要なデータであって、先読みされていないデータである。図6のステップS601で説明した要領でズーム処理に必要なデータと先読みされているデータとを照合することで、必要なデータであって、先読みされていないデータをタイル単位で決定することができ、決定されたタイルを読むことができる。そしてそれをステップS909で伸張し、先読み領域に、必要なデータをすべて読み出しておく。こうして必要なデータが全て揃ったなら、ステップS610以降の処理を行う。
[Modification 3]
In FIG. 6, it is determined that all necessary tiles have been prefetched when it is determined that the data with the necessary resolution has been prefetched. However, if only tiles that have not been pre-read are read during zoom processing, the pre-read data is not wasted. Therefore, only steps S608 to S614 are executed in the procedure of FIG. However, the JPEG data read from the storage device in step S608 is necessary data that has not been pre-read. By comparing the data necessary for the zoom process with the pre-read data in the manner described in step S601 in FIG. 6, the necessary data that has not been pre-read can be determined in tile units. Can read the determined tile. Then, it is expanded in step S909, and all necessary data is read out to the prefetch area. When all the necessary data is obtained in this way, the processing after step S610 is performed.

[他の実施形態]
なお、本発明は、複数の機器(例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置など)に適用してもよい。また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体およびプログラムコードを記憶した記憶媒体は本発明を構成することになる。
[Other Embodiments]
Note that the present invention can be applied to a system including a plurality of devices (for example, a host computer, an interface device, a reader, and a printer), and a device (for example, a copying machine and a facsimile device) including a single device. You may apply to. Another object of the present invention is to supply a storage medium (or recording medium) in which a program code of software that realizes the functions of the above-described embodiments is recorded to a system or apparatus, and the computer (or CPU or CPU) of the system or apparatus. (MPU) can also be achieved by reading and executing the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the program code itself and the storage medium storing the program code constitute the present invention.

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。   Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an operating system (OS) running on the computer based on the instruction of the program code. A case where part or all of the actual processing is performed and the functions of the above-described embodiments are realized by the processing is also included. Furthermore, after the program code read from the storage medium is written into a memory provided in a function expansion card inserted into the computer or a function expansion unit connected to the computer, the function is determined based on the instruction of the program code. This includes a case where the CPU or the like provided in the expansion card or the function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing.

本発明の実施形態の構成を表す図The figure showing the structure of embodiment of this invention メモリ内の情報を示す図Diagram showing information in memory 記憶装置内の情報を示す図Diagram showing information in the storage device 本発明の実施形態の先読み処理の流れを示す図The figure which shows the flow of the prefetch process of embodiment of this invention 本発明の実施形態の先読み処理の優先順位付けを示す図The figure which shows prioritization of the prefetch process of embodiment of this invention 本発明の実施形態のスクロール処理の流れを示す図The figure which shows the flow of the scroll process of embodiment of this invention スクロール処理の例を示す図Diagram showing an example of scroll processing 画像フォーマットを表す図Diagram showing image format 従来技術の構成を示す図Diagram showing the configuration of the prior art 従来技術の処理の流れを示す図Diagram showing the flow of processing in the prior art 画像表示処理の手順を示す図The figure which shows the procedure of image display processing タイル単位で管理される先読みデータの構造の一例を示す図The figure which shows an example of the structure of the prefetch data managed per tile

符号の説明Explanation of symbols

101,301… CPU
102,302… メインメモリ
103,303… LCDコントローラ
104,304… JPEGデコーダ
105,305… ズーム・スクロール処理ユニット
106,306… 減色処理ユニット
107,307… LCD
108,308… PCIコントローラ
109,309… PCIバス
110,310… 記憶装置
311… 先読み領域
201… 画像データ先読み領域
203… ズーム画像ワーク領域1
204… ズーム画像ワーク領域2
205… JPEG伸張ワーク領域
206… LCDワーク領域1
207… LCDワーク領域2
101, 301 ... CPU
102, 302 ... main memory 103, 303 ... LCD controller 104, 304 ... JPEG decoder 105, 305 ... zoom / scroll processing unit 106, 306 ... subtractive color processing unit 107, 307 ... LCD
108, 308 PCI controller 109 309 PCI bus 110 310 Storage device 311 Prefetch area 201 Image data prefetch area 203 Zoom image work area 1
204 ... Zoom image work area 2
205 ... JPEG decompression work area 206 ... LCD work area 1
207 ... LCD work area 2

Claims (2)

ひとつの画像に対応する相異なる解像度を有し所定ピクセルサイズのタイルから構成される画像データを格納する格納手段と、
前記格納手段から読み出された画像データに基づいて画像を表示する表示手段と、
前記表示後ズーム倍率の変更指定が行なわれる前に、前記表示手段により表示される画像に含まれる文字の大きさを認識する認識手段と、
前記表示後ズーム倍率の変更指定が行なわれる前に、前記認識手段により認識された文字の大きさから、前記文字を前記表示手段に所定サイズで表示させるための画像解像度を計算する計算手段と、
前記表示後ズーム倍率の変更指定が行なわれる前に、前記画像解像度に従い、前記相異なる解像度を有する所定ピクセルサイズのタイルから構成される画像データのうち、少なくとも1種類の解像度の画像データを前記格納手段から読み出す読み出し手段と、
前記変更指定されたズーム倍率に従った解像度の画像データを得るための画像データが、前記読み出し手段により読み出されているか判断する判断手段と、
前記判断手段により、前記変更指定されたズーム倍率に従った解像度の画像データを得るための画像データとして2種類の解像度の画像データが必要であって、前記読み出されている画像データが前記2種類の解像度の画像データのいずれか一方のみと判断した場合、前記2種類の画像データの残りの解像度の画像データを読み出し、前記読み出されている画像データと該読み出された残りの解像度の画像データの中間の解像度の画像データを生成し、前記判断手段により、前記変更指定されたズーム倍率に従った解像度の画像データを得るための画像データとして異なる2種類の解像度の画像データが前記読み出し手段により既に読み出されたと判断した場合、前記異なる2種類の解像度の画像データから異なる2種類の解像度の画像データの中間の解像度の画像データを生成するズーム処理手段と
を備える画像表示装置であって、
前記読み出し手段は、前記表示手段により表示される画像領域の中心を基準として、前記表示手段により表示可能な画像領域について、該画像領域の左上から右下に向けて順次下がるように優先度を付与し、該優先度に従って所定ピクセルサイズのタイル単位で所定ピクセルサイズのタイルから構成される画像データを前記格納手段から読み出すことを特徴とする画像表示装置。
Storage means for storing image data composed of tiles having a predetermined resolution and different resolutions corresponding to one image;
Display means for displaying an image based on the image data read from the storage means;
Recognizing means for recognizing the size of a character included in the image displayed by the display means before the change of the zoom magnification after display is performed ;
Calculation means for calculating an image resolution for causing the display means to display the character in a predetermined size from the size of the character recognized by the recognition means before the change of the zoom magnification after display is performed ;
The image data of at least one kind of resolution among the image data composed of tiles having a predetermined pixel size having different resolutions according to the image resolution is stored before the zoom magnification after display is designated. Reading means for reading from the means;
Determining means for determining whether image data for obtaining image data having a resolution according to the zoom magnification designated for change is read by the reading means;
The determination means requires image data of two kinds of resolutions as image data for obtaining image data of resolution according to the zoom magnification designated for change, and the read image data is the 2 When it is determined that only one of the two types of resolution image data is read, the remaining resolution image data of the two types of image data is read, and the read image data and the remaining resolution of the read resolution are read. Image data having an intermediate resolution of the image data is generated, and the image data having two different resolutions as the image data for obtaining the image data having the resolution according to the zoom magnification designated by the change is read by the determination unit. If it is determined that the previously read by means, said two different resolutions two different from the image data of the resolution image Day An image display device provided with a zoom processing means for generating an intermediate resolution image data,
The readout means gives priority to the image areas that can be displayed by the display means in order from the upper left to the lower right of the image area with reference to the center of the image area displayed by the display means. An image display device that reads out image data composed of tiles having a predetermined pixel size in units of tiles having a predetermined pixel size according to the priority from the storage unit.
ひとつの画像に対応する相異なる解像度を有し所定ピクセルサイズのタイルから構成される画像データを格納する格納手段と、
前記格納手段から読み出された画像データに基づいて画像を表示する表示手段と、
前記表示後ズーム倍率の変更指定が行なわれる前に、前記表示手段により表示される画像に含まれる文字の大きさを認識する認識手段と、
前記表示後ズーム倍率の変更指定が行なわれる前に、前記認識手段により認識された文字の大きさから、前記文字を前記表示手段に所定サイズで表示させるための画像解像度を計算する計算手段と、
前記表示後ズーム倍率の変更指定が行なわれる前に、前記画像解像度に従い、前記相異なる解像度を有する所定ピクセルサイズのタイルから構成される画像データのうち、少なくとも1種類の解像度の画像データを前記格納手段から読み出す読み出し手段と、
前記変更指定されたズーム倍率に従った解像度の画像データを得るための画像データが、前記読み出し手段により読み出されているか判断する判断手段と、
前記判断手段により、前記変更指定されたズーム倍率に従った解像度の画像データを得るための画像データとして2種類の解像度の画像データが必要であって、前記読み出されている画像データが前記2種類の解像度の画像データのいずれか一方のみと判断した場合、前記2種類の画像データの残りの解像度の画像データを読み出し、前記読み出されている画像データと該読み出された残りの解像度の画像データの中間の解像度の画像データを生成し、前記判断手段により、前記変更指定されたズーム倍率に従った解像度の画像データを得るための画像データとして異なる2種類の解像度の画像データが前記読み出し手段により既に読み出されたと判断した場合、前記異なる2種類の解像度の画像データから異なる2種類の解像度の画像データの中間の解像度の画像データを生成するズーム処理手段と
してコンピュータを機能させるためのコンピュータプログラムであって、
前記読み出し手段は、前記表示手段により表示される画像領域の中心を基準として、前記表示手段により表示可能な画像領域について、該画像領域の左上から右下に向けて順次下がるように優先度を付与し、該優先度に従って所定ピクセルサイズのタイル単位で所定ピクセルサイズのタイルから構成される画像データを前記格納手段から読み出すことを特徴とするコンピュータプログラム。
Storage means for storing image data composed of tiles having a predetermined resolution and different resolutions corresponding to one image;
Display means for displaying an image based on the image data read from the storage means;
Recognizing means for recognizing the size of a character included in the image displayed by the display means before the change of the zoom magnification after display is performed ;
Calculation means for calculating an image resolution for causing the display means to display the character in a predetermined size from the size of the character recognized by the recognition means before the change of the zoom magnification after display is performed ;
The image data of at least one kind of resolution among the image data composed of tiles having a predetermined pixel size having different resolutions according to the image resolution is stored before the zoom magnification after display is designated. Reading means for reading from the means;
Determining means for determining whether image data for obtaining image data having a resolution according to the zoom magnification designated for change is read by the reading means;
The determination means requires image data of two kinds of resolutions as image data for obtaining image data of resolution according to the zoom magnification designated for change, and the read image data is the 2 When it is determined that only one of the two types of resolution image data is read, the remaining resolution image data of the two types of image data is read, and the read image data and the remaining resolution of the read resolution are read. Image data having an intermediate resolution of the image data is generated, and the image data having two different resolutions as the image data for obtaining the image data having the resolution according to the zoom magnification designated by the change is read by the determination unit. If it is determined that the previously read by means, said two different resolutions two different from the image data of the resolution image Day A computer program for a zoom processing means for generating the intermediate resolution picture data of causing a computer to function,
The readout means gives priority to the image areas that can be displayed by the display means in order from the upper left to the lower right of the image area with reference to the center of the image area displayed by the display means. And reading out from the storage means image data composed of tiles having a predetermined pixel size in units of tiles having a predetermined pixel size in accordance with the priority.
JP2004011038A 2004-01-19 2004-01-19 Image display apparatus and program Expired - Fee Related JP4743820B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004011038A JP4743820B2 (en) 2004-01-19 2004-01-19 Image display apparatus and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004011038A JP4743820B2 (en) 2004-01-19 2004-01-19 Image display apparatus and program

Publications (3)

Publication Number Publication Date
JP2005202327A JP2005202327A (en) 2005-07-28
JP2005202327A5 JP2005202327A5 (en) 2007-03-08
JP4743820B2 true JP4743820B2 (en) 2011-08-10

Family

ID=34823589

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004011038A Expired - Fee Related JP4743820B2 (en) 2004-01-19 2004-01-19 Image display apparatus and program

Country Status (1)

Country Link
JP (1) JP4743820B2 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4686979B2 (en) * 2004-01-29 2011-05-25 セイコーエプソン株式会社 Information display device and information display program
SE533185C2 (en) * 2007-02-16 2010-07-13 Scalado Ab Method for processing a digital image and image representation format
JP5215945B2 (en) * 2008-08-12 2013-06-19 株式会社ソニー・コンピュータエンタテインメント Image processing device
JP5331432B2 (en) * 2008-09-30 2013-10-30 株式会社ソニー・コンピュータエンタテインメント Image processing apparatus and image processing method
JP4809412B2 (en) * 2008-09-30 2011-11-09 株式会社ソニー・コンピュータエンタテインメント Image processing apparatus and image processing method
EP2330587B1 (en) * 2008-09-30 2019-04-10 Sony Interactive Entertainment Inc. Image processing device and image processing method
JP5574606B2 (en) * 2009-01-29 2014-08-20 キヤノン株式会社 Information processing system, processing method thereof, information processing apparatus, and program
JP5646432B2 (en) * 2011-10-27 2014-12-24 株式会社リョービシステムサービス Image display apparatus and computer program
JP5919544B1 (en) * 2014-11-06 2016-05-18 株式会社アクセル Image reproduction method, image reproduction apparatus, and image reproduction program
JP2017021728A (en) * 2015-07-15 2017-01-26 富士ゼロックス株式会社 Image processing system and image processing program

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1188866A (en) * 1997-07-18 1999-03-30 Pfu Ltd High-definition image display device and program storage medium therefor
JP3720590B2 (en) * 1998-08-21 2005-11-30 キヤノン株式会社 Image processing system and apparatus and methods thereof
JP2000196867A (en) * 1998-12-25 2000-07-14 Canon Inc Method and device for image processing
JP3951654B2 (en) * 2001-09-18 2007-08-01 日本電気株式会社 Server and terminal in image data acquisition system, image data acquisition method thereof, and image data acquisition program
JP3689673B2 (en) * 2002-01-08 2005-08-31 キヤノン株式会社 Image processing apparatus and method

Also Published As

Publication number Publication date
JP2005202327A (en) 2005-07-28

Similar Documents

Publication Publication Date Title
US7009626B2 (en) Systems and methods for generating visual representations of graphical data and digital document processing
US20070234229A1 (en) Server apparatus of computer system
US20080001953A1 (en) Image processing device and method and storage medium storing program
JP2006113801A (en) Apparatus and method for displaying image processing result, and program
JP2007025958A (en) Preview display device, preview display method and preview display program
JP4743820B2 (en) Image display apparatus and program
JP4692614B2 (en) Printing apparatus and program
JP4446447B2 (en) Image forming apparatus
JP4692615B2 (en) Printing apparatus and program
JP2015015699A (en) Image processing system, information processing method and program
JP2003323456A (en) Image display device and image display method
JP6904717B2 (en) Image processing equipment, its control method, and programs
US6426760B1 (en) Information processing apparatus, area selection control method and storage medium
JP4365965B2 (en) Information processing apparatus, information processing method, and storage medium
JP5419783B2 (en) Image reproducing apparatus and method for controlling image reproducing apparatus
KR20050075122A (en) Method and apparatus generating plural images by scanning of one time
JP4888251B2 (en) Image processing apparatus and image processing method
JP2005345917A (en) Image processing apparatus and method for same, and program and storage medium
JP2006163774A (en) Processing system for plurality of images
JP2000076472A (en) Program storage medium
JP4031421B2 (en) Screen copy method
JP4373888B2 (en) Image processing apparatus, thumbnail display method, thumbnail display program, and recording medium recording thumbnail display program
JPH10187129A (en) Data processor, data processing method and storage medium storing computer readable program
JP2003162350A (en) Template data displaying method
JP2006011064A (en) Information processor, and control method and program thereof

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070119

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100326

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110428

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110509

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140520

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees