JP3832511B2 - Digital camera - Google Patents

Digital camera Download PDF

Info

Publication number
JP3832511B2
JP3832511B2 JP2006129074A JP2006129074A JP3832511B2 JP 3832511 B2 JP3832511 B2 JP 3832511B2 JP 2006129074 A JP2006129074 A JP 2006129074A JP 2006129074 A JP2006129074 A JP 2006129074A JP 3832511 B2 JP3832511 B2 JP 3832511B2
Authority
JP
Japan
Prior art keywords
image
image data
button
digital camera
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2006129074A
Other languages
Japanese (ja)
Other versions
JP2006262514A (en
Inventor
隆一 塩原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2006129074A priority Critical patent/JP3832511B2/en
Publication of JP2006262514A publication Critical patent/JP2006262514A/en
Application granted granted Critical
Publication of JP3832511B2 publication Critical patent/JP3832511B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Description

本発明はデジタルカメラに関し、特に、画像を液晶ディスプレイ等の表示装置に表示する際の拡大サムネイル画像の早送り/早戻しによる高速画像選択方法および高速画像選択機能付デジタルカメラに関する。   The present invention relates to a digital camera, and more particularly, to a high-speed image selection method and a digital camera with a high-speed image selection function by fast-forward / fast-reverse of an enlarged thumbnail image when an image is displayed on a display device such as a liquid crystal display.

近年、デジタルカメラ(電子スチールカメラ)が開発/販売され普及しつつある。   In recent years, digital cameras (electronic still cameras) have been developed / sold and are becoming popular.

デジタルカメラは撮像光を光電変換して画像データを得て記録媒体に記録し、パーソナルコンピュータ(以下、パソコン)等の外部画像処理装置に出力するよう構成されており、外部画像処理装置側で印刷用画像データ作成処理を行い、作成された印刷用画像データをプリンタに出力して用紙上に撮影画像を印刷/再生している。   The digital camera is configured to photoelectrically convert imaging light to obtain image data, record it on a recording medium, and output it to an external image processing device such as a personal computer (hereinafter referred to as a personal computer). Image data creation processing is performed, the created print image data is output to a printer, and a captured image is printed / reproduced on paper.

なお、多くのデジタルカメラは撮像結果を表示する液晶ディスプレイを備えており、また、光電変換により得られた画像データは圧縮処理して記録媒体に記録されている。圧縮処理は通常JPEG規格による圧縮(以下、JPEG圧縮)が施される。   Many digital cameras are provided with a liquid crystal display for displaying an imaging result, and image data obtained by photoelectric conversion is compressed and recorded on a recording medium. The compression processing is usually performed according to the JPEG standard (hereinafter referred to as JPEG compression).

パソコン側で画像選択を行う場合には、複数のサムネイル画像を先に取込んでモニターに表示し、ユーザに所望の画像を選択させ、選択された画像データをデジタルカメラ側から取込んで伸張処理を施してからモニターに表示し、ユーザの確認を得てカラー印刷用画像データ作成処理を行い、パソコンに接続するプリンタで画像印刷を行う。   When selecting images on the computer side, multiple thumbnail images are first captured and displayed on the monitor, the user selects the desired image, and the selected image data is captured from the digital camera side for decompression processing. Are displayed on the monitor, and after obtaining confirmation from the user, image data creation processing for color printing is performed, and image printing is performed by a printer connected to a personal computer.

サムネイル画像はパソコン等で取込んだ画像データの中から所望の画像を選択する場合に用いる縮小画像であり、例えば、1フレーム分の画像データの大きさ(メモリー容量)を1024×768ピクセルとすると対応のサムネイル画像は80×60ピクセル程度にデータが間引かれて縮小されたものであり、デジタルカメラの記録媒体上に記録されている。   A thumbnail image is a reduced image used when a desired image is selected from image data captured by a personal computer or the like. For example, assuming that the size (memory capacity) of image data for one frame is 1024 × 768 pixels. The corresponding thumbnail image is obtained by thinning and reducing the data to about 80 × 60 pixels, and is recorded on the recording medium of the digital camera.

ここで、通信回線や携帯電話機等の無線装置とデジタルカメラを接続し、所望の画像データを有線或いは無線で送信したり、デジタルカメラからプリンタに直接印刷用画像データを送信して印刷させるような場合には、デジタルカメラ側で液晶ディスプレイに画像を再生し、所望の画像を選ぶよう構成する必要がある。   Here, a wireless device such as a communication line or a cellular phone is connected to a digital camera, and desired image data is transmitted by wire or wireless, or image data for printing is directly transmitted from the digital camera to a printer for printing. In this case, it is necessary to configure the digital camera to reproduce an image on the liquid crystal display and select a desired image.

しかしながら、画像データはJPEG圧縮されて記録媒体に格納されているので液晶ディスプレイに画像を再生して表示するには記録媒体に格納されている画像データを読み出して伸張処理を行い、フレームメモリーに展開する必要がある。   However, since the image data is JPEG compressed and stored in the recording medium, in order to reproduce and display the image on the liquid crystal display, the image data stored in the recording medium is read out, decompressed, and expanded in the frame memory. There is a need to.

圧縮データの伸張手段をハードウエア回路で構成すれば圧縮データの伸張/展開時間は短いが、コストを下げるために大衆普及型のデジタルカメラでは、通常、伸張手段をプログラム(以下、伸張プログラム)で構成しており、JPEG圧縮された1フレーム分の画像(1024×768ピクセル)を伸張プログラムで伸張処理して展開するには2〜3秒を要する。   If the decompression means for compressed data is configured by a hardware circuit, the decompression / decompression time of the compressed data is short. However, in order to reduce the cost, in a popular digital camera, the decompression means is usually a program (hereinafter, decompression program). It takes 2 to 3 seconds to decompress and expand an image (1024 × 768 pixels) for one frame compressed with JPEG by a decompression program.

このため、ユーザにとっては画像表示時間が長く感じられるという問題点と共に、所望の画像を選択する場合には順次画像データを呼び出して表示してみなければならないことから、所望の画像の格納順序が後の方であった場合にはその画像を選択するまでに実際に長い時間を要することになり、実用上不都合であるという問題点があった。   For this reason, the user feels that the image display time is long, and when selecting a desired image, the user must try to sequentially display and display the image data. In the latter case, it takes a long time to select the image, which is inconvenient in practice.

本発明によるデジタルカメラは、
圧縮画像データから再生される標準画像と縮小画像データから再生される縮小画像を表示可能な表示装置と、
前記縮小画像を拡大して前記表示装置に表示する縮小画像拡大表示手段と、
早送りまたは早戻し用のボタンが押され続けている場合に縮小画像を順次表示する高速画像選択モードを実行可能な高速画像選択手段と、
を備え、
前記高速画像選択手段は、前記高速画像選択モードにおいて、前記早送りまたは早戻し用のボタンが離されたことに応じて前記縮小画像の順次表示を停止して標準画像を再生し、
前記標準画像が表示されている状態から、前記早送り用のボタンおよび早戻し用のボタンとは異なる次の処理を指示するためのボタンが押されたことに応じ、前記次の処理として、前記標準画像を表す圧縮画像データを前記デジタルカメラ内のインターフェイスを介して直接接続された外部装置に伝送するための準備処理に移行することを特徴とする。
The digital camera according to the present invention is
A display device capable of displaying a standard image reproduced from compressed image data and a reduced image reproduced from reduced image data;
Reduced image enlargement display means for enlarging and displaying the reduced image on the display device;
High-speed image selection means capable of executing a high-speed image selection mode for sequentially displaying reduced images when the fast-forward or fast-rewind button is kept pressed;
With
In the high-speed image selection mode, the high-speed image selection means stops the sequential display of the reduced images according to the fast-forward or fast-reverse button being released, and reproduces the standard image,
When the standard image is displayed, a button for instructing a next process different from the fast-forward button and the fast-reverse button is pressed. The process is shifted to a preparation process for transmitting compressed image data representing an image to an external device directly connected via an interface in the digital camera.

このデジタルカメラでは、標準画像が表示されている状態から早送りや早戻し用のボタンとは異なるボタンが押されたときに、表示されている標準画像を表す圧縮画像データを、デジタルカメラ内のインターフェイスを介して直接接続された外部装置に伝送するための準備処理に移行することができる。   In this digital camera, when a button different from the fast forward and fast reverse buttons is pressed from the state in which the standard image is displayed, the compressed image data representing the displayed standard image is transferred to the interface in the digital camera. It is possible to shift to a preparation process for transmission to an external device directly connected via the network.

前記縮小画像拡大表示手段は、前記縮小画像を単純拡大するようにしてもよい。   The reduced image enlargement display unit may simply enlarge the reduced image.

(実施形態1)
図1は本発明の実施形態1に係るデジタルカメラの構成例を示すブロック図である。
(Embodiment 1)
FIG. 1 is a block diagram showing a configuration example of a digital camera according to Embodiment 1 of the present invention.

図1(a)で、デジタルカメラ100は、レンズ、絞り機構等からなりCCD2上に撮影対象像からの反射光を入射する光学系1と、光学系1からの撮像光を電気信号に変換するCCD2と、CCD2からの信号を処理して多値(R,G,B)のラスタデータ(画像データ)としてフレームメモリ12Aに出力する画像データ作成部3とを有し、さらに、制御部4、入力手段5、動画表示制御部6、画像データ出力部7、記録媒体制御部8、内蔵記録媒体9、拡張記録媒体10、インターフェース11、表示手段としてのLEDランプ15および液晶ディスプレイ16を具備する。   In FIG. 1A, a digital camera 100 includes a lens, a diaphragm mechanism, and the like, and an optical system 1 that receives reflected light from an image to be photographed on a CCD 2 and converts imaging light from the optical system 1 into an electrical signal. A CCD 2, and an image data creation unit 3 that processes signals from the CCD 2 and outputs them to the frame memory 12 A as multi-value (R, G, B) raster data (image data). An input unit 5, a moving image display control unit 6, an image data output unit 7, a recording medium control unit 8, a built-in recording medium 9, an extended recording medium 10, an interface 11, an LED lamp 15 as a display unit, and a liquid crystal display 16 are provided.

ここで、制御部4は、画像データ作成部3、動画表示制御部6、画像データ出力部7、記録媒体制御部8、および高速画像選択手段60の動作制御、画像処理および画像圧縮・伸張処理等の実行を制御する。入力手段5は、ボタン、スイッチ等から構成され、これらの操作による使用者からの指示を入力し、デジタル信号に変換して制御部4に与える。   Here, the control unit 4 controls the operation of the image data creation unit 3, the moving image display control unit 6, the image data output unit 7, the recording medium control unit 8, and the high-speed image selection unit 60, image processing, and image compression / decompression processing. Etc. are controlled. The input means 5 is composed of buttons, switches and the like, inputs instructions from the user by these operations, converts them into digital signals, and gives them to the control unit 4.

動画表示制御部6は、液晶ディスプレイ16へ画像データを出力して動画表示を行う。本実施形態では、通常表示ではフレームメモリ12A,12Bに格納された画像データを重畳表示する。なお、通常、画像データ作成部3によるフレームメモリ12Aへの画像データの書き込みは、例えば、30回、あるいは60回などの所定回数行われ、動画表示制御部6による液晶ディスプレイ16への表示は画像データの書き込みに同期して同一の位相で行われる。   The moving image display control unit 6 outputs image data to the liquid crystal display 16 to display a moving image. In the present embodiment, in normal display, the image data stored in the frame memories 12A and 12B is superimposed and displayed. Normally, image data is written into the frame memory 12A by the image data creation unit 3 for a predetermined number of times, for example, 30 times or 60 times, and the display on the liquid crystal display 16 by the moving image display control unit 6 is an image. This is performed in the same phase in synchronization with data writing.

画像データ出力部7は、動画表示中に特定のボタンが押されて画像記録が指示された場合に、フレームメモリ12A上のR、G、Bラスタデータを輝度成分Yおよび色差成分U、Vに変換すると共にJPEG圧縮し、さらに、サムネイル画像を作成するための縮小処理を行う。   The image data output unit 7 converts the R, G, and B raster data on the frame memory 12A into the luminance component Y and the color difference components U and V when an image recording is instructed by pressing a specific button during moving image display. Conversion and JPEG compression are performed, and reduction processing for creating a thumbnail image is performed.

記録媒体制御部8は、画像データ出力部7の出力を受け取ってJPEG圧縮された画像データ(以下、単に画像データと記す)および縮小画像データの内蔵記録媒体9または拡張記録媒体10の所定の位置への書込や、また、記録された各JPEG画像データの読出等の記録制御を行う。   The recording medium control unit 8 receives the output of the image data output unit 7, and JPEG-compressed image data (hereinafter simply referred to as “image data”) and reduced image data in a predetermined recording medium 9 or an extended recording medium 10. Recording control such as writing to and reading of each recorded JPEG image data is performed.

また、内蔵記録媒体9および拡張記録媒体10は画像データを格納するためのもので、シリアルあるいはパラレルなどのインターフェース11は、外部装置とデータの授受を行うためのものである。また、LEDランプ15は、スイッチの状態表示や機能仕様表示を行い、液晶ディスプレイ16は、撮影した像あるいは撮影対象を表示する。   The internal recording medium 9 and the extended recording medium 10 are for storing image data, and the serial or parallel interface 11 is for exchanging data with an external device. In addition, the LED lamp 15 performs switch status display and functional specification display, and the liquid crystal display 16 displays a captured image or a captured object.

フレームメモリ12Aは通常は液晶ディスプレイ16の画像表示用メモリとして用いられ、画像データがビットマップイメージで展開される。また、フレームメモリ12Bは、必要に応じて、メニュー表示用メモリとして用いられる。そして、液晶ディスプレイ16への表示時には、必要に応じてフレームメモリ12Aおよび12Bの内容が重畳して表示される。   The frame memory 12A is normally used as an image display memory for the liquid crystal display 16, and the image data is developed as a bitmap image. The frame memory 12B is used as a menu display memory as necessary. When displaying on the liquid crystal display 16, the contents of the frame memories 12A and 12B are superimposed and displayed as necessary.

内蔵記録媒体9は実施形態ではカメラ100の内部に固定された4MBのフラッシュメモリで構成されており、内蔵記録媒体9には画像データだけでなくプログラム等のデータも記憶される。また、拡張記憶媒体10は実施形態では4〜16MBのメモリカードが用いられ、この場合には、メモリーカードインターフェース(PCMCIAインターフェース:図示せず)が用いられているが、これに限定されず、コンパクトフラッシュ(登録商標)等他のカード型メモリー等を用いることができる。   In the embodiment, the built-in recording medium 9 is composed of a 4 MB flash memory fixed inside the camera 100, and the built-in recording medium 9 stores not only image data but also data such as programs. Further, in the embodiment, the extended storage medium 10 uses a 4 to 16 MB memory card. In this case, a memory card interface (PCMCIA interface: not shown) is used. Other card-type memories such as flash (registered trademark) can be used.

図1(b)は制御部4の構成を示し、制御部4はCPU41、RAM42およびROM43から構成され、ROM43にはデジタルカメラ100の動作制御、データ圧縮・伸張処理等デジタルカメラ内部でのデータ処理に必要なプログラム群が格納されている。   FIG. 1B shows the configuration of the control unit 4. The control unit 4 includes a CPU 41, a RAM 42 and a ROM 43. The ROM 43 stores data processing inside the digital camera such as operation control of the digital camera 100 and data compression / decompression processing. The necessary program group is stored.

また、デジタルカメラ100は、内蔵記録媒体9に格納された画像データをインターフェース11を介して外部装置、例えば、パソコン等のコンピュータ装置200へ送信し、また、モデム300を介して通信し、さらに、印刷画像データ作成処理プログラム群をデジタルカメラ100側にもっている場合には、印刷画像データを作成して直接プリンタ400に送信して記憶させ、印刷させることができる。   The digital camera 100 transmits image data stored in the built-in recording medium 9 to an external device, for example, a computer device 200 such as a personal computer, via the interface 11, and communicates via a modem 300. When the print image data creation processing program group is provided on the digital camera 100 side, print image data can be created, transmitted directly to the printer 400, stored, and printed.

図2は本発明のデジタルカメラの要部を構成する高速画像選択手段60の構成例を示すブロック図であり、高速画像選択手段60はサムネイル圧縮画像データ伸張手段61、サムネイル画像拡大表示手段62、サムネイル画像選択手段63、圧縮画像データ伸張手段64、画像表示手段65、および選択画像確認手段66から構成されている。   FIG. 2 is a block diagram showing a configuration example of the high-speed image selection means 60 constituting the main part of the digital camera of the present invention. The high-speed image selection means 60 includes a thumbnail compressed image data expansion means 61, a thumbnail image enlargement display means 62, The thumbnail image selection unit 63, the compressed image data expansion unit 64, the image display unit 65, and the selected image confirmation unit 66 are configured.

なお、本実施形態では高速画像選択手段60はソフトウエアで構成されている。また、高速画像選択手段60はROM43に格納するよう構成してもよく、或いは外部記録媒体に記録された高速画像選択手段60を取込んで記録媒体9に格納し、実行時にRAM42に転送して実行するように構成してもよい。   In the present embodiment, the high-speed image selection means 60 is configured by software. The high-speed image selection means 60 may be configured to be stored in the ROM 43, or the high-speed image selection means 60 recorded on the external recording medium is taken in and stored in the recording medium 9 and transferred to the RAM 42 at the time of execution. It may be configured to execute.

サムネイル圧縮画像データ伸張手段61はサムネイル画像データをRAM42に取込んで圧縮処理されたサムネイル画像データの伸張処理を行い、RAM42に展開する。また、サムネイル画像は画素数が少ないので全サムネイル画像の伸張処理を行ってもその処理時間は画像データの伸張時間より極めて短い。なお、サムネイル画像データに圧縮処理を施していない方式の場合にはサムネイル圧縮画像データ伸張手段61を要しない。   The thumbnail compressed image data decompression means 61 takes the thumbnail image data into the RAM 42, decompresses the compressed thumbnail image data, and decompresses the thumbnail image data in the RAM 42. In addition, since thumbnail images have a small number of pixels, the processing time is extremely shorter than the expansion time of image data even if all thumbnail images are expanded. Note that the thumbnail compressed image data decompression means 61 is not required in the case of a method in which the thumbnail image data is not compressed.

サムネイル画像拡大表示手段62は、伸張処理されたサムネイル画像データを拡大し、フレームメモリー12Aに移してイメージ画像として展開し、液晶ディスプレイ16に拡大画像として、拡大サムネイル画像31または35を表示する(図3(a)および(b))。   The thumbnail image enlargement display means 62 enlarges the decompressed thumbnail image data, moves it to the frame memory 12A, develops it as an image image, and displays the enlarged thumbnail image 31 or 35 as an enlarged image on the liquid crystal display 16 (FIG. 3 (a) and (b)).

この場合、サムネイル画像を単純に拡大して表示すると画素と画素の間が疎となり、画像全体がぼやける結果になるので、拡大画像を補間したサムネイル画像を表示することが望ましい(図4)。   In this case, when the thumbnail image is simply enlarged and displayed, the pixels are sparse and the entire image is blurred. Therefore, it is desirable to display the thumbnail image obtained by interpolating the enlarged image (FIG. 4).

サムネイル画像選択手段63は、液晶ディスプレイ16の近くに設けたボタンがユーザによって操作された場合に、その操作結果の意味を判定して拡大サムネイル画像31または35を表示画面内でスクロールさせてユーザの所望の画像を特定する。   When a button provided near the liquid crystal display 16 is operated by the user, the thumbnail image selecting means 63 determines the meaning of the operation result and scrolls the enlarged thumbnail image 31 or 35 within the display screen to make the user's operation easier. Identify the desired image.

圧縮画像データ伸張手段64は、拡大サムネイル画像が表示されると記録媒体から当該サムネイル画像に対応する画像データをRAM42に取込んで伸張し、展開する。   When the enlarged thumbnail image is displayed, the compressed image data decompressing means 64 takes the image data corresponding to the thumbnail image from the recording medium into the RAM 42 and decompresses and decompresses the image data.

画像表示手段65は、RAM42に展開されている画像データをフレームメモリー12Aに移してイメージ画像として展開し、液晶ディスプレイ16に表示する。これにより拡大表示されたサムネイル画像をユーザーが見ている間に特定された画像データの伸張処理が終り、拡大サムネイルに上書きして明瞭な画像データが表示されることになる。   The image display means 65 moves the image data developed in the RAM 42 to the frame memory 12A, develops it as an image, and displays it on the liquid crystal display 16. As a result, the expansion processing of the specified image data is completed while the user is viewing the thumbnail image displayed in an enlarged manner, and clear image data is displayed by overwriting the enlarged thumbnail.

選択画像確認手段66は、液晶ディスプレイ16の近くに設けられた特定のボタンがユーザによって操作された場合にその操作結果の意味を判定して、それが選択画像の確認に相当する場合には次の処理に移行する。   The selected image confirmation means 66 determines the meaning of the operation result when a specific button provided near the liquid crystal display 16 is operated by the user. Move on to processing.

なお、上記構成では説明上、サムネイル圧縮画像データ伸張手段61と圧縮画像データ伸張手段64を別のものとして説明としたが、伸張対象のデータが異なるだけであるから実施上はサムネイル圧縮画像データ伸張手段61および圧縮画像データ伸張手段64は同一のデータ伸張手段を用いるものとして構成(例えば、サブプログラムとして構成)できる。   In the above configuration, the thumbnail compressed image data decompressing unit 61 and the compressed image data decompressing unit 64 are described as separate units for the sake of explanation. However, since only the data to be decompressed is different, the thumbnail compressed image data decompression is practical. The means 61 and the compressed image data decompression means 64 can be configured to use the same data decompression means (for example, configured as a subprogram).

また、上記高速画像選択手段60はデジタルカメラでの画像選択だけでなく、パソコン等によるデジタルカメラで撮像された画像選択にも用いることができる。   The high-speed image selection means 60 can be used not only for image selection with a digital camera but also for image selection taken with a digital camera such as a personal computer.

ここで、サムネイル画像拡大表示手段62が採用し得る画素補間法について説明する。   Here, a pixel interpolation method that can be adopted by the thumbnail image enlargement display unit 62 will be described.

画素の補間法として代表的なものに線形補間法と単純補間法(図4)とがあるが、本発明では何れを用いてもよい。   As typical pixel interpolation methods, there are a linear interpolation method and a simple interpolation method (FIG. 4), and any of them may be used in the present invention.

線形補間法は隣接する2点間を線形補間することにより解像度変換を行い、一定の水準の解像度を保つ方法である。   The linear interpolation method is a method of performing resolution conversion by linearly interpolating between two adjacent points to maintain a certain level of resolution.

これに対して、単純補間法は図4に示すように拡大後の原画素A,B,C,Dの位置を求めておき、倍率をR,S(共に正の整数)とするとき、X方向へRー1回原画素をコピーし、X方向へのコピー終了後Y方向へS−1回原画素をコピーして間隔を埋める方法である。   On the other hand, in the simple interpolation method, as shown in FIG. 4, when the positions of the original pixels A, B, C, and D after enlargement are obtained and the magnifications are R and S (both are positive integers), X In this method, the original pixel is copied R-1 times in the direction, and the original pixel is copied S-1 times in the Y direction after the copying in the X direction is completed.

すなわち、図4(a)に示すように原点を原画素Aとし、隣り合っている原画素A(0,0)、B(0,1)、C(1,0)、D(1,1)からなる画像をまずX方向に4倍,Y方向に5倍に拡大すると、拡大後の原画素A,B,C,Dの位置はA(0,0)、B(0,5)、C(4,0)、D(4,5)となる(図4(b))。そこで、X方向に4−1=3回だけ原画素A,B,C,Dをコピーして間隔を埋め、X方向のコピーが終了したならY方向に5−1=4回だけ行をコピーする。この動作により、図4(b)に示すように4×5倍に拡大された画像がビットマップ上に形成される。   That is, as shown in FIG. 4A, the origin is the original pixel A, and the adjacent original pixels A (0, 0), B (0, 1), C (1, 0), D (1, 1) ) Is first magnified 4 times in the X direction and 5 times in the Y direction, the positions of the magnified original pixels A, B, C, D are A (0,0), B (0,5), C (4,0) and D (4,5) are obtained (FIG. 4B). Therefore, the original pixels A, B, C, and D are copied by 4-1 = 3 times in the X direction to fill the interval, and when the copying in the X direction is completed, the row is copied 5-1 = 4 times in the Y direction. To do. By this operation, an image enlarged 4 × 5 times is formed on the bitmap as shown in FIG.

線形補間法では2点間の点の階調を求めることができ、拡大画像の解像度をある水準に保つことが可能であることから画像品質が他の方法と比較してよいという利点があるが、コンピュータを用いて補間演算をする際、特定の場合を除いて複雑な割算が必要になり、処理に長時間を要する。これに対し、単純補間法は他の補間方法と比べて最も早いが、階調が調整されるわけでは無く単純にコピーするだけであることから、画像品質が粗く、拡大率が大きいほど拡大画像の品質が急速に低下するので、せいぜい4倍程度の拡大が限度である。   The linear interpolation method has an advantage that the gradation of a point between two points can be obtained and the resolution of the enlarged image can be maintained at a certain level, so that the image quality may be compared with other methods. When performing an interpolation operation using a computer, complicated division is required except for a specific case, and the processing takes a long time. On the other hand, the simple interpolation method is the fastest compared to other interpolation methods, but the gradation is not adjusted and it is simply copied, so the image quality is coarser and the larger the enlargement ratio, the larger the enlarged image. Since the quality of the image quality deteriorates rapidly, the expansion is limited to about 4 times at most.

本実施形態では、デジタルカメラ100の液晶ディスプレイ16の画面の大きさは制限されており、丁度、サムネイル画像の4倍程度の大きさであることから、画像品質上の問題が生ぜず、しかも他の補間法と比べて補間速度が早いという理由から、拡大サムネイル画像の補間を単純補間法で行っている。なお、表示画像の品質を重視する立場からは線形補間法が望ましい。   In the present embodiment, the screen size of the liquid crystal display 16 of the digital camera 100 is limited, and is just about four times as large as the thumbnail image. The interpolation of enlarged thumbnail images is performed by the simple interpolation method because the interpolation speed is faster than the interpolation method. Note that the linear interpolation method is desirable from the standpoint of emphasizing the quality of the display image.

図5には、高速画像選択手段の動作の一例を示すフローチャートを示す。なお、前提として、サムネイル画像データおよび画像データはJPEG圧縮されて記録媒体9に記録されているものとする。   FIG. 5 shows a flowchart showing an example of the operation of the high-speed image selection means. As a premise, it is assumed that the thumbnail image data and the image data are JPEG compressed and recorded on the recording medium 9.

図5に示すように、ボタン19又は20が押されて高速画像選択が開始されると、サムネイル圧縮画像データ伸張手段61はサムネイル画像データをRAM42に取込んでJPEG圧縮処理されたサムネイル画像データの伸張処理を行い、RAM42に展開する(ステップS1)。次いで、サムネイル画像拡大表示手段62は伸張されたサムネイル画像(図3(a)の例では画像番号31の画像)データに順に索引番号を付けてからサムネイル画像データを拡大して補間(実施形態では単純補間)し、液晶ディスプレイ16に拡大サムネイル画像として表示する(ステップS2)。また、ユーザーがボタン19或いはボタン20を押すとステップS1に戻る(ステップS3:YES)。   As shown in FIG. 5, when the high-speed image selection is started by pressing the button 19 or 20, the thumbnail compressed image data decompressing means 61 takes the thumbnail image data into the RAM 42 and performs the JPEG compression processing of the thumbnail image data. The decompression process is performed and expanded in the RAM 42 (step S1). Next, the thumbnail image enlargement display means 62 sequentially assigns index numbers to the decompressed thumbnail image data (image number 31 in the example of FIG. 3A), and then enlarges the thumbnail image data for interpolation (in the embodiment). Simple interpolation), and displayed on the liquid crystal display 16 as an enlarged thumbnail image (step S2). When the user presses the button 19 or the button 20, the process returns to step S1 (step S3: YES).

サムネイル画像選択手段63は液晶ディスプレイ16の近くに設けられたボタン20(早送りボタン)がユーザーによって押し続けられている間はステップS1,S2の処理を繰返して昇順にサムネイル画像を液晶ディスプレイ16に表示していき(早送り)、ボタン20を離すとサムネイル画像は停止する。   The thumbnail image selection means 63 displays the thumbnail images on the liquid crystal display 16 in ascending order by repeating the processes of steps S1 and S2 while the button 20 (fast forward button) provided near the liquid crystal display 16 is being pressed by the user. The thumbnail image stops when the button 20 is released.

ボタン19は早戻しボタンでありユーザーによって押し続けられている間はステップS1,S2の処理を繰返して降順(逆順)にサムネイル画像を液晶ディスプレイ16に表示していき(早戻し)、ボタン19を離すとサムネイル画像は停止する。   The button 19 is a fast reverse button, and while being pressed by the user, the processing of steps S1 and S2 is repeated to display thumbnail images in the descending order (reverse order) on the liquid crystal display 16 (fast reverse). When it is released, the thumbnail image stops.

停止時間が一定時間(本実施形態では2秒)経過するとその画像が選択画像として特定されたものとみなして次のステップS4に移行する(ステップS3:NO)。   When a fixed time (2 seconds in the present embodiment) elapses, it is assumed that the image has been specified as the selected image, and the process proceeds to the next step S4 (step S3: NO).

ステップS4では、圧縮画像データ伸張手段64が拡大サムネイル画像表示が表示されると記録媒体から当該拡大サムネイル画像に対応する画像データをRAM42に取込んで伸張し、展開する。続いて、画像表示手段65はRAM42に展開されている画像データをフレームメモリー12Aに移してイメージ画像として展開し、液晶ディスプレイ16に上書き表示する(ステップS5)。   In step S4, when the compressed image data decompression means 64 displays the enlarged thumbnail image display, the image data corresponding to the enlarged thumbnail image is taken from the recording medium into the RAM 42, decompressed, and developed. Subsequently, the image display means 65 moves the image data developed in the RAM 42 to the frame memory 12A, develops it as an image, and displays it over the liquid crystal display 16 (step S5).

選択画像確認手段66はボタン17或いは18がユーザによって押される場合に「次の処理」に移行する(ステップS6:YES)。また、ボタン19或いはボタン20が押された場合にはステップS1に戻る(ステップS7:YES)。   When the user presses the button 17 or 18, the selected image confirmation unit 66 proceeds to “next processing” (step S 6: YES). If button 19 or button 20 is pressed, the process returns to step S1 (step S7: YES).

また、ステップS6で一定時間(例えば、6秒間)以上経過してもボタン19或いはボタン20が押されない場合に次の処理に移行するように選択画像確認手段66を構成することもできる。   In addition, the selection image confirmation unit 66 can be configured so as to proceed to the next process when the button 19 or the button 20 is not pressed even if a predetermined time (for example, 6 seconds) or more elapses in step S6.

なお、上記高速画像選択手段60によって画像が選択されたあとの「次の処理」としては、その画像データを有線或いは無線で伝送するための準備処理或いはプリンタに直接印刷するための印刷用画像データ作成処理等があるが、これらの処理はデジタルカメラ100に別途導入されているプログラムによって行われる。   The “next processing” after an image is selected by the high-speed image selection means 60 is a preparatory process for transmitting the image data by wire or wireless, or printing image data for printing directly on a printer. Although there are creation processing and the like, these processing are performed by a program separately installed in the digital camera 100.

図6には、高速画像選択手段の動作の他の例を示すフローチャートを示す。なお、前提として、サムネイル画像データおよび画像データはJPEG圧縮されて記録媒体9に記録されているものとする。   FIG. 6 shows a flowchart showing another example of the operation of the high-speed image selection means. As a premise, it is assumed that the thumbnail image data and the image data are JPEG compressed and recorded on the recording medium 9.

図5の例では、送り/戻りキーのボタン19および20が押されたときに始めから早戻しおよび早送りが開始されたが、この例では、始めは通常の再生を行い、ボタン19または20が所定の条件で押され続けた場合に、高速選択モードに移行するようになっている。   In the example of FIG. 5, when the forward / return key buttons 19 and 20 are pressed, fast reverse and fast forward are started from the beginning. When the button is kept pressed under a predetermined condition, the mode is shifted to the high-speed selection mode.

すなわち、標準再生が行われた際に(ステップS11)、ボタン19または20が押された場合(ステップS12:YES)、圧縮画像データ伸張手段64が一つ前の又は次の画像データをRAM42に取込んで伸張し、展開し、続いて、画像表示手段65がRAM42に展開されている画像データをフレームメモリー12Aに移してイメージ画像として展開し、液晶ディスプレイ16に表示する(ステップS13)。   That is, when the standard reproduction is performed (step S11), when the button 19 or 20 is pressed (step S12: YES), the compressed image data decompression means 64 stores the previous or next image data in the RAM 42. Then, the image display means 65 transfers the image data developed in the RAM 42 to the frame memory 12A, develops it as an image image, and displays it on the liquid crystal display 16 (step S13).

ここで、画像再生が完了した時点で同じボタンが押されている場合には(ステップS14:YES)、高速画像選択モードに移行し、サムネイル圧縮画像データ伸張手段61が一つ前の又は次の画像データに対応するサムネイル画像データをRAM42に取込んでJPEG圧縮処理されたサムネイル画像データの伸張処理を行い、RAM42に展開し、次いで、サムネイル画像拡大表示手段62が伸張されたサムネイル画像データを拡大して補間(実施形態では単純補間)し、液晶ディスプレイ16に拡大サムネイル画像として表示する(ステップS15)。   Here, when the same button is pressed when the image reproduction is completed (step S14: YES), the mode shifts to the high-speed image selection mode, and the thumbnail compressed image data decompression means 61 moves to the previous or next one. Thumbnail image data corresponding to the image data is fetched into the RAM 42, the thumbnail image data subjected to JPEG compression processing is expanded, expanded in the RAM 42, and then the thumbnail image expansion display means 62 expands the expanded thumbnail image data. Then, interpolation (simple interpolation in the embodiment) is performed and displayed as an enlarged thumbnail image on the liquid crystal display 16 (step S15).

また、この拡大サムネイル画像の表示が完了した時点でさらにボタンが押されている場合には(ステップS16:YES)、ステップS14に戻って一つ前の又は次のサムネイル画像を拡大表示し、ボタンが押され続けている間中、この処理が繰り返され、高速画像選択が実現される。   If the button is further pressed when the display of the enlarged thumbnail image is completed (step S16: YES), the process returns to step S14 to enlarge and display the previous or next thumbnail image. As long as is kept pressed, this process is repeated to realize high-speed image selection.

一方、ボタンが押されなくなった場合には(ステップS16:NO)、圧縮画像データ伸張手段64が表示中のサムネイル画像に対応する画像データをRAM42に取込んで伸張し、展開し、画像表示手段65がRAM42に展開されている画像データをフレームメモリー12Aに移してイメージ画像として展開し、液晶ディスプレイ16に上書き表示し(ステップS17)、ステップS12に戻る。   On the other hand, if the button is no longer pressed (step S16: NO), the compressed image data decompression unit 64 takes the image data corresponding to the thumbnail image being displayed in the RAM 42, decompresses it, expands it, and displays the image data. Image data 65 developed in the RAM 42 is transferred to the frame memory 12A and developed as an image, overwritten on the liquid crystal display 16 (step S17), and the process returns to step S12.

以上、高速画像選択処理の動作の例を説明したが、通常再生と高速選択再生との切替は、所定のスイッチ等により行うようにしてもよく、何れの方法によってもよい。   The operation example of the high-speed image selection processing has been described above. Switching between normal reproduction and high-speed selection reproduction may be performed by a predetermined switch or the like, and any method may be used.

図7には、高速画像選択手段の動作のさらに他の例を示すフローチャートを示す。なお、前提として、サムネイル画像データおよび画像データはJPEG圧縮されて記録媒体9に記録されているものとする。   FIG. 7 is a flowchart showing still another example of the operation of the high-speed image selection unit. As a premise, it is assumed that the thumbnail image data and the image data are JPEG compressed and recorded on the recording medium 9.

図6の例では、送り/戻りキーのボタン19および20が所定の条件で押され続けた場合に、高速選択モードに移行するようになっていたが、本例では、標準再生状態から初めてボタン19または20が押された場合には、標準再生を行うが、二回目以降は高速選択モードへ移行するようになっている。   In the example of FIG. 6, when the buttons 19 and 20 of the feed / return key are kept pressed under a predetermined condition, the mode is shifted to the high-speed selection mode. When 19 or 20 is pressed, standard reproduction is performed, but the second and subsequent times are shifted to the high-speed selection mode.

すなわち、標準再生が行われた際に(ステップS21)、メニューの選択キーが押されたか否かを判断し(ステップS22)、選択キーが押された場合には(ステップS22:YES)、メニュー処理を実行した後(ステップS23)、ステップS22に戻る。一方、選択キーが押されないで(ステップS22:NO)、ボタン19または20が押された場合(ステップS24:YES)、一回目のボタン操作なので、圧縮画像データ伸張手段64が一つ前の又は次の画像データをRAM42に取込んで伸張し、展開し、続いて、画像表示手段65がRAM42に展開されている画像データをフレームメモリー12Aに移してイメージ画像として展開し、液晶ディスプレイ16に表示する(ステップS25)。   That is, when the standard reproduction is performed (step S21), it is determined whether or not the menu selection key is pressed (step S22). When the selection key is pressed (step S22: YES), the menu is selected. After executing the process (step S23), the process returns to step S22. On the other hand, if the selection key is not pressed (step S22: NO) and the button 19 or 20 is pressed (step S24: YES), the compressed image data decompression means 64 is the previous one or The next image data is taken into the RAM 42, expanded and expanded, and then the image display means 65 moves the image data expanded in the RAM 42 to the frame memory 12A and expands it as an image image, which is displayed on the liquid crystal display 16. (Step S25).

次いで、所定時間、例えば、1秒または2秒の間、ボタン19または20が押されない場合には(ステップS26:NO、ステップS27:YES)、ステップS22に戻るが、所定時間以内にボタン19または20が押された場合には(ステップS26:YES)、二回目のキー操作になるので、高速画像選択モードに移行し、サムネイル圧縮画像データ伸張手段61が一つ前の又は次の画像データに対応するサムネイル画像データをRAM42に取込んでJPEG圧縮処理されたサムネイル画像データの伸張処理を行い、RAM42に展開し、次いで、サムネイル画像拡大表示手段62が伸張されたサムネイル画像データを拡大して補間(実施形態では単純補間)し、液晶ディスプレイ16に拡大サムネイル画像として表示する(ステップS28)。   Next, when the button 19 or 20 is not pressed for a predetermined time, for example, 1 second or 2 seconds (step S26: NO, step S27: YES), the process returns to step S22. When 20 is pressed (step S26: YES), the second key operation is performed, so that the mode is shifted to the high-speed image selection mode, and the thumbnail compressed image data expansion unit 61 moves to the previous or next image data. The corresponding thumbnail image data is taken into the RAM 42, the thumbnail image data subjected to JPEG compression processing is decompressed and expanded into the RAM 42, and then the thumbnail image enlargement display means 62 enlarges and interpolates the decompressed thumbnail image data. (Simple interpolation in the embodiment) and display as an enlarged thumbnail image on the liquid crystal display 16 (step S28).

また、この拡大サムネイル画像の表示が完了後、所定時間、例えば、1秒または2秒以内にボタンが押された場合には(ステップS29:YES)、ステップS28に戻って一つ前の又は次のサムネイル画像を拡大表示し、所定時間内に連続的にボタンが押された場合には、この処理が繰り返され、高速画像選択が実現される。   Further, after the display of the enlarged thumbnail image is completed, when the button is pressed within a predetermined time, for example, 1 second or 2 seconds (step S29: YES), the process returns to step S28 to return to the previous or next time. When the thumbnail image is enlarged and displayed, and the button is pressed continuously within a predetermined time, this process is repeated to realize high-speed image selection.

一方、ボタンが所定時間内に押されなかった場合には(ステップS29:NO、ステップS30:YES)、圧縮画像データ伸張手段64が表示中のサムネイル画像に対応する画像データをRAM42に取込んで伸張し、展開し、画像表示手段65がRAM42に展開されている画像データをフレームメモリー12Aに移してイメージ画像として展開し、液晶ディスプレイ16に上書き表示し(ステップS31)、ステップS22に戻る。   On the other hand, if the button has not been pressed within the predetermined time (step S29: NO, step S30: YES), the compressed image data decompression means 64 captures the image data corresponding to the thumbnail image being displayed into the RAM 42. The image display means 65 moves the image data expanded in the RAM 42 to the frame memory 12A, expands it as an image image, overwrites it on the liquid crystal display 16 (step S31), and returns to step S22.

図7の例では、標準画像再生から送り/戻りキーが押された場合、2回目以降から高速選択モードに移行するようにしたが、一回目および二回目は、一回目のキー操作で所定のフラグをセットするようにして二回目以降との区別をしてもよい。また、二回目の場合には必ず高速選択に移行するようにしたが、一回目のキー操作の後、所定時間、例えば、1〜3秒程度の時間が経過後には、再度、一回目のキー操作と判断するようにしてもよい。   In the example of FIG. 7, when the forward / return key is pressed from the standard image playback, the mode is changed to the high-speed selection mode from the second time onward. However, the first time and the second time are determined by the first key operation. It may be distinguished from the second and subsequent times by setting a flag. In addition, in the second time, it always shifts to the high-speed selection, but after the first key operation, after a predetermined time, for example, about 1 to 3 seconds, the first key again. You may make it judge that it is operation.

以上、高速画像選択処理の動作の例を説明したが、通常再生と高速選択再生との切替は、所定のスイッチ等により行うようにしてもよく、何れの方法によってもよい。   The operation example of the high-speed image selection processing has been described above. Switching between normal reproduction and high-speed selection reproduction may be performed by a predetermined switch or the like, and any method may be used.

以上本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、種々の変形実施が可能であることはいうまでもない。   Although the embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and it goes without saying that various modifications can be made.

高速画像選択機能付デジタルカメラの構成例を示すブロック図である。It is a block diagram which shows the structural example of a digital camera with a high-speed image selection function. 高速画像選択手段の構成例を示すブロック図である。It is a block diagram which shows the structural example of a high-speed image selection means. デジタルカメラの背面部分図である。It is a back surface partial view of a digital camera. 画素の補間法(単純補間法)の説明図である。It is explanatory drawing of the interpolation method (simple interpolation method) of a pixel. 高速画像選択手段の動作の一例を示すフローチャートである。It is a flowchart which shows an example of operation | movement of a high-speed image selection means. 高速画像選択手段の動作の一例を示すフローチャートである。It is a flowchart which shows an example of operation | movement of a high-speed image selection means. 高速画像選択手段の動作の一例を示すフローチャートである。It is a flowchart which shows an example of operation | movement of a high-speed image selection means.

符号の説明Explanation of symbols

9 記録媒体
15 液晶ディスプレイ(表示手段)
42 RAM
60 高速画像選択手段
61 サムネイル圧縮圧縮画像データ伸張手段
62 サムネイル画像拡大表示手段
63 サムネイル画像選択手段
64 圧縮圧縮画像データ伸張手段
65 画像表示手段
66 選択画像確認手段
100 デジタルカメラ
9 Recording medium 15 Liquid crystal display (display means)
42 RAM
60 High-Speed Image Selection Unit 61 Thumbnail Compression / Compression Image Data Expansion Unit 62 Thumbnail Image Enlargement Display Unit 63 Thumbnail Image Selection Unit 64 Compression / Compression Image Data Expansion Unit 65 Image Display Unit 66 Selected Image Confirmation Unit 100 Digital Camera

Claims (2)

デジタルカメラであって、
圧縮画像データから再生される標準画像と縮小画像データから再生される縮小画像を表示可能な表示装置と、
前記縮小画像を拡大して前記表示装置に表示する縮小画像拡大表示手段と、
早送りまたは早戻し用のボタンが押され続けている場合に縮小画像を順次表示する高速画像選択モードを実行可能な高速画像選択手段と、
を備え、
前記高速画像選択手段は、前記高速画像選択モードにおいて、前記早送りまたは早戻し用のボタンが離されたことに応じて前記縮小画像の順次表示を停止して標準画像を再生し、
前記標準画像が表示されている状態から、前記早送り用のボタンおよび早戻し用のボタンとは異なる次の処理を指示するためのボタンが押されたことに応じ、前記次の処理として、前記標準画像を表す圧縮画像データを前記デジタルカメラ内のインターフェイスを介して直接接続された外部装置に伝送するための準備処理に移行することを特徴とするデジタルカメラ。
A digital camera,
A display device capable of displaying a standard image reproduced from compressed image data and a reduced image reproduced from reduced image data;
Reduced image enlargement display means for enlarging and displaying the reduced image on the display device;
High-speed image selection means capable of executing a high-speed image selection mode for sequentially displaying reduced images when the fast-forward or fast-rewind button is kept pressed;
With
In the high-speed image selection mode, the high-speed image selection means stops the sequential display of the reduced images according to the fast-forward or fast-reverse button being released, and reproduces the standard image,
When the standard image is displayed, a button for instructing a next process different from the fast-forward button and the fast-reverse button is pressed. A digital camera, wherein the process proceeds to a preparation process for transmitting compressed image data representing an image to an external device directly connected via an interface in the digital camera.
請求項1記載のデジタルカメラであって、
前記縮小画像拡大表示手段は、前記縮小画像を単純拡大する、デジタルカメラ。
The digital camera according to claim 1,
The reduced image enlargement display unit simply enlarges the reduced image.
JP2006129074A 1997-04-16 2006-05-08 Digital camera Expired - Lifetime JP3832511B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006129074A JP3832511B2 (en) 1997-04-16 2006-05-08 Digital camera

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP9945597 1997-04-16
JP2006129074A JP3832511B2 (en) 1997-04-16 2006-05-08 Digital camera

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP9177458A Division JPH114367A (en) 1997-04-16 1997-07-02 High speed image selection method and digital camera with high speed image selection function

Publications (2)

Publication Number Publication Date
JP2006262514A JP2006262514A (en) 2006-09-28
JP3832511B2 true JP3832511B2 (en) 2006-10-11

Family

ID=37101142

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006129074A Expired - Lifetime JP3832511B2 (en) 1997-04-16 2006-05-08 Digital camera

Country Status (1)

Country Link
JP (1) JP3832511B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020184662A (en) * 2019-05-01 2020-11-12 登 舟久保 Video conversion method for 2K TV

Also Published As

Publication number Publication date
JP2006262514A (en) 2006-09-28

Similar Documents

Publication Publication Date Title
US8917344B2 (en) Highspeed image selecting method digital camera having highspeed image selecting function
US7057658B1 (en) Digital camera capable of forming a smaller motion image frame
JP4239041B2 (en) Electronic camera, electronic camera control method, and recording medium
US20020093578A1 (en) Information processing device
JPH1118044A (en) Digital still camera
JP2008022514A (en) Image display apparatus
US7023455B2 (en) Apparatus and method for processing video signal
JPH10336494A (en) Digital camera with zoom display function
JP3832511B2 (en) Digital camera
JP3661682B2 (en) High-speed image display in digital cameras
JP3379536B2 (en) High-speed image display in digital cameras
JP3379537B2 (en) High-speed image selection in digital cameras
JP3729200B2 (en) Digital camera
JP3661697B2 (en) Digital camera
JP3832510B2 (en) Digital camera
JP3365413B2 (en) High-speed image display in digital cameras
US7254776B2 (en) Information processing apparatus
JP2001358934A (en) Image pickup device and attached image composition method
JP2004078075A (en) On-screen display device
JP4038842B2 (en) Information processing device
JP2004297300A (en) Image recording apparatus and electronic camera
JP2004274508A (en) Image reproducing apparatus
JP2000101912A (en) Digital camera
JP2000078379A (en) Image data processing method and electronic image-pickup device using the same
JPH1188579A (en) Information processing unit, information processing method and storage medium

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20060614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060710

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100728

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110728

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110728

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120728

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120728

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130728

Year of fee payment: 7

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term