JP4377938B2 - Image processing method and image processing apparatus - Google Patents

Image processing method and image processing apparatus Download PDF

Info

Publication number
JP4377938B2
JP4377938B2 JP2007324560A JP2007324560A JP4377938B2 JP 4377938 B2 JP4377938 B2 JP 4377938B2 JP 2007324560 A JP2007324560 A JP 2007324560A JP 2007324560 A JP2007324560 A JP 2007324560A JP 4377938 B2 JP4377938 B2 JP 4377938B2
Authority
JP
Japan
Prior art keywords
image
image processing
scene information
film
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007324560A
Other languages
Japanese (ja)
Other versions
JP2008146657A (en
Inventor
金城  直人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2007324560A priority Critical patent/JP4377938B2/en
Publication of JP2008146657A publication Critical patent/JP2008146657A/en
Application granted granted Critical
Publication of JP4377938B2 publication Critical patent/JP4377938B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

本発明は、フィルムの画像を光電的に読み取り、この画像が再現されたプリント(写真)を得るデジタルフォトプリンタ等に利用される、画像処理の技術分野に属する。   The present invention belongs to a technical field of image processing used for a digital photo printer or the like that photoelectrically reads an image on a film and obtains a print (photograph) on which the image is reproduced.

現在、ネガフィルム、リバーサルフィルム等の写真フィルム(以下、フィルムとする)に撮影された画像の感光材料(印画紙)への焼き付けは、フィルムの画像を感光材料に投影して感光材料を面露光する、いわゆる直接露光(アナログ露光)が主流である。   Currently, printing of images taken on photographic films (hereinafter referred to as films) such as negative films and reversal films onto photosensitive materials (printing paper) is performed by projecting the film images onto photosensitive materials and exposing the photosensitive materials to surface exposure. The so-called direct exposure (analog exposure) is the mainstream.

これに対し、近年では、デジタル露光を利用する焼付装置、すなわち、フィルムに記録された画像を光電的に読み取って、読み取った画像をデジタル信号とした後、種々の画像処理を施して記録用の画像データとし、この画像データに応じて変調した記録光によって感光材料を走査露光して画像(潜像)を記録し、(仕上り)プリントとするデジタルフォトプリンタが実用化された。
デジタルフォトプリンタでは、画像をデジタルの画像データとして画像処理を行うことができるので、複数画像の合成や画像分割、さらには文字の合成等も画像データ処理によって行うことができ、用途に応じて自由に編集/処理したプリントも出力可能である。しかも、デジタルフォトプリンタによれば、画像をプリント(写真)として出力するのみならず、画像データをコンピュータ等に供給したり、フレキシブルディスク等の記録媒体に保存しておくこともできるので、画像データを、写真以外の様々な用途に利用することができる。
On the other hand, in recent years, a printing apparatus using digital exposure, that is, an image recorded on a film is photoelectrically read, and the read image is converted into a digital signal. A digital photo printer that uses image data, scans and exposes a photosensitive material with recording light modulated in accordance with the image data, records an image (latent image), and produces (finished) print has been put to practical use.
In digital photo printers, images can be processed as digital image data, so multiple images can be combined, divided into images, and even characters can be combined by image data processing. Prints that have been edited / processed can also be output. Moreover, according to the digital photo printer, not only the image can be output as a print (photograph) but also the image data can be supplied to a computer or stored in a recording medium such as a flexible disk. Can be used for various purposes other than photography.

このようなデジタルフォトプリンタは、基本的に、フィルムに記録された画像を光電的に読み取るスキャナ(画像読取装置)と、読み取った画像を画像処理して出力用の画像データとする画像処理装置と、画像入力装置から出力された画像データに応じて感光材料を走査露光して潜像を記録し、露光済の感光材料に現像処理を施してプリントとするプリンタ(プリンタプロセサ)とを有して構成される。   Such a digital photo printer basically includes a scanner (image reading device) that photoelectrically reads an image recorded on a film, and an image processing device that performs image processing on the read image to produce image data for output. A printer (printer processor) that scans and exposes a photosensitive material in accordance with image data output from the image input device, records a latent image, and develops the exposed photosensitive material to produce a print. Composed.

スキャナでは、光源から射出された読取光をフィルムに入射して、フィルムに撮影された画像を担持する投影光を得て、この投影光を結像レンズによってCCDセンサ等のイメージセンサに結像して光電変換することにより画像を読み取り、必要に応じて各種の画像処理を施した後に、フィルムの画像データとして画像処理装置に送る。
画像処理装置は、スキャナによって読み取られた画像データから画像処理条件を設定して、設定した条件に応じた画像処理を画像データに施し、画像記録のための出力画像データ(露光条件)としてプリンタに送る。
プリンタでは、例えば、光ビーム走査露光を利用する装置であれば、画像処理装置から送られた画像データに応じて光ビームを変調して、この光ビームを主走査方向に偏向すると共に、主走査方向と直交する副走査方向に感光材料を搬送することにより、画像を担持する光ビームによって感光材料を露光(焼付け)して潜像を形成し、次いで、プロセサにおいて感光材料に応じた現像処理等を施して、フィルムに撮影された画像が再生されたプリント(写真)とする。
In a scanner, reading light emitted from a light source is incident on a film to obtain projection light carrying an image photographed on the film, and this projection light is imaged on an image sensor such as a CCD sensor by an imaging lens. Then, the image is read by photoelectric conversion, subjected to various image processing as required, and then sent to the image processing device as film image data.
The image processing apparatus sets image processing conditions from the image data read by the scanner, performs image processing according to the set conditions on the image data, and outputs to the printer as output image data (exposure conditions) for image recording. send.
In a printer, for example, if the apparatus uses light beam scanning exposure, the light beam is modulated in accordance with image data sent from the image processing apparatus, and the light beam is deflected in the main scanning direction. The photosensitive material is conveyed in a sub-scanning direction perpendicular to the direction, and the photosensitive material is exposed (baked) by a light beam carrying an image to form a latent image, and then development processing or the like according to the photosensitive material in the processor And a print (photograph) in which an image photographed on the film is reproduced.

前述のように、デジタルフォトプリンタでは、フィルムの画像を光電的に読み取って、デジタルの画像データ(濃度データ)とし、この画像データを解析することによって画像の状態を把握して、その画像に応じた画像処理条件を設定し、この画像処理条件に応じて画像の画像データを処理することによって、焼付時の露光条件すなわち出力用の画像データを得る。
そのため、逆光やストロボ撮影等に起因する画像の飛びやツブレの補正、シャープネス(鮮鋭化)処理、カラーあるいは濃度フェリアの補正等を好適に行って、従来の直接露光では得られなかった高画質な画像が再生された高品位なプリントを得ることができる。
As described above, a digital photo printer photoelectrically reads an image on a film to obtain digital image data (density data). By analyzing the image data, the state of the image is grasped, and the image is processed according to the image. The image processing conditions are set, and the image data of the image is processed according to the image processing conditions, thereby obtaining the exposure conditions at the time of printing, that is, the output image data.
For this reason, it is preferable to correct image skipping and blurring caused by backlighting, flash photography, etc., sharpness (sharpening) processing, color or density feria correction, etc., and achieve high image quality that could not be obtained by conventional direct exposure. A high-quality print in which an image is reproduced can be obtained.

しかしながら、フィルムに撮影される画像は、人物、風景、花等、様々なシーンがある。そのため、画像を光電的に読み取って得られた画像データを解析して画像処理条件を設定しても、必ずしも、その画像に対して最適な画像処理条件が得られない場合もある。   However, the images photographed on the film include various scenes such as a person, a landscape, and a flower. For this reason, even when image data obtained by photoelectrically reading an image is analyzed and image processing conditions are set, an optimal image processing condition for the image may not always be obtained.

本発明の目的は、デジタルフォトプリンタに用いられるデジタルの画像処理方法であって、フィルムに撮影された画像等に応じて最適な画像処理条件を設定することができ、様々なシーンに対応して、高画質な画像が再生されたプリントを安定して出力することができる画像処理方法および画像処理装置を提供することにある。   An object of the present invention is a digital image processing method used in a digital photo printer, which can set optimum image processing conditions according to an image photographed on a film, and is compatible with various scenes. Another object of the present invention is to provide an image processing method and an image processing apparatus capable of stably outputting a print on which a high-quality image is reproduced.

上記目的を達成するために、本発明の第1の態様は、画像データ供給源から供給された、被写体に関する、人物、花、風景、夜景、室内、花火のシーン情報のうち少なくとも2以上のシーン情報の組合せ(人物、花のシーン情報のみからなる組合せを除く)が付与された画像を用いて画像処理条件を設定するに際し、前記画像のうちの1の画像の画像特徴量を算出しておき、前記1の画像に対し、前記少なくとも2以上のシーン情報に基づいて、前記1の画像中の、特定のシーン情報に対応する被写体が抽出された画像領域に対して、前記特定のシーン情報に応じてあらかじめ設定されている画像処理条件と前記算出された前記1の画像の画像特徴量とを用いて、前記特定のシーン情報に応じた画像処理条件を設定することにより、前記1の画像に対して少なくとも2以上の画像処理条件を設定することを特徴とする画像処理方法を提供するものである。 In order to achieve the above object, according to a first aspect of the present invention, there is provided at least two or more scenes among scene information of a person, a flower, a landscape, a night view, a room, and a fireworks related to a subject supplied from an image data supply source. When setting image processing conditions using an image to which a combination of information (excluding a combination of only person and flower scene information) is set, an image feature amount of one of the images is calculated. , For the one image, based on the at least two or more scene information, for the image area in which the subject corresponding to the specific scene information in the one image is extracted, The image processing condition set in advance according to the specific scene information is set using the image processing condition set in advance and the calculated image feature amount of the one image. There is provided an image processing method characterized by setting at least two or more image processing conditions with respect to the image.

さらに、前記2以上の画像処理条件は、前記2以上のシーン情報に応じた画像処理を実行する複数の画像処理アルゴリズムの組み合わせ、または画像処理アルゴリズムの重み付けが決定されたものであることが好ましい。 Furthermore, it is preferable that the two or more image processing conditions are a combination of a plurality of image processing algorithms for performing image processing according to the two or more scene information or a weight of the image processing algorithm determined.

また、本発明の第2の態様は、画像データ供給源から供給された画像を用いて画像処理条件を設定する画像処理装置であって、前記画像のうちの1の画像に付与された、被写体に関する、人物、花、風景、夜景、室内、花火のシーン情報のうち、少なくとも2以上のシーン情報の組合せ(人物、花のシーン情報のみからなる組合せを除く)を読み取る読取手段と、前記1の画像の画像特徴量を算出しておき、前記1の画像に対し、前記読取手段が読み取った前記少なくとも2以上のシーン情報に基づいて、前記1の画像中の、特定のシーン情報に対応する被写体が抽出された画像領域に対して、前記特定のシーン情報に応じてあらかじめ設定されている画像処理条件と前記算出された前記1の画像の画像特徴量とを用いて、前記特定のシーン情報に応じた画像処理条件を設定することにより、前記1の画像に対して少なくとも2以上の画像処理条件を設定する条件設定部とを有することを特徴とする画像処理装置を提供するものである。 According to a second aspect of the present invention, there is provided an image processing apparatus for setting an image processing condition using an image supplied from an image data supply source, wherein the subject assigned to one of the images Reading means for reading a combination of at least two or more scene information (excluding a combination consisting only of person and flower scene information) among scene information of a person, a flower, a landscape, a night view, a room, and a firework , An image feature amount of an image is calculated, and a subject corresponding to specific scene information in the one image based on the at least two or more scene information read by the reading unit for the one image For the image area from which the specific scene is extracted, the image processing condition preset in accordance with the specific scene information and the calculated image feature amount of the one image are used. An image processing apparatus comprising: a condition setting unit that sets at least two or more image processing conditions for the one image by setting an image processing condition according to a report. .

本発明の画像処理方法および画像処理装置によれば、デジタルフォトプリンタ等に利用されるデジタルの画像処理において、フィルムに撮影された画像等の画像のシーンに応じた最適な画像処理条件を設定して、画像データの処理を行うことができるので、各種のシーンで最適な画像が再生された高品位なプリントを作成することができる。   According to the image processing method and the image processing apparatus of the present invention, in digital image processing used for a digital photo printer or the like, optimum image processing conditions are set according to the scene of an image such as an image shot on a film. Since the image data can be processed, a high-quality print in which an optimal image is reproduced in various scenes can be created.

以下、本発明の画像処理方法および画像処理装置について、添付の図面に示される好適実施例を基に詳細に説明する。   Hereinafter, an image processing method and an image processing apparatus according to the present invention will be described in detail based on preferred embodiments shown in the accompanying drawings.

図1に、本発明の画像処理方法を利用するデジタルフォトプリンタの一例のブロック図が示される。
図1に示されるデジタルフォトプリンタ(以下、フォトプリンタ10とする)は、基本的に、フィルムFに撮影された画像を光電的に読み取るスキャナ(画像読取装置)12と、読み取られた画像データ(画像情報)の画像処理やフォトプリンタ10全体の操作および制御等を行う画像処理装置14と、画像処理装置14から出力された画像データに応じて変調した光ビームで感光材料(印画紙)を画像露光し、現像処理して(仕上り)プリントとして出力するプリンタ16とを有して構成される。
また、画像処理装置14には、様々な条件の入力(設定)、処理の選択や指示、色/濃度補正などの指示等を入力するためのキーボード18aおよびマウス18bを有する操作系18と、スキャナ12で読み取られた画像、各種の操作指示、条件の設定/登録画面等を表示するディスプレイ20が接続される。
FIG. 1 is a block diagram showing an example of a digital photo printer that uses the image processing method of the present invention.
A digital photo printer (hereinafter referred to as a photo printer 10) shown in FIG. 1 basically includes a scanner (image reading device) 12 that photoelectrically reads an image taken on a film F, and read image data ( The image processing device 14 performs image processing (image information) and the operation and control of the entire photo printer 10, and the photosensitive material (photographic paper) is imaged with a light beam modulated according to the image data output from the image processing device 14. And a printer 16 that performs exposure, development processing (finished), and outputs it as a print.
Further, the image processing apparatus 14 includes an operation system 18 having a keyboard 18a and a mouse 18b for inputting various settings (settings), processing selection and instructions, instructions for color / density correction, and the like, and a scanner. 12 is connected to a display 20 that displays the image read in step 12, various operation instructions, a condition setting / registration screen, and the like.

なお、本発明の画像処理方法は、このようなデジタルフォトプリンタのみならず、フィルムに撮影された画像をCCDセンサ等で光電的に読み取って、得られた画像データから絞り量などの露光光量や色フィルタ挿入量などの色調整量等の画像処理条件(露光条件)を設定し、この画像処理条件に応じて、フィルムの投影光で感光材料を露光する、従来の直接露光によるアナログのフォトプリンタにも好適に利用可能である。   The image processing method of the present invention is not limited to such a digital photo printer, but an image captured on a film is photoelectrically read by a CCD sensor or the like, and an exposure light amount such as an aperture amount or the like is obtained from the obtained image data. A conventional analog photo printer by direct exposure, in which image processing conditions (exposure conditions) such as color adjustment amount such as color filter insertion amount are set, and the photosensitive material is exposed with the projection light of the film according to the image processing conditions Also, it can be suitably used.

スキャナ12は、フィルムF等に撮影された画像を1コマずつ光電的に読み取る装置で、光源22と、可変絞り24と、フィルムFに入射する読取光をフィルムFの面方向で均一にする拡散ボックス28と、結像レンズユニット32と、R(赤)、G(緑)およびB(青)の各画像読取に対応するラインCCDセンサを有するイメージセンサ34と、アンプ(増幅器)36と、A/D(アナログ/デジタル)変換器38とを有して構成される。   The scanner 12 is a device that photoelectrically reads an image shot on the film F one frame at a time. The light source 22, the variable aperture 24, and diffusion that makes the reading light incident on the film F uniform in the surface direction of the film F. A box 28, an imaging lens unit 32, an image sensor 34 having a line CCD sensor corresponding to R (red), G (green) and B (blue) image reading, an amplifier 36, and A And a / D (analog / digital) converter 38.

また、フォトプリンタ10においては、新写真システム(Advanced Photo System)や135サイズのネガ(あるいはリバーサル)フィルム等のフィルムの種類やサイズ、ストリップスやスライド等のフィルムの形態等に応じて、スキャナ12の本体に装着自在な専用のキャリアが用意されており、キャリアを交換することにより、各種のフィルムや処理に対応することができる。フィルムに撮影され、プリント作成に供される画像(コマ)は、このキャリアによって所定の読取位置に搬送される。
このようなスキャナ12において、フィルムFに撮影された画像を読み取る際には、光源22から射出され、可変絞り24によって光量調整された読取光が、キャリアによって所定の読取位置に位置されたフィルムFに入射して、透過することにより、フィルムFに撮影された画像を担持する投影光を得る。
Further, in the photo printer 10, the scanner 12 is selected according to the type and size of a film such as a new photographic system (Advanced Photo System) and a 135 size negative (or reversal) film, and the form of a film such as strips and slides. A dedicated carrier that can be attached to the main body is prepared. By exchanging the carrier, various types of films and processing can be handled. Images (frames) photographed on a film and used for print creation are conveyed to a predetermined reading position by this carrier.
In such a scanner 12, when reading an image taken on the film F, the reading light emitted from the light source 22 and adjusted in light amount by the variable aperture 24 is positioned at a predetermined reading position by the carrier. The projection light that carries the image photographed on the film F is obtained by being incident and transmitted.

図示例のキャリア30は、新写真システムのフィルムF(カートリッジ)に対応するもので、図2(A)に模式的に示されるように、所定の読取位置にフィルムFを位置しつつ、イメージセンサ34のラインCCDセンサの延在方向(主走査方向)と直交する副走査方向に、フィルムFの長手方向を一致して搬送する、読取位置を副走査方向に挟んで配置される搬送ローラ対30aおよび30bと、フィルムFの投影光を所定のスリット状に規制する、読取位置に対応して位置する主走査方向に延在するスリット40aを有するマスク40とを有する。
フィルムFは、このキャリア30によって読取位置に位置されて副走査方向に搬送されつつ、読取光を入射される。これにより、結果的にフィルムFが主走査方向に延在するスリット40aによって2次元的にスリット走査され、フィルムFに撮影された各コマの画像が読み取られる。
The carrier 30 in the illustrated example corresponds to the film F (cartridge) of the new photographic system. As schematically shown in FIG. 2A, the image sensor is positioned while the film F is positioned at a predetermined reading position. A pair of conveying rollers 30a that conveys the film F in the sub-scanning direction orthogonal to the extending direction (main scanning direction) of the 34 line CCD sensors, with the longitudinal direction of the film F aligned, and sandwiching the reading position in the sub-scanning direction. And 30b, and a mask 40 having a slit 40a extending in the main scanning direction and corresponding to the reading position, which restricts the projection light of the film F into a predetermined slit shape.
The film F is incident on the reading light while being positioned at the reading position by the carrier 30 and being conveyed in the sub-scanning direction. As a result, the film F is slit-scanned two-dimensionally by the slit 40a extending in the main scanning direction, and the image of each frame photographed on the film F is read.

ここで、周知のように、新写真システムのフィルムには、磁気記録媒体が形成され、各種の情報が、あらかじめ磁気記録媒体に記録されており、さらに、カメラ、現像装置、キャリア30に配置される磁気情報の記録および読取手段によって、磁気記録媒体に各種の情報が書き込まれ、また、読み出される。   Here, as is well known, a magnetic recording medium is formed on the film of the new photographic system, and various types of information are recorded in advance on the magnetic recording medium, and are further arranged in the camera, the developing device, and the carrier 30. Various information is written to and read from the magnetic recording medium by the magnetic information recording and reading means.

詳しくは、図3に概念的に示されるように、新写真システムのフィルムFには、カートリッジからの引き出し方向(図中矢印A方向)の先頭コマG1より先端側の所定領域、各コマGに対応する領域、および図示しない後端コマより後端側の所定領域の、幅方向(主走査方向)の両端部近傍に、長手方向(副走査方向)に延在する透明な磁気記録媒体Sが形成されている。
フィルムFの先(後)端部分の磁気記録媒体S1には、カートリッジID、フィルム種、感度、現像日等のフィルムF全体にかかる情報が磁気記録され、各コマ領域の磁気記録媒体S2には、撮影日時、撮影時のストロボ発光の有無、タイトル等の各コマ毎の情報が記録される。また、基本的に、磁気記録媒体Sの幅方向の一方側にはカメラ関係の情報が、他方にはラボ関係の情報が、それぞれ記録される。
なお、図中の符号46は、フィルムFを収納するカートリッジ本体で、符号Pは、フィルムFを搬送(送り出し、巻き戻し)するためのパーフォレションホールである。
Specifically, as conceptually shown in FIG. 3, the film F of the new photographic system has a predetermined area on the leading end side from the top frame G1 in the direction of drawing out from the cartridge (in the direction of arrow A in the figure). A transparent magnetic recording medium S extending in the longitudinal direction (sub-scanning direction) is provided in the vicinity of both ends in the width direction (main scanning direction) of the corresponding region and a predetermined region on the rear end side of the rear end frame (not shown). Is formed.
Information relating to the entire film F such as cartridge ID, film type, sensitivity, and development date is magnetically recorded on the magnetic recording medium S1 at the front (rear) end portion of the film F. Information for each frame such as shooting date / time, presence / absence of flash emission at the time of shooting, title, etc. is recorded. Basically, camera-related information is recorded on one side of the magnetic recording medium S in the width direction, and laboratory-related information is recorded on the other side.
Reference numeral 46 in the figure denotes a cartridge main body for storing the film F, and reference numeral P denotes a perforation hole for transporting (feeding out and rewinding) the film F.

本発明の画像処理方法において、この各コマ領域の磁気記録媒体S2は、撮影された画像のシーンを示すをシーン情報の付与手段の1つとして利用され、必要に応じて、撮影時にカメラの磁気記録手段によってシーン情報を記録される。
また、新写真システムのフィルムFに対応するキャリア30には、磁気記録媒体Sに記録された情報を読み取り、また、必要な情報を記録する磁気ヘッド42および42が配置される。読み取りに供されるコマの磁気記録媒体S2にシーン情報が記録されていれば、磁気ヘッド42がそれを読み取り、スキャナ12から画像処理装置14に送られる。
In the image processing method of the present invention, the magnetic recording medium S2 in each frame area is used as one of the scene information adding means indicating the scene of the captured image. Scene information is recorded by the recording means.
In addition, on the carrier 30 corresponding to the film F of the new photographic system, magnetic heads 42 and 42 for reading information recorded on the magnetic recording medium S and recording necessary information are arranged. If scene information is recorded on the magnetic recording medium S2 of the frame to be read, the magnetic head 42 reads it and sends it from the scanner 12 to the image processing device 14.

さらに、通常の135サイズのフィルムや、新写真システムのフィルムに限らず、フィルムには、フィルム種、感度、コマ番号等を表す、DXコード、拡張DXコード、FNSコード等のバーコードが記録されている。
キャリア30の磁気ヘッド42とマスク40との間には、これらのバーコードを光学的に読み取るためのコードリーダ44が配置される。なお、このようなフィルムに記録されたバーコードを読み取るコードリーダは、新写真システムのキャリア30に限らず、通常の(フィルム)キャリアであれば配置されている。
Furthermore, not only normal 135 size film and new photographic system film, but also barcodes such as DX code, extended DX code, FNS code, etc. are recorded on the film. ing.
A code reader 44 for optically reading these bar codes is disposed between the magnetic head 42 of the carrier 30 and the mask 40. A code reader for reading a barcode recorded on such a film is not limited to the carrier 30 of the new photographic system, but is a normal (film) carrier.

本発明の画像処理方法においては、フィルムの各コマの画像領域外に、シーン情報をバーコードや光学的に読取可能な記号として光学的に記録して、コードリーダ44等を用いてシーン情報を読み取り、スキャナ12から画像処理装置14に送ってもよい。
なお、フィルムへのシーン情報の記録方法には特に限定はなく、例えば、各種のカメラに配置されるフィルムへの日付の記録手段と同様に、撮影時等に液晶ディスプレイ等を用いて焼き込めばよい。
In the image processing method of the present invention, scene information is optically recorded as a barcode or an optically readable symbol outside the image area of each frame of the film, and the scene information is recorded using a code reader 44 or the like. It may be read and sent from the scanner 12 to the image processing apparatus 14.
The method for recording scene information on film is not particularly limited. For example, as with date recording means on film placed on various cameras, it may be printed using a liquid crystal display or the like during shooting. Good.

このようなシーン情報には特に限定はなく、例えば、人物、花、風景、夜景、室内、花火、雪、夕日、静物等が例示され、さらに、人物(逆光)、人物(近接)、風景(海)、風景(山)、室内(蛍光灯)、室内(タングステンランプ)等、より細かな設定としてもよい。
シーン情報は、シーン情報(シーン情報の分類データ値)と画像内容とを対応付けて規格化してもよく、顧客がシーン情報を任意に設定して画像内容と対応付けてラボ店等に登録してもよく、あるいは、両者を併用してもよい。また、規格化する際には、カメラメーカー等で規格を統一するのが好ましい。
さらに、シーン情報は、数字やアルファベットでID化しておき、フィルムへのID情報の付与(入力作業)を容易にするのが好ましい。
Such scene information is not particularly limited, and examples include, for example, a person, a flower, a landscape, a night view, a room, a firework, snow, a sunset, a still life, and the like, and further, a person (backlight), a person (proximity), a landscape ( Finer settings such as sea, landscape (mountain), room (fluorescent lamp), room (tungsten lamp), etc. may be used.
The scene information may be standardized by associating the scene information (scene information classification data value) with the image content, and the customer arbitrarily sets the scene information and associates it with the image content and registers it in the laboratory. Or they may be used in combination. In addition, when standardizing, it is preferable to unify the standards by camera manufacturers and the like.
Furthermore, it is preferable that the scene information is converted into an ID using numbers or alphabets to facilitate the provision (input operation) of ID information to the film.

本発明の画像処理方法を利用するフォトプリンタ10においては、このシーン情報に応じて画像処理条件を設定する。この点に関しては、後に詳述する。
また、1コマ(1画像)に付与するシーン情報は、1つに限定はされない。
In the photo printer 10 using the image processing method of the present invention, image processing conditions are set according to the scene information. This will be described in detail later.
Further, the number of scene information given to one frame (one image) is not limited to one.

前述のように、読取光はキャリア30に保持されたフィルムFを透過して画像を担持する投影光となり、この投影光は、結像レンズユニット32によってイメージセンサ34の受光面に結像される。
図2(B)に示されるように、イメージセンサ34は、R画像の読み取りを行うラインCCDセンサ34R、G画像の読み取りを行うラインCCDセンサ34G、およびB画像の読み取りを行うラインCCDセンサ34Bを有する、いわゆる3ラインのカラーCCDセンサで、各ラインCCDセンサは、前述のように主走査方向に延在している。フィルムFの投影光は、このイメージセンサ34によって、R、GおよびBの3原色に分解されて光電的に読み取られる。
イメージセンサ34の出力信号は、アンプ36で増幅され、A/D変換器38でデジタル信号とされて、画像処理装置14に送られる。
As described above, the reading light passes through the film F held on the carrier 30 and becomes projection light that carries an image, and this projection light is imaged on the light receiving surface of the image sensor 34 by the imaging lens unit 32. .
As shown in FIG. 2B, the image sensor 34 includes a line CCD sensor 34R that reads an R image, a line CCD sensor 34G that reads a G image, and a line CCD sensor 34B that reads a B image. The so-called three-line color CCD sensor has each line CCD sensor extending in the main scanning direction as described above. The projection light of the film F is separated into three primary colors of R, G and B by the image sensor 34 and is read photoelectrically.
The output signal of the image sensor 34 is amplified by the amplifier 36, converted into a digital signal by the A / D converter 38, and sent to the image processing device 14.

スキャナ12においては、フィルムFに撮影された画像の読み取りを、低解像度で読み取るプレスキャンと、出力画像の画像データを得るための本スキャンとの、2回の画像読取で行う。
プレスキャンは、スキャナ12が対象とする全てのフィルムの画像を、イメージセンサ34が飽和することなく読み取れるように、あらかじめ設定された、プレスキャンの読取条件で行われる。一方、本スキャンは、プレスキャンデータから、その画像(コマ)の最低濃度よりも若干低い濃度でイメージセンサ34が飽和するように、各コマ毎に設定された本スキャンの読取条件で行われる。
プレスキャンと本スキャンの出力信号は、解像度と出力レベルが異なる以外は、基本的に同じデータである。
In the scanner 12, the image captured on the film F is read by two image readings of a pre-scan for reading at a low resolution and a main scan for obtaining image data of an output image.
The pre-scan is performed under pre-scan reading conditions set in advance so that the image of all the films targeted by the scanner 12 can be read without the image sensor 34 being saturated. On the other hand, the main scan is performed under the main scan reading conditions set for each frame so that the image sensor 34 is saturated at a density slightly lower than the minimum density of the image (frame) from the pre-scan data.
The output signals of the pre-scan and the main scan are basically the same data except that the resolution and the output level are different.

なお、本発明の画像処理方法にかかるフォトプリンタにおいて、スキャナは、このようなスリット走査によるものに限定はされず、1コマの画像の全面を一度に読み取る、面露光を利用するものであってもよい。
この場合には、例えば、エリアCCDセンサを用い、光源とフィルムFとの間に、R、GおよびBの各色フィルタの挿入手段を設け、色フィルタを挿入してエリアCCDセンサで画像を読み取ることを、R、GおよびBの各色フィルタで順次行い、フィルムに撮影された画像を3原色に分解して順次行う。
In the photo printer according to the image processing method of the present invention, the scanner is not limited to the one using such slit scanning, and uses a surface exposure that reads the entire image of one frame at a time. Also good.
In this case, for example, an area CCD sensor is used, and means for inserting R, G, and B color filters are provided between the light source and the film F, and the image is read by the area CCD sensor by inserting the color filters. Are sequentially performed by the R, G, and B color filters, and the image photographed on the film is separated into three primary colors and sequentially performed.

本発明の画像処理方法において、画像データ供給源は図示例のようなフィルムを読み取るスキャナ12に限定はされず、例えば、反射原稿を読み取るスキャナ、デジタルカメラやデジタルビデオカメラ等の撮像デバイス、インターネットやローカルエルアネットワーク等のコンピュータ通信、MOディスク等の記録媒体(媒体の記録読出手段)等が例示される。
これらの画像データ供給源において、シーン情報は、例えば、画像ファイルのヘッダ等に記録して付与すればよい。
In the image processing method of the present invention, the image data supply source is not limited to the scanner 12 for reading a film as shown in the illustrated example. For example, a scanner for reading a reflection original, an imaging device such as a digital camera or a digital video camera, the Internet, Examples include computer communication such as a local EL network, a recording medium such as an MO disk (medium recording / reading means), and the like.
In these image data supply sources, the scene information may be provided by being recorded, for example, in the header of the image file.

前述のように、スキャナ12から出力されたデジタル信号(画像データ供給源から供給された画像データ)は、画像処理装置14(以下、処理装置14とする)に出力される。
図4に処理装置14のブロック図を示す。処理装置14は、データ処理部48、Log変換器50、プレスキャン(フレーム)メモリ52、本スキャン(フレーム)メモリ54、プレスキャン処理部56、本スキャン処理部58、および条件設定部60を有して構成される。
なお、図4は、主に画像処理関連の部位を示すものであり、処理装置14には、これ以外にも、処理装置14を含むフォトプリンタ10全体の制御や管理を行うCPU、フォトプリンタ10の作動等に必要な情報を記憶するメモリ等が配置され、また、操作系18やディスプレイ20は、このCPU等(CPUバス)を介して各部位に接続される。
As described above, the digital signal (image data supplied from the image data supply source) output from the scanner 12 is output to the image processing device 14 (hereinafter referred to as the processing device 14).
FIG. 4 shows a block diagram of the processing device 14. The processing device 14 includes a data processing unit 48, a log converter 50, a prescan (frame) memory 52, a main scan (frame) memory 54, a prescan processing unit 56, a main scan processing unit 58, and a condition setting unit 60. Configured.
FIG. 4 mainly shows image processing-related parts. Besides, the processing device 14 includes a CPU for controlling and managing the entire photo printer 10 including the processing device 14, and the photo printer 10. A memory or the like for storing information necessary for the operation or the like is arranged, and the operation system 18 and the display 20 are connected to each part via the CPU or the like (CPU bus).

スキャナ12から出力されたR,GおよびBの各デジタル信号は、データ処理部48において、暗時補正、欠陥画素補正、シェーディング補正等の所定のデータ処理を施された後、Log変換器50によって変換されてデジタルの画像データ(濃度データ)とされ、プレスキャンデータはプレスキャンメモリ52に、本スキャンデータは本スキャンメモリ54に、それぞれ記憶(格納)される。
プレスキャンメモリ52に記憶されたプレスキャンデータは、画像データ処理部62(以下、処理部62とする)と画像データ変換部64とを有するプレスキャン処理部56に、他方、本スキャンメモリ54に記憶された本スキャンデータは、画像データ処理部66(以下、処理部66とする)と画像データ変換部68とを有する本スキャン処理部58に読み出される。
The R, G, and B digital signals output from the scanner 12 are subjected to predetermined data processing such as dark correction, defective pixel correction, shading correction, and the like in the data processing unit 48, and then are performed by the Log converter 50. The image data is converted into digital image data (density data), and the prescan data is stored (stored) in the prescan memory 52 and the main scan data is stored in the main scan memory 54, respectively.
The prescan data stored in the prescan memory 52 is stored in the prescan processing unit 56 having the image data processing unit 62 (hereinafter referred to as the processing unit 62) and the image data conversion unit 64, and on the other hand in the main scan memory 54. The stored main scan data is read out to a main scan processing unit 58 having an image data processing unit 66 (hereinafter referred to as processing unit 66) and an image data conversion unit 68.

プレスキャン処理部56の処理部62と、本スキャン処理部58の処理部66は、後述する条件設定部60が設定した処理条件に応じて、スキャナ12によって読み取られた画像(画像データ)に、所定の画像処理を施す部位である。
この処理部62および処理部66は、解像度が異なる以外は、基本的に同じ処理を行うものであるので、以下の説明は、処理部66を代表例として行う。
The processing unit 62 of the pre-scan processing unit 56 and the processing unit 66 of the main scan processing unit 58 apply an image (image data) read by the scanner 12 according to processing conditions set by a condition setting unit 60 described later. This is a part to be subjected to predetermined image processing.
Since the processing unit 62 and the processing unit 66 basically perform the same processing except that the resolution is different, the processing unit 66 will be described as a representative example in the following description.

処理部66(62)は、基本的に、第1処理ブロック66A(62A)、第2処理ブロック66B(62B)、および第3処理ブロック66C(62C)を有して構成される。
第1処理ブロック66Aは、グレイバランス調整、階調補正、および濃度(明るさ)調整等を行う部位である。これらの各処理は、それぞれの調整や補正を行うLUT(ルックアップテーブル)を用いて、好ましくは、これらのLUTをカスケードして、画像データをLUTで順次処理することによって行われる。
第2処理ブロック66Bは、ストロボ撮影や蛍光灯下での撮影等の撮影光源種補正を含めた、画像の彩度調整(色調整)を、マトリクス(MTX)演算によって行う部位である。
第3処理ブロック66Cは、それ以外の、電子変倍処理、覆い焼き処理(濃度ダイナミックレンジの圧縮/伸長)、シャープネス(鮮鋭化)処理等を行うものであり、ローパスフィルタ、加算器、LUT、MTX等を用い、平均化処理や補間演算等による公知の手段で、これらの各処理を行う。
これらの各処理ブロックにおける画像処理条件は、後述する条件設定部60において設定される。
The processing unit 66 (62) basically includes a first processing block 66A (62A), a second processing block 66B (62B), and a third processing block 66C (62C).
The first processing block 66A is a part that performs gray balance adjustment, gradation correction, density (brightness) adjustment, and the like. Each of these processes is performed by using LUTs (look-up tables) for performing respective adjustments and corrections, preferably by cascading these LUTs and sequentially processing image data using the LUTs.
The second processing block 66B is a part that performs image saturation adjustment (color adjustment) by matrix (MTX) calculation including photographing light source type correction such as strobe photographing and photographing under a fluorescent lamp.
The third processing block 66C performs other electronic scaling processing, dodging processing (compression / expansion of density dynamic range), sharpness processing, etc., and includes a low-pass filter, an adder, an LUT, Using MTX or the like, each of these processes is performed by a known means such as an averaging process or an interpolation calculation.
The image processing conditions in each of these processing blocks are set in a condition setting unit 60 described later.

画像データ変換部68は、処理部66によって処理された画像データを、例えば、3D(三次元)−LUT等を用いて変換して、プリンタ16による画像記録に対応する画像データとしてプリンタ16に供給する。
画像データ変換部64は、処理部62によって処理された画像データを、必要に応じて間引いて、同様に、3D−LUT等を用いて変換して、ディスプレイ20による表示に対応する画像データにしてディスプレイ20に表示させるものである。
両者における処理条件は、後述する条件設定部60で設定される。
The image data conversion unit 68 converts the image data processed by the processing unit 66 using, for example, a 3D (three-dimensional) -LUT and supplies the image data to the printer 16 as image data corresponding to image recording by the printer 16. To do.
The image data conversion unit 64 thins out the image data processed by the processing unit 62 as necessary, and similarly converts the image data using a 3D-LUT or the like into image data corresponding to display on the display 20. It is displayed on the display 20.
The processing conditions for both are set by a condition setting unit 60 described later.

条件設定部60は、プレスキャン処理部56および本スキャン処理部58において施す画像処理を決定し、その処理条件を設定する。
この条件設定部60は、セットアップ部72、キー補正部74、パラメータ統合部76、および処理情報記憶部70とを有して構成される。
The condition setting unit 60 determines image processing to be performed in the pre-scan processing unit 56 and the main scan processing unit 58, and sets the processing conditions.
The condition setting unit 60 includes a setup unit 72, a key correction unit 74, a parameter integration unit 76, and a processing information storage unit 70.

セットアップ部72は、プレスキャンデータ等を用いて、本スキャンの読取条件を設定してスキャナ12に供給し、また、プレスキャン処理部56および本スキャン処理部58の画像処理条件を作成(演算)し、パラメータ統合部76に供給する。
具体的には、セットアップ部72は、プレスキャンメモリ52からプレスキャンデータを読み出し、プレスキャンデータから、濃度ヒストグラムの作成や、平均濃度、ハイライト(最低濃度)、シャドー(最高濃度)等の画像特徴量の算出を行い、本スキャンの読取条件を決定し、また、濃度ヒストグラムや画像特徴量に加え、必要に応じて行われるオペレータによる指示等に応じて、グレイバランス調整、階調補正および濃度調整を行うLUTの作成、MTX演算式の作成、鮮鋭度補正係数の算出等、プレスキャン処理部56および本スキャン処理部58における各種の画像処理条件を設定する。
The setup unit 72 sets the reading conditions for the main scan using prescan data or the like and supplies them to the scanner 12, and creates (calculates) the image processing conditions for the prescan processing unit 56 and the main scan processing unit 58. To the parameter integration unit 76.
Specifically, the setup unit 72 reads the prescan data from the prescan memory 52, creates an image of density histogram, average density, highlight (lowest density), shadow (highest density), etc. from the prescan data. Calculate the feature amount, determine the scanning conditions for the main scan, and adjust the gray balance, tone correction, and density according to the operator's instructions given as needed in addition to the density histogram and image feature amount. Various image processing conditions are set in the prescan processing unit 56 and the main scan processing unit 58, such as creation of an LUT for adjustment, creation of an MTX arithmetic expression, calculation of a sharpness correction coefficient, and the like.

ここで、本発明の画像処理方法を利用するフォトプリンタ10においては、そのコマ(画像)がフィルムにシーン情報を記録されたものである場合や、デジタルカメラ等から出力されたシーン情報を付与された画像データである場合には、前述の処理部66(62)における画像処理条件は、シーン情報に応じて、そのシーンの画像が適正に仕上がるように予め定められた条件となるように設定される。すなわち、シーン情報に応じて画像処理アルゴリズムを切り替える。
図示例において、セットアップ部72には、シーン情報に応じた画像処理条件の情報を記憶している処理情報記憶部70が接続されている。また、スキャナ12のキャリア30(磁気ヘッド42)で読み取られた情報は、セットアップ部72にも供給される。セットアップ部72は、供給された磁気情報から、そのコマがシーン情報を付与(フィルムFに記録)されたものであることを検出すると、そのシーン情報に応じた画像処理条件の情報を処理情報記憶部70から読み出し、それに応じて画像処理条件を設定する。
Here, in the photo printer 10 using the image processing method of the present invention, scene information output from a digital camera or the like is given when the frame (image) is recorded on the film with scene information. In the case of the image data, the image processing conditions in the processing unit 66 (62) described above are set in accordance with the scene information so as to be a predetermined condition so that the image of the scene is properly finished. The That is, the image processing algorithm is switched according to the scene information.
In the illustrated example, the setup unit 72 is connected to a processing information storage unit 70 that stores information on image processing conditions corresponding to scene information. Information read by the carrier 30 (magnetic head 42) of the scanner 12 is also supplied to the setup unit 72. When the setup unit 72 detects from the supplied magnetic information that the frame has been given scene information (recorded on the film F), it stores information on image processing conditions according to the scene information as processing information. The data is read from the unit 70, and image processing conditions are set accordingly.

シーン情報に応じた画像処理条件には特に限定はなく、各種のシーンに応じて、出力されたプリントに再生された画像が好適に仕上がるように、適宜設定すればよい。
例えば、シーン情報として『人物』が付与された場合には、セットアップ部72は顔抽出を行って、人物の顔を抽出し、特に、この顔領域の肌色が美しく仕上がるように、各種の画像処理条件、例えば、顔領域の濃度が適正となるように画像全体の濃度を制御し、また、第2処理ブロック66Bにおける彩度補正のMTX演算式を設定し、さらに、顔領域の覆い焼きを行うように、第3処理ブロック66CのLUT等を制御する。なお、顔抽出方法には特に限定はなく、公知の顔抽出アルゴリズムを用いればよい。具体的には、特開平9−138470号公報に開示される、特定色(肌色)を抽出する方法、特定形状パターンを抽出する方法、背景に相当すると推定される領域を除去する方法等、複数の異なる主要部抽出方法を予め評価して重みを定め、各抽出方法で主要部を抽出して、抽出された主要部を定めた重みで重み付けし、その結果に応じた主要部を判定して抽出する方法が例示される。また、これ以外にも、特開平4−346333号、同5−158164号、同5−165120号、同6−160993号、同8−184925号、同9−101579号、同9−138471号等の各公報に開示される方法も、好適に利用可能である。
The image processing conditions according to the scene information are not particularly limited, and may be set as appropriate so that the image reproduced on the output print is suitably finished according to various scenes.
For example, when “person” is given as the scene information, the setup unit 72 performs face extraction to extract the face of the person, and in particular, various image processing so that the skin color of the face area is beautifully finished. Conditions, for example, the density of the entire image is controlled so that the density of the face area is appropriate, the saturation correction MTX arithmetic expression in the second processing block 66B is set, and the face area is dodged. Thus, the LUT and the like of the third processing block 66C are controlled. The face extraction method is not particularly limited, and a known face extraction algorithm may be used. Specifically, there are a plurality of methods such as a method for extracting a specific color (skin color), a method for extracting a specific shape pattern, a method for removing an area estimated to correspond to the background, etc. disclosed in JP-A-9-138470. The main part extraction methods with different evaluators are evaluated in advance to determine the weight, the main part is extracted with each extraction method, the extracted main part is weighted with the determined weight, and the main part according to the result is determined. The method of extracting is illustrated. Besides these, JP-A-4-346333, 5-158164, 5-165120, 6-160993, 8-184925, 9-101579, 9-138471, etc. The methods disclosed in each of these publications can also be suitably used.

また、シーン情報として『花』が付与された場合には、セットアップ部は、彩度の高い領域を抽出し、この領域の彩度を強調して鮮やかな絵柄となるように、彩度補正のMTX演算式等を設定する。
シーン情報として『風景』が付与された場合には、光源種補正を行わず、かつ緑や空が美しく仕上がるように、グレーバランス補正テーブルや彩度補正のMTX演算式等を設定する。
シーン情報として『夜景』や『花火』が付与された場合には、コントラストの高い明暗を強調した画像となるように、階調補正テーブル等を設定する。
さらに、シーン情報として『室内』が付与された場合には、光源種補正を強めに掛けるように彩度補正のMTX演算式等を設定する。
In addition, when “flower” is given as scene information, the setup unit extracts a high-saturation region, and performs saturation correction so that the saturation of this region is emphasized and a vivid picture is obtained. An MTX arithmetic expression is set.
When “scenery” is given as scene information, a gray balance correction table, a saturation correction MTX arithmetic expression, and the like are set so that light source type correction is not performed and green and sky are beautifully finished.
When “night scene” or “fireworks” is given as the scene information, a gradation correction table or the like is set so that an image with high contrast is emphasized.
Further, when “indoor” is given as the scene information, a saturation correction MTX arithmetic expression or the like is set so that the light source type correction is strengthened.

本発明の画像処理方法においては、このようなシーン情報に応じた画像処理アルゴリズムをユニットとして複数用意しておき、画像に付与されたシーン情報に応じて処理を実行する。
また、シーン情報に応じた、複数の画像処理アルゴリズムの組み合わせ(あるいは処理のon/off)や、その重み付けを決定しておき、付与されたシーン情報に応じて処理を実行してもよい。
In the image processing method of the present invention, a plurality of image processing algorithms corresponding to such scene information is prepared as a unit, and the process is executed according to the scene information given to the image.
Also, a combination of a plurality of image processing algorithms (or on / off of processing) according to the scene information and its weight may be determined, and the processing may be executed according to the given scene information.

キー補正部74は、キーボード18aに設定された濃度(明るさ)、色、コントラスト、シャープネス、彩度等を調整するキーやマウス18bで入力された各種の指示等に応じて、画像処理条件の調整量(例えば、LUTの補正量等)を算出し、パラメータ統合部76に供給するものである。
パラメータ統合部76は、セットアップ部72が設定したLUTやMTX演算式等の画像処理条件を受け取り、これらをプレスキャン処理部56および本スキャン処理部58に設定し、さらに、キー補正部74で算出された調整量に応じて、各部位に設定した画像処理条件を補正(調整)し、あるいは画像処理条件を再設定する。
The key correction unit 74 adjusts the image processing condition according to the keys (such as the density (brightness), color, contrast, sharpness, and saturation) set on the keyboard 18a and various instructions input using the mouse 18b. An adjustment amount (for example, an LUT correction amount) is calculated and supplied to the parameter integration unit 76.
The parameter integration unit 76 receives the image processing conditions such as the LUT and MTX arithmetic expression set by the setup unit 72, sets them in the pre-scan processing unit 56 and the main scan processing unit 58, and further calculates by the key correction unit 74. The image processing conditions set for each part are corrected (adjusted) or the image processing conditions are reset according to the adjusted amount.

ところで、新写真システムで同時プリントを依頼すると、フィルムFに撮影された全コマの画像を1枚のプリントに再生したインデックスプリントが添付される。また、通常の135フィルムでも、サービスとして同様のインデックスプリントを添付するラボ店も増えている。
本発明の画像処理方法においては、各コマに付与されたシーン情報を用いて、インデックスプリントを編集してもよい。このような処理を行うことにより、撮影画像を撮影者の任意に分類することができ、プリント(画像ファイル)整理の便を向上できる。
By the way, when the simultaneous printing is requested in the new photo system, an index print obtained by reproducing the images of all frames taken on the film F into one print is attached. In addition, even with normal 135 film, an increasing number of lab shops attach a similar index print as a service.
In the image processing method of the present invention, the index print may be edited using the scene information given to each frame. By performing such processing, the photographed image can be arbitrarily classified by the photographer, and the convenience of organizing prints (image files) can be improved.

例えば、図5(a)に示されるように、シーン情報を付与された1本あるいは複数(N)本のフィルムのプリント作成を依頼された際に、各コマをシーン情報に応じて分類(図示例では、が人物、が花、が風景……と分類)してグループ化し、図5(b)に示されるように、グループ毎に異なるインデックスプリントを出力してもよい。なお、インデックスプリントへの分類およびカートリッジ1Dの表示は、バックプリントでもよい。
また、同じグループの画像が1つの集合あるいは連続的に配列されるように編集をして、1枚あるいは複数枚のインデックスプリントを出力してもよい。
For example, as shown in FIG. 5A, when a print request is made for one or a plurality of (N) films given scene information, each frame is classified according to the scene information (see FIG. 5). In the example shown in FIG. 5B, a person, a flower, and a landscape are classified and grouped, and a different index print may be output for each group as shown in FIG. The classification into index print and the display of the cartridge 1D may be back print.
Further, editing may be performed so that images in the same group are arranged in one set or continuously, and one or a plurality of index prints may be output.

あるいは、シーン情報の代わりに、撮影日や撮影時間(午前と午後等)を用いて各コマを分類してグループ化してもよく、撮影者のデータを用いて各コマを分類してグループ化してもよい。撮影者のデータを用いる際には、カメラへの入力や撮影者IDカードのカメラへのセット等を用いて、フィルム毎あるいはコマ毎に、フィルムに撮影者のID情報を、新写真システムのフィルムに磁気情報したり、フィルムに光学的に焼き付ければよい。
また、撮影倍率、ストロボ発光の有無等の撮影(カメラ)情報や、画像特徴量等を用いて分類を行ってもよい。例えば、撮影倍率やシーンの明るさ(平均濃度など)等の閾値を段階的に設定して、それに応じて各コマを分類してグループ化してもよい。
さらに、撮影日や時間、撮影倍率等に応じて、グループ内の配列順序を決定するパラメータを指定できるようにしてもよい。
Alternatively, instead of scene information, each frame may be classified and grouped using the shooting date and shooting time (such as morning and afternoon), or each frame is classified and grouped using the photographer's data. Also good. When using the photographer's data, the photographer's ID information is added to the film for each film or frame by using the camera input or the photographer ID card set in the camera. Magnetic information can be stored on the film or optically baked onto the film.
Further, the classification may be performed using shooting (camera) information such as shooting magnification, presence / absence of strobe light emission, image feature amount, and the like. For example, threshold values such as shooting magnification and scene brightness (such as average density) may be set in stages, and each frame may be classified and grouped accordingly.
Furthermore, a parameter for determining the arrangement order in the group may be designated according to the shooting date, time, shooting magnification, and the like.

なお、このような分類およびグループ化、編集は、画像データをフレキシブルディスク等の磁気記録媒体、MOディスク等の光磁気記録媒体、CD−ROM等の光記録媒体等の各種の記録媒体に出力する際にも、極めて有効である。 Such classification, grouping, and editing output image data to various recording media such as a magnetic recording medium such as a flexible disk, a magneto-optical recording medium such as an MO disk, and an optical recording medium such as a CD-ROM. In particular, it is extremely effective.

以下、スキャナ12および処理装置14の作用を説明することにより、本発明の画像処理方法について、より詳細に説明する。   Hereinafter, the image processing method of the present invention will be described in more detail by describing the operation of the scanner 12 and the processing device 14.

図示例のフィルムFは新写真システムに対応するものであるので、撮影者(プリント作成の依頼者)は、例えばカメラに設けられる磁気情報の入力手段によって、撮影時に、フィルムFの各コマの磁気記録媒体S2にシーン情報を磁気記録する。   Since the film F in the illustrated example corresponds to the new photographic system, the photographer (requester of print creation), for example, uses the magnetic information input means provided in the camera to magnetize each frame of the film F during photographing. The scene information is magnetically recorded on the recording medium S2.

このフィルムFのプリント作成を依頼されたオペレータは、フィルムFに対応するキャリア30をスキャナ12に装填し、キャリア30の所定位置にフィルムF(カートリッジ)をセットし、作成するプリントサイズ等の必要な指示を入力した後に、プリント作成開始を指示する。
これにより、スキャナ12の可変絞り24の絞り値やイメージセンサ(ラインCCDセンサ)34の蓄積時間がプレスキャンの読取条件に応じて設定され、その後、キャリア30がフィルムFをカートリッジから引き出して、プレスキャンに応じた速度で副走査方向に搬送して、プレスキャンが開始され、前述のように所定の読取位置において、フィルムFがスリット走査されて投影光がイメージセンサ34に結像して、フィルムFに撮影された画像がR,GおよびBに分解されて光電的に読み取られる。
また、このフィルムFの搬送の際に、磁気ヘッド42によって磁気記録媒体Sに記録された磁気情報が読み出され、また、コードリーダ44によってDXコード等のバーコードが読まれ、必要な情報が所定の部位に送られる。本例においては、磁気記録媒体S2に記録された磁気情報から各コマのシーン情報が検知され、セットアップ部72に供給される。
An operator who has been requested to create a print of the film F loads the carrier 30 corresponding to the film F into the scanner 12, sets the film F (cartridge) at a predetermined position of the carrier 30, and needs the print size to be created. After inputting the instruction, it instructs the start of print creation.
Thus, the aperture value of the variable aperture 24 of the scanner 12 and the accumulation time of the image sensor (line CCD sensor) 34 are set according to the prescan reading conditions, and then the carrier 30 pulls the film F out of the cartridge and presses it. The film is conveyed in the sub-scanning direction at a speed corresponding to the can, and pre-scanning is started. As described above, the film F is slit-scanned at the predetermined reading position, and the projection light is imaged on the image sensor 34. The image photographed in F is decomposed into R, G, and B and is read photoelectrically.
When the film F is transported, magnetic information recorded on the magnetic recording medium S is read by the magnetic head 42, and a bar code such as a DX code is read by the code reader 44. It is sent to a predetermined part. In this example, scene information of each frame is detected from the magnetic information recorded on the magnetic recording medium S <b> 2 and supplied to the setup unit 72.

なお、本発明においては、プレスキャンおよび本スキャンは、1コマずつ行ってもよく、全コマあるいは所定の複数コマずつ、連続的にプレスキャンおよび本スキャンを行ってもよい。以下の例では、説明を簡潔にするために、1コマの画像読取を例に説明を行う。   In the present invention, the pre-scan and the main scan may be performed one frame at a time, or the pre-scan and the main scan may be performed continuously for all frames or a predetermined plurality of frames. In the following example, in order to simplify the description, the description will be given by taking an example of image reading of one frame.

プレスキャンによるイメージセンサ34の出力信号は、アンプ36で増幅されて、A/D変換器38に送られ、デジタル信号とされる。
デジタル信号は、処理装置14に送られ、データ処理部48で所定のデータ処理を施され、Log変換器50でデジタルの画像データであるプレスキャンデータとされ、プレスキャンメモリ52に記憶される。
The output signal of the image sensor 34 by the pre-scan is amplified by the amplifier 36, sent to the A / D converter 38, and converted into a digital signal.
The digital signal is sent to the processing device 14, subjected to predetermined data processing by the data processing unit 48, converted to pre-scan data that is digital image data by the Log converter 50, and stored in the pre-scan memory 52.

プレスキャンメモリ52にプレスキャンデータが記憶されると、条件設定部60のセットアップ部72がこれを読み出し、濃度ヒストグラムの作成、ハイライトやシャドー等の画像特徴量の算出等を行い、本スキャンの読取条件を設定してスキャナ12に供給する。   When the pre-scan data is stored in the pre-scan memory 52, the setup unit 72 of the condition setting unit 60 reads it, creates a density histogram, calculates image features such as highlights and shadows, etc. Reading conditions are set and supplied to the scanner 12.

また、セットアップ部72は、画像処理条件も設定するが、前述のように、セットアップ部72には、スキャナ12(キャリア30)から、フィルムFから読み取られた磁気情報が供給されているので、セットアップ部72は、磁気情報からシーン情報を検知し、処理情報記憶部70からシーン情報に応じた画像処理条件の情報を読み出し、この情報に応じて、濃度ヒストグラムや算出した画像特徴量を用い、さらに、必要に応じて行われるオペレータの指示を加味して、処理部66の第1、第2および第3の各処理ブロックにおける画像処理条件を設定し、パラメータ統合部76に供給する。
例えば、シーン情報として『人物』が付与された場合には、セットアップ部72は、顔抽出を行って、顔領域の肌色が美しく仕上がるように、全体の濃度調整、第2処理ブロック66Bに設定する彩度補正のMTX演算式、第3処理ブロック66Cにおける覆い焼き処理の条件等を初めとした、各画像処理の条件を設定する。
パラメータ統合部76は、受け取った画像処理条件をプレスキャン処理部56および本スキャン処理部58の所定部位(ハードウエア)に設定する。
The setup unit 72 also sets image processing conditions. As described above, the setup unit 72 is supplied with magnetic information read from the film F from the scanner 12 (carrier 30). The unit 72 detects the scene information from the magnetic information, reads the information of the image processing conditions according to the scene information from the processing information storage unit 70, and uses the density histogram and the calculated image feature amount according to this information, Taking account of the operator's instructions as necessary, the image processing conditions in the first, second and third processing blocks of the processing unit 66 are set and supplied to the parameter integration unit 76.
For example, when “person” is given as the scene information, the setup unit 72 performs face extraction and sets the overall density adjustment and second processing block 66B so that the skin color of the face area is beautifully finished. Conditions for each image processing are set, including an MTX arithmetic expression for saturation correction, conditions for dodging processing in the third processing block 66C, and the like.
The parameter integration unit 76 sets the received image processing conditions in predetermined parts (hardware) of the pre-scan processing unit 56 and the main scan processing unit 58.

検定を行う場合には、プレスキャンデータが処理部62によってプレスキャンメモリ52から読み出され、処理部62の各処理ブロック処理され、次いで、画像データ変換部64で変換され、シミュレーション画像としてディスプレイ20に表示される。
オペレータは、ディスプレイ20の表示を見て、画像すなわち処理結果の確認(検定)を行い、必要に応じて、キーボード18aに設定された調整キー等を用いて色、濃度、階調等を調整する。
この調整の入力は、キー補正部74に送られ、キー補正部74は調整入力に応じた画像処理条件の補正量を算出し、これをパラメータ統合部76に送る。パラメータ統合部76は、送られた補正量に応じて、前述のように、処理部62および66のLUTやMTX等を補正する。従って、この補正すなわちオペレータによる調整入力に応じて、ディスプレイ20に表示される画像も変化する。
When performing the test, the prescan data is read from the prescan memory 52 by the processing unit 62, processed in each processing block of the processing unit 62, and then converted by the image data conversion unit 64, and displayed as a simulation image on the display 20 Is displayed.
The operator looks at the display 20 and confirms (tests) the image, that is, the processing result, and adjusts the color, density, gradation, and the like as necessary using the adjustment keys set on the keyboard 18a. .
The input of this adjustment is sent to the key correction unit 74, and the key correction unit 74 calculates the correction amount of the image processing condition according to the adjustment input, and sends this to the parameter integration unit 76. The parameter integration unit 76 corrects the LUT, MTX, and the like of the processing units 62 and 66 as described above according to the correction amount sent. Accordingly, the image displayed on the display 20 also changes in accordance with this correction, that is, an adjustment input by the operator.

オペレータは、このコマの画像が適正(検定OK)であると判定すると、キーボード18a等を用いてプリント開始を指示する。これにより、画像処理条件が確定し、スキャナ12において可変絞り24の絞り値等が設定された本スキャンの読取条件に応じて設定されると共に、キャリア30が本スキャンに対応する速度でフィルムFを搬送し、本スキャンが開始される。
なお、検定を行わない場合には、パラメータ統合部76による本スキャン処理部58の処理部66への画像処理条件の設定を終了した時点で画像処理条件が確定し、本スキャンが開始される。
When the operator determines that the image of this frame is appropriate (validation OK), the operator instructs the start of printing using the keyboard 18a or the like. As a result, the image processing conditions are determined and set according to the reading conditions of the main scan in which the aperture value and the like of the variable aperture 24 are set in the scanner 12, and the carrier 30 moves the film F at a speed corresponding to the main scan. The main scan is started.
In the case where the verification is not performed, the image processing conditions are determined when the setting of the image processing conditions to the processing unit 66 of the main scanning processing unit 58 by the parameter integration unit 76 is completed, and the main scanning is started.

本スキャンは、可変絞り24の絞り値等の読取条件が設定された本スキャンの読取条件となる以外はプレスキャンと同様に行われ、イメージセンサ34からの出力信号はアンプ36で増幅されて、A/D変換器38でデジタル信号とされ、処理装置14のデータ処理部48で処理されて、Log変換器50で本スキャンデータとされ、本スキャンメモリ54に送られる。
本スキャンデータが本スキャンメモリ54に送られると、本スキャン処理部58によって読み出され、処理部66の各処理ブロックで確定した画像処理条件で画像処理され、次いで、画像データ変換部68で変換されて出力用の画像データとされ、プリンタ16に出力される。
The main scan is performed in the same manner as the prescan except that the reading conditions such as the aperture value of the variable aperture 24 are set, and the output signal from the image sensor 34 is amplified by the amplifier 36, It is converted into a digital signal by the A / D converter 38, processed by the data processing unit 48 of the processing device 14, converted to the main scan data by the Log converter 50, and sent to the main scan memory 54.
When the main scan data is sent to the main scan memory 54, it is read by the main scan processing unit 58, subjected to image processing under the image processing conditions determined in each processing block of the processing unit 66, and then converted by the image data conversion unit 68. Thus, the image data is output and output to the printer 16.

プリンタ16は、供給された画像データに応じて感光材料(印画紙)を露光して潜像を記録するプリンタ(焼付装置)と、露光済の感光材料に所定の処理を施してプリントとして出力するプロセサ(現像装置)とを有して構成される。
プリンタでは、例えば、感光材料をプリントに応じた所定長に切断した後に、バックプリントを記録し、次いで、感光材料の分光感度特性に応じたR露光、G露光およびB露光の3種の光ビームを処理装置14から出力された画像データに応じて変調して主走査方向に偏向すると共に、主走査方向と直交する副走査方向に感光材料を搬送することにより、前記光ビームで感光材料を2次元的に走査露光して潜像を記録し、プロセサに供給する。感光材料を受け取ったプロセサは、発色現像、漂白定着、水洗等の所定の湿式現像処理を行い、乾燥してプリントとし、フィルム1本分等の所定単位に仕分して集積する。
The printer 16 exposes the photosensitive material (printing paper) according to the supplied image data and records a latent image, and performs a predetermined process on the exposed photosensitive material and outputs it as a print. And a processor (developing device).
In a printer, for example, after a photosensitive material is cut into a predetermined length corresponding to a print, a backprint is recorded, and then three types of light beams of R exposure, G exposure, and B exposure according to the spectral sensitivity characteristics of the photosensitive material. Is modulated in accordance with the image data output from the processing device 14 and deflected in the main scanning direction, and the photosensitive material is transported in the sub-scanning direction orthogonal to the main scanning direction, so that the photosensitive material 2 A latent image is recorded by scanning exposure in dimension and supplied to the processor. The processor that has received the light-sensitive material is subjected to predetermined wet development processes such as color development, bleach-fixing, and water washing, and is then dried to be printed and sorted into predetermined units such as one film and collected.

以上、本発明の画像処理方法および画像処理装置について詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのはもちろんである。   Although the image processing method and the image processing apparatus of the present invention have been described in detail above, the present invention is not limited to the above-described embodiments, and various improvements and modifications can be made without departing from the gist of the present invention. Of course it is good.

本発明の画像処理方法の一例を利用するデジタルフォトプリンタのブロック図である。1 is a block diagram of a digital photo printer that uses an example of an image processing method of the present invention. FIG. (A)は、図1に示されるデジタルフォトプリンタに装着されるキャリアを説明するための概略斜視図、(B)は図1に示されるデジタルフォトプリンタのイメージセンサの概念図である。(A) is a schematic perspective view for explaining a carrier mounted on the digital photo printer shown in FIG. 1, and (B) is a conceptual diagram of an image sensor of the digital photo printer shown in FIG. 新写真システムのフィルムの概略図である。It is the schematic of the film of a new photography system. 図1に示されるデジタルフォトプリンタの画像処理装置のブロック図である。FIG. 2 is a block diagram of the image processing apparatus of the digital photo printer shown in FIG. 1. (a)および(b)は、本発明の画像処理方法を利用したインデックスプリントの作成方法を説明するための概念図である。(A) And (b) is a conceptual diagram for demonstrating the production method of the index print using the image processing method of this invention.

符号の説明Explanation of symbols

10 (デジタル)フォトプリンタ
12 スキャナ
14 (画像)処理装置
16 プリンタ
18 操作系
20 ディスプレイ
22 光源
24 可変絞り
28 拡散ボックス
30 キャリア
32 結像レンズユニット
34 イメージセンサ
34R,34G,34B ラインCCDセンサ
36 アンプ
38 A/D変換器
40 マスク
42 磁気ヘッド
44 コードリーダ
48 データ処理部
50 Log変換器
52 プレスキャン(フレーム)メモリ
54 本スキャン(フレーム)メモリ
56 プレスキャン処理部
58 本スキャン処理部
60 条件設定部
62,66 (画像データ)処理部
62A,66A 第1処理ブロック
62B,66B 第2処理ブロック
62C,66C 第3処理ブロック
64,68 画像データ変換部
70 処理情報記憶部
72 セットアップ部
74 キー補正部
76 パラメータ統合部
S 磁気記録媒体
10 (Digital) Photo Printer 12 Scanner 14 (Image) Processing Device 16 Printer 18 Operation System 20 Display 22 Light Source 24 Variable Aperture 28 Diffusion Box 30 Carrier 32 Imaging Lens Unit 34 Image Sensor 34R, 34G, 34B Line CCD Sensor 36 Amplifier 38 A / D converter 40 Mask 42 Magnetic head 44 Code reader 48 Data processing unit 50 Log converter 52 Pre-scan (frame) memory 54 Main scan (frame) memory 56 Pre-scan processing unit 58 Main scan processing unit 60 Condition setting unit 62 , 66 (Image data) processing unit 62A, 66A First processing block 62B, 66B Second processing block 62C, 66C Third processing block 64, 68 Image data conversion unit 70 Processing information storage unit 72 Setup Flop 74 key correction unit 76 the parameter coordinating subsection S magnetic recording medium

Claims (3)

画像データ供給源から供給された、被写体に関する、人物、花、風景、夜景、室内、花火のシーン情報のうち少なくとも2以上のシーン情報の組合せ(人物、花のシーン情報のみからなる組合せを除く)が付与された画像を用いて画像処理条件を設定するに際し、前記画像のうちの1の画像の画像特徴量を算出しておき、前記1の画像に対し、前記少なくとも2以上のシーン情報に基づいて、前記1の画像中の、特定のシーン情報に対応する被写体が抽出された画像領域に対して、前記特定のシーン情報に応じてあらかじめ設定されている画像処理条件と前記算出された前記1の画像の画像特徴量とを用いて、前記特定のシーン情報に応じた画像処理条件を設定することにより、前記1の画像に対して少なくとも2以上の画像処理条件を設定することを特徴とする画像処理方法。 A combination of at least two or more scene information (excluding a combination consisting only of person and flower scene information) of the subject , flower, landscape, night view, room, and fireworks scene information supplied from the image data supply source. When setting an image processing condition using an image to which an image is given, an image feature amount of one of the images is calculated, and the one image is based on the at least two or more scene information. Then, for the image region in which the subject corresponding to the specific scene information is extracted from the one image, the image processing condition set in advance according to the specific scene information and the calculated 1 Set at least two image processing conditions for the one image by setting image processing conditions according to the specific scene information using the image feature amount of the image Image processing method according to claim Rukoto. 前記2以上の画像処理条件は、前記2以上のシーン情報に応じた画像処理を実行する複数の画像処理アルゴリズムの組み合わせ、または画像処理アルゴリズムの重み付けが決定されたものである請求項1に記載の画像処理方法。   The said two or more image processing conditions are the combination of the several image processing algorithm which performs the image processing according to the said two or more scene information, or the weighting of an image processing algorithm was determined. Image processing method. 画像データ供給源から供給された画像を用いて画像処理条件を設定する画像処理装置であって、
前記画像のうちの1の画像に付与された、被写体に関する、人物、花、風景、夜景、室内、花火のシーン情報のうち、少なくとも2以上のシーン情報の組合せ(人物、花のシーン情報のみからなる組合せを除く)を読み取る読取手段と、
前記1の画像の画像特徴量を算出しておき、前記1の画像に対し、前記読取手段が読み取った前記少なくとも2以上のシーン情報に基づいて、前記1の画像中の、特定のシーン情報に対応する被写体が抽出された画像領域に対して、前記特定のシーン情報に応じてあらかじめ設定されている画像処理条件と前記算出された前記1の画像の画像特徴量とを用いて、前記特定のシーン情報に応じた画像処理条件を設定することにより、前記1の画像に対して少なくとも2以上の画像処理条件を設定する条件設定部とを有することを特徴とする画像処理装置。
An image processing apparatus for setting image processing conditions using an image supplied from an image data supply source,
A combination of at least two or more scene information (only from person and flower scene information) among scene information of a person, a flower, a landscape, a night view, a room, and a firework related to the subject given to one of the images. Reading means for reading
An image feature amount of the one image is calculated, and specific scene information in the one image is determined based on the at least two or more scene information read by the reading unit for the one image. Using the image processing conditions set in advance according to the specific scene information and the calculated image feature amount of the one image for the image area from which the corresponding subject is extracted, the specific area An image processing apparatus comprising: a condition setting unit that sets at least two or more image processing conditions for the one image by setting image processing conditions according to scene information.
JP2007324560A 2007-12-17 2007-12-17 Image processing method and image processing apparatus Expired - Fee Related JP4377938B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007324560A JP4377938B2 (en) 2007-12-17 2007-12-17 Image processing method and image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007324560A JP4377938B2 (en) 2007-12-17 2007-12-17 Image processing method and image processing apparatus

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2004246785A Division JP4317803B2 (en) 2004-08-26 2004-08-26 Image processing method and image processing apparatus

Publications (2)

Publication Number Publication Date
JP2008146657A JP2008146657A (en) 2008-06-26
JP4377938B2 true JP4377938B2 (en) 2009-12-02

Family

ID=39606680

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007324560A Expired - Fee Related JP4377938B2 (en) 2007-12-17 2007-12-17 Image processing method and image processing apparatus

Country Status (1)

Country Link
JP (1) JP4377938B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103295200A (en) * 2013-05-29 2013-09-11 深圳大学 Digital image registration method, digital image registration device, digital subtraction image rectification method and digital subtraction image rectification equipment

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101695027B1 (en) * 2010-08-23 2017-01-10 엘지디스플레이 주식회사 Display Device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103295200A (en) * 2013-05-29 2013-09-11 深圳大学 Digital image registration method, digital image registration device, digital subtraction image rectification method and digital subtraction image rectification equipment
CN103295200B (en) * 2013-05-29 2016-08-10 深圳大学 Digital image registration method and device, digital subtraction image antidote and equipment

Also Published As

Publication number Publication date
JP2008146657A (en) 2008-06-26

Similar Documents

Publication Publication Date Title
JPH11239269A (en) Image processing method
US7397969B2 (en) Red eye compensation method, image processing apparatus and method for implementing the red eye compensation method, as well as printing method and printer
JPH11261821A (en) Image processing method
US6313902B1 (en) Image processing method and apparatus
US6834127B1 (en) Method of adjusting output image areas
JP3451202B2 (en) Image processing method
US7119923B1 (en) Apparatus and method for image processing
JP4377938B2 (en) Image processing method and image processing apparatus
JP4482307B2 (en) Image processing device
JP4317803B2 (en) Image processing method and image processing apparatus
US6710896B1 (en) Image processing apparatus
JP3653661B2 (en) Image processing device
JP3929210B2 (en) Image processing method and apparatus
US6560357B1 (en) Color correcting method and image reading apparatus
JP3908216B2 (en) Printing system
US7099048B2 (en) Image reproducing method and image reproducing apparatus
US6766065B1 (en) Method of setting an image processing condition of a frame area on a photographic film
JP3819194B2 (en) Image processing device
JP3894250B2 (en) Image processing device
JP2001197352A (en) Main object extracting method
JP3907896B2 (en) Image processing method
JPH11234510A (en) Image input device
JP2000092326A (en) Density characteristic correcting method and color correcting method
JP2002296685A (en) Image processing device and method used for the same
JP4347904B2 (en) Image processing method and image processing apparatus

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090324

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090908

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090911

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120918

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130918

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees