JP4121714B2 - 補間演算方法および画像読取装置 - Google Patents

補間演算方法および画像読取装置 Download PDF

Info

Publication number
JP4121714B2
JP4121714B2 JP2001034249A JP2001034249A JP4121714B2 JP 4121714 B2 JP4121714 B2 JP 4121714B2 JP 2001034249 A JP2001034249 A JP 2001034249A JP 2001034249 A JP2001034249 A JP 2001034249A JP 4121714 B2 JP4121714 B2 JP 4121714B2
Authority
JP
Japan
Prior art keywords
reading
image
interpolation
pixel
elements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001034249A
Other languages
English (en)
Other versions
JP2001298608A (ja
Inventor
徹 真玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2001034249A priority Critical patent/JP4121714B2/ja
Publication of JP2001298608A publication Critical patent/JP2001298608A/ja
Application granted granted Critical
Publication of JP4121714B2 publication Critical patent/JP4121714B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Projection-Type Copiers In General (AREA)
  • Image Processing (AREA)
  • Facsimiles In General (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、デジタル写真プリンタ等に利用されるフィルム画像読取の技術分野に属し、詳しくは、読取素子が千鳥格子状に配列されたエリアイメージセンサを用いる画像読取で好適に利用される補間演算方法、ならびに、前記エリアイメージセンサを用いる画像読取装置に関する。
【0002】
【従来の技術】
現在、ネガフィルム、リバーサルフィルム等の写真フィルム(以下、フィルムとする)に撮影された画像の感光材料(印画紙)への焼き付けは、フィルムの画像を感光材料に投影して露光する、いわゆる直接露光が主流である。
【0003】
これに対し、近年では、デジタル露光を利用する焼付装置、すなわち、フィルムに記録された画像を光電的に読み取って、読み取った画像をデジタル信号とした後、種々の画像処理を施して記録用の画像データとし、この画像データに応じて変調した記録光によって感光材料を走査露光して画像(潜像)を記録し、(仕上り)プリントとするデジタルフォトプリンタが実用化されている。
【0004】
デジタルフォトプリンタは、基本的に、フィルムに記録された画像を光電的に読み取るスキャナ(画像読取装置)と、スキャナによって読み取られた画像データやデジタルカメラ等から供給された画像データに所定の処理を施し、画像記録のための画像データすなわち露光条件とする画像処理装置と、画像処理装置から出力された画像データに応じて、例えば光ビーム走査によって感光材料を走査露光して潜像を記録するプリンタ(画像記録装置)と、プリンタによって露光された感光材料に現像処理を施して、画像が再生された(仕上り)プリントとするプロセサ(現像装置)とを有する。
【0005】
このようなデジタルフォトプリンタによれば、画像をデジタルの画像データとして取り扱うので、フィルムに撮影された画像のみならず、デジタルカメラ等で撮影された画像や、インターネット等の通信手段で取得した画像もプリントとして出力することができる。
また、画像データの処理によって画像の処理(適正化)を行うことができるので、階調調整、カラーバランス調整、色/濃度調整等を好適に行って、従来の直接露光では得られなかった高品位なプリントを得ることができる。
【0006】
【発明が解決しようとする課題】
このようなデジタルフォトプリンタのスキャナ(各種のフィルムスキャナを含む)においては、例えば、フィルム(その1画像=1コマ)に、読取光を入射して、この画像を担持する投影光を得、この投影光をエリアCCDセンサ等のエリアイメージセンサに結像して光電的に読み取る。この読み取りを、R(赤),G(緑)およびB(青)の読取光を順次用いて行うことにより、フィルムに撮影された画像をR,GおよびBの3原色に分解して光電的に読み取る。
【0007】
ここで、このようなエリアCCDセンサ用いるスキャナでは、通常、読取素子が正方格子状に配列(正方配列、通常は、フィルムの長手方向および幅方向に配列)されたエリアCCDセンサを用いて画像読取が行われる。
これに対し、近年では、読取素子が千鳥格子状に配列されたエリアCCDセンサが実現されており、デジタルカメラ等に利用されている。
【0008】
この千鳥格子状に読取素子が配列されたエリアCCDセンサは、従来の正方格子状のものに対して、密に読取素子を配列することができるので、受光部面積効率を非常に高くすることができる。その結果、通常の正方格子状のエリアCCDセンサと比べ、高感度化、ノイズ低減(S/N比の向上)、広ダイナミックレンジ化等を図ることができる。
また、千鳥格子状に読取素子が配列されたエリアCCDセンサは、正方格子状のものに比して、同一画素数でも、より高い実効画素数を得ることが可能であるという利点もある。
【0009】
このように、千鳥格子状に読取素子が配列されたエリアCCDセンサは、正方格子状に読取素子が配列されたものに比して、数々の利点を有する。
しかしながら、このような優れた特性を十分に生かした(フィルム)スキャナは、今だ実現されていない。
【0010】
本発明の目的は、千鳥格子状に読取素子が配列されたエリアCCDセンサを用いたフィルム画像の読み取りにおいて、エリアCCDセンサの優れた特性を十分に生かすことができる補間演算方法および画像読取装置(フィルムスキャナ)を提供することにある。
本発明によれば、前記千鳥格子状のエリアCCDセンサの優れた特性を十分に生かして、高精度な画像読取を行うことができ、アーチファクトが出にくい、高画質な画像の出力が可能である。
【0011】
【課題を解決するための手段】
前記課題を解決するために、本発明の補間演算方法は、読取素子が千鳥格子状に配列されたエリアイメージセンサから出力された各読取素子の画像信号を正方格子状の配列の画素位置に並べ替えるための補間演算方法であって、前記エリアイメージセンサの前記千鳥格子状に配列された互いに最も近接する複数の読取素子は、1色についての画像信号を生成するものであり、前記正方格子状の配列の画素位置に並べ替えられた画像信号が、近傍の2つ以上の前記読取素子の画像信号を補間して割り付けられた画像信号であり、前記正方格子状の配列の画素位置に並べ替えられた画像信号の前記正方格子状の配列上の各画素位置は、前記千鳥格子状に配列された各読取素子の画像信号の前記千鳥格子状の配列の、互いに最も近隣する2つの読取素子の画像信号の配列位置の間の位置であることを特徴とする。
【0012】
ここで、前記近傍の2つ以上の前記読取素子の画像信号は、互いに最も近隣する2つの前記読取素子の画像信号であるか、または近傍の4つの前記読取素子の画像信号であるか、あるいは近傍の16個の前記読取素子の画像信号であるのかのいずれかであるのが好ましい。
この補間演算方法において、前記割り付けは、補間を行った読取素子の前記千鳥格子状の配列位置の間の位置で行われるのが好ましく、さらに、前記割り付けは、補間を行った読取素子の前記千鳥格子状の配列位置の中間の位置で行われるのが好ましい。
この補間演算方法において、前記千鳥格子状に配列された前記読取素子の画像信号の前記正方格子状の配列の画素位置への並べ替えは、前記千鳥格子状に配列された前記読取素子の配列に対応する前記正方格子状の配列に対して斜め方向に隣り合わせる前記読取素子間で補間を行うことにより行うのが好ましい。
また、前記補間は、線形補間、またはCubic補間であるのが好ましく、Cubic補間であるのが好ましい。また、Cubic補間は、Cubic sine補間、Cubic spline補間、またはCubic Bspline補間であるのが好ましい。また、前記補間は、1次元補間、または2次元補間であるのが好ましい。
【0013】
また、本発明の画像読取装置は、所定の読取位置に保持されるフィルムに入射するための読取光を射出する光源部と、読取素子が千鳥格子状に配列されたエリアイメージセンサと、前記読取光を前記フィルムに入射させることによって得られた、前記フィルムに撮影された画像を担持する投影光を、前記エリアイメージセンサに結像する結像光学系と、前記エリアイメージセンサの各読取素子から出力された画像信号を補間演算して画素の並び替えする補間演算部とを有し、前記補間演算部が、前記本発明の補間演算方法を用いる
ことを特徴とする。
【0014】
この画像読取装置においては、さらに、前記エリアイメージセンサの画素ズラシ手段を有、前記画素ズラシのみを行う読取モード、前記画素の並び替えのみを行う読取モード、および前記画素ズラシならびに画素の並び替えの両者を行う読取モードを有し、指定された画像読取の解像度および出力の拡大率に応じて、前記読取モードおよび前記画素ズラシ手段による画素ズラシ回数を選択するのが好ましく、さらに、前記補間演算部が、前記本発明の補間演算方法を用いるのが好ましい。
また、本発明の画像読取装置は、所定の読取位置に保持されるフィルムに入射するための読取光を射出する光源部と、読取素子が千鳥格子状に配列されたエリアイメージセンサと、前記読取光を前記フィルムに入射させることによって得られた、前記フィルムに撮影された画像を担持する投影光を、前記エリアイメージセンサに結像する結像光学系と、前記エリアイメージセンサの画素ズラシ手段とを有し、指定された画像読取の解像度および出力の拡大率に応じて、前記画素ズラシ手段による画素ズラシ回数を選択することを特徴とする。
この画像読取装置においては、さらに、前記エリアイメージセンサの各読取素子から出力された画像信号を補間演算して画素の並び替えする補間演算部を有し、前記画素ズラシのみを行う読取モード、前記画素の並び替えのみを行う読取モード、および前記画素ズラシならびに前記画素の並び替えの両者を行う読取モードを有し、指定された画像読取の解像度および出力の拡大率に応じて、前記読取モードおよび前記画素ズラシ手段による画素ズラシ回数を選択するのが好ましい。さらに、前記補間演算部が、前記本発明の補間演算方法を用いるのが好ましい。
【0015】
【発明の実施の形態】
以下、本発明の補間演算方法および画像読取装置について、添付の図面に示される好適実施例を基に詳細に説明する。
【0016】
図1に、本発明を利用するデジタルフォトプリンタの一例のブロック図が示される。
図1に示されるデジタルフォトプリンタ(以下、フォトプリンタとする)10は、基本的に、スキャナ(画像読取装置)12と、画像処理装置14と、プリンタ16とを有する。
【0017】
スキャナ12は、フィルムFに撮影された画像を1コマずつ光電的に読み取る装置であって、LED光源18と、拡散ボックス20と、(フィルム)キャリア22と、結像レンズユニット24と、エリアイメージセンサである千鳥格子CCD26と、千鳥格子CCD26の画素ズラシ手段28と、アンプ(増幅器)30と、A/D(アナログ/デジタル)変換器31と、データ補正部32と、補間演算部34を有する。
このスキャナ12は、本発明の画像読取装置で、また、本発明の補間演算方法を実施する。従って、千鳥格子CCD26は、図5(A)に示されるように、読取素子が千鳥格子状に配列されたエリアCCDセンサである。
【0018】
LED光源18は、フィルムFに撮影された画像を読み取るための読取光を射出するものである。このLED光源18は、図2に概念的に示されるように、R(赤)光を射出するLEDアレイ18r、G(緑)光を射出するLEDアレイ18g、B(青)光を射出するLEDアレイ18b、およびIR(赤外)光を射出するLEDアレイ18irが、各アレイの配列方向と直交する方向に配列された構成を有する。なお、IR光は、フィルムFに付着した異物やフィルムFの傷等を検出する際に用いられるものである。
LED光源18には、光源ドライバ36が接続されており、この光源ドライバ36によって、各LEDアレイの点灯や光量(読取光の光量)が制御される。
【0019】
拡散ボックス20は、LED光源18から射出された読取光を拡散して、フィルムFに入射する読取光を、フィルムFの面方向で均一にするものである。
読取光の拡散手段には特に限定はなく、公知の手段が各種利用可能である。図示例の拡散ボックス20は、一例として、内面が反射面となっているミラーボックスの上下面(開放面)を光拡散板で閉塞してなるものである。
【0020】
キャリア22は、フィルムFを長手方向に搬送して、フィルムFに撮影された各画像(コマ)を、1つずつ、順次、所定の読取位置に搬送して、保持するものである。
このキャリア22は、フィルムの搬送手段、読取領域を規制するマスク、フィルムFに光学的に記録されるDXなどのバーコードの読取手段、磁気情報の記録/読取手段(新写真システム)等を有する、公知のフォトプリンタ(アナログおよびデジタル)に装着される、通常のフィルムキャリアである。
各種のフォトプリンタと同様、フォトプリンタ10(スキャナ12)には、新写真システム(Advanced Photo System)や135サイズのネガフィルムなどのフィルムサイズ等に応じて、スキャナ12の本体に装着自在な専用のキャリア22が用意されており、キャリアを交換することにより、各種のフィルムや処理に対応することができる。
【0021】
ここで、LED光源18から射出され、拡散ボックス20によって拡散された読取光は、キャリア22によって所定の読取位置に保持されるフィルムFの1コマに入射して、透過する。これにより、このコマに撮影された画像を担持する投影光が得られる。
この投影光は、結像レンズユニット24によって、千鳥格子CCD26の受光面に結像されて、光電変換して読み取られ、フィルムFに撮影された画像が、スキャナ12によって光電的に読み取られる。
【0022】
図示例のスキャナ12においては、前述のLED光源18から、R、GおよびB(あるいは、さらにIR)の読取光を順次射出して、フィルムFに入射し、その投影光を千鳥格子CCD26によって読み取ることにより、フィルムFに撮影された画像をR、GおよびBの3原色に分解して読み取る。
また、スキャナ12(フォトプリンタ10)においては、通常、1コマに対して、出力画像を得るための本スキャンと、本スキャンの読取条件や画像処理条件を決定するために、本スキャンに先立って行われるプレスキャンの、2種の画像読取が行われる。すなわち、1コマにつき、少なくとも6回([R,G,B]×2、あるいは、IRを含めた7回もしくは8回)の読み取りが行われる。この点に関しては、通常のフィルムスキャナと同様である。
【0023】
前述のように、本発明のスキャナ12においては、千鳥格子CCD26は、読取素子(1つのCCD素子の受光部)が千鳥格子状に配列されたエリアCCDセンサである。
すなわち、このような千鳥格子CCD26においては、図5(A)に示されるように、矢印xで示されるフィルムFの幅方向(あるいは、矢印yで示されるフィルムFの長手方向)に対して、読取素子(八角形で示す)がジグザグに配列されている。
【0024】
前述のように、千鳥格子CCD26は、読取素子が正方格子状に配列(正方配列)されている通常のエリアCCDセンサに比べ、感度、S/N比、ダイナミックレンジ、および実効画素数の点で有利である。
しかも、後に詳述するが、このような千鳥格子CCD26を用いる、本発明の画像読取装置においては、正方格子状に読取素子が配列されたCCDセンサ(以下、正方格子CCDとする)よりも少ない画素ズラシ回数で、画像読取の解像度を向上させることができる。従って、フォトプリンタ等において、高画質モードや大判のプリント出力のために、画素ズラシを行って読み取りを行う際にも、高い生産性を確保することができる。
【0025】
図示例のスキャナ12において、千鳥格子CCD26は、公知の手段でx方向およびy方向に移動可能な基盤40に保持されており、この基盤40には、画素ズラシ手段28が係合している。
画素ズラシ手段28は、画像読取の画素密度を向上するために、千鳥格子CCD26をx方向およびy方向の少なくとも一方に移動することによって、画像読取の解像度を向上する、いわゆる画素ズラシを行うものである。
【0026】
本発明において、画素ズラシ手段28すなわち千鳥格子CCD26の移動手段には特に限定はなく、エリアCCDセンサを用いる画像読取で行われている、公知のものが各種利用可能である。
図示例においては、画素ズラシ手段28は、図3に示されるように、基盤40(千鳥格子CCD26)をx方向に動かすピエゾ素子42aおよび同y方向に動かすピエゾ素子42bの、2つのピエゾ素子42と、ピエゾ素子42を駆動するピエゾドライバ44と、サイズ設定部46とを有する。
【0027】
なお、図示例のスキャナ12は、一例として、3つの読取モードを有し、読取モードと画素ズラシの回数との組み合わせによって、4つの読取サイズ(一回(1色)の画像読取における画素数=解像度)が設定されている。
サイズ設定部46は、設定された読取サイズに応じて、ピエゾドライバ44を制御してピエゾ素子42の駆動すなわち画素ズラシを行い、また、補間演算部34等に読取サイズの情報を送る。この点については、後に詳述する。
【0028】
千鳥格子CCD26の出力信号(画像信号)は、アンプ30によって増幅され、A/D変換器31で変換されてデジタル画像信号とされ、このデジタル画像信号には、CCD補正部32によって、DCオフセット補正、暗時補正、シェーディング補正等の所定のデータ補正が施される。
CCD補正部32で処理された画像信号は、読取サイズに応じて、セレクタ48の作用の下、画素の並べ替えを行う場合には補間演算部34で処理された後に画像処理装置14に送られ、他方、画素の並び替えを行わない場合には、画像処理装置14に直接送られる。
【0029】
前述のように、本発明のスキャナ12は、千鳥格子CCD26を用いてフィルムFに撮影された画像を読み取る。しかしながら、画像を出力するためには、画素は、正方格子状に配列されている必要がある。
補間演算部34は、本発明の補間演算方法を実施するもので、必要に応じて、CCD補正部32で処理された画像信号を補間演算して画素の並び換えを行い、画像処理装置14に出力する画像(画像信号)の画素(出力画素)の配列を、正方格子状にするものである。補間演算部34については、後に詳述する。
【0030】
なお、図示例のスキャナ12においては、補間演算部34は、log変換されていない(真数)画像信号を用いて、補間演算による画素の並び換えを行っている。しかしながら、本発明はこれに限定はされず、CCD補正部32の後にlog変換器を配置し、log変換した画像信号(すなわち濃度データ)を用いて、補間演算による画素の並び換えを行ってもよい。
log変換は、例えば、ルックアップテーブル(LUT)等を用いるlog変換器によって行えばよい。
【0031】
前述のように、スキャナ12は、3つの読取モード(モード1〜モード3)を有し、スキャナ12には、読取モードと画素ズラシ回数とを組み合わせて、4つの読取サイズ(サイズ1〜サイズ4)が設定されている。
【0032】
モード1は、画素ズラシを行わずに、補間演算部34による画素の並び換えのみを行うモードである。また、モード2は、画素の並び換えを行わず、画素ズラシ手段28を用いた画素ズラシのみを行うモードである。さらに、モード3は、画素ズラシおよび画素の並び換えの両者を行うモードである。
従って、前記サイズ設定部46からの情報に応じて、モード1およびモード3では、セレクタ48によってCCD補正部32と補間演算部34とが接続され、モード2では、セレクタ48によってCCD補正部32と画像処理装置14とが接続される。
このような3つの読取モードを有する本発明のスキャナ12によれば、各種の読取サイズ(解像度)に対応して、高生産性と高画質とをバランスさせた、最適な読取モードを選択できる。
【0033】
一方、読取サイズは、フォトプリンタ10が出力するプリントのサイズ、画像の拡大率等に応じて、適宜選択される。スキャナ12では、この読取サイズに応じた読取モードおよび画素ズラシ回数で、1回、すなわち各色毎(R、GおよびB、あるいはさらにIR)の画像読取が行われる。
例えば、オペレータによって入力されたプリントサイズや拡大率の情報がサイズ設定部46に供給され、サイズ設定部46が、これに応じて、読取サイズを選択して、行うべき画素ズラシに応じて画素ズラシ手段28のピエゾドライバ44を制御し、また、読取サイズ(読取モード)の情報を、セレクタ48および補間演算部34に供給する。
【0034】
サイズ1は、モード1での画像読取を行うもので、最小サイズ(最小画素数)の画像読取である。例えば、135サイズのフィルムや新写真システムのフィルム(IX240)から、Lサイズ、Cタイプ、Hタイプ等の通常サイズのプリント作成する際に選択される。
前述のように、モード1による画像読取は、画素ズラシを行わずに、補間演算部34における補間演算による画素の並べ替えのみを行うモードである。
【0035】
前述のように、補間演算部34は、千鳥格子CCD26を用いた画像読取における、本発明の補間演算方法を実施するものである。
すなわち、補間演算部34は、サイズ設定部46からの読取サイズの情報に応じて、互いに最も近隣する読取素子の画像信号を補間して、千鳥格子CCD26による画像信号(原信号)は出力せずに、補間による画像信号のみを出力することにより、画素の並び換えを行い、出力画素を正方格子状に配列する。言い換えれば、千鳥格子CCD26が対応する正方格子方向(x方向およびy方向)の読取素子の配列に対して、斜め方向に隣り合わせる読取素子間で補間を行うことにより、画素の並び替えを行う。
なお、補間によって得られた画像信号の割り付け位置は、出力画素を正方格子状に配列できる位置であればよい。中でも、補間を行った素子の間に割り付けて画素を正方格子状に配列(正方配列)するのが好ましく、特に、両素子の中間位置に割り付て画素を正方格子状に配列(正方配列)するのが好ましい。
【0036】
以下、千鳥格子CCD26の読取素子(以下、単に素子とする)の配列を模式的に示す図5(A)を参照して、補間演算部34が実施する本発明の補間演算方法について説明する。
例えば、素子aに注目した際において、図中最も近隣する素子はbおよびdである。補間演算部34は、素子aおよびbの画像信号の平均([a+b/2])を算出して出力画像信号とし、両素子の重心(図中×で示す)の中間位置a/bを出力画素位置(・で示す)として、算出した出力画像信号を割り付ける。さらに、同様にして素子aおよびdの画像信号の平均値を算出して、両素子の重心の中間位置a/dに出力画像信号として割り付ける。
【0037】
以下、同様にして、素子bおよびcの画像信号の平均値を算出して、両素子の中間位置b/cに割り付け、素子cおよびdの画像信号の平均値を算出して、両素子の中間位置c/dに割り付け……と、互いに最も近隣する素子の画像信号の平均値を算出して出力画像信号とし、これを両素子の中間の出力画素位置に割り付け、原信号を出力せずに、この中間位置のみを出力画素位置とする。これにより、画素の並び換えを行い、出力画素の配列を正方格子状にして、画像処理装置12に供給する。
すなわち、本発明の補間演算方法においては、素子の重心と、出力画素位置とが異なっている。
【0038】
図4に示されるように、本発明の補間演算方法を行う補間演算部34は、1ライン遅延メモリ50、1画素遅延部52、セレクタ54、平均化処理部56、および画素割付部58を有する。
一例として、矢印x方向(幅方向)の素子列を1ラインとして、図5(A)の上方のラインから、順次、画像信号が補間演算部34に供給される。また、1ライン中では、図5(A)の左の素子から、順次、画像信号が転送される。
【0039】
前述の素子a、bおよびdを例に説明すれば、前のライン(素子aのライン)の画像信号は、1ライン遅延メモリ50によって1ライン分遅延して平均化処理部56に転送される。
他方、転送されているライン(素子bおよびdのライン)の各画像信号は、順次、1画素遅延部52およびセレクタ54の両方に転送され、セレクタ54によって、素子bおよびdの画像信号が選択されて、順番に、平均化処理部56に転送される。すなわち、各素子の画像信号は、1画素遅延部52の作用によって、次の素子の画像信号と同時にセレクタ54に送られる。
平均化処理部56では、前述のように、対応する素子aとbおよびaとdの画像信号を平均化して、その中間位置a/bおよびa/dの出力画像信号として、画素割付部58に送る。画素割付部58は、この出力画像信号を、中間位置a/bおよびa/dに割り付けることにより、画素の並び替えが行われ、画素の配列が正方格子状にされた画像信号が、画像処理部14に送られる。
【0040】
通常、千鳥格子CCD26の画像信号を補間演算して、画素の並び替えを行う場合には、4つの素子の中心位置の画像信号を生成することにより、出力画素を正方格子状に配列する。
例えば、素子a〜dの4つの画像信号を平均化([a+b+c+d]/4)して出力画像信号を算出し、各素子a〜dの中心位置(△で示す)を出力画素位置として、算出した出力画像信号を割り付ける。この△位置と各素子の重心位置を出力画素位置とすることにより、出力画素を正方格子状に配列する。
しかしながら、この方法では、再生された画像にアーチファクトが生じてしまう場合がある。
【0041】
例えば、画像信号が8ビットのデジタル信号で、白の画像信号が255、黒の画像信号が0の場合において、図6(A)および(B)に示されるように、黒領域(図中左側)と白領域(同右側)とが直線的なエッジで隣り合わせている画像がある。
この際において、従来の補間演算方法では、図6(B)に示されるように、補間によって得られた出力画素位置(△で示す)の画像信号は、エッジを挟んだ黒領域側が64([0+0+0+255]/4)、白領域側が191([255+255+255+0]/4)となる。
すなわち、従来の補間方法では、各領域の端部で、読み取りによって得られた画像信号(実線で示す)と補間によって得られた画像信号が交互に配列(0と64、および255と191)されると共に、エッジを挟んで異なる画像信号(64と191)が交互に配列される。そのため、画像のエッジ部にアーチファクトが生じてしまい、画質が劣化するという問題がある。
【0042】
これに対し、前述の本発明の補間方法によれば、補間によって得られた画像信号のみが出力されると共に、図6(A)に示されるように、白領域と黒領域のエッジ部には、同じ信号(128=[0+255]/2)が配列される。
そのため、アーチファクトが出にくく、高画質な画像を安定して再生することが可能である。
【0043】
図示例のスキャナ12において、サイズ2は、モード2による画像読取を行うもので、画素ズラシ手段28による画素ズラシを1回行う。すなわち、サイズ2においては、1色の画像読取につき、2面の読み取りを行う(画素ズラシ1回の2面読取)。なお、モード2では、補間演算部34による画素の並べ換えは行わず、画素ズラシのみを行うのは、前述の通りである。
この読取サイズ2は、読取サイズ1よりも若干大きなプリント(例えば、2Lサイズ等)や、若干拡大を伴うトリミングした画像を作成する際に選択されるものである。
【0044】
図5(B)に、サイズ2における素子の配列を模式的に示す。サイズ2では、まず、サイズ1での読み取りと同様の、図中太線で示す画素ズラシを行わない位置(以下、この位置を基準位置とする)で1面目の読み取りを行う。
次いで、サイズ設定部46による指示の下、ドライバ44がピエゾ素子42bを駆動して画素ズラシを行い、千鳥格子CCD26を図中下方に移動して、素子を図中細線で示す位置とした後、再度、画像読取を行う。すなわち、y方向に隣合わせる素子との重心間の距離をy方向素子間、同x方向の距離をx方向素子間とすると、千鳥格子CCD26を、1面目の読取位置から、図中下方(y方向)にy方向素子間の1/2移動した位置で、2面目の読み取りを行う。
【0045】
図5(B)に示されるように、サイズ2では、画素ズラシによって素子が正方格子状に配列されたのと同じ状態にできる。
従って、補間演算による画素の並び換えは不要で、各素子の重心位置を出力画素位置として、画像信号は、セレクタ48によって、CCD補正部32から画像処理装置14に送られる。
【0046】
通常の正方格子状CCDでは、画素ズラシによって画像の読取解像度を上げ、かつ、正方格子状の出力画素を得るためには、2回以上の画素ズラシが必要であり、従って、x方向およびy方向の2軸の画素ズラシ手段が必要になる。
これに対し、千鳥格子CCD26を用いる本発明においては、1方向に1回の画素ズラシで解像度を上げることができるので、読取効率すなわち生産性を低下させることなく解像度を上げることができる。また、これ以上の解像度を要求されないスキャナであれば、1軸の画素ズラシ手段のみでいいので、装置コストも低減できる。なお、本発明においても、後述する、より大サイズの画像の読み取りを行う場合には、図示例のような2軸の画素ズラシ手段が必要であるが、同じ解像度であれば、正方格子CCDに比して少ない画素ズラシ回数でよい。そのため、本発明によれば、各種のサイズにおいて、高い生産性を維持できる。
【0047】
サイズ3は、モード3による画像読取を行うものであり、画素ズラシ手段28による画素ズラシを3回行うと共に、補間演算部34による画素の並び換えも行う。すなわち、サイズ3においては、1色の画像読取につき、4面の読み取りを行う(画素ズラシ3回の4面読取)。
サイズ3は、サイズ2よりもさらに大きなサイズのプリント(例えば、六切や四切等)の作成や、大きな拡大をする際に選択されるものである。
【0048】
図7(A)に、サイズ3における素子の配列を模式的に示す。サイズ3では、例えば、まず、図中太線で示される基準位置で、1面目の読み取りを行う。
次いで、ドライバ44がピエゾ素子42aを駆動して1回目の画素ズラシを行い、千鳥格子CCD26を、1面目の読取位置から図中右方向(x方向)にx方向素子間の1/2移動し、素子を図中に細線で示される位置にして、2面目の読み取りを行う。
次いで、ドライバ44がピエゾ素子42aおよび42bを駆動して2回目の画素ズラシを行い、千鳥格子CCD26を、2面目の読取位置から図中右方向にx方向素子間の1/4、同下方向にy方向素子間の1/4、それぞれ移動し、素子を、図中に一点鎖線で示される位置にして、3面目の読み取りを行う。
さらに、ドライバ44がピエゾ素子42aを駆動して3回目の画素ズラシを行い、千鳥格子CCD26を、3面目の読取位置から図中左方向にx方向素子間の1/2移動し、素子を、図中に点線で示される位置にして、4面目の読み取りを行い、画素ズラシ3回での4面読み取りを終了する。
【0049】
一方、補間演算部34は、3回の画素ズラシによる4面の読み取りによって得られた画像信号を用いて、補間演算を行って、画素の並び替えを行い、画素の配列を正方格子状にする。
この補間演算による画素の並び換えは、前述のサイズ1で行った方法と同様に行われる。すなわち、互いに最も近隣する素子の画像信号を補間して出力画像信号とし、両素子の中間位置を出力画素位置(・で示す)として、前記出力画像信号を割り付け、この中間位置のみを出力画素位置とすることにより、正方格子状の画素配列とする。
【0050】
ここで、本発明において、画素ズラシを行った際の補間演算における、互いに最も近隣する素子とは、千鳥格子CCD26自身において最も近隣する素子ではなく、素子を、全ての面の読み取りに対応する位置に配列した状態において、最も近隣する素子である。
例えば、1面目の読み取りにおける素子eの画像信号と、4面目の読み取りにおける素子fの画像信号とを補間して出力画像信号を得、両者の中間位置e/fを出力画素位置として、出力信号を割り付ける。
【0051】
サイズ4は、モード2による画像読取を行うものであり、画素ズラシを7回行って、1つの画像を読み取る。すなわち、サイズ4においては、1色の画像読取につき、8面の読み取りを行う(画素ズラシ7回の8面読取)。
サイズ4は、フォトプリンタ10において、最大サイズのプリント(例えば、半切等)の作成や、拡大率が大きい場合に選択される。
【0052】
図7(B)に、サイズ4における素子の配列を模式的に示す。サイズ4でも、例えば、まず、図中太線で示す基準位置で1面目の読み取りを行う。
次いで、ドライバ44がピエゾ素子42aを駆動して、1回目の画素ズラシを行い、千鳥格子CCD26を、1面目の読取位置から図中右方向にx方向素子間の1/4移動し、素子を、太い破線で示される位置として、2面目の読み取りを行う。以下、同様に、ピエゾ素子42aを駆動して、千鳥格子CCD26を、図中右方向にx方向素子間の1/4移動して、読み取りを行うことを繰り返し、2回目の画素ズラシ後に太い一点鎖線で示される位置で3面目の読み取りを、3回目の画素ズラシ後に太い点線で示される位置で4面目の読み取りを、それぞれ行う。
【0053】
次いで、ドライバ44がピエゾ素子42bを駆動して、4回目の画素ズラシを行い、千鳥格子CCD26を、4面目の読取位置から図中下方向にy方向素子間の1/4移動し、素子を、細い点線で示される位置として、5面目の読み取りを行う。
さらに、ドライバ44がピエゾ素子42aを駆動して、5回目の画素ズラシを行い、千鳥格子CCD26を、5面目の読取位置から図中左方向にx方向素子間の1/4移動させ、素子を、細い一点鎖線で示される位置として、6面目の読み取りを行う。以下、同様に、ピエゾ素子42aを駆動して、千鳥格子CCD26を、図5(A)中左方向にx方向素子間の1/4移動して、読み取りを行うことを繰り返し、6回目の画素ズラシ後に細い破線で示される位置で7面目の読み取りを、7回目の画素ズラシ後に細線で示される位置で8面目の読み取りを、それぞれ行い、7回画素ズラシの8面読み取りを終了する。
【0054】
図7(B)に示されるように、サイズ4でも、画素ズラシによって素子が正方格子状に配列されたのと同じ状態にできるので、補間演算による画素の並び換えは不要で、各面における各素子の重心位置を出力画素位置として、画像信号は、セレクタ48によって、CCD補正部32から画像処理装置14に送られる。
【0055】
なお、本発明において、設定される読取サイズは、上記サイズ1〜4に限定はされず、例えば、画素ズラシを7回以上行うサイズ等、各種のものが設定可能である。
【0056】
上述した例では、互いに最も近隣する読取素子の画像信号、すなわち、2点の画像デ−タからの線形補間である。このような線形補間は、演算がシンプルであるため実装は容易であるが、高域の周波数特性が落ちるため、シャ−プ感が低下してしまうという問題がある。すなわち、この場合には、実装の容易さとシャ−プ感とは、トレ−ドオフの関係にある。
このようなシャ−プ感の低下の問題を解決するには、演算は複雑になるが、線形補間に比べて広域の周波数特性が劣化しないCubic補間を用れば良い。Cubic補間は、重み係数によって、Cubic sine、Cubic spline、Cubic Bsplineなどの特性の異なる補間アルゴリズムになる。
【0057】
ここでは、一例として、1次元処理でのCubic spline補間式および用いられる重み係数の関数を以下に示す。
Figure 0004121714
ここで、fOUT は、補間する点の値、fk-1 、fk 、fk+1 およびfk+2 は、補間に用いる4点の値であり、w0 (t)、w1 (t)、w2 (t)およびw3 (t)は、重み係数の関数であり、下記式で表される。
0 (t)=(t3 +2t2 −t)/2
1 (t)=(3t3 −5t2 +2)/2
2 (t)=(−3t3 +4t2 +t)/2
3 (t)=1−w0 (t)−w1 (t)−w2 (t)
ここで、tは、fk から補間する点までの距離である。
【0058】
このように、1次元Cubic補間を用いることにより4点からの補間を行うことができ、2次元Cubic補間を用いることにより16点からの補間を行うことができる。
なお、図8(A)は、図5(A)に示す千鳥格子CCD26の読取素子の配列において、近傍の4点の読取素子の画像信号から補間する例であり、1次元Cubic補間を適用した例を示す。
この場合には、斜め45度の方向に1次元Cubic補間を行えばよい。
例えば、右下がり斜め45度に配列されるa,b,c,dの4点から補間して2点bとcとの中点pを求める場合や、右上がり斜め45度に配列されるe,f,g,hの4点から補間して2点fとgとの中点qを求める場合は、下記式で表される。
Figure 0004121714
【0059】
ところで、近傍の16点の読取素子の画像信号から補間する場合には、図8(B)に示すように、斜め45度に回転した座標系において、図中実線枠内の近傍の16個の読取素子の画像信号から2次元Cubic補間を行って、図中r点の補間値を求めれば良い。なお、演算式は省略するが、公知の2次元Cubic補間の演算式を用いればよい。
ここでは、出力画像信号を近傍の2つ以上の読取素子の画像信号から補間する例として、互いに最も近隣する読取素子2点の画像信号、近傍の4点の読取素子の画像信号および近傍の4点の読取素子の画像信号から補間する場合について説明したが、本発明はこれらに限定されるわけではなく、さらに多くの点の読取素子の画像信号や、その間の様々な複数の点の読取素子の画像信号を用いて補間してもよい。
【0060】
前述のように、CCD補正部32で処理された画像信号は、必要に応じて、補間演算部34で画素の並び換えが行われて、画像処理装置14に送られる。
画像処理装置14は、スキャナ12から出力された画像信号を、Log変換器によって変換してデジタルの画像データ(濃度データ)とし、さらに、この画像データに、色/濃度補正、階調補正、グレイバランス補正等の所定の画像処理を施して、さらに3D−LUT等を用いて処理済の画像データを変換して、プリンタ16による記録用の画像データや、CRTやLCD等のディスプレイによる表示用の画像データとして出力するものである。
なお、Log変換は、スキャナ12において、CCD補正部32の後に行ってもよいのは、前述の通りである。
【0061】
プリンタ16は、画像処理装置14から出力された画像データに応じて感光材料(印画紙)を露光して潜像を記録し、感光材料に応じた現像処理を施して(仕上り)プリントとして出力する。
例えば、感光材料をプリントに応じた所定長に切断した後に、バックプリントの記録、感光材料(印画紙)の分光感度特性に応じた、R露光、G露光およびB露光の3種の光ビームを画像データ(記録画像)に応じて変調すると共に、主走査方向に偏向し、主走査方向と直交する副走査方向に感光材料を搬送することによる潜像の記録等を行い、潜像を記録した感光材料に、発色現像、漂白定着、水洗等の所定の湿式現像処理を行い、乾燥してプリントとした後に、仕分けして集積する。
【0062】
以上、本発明の補間演算方法および画像読取装置について詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのはもちろんである。
例えば、前述のスキャナは、3原色およびIRの読取光を射出するLED光源を用いているが、本発明はこれに限定されず、例えば、白色光源と3原色の色フィルタ(あるいはさらに、IRフィルタ)を有するフィルタターレットを用い、各色フィルタを順次行路に挿入して、フィルムに撮影された画像を3原色に分解して読み取るスキャナ等、千鳥格子CCDを用いるフィルムスキャナであれば、各種のフィルムスキャナに利用可能である。
また、本発明の画像読取装置においては、例えばモード2やモード3を行う読取サイズが選択された場合であっても、プレスキャンでは、画素ズラシは、必ずしも行う必要はない。
【0063】
【発明の効果】
以上、詳細に説明したように、本発明の補間演算方法および画像読取装置によれば、千鳥格子状に読取素子が配列されたエリアCCDセンサを用いたフィルム画像の読み取りにおいて、このエリアCCDセンサの優れた特性を十分に生かして、高精度な画像読取を行うことができ、高い生産性で、アーチファクトが出にくい、高画質な画像を出力することができる。
【図面の簡単な説明】
【図1】 本発明を利用するデジタルフォトプリンタの一例のブロック図である。
【図2】 図1に示されるデジタルフォトプリンタのスキャナのLED光源の模式図である。
【図3】 図1に示されるデジタルフォトプリンタのスキャナの画素ズラシ部の模式図である。
【図4】 図1に示されるデジタルフォトプリンタのスキャナの補間演算部の模式図である。
【図5】 (A)および(B)は、本発明の画像読取装置における画像読取を説明するためのCCD素子配列の模式図である。
【図6】 (A)は、本発明の補間演算方法による画素の並び換えを説明するための模式図で、(B)は、従来の補間演算方法による画素の並び換えを説明するための模式図である。
【図7】 (A)および(B)は、本発明の画像読取装置における画像読取を説明するためのCCD素子配列の模式図である。
【図8】 (A)および(B)は、本発明の画像読取装置のCCD素子配列における本発明の補間演算方法による画像読取を説明するための模式図である。
【符号の説明】
10 (デジタル)フォトプリンタ
12 スキャナ
14 (画像)処理装置
16 プリンタ
18 LED光源
20 ディスプレイ
22 キャリア
24 結像レンズユニット
26 千鳥格子CCD
28 画素ズラシ手段
30 アンプ
31 A/D変換器
32 CCD補正部
34 補間演算部
36 光源ドライバ
40 基盤
42(42a,42b) ピエゾ素子
44 ピエゾドライバ
46 サイズ設定部
48,54 セレクタ
50 1ライン遅延メモリ
52 1画素遅延部
56 平均化処理部
58 画素割付部

Claims (17)

  1. 読取素子が千鳥格子状に配列されたエリアイメージセンサから出力された各読取素子の画像信号を正方格子状の配列の画素位置に並べ替えるための補間演算方法であって、
    前記エリアイメージセンサの前記千鳥格子状に配列された互いに最も近接する複数の読取素子は、1色についての画像信号を生成するものであり、
    前記正方格子状の配列の画素位置に並べ替えられた画像信号が、近傍の2つ以上の前記読取素子の画像信号を補間して割り付けられた画像信号であり、
    前記正方格子状の配列の画素位置に並べ替えられた画像信号の前記正方格子状の配列上の各画素位置は、前記千鳥格子状に配列された各読取素子の画像信号の前記千鳥格子状の配列の、互いに最も近隣する2つの読取素子の画像信号の配列位置の間の位置であることを特徴とする補間演算方法。
  2. 前記近傍の2つ以上の前記読取素子の画像信号は、互いに最も近隣する2つの前記読取素子の画像信号である請求項1に記載の補間演算方法。
  3. 前記近傍の2つ以上の前記読取素子の画像信号は、近傍の4つの前記読取素子の画像信号である請求項1に記載の補間演算方法。
  4. 前記近傍の2つ以上の前記読取素子の画像信号は、近傍の16個の前記読取素子の画像信号である請求項1に記載の補間演算方法。
  5. 前記割り付けは、補間を行った読取素子の前記千鳥格子状の配列位置の間の位置で行われる請求項1〜4のいずれかに記載の補間演算方法。
  6. 前記割り付けは、補間を行った読取素子の前記千鳥格子状の配列位置の中間の位置で行われる請求項5に記載の補間演算方法。
  7. 前記千鳥格子状に配列された前記読取素子の画像信号の前記正方格子状の配列の画素位置への並べ替えは、前記千鳥格子状に配列された前記読取素子の配列に対応する前記正方格子状の配列に対して斜め方向に隣り合わせる前記読取素子間で補間を行うことにより行う請求項1〜6のいずれかに記載の補間演算方法。
  8. 前記補間は、線形補間、またはCubic補間である請求項1〜7のいずれかに記載の補間演算方法。
  9. 前記補間は、Cubic補間である請求項1〜8のいずれかに記載の補間演算方法。
  10. 前記Cubic補間は、Cubic sine補間、Cubic spline補間、またはCubic Bspline補間である請求項1〜9のいずれかに記載の補間演算方法。
  11. 前記補間は、1次元補間、または2次元補間である請求項1〜10のいずれかに記載の補間演算方法。
  12. 所定の読取位置に保持されるフィルムに入射するための読取光を射出する光源部と、
    読取素子が千鳥格子状に配列されたエリアイメージセンサと、
    前記読取光を前記フィルムに入射させることによって得られた、前記フィルムに撮影された画像を担持する投影光を、前記エリアイメージセンサに結像する結像光学系と、
    前記エリアイメージセンサの各読取素子から出力された画像信号を補間演算して画素の並び替えする補間演算部とを有し、
    前記補間演算部が、請求項1に記載の補間演算方法を用いることを特徴とする画像読取装置。
  13. さらに、前記エリアイメージセンサの画素ズラシ手段を有
    前記画素ズラシのみを行う読取モード、前記画素の並び替えのみを行う読取モード、および前記画素ズラシならびに前記画素の並び替えの両者を行う読取モードを有し、
    指定された画像読取の解像度および出力の拡大率に応じて、前記読取モードおよび前記画素ズラシ手段による画素ズラシ回数を選択する請求項12に記載の画像読取装置。
  14. 前記補間演算部が請求項11のいずれかに記載の補間演算方法を用いる請求項12または13に記載の画像読取装置。
  15. 所定の読取位置に保持されるフィルムに入射するための読取光を射出する光源部と、
    読取素子が千鳥格子状に配列されたエリアイメージセンサと、
    前記読取光を前記フィルムに入射させることによって得られた、前記フィルムに撮影された画像を担持する投影光を、前記エリアイメージセンサに結像する結像光学系と、
    前記エリアイメージセンサの画素ズラシ手段とを有し、
    指定された画像読取の解像度および出力の拡大率に応じて、前記画素ズラシ手段による画素ズラシ回数を選択することを特徴とする画像読取装置。
  16. さらに、前記エリアイメージセンサの各読取素子から出力された画像信号を補間演算して画素の並び替えする補間演算部を有し、
    前記画素ズラシのみを行う読取モード、前記画素の並び替えのみを行う読取モード、および前記画素ズラシならびに前記画素の並び替えの両者を行う読取モードを有し、
    指定された画像読取の解像度および出力の拡大率に応じて、前記読取モードおよび前記画素ズラシ手段による画素ズラシ回数を選択する請求項15に記載の画像読取装置。
  17. 前記補間演算部が、請求項1〜11のいずれかに記載の補間演算方法を用いる請求項15または16に記載の画像読取装置。
JP2001034249A 2000-02-09 2001-02-09 補間演算方法および画像読取装置 Expired - Fee Related JP4121714B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001034249A JP4121714B2 (ja) 2000-02-09 2001-02-09 補間演算方法および画像読取装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000-31491 2000-02-09
JP2000031491 2000-02-09
JP2001034249A JP4121714B2 (ja) 2000-02-09 2001-02-09 補間演算方法および画像読取装置

Publications (2)

Publication Number Publication Date
JP2001298608A JP2001298608A (ja) 2001-10-26
JP4121714B2 true JP4121714B2 (ja) 2008-07-23

Family

ID=26585086

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001034249A Expired - Fee Related JP4121714B2 (ja) 2000-02-09 2001-02-09 補間演算方法および画像読取装置

Country Status (1)

Country Link
JP (1) JP4121714B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010116214A (ja) * 2008-10-16 2010-05-27 Ricoh Co Ltd シート搬送装置、ベルト駆動装置、画像読取装置及び画像形成装置

Also Published As

Publication number Publication date
JP2001298608A (ja) 2001-10-26

Similar Documents

Publication Publication Date Title
US6072916A (en) High speed pipeline image processing for digital photoprinter
US20060023943A1 (en) Image processing method and image processing apparatus
JP2007097049A (ja) 画像読取装置および画像読取方法
US6754402B2 (en) Interpolation arithmetic method and image reader
JP4121714B2 (ja) 補間演算方法および画像読取装置
JP3783817B2 (ja) 画像処理方法および画像処理装置
US7027667B1 (en) Image conversion method and apparatus, image conversion processing program, and recording medium on which image conversion processing program is recorded
JP3549413B2 (ja) 画像処理方法および画像処理装置
JP3667929B2 (ja) 画像読取装置
JPH06233052A (ja) 画像読取装置
US8089669B2 (en) Apparatus and control method for image reading, image forming apparatus
JPH07327130A (ja) 画像読取装置
JP3576812B2 (ja) 画像処理装置及び画像処理方法
US6891888B2 (en) Image processing method and image processing apparatus
JP2001086332A (ja) 画像処理装置
JP2002300405A (ja) 画像圧縮方法
JPH1042097A (ja) カラーリニアイメージセンサ及び画像読み取り装置
JP2001197255A (ja) 画像読取装置およびこの装置を使用する画像読取方法
JP3625370B2 (ja) 画像処理方法および画像処理装置
JP2001223909A (ja) 画像読取方法
JP3771727B2 (ja) 画像変換方法、画像変換装置及び画像変換の手順を記録した記録媒体
Milch Line illumination system and detector for film digitization
JP2002094724A (ja) 画像読取装置
JP2004194280A (ja) 画像読取装置
JP2001045225A (ja) 画像読取装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060118

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071010

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080415

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080430

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110509

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110509

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120509

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees