JPWO2017195487A1 - 画像読取装置 - Google Patents
画像読取装置 Download PDFInfo
- Publication number
- JPWO2017195487A1 JPWO2017195487A1 JP2018512351A JP2018512351A JPWO2017195487A1 JP WO2017195487 A1 JPWO2017195487 A1 JP WO2017195487A1 JP 2018512351 A JP2018512351 A JP 2018512351A JP 2018512351 A JP2018512351 A JP 2018512351A JP WO2017195487 A1 JPWO2017195487 A1 JP WO2017195487A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- lens
- phase modulation
- imaging
- imaging optical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/024—Details of scanning heads ; Means for illuminating the original
- H04N1/028—Details of scanning heads ; Means for illuminating the original for picture information pick-up
- H04N1/03—Details of scanning heads ; Means for illuminating the original for picture information pick-up with photodetectors arranged in a substantially linear array
- H04N1/0306—Details of scanning heads ; Means for illuminating the original for picture information pick-up with photodetectors arranged in a substantially linear array using a plurality of optical elements arrayed in the main scan direction, e.g. an array of lenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/24—Optical objectives specially designed for the purposes specified below for reproducing or copying at short object distances
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
- G02B27/005—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration for correction of secondary colour or higher-order chromatic aberrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/024—Details of scanning heads ; Means for illuminating the original
- H04N1/028—Details of scanning heads ; Means for illuminating the original for picture information pick-up
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/024—Details of scanning heads ; Means for illuminating the original
- H04N1/028—Details of scanning heads ; Means for illuminating the original for picture information pick-up
- H04N1/02815—Means for illuminating the original, not specific to a particular type of pick-up head
- H04N1/02885—Means for compensating spatially uneven illumination, e.g. an aperture arrangement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
- H04N1/19—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/401—Compensating positionally unequal response of the pick-up or reproducing head
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
Abstract
Description
画像読取装置の結像レンズは、副走査方向に移動される読取対象物によって散乱された光を集光して、その集光した光をラインイメージセンサの結像面に結像することで、読取対象物の画像を結像面に形成する。
画像読取装置のラインイメージセンサは、結像レンズにより形成された画像の読み取りを行う。
一般的に、結像レンズで発生する色収差を抑制するには、屈折率と分散が異なるガラス材料を組み合わせればよいが、安価な樹脂材料では、色収差の補正が難しいため、色収差を抑制することが困難である。
図1はこの発明の実施の形態1による画像読取装置を示す断面図であり、図2はこの発明の実施の形態1による画像読取装置を示す斜視図である。
図1は断面図であるが、図面にハッチングを入れると、図の内容が分かり難くなるため、ハッチングを入れていない。
図1及び図2において、読取対象物1は画像読取装置の天板ガラス11に載せられている。例えば、読取対象物1である紙原稿などがスキャンされるスキャナ装置においては、天板ガラス11上を、読取対象物1が、図中Y方向である副走査方向に移動される。また、事務用複写機においては、天板ガラス11上に静置された読取対象物1に対して、図1に示された天板ガラス11以外の構造物全体が図中Y方向である副走査方向に移動される。
結像系アレイ14は複数の結像光学素子15を備えている。
複数の結像光学素子15は、直線上にそれぞれ配列されている。即ち、複数の結像光学素子15は、図中、X方向である主走査方向にそれぞれ配列されている。
図1及び図2の例では、4個の結像光学素子15が配列されているが、これは一例に過ぎず、2個又は3個の結像光学素子15、あるいは、5個以上の結像光学素子15が配列されているものであってもよい。
また、複数の結像光学素子15は、詳細は後述するが、光16を集光する領域である視野領域の一部が、隣りに配置されている結像光学素子15の視野領域の一部と重なるように配置されている。
絞り19はレンズ18により集光された光17の一部を遮断する光部品である。
レンズ20は絞り19側に配置されている第1のレンズ面20aと、結像面22側に配置されている第2のレンズ面20bとを有しており、第1のレンズ面20aには、絞り19を透過した光の位相を変調する位相変調素子20cが重畳されている。位相変調素子20cは、光軸周りの角度に依存する解像度特性を有している。
レンズ20は位相変調素子20cにより位相が変調された光21を結像面22に結像する第2のレンズである。
詳細は後述するが、複数の結像光学素子15の配列方向における位相変調素子20cの解像度特性が複数の結像光学素子15の間で揃うように、位相変調素子20cが設置されている。即ち、X方向である主走査方向に対する複数の位相変調素子20cの光軸周りの設置角度が同一平面内で同じ角度に揃えられている。
図1の例では、画像読取装置が、レンズ18及びレンズ20を備えているが、読取対象物1によって散乱された光16を結像面22に結像することができればよく、例えば、レンズ18がレンズ20の機能を備え、あるいは、レンズ20がレンズ18の機能を備えているものであってもよい。
ホルダー24は複数の結像光学素子15におけるレンズ20を保持している保持部材である。
撮像素子25は結像面22に配置されているライン状のチップであり、撮像素子25は結像光学素子15により形成された縮小転写像を読み取り、その読み取った縮小転写像を読取対象物1の画像として画像処理部60に出力する。
画像処理部60は、複数の撮像素子25からそれぞれ出力された複数の縮小転写像を重ね合わせる画像結合処理を実施する。天板ガラス11上の読取対象物1が、Y方向である副走査方向にスキャンされることで、読取対象物1における表面上の2次元画像が得られる。
図3において、31a,31b,31c,31dは複数の結像光学素子15の視野領域である。図3では、視野領域の重なりを見やすくするために、紙面上、上下二段交互に描いているが、実際は一直線に重なっている。
例えば、図中、左から2番目の結像光学素子15の視野領域31bに着目すると、その視野領域31bの一部32aは、左から1番目の結像光学素子15の視野領域31aの一部と重なっており、また、左から2番目の結像光学素子15の視野領域31bの一部32bは、左から3番目の結像光学素子15の視野領域31cの一部と重なっている。
以下、視野領域31aと重なっている視野領域31bの一部32a及び視野領域31cと重なっている視野領域31bの一部32bをオーバーラップ領域と称する。
例えば、画像読取装置による画像の読み取り範囲が300mmであり、複数の結像光学素子15がX方向に10mmのピッチで配置され、視野領域31a,31b,31c,31d・・・の範囲が11mmであるとすると、オーバーラップ領域32a,32b・・・の範囲が1mmになる。
光照射部12は、天板ガラス11に載せられている読取対象物1に向けて光13を出射する。
光照射部12から出射された光13は、読取対象物1によって散乱される。読取対象物1によって散乱された光16は、複数の結像光学素子15に入射される。
複数の結像光学素子15のレンズ20は、絞り19を透過してきた光を結像面22に結像することで、読取対象物1における表面上の画像の縮小転写像を結像面22に形成する。
ただし、レンズ20の第1のレンズ面20aには位相変調素子20cが重畳されているので、絞り19を透過してきた光の位相は、位相変調素子20cによって変調される。位相変調素子20cの動作については後述する。
画像処理部60は、複数の撮像素子25から縮小転写像を受けると、複数の縮小転写像に対する画像結合処理を実施して、複数の縮小転写像の重ね合わせを行う。天板ガラス11上の読取対象物1が、Y方向である副走査方向にスキャンされることで、読取対象物1における表面上の2次元画像が得られる。
以下、位相変調素子20cが実装されていない場合に生じる画像の劣化を具体的に説明する。
ここでは、レンズ20は、位相変調素子20cが重畳されている第1のレンズ面20aを備えておらず、第2のレンズ面20bだけを備えているものとする。
色消しレンズは、分散が小さい硝材による凸レンズと、分散が大きい硝材による凹レンズとが貼り合わされたレンズである。ただし、異なる材料の貼り合わせレンズの製作費用は高価なものとなる。
色消しレンズを樹脂材料で製作できれば、製作費用を低減することができるが、樹脂材料では、色収差の補正が難しいため、色収差を抑制することが困難である。
図4において、Bは絞り19及びレンズ20を透過した光のうち、青色の光線による集光光線を示し、レンズ20の近い位置で結像している。
Gは緑色の光線による集光光線を示し、集光光線Bよりも、レンズ20から遠い位置で結像している。
Rは赤色の光線による集光光線を示し、集光光線Gよりも、レンズ20から遠い位置で結像している。
ここで、MTF(Modulated Transfer Function)は、光学系の伝達関数である。
光学系が対象とする物体である読取対象物1は、模様や大きさが様々であるが、粗い明暗模様から細かい明暗模様までを集めた集合体と捉えることができる。これらの明暗模様であるコントラストを、どれだけ忠実に像で再現できるかを表した指標がMTFである。
図5は空間周波数が380dpi相当のMTFを示しており、横軸の原稿距離はジャストフォーカス位置を基準とした読取対象物1までの距離である。縦軸のMTFはRGBの色毎に示している。
なお、MTFの測定は、一般的に光の透過率が100%から0%までsinカーブ状に変化する正弦波チャートが使用され、この正弦波の山が1mmの間にある数は空間周波数と呼ばれる。
このため、+0.15mmの位置に、高い空間周波数を持った白黒の原稿が設置された場合、赤色の成分はぼけなく結像されるが、青色の成分はぼけが生じて、白線が赤みを帯びた画像になる。
また、−0.45mmの位置に、高い空間周波数を持った白黒の原稿が設置された場合、青色の成分はぼけなく結像されるが、赤色の成分はぼけが生じて、白線が青みを帯びた画像になる。
したがって、位相変調素子20cが実装されていない場合には、対象物のパターンの細かさにより色がにじんで見えるようになるなどの画像の劣化を生じることが分かる。
[特許文献2] 特開2011−135484号公報
位相変調素子20cにより与えられる位相変調として、例えば、下記の式(1)に示すような3次の位相変調関数で与えられる位相変調が考えられる。
φ(X, Y)=a(X3+Y3) (1)
式(1)において、aは定数である。Xは主走査方向の位置、Yは副走査方向の位置である。ただし、これは一例であって、他の関数形状の位相変調も考えられる。
Z=φ(X, Y) (2)
式(2)に示す関数を3次元プロットすると、図6のようになる。図6は式(2)に示す関数である位相変調関数を示す説明図である。
図7Aは位相変調素子20cが実装されていない場合の集光光線と、集光位置付近でのスポットダイアグラムとを示す説明図である。
図7Bは位相変調素子20cが実装されている場合の集光光線と、集光位置付近でのスポットダイアグラムとを示す説明図である。
位相変調素子20cが実装されていない場合、図7Aに示すように、焦点位置の違いによって集光スポットの大きさが大きく変化し、集光点では、小さなスポットとなるが、少しデフォーカスすると、大きなスポットになる。
一方、位相変調素子20cが実装されている場合、図7Bに示すように、集光点でのスポットも大きく、かつ、非対象に歪んだ形状になるが、Z方向の位置によらず、ほぼ同じスポットが得られる。
図8でも、図5と同様に、空間周波数が380dpi相当のMTFを示している。
図5と図8を比較すると、位相変調素子20cが実装されている場合、ピークの値は小さくなるが、原稿距離が変化しても、MTFの値がほぼ一定の値になる。
したがって、位相変調素子20cが実装されている場合に得られる画像は、Z方向の位置によらずに同じぼけ方をするので、どれだけZ方向にずれているかが分からなくても、同じデコンボリューションフィルタを使って、画像復元処理を行うことができる。この画像復元処理は、例えば、以下の特許文献3に開示されている。
[特許文献3] 特開2014−75653号公報
図9は図7におけるスポットA〜Dに対応するX方向のMTFを示す説明図である。
図9AはスポットAに対応するX方向のMTFを示す説明図であり、図9BはスポットBに対応するX方向のMTFを示す説明図である。
また、図9CはスポットCに対応するX方向のMTFを示す説明図であり、図9DはスポットDに対応するX方向のMTFを示す説明図である。
位相変調素子20cが実装されていない場合のスポットBでは、図9Bに示すように、2か所の空間周波数でMTFがゼロ値になるため、スポットBでは、空間周波数での画像情報を失ってしまうため、デコンボリューションフィルタを用いる画像復元処理を実施することができない。
スポットCに対応するX方向のMTFを示す図9Cと、スポットDに対応するX方向のMTFを示す図9Dとは、おおよそ同じグラフであり、Z方向の距離によらずに、同じデコンボリューションフィルタを使うことができるというメリットがある。
なお、位相変調素子20cは、全ての像高であるX方向の位置の点像に対して、同じ変調を付加したいので、絞り面に設置する必要がある。また、絞り面の近傍にレンズ面がある場合には、そのレンズ曲面形状に、式(2)で表されるサグ量である厚みZを付加しても同じ位相変調効果が得られる。
WFCを複眼光学系方式のラインイメージセンサに適用する場合、PSFが非対称な形状を持っていることに起因して、単位結像系である結像光学素子15により形成された画像を貼り合わせる際に問題が生じる。
PSFが非対称な形状であるため、位相変調素子20cが実装されている結像光学素子15により形成された画像の解像度は、方向によって大きく異なる。
図10において、θはX方向からの角度である。
図11は角度θが0°、30°、45°、60°、90°、120°、135°、150°、180°である場合のMTFの計算結果を示す説明図である。
複数の結像光学素子15により形成された画像において、不連続な解像度の変化が生じている場合、これらの画像に対して、デコンボリューションフィルタを用いる画像復元処理を実施しても、解像度の方向依存性が残存する。
また、位相変調素子20cの向きによっては、画像復元処理を実施することで、元画像には存在していないリンギングが発生する場合がある。このため、位相変調素子20cの向きによってリンギングの発生度合いが異なる場合、鑑賞に適さないような劣化した貼り合わせ画像になることがある。
具体的には、第1のレンズ面20aに位相変調素子20cが重畳されている複数のレンズ20の向きを全て同じ方向に揃えている。
図12は向きが全て同じ方向に揃えられている複数のレンズ20を示す説明図である。
図12において、40はグローバル座標、41a,41b,41c,41d,41e,41fは、位相変調が式(1)で表されるレンズ20における位相重畳面のローカル座標である。この位相重畳面は、位相変調素子20cが重畳されている第1のレンズ面20aを意味する。
図12Aの例では、全ての結像光学素子15における解像度の方向依存性が同じになるため、複数の結像光学素子15により形成された画像を貼り合わせる際に生じる問題が解消される。
図12Cは全てのレンズ20における位相重畳面のローカル座標41a,41b,41c,41d,41e,41fがθだけ回転しているが、全てのレンズ20における位相重畳面のローカル座標41a,41b,41c,41d,41e,41fの向きが揃っている例を示す説明図である。
MTF=f(θ) (3)
f(θ)=f(θ+180°) (4)
このため、全てのレンズ20における位相重畳面のローカル座標41a,41b,41c,41d,41e,41fがφだけ回転していても、全ての結像光学素子15の間で画像解像度の方向性が一致する。このφの回転には、言うまでもないが、φ=45°の回転も含まれる。
図13はレンズ20の一部に切り欠きが施されている例を示す説明図である。
図13の例では、一部がD字形状にカットされているレンズ20を示しており、ホルダー24におけるレンズ20の勘合部50がD字形状になっている。カットの形状や大きさを変えることで、回転の大きさを変えることができる。
複数のレンズ20の第1のレンズ面20aに重畳されている位相変調素子20cの一部をカットした場合も、カットの形状や大きさを変えることで、回転の大きさを変えることができる。
即ち、全ての結像光学素子15に含まれている位相変調素子20cの光軸周りの設置角度を同一平面内で同じ角度θに揃えることで、全ての位相変調素子20cの位相変調特性を揃えるように構成しているので、WFCを複眼光学系方式のラインイメージセンサに適用することができる。この結果、軸上色収差が補正された良好な画像を得ることができるとともに、被写界深度を大きく向上することができる。
上記実施の形態1では、全ての結像光学素子15に含まれている位相変調素子20cの光軸周りの設置角度が同一平面内で同じ角度φに揃えられているものを示したが、この実施の形態2では、複数の結像光学素子15に含まれている位相変調素子20cにおける同一平面内での光軸周りの設置角度の差が、90度の整数倍であるものについて説明する。
図14では、グローバル座標40に対するローカル座標の回転角が0°、90°、180°、270°のいずれかであるレンズ20が配置されている。
位相変調関数が上記の式(1)のように表される場合、X座標とY座標を交換しても、同じ関数式になること、式(4)に示すように角度θが180°変わっても、MTFが同じ値を有することから、角度θ方向のMTFの波形は、θ=0°、90°、180°、270°との間でいずれも同じになる。即ち、下記の式(5)が成立する。
f(0°)=f(90°)=f(180°)=f(270°) (5)
よって、レンズ20が、φ=0°、90°、180°、270°回転していても、MTFの方向依存性が変化しないので、良好な画像の貼り合わせが可能である。
図14Aの配置では、全ての結像光学素子15のMTFは、グローバル座標40でのX方向及びY方向に対して全く同じである。よって、画像処理部60が、複数の結像光学素子15により形成された画像を結合する際、全ての画像における解像度の方向性が一致するため、良好な画像の重ね合わせができる。
図14Cはφ=0°のレンズ20、φ=90°のレンズ20、φ=180°のレンズ20、φ=270°のレンズ20がランダムに配置されている例を示す説明図である。
図14B及び図14Cの場合も、図14Aの場合と同様に、全ての結像光学素子15のMTFは、グローバル座標40でのX方向及びY方向に対して全く同じである。よって、画像処理部60が、複数の結像光学素子15により形成された画像を結合する際、全ての画像における解像度の方向性が一致するため、良好な画像の重ね合わせができる。
このとき、第1の方向は、ローカル座標41a,41c,41eで定義される方向であり、第1の方向における第1の座標軸は、ローカル座標41a,41c,41eでのX方向、第1の方向における第2の座標軸は、ローカル座標41a,41c,41eでのY方向である。
また、第2の方向は、ローカル座標41b,41d,41fで定義される方向であり、第2の方向における第1の座標軸は、ローカル座標41b,41d,41fでのX方向、第2の方向における第2の座標軸は、ローカル座標41b,41d,41fでのY方向である。
したがって、第2の方向における第1の座標軸の方向は、第1の方向における第1の座標軸から−90度回転している方向であり、第2の方向における第2の座標軸の方向は、第1の方向における第2の座標軸から+90度回転している方向である。
図14Dの場合も、図14Aの場合と同様に、MTFの方向依存性が一致するほか、下記に示すような効果が得られる場合がある。
図15はWFCによる非対称歪みを示す説明図である。
図15Aは歪みがない像の位置と、WFCによって像がシフトしている位置とを示している。
図15Aにおいて、○印は歪みがない像の位置を示し、■印はWFCによって像がシフトしている位置を示している。
+X位置の像は、よりプラスの方向へシフトし、−X位置の像もプラスの方向へシフトしている。
中心位置X=0から離れる方向に像がシフトするときの歪み量を+方向として、図15Aのシフト量を歪み量としてグラフにすると、図15Bが得られる。図15Bは主走査方向の各位置に対応する歪み量を示す説明図である。
このような歪みがある場合に、上記実施の形態1のように、隣りの結像光学素子15が同じ方向を向いていると、隣りの結像光学素子15におけるオーバーラップ領域の画像を重ね合わせようとしても、転写倍率が異なるため、重ね合わせることが困難である。
図16の例では、n番目の画像の右端に位置しているオーバーラップ領域Bnと、(n+1)番目の画像の左端に位置しているオーバーラップ領域An+1との間で、画像の相関を取って重ね合わせることになるが、双方の画像の転写倍率が異なるために、重ね合わせることが困難である。
しかし、図14Dのようにレンズ20が配列されている場合、全てのオーバーラップ領域において、隣り合っている画像での転写倍率が一致する。
このため、図14Dのようにレンズ20が配列されている場合、上記実施の形態1と同様の重ね合わせ処理を実施することで、軸上色収差が補正された良好な画像を得ることができる。
上記実施の形態2では、レンズ20を図14Dのように配列することで、軸上色収差が補正された良好な画像を得る例を示している。
この実施の形態3では、視野領域31a,31b,31c,31d,・・・内の両端部であるオーバーラップ領域32a,32b,・・・の非対称な歪み、即ち、図15に示すような左右非対称な歪みを解消することで、軸上色収差が補正された良好な画像を得る例を説明する。
画像処理部60によりディストーション補正が実施されることで、撮像素子25から出力された縮小転写像に含まれているオーバーラップ領域32a,32b,・・・の歪みが補償される。
これにより、例えば、図16に示すn番目の縮小転写像(画像)の右端に位置しているオーバーラップ領域Bnでの転写倍率と、(n+1)番目の縮小転写像(画像)の左端に位置しているオーバーラップ領域An+1での転写倍率との差異がなくなる。
例えば、オーバーラップ領域Bnでの転写倍率と、オーバーラップ領域An+1での転写倍率との差異がなくなっているため、軸上色収差が補正された良好な画像を得ることができる。
複数の撮像素子25によりそれぞれ読み取られた複数の縮小転写像(画像)は、レンズ18によって口径食が発生している画像を含んでいる。
この実施の形態4では、画像処理部60が、口径食が発生している領域の画像を利用して、画像結合処理を行う例を説明する。
図17における結像光学素子15の個数が、図1と同様に4個である例を示している。図17では、説明の便宜上、4個の結像光学素子15を、結像光学素子15a、結像光学素子15b、結像光学素子15c及び結像光学素子15dのように区別している。
また、図17では、図を簡単にするため、結像光学素子15a〜15dに含まれているレンズ18及びレンズ20は、厚みのないレンズとして、線分で表している。
レンズ20における第1のレンズ面20aには、上記実施の形態1と同様に、位相変調素子20cが重畳されている。
図17では、結像光学素子15a〜15dの配列ピッチがLpである。
この実施の形態4では、画像処理部60が、例えば、結像光学素子15aに対応する撮像素子25から出力された縮小転写像と、結像光学素子15bに対応する撮像素子25から出力された縮小転写像との画像結合処理を実施する際、結像光学素子15aに係る縮小転写像におけるオーバーラップ領域の画像と、結像光学素子15bに係る縮小転写像におけるオーバーラップ領域の画像との一致度を比較する。このため、オーバーラップ領域は、最低限の画素数以上の範囲、例えば10画素以上、が必要である。
結像光学素子15a〜15dをX方向に一列に配列し、結像光学素子15a〜15dに対応する撮像素子25によりそれぞれ読み取られた複数の縮小転写像の画像結合処理を行うことにより、全体の画像を復元する画像読取装置では、結像光学素子15a〜15dが読取対象物1側にテレセントリックに近い光学系であることが必要である。
即ち、図17に示している角度α、即ち、光軸であるZ方向と、最外光線とのなす角度であるαが小さいことが必要である。
ただし、最外光線は、光線束であるので、厳密には、最外光線束の中心の光線(以下、「最外主光線」と称する)の角度と光軸とのなす角度を角度αと定義する。
図18における結像光学素子15a〜15dの配列ピッチは、図17と同じLpである。
図18における結像光学素子15a〜15dに含まれているレンズ18は、X方向に一列に配列しているので、レンズ18のX方向の口径幅Hは、Lp以下である。
この条件で、口径食が発生しないようにレンズ18を設計すると、図18に示すように、光軸と最外主光線とのなす角度であるαは、口径食が発生する図17の画像読取装置よりも大きくなる。
テレセントリックではない光学系の場合には、原稿距離の僅かな変化によって、像の転写倍率が大きく変化することになる。
例えば、図19に示すように、副走査方向であるY方向に延伸する直線が、ピッチpで、主走査方向であるX方向に繰り返し配列された原稿画像がオーバーラップ領域に存在するものとする。また、画像読取装置が、空間周波数(1/p)の解像度を有しているものとする。
図19は直線がピッチpで主走査方向に配列されている原稿画像を示す説明図である。
図20は読取対象物1側でのオーバーラップ領域32a付近の光線の様子を表した模式図である。
図20では、結像光学素子15aの−X側の最外主光線51aと、結像光学素子15bの+X側の最外主光線51bとを+Z方向に延伸して描いている。
図20では、読取対象物1側の焦点位置52である位置Z=Z0に対し、所望の被写界深度をΔZ、被写界深度内で最遠の物体位置54をZ=Z+、被写界深度内で最近の物体位置53をZ=Z−としている。
結像光学素子15aの視野領域31aと結像光学素子15bの視野領域31bとが重なるオーバーラップ領域32aは、Z+の位置において、X+の幅を有し、Z−の位置において、X−の幅を有している。
このため、被写界深度内でオーバーラップ領域32aは、以下の式(6)に示すように、ΔXだけ変化する。
ΔX=X+−X− (6)
式(6)に示しているオーバーラップ領域32aの変化量ΔXは、以下の式(7)のようにも、表すことができる。
ΔX=2・ΔZ・tanα (7)
ΔZ=Z+−Z− (8)
ピッチpだけずれた状態で、2つの縮小転写像を結合してしまうと、2つの縮小転写像の境界領域で不連続になるため、著しく画質が劣化する。
以下の式(9)に示すように、オーバーラップ領域32aの変化量ΔXがピッチpよりも小さければ、以下の式(10)が成立する。
ΔX<p (9)
tanα<p/(2・ΔZ) (10)
式(10)を満足させるには、角度αは、小さな値であることが望ましい。
角度α小さくするためには、結像光学素子15の視野領域内の端部付近では、口径食が発生している領域の画像を取得して、その領域の画像を画像結合処理に用いる必要がある。
図21はレンズ18での口径食によるスポットダイアグラムの変化を示す説明図である。
図21Aは、口径食がなく、かつ、WFCのための位相変調素子20cがない場合の光線追跡図であり、図21Bは図21Aの場合の結像面でのスポットダイアグラムを示している。図21Aにおけるレンズ18のX方向の口径幅はH’である。
図21Bでは、結像面のスポットダイアグラムとして、ジャストフォーカス位置Z’=0のスポットダイアグラムのほかに、ジャストフォーカス位置からZ’方向に±Δだけシフトしているデフォーカス位置のスポットダイアグラムと、±2Δだけシフトしているデフォーカス位置のスポットダイアグラムとを表している。結像面側では、レンズ18から遠ざかる方向を+Z’と定義している。
口径食があるx1’及びx5’でのスポットダイアグラムは、マイナス側にデフォーカスしているときには内側の領域が欠損し、プラス側にデフォーカスしているときには外側の領域が欠損している。
また、図21Cの場合、X方向の非対称性はないので、x1’のスポットダイアグラムとx5’のスポットダイアグラムとは、X方向に対して反転しているだけの形状である。
図21Bでは、デフォーカスに対して、スポット径が大きく変化するのに対し、図21Fでは、デフォーカスに対して、スポット径がほとんど変化しない。これは図7で述べた効果と同じである。また、視野領域内で口径食がないので、x1’〜x5’によらず、ほとんど同じスポット径であることも分かる。
図21Gでは、読み取り領域の幅が図21Eと同じであり、レンズ18のX方向の口径幅がHであり、図21Eにおけるレンズ18のX方向の口径幅H’よりも小さい。
図21Hにおいて、特に注目すべきは、口径食があり、かつ、デフォーカスしている位置でのスポットダイアグラムである。図中、(1)、(2)、(5)及び(6)のスポットダイアグラムである。
そして、Z’=−2Δのデフォーカス位置では、図21Dと同様に、内側の光線がけられることになる。しかし、位相変調素子20cによって、スポットダイアグラムが大きく非対称に歪ませられているので、(1)と(2)では、スポット形状が大きく異なる。(1)では、図21Dと同様に、内側が大きくけられる形状となるが、(2)では口径食によるスポットの形状変化がほとんどない。
また、Z’=2Δのデフォーカス位置では、(5)のスポット形状の変化がほとんどなく、(6)のスポット形状が外側に大きく欠損している。
図22Aは、デフォーカス量がZ’=−2Δのときのディストーションを示している。
破線は、口径食がないときのディストーションであり、図21E及び図21Fに相当する。
実線は、口径食があるときのディストーションであり、図21G及び図21Hに相当する。
図21Hにおける(1)のスポットは、内側がけられるので、スポットの輝度重心位置は外側にシフトする。よって、図22Aの実線のグラフは、像位置が+Xの端部付近でディストーションの値が大きくなる。
図22Bは、デフォーカス量がZ’=+2Δのときのディストーションであり、図21Hに示したように、外側のスポットがけられるので、実線のグラフが像位置−Xの端部において、ディストーションの値がプラス方向に大きくなる。
例えば、図17に示す結像光学素子15aと結像光学素子15bとの境界部にあるオーバーラップ領域32aにおいて、Z=−2ΔM2のデフォーカスが発生しているとする。
Mは、結像光学素子15a,15bによる像の転写倍率であって、焦点方向の縦倍率はM2である。
このとき、結像面側でのスポットダイアグラムは、図21HにおけるZ’=−2Δのデフォーカスのときのスポットダイアグラムに相当する。よって、読取対象物1側でZ=−2ΔM2のデフォーカスが発生しているとき、横軸を読取対象物1側の位置にとったディストーションのグラフは、図23A及び図23Bのようになる。
図23A及び図23Bが、図22Aに対して左右反転しているのは、結像光学素子15による像が反転するからである。
図23Aは、視野領域31bでのディストーションを表し、図23Bは、視野領域31aでのディストーションを表している。このとき、オーバーラップ領域32aは、図23Aのグラフでは右端、図23Bのグラフでは左端である。
図23C及び図23Dが、図22Bに対して左右反転しているのは、結像光学素子15による像が反転するからである。
図23Cは、視野領域31bでのディストーションを表し、図23Dは、視野領域31aでのディストーションを表している。このとき、オーバーラップ領域32aは、図23Cのグラフでは右端、図23Dのグラフでは左端である。
口径食が発生することで、更に大きく歪んでいる2つの画像は、ディストーション値が大きく異なるため、2つの画像を誤った位置で結合してしまう可能性が高く、正しく、画像結合処理を行うことが困難である。
そこで、この実施の形態4では、画像処理部60が、画像結合処理を行う前に、複数の撮像素子25からそれぞれ出力された複数の縮小転写像に対するディストーション補正を実施する。
図22から分かるように、ディストーションは、デフォーカス量によって変化する。何らかの手段によってデフォーカス量が分かっていれば、デフォーカス量からディストーションが一意に定まるので、そのディストーションの補正を行えばよい。
式(7)からも類推されるように、ディストーションであるオーバーラップ領域の変化量ΔXは、デフォーカス量ΔZに比例して変化する。
そこで、画像処理部60は、最初に、ディストーション補正を行わない状態で、画像結合処理を実施することで、デフォーカス量ΔZを算出する。ここでは、ディストーション補正を実施していないので、正しく画像結合処理を行えない可能性はあるが、大まかなデフォーカス量ΔZを算出することは可能である。
ディストーション補正とは、位置Xに応じて局所的に画像の伸び縮みをさせる画像処理であり、ΔXがプラスの領域は、X方向に画像を縮小させ、ΔXがマイナスの領域は、X方向に画像を拡大させる補正である。
最後に、画像処理部60は、ディストーション補正後の複数の縮小転写像の画像結合処理を実施する。
これにより、良好な画像を復元することができる。
具体的には、以下の通りである。
しかし、口径食が発生している領域が、オーバーラップ領域の大部分を占めているような場合には、口径食が発生している領域の画像についても、最終的な結合画像処理に用いるようにしなければ、良好な画像を復元できない場合がある。
例えば、図21Hにおける(1)及び(6)のような領域でのフィルタ処理が用いるフィルタと、図21Hにおける(3)及び(4)のような領域でのフィルタ処理が用いるフィルタとが異なるようにする。
上述したように、画像結合処理の結果からデフォーカス量を知ることができるので、そのデフォーカス量を用いて、口径食によるスポットの形状を算出することができる。
よって、画像処理部60は、スポットの形状に応じて、フィルタ処理に用いるフィルタを選択するようにする。
取得画像の関数をg(x,y)、PSFの関数をh(x,y)、元の画像の関数をf(x,y)とすると、以下の式(11)のように表すことができる。
g(x,y)=h(x,y)*f(x,y) (11)
式(11)において、*は畳みこみ積分を表す記号である。
式(11)の両辺をフーリエ変換すると、以下の式(12)のように、フーリエ変換の積で表される。
G(ξ,η)=H(ξ,η)・F(ξ,η) (12)
式(12)において、G(ξ,η)、H(ξ,η)、F(ξ,η)は、それぞれg(x,y)、h(x,y)、f(x,y)のフーリエ変換関数である。
よって、元の画像関数f(x)を復元させる、WFCの復元処理とは、
F(ξ,η)=G(ξ,η)/H(ξ,η)
を計算し、さらにフーリエ逆変換を行って、f(x,y)を求めることである。
この実施の形態4においては、PSFの関数h(x,y)が常に一定ではなく、像高位置X’および物体のデフォーカス量Zに応じて異なる関数を使うということである。像高位置X’および物体のデフォーカス量Zに応じて連続的に関数を変えても良いが、処理を簡単にするために、いくつかの領域に区切って関数を変えるのが現実的である。例えば、図21Hにおいて、けられが大きく、スポットダイアグラムが大きく欠ける領域である(1),(6)の領域のみ、それぞれのスポットダイアグラムに応じたh(x,y)を使い、それ以外の領域では、スポットダイアグラムがほぼ共通であるので、そのスポットダイアグラムに応じた共通のh(x,y)を使うことができる。
また、口径食によるスポットの形状変化に合わせて、異なるフィルタを用いるフィルタ処理を実施するようにしているので、更に良好な画像を復元することができる。
Claims (13)
- 直線上にそれぞれ配置されており、読取対象物によって散乱された光を集光し、前記集光した光を結像面に結像することで、前記読取対象物の画像を前記結像面にそれぞれ形成する複数の結像光学素子と、
前記結像面に配置され、前記複数の結像光学素子により形成された画像のそれぞれを読み取る複数の撮像素子とを備え、
前記複数の結像光学素子は、前記読取対象物によって散乱された光を集光する領域である視野領域の一部が、隣りに配置されている結像光学素子の視野領域の一部と重なるように配置されており、
前記複数の結像光学素子は、
前記読取対象物によって散乱された光を前記結像面に結像するレンズと、
前記レンズを透過した光の一部を遮断する絞りと、
光軸周りの角度に依存する解像度特性を有し、前記絞りを透過した光の位相を変調する位相変調素子とを含んでおり、
前記複数の結像光学素子の配列方向における前記位相変調素子の解像度特性が前記複数の結像光学素子の間で揃うように、前記位相変調素子が設置されていることを特徴とする画像読取装置。 - 前記レンズは、前記読取対象物によって散乱された光を集光する第1のレンズと、前記位相変調素子により位相が変調された光を前記結像面に結像する第2のレンズとを備えていることを特徴とする請求項1記載の画像読取装置。
- 前記第2のレンズは、前記絞り側に配置されている第1のレンズ面と、前記結像面側に配置されている第2のレンズ面とを有しており、
前記位相変調素子は、前記第1のレンズ面に重畳されていることを特徴とする請求項1または請求項2記載の画像読取装置。 - 前記複数の結像光学素子に含まれている前記位相変調素子の光軸周りの設置角度が同一平面内で同じ角度に揃えられていることを特徴とする請求項1から請求項3のうちのいずれか1項記載の画像読取装置。
- 前記複数の結像光学素子に含まれている前記位相変調素子により変調される位相φ(X, Y)は、定数a、主走査方向の位置X及び副走査方向の位置Yに基づく、関数a(X3+Y3)で表されることを特徴とする請求項1から請求項4のうちのいずれか1項記載の画像読取装置。
- 前記複数の結像光学素子に含まれている前記位相変調素子における同一平面内での光軸周りの設置角度の差が、90度の整数倍であることを特徴とする請求項1から請求項3のうちのいずれか1項記載の画像読取装置。
- 前記複数の結像光学素子に含まれている前記位相変調素子として、
光軸周りの設置角度が第1の方向である第1の位相変調素子と、
光軸周りの設置角度が第2の方向である第2の位相変調素子とが交互に配置されており、
前記第2の方向における第1の座標軸の方向が、前記第1の方向における第1の座標軸から−90度回転している方向、前記第2の方向における第2の座標軸の方向が、前記第1の方向における第2の座標軸から+90度回転している方向であることを特徴とする請求項6記載の画像読取装置。 - 前記複数の結像光学素子に含まれている前記位相変調素子の一部に切り欠きが施されていることを特徴とする請求項1から請求項7のうちのいずれか1項記載の画像読取装置。
- 前記第1のレンズ面に前記位相変調素子が重畳されている前記レンズの一部に切り欠きが施されていることを特徴とする請求項3記載の画像読取装置。
- 前記複数の撮像素子によりそれぞれ読み取られた複数の画像を重ね合わせる画像結合処理を行う画像処理部を備えていることを特徴とする請求項1から請求項9のうちのいずれか1項記載の画像読取装置。
- 前記複数の撮像素子によりそれぞれ読み取られた複数の画像は、前記視野領域内の両端部が非対称に歪んでいる画像であり、
前記画像処理部は、前記複数の撮像素子によりそれぞれ読み取られた複数の画像の歪みを補正する補正処理を実施してから、前記画像結合処理を行うことを特徴とする請求項10記載の画像読取装置。 - 前記複数の撮像素子によりそれぞれ読み取られた複数の画像は、前記レンズによって口径食が発生している画像を含んでおり、
前記画像処理部は、前記口径食が発生している領域の画像を利用して、前記補正処理を実施することを特徴とする請求項11記載の画像読取装置。 - 前記複数の撮像素子によりそれぞれ読み取られた複数の画像は、前記レンズによって口径食が発生している画像を含んでおり、
前記画像処理部は、前記位相変調素子による光の位相の変調に伴って解像度が劣化している画像を復元するフィルタ処理を実施し、
前記解像度が劣化している画像の位置によって、前記フィルタ処理の実施に用いるフィルタが異なっていることを特徴とする請求項10記載の画像読取装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016097034 | 2016-05-13 | ||
JP2016097034 | 2016-05-13 | ||
PCT/JP2017/012948 WO2017195487A1 (ja) | 2016-05-13 | 2017-03-29 | 画像読取装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017195487A1 true JPWO2017195487A1 (ja) | 2018-08-30 |
JP6395976B2 JP6395976B2 (ja) | 2018-09-26 |
Family
ID=60267162
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018512351A Active JP6395976B2 (ja) | 2016-05-13 | 2017-03-29 | 画像読取装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10506124B2 (ja) |
JP (1) | JP6395976B2 (ja) |
CN (1) | CN109076133B (ja) |
DE (1) | DE112017002459T5 (ja) |
WO (1) | WO2017195487A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110521197B (zh) * | 2017-04-27 | 2021-08-13 | 三菱电机株式会社 | 图像读取装置 |
CN112639610B (zh) | 2018-09-26 | 2022-12-02 | Oppo广东移动通信有限公司 | 恢复穿过显示器的图像的方法和装置 |
CN111614863A (zh) * | 2020-06-24 | 2020-09-01 | 威海华菱光电股份有限公司 | 图像传感器和电子装置 |
CN114911036A (zh) * | 2022-05-18 | 2022-08-16 | Oppo广东移动通信有限公司 | 镜头及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007156749A (ja) * | 2005-12-02 | 2007-06-21 | Ricoh Co Ltd | 画像入力装置 |
WO2009011153A1 (ja) * | 2007-07-13 | 2009-01-22 | Mitsubishi Electric Corporation | 画像読取装置 |
JP2010087859A (ja) * | 2008-09-30 | 2010-04-15 | Fujifilm Corp | 画像処理パラメータ算出装置、画像処理パラメータ算出方法、製造方法、撮像装置、撮像方法、およびプログラム |
JP2012054668A (ja) * | 2010-08-31 | 2012-03-15 | Fujifilm Corp | 撮像モジュールおよび撮像装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11122440A (ja) | 1997-10-09 | 1999-04-30 | Matsushita Electric Ind Co Ltd | 画像読み取り装置 |
US6373995B1 (en) * | 1998-11-05 | 2002-04-16 | Agilent Technologies, Inc. | Method and apparatus for processing image data acquired by an optical scanning device |
WO2008013527A1 (en) * | 2006-07-26 | 2008-01-31 | Hewlett-Packard Development Company, L.P. | Segmented reflective optical system |
JP4453752B2 (ja) * | 2007-12-06 | 2010-04-21 | 三菱電機株式会社 | 画像読取装置 |
CN101981910B (zh) * | 2008-03-31 | 2013-04-03 | 三菱电机株式会社 | 图像读取装置 |
JP5487955B2 (ja) | 2009-12-25 | 2014-05-14 | 富士通株式会社 | 撮像装置および撮像方法 |
JP5806103B2 (ja) * | 2011-12-20 | 2015-11-10 | 三菱電機株式会社 | 画像読取装置 |
JP5980081B2 (ja) | 2012-10-03 | 2016-08-31 | 日立マクセル株式会社 | 撮像装置および画像処理方法 |
JP6033673B2 (ja) * | 2012-12-28 | 2016-11-30 | 株式会社日立製作所 | 撮像装置 |
US10326908B2 (en) | 2015-03-16 | 2019-06-18 | Mitsubishi Electric Corporation | Image reading apparatus and image reading method |
JP6544346B2 (ja) * | 2016-11-30 | 2019-07-17 | 京セラドキュメントソリューションズ株式会社 | 読取モジュール及びそれを備えた画像読取装置並びに画像形成装置 |
JP6583233B2 (ja) * | 2016-11-30 | 2019-10-02 | 京セラドキュメントソリューションズ株式会社 | 読取モジュール及びそれを備えた画像読取装置並びに画像形成装置 |
JP6870395B2 (ja) * | 2017-03-13 | 2021-05-12 | コニカミノルタ株式会社 | 画像読取装置 |
-
2017
- 2017-03-29 US US16/094,398 patent/US10506124B2/en active Active
- 2017-03-29 CN CN201780028169.XA patent/CN109076133B/zh active Active
- 2017-03-29 DE DE112017002459.5T patent/DE112017002459T5/de active Pending
- 2017-03-29 JP JP2018512351A patent/JP6395976B2/ja active Active
- 2017-03-29 WO PCT/JP2017/012948 patent/WO2017195487A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007156749A (ja) * | 2005-12-02 | 2007-06-21 | Ricoh Co Ltd | 画像入力装置 |
WO2009011153A1 (ja) * | 2007-07-13 | 2009-01-22 | Mitsubishi Electric Corporation | 画像読取装置 |
JP2010087859A (ja) * | 2008-09-30 | 2010-04-15 | Fujifilm Corp | 画像処理パラメータ算出装置、画像処理パラメータ算出方法、製造方法、撮像装置、撮像方法、およびプログラム |
JP2012054668A (ja) * | 2010-08-31 | 2012-03-15 | Fujifilm Corp | 撮像モジュールおよび撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109076133B (zh) | 2020-03-06 |
JP6395976B2 (ja) | 2018-09-26 |
WO2017195487A1 (ja) | 2017-11-16 |
CN109076133A (zh) | 2018-12-21 |
DE112017002459T5 (de) | 2019-01-24 |
US10506124B2 (en) | 2019-12-10 |
US20190132470A1 (en) | 2019-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6395976B2 (ja) | 画像読取装置 | |
JP5188651B2 (ja) | 画像処理装置、およびそれを用いた撮像装置 | |
CN107113370B (zh) | 图像记录设备及记录图像方法 | |
JP5528173B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
US10270944B2 (en) | Image capturing device | |
WO2011122283A1 (ja) | 画像処理装置、およびそれを用いた撮像装置 | |
US20090002574A1 (en) | Method and a system for optical design and an imaging device using an optical element with optical aberrations | |
WO2012176355A1 (ja) | 撮像装置 | |
JP2008249909A (ja) | 撮像装置及び光学系 | |
JP7063337B2 (ja) | 顕微鏡および観察方法 | |
WO2013042456A1 (ja) | 対物光学系、撮像装置および内視鏡 | |
WO2011121763A1 (ja) | 画像処理装置、およびそれを用いた撮像装置 | |
JP4796666B2 (ja) | 撮像装置およびそれを用いた測距装置 | |
JP4913089B2 (ja) | 画像読取装置 | |
JP5367053B2 (ja) | 画像処理装置、画像処理プログラム、画像処理方法及び撮像装置 | |
JP5634801B2 (ja) | 撮像モジュールおよび撮像装置 | |
JP5409588B2 (ja) | 焦点調節方法、焦点調節プログラムおよび撮像装置 | |
JP2016218285A (ja) | レンズユニットおよび撮像装置 | |
JP2015198380A (ja) | 画像処理装置、撮像装置、画像処理プログラム、および画像処理方法 | |
JP2017118293A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP6469324B1 (ja) | 画像読み取り装置 | |
JP2009041968A (ja) | 復元処理を前提としたレンズの評価方法および装置、評価用補正光学系 | |
JP4237988B2 (ja) | 信号検出装置 | |
JP6604737B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP2017092800A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180306 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180306 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180601 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180605 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180720 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180731 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180828 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6395976 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |