JP7069964B2 - Image reader - Google Patents
Image reader Download PDFInfo
- Publication number
- JP7069964B2 JP7069964B2 JP2018064630A JP2018064630A JP7069964B2 JP 7069964 B2 JP7069964 B2 JP 7069964B2 JP 2018064630 A JP2018064630 A JP 2018064630A JP 2018064630 A JP2018064630 A JP 2018064630A JP 7069964 B2 JP7069964 B2 JP 7069964B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- light
- reading
- imaging
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Input (AREA)
- Facsimile Heads (AREA)
- Facsimile Scanning Arrangements (AREA)
- Light Sources And Details Of Projection-Printing Devices (AREA)
Description
本発明は、読取対象物の画像を読取る画像読取装置に関する。 The present invention relates to an image reading device that reads an image of an object to be read.
コピー機、紙幣読取機、スキャナ、ファクシミリなどに用いられる画像読取装置では、結像レンズおよびラインイメージセンサの組が、主走査方向に複数配列されている。 In an image reader used in a copier, a banknote reader, a scanner, a facsimile, or the like, a plurality of sets of an imaging lens and a line image sensor are arranged in the main scanning direction.
画像読取装置の結像レンズは、副走査方向に移動される読取対象物によって散乱された光を集光して、その集光した光をラインイメージセンサの結像面に結像することで、読取対象物の画像を結像面に形成する。 The imaging lens of the image reader collects the light scattered by the object to be read that is moved in the sub-scanning direction, and forms the condensed light on the image plane of the line image sensor. An image of the object to be read is formed on the image plane.
一般的な画像読取装置において、主走査方向に配列されている複数の結像レンズは、読取対象物によって散乱された光を集光する範囲である視野範囲の一部が、隣に配置されている結像レンズの視野範囲の一部と重なるように配置されている場合が多い。この場合、複数のラインイメージセンサにより読取られた画像の合成処理を行う際には、視野範囲の重なり部分の幅等の重複情報を取得する必要がある。 In a general image reader, a plurality of imaging lenses arranged in the main scanning direction have a part of the field of view, which is a range for condensing light scattered by an object to be read, arranged next to each other. In many cases, it is arranged so as to overlap a part of the field of view of the imaging lens. In this case, when compositing the images read by the plurality of line image sensors, it is necessary to acquire overlapping information such as the width of the overlapping portion of the visual field range.
上述した重複情報の取得方法としては例えば、上記重なり位置に配置したマーカーを設け、このマーカーを照射するためのマーカー照射用光源を2つの隣り合う結像レンズ間に設けたものが開示されている(例えば、特許文献1参照)。ここでは、まず、マーカーで反射されたマーカー照射用光源の光をラインイメージセンサで読取ることにより、画像結合用の補助信号を生成する。次に、互い隣接するラインイメージセンサで生成された、2つの上記補助信号を比較することで上記重複情報を推定する。 As the method for acquiring the duplicated information described above, for example, a marker arranged at the overlapping position is provided, and a marker irradiation light source for irradiating the marker is provided between two adjacent imaging lenses. (See, for example, Patent Document 1). Here, first, the light of the marker irradiation light source reflected by the marker is read by the line image sensor to generate an auxiliary signal for image combination. Next, the duplicate information is estimated by comparing the two auxiliary signals generated by the line image sensors adjacent to each other.
また、結像光学系全体の小型化を目的として、小型の結像レンズを多数配列した結像光学系を用いる画像読取装置が開示されている(例えば、特許文献2参照)。 Further, for the purpose of miniaturizing the entire imaging optical system, an image reading device using an imaging optical system in which a large number of small imaging lenses are arranged is disclosed (see, for example, Patent Document 2).
一般的に、各結像レンズの読取り範囲の幅は、結像レンズの幅寸法に比べて大きいが、特許文献2のように各結像レンズを小型化すると、各結像レンズの読取り範囲の幅が結像レンズの幅寸法に近づくことが知られている。
Generally, the width of the reading range of each imaging lens is larger than the width dimension of the imaging lens, but when each imaging lens is miniaturized as in
特許文献2のような構成では、結像レンズ間の幅方向の空間が狭くなるため、特許文献1のようなマーカー生成用光源を配置する空間を設けることができない。この場合、上記補助信号を得られず、画像の合成処理を適切に行えないという問題があった。
In the configuration as in
本発明は、上述のような事情を鑑みてなされたものであって、小型の結像レンズを多数配列した結像光学系においても、上記補助信号を得ることができる画像読取装置を得ることを目的とする。 The present invention has been made in view of the above circumstances, and it is desired to obtain an image reader capable of obtaining the auxiliary signal even in an imaging optical system in which a large number of small imaging lenses are arranged. The purpose.
本発明に係る画像読取装置は、読取対象物を照明光で照明する撮像用光源と、読取対象物によって散乱された照明光を集光する集光部、および集光した照明光を結像することで読取対象物の画像を形成する結像部をそれぞれ有し、主走査方向にそれぞれ配置された複数の結像光学素子と、複数の結像光学素子により形成された画像のそれぞれを読取る複数のセンサチップと、複数の結像光学素子のうち対象となる結像光学素子である対象結像光学素子の結像部を通過して集光部に向かう補助信号光を読取対象物に照射する補助光源と、を備え、補助光源は、対象結像光学素子に隣接する隣接結像光学素子の画像を読取るセンサチップが補助信号光を読取るように配置されるものである。 The image reader according to the present invention forms an image of an imaging light source that illuminates an object to be read with illumination light, a condensing unit that condenses the illumination light scattered by the object to be read, and the condensed illumination light. As a result, each has an imaging unit that forms an image of the object to be read, and a plurality of imaging optical elements arranged in the main scanning direction and a plurality of images formed by the plurality of imaging optical elements are read. The reading object is irradiated with auxiliary signal light that passes through the image forming portion of the target imaging optical element, which is the target imaging optical element among the plurality of imaging optical elements, and heads toward the condensing portion. An auxiliary light source is provided, and the auxiliary light source is arranged so that a sensor chip that reads an image of an adjacent imaging optical element adjacent to the target imaging optical element reads the auxiliary signal light.
本発明に係る画像読取装置にあっては、小型の結像レンズを多数配列した結像光学系においても、画像結合用の補助信号を得ることができる。 In the image reader according to the present invention, an auxiliary signal for image coupling can be obtained even in an imaging optical system in which a large number of small imaging lenses are arranged.
実施の形態1.
本発明の実施の形態1に係る密着イメージセンサは、読取り対象としての読取対象物の画像を読取る機器であって、例えばファクシミリ、コピー機、スキャナ、複合機、金融系端末、工業用の検査装置などに搭載される。読取対象物は、例えば原稿、マークシート、紙幣、小切手その他の有価証券などである。
以下の図において、X方向、Y方向、およびZ方向は、主走査方向、副走査方向、および高さ方向をそれぞれ示すものとして説明を行う。
The close contact image sensor according to the first embodiment of the present invention is a device that reads an image of an object to be read as a reading target, and is, for example, a facsimile, a copier, a scanner, a multifunction device, a financial terminal, or an industrial inspection device. It is installed in such as. The object to be read is, for example, a manuscript, a mark sheet, a banknote, a check or other securities.
In the following figures, the X, Y, and Z directions will be described as indicating the main scanning direction, the sub-scanning direction, and the height direction, respectively.
図1は、本発明の実施の形態1に係る画像読取装置101の副走査方向(Y方向)における概略断面図である。図2は画像読取装置101を示す断面図であり、図3は本発明の実施の形態1に係る画像読取装置101を示す斜視図である。なお、図2および図3において、図の見やすさの都合上、筐体10を省略して図示している。また、図1および図3において、ホルダー23および24等の構成を省略して図示している。
FIG. 1 is a schematic cross-sectional view of the
図1~図3において、読取対象物1は画像読取装置の天板ガラス11に載せられている。スキャナ装置においては、読取対象物1である紙原稿などをスキャンするため、読取対象物1が天板ガラス11上を図中Y方向である副走査方向に移動される。
事務用複写機においては、天板ガラス11上に静置された読取対象物1に対して、図2で示した天板ガラス11以外の構造物全体が図中Y方向である副走査方向に移動される。なお、移動方向は+Y方向(正のY方向)および-Y方向(負のY方向)のいずれもありうる。
In FIGS. 1 to 3, the
In the office copier, the entire structure other than the
画像読取装置101は、筐体10、撮像用光源12、結像系アレイ14、ホルダー23、ホルダー24、複数のセンサチップ25a~25d…、複数の測距用光源(「補助光源」に対応する)40a~40d…、および画像処理部28を備える。
The
以下、結像光学素子15a~15d…、センサチップ25a~25d…、および測距用光源40a~40d…を総称して、それぞれ「結像光学素子15」、「センサチップ25」、および「測距用光源40」と単に呼ぶ場合がある。
なお、図示および説明を省略しているが、結像光学素子15d(レンズ18d、絞り19、レンズ20d)の右側には実際には結像光学素子15とセンサチップ25と測距用光源40との組が配列されている。
Hereinafter, the imaging optical elements 15a to 15d ..., the
Although illustration and description are omitted, the imaging
図1に示した筐体10は、画像読取装置101の各構成を内部に収納又は保持する。
The
撮像用光源12は読取対象物1を照明光13で照明する。撮像用光源12からの照明光13は、読取対象物1に照明されることで、読取対象物1で散乱された照明光16となる。より詳細には、撮像用光源12は、図中X方向である主走査方向に延在し、読取対象物1を照明光13(図1で点線矢印で図示)で照明する光源である。
撮像用光源12は、例えば、光源としてのLED(Light Emitting Diode)と、LEDから出射される光を読取対象物1の照明光13に変換するための樹脂等の導光体とで構成することができる。この導光体は、主走査方向に延在する円柱状の導光体である。照明光13は例えば、赤色、緑色、青色等の成分を含む白色光であるが、これに限らない。
The image
The image
結像系アレイ14は、複数の結像光学素子15a~15d…(総称して「結像光学素子15」と呼ぶ場合がある。)を有し、主走査方向(X方向)にそれぞれ配置される。
The
より詳細には、複数の結像光学素子15a~15d…は、一方向(図中、X方向(主走査方向))にそれぞれ配置されている。なお、図2および図3における結像系アレイ14の構成は一例に過ぎず、結像系アレイ14は複数(2以上)の結像光学素子15を有する構成であればよい。
More specifically, the plurality of imaging optical elements 15a to 15d ... Are arranged in one direction (in the figure, the X direction (main scanning direction)). The configuration of the
複数の結像光学素子15は、読取対象物1によって散乱された照明光16を集光する集光部(後述の「レンズ18」に対応)、および集光した照明光16を結像することで読取対象物1の画像を形成する結像部(後述の「レンズ20」に対応)をそれぞれ有する。
より詳細には、結像光学素子15は、レンズ18、絞り19、およびレンズ20を有する。レンズ18は読取対象物1によって散乱された照明光16を集光する。
絞り19はレンズ18により集光された光17の一部を遮断する光部品である。レンズ20は絞り19を通り抜けた光21を結像面22に結像する。
図2および図3では、結像光学素子15は二枚組のレンズ(レンズ18およびレンズ20)で構成されているが、例えば、結像光学素子15は、レンズ18又はレンズ20の一枚のレンズで構成されていてもよく、三枚以上のレンズで構成されていてもよい。
The plurality of imaging
More specifically, the imaging
The
In FIGS. 2 and 3, the imaging
2つのホルダー23および24は、複数の結像光学素子15(結像系アレイ14)を、図1に図示した筐体10内部に保持する。
詳細には、ホルダー23は、複数の結像光学素子15に含まれるレンズ18を保持する。ホルダー24は、複数の結像光学素子15に含まれるレンズ20を保持している。
The two
Specifically, the
複数(例えば4個以上)のセンサチップ25a~25d…は複数(例えば4個以上)の結像光学素子15a~15d…により形成された画像のそれぞれを読取る。
より詳細には、図2および図3に示す通り、複数のセンサチップ25a~25d…は、結像光学素子15a~15d…により生成された撮像読取範囲31a~31d…の画像を読取る。例えば、センサチップ25aは、結像光学素子15aにより生成された撮像読取範囲31aの画像を読取る。
The plurality of (for example, four or more)
More specifically, as shown in FIGS. 2 and 3, the plurality of
複数の測距用光源40a~40d…は、それぞれ複数の結像光学素子15a~15d…を対象として配置される。以下、測距用光源40を対象として配置された結像光学素子15は、「対象結像光学素子15」と呼ぶ場合がある。
複数の測距用光源40a~40d…は、複数の対象結像光学素子15a~15d…のそれぞれのレンズ20(結像部)に対して読取対象物1の反対側すなわちレンズ20(結像部)に対して読取対象物よりもセンサ基板29に近い側に配置される。
The plurality of distance measuring
The plurality of distance measuring
また、測距用光源40a~40d…は、それぞれ対象結像光学素子15a~15d…のレンズ20(結像部)からレンズ18(集光部)に向かう測距信号光(図2および図3において破線部分に対応)を、対象結像光学素子15a~15d…を介して読取対象物1に照射する。
図3において、測距用光源40a~40d…が読取対象物1を照射した領域は、それぞれ照射領域41a~41d…である。以下では、照射領域41a~41d…を総称して「照射領域41」と呼ぶ場合がある。
Further, the distance measuring
In FIG. 3, the regions where the distance measuring
なお、結像光学素子15dの図中右方に、図示を省略した結像光学素子15を配置しているとして以上の説明を行っているため、測距用光源40dを結像光学素子15dに配置している。しかしながら、対象結像光学素子15dの右側に結像光学素子15を配置しない場合は、測距用光源40dを省略してもよい。
Since the above description is given assuming that the imaging optical element 15 (not shown) is arranged on the right side of the image forming optical element 15d, the distance measuring
さらに測距用光源40は、対象結像光学素子15に隣接する結像光学素子15の画像を読取るセンサチップ25が、隣接する結像光学素子15を介して測距信号光を読取るように配置される。なお、測距信号光は、以下「補助信号光」と呼ぶ場合がある。
Further, the ranging
測距用光源40bを例に挙げて説明すると、図3において、測距用光源40bより発せられた測距信号光は、結像光学素子15bのレンズ20(結像部)からレンズ18(集光部)に向かい読取対象物1上の照射領域41bに照射される。この照射領域41bに照射された測距信号光は、測距用光源40bの隣の結像光学素子15cを介してのセンサチップ25cに到達する。センサチップ25cは、測距信号光を読取ることで測距信号を生成する。
なお、この測距信号は、詳細は後述するが、天板ガラス11に対する読取対象物の浮き量z等の画像復元情報を導出するために用いられ、この画像復元情報を用いて後述する画像復元処理を行う。ここで、浮き量zとは、高さ方向における天板ガラス11と読取対象物1との距離である。なお、詳細は後述するが、画像復元情報としては、浮き量zの他に重複撮像範囲の幅、画像データの縮小倍率等を含む。
Taking the ranging
Although the details of the ranging signal will be described later, this distance measuring signal is used to derive image restoration information such as the floating amount z of the object to be read with respect to the
測距用光源40はパッケージを有しないベアチップタイプのLEDにより構成することが好適である。上述のように構成すると、センサ基板29上に形成された配線パターンを用いてLEDを実装することができ、別途LED実装用の基板を用意することなく、センサ基板29上に直接LEDを実装することができる。
It is preferable that the distance measuring
上述のとおり、測距用光源40は、対象結像光学素子15に対して読取対象物1から反対側に配置されており、上述した結像光学素子15間の空間が小さい場合であっても、画像結合用の補助信号としての測距信号を得ることができるという効果を有する。
図中、複数の測距用光源40a~40d…を設けた構成を図示しているが、測距用光源40は複数の結像光学素子15a~15d…のうち少なくとも1つの結像光学素子15に設けられていればよい。また、各結像光学素子15に対し複数の測距用光源40を対応させて配置する構成としてもよい。
As described above, the distance measuring
In the figure, a configuration in which a plurality of distance measuring
画像処理部28は、測距信号光の読取りをしたセンサチップ25a~25d…にて生成された測距信号(以下、「補助データ」と呼ぶ場合あり。)を用いて、複数のセンサチップ25a~25d…により生成された複数の画像データに画像復元処理を行う。より詳細には、画像処理部28は、測距信号に基づき、後述する画像復元処理を実施して、複数の画像データ(縮小転写像)の重ね合わせを行う。
The
図4は複数の結像光学素子15の撮像読取範囲31a~31d…(図中、斜め縞模様の部分に対応)、重複撮像範囲32a~32c…(図中、両矢印の部分に対応)、および結像読取範囲33a~33d…(図中、破線で囲まれた部分に対応)を示す模式図である。図中において説明の便宜上、撮像読取範囲31a~31d…を上下二段に分けて示しているが、実際には撮像読取範囲31a~31d…は、一直線上に重なりを有しながら配置される。
FIG. 4 shows the imaging reading ranges 31a to 31d ... (corresponding to the diagonally striped portion in the figure), the overlapping imaging ranges 32a to 32c ... It is a schematic diagram showing the image
図5は本発明の実施の形態1のセンサチップ25a~25d…および測距用光源40a~40d…を具体的に説明するための説明図であり、同図(1)はセンサ基板29の上面図を示し、同図(2)は、同図(1)から、一組の測距用光源40およびセンサチップ25の拡大図を示す。
5A and 5B are explanatory views for specifically explaining the
図5(1)、(2)に示すとおり、各センサチップ25は、センサ基板29上に配置され、X方向に配列された複数の撮像素子250を有してなるライン状チップである。
本実施の形態のセンサチップ25は、読取対象物の画像を読取る画像用センサ、および測距信号光を読取る測距用センサを有する。
図中、センサチップ25の撮像素子250について上から第1列から第4列とすると、カラー画像を読取る場合には、図5(2)に示すように、画像用センサは、第1列~3列の計3列の撮像素子250から構成される。第1列の撮像素子250は赤色光(R)を、第2列の撮像素子250は緑色光(G)を、第3列の撮像素子250は青色光(B)をそれぞれ読取る。一方、測距用センサ(第4列)は、赤外光(IR)を読取る撮像素子250である。
As shown in FIGS. 5 (1) and 5 (2), each
The
In the figure, assuming that the
測距用光源40は例えば近赤外光を発するLEDにより構成することができる。測距用光源40により出射された測距信号光(IR)は、センサチップ25の第4列により読取られる。
The range-finding
ここで、センサチップ25および測距用光源40の配置をより詳細に説明するに前に、結像光学素子15およびセンサチップ25に係る光学的範囲について図2~図5を用いて定義する。
Here, before explaining the arrangement of the
撮像読取範囲31a~31d…(以下、総称して「撮像読取範囲31」と呼ぶ場合がある。)とは、複数の結像光学素子15a~15d…の各々が対応するセンサチップ25a~25d…の読取面に結像可能な読取対象物1の範囲である。
重複撮像範囲32a~32c…(以下、総称して「重複撮像範囲32」と呼ぶ場合がある。)は、複数の撮像読取範囲31a~31d…のうち互いの撮像読取範囲31が重複している範囲である。一例として、重複撮像範囲32aは、撮像読取範囲31aおよび31bの重複部分であり、重複撮像範囲32bは、撮像読取範囲31bおよび31cの重複部分である。すなわち、複数の撮像読取範囲31のうち隣り合う2つの撮像読取範囲31の一部が重複する範囲である。
The
In the overlapping imaging ranges 32a to 32c ... (hereinafter, may be collectively referred to as "overlapping imaging range 32"), the imaging reading ranges 31 of the plurality of imaging reading ranges 31a to 31d ... overlap each other. It is a range. As an example, the overlapping
結像読取範囲33a~33d…(総称して「結像読取範囲33」と呼ぶ場合がある。)とは、各結像光学素子15により結像面22上に光学的な像が結像される読取対象物1上の範囲である。
なお、センサチップ25上で欠けた像が発生しないよう、結像光学素子15の結像読取範囲33は、結像光学素子15の撮像読取範囲31よりも広く形成される。
結像視野範囲34a~34d…(以下、総称して、「結像視野範囲34」と呼ぶ場合がある。)とは、結像読取範囲33が結像光学素子15により転写される結像面22上の範囲である。
The image
The imaging reading range 33 of the imaging
The image formation
ここで、センサチップ25および測距用光源40の配置を詳細に説明する。
図5(1)に示す通り、測距用光源40は、その発光面が結像面22の結像視野範囲34内に配置される。また測距用光源40は、その発光面がセンサチップ25に対して、X方向で離間し、かつY方向において重なりを有するようにセンサ基板29上に載置される。
上述のように配置されることで、測距用光源40が隣接するセンサチップ25の撮像読取範囲31を照射しやすくなるという効果を奏する。
Here, the arrangement of the
As shown in FIG. 5 (1), the light emitting surface of the distance measuring
By arranging as described above, the distance measuring
ここで図6を用いて、測距用光源40bにより発せられた測距信号光の動作を詳細に説明する。図6は、互いに隣りに位置する結像光学素子15bおよび15cによる結像位置の関係に関する概略図である。
読取対象物1が天板ガラス11から浮き量zだけ離れており、読取対象物1から結像面22への縮小倍率はM(z)であるとする。結像光学素子15bおよび15cの光軸を、それぞれ光軸35bおよび光軸35cとする。結像光学素子15bおよび15cは、ピッチPだけ離れているとする。
測距用光源40bは、測距用光源40bに対応して配置された対象結像光学素子15bに入射光を発光点P1から照射する。この入射光が照射された対象結像光学素子15bは読取対象物1へ向かい出射光を照射して、この対象結像光学素子15bに隣接して配置された結像光学素子15c(以下、「隣接結像光学素子」と呼ぶ場合あり。)の撮像読取範囲31c上の点P2に像を結像する。
より具体的には、測距用光源40bが点灯すると、その出射光は対象結像光学素子15bのレンズ20bで集光され、その集光光線のうち対象結像光学素子15bの絞り19bを通過した光線が対象結像光学素子15bのレンズ18bによって、読取対象物1上に集光される。結像面22と読取対象物1とは共役関係にあるので、測距用光源40b上の発光点P1から発した光線は、読取対象物1上の点P2に像を結像する。また、測距用光源40bの発光面の像が読取対象物1上の照射領域41bに形成される。
Here, with reference to FIG. 6, the operation of the distance measuring signal light emitted by the distance measuring
It is assumed that the object to be read 1 is separated from the
The ranging
More specifically, when the distance measuring
測距用光源40bがセンサチップ25bとX方向に離間して配置されるため、測距用光源40bの発光面の像が形成される照射領域41bは、撮像読取範囲31bの外側であって、結像光学素子15bに隣接する結像光学素子15cの撮像読取範囲31cの範囲内に形成される。照射領域41bに発光面の像を形成する光線は、読取対象物1により反射散乱されるので、結像光学素子15bに隣接する結像光学素子15cにより、結像面22上に集光される。結像面22と読取対象物1とは共役関係にあるため、読取対象物1上の点P2は、結像面22上の受光点P3に像を結ぶ。
Since the distance measuring
そして、上述したように、対象結像光学素子15bにより照射領域41bに形成された発光面の像は、対象結像光学素子15bに隣接する隣接結像光学素子15cの撮像読取範囲31cの範囲内にあるので、受光点P3は、隣接結像光学素子15cに対応するセンサチップ25cの上にある。また、読取対象物1の照射領域41bに形成された発光面の像は、隣接結像光学素子15cによりさらに転写されて、結像面22上の転写領域42bに発光面の像が形成される。
Then, as described above, the image of the light emitting surface formed in the
上記の説明では、測距用光源40bの発光面の全範囲が結像視野範囲34bの範囲内である場合について説明してきたが、測距用光源40bの発光面の一部でも結像視野範囲34bに含まれていればよい。
In the above description, the case where the entire range of the light emitting surface of the distance measuring
測距用光源40の発光面を結像面22上に配置する場合を例に挙げたが、測距信号光で照射された照射領域41の少なくとも一部が、対象結像光学素子15に隣接する隣接結像光学素子15の撮像読取範囲31に含まれるように測距用光源40が配置されていれば、上述の配置以外であってもよい。
The case where the light emitting surface of the distance measuring
ここで、測距用光源40の空間的な配置を説明するため、結像視野空間および撮像視野空間を以下に定義する。
結像視野空間は、各結像読取範囲33で散乱された光が集光および結像される際に、各々の結像光学素子15のレンズ20(結像部)から出射された光束が通過可能な空間である。
撮像視野空間は、各々の撮像読取範囲31で散乱された光が集光および結像される際に、各々の結像光学素子15のレンズ20(結像部)から出射された光束が通過可能な空間である。
Here, in order to explain the spatial arrangement of the distance measuring
In the imaging visual field space, when the light scattered in each imaging reading range 33 is focused and imaged, the light flux emitted from the lens 20 (imaging unit) of each imaging
In the imaging field space, the luminous flux emitted from the lens 20 (imaging unit) of each imaging
上述では、測距用光源40の発光面が結像面22上に配置される場合を説明したが、上述の配置に限定されない。測距用光源40は、測距用光源40の発光面の少なくとも一部が、対象結像光学素子15の撮像視野空間の主走査方向の外部に(すなわち、撮像視野空間に対し主走査方向に離れて位置して)設けられると共に、結像視野空間の内部に設けられていればよい。
In the above description, the case where the light emitting surface of the distance measuring
さらに、測距用光源40は、上述の空間において、以下のとおり配置されていてもよい。読取対象物1(またはセンサチップ25の読取面)に平行な平面で撮像視野空間を切断した場合の切断面について、当該切断面を含む平面上にて、当該切断面に対しX方向に離間し、かつ、当該切断面に対しY方向に重なりを有するように配置されていてもよい。
上述のとおり配置することで、測距用光源40の測距信号光は、隣接結像光学素子15に対応するセンサチップ25により確実に読取られる。
Further, the distance measuring
By arranging as described above, the distance measuring signal light of the distance measuring
次に、画像処理部28の動作について図7を用いて説明を行う。図7は、本実施の形態に係る画像処理部28の動作を説明するためのフローチャート図である。
Next, the operation of the
まず、画像処理部28はセンサチップ25により生成された画像データを取得する(ステップS1)。
First, the
具体的には、センサチップ25の第1列から第3列は、結像光学素子15により形成されたRGBの各3色に対応する縮小転写像を読取る。また、センサチップ25の第4列は、赤外光(IR)を読取り、後述する通り、天板ガラス11に対する読取対象物1の浮き量zを測定するためのセンサとして用いる。センサチップ25により生成された画像データは、画像処理部28に出力される。
なお、上述したセンサチップ25の列数は、一例であってその列数を適宜変更してもよい。後述の実施の形態で詳細に説明するが、撮像用光源12と測距用光源40の制御方式、およびセンサチップ25の制御方式によっては、画像用センサおよび測距用センサを共通のセンサで読取るようにしてもよい。
Specifically, the first to third rows of the
The number of rows of the
画像処理部28は、センサチップ25により生成された測距信号(補助データ)を取得する(ステップS2)。なお、説明の都合上、ステップS1とステップS2を分けて説明しているが、本実施の形態ではステップS1とステップS2が同時に実行されてもよい。
The
具体的には、測距用光源40bは、赤外光を出射するので、センサチップ25cの第1~第3列(RGB)により撮像(読取り)されず、第4列により撮像される。測距用光源40bの発光面の像がセンサチップ25cの転写領域42bに転写され、センサチップ25cの第4列により撮像される。
上述の構成により、測距用光源40からの光が画像用センサでノイズとして撮像されることがなく、画像用センサで良好な画像データを取得することができる。
Specifically, since the distance measuring
With the above configuration, the light from the distance measuring
続いて、画像処理部28は測距信号を用いて天板ガラス11に対する読取対象物1の浮き量zに関し、算出処理を実施する(ステップS3)。
Subsequently, the
最後に算出した浮き量zを用いて、画像処理部28は複数の画像データに画像復元処理(詳細は後述)を実施する(ステップS4)。
Using the finally calculated floating amount z, the
ここで、図6および図8を用いて図7のステップS3を詳細に説明する。図8は、ステップS3の動作を詳細に説明するフローチャートである。 Here, step S3 of FIG. 7 will be described in detail with reference to FIGS. 6 and 8. FIG. 8 is a flowchart illustrating the operation of step S3 in detail.
まず、画像処理部28は、図示を省略した記憶部から、初期設定値の読出しを行う(ステップS31)。
First, the
この初期設定値としては、位置情報(結像光学素子15、結像光学素子15、センサチップ25、および測距用光源40に関する情報)が含まれる。位置情報は、例えば、結像光学素子15のX方向のピッチP、センサチップ25のX方向の幅Xs、および、測距用光源40の位置ΔX0(以下、「光源位置ΔX0」と呼ぶ場合がある。)を含む。
ここで、光源位置ΔX0は、図6に示す通り、対象結像光学素子15bの光軸35bと測距用光源40bの発光点P1との主走査方向の距離である。
The initial setting value includes position information (information about the imaging
Here, the light source position ΔX0 is, as shown in FIG. 6, the distance in the main scanning direction between the
続いて、画像処理部28は、測距信号に基づき、複数の撮像素子250のうち測距信号光を受光した撮像素子250の位置である受光位置ΔX2を算出する(ステップS32)。
受光位置ΔX2は、図6に示すとおり、隣接結像光学素子15cの光軸35cとセンサチップ25の受光点P3との主走査方向の距離である。より具体的には、画像処理部28は、隣接結像光学素子15cの光軸35c上に位置する撮像素子250を基準とし、この基準から測距信号を受光した撮像素子250までの画素数を受光位置ΔX2として算出する。
Subsequently, the
As shown in FIG. 6, the light receiving position ΔX2 is the distance in the main scanning direction between the
最後に、画像処理部28は受光位置ΔX2、および光源位置ΔX0を用いて、読取対象物1が配置された天板ガラス11に対する読取対象物1の浮き量zを推定する(ステップS33)。
図6において、光軸35bから左方にΔX0離れた発光点P1から出射する光線が、読取対象物1上の点P2に結像する。点P2は光軸35bからはΔX1離れており、結像光学素子15cの光軸35cからはΔX1’離れており、浮き量がzの場合の縮小倍率をM(z)とすると、式(1)および式(2)が成り立つ。
ΔX1=ΔX0/M(z) …(1)
ΔX1’=P-ΔX1 …(2)
Finally, the
In FIG. 6, a light ray emitted from a light emitting point P1 separated from the
ΔX1 = ΔX0 / M (z) ... (1)
ΔX1'= P-ΔX1 ... (2)
点P2の結像光学素子15cによる結像点P3は光軸35cから受光位置ΔX2離れているため、式(3)が成り立つ。
ΔX2=M(z)・ΔX1’ …(3)
Since the imaging point P3 formed by the imaging
ΔX2 = M (z) · ΔX1'... (3)
さらに、式(1)~(3)より、式(4)が成り立つ。
ΔX2=M(z)・P-ΔX0 …(4)
Further, the equation (4) is established from the equations (1) to (3).
ΔX2 = M (z) · P−ΔX0… (4)
ここで撮像読取範囲Xf(z)は、予め算出された浮き量zの関数であるとする。例えば、撮像読取範囲Xf(z)は一次関数(xf+α・z)として表現できる。ここで、xfは浮き量zが0の場合の撮像読取範囲Xf(z=0)であり、αは比例定数である。
以下、撮像読取範囲Xf(z)については上記一次関数を用いて説明するが、この関数に限らないことは言うまでもない。撮像読取範囲Xf(z=0)および比例定数αは、初期設定値としてステップS31で取得されているものとする。
Here, it is assumed that the image pickup reading range Xf (z) is a function of the floating amount z calculated in advance. For example, the image pickup reading range Xf (z) can be expressed as a linear function (xf + α · z). Here, xf is the imaging reading range Xf (z = 0) when the floating amount z is 0, and α is a proportionality constant.
Hereinafter, the image pickup reading range Xf (z) will be described using the above linear function, but it goes without saying that the function is not limited to this function. It is assumed that the image pickup reading range Xf (z = 0) and the proportionality constant α are acquired in step S31 as initial setting values.
上述の位置情報および上記一次関数(撮像読取範囲Xf(z))を用いると、浮き量をzとした場合の縮小倍率M(z)は式(5)で表される。
M(z)=Xs/Xf(z) =Xs/(xf+α・z)…(5)
Using the above-mentioned position information and the above-mentioned linear function (imaging reading range Xf (z)), the reduction magnification M (z) when the floating amount is z is expressed by the equation (5).
M (z) = Xs / Xf (z) = Xs / (xf + α · z) ... (5)
式(5)を式(4)に代入すると、式(6)が成り立つ。式(6)は浮き量zと受光位置ΔX2の関係を表している。
ΔX2=P・Xs/Xf(z)-ΔX0
=P・Xs/(xf+α・z)-ΔX0 … (6)
Substituting Eq. (5) into Eq. (4), Eq. (6) holds. Equation (6) represents the relationship between the float amount z and the light receiving position ΔX2.
ΔX2 = P · Xs / Xf (z) −ΔX0
= P · Xs / (xf + α · z) −ΔX0… (6)
式(6)を変形すると式(7)が導出できる。式(7)の右辺では受光位置ΔX2以外の値は初期設定値として取得されているため、受光位置ΔX2を求めることができれば、式(7)により浮き量zを算出することができる。
z = (P・Xs)/(α・ΔX0+α・ΔX2)-xf/α … (7)
Equation (7) can be derived by transforming equation (6). Since values other than the light receiving position ΔX2 are acquired as initial setting values on the right side of the equation (7), if the light receiving position ΔX2 can be obtained, the floating amount z can be calculated by the equation (7).
z = (P · Xs) / (α · ΔX0 + α · ΔX2) −xf / α… (7)
なお、以上の説明では、上述の初期設定値を用いて、浮き量zを算出していたが、一般的に浮き量zに応じて、光源位置ΔX0に対する受光位置ΔX2の大きさが変化することが知られている。したがって、光源位置ΔX0および受光位置ΔX2と浮き量zとの関係式を予め導出しておき、この関係式を用いて、浮き量zを算出してもよい。 In the above description, the floating amount z is calculated using the above-mentioned initial setting value, but generally, the size of the light receiving position ΔX2 with respect to the light source position ΔX0 changes according to the floating amount z. It has been known. Therefore, the relational expression between the light source position ΔX0 and the light receiving position ΔX2 and the floating amount z may be derived in advance, and the floating amount z may be calculated using this relational expression.
図9は画像復元処理を詳細に説明するための説明図である。3個のセンサチップ25a~25cで読取対象物1の原稿画像50を読取り、3つの出力画像データ51a~51cを生成した場合を図示している。画像処理部28における画像復元処理は、(ア)画像結合位置算出処理、(イ)画像変倍処理、(ウ)画像結合処理から構成される。
なお、図9において、同図(1)は、読取対象物1の原稿画像50の一例である。同図(2)は、原稿画像50を天板ガラス11上に載置した場合すなわち浮き量zが0の場合の出力画像データ51a~51cを並べた例を示す。同図(3)は、同図(2)の撮像読取範囲31a~31cおよび重複撮像範囲32a~32bを原稿画像50上に示した図を示す。同図(4)は浮き量zが0よりも大きい場合の出力画像データ51a~51cである。同図(5)は、同図(4)の撮像読取範囲31a~31cおよび重複撮像範囲32a~32bを原稿画像50上に示した図である。
FIG. 9 is an explanatory diagram for explaining the image restoration process in detail. The figure shows the case where the
In FIG. 9, FIG. 9 (1) is an example of the
(ア)画像結合位置算出処理
上述の初期設定値を用いると、浮き量をzとした場合の重複撮像範囲32の幅XOL(z)は式(8)で表される。
XOL(z)=Xf(z)-P=(xf+α・z)-P …(8)
画像結合位置算出処理では、浮き量zを式(8)に代入することで隣接する撮像読取範囲31間の重複撮像範囲32の幅XOLを算出する。例えば、同図(2)において、出力画像データ51aと出力画像データ51bとの境界部分には画像が重複して撮像されているが、重複撮像範囲32の幅XOLを算出することで、(ウ)画像結合処理を適切に行うことができる。
(A) Image combination position calculation process Using the above-mentioned initial setting value, the width XOL (z) of the overlapping imaging range 32 when the floating amount is z is expressed by the equation (8).
XOL (z) = Xf (z) -P = (xf + α · z) -P ... (8)
In the image combination position calculation process, the width XOL of the overlapping imaging range 32 between the adjacent imaging reading ranges 31 is calculated by substituting the floating amount z into the equation (8). For example, in FIG. 2), images are duplicated at the boundary between the
(イ)画像変倍処理
画像変倍処理では、浮き量zを式(1)に代入することで縮小倍率M(z)を算出し、この縮小倍率M(z)を用いて、出力画像データ51a~51cを原稿画像50に対応した寸法(主走査方向)に調整する。
例えば、図9(5)における撮像読取範囲31a、31b、31cのX方向の幅が、同図(3)に比べ大きくなり、同図(4)の各出力画像データ51a、51b、51cは、図9(2)のものに比べ、X方向に縮小されることがわかる。このようなX方向に縮小された出力画像であっても、上述の画像変倍処理を行うことで適切に画像のサイズを調整できる。
(B) Image scaling processing In image scaling processing, the reduction magnification M (z) is calculated by substituting the floating amount z into the equation (1), and the output image data is used using this reduction magnification M (z). The 51a to 51c are adjusted to the dimensions (main scanning direction) corresponding to the
For example, the width of the image
(ウ)画像結合処理
画像処理部28は、上述した(イ)の処理により復元された画像を、重複撮像範囲32の幅XOL(z)に基づき、それぞれの隣接する境界範囲で、重複撮像範囲32の幅XOL分重ね合わせた画像を作成する処理である。
(C) Image combination processing The
ステップS3において、画像処理部28が複数の撮像読取範囲31のうち2つの隣り合う撮像読取範囲31に対して浮き量zをそれぞれ求めた場合には、各2つの隣り合う撮像読取範囲31に対し、上記(ア)~(ウ)の処理を行ってもよい。
上述の構成により、浮き量zは、X方向の位置によって変化する場合があるが、各2つの隣り合う撮像読取範囲31において、適切な浮き量zを取得できるので、劣化が少ない画像を得ることができる。
In step S3, when the
According to the above configuration, the floating amount z may change depending on the position in the X direction, but since an appropriate floating amount z can be obtained in each of the two adjacent imaging reading ranges 31, an image with little deterioration can be obtained. Can be done.
ここで、結像光学素子15を介して読取対象物1を照射する測距用光源40を用いることなく、重複撮像範囲32に光を直接照射する光源を用いて上記(ア)画像結合位置算出処理を行う場合を比較例として検討を行う。
Here, (a) image coupling position calculation using a light source that directly irradiates the overlapping imaging range 32 without using a distance measuring
比較例は以下の処理を行う。まず、図9に示す出力画像51aに対して、出力画像51bを(―X)方向にシフトさせていき、その二つの画像の差分絶対値和を求める。その差分絶対値和の値が小さい場合、2つの画像の類似度が高いと判定できる。差分絶対値和が最も小さくなるシフト量Xを求めることにより、重複撮像範囲32のX方向の幅XOLを求め、画像結合位置算出処理を行う。
The comparative example performs the following processing. First, the
なお、発明者の鋭意検討の結果、このような比較例の(ア)画像結合位置算出処理において、読取対象物1のパターンによっては、画像同士の重ね合わせが適切に行われず、劣化した復元画像しか得られない場合が存在することを発見した。 As a result of diligent studies by the inventor, in (a) image combination position calculation processing of such a comparative example, depending on the pattern of the object to be read 1, the images are not properly superposed and the restored image is deteriorated. I found that there are cases where only can be obtained.
上記画像同士の重ね合わせが適切に行われにくい読取対象物1としては、例えば、重複撮像範囲32において画像の情報がない白紙画像、X方向に繰り返し現れるパターン画像などがある。
Examples of the
画像の情報がない白紙の範囲の例として、図9(2)の出力画像51bおよび出力画像51cが重複する部分がある。この部分では、図9(3)の重複撮像範囲32bに示すように、背景色のみで文字に相当する部分が含まれない。
このとき、上記(ア)画像結合処理を行っても、画像のシフト量に依らず二つの画像の差分絶対値和は一定値となり、重複撮像範囲32の幅XOLを算出することができないため、浮き量zについても同様に算出できない。
As an example of the range of blank paper without image information, there is a portion where the
At this time, even if the above (a) image combination processing is performed, the sum of the absolute values of the differences between the two images becomes a constant value regardless of the shift amount of the images, and the width XOL of the overlapping imaging range 32 cannot be calculated. Similarly, the floating amount z cannot be calculated.
X方向に繰り返し現れるパターン画像の例として、X方向に細かいピッチpで配列された線状格子パターンがある。このとき、二つの画像の差分絶対値和は、ピッチpごとに最小値を取り、どの最小値を取るシフト量が真の重複撮像範囲32の幅XOLに相当するかを決定することができない。 As an example of a pattern image that repeatedly appears in the X direction, there is a linear grid pattern arranged at a fine pitch p in the X direction. At this time, the sum of the difference absolute values of the two images takes a minimum value for each pitch p, and it is not possible to determine which minimum value shift amount corresponds to the width XOL of the true overlapping imaging range 32.
一方で本願に係る(ア)画像結合位置算出処理においては、上述した画像結合が難しい場合(重複撮像範囲32の画像が白紙画像や上記パターン画像である場合など)においても、測距用光源40による測距信号光を用いて、浮き量zを推定することができる。
さらに、画像結合位置算出処理、画像変倍処理を誤りなく行うことができ、画像結合誤りのない良好な画像を得ることができる。
On the other hand, in the (a) image combination position calculation process according to the present application, even when the above-mentioned image combination is difficult (for example, when the image in the overlapping imaging range 32 is a blank image or the above-mentioned pattern image), the distance measuring
Further, the image combination position calculation process and the image scaling process can be performed without any error, and a good image without an image combination error can be obtained.
また、測距用光源40をセンサ基板29上に直接実装することができるので、別途光源用の基板を用意する必要がなく、部品点数を削減しコンパクトに実装することができる。
Further, since the distance measuring
実施の形態2.
実施の形態2に係る画像読取装置は、センサチップが光を遮る遮光機能を有するシャッター(図示省略)をさらに備える点が実施の形態1とは異なる。
さらに、画像用センサと測距用センサとを有するセンサチップ25において、画像用センサの電子シャッター(第1のシャッター)は、測距用センサのシャッター(第2のシャッター)と異なるタイミングで開閉するよう制御される点も実施の形態1とは異なる。
上記シャッターとして、電子的に制御することにより、露光時間を調節する電子シャッターを例に以下の説明を行うが、物理的に遮光する遮光機構を開閉させる物理シャッターを用いてもよい。結像光学素子15によりセンサチップ25上に形成された画像を、便宜上、画像信号光と呼ぶ場合がある。
The image reading device according to the second embodiment is different from the first embodiment in that the sensor chip further includes a shutter (not shown) having a light blocking function to block light.
Further, in the
As the shutter, the following description will be given using an electronic shutter that adjusts the exposure time by electronically controlling as an example, but a physical shutter that opens and closes a light-shielding mechanism that physically blocks light may be used. The image formed on the
図10は、電子シャッターの動作を説明するためのタイミングチャートであり、同図(1)および(2)は、それぞれ画像用電子シャッターおよび測距用電子シャッターのタイミングチャートである。図中、横軸および縦軸は、時間およびシャッターの開閉状態を示す。
センサチップ25は、時間t毎に4列分の光電変換された信号を画像処理部28に出力する。ここで、電子シャッターがOPEN(開状態)でセンサチップ25に入射した光のみが信号としてセンサチップ25に読取られる。一方、電子シャッターがCLOSE(閉状態)で入射した光は信号としてセンサチップ25に読取られない。
FIG. 10 is a timing chart for explaining the operation of the electronic shutter, and FIGS. (1) and (2) are timing charts of an electronic shutter for an image and an electronic shutter for distance measurement, respectively. In the figure, the horizontal axis and the vertical axis indicate time and the open / closed state of the shutter.
The
図10のように、センサチップ25における各読取周期tにおいて、画像用および測距用の電子シャッターが同時にOPENとならないように、すなわち、画像信号光の読取時間と補助信号光の読取時間とが重複しないように、電子シャッターの開閉が制御されている。
さらに、この電子シャッターの開閉と同期して撮像用光源12と測距用光源40とがそれぞれ点灯するよう両光源が制御されている。すなわち、画像用電子シャッターがOPENの時間は撮像用光源12のみが点灯し、測距用電子シャッターがOPENの時間は、測距用光源40のみが点灯するように制御されている。
As shown in FIG. 10, in each reading cycle t of the
Further, both light sources are controlled so that the image
センサチップ25は、画像信号光と測距信号光とを時間的に分離させて読取ることで、画像用信号に測距信号がノイズとして重畳することを抑制できる。
The
図中、センサチップ25の読取周期tのうち、画像信号光の読取時間を0.8t、測距信号光の読取時間を0.2tとしている。
このように、画像信号光の読取時間を測距信号光の読取時間に比べて長くなるよう構成することで、画像信号光の読取時間の減少を抑えつつ、画像データを取得することができる。よって、画像データのSN比(信号対雑音比)の劣化を抑えることができる。
なお、画像用信号の読取時間に対する測距信号の読取時間の比率は上述の例に限らず、適宜変更してもよい。
In the figure, of the reading cycle t of the
In this way, by configuring the reading time of the image signal light to be longer than the reading time of the distance measuring signal light, it is possible to acquire the image data while suppressing the decrease in the reading time of the image signal light. Therefore, deterioration of the SN ratio (signal-to-noise ratio) of the image data can be suppressed.
The ratio of the distance measurement signal reading time to the image signal reading time is not limited to the above example, and may be appropriately changed.
上述のとおり、本実施の形態では、画像用信号と測距信号とを時間的に分離して取得するようにしているため、測距用光源40として赤外光以外の光を用いてもよい。センサチップ25の第4列のフィルターとしては、測距用光源40の波長に合わせた光を透過させるフィルターを用いればよい。
As described above, in the present embodiment, since the image signal and the distance measuring signal are acquired separately in time, light other than infrared light may be used as the distance measuring
実施の形態1ではセンサチップ25上の第1から第3列のカラーフィルターとして、R、G、Bのいずれか1つのみを透過するフィルターとしていた。なお、各フィルターとして簡易なカラーフィルターを用いると、カラーフィルターにIRの波長帯域にもわずかに透過率があるため、測距信号がノイズとして画像用信号に重畳する場合がある。
本実施の形態では、上述の簡易なカラーフィルターを用いる構成としても、測距信号がノイズとして画像用信号に重畳されることが抑制できる。
In the first embodiment, the color filters in the first to third rows on the
In the present embodiment, even in the configuration using the above-mentioned simple color filter, it is possible to suppress the distance measurement signal from being superimposed on the image signal as noise.
さらに、センサチップ25の各読取周期tにおいて、画像信号光と測距信号光との読取りを両方行っているため、異なる読取周期で両信号を読取る場合(後述する実施の形態3の場合)に比べ、上述の効果に加えて、読取周期tを長く設定できるという効果を有する。
Further, since both the image signal light and the distance measuring signal light are read in each reading cycle t of the
実施の形態3.
図11は本発明の実施の形態3に係る画像読取装置のセンサ基板29Aを示す図であり、図12は本発明の実施の形態3に係る撮像用光源12と測距用光源40が点灯するタイミングチャートを表す図である。
本実施の形態は、撮像用光源12と測距用光源40とが異なる時間に点灯するように制御されている点、および測距用センサと画像用センサとを共用している点が上述の実施の形態と異なる。図5(2)および図11(2)に示すとおり、センサチップ25Aは、センサチップ25における測距用センサである第4列が省略された構成である。
撮像用光源12から照射される撮像用照明光は白色光であり、測距用光源40から照射される測距用光源40からの光(以下、「測距用照明光」と呼ぶ場合がある。)は例えば赤色である。本実施の形態においては、測距用照明光は必ずしも赤色である必要はなく、青色でも緑色でも、白色でも構わない。
FIG. 11 is a diagram showing a sensor substrate 29A of the image reader according to the third embodiment of the present invention, and FIG. 12 is a diagram in which the image
In the present embodiment, the image
The image pickup illumination light emitted from the image
図12に示すように時間的に照明光の切り替えを行う。表記の簡単化のために、時間t0~t1を期間K1、時間t1~t2を期間K2、時間t2~t3を期間K3…とする。図12においては、測距用光源40と撮像用光源12とが交互に点灯し、奇数番目の期間(K1、K3、K5…)では測距用光源40が点灯し、偶数番目の期間(K2、K4、K6…)では撮像用光源12が点灯する。
すなわち、センサチップ25による測距信号光の読取時間に同期させて、測距用光源40が点灯すると共に撮像用光源12が消灯するように制御が行われている。
また、センサチップ25による画像信号光の読取時間に同期させて、撮像用光源12が点灯すると共に測距用光源40が消灯するように制御が行われている。
As shown in FIG. 12, the illumination light is switched in time. For the sake of simplification of the notation, the time t0 to t1 is referred to as the period K1, the time t1 to t2 is referred to as the period K2, the time t2 to t3 is referred to as the period K3, and so on. In FIG. 12, the distance measuring
That is, control is performed so that the distance measuring
Further, control is performed so that the image
センサチップ25Aは、各期間K1、K2…において3列分のラインデータを読取る。なお、奇数番目の期間と偶数番目の期間の長さは等しくてもよいが、異なっていてもよい。
図11(2)におけるセンサチップ25Aの第1列~第3列は、撮像用光源12が点灯している偶数番目の期間では画像信号光を読取り、測距用光源40が点灯している奇数番目の期間では測距信号光の読取りを行う。
測距信号光を赤色光としていたため、奇数番目の期間では赤色に対応するセンサチップ25Aの第1列のみが測距信号を生成する。
The sensor chip 25A reads line data for three columns in each period K1, K2 ... The lengths of the odd-numbered period and the even-numbered period may be the same, but may be different.
The first to third rows of the sensor chip 25A in FIG. 11 (2) read the image signal light during the even-numbered period in which the image
Since the distance measurement signal light is red light, only the first row of the sensor chip 25A corresponding to red color generates the distance measurement signal in the odd-numbered period.
上述の構成により、測距用センサと画像用センサとを共用できるため、センサチップ25Aは、センサチップ25の第4列(図5(2)に図示)のように測距用センサ専用のセンサを省略することができ、センサチップを簡易な構成とすることができる。 Since the distance measuring sensor and the image sensor can be shared by the above configuration, the sensor chip 25A is a sensor dedicated to the distance measuring sensor as shown in the fourth row of the sensor chip 25 (shown in FIG. 5 (2)). Can be omitted, and the sensor chip can be configured in a simple manner.
また、実施の形態1において、センサチップ25の画像用センサ(第1~3列)のカラーフィルターが赤外光を完全に遮光するように構成すると、画像用センサでは赤外光(測距信号光)は完全に遮光される。しかし、カラーフィルターが測距信号光(赤外光)を完全に遮光できない場合には、測距信号光(赤外光)が画像用センサで読取られ、この測距信号光が画像(信号光)にノイズとして重畳する問題がある。
本実施の形態では、撮像用光源12と測距用光源40とが異なる時間に点灯するように制御されているため、上述のような画像に重畳するノイズを効果的に抑制できる。
さらに、センサチップ25Aの第1~3列上に設けられるカラーフィルター(R、G、B)についても、赤外光を完全に遮光するように構成する必要がないため、各カラーフィルターを簡易に構成できる。
Further, in the first embodiment, if the color filter of the image sensor (first to third rows) of the
In the present embodiment, since the image
Further, the color filters (R, G, B) provided on the first to third rows of the sensor chip 25A do not need to be configured to completely block infrared light, so that each color filter can be simplified. Can be configured.
画像信号光と測距信号光との読取りを時間的に切り分ける方式には、上述以外にも多数の方式が考えられる。
例えば、上述の説明では撮像用光源12の撮像用照明光が白色光である場合を説明したが、撮像用光源12がRGBのそれぞれの単色光を順次点灯する場合には、図11(3)のように、第1列のみにより構成されたセンサチップ25Bを用いてもよい。
上記単色光を順次点灯する場合とは、例えば、撮像用光源12が、期間K1ではRを、期間K2ではGを、期間K3ではBを、それぞれを点灯する場合である。さらに、期間K4にて、測距用光源40がRを点灯する。
センサチップ25Bは、期間K1ではRの画像信号光を、期間K2ではGの画像信号光を、期間K3では、Bの画像信号光を読取る。センサチップ25Bは、期間K4では、測距信号光の読取りを行う。さらに、期間K5以後は、上述の読取りパターンを繰り返す。
上述のように構成することで、画像用センサは第1列のみでRGBそれぞれを読取ることができるため、第1列により構成されたセンサチップ25Bを用いることができる。
In addition to the above, many methods can be considered as a method for temporally separating the reading of the image signal light and the distance measuring signal light.
For example, in the above description, the case where the image pickup illumination light of the image
The case where the monochromatic light is sequentially turned on is, for example, a case where the image
The sensor chip 25B reads the image signal light of R in the period K1, the image signal light of G in the period K2, and the image signal light of B in the period K3. The sensor chip 25B reads the ranging signal light during the period K4. Further, after the period K5, the above-mentioned reading pattern is repeated.
With the above configuration, the image sensor can read each of RGB only in the first row, so that the sensor chip 25B configured by the first row can be used.
実施の形態4.
図13は本発明の実施の形態4に係る測距用光源40a~40dが点灯するタイミングチャートを表す図である。同図において、縦軸は測距用光源40の光量を示し、横軸はtime(時間)を示す。本実施の形態においては、測距用光源40について単にON(点灯)/OFF(消灯)を繰り返すだけではなく、光量を変化させる点が上述の実施の形態と異なる。
図13では、期間K1~K5の順に測距用光源40の光量が大きくなるように測距用光源40が制御されている。また、期間K6以降に関しても、期間K1~K5と同様な一連の制御がなされている。
FIG. 13 is a diagram showing a timing chart in which the distance measuring
In FIG. 13, the distance measuring
本実施の形態は、上述の実施の形態1~3の全てに適用可能であるが、説明を簡単にするため、実施の形態1(期間K1、K2…毎に画像取得用の信号と測距用の信号を同時に読取る場合)に適用する場合を例として以下説明をする。 This embodiment is applicable to all of the above-described first to third embodiments, but for the sake of simplicity, the first embodiment (periods K1, K2 ... Each period K1, K2 .... The following will be described as an example of the case where the signal is read at the same time.
例えば、期間K1における測距用光源40の光量Idを1とし、期間K2の光量Idを2、期間K3の光量Idを3、期間K4の光量Idを4、期間K5の光量Idを5として、本実施に形態を説明する。
例えば読取対象物1の反射率が50%とすると、期間K1~K5において期間K2における光量Idが2の場合において、十分かつ飽和しない出力(センサチップ25がId=1の光量を受光した場合に相当)で測距信号がセンサチップ25で得られる。
なお、期間K2よりも光量Idが小さい期間K1では、測距信号の出力(センサチップ25がId<1の光量を受光した場合に相当)が小さく十分でない。一方、期間K2よりも光量Idが大きい期間K3~K5では、測距信号の出力(センサチップ25がId>1の光量を受光した場合に相当)が飽和してしまう。上述した期間K2以外の期間で得られた信号出力は、測距信号として利用しない。
上述の例では、複数の期間K1~K5において、1つの周期におけるセンサチップ25出力のみを測距信号として用いているが、複数の周期におけるセンサチップ25出力を測距信号として用いてもよい。
For example, the light amount Id of the distance measuring
For example, assuming that the reflectance of the object to be read 1 is 50%, the output is not sufficiently saturated when the light amount Id in the period K2 is 2 in the periods K1 to K5 (when the
In the period K1 in which the light amount Id is smaller than the period K2, the output of the ranging signal (corresponding to the case where the
In the above example, in the plurality of periods K1 to K5, only the
読取対象物1には多数の模様や色があり、測距用照明光が読取対象物1で反射散乱されてセンサチップ25で受光する光量も、読取対象物1の反射率により変化する。よって、読取対象物1の反射率によっては、センサチップ25が出力する測距信号が飽和したり、センサチップ25が生成する測距信号の出力が小さくなったりする問題があった。
The
本実施の形態4によれば、互いに反射率が異なる複数の範囲から構成された読取対象物1を読取る場合でも、適切な出力を有する測距信号を選定して利用することができるため、上記のような問題の発生を抑制でき、天板ガラス11に対する読取対象物1の浮き量を正確に測定することができる。
According to the fourth embodiment, even when the
実施の形態5.
図14および図15は実施の形態5による測距用光源40が点灯するタイミングチャートの一例を表す図である。図14および図15において、横軸はtime(時間)を示し、縦軸は、測距用光源40のON/OFF状態を示している。本実施の形態では、互いに隣接する測距用光源40が同時に点灯しないよう制御される点が上述の実施の形態と異なる。
図14では、4つの測距用光源40a~40dを用いた場合を例に挙げて説明し、図15では6つの測距用光源40a~40fを用いた場合を例に挙げて説明するが、測距用光源40の個数は上述の例に限定されない。
14 and 15 are diagrams showing an example of a timing chart in which the distance measuring
In FIG. 14, a case where four distance measuring
図14では、複数の測距用光源40a~40dのうち1つ飛ばしに測距用光源40を点灯させた場合を示している。この場合、例えば期間K1に示す第1の点灯パターン(図中、破線で囲んだ部分に対応する)と期間K2に示す第2の点灯パターン(図中、点線で囲んだ部分に対応)とがあり、この2つの点灯パターンを各期間にて順次切り替えるよう制御される。
以下、点灯(ON)している測距用光源40のみを説明し、消灯(OFF)している測距用光源40については、説明を省略する場合がある。
例えば期間K1では、測距用光源40aおよび40cの同時点灯がなされ(第1の点灯パターン)、期間K2では、測距用光源40bおよび40dの同時点灯に切り替える(第2の点灯パターン)。
第1の点灯パターンは、図中、奇数番目の期間(K1、K3、K5、K7)に対応し、第2の点灯パターンは、図中、偶数番目の期間(K2、K4、K6、K8)に対応する。
FIG. 14 shows a case where the distance measuring
Hereinafter, only the distance measuring
For example, in the period K1, the distance measuring
The first lighting pattern corresponds to the odd-numbered period (K1, K3, K5, K7) in the figure, and the second lighting pattern corresponds to the even-numbered period (K2, K4, K6, K8) in the figure. Corresponds to.
図15では、複数の測距用光源40a~40dのうち3つ飛ばしで測距用光源40を点灯させた場合を示している。この場合、例えば期間K1~K4に示す4つの点灯パターンがあり、この4つのパターンを各期間にて順次切り替えるよう制御される。
図中、第1の点灯パターン、第2の点灯パターン、第3の点灯パターン、第4の点灯パターンは、それぞれ、破線で囲まれた領域、実線で囲まれた領域、点線で囲まれた領域、一点鎖線で囲まれた領域に対応する。
具体的には、期間K1では、測距用光源40aおよび40eの同時点灯がなされ(第1の点灯パターン)、期間K2では、測距用光源40bおよび40fの点灯(第2の点灯パターン)に切り替える。期間K3では、測距用光源40cの点灯(第3の点灯パターン)に切り替え、期間K4では、測距用光源40dの点灯(第4の点灯パターン)に切り替える。
FIG. 15 shows a case where the distance measuring
In the figure, the first lighting pattern, the second lighting pattern, the third lighting pattern, and the fourth lighting pattern are the area surrounded by the broken line, the area surrounded by the solid line, and the area surrounded by the dotted line, respectively. , Corresponds to the area surrounded by the alternate long and short dash line.
Specifically, in the period K1, the distance measuring
上述では1つ又は3つ飛ばしに測距用光源40を点灯させた場合を説明したが、上述の例に限定されず、2つ又は4つ以上飛ばしに測距用光源40を点灯させてもよい。
複数の測距用光源40をn個(nは自然数)飛ばしで点灯するように制御した場合には、想定され得る点灯パターンとしては、(n+1)個の点灯パターンがある。
図14および図15では、上記(n+1)個の点灯パターン全てについて、点灯パターンの切り替えを行っているが、全ての点灯パターンのうち一部のみ(2以上の点灯パターン)について、点灯パターンの切り替えを行ってもよい。また、点灯パターンを切り替えず、同一の点灯パターンのみで測距用光源40の点灯を行ってもよい。
さらに、図14および図15では、点灯パターンの切り替えは、1つの期間ごとに行っているが、複数の期間ごとに行うようにしてもよい。
In the above, the case where the distance measuring
When a plurality of distance measuring
In FIGS. 14 and 15, the lighting patterns are switched for all of the above (n + 1) lighting patterns, but the lighting patterns are switched for only a part of all the lighting patterns (two or more lighting patterns). May be done. Further, the distance measuring
Further, in FIGS. 14 and 15, the lighting pattern is switched every one period, but it may be changed every a plurality of periods.
実施の形態1の画像読取装置(図2および図3)において、例えば、隣接する測距用光源40aおよび40bを同時に点灯させると、測距用光源40bが発した光が結像光学素子15bでセンサチップ25bに向かい反射され、この反射された光(迷光)をセンサチップ25bが受光する場合がある。
一方、本実施の形態では、隣接する測距用光源40が異なる時間に点灯するように各測距用光源40の点灯制御を行うので、測距信号光への不要な迷光が抑制でき、結果として測距における精度向上を図ることができる。
In the image reader of the first embodiment (FIGS. 2 and 3), for example, when the adjacent distance measuring
On the other hand, in the present embodiment, since the lighting control of each distance measuring
なお、図14と比較すると、図15では、同時に点灯する測距用光源40を減少させるよう制御を行っている。このように制御を行うことで、測距用光源40の寿命が延びる、電力消費が削減できるなどの効果を有する。なお、実施の形態4で説明したとおり、予め設定された時間間隔で測距信号光の読取りを行うようにしてもよい。
Compared to FIG. 14, in FIG. 15, control is performed so as to reduce the distance measuring
1 読取対象物、11 天板ガラス、12 撮像用光源、13 照明光、14 結像系アレイ、15 結像光学素子、16 読取対象物1によって散乱された照明光、17 集光された光、18 レンズ(集光部)、19 絞り、20 レンズ(結像部)、21 絞り19を通り抜けた光、22 結像面、23 ホルダー、24 ホルダー、25 センサチップ、28 画像処理部、29 センサ基板、31 撮像読取範囲、32 重複撮像範囲、33 結像読取範囲、34 結像視野範囲、35 光軸、40 測距用光源(補助光源)、41 照射領域、42 転写領域、50 原稿画像、51 出力画像データ。
1 Object to be read, 11 Top plate glass, 12 Light source for imaging, 13 Illumination light, 14 Imaging system array, 15 Imaging optical element, 16 Illumination light scattered by
Claims (13)
前記読取対象物によって散乱された前記照明光を集光する集光部、および前記集光した前記照明光を結像することで前記読取対象物の画像を形成する結像部をそれぞれ有し、主走査方向にそれぞれ配置された複数の結像光学素子と、
前記複数の結像光学素子により形成された画像のそれぞれを読取る複数のセンサチップと、
前記複数の結像光学素子のうち対象となる結像光学素子である対象結像光学素子の結像部を通過して集光部に向かう補助信号光を前記読取対象物に照射する補助光源と
を備え、
前記補助光源は、前記対象結像光学素子に隣接する隣接結像光学素子の画像を読取るセンサチップが前記補助信号光を読取るように配置される、画像読取装置。 An imaging light source that illuminates the object to be read with illumination light,
Each has a condensing unit that collects the illumination light scattered by the reading object and an imaging unit that forms an image of the reading object by forming an image of the condensed illumination light. Multiple imaging optical elements arranged in the main scanning direction, respectively,
A plurality of sensor chips that read each of the images formed by the plurality of imaging optical elements, and
An auxiliary light source that irradiates the reading object with auxiliary signal light that passes through the image forming portion of the target imaging optical element, which is the target imaging optical element among the plurality of imaging optical elements, and heads toward the condensing portion. Equipped with
The auxiliary light source is an image reading device in which a sensor chip that reads an image of an adjacent imaging optical element adjacent to the target imaging optical element is arranged so as to read the auxiliary signal light.
前記補助信号光で照射された前記読取対象物の少なくとも一部は、前記隣接結像光学素子の撮像読取範囲に含まれる、請求項1又は2に記載の画像読取装置。 When the range on the reading object that can be imaged on the reading surface of the sensor chip corresponding to each of the plurality of imaging optical elements is defined as the imaging reading range.
The image reading device according to claim 1 or 2 , wherein at least a part of the reading object irradiated with the auxiliary signal light is included in the imaging reading range of the adjacent imaging optical element.
前記各々の結像光学素子の集光部が集光可能である前記読取対象物の範囲を結像読取範囲とした場合に、各結像読取範囲で散乱された光が集光および結像される際に前記各々の結像光学素子の結像部から出射された光束が通過可能な空間を結像視野空間とすると、
前記補助光源の発光面の少なくとも一部は、前記補助光源に対応する対象結像光学素子の結像視野空間の内部かつ前記対象結像光学素子での撮像視野空間の前記主走査方向の外部に配置される
請求項3に記載の画像読取装置。 The space through which the light flux emitted from the imaging unit of each imaging optical element can pass when the light scattered in each imaging reading range is focused and imaged is defined as the imaging field space.
When the range of the object to be read that can be focused by the condensing unit of each of the imaging optical elements is set as the imaging reading range, the light scattered in each imaging reading range is condensed and imaged. Assuming that the space through which the light flux emitted from the image forming portion of each of the imaging optical elements can pass is defined as the imaging field space.
At least a part of the light emitting surface of the auxiliary light source is inside the imaging visual field space of the target imaging optical element corresponding to the auxiliary light source and outside the main scanning direction of the imaging visual field space of the target imaging optical element. The image reading device according to claim 3 , which is arranged.
前記画像処理部は、
前記補助データを用いて、前記補助信号光を読取ったセンサチップに含まれる複数の撮像素子うち前記補助信号光の読取りを行った撮像素子について前記主走査方向の位置である受光位置を算出し、
前記受光位置、および前記補助信号光を照射した補助光源の位置に基づき、前記読取対象物が配置された天板から前記読取対象物への高さ方向の浮き量を算出すると共に、前記浮き量に基づき前記画像復元処理を行う、請求項6に記載の画像読取装置。 Each of the plurality of sensor chips has a plurality of image pickup elements arranged in the main scanning direction.
The image processing unit
Using the auxiliary data, the light receiving position, which is the position in the main scanning direction, is calculated for the image pickup element that has read the auxiliary signal light among the plurality of image pickup elements included in the sensor chip that has read the auxiliary signal light.
Based on the light receiving position and the position of the auxiliary light source irradiated with the auxiliary signal light, the floating amount in the height direction from the top plate on which the reading object is arranged to the reading object is calculated, and the floating amount is calculated. The image reading device according to claim 6 , wherein the image restoration process is performed based on the above.
請求項1から請求項7のいずれか一項に記載の画像読取装置。 The image reading device according to any one of claims 1 to 7 , wherein the auxiliary light source and the plurality of sensor chips are mounted on the same substrate.
可視光である前記照明光を読取る画像読取用センサと、
赤外光又は紫外光である前記補助信号光を読取る測距用センサと
を有する
請求項1から請求項8のいずれか一項に記載の画像読取装置。 The sensor chip is
An image reading sensor that reads the illumination light, which is visible light,
The image reading device according to any one of claims 1 to 8 , further comprising a distance measuring sensor for reading the auxiliary signal light which is infrared light or ultraviolet light.
遮光機能を有する第1のシャッターを有し、前記照明光を読取る画像読取用センサと、
遮光機能を有する第2のシャッターを有し、前記補助信号光を読取る測距用センサと
を有し、
前記第1のシャッターおよび前記第2のシャッターは、前記画像の読取時間と前記補助信号光の読取時間とが重複しないように、開閉が制御される
請求項1から請求項8のいずれか一項に記載の画像読取装置。 The sensor chip is
An image reading sensor having a first shutter having a light blocking function and reading the illumination light,
It has a second shutter having a light blocking function, and has a distance measuring sensor that reads the auxiliary signal light.
One of claims 1 to 8 , wherein the opening and closing of the first shutter and the second shutter are controlled so that the reading time of the image and the reading time of the auxiliary signal light do not overlap. The image reader according to the above.
請求項1から請求項8のいずれか一項に記載の画像読取装置。 The aspect according to any one of claims 1 to 8 , wherein the auxiliary light source is controlled to be turned on and the image pickup light source is turned off in synchronization with the reading time of the auxiliary signal light by the sensor chip. Image reader.
請求項1から請求項11のいずれか一項に記載の画像読取装置。 The image reading device according to any one of claims 1 to 11, wherein the auxiliary light source is controlled to emit light with a different amount of light for each reading cycle of the auxiliary signal light by the sensor chip.
前記複数の補助光源は、前記複数の補助光源のうち互いに隣り合う2つの補助光源が異なるタイミングで点灯するように制御される
請求項1から請求項12のいずれか一項に記載の画像読取装置。 There are a plurality of auxiliary light sources,
The image reading according to any one of claims 1 to 12, wherein the plurality of auxiliary light sources are controlled so that two auxiliary light sources adjacent to each other among the plurality of auxiliary light sources are turned on at different timings. Device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018064630A JP7069964B2 (en) | 2018-03-29 | 2018-03-29 | Image reader |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018064630A JP7069964B2 (en) | 2018-03-29 | 2018-03-29 | Image reader |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019176396A JP2019176396A (en) | 2019-10-10 |
JP7069964B2 true JP7069964B2 (en) | 2022-05-18 |
Family
ID=68169808
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018064630A Active JP7069964B2 (en) | 2018-03-29 | 2018-03-29 | Image reader |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7069964B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110913091B (en) * | 2019-11-29 | 2024-01-23 | 威海华菱光电股份有限公司 | Image scanning system |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000123168A (en) | 1998-10-19 | 2000-04-28 | Risou Kagaku Kenkyusho:Kk | Device and method for determining inverse filter for blur correction, image device with blur correcting function and recording medium |
JP2009044511A (en) | 2007-08-09 | 2009-02-26 | Rohm Co Ltd | Image sensor |
JP2013013048A (en) | 2011-05-27 | 2013-01-17 | Ricoh Co Ltd | Image reader, image forming apparatus, image reading method and image reading program |
JP2016225881A (en) | 2015-06-01 | 2016-12-28 | 富士ゼロックス株式会社 | Image reading device and program |
-
2018
- 2018-03-29 JP JP2018064630A patent/JP7069964B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000123168A (en) | 1998-10-19 | 2000-04-28 | Risou Kagaku Kenkyusho:Kk | Device and method for determining inverse filter for blur correction, image device with blur correcting function and recording medium |
JP2009044511A (en) | 2007-08-09 | 2009-02-26 | Rohm Co Ltd | Image sensor |
JP2013013048A (en) | 2011-05-27 | 2013-01-17 | Ricoh Co Ltd | Image reader, image forming apparatus, image reading method and image reading program |
JP2016225881A (en) | 2015-06-01 | 2016-12-28 | 富士ゼロックス株式会社 | Image reading device and program |
Also Published As
Publication number | Publication date |
---|---|
JP2019176396A (en) | 2019-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6628753B2 (en) | Lighting device and image sensor device | |
JP4701948B2 (en) | Pattern light irradiation device, three-dimensional shape measurement device, and pattern light irradiation method | |
US9350973B2 (en) | Three-dimensional mapping and imaging | |
US9841379B2 (en) | Fluorescence and phosphorescence detecting apparatus | |
US20040125205A1 (en) | System and a method for high speed three-dimensional imaging | |
US20180125337A1 (en) | Camera and method for the three-dimensional measurement of a dental object | |
TWI843980B (en) | Scanning scatterometry overlay measurement | |
CN110248056B (en) | Image inspection apparatus | |
EP2853855B1 (en) | Height measuring method for three dimensional shape measuring device | |
JP4090860B2 (en) | 3D shape measuring device | |
JP7069964B2 (en) | Image reader | |
US10462321B2 (en) | Scanner and scanner data generating method | |
JP2024060068A (en) | Optical device | |
JP5342537B2 (en) | Mask inspection device | |
JP3818028B2 (en) | 3D image capturing apparatus and 3D image capturing method | |
WO2013062002A1 (en) | Image retrieval device | |
JP2020139822A (en) | Inspection device, inspection system and inspection method | |
JP3109107B2 (en) | Position detecting apparatus, exposure apparatus and exposure method | |
US20020053647A1 (en) | Pattern detection, processing and testing apparatus | |
JP2018207138A (en) | Scanner and method for producing scan data | |
JP2002015306A (en) | Three-dimensional image generating device and three- dimensional image generating method | |
JPH056967U (en) | Image reader | |
JP2022135340A (en) | Three-dimensional measuring device, computer program, manufacturing system, and method for manufacturing article | |
JPH056966U (en) | Image reader | |
KR20230017452A (en) | Internal Foreign Object Detection Apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210930 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211019 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220405 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220418 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7069964 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |